特許 7579626 有効中間回折経路を使用してオーディオシーンをレンダリングするための装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-30

(45)【発行日】2024-11-08

(54)【発明の名称】有効中間回折経路を使用してオーディオシーンをレンダリングするための装置および方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241031BHJP

【ＦＩ】

H04S7/00 300

【請求項の数】 20

(21)【出願番号】P 2022555051

(86)(22)【出願日】2021-03-12

(65)【公表番号】

(43)【公表日】2023-04-28

(86)【国際出願番号】 EP2021056365

(87)【国際公開番号】W WO2021180940

(87)【国際公開日】2021-09-16

【審査請求日】2022-11-10

(31)【優先権主張番号】20163155.3

(32)【優先日】2020-03-13

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】100134119

【弁理士】

【氏名又は名称】奥町 哲行

(72)【発明者】

【氏名】リー・サンムン

(72)【発明者】

【氏名】ヴェファース・フランク

【審査官】齊田 寛史

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０２４９５５６（ＵＳ，Ａ１）

【文献】特開２０１２－０５４６９８（ＪＰ，Ａ）

【文献】Dirk Schroder，Physically Based Real-Time Auralization of Interactive Virtual Environments，Thesis for PhD，ドイツ，Logos Verlag Berlin，2011年02月04日，p.47,52,55-57,83,86，ISSN: 1866-3052

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

(57)【特許請求の範囲】

【請求項1】

オーディオソース位置にあるオーディオソースおよび複数の回折物体を含むオーディオシーン（５０）をレンダリングするための装置であって、
前記複数の回折物体を通る複数の中間回折経路（３００、４００）と、前記複数の回折物体の開始点および出力エッジを有する前記複数の中間回折経路（３００、４００）のうちの一つの中間回折経路と、前記中間回折経路の関連フィルタ情報とを提供するための回折経路プロバイダ（１００）と、
前記オーディオソースをリスナ位置にレンダリングするためのレンダラ（２００）と
を備え、前記レンダラ（２００）が、
前記複数の中間回折経路（３００、４００）から前記回折経路プロバイダ（１００）によって提供される前記複数の回折物体を介して、前記中間回折経路の前記出力エッジおよび前記リスナ位置に基づいて、前記オーディオソース位置から前記リスナ位置までの１つまたは複数の有効中間回折経路を決定し（２１６）、
前記１つまたは複数の有効中間回折経路の各有効中間回折経路について、前記有効中間回折経路の前記関連フィルタ情報と前記有効中間回折経路の前記出力エッジから前記リスナ位置へのオーディオ信号伝播を記述するフィルタ情報との組合せを使用して、前記１つまたは複数の有効中間回折経路のある有効中間回折経路に対応する、前記オーディオソース位置から前記リスナ位置までのフル回折経路のフィルタ表現を決定し（２１８）、ならびに
前記オーディオソースに関連するオーディオ信号および前記フル回折経路の前記フィルタ表現を使用して、前記オーディオシーン（５０）のオーディオ出力信号を計算する（２２０）
ように構成される、装置。

【請求項2】

前記オーディオソース位置が固定され、前記回折経路プロバイダ（１００）は、プリプロセッサとして実装され、各有効中間回折経路の前記開始点が前記オーディオソース位置に対応するように各有効中間回折経路を決定するように構成される、または
前記オーディオソース位置が可変であり、前記回折経路プロバイダ（１００）は、プリプロセッサとして実装され、前記複数の回折物体の入力エッジを中間回折経路の前記開始点として決定するように構成され、
前記レンダラ（２００）は、前記１つまたは複数の中間回折経路の前記入力エッジ（複数可）および前記オーディオソース位置にさらに基づいて、前記１つまたは複数の有効中間回折経路を決定し、前記オーディオソース位置から前記フル回折経路に関連する前記有効中間回折経路の前記入力エッジまでのオーディオ信号伝播を記述する別のフィルタ情報にさらに基づいて、前記フル回折経路の前記フィルタ表現を決定するように構成される、請求項１に記載の装置。

【請求項3】

前記レンダラ（２００）は、前記オーディオソース位置から前記リスナ位置までの直接経路に対して閉塞試験（２１２）を実行し、前記閉塞試験（２１２）が、前記直接経路が遮られていることを示すと、前記１つまたは複数の有効中間回折経路だけを決定するように構成される、請求項１または２に記載の装置。

【請求項4】

請求項２に記載の装置であって、
前記レンダラ（２００）は、前記関連フィルタ情報の周波数領域表現と、前記有効中間回折経路の前記出力エッジから前記リスナ位置への前記オーディオ信号伝播の前記フィルタ情報の周波数領域表現、または前記オーディオソース位置から前記有効中間回折経路の前記入力エッジへのオーディオ信号伝播を記述する別のフィルタ情報の周波数領域表現と、を乗算することにより、前記フル回折経路の前記フィルタ表現を決定する（１３２）ように構成される、装置。

【請求項5】

前記レンダラ（２００）は、
前記オーディオソース位置に応じて潜在入力エッジの開始グループを決定する（１０２）か、または前記リスナ位置に応じて潜在出力エッジの最終グループを決定し（１０４）、
前記開始グループまたは前記最終グループを使用して中間回折経路の事前保存されたリストから１つまたは複数の潜在有効中間回折経路を検索し（１０６）、
ソース角度基準（１１６）および前記オーディオソース位置と前記対応する入力エッジとの間のソース角度を使用して、または最終角度基準（１１８）および前記リスナ位置と対応する出力エッジとの間のリスナ角度を使用して、前記１つまたは複数の潜在有効中間回折経路を検証する（１０８）
ように構成される、請求項１から４のいずれか一項に記載の装置。

【請求項6】

前記レンダラ（２００）は、前記ソース角度を計算し（１１２）、前記ソース角度を前記ソース角度基準として前記オーディオソースの最大許容角度（ＭＡＡＳ）と比較し（１１６）、前記ソース角度が前記オーディオソースの前記最大許容角度よりも小さいときに前記有効中間回折経路となるべき潜在中間回折経路を検証する（１２２）ように構成される、または
前記レンダラ（２００）は、前記リスナ角度を計算し（１１４）、前記リスナ角度をリスナ角度基準としてリスナの最小許容角度（ＭＡＡＬ）と比較し（１１８）、前記リスナ角度が前記リスナの前記最小許容角度よりも大きいときに、前記有効中間回折経路になるべき潜在中間回折経路を検証する（１２２）ように構成される、請求項５に記載の装置。

【請求項7】

請求項１から６のいずれか一項に記載の装置であって、
前記回折経路プロバイダ（１００）は、前記複数の中間回折経路（３００、４００）についてのエントリを含む事前に保存されたリストを有するメモリにアクセスするように構成され、各中間回折経路エントリは一連のエッジを含み、該一連のエッジは入力エッジから出力エッジまで延びる、または各中間回折経路エントリは一連の三角形を含み、該一連の三角形は入力三角形から出力三角形まで延びる、または各中間回折経路エントリは一連の項目を含み、該一連の項目はソース角度基準から始まり、さらに１つまたは複数の中間角度を含み、かつさらにリスナ角度基準を含む、装置。

【請求項8】

請求項７に記載の装置であって、
前記事前に保存されたリストの前記中間回折経路エントリは、前記関連フィルタ情報もしくは前記関連フィルタ情報への参照を含み、または
前記レンダラ（２００）は、前記事前に保存されたリストの前記中間回折経路エントリ内のデータから前記関連フィルタ情報を導出するように構成される、装置。

【請求項9】

請求項１から８のいずれか一項に記載の装置であって、
前記オーディオシーン（５０）の前記複数の回折物体が動的物体を含み、前記回折経路プロバイダ（１００）が、前記動的物体の周りに少なくとも１つの中間回折経路を提供するように構成される、装置。

【請求項10】

請求項１から８のいずれか一項に記載の装置であって、
前記オーディオシーン（５０）の前記複数の回折物体が、２つ以上の動的回折物体を含み、前記回折経路プロバイダ（１００）が、２つの異なる動的物体の間で回折が許容されないという仮定に基づいて、単一の動的回折物体の周りに中間回折経路を提供するように構成される、装置。

【請求項11】

請求項１から８のいずれか一項に記載の装置であって、
前記オーディオシーン（５０）の前記複数の回折物体が、１つまたは複数の動的物体および１つまたは静的物体を含み、前記回折経路プロバイダ（１００）が、静的物体と動的物体との間で回折が許容されないという仮定に基づいて、動的物体または静的物体の周りに中間回折経路を提供するように構成される、装置。

【請求項12】

請求項１から１１のいずれか一項に記載の装置であって、
前記複数の回折物体が、少なくとも１つの動的回折物体を含み、
前記レンダラ（２００）は、
前記少なくとも１つの動的回折物体が少なくとも並進および回転に関して再配置によって再配置されているかどうかを決定し（２２２）、前記少なくとも１つの動的回折物体は、再配置された動的物体を表し、
前記再配置された動的物体に付されたエッジを更新し（２２２）、
前記１つまたは複数の有効中間回折経路の前記決定（２１６）において、内部エッジ対相互間の可視性に関する潜在有効中間回折経路を検査し、前記再配置された動的物体の前記再配置に起因して前記内部エッジ対相互間の前記可視性が中断された場合、前記潜在有効中間回折経路が、前記有効中間回折経路を取得するために前記再配置された回折物体に起因して受ける追加の経路によって拡張される（２２６）
ように構成される、装置。

【請求項13】

前記レンダラ（２００）は、回折均一理論（ＵＴＤ）を適用して前記関連フィルタ情報を決定するように構成される、または、前記レンダラ（２００）は、前記関連フィルタ情報を周波数依存方式で決定するように構成される、請求項１から１２のいずれか一項に記載の装置。

【請求項14】

前記レンダラ（２００）は、前記有効中間回折経路に応じて、回転後のオーディオソース位置が、前記有効中間回折経路によって受ける回折効果に起因して、前記オーディオソース位置とは異なることを計算し、前記オーディオシーン（５０）の前記オーディオ出力信号を計算すること（２２０）において前記オーディオソースの回転位置を使用するように構成される、または、
前記レンダラ（２００）は、前記フル回折経路に応じて、回転後のオーディオソース位置が、前記フル回折経路によって受ける回折効果に起因して、前記オーディオソース位置とは異なることを計算し、前記オーディオシーン（５０）の前記オーディオ出力信号を計算すること（２２０）において前記オーディオソースの前記回転位置を使用するように構成される、または、
前記レンダラ（２００）は、前記フィルタ表現に加えて、前記フル回折経路に関連するエッジシーケンスおよび前記フル回折経路に関連する回折角シーケンスを使用して前記オーディオシーン（５０）の前記オーディオ出力信号を計算する（２２０）ように構成される、請求項１から１３のいずれか一項に記載の装置。

【請求項15】

前記レンダラ（２００）は、前記リスナ位置から回転後のオーディオソース位置までの距離を決定し、前記距離を、前記オーディオシーン（５０）の前記オーディオ出力信号を計算する（２２０）際に使用するように構成される、請求項１４に記載の装置。

【請求項16】

前記レンダラ（２００）は、前記回転後のオーディオソース位置および前記オーディオ出力信号の所定の出力フォーマットに応じて１つまたは複数の方向フィルタを選択し、前記オーディオ出力信号を計算する際に前記１つまたは複数の方向フィルタおよび前記フィルタ表現を前記オーディオ信号に適用するように構成される、請求項１４または１５に記載の装置。

【請求項17】

レンダラ（２００）は、前記回転後のオーディオソース位置と前記リスナ位置との間の距離に応じて減衰値を決定し、前記フィルタ表現または前記オーディオソース位置もしくは前記回転後のオーディオソース位置に応じた１つもしくは複数の方向フィルタに加えて、前記オーディオ信号に適用するように構成される、請求項１４、１５、または１６に記載の装置。

【請求項18】

前記レンダラ（２００）は、少なくとも１つの回転動作を含む一連の回転動作において前記回転後のオーディオソース位置を決定するように構成され、
前記フル回折経路の第１の回折エッジから開始して、前記第１の回折エッジからオーディオソース位置までの経路部分が第１の回転動作で回転させられて、第２の回折エッジから、または前記フル回折経路が前記第１の回折エッジだけを有する場合には前記リスナ位置から第１の中間回転後オーディオソース位置までの直線を取得し、前記第１の中間回転後オーディオソース位置は、前記フル回折経路が前記第１の回折エッジだけを有するときに前記回転後のオーディオソース位置である、または
前記第１の回転動作の結果は、第２の回転動作で前記第２の回折エッジの周りで回転させられて、第３の回折エッジから、または前記フル回折経路が前記第１の回折エッジおよび前記第２の回折エッジだけを有する場合には前記リスナ位置から第２の中間回転後オーディオソース位置までの直線を取得し、前記第２の中間回転後オーディオソース位置は、前記フル回折経路が前記第１の回折エッジおよび前記第２の回折エッジだけを有するときに前記回転後のオーディオソース位置であり、
前記フル回折経路が処理され、前記リスナ位置から最終的な回転後のオーディオソース位置までの直線が取得されるまで、１つまたは複数の回転動作がさらに実行され、前記最終的な回転後のオーディオソース位置は、前記１つまたは複数の回転動作の後に達成される、請求項１４から１７のいずれか一項に記載の装置。

【請求項19】

オーディオソース位置にあるオーディオソースおよび複数の回折物体を含むオーディオシーン（５０）をレンダリングする方法であって、
前記複数の回折物体を通る複数の中間回折経路（３００、４００）と、前記複数の回折物体の開始点および出力エッジを有する前記複数の中間回折経路（３００、４００）のうちの一つの中間回折経路と、前記中間回折経路の関連フィルタ情報とを提供するステップと、
前記オーディオソースをリスナ位置にレンダリングするステップであって、前記レンダリングするステップが、前記複数の中間回折経路（３００、４００）から該複数の中間回折経路（３００、４００）の提供によって提供される前記複数の回折物体を介して、前記中間回折経路の前記出力エッジおよび前記リスナ位置に基づいて、前記オーディオソース位置から前記リスナ位置までの１つまたは複数の有効中間回折経路を決定すること（２１６）を含む、ステップと、
前記１つまたは複数の有効中間回折経路の各有効中間回折経路について、前記有効中間回折経路の前記関連フィルタ情報と前記有効中間回折経路の前記出力エッジから前記リスナ位置へのオーディオ信号伝播を記述するフィルタ情報との組合せを使用して、前記１つまたは複数の有効中間回折経路のある有効中間回折経路に対応する、前記オーディオソース位置から前記リスナ位置までのフル回折経路のフィルタ表現を決定するステップ（２１８）と、
前記オーディオソースに関連するオーディオ信号および前記フル回折経路の前記フィルタ表現を使用して、前記オーディオシーン（５０）のオーディオ出力信号を計算するステップ（２２０）と
を含む、方法。

【請求項20】

コンピュータまたはプロセッサ上で作動するときに、請求項１９に記載の方法を実行するためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、オーディオ信号処理（ａｕｄｉｏ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）に関し、詳細には、例えば、仮想現実用途または拡張現実用途で使用され得る幾何音響（ｇｅｏｍｅｔｒｉｃａｌ ａｃｏｕｓｔｉｃｓ）の文脈でのオーディオ信号処理に関する。

【背景技術】

【0002】

仮想音響（ｖｉｒｔｕａｌ ａｃｏｕｓｔｉｃｓ）という用語は、音信号（ｓｏｕｎｄ ｓｉｇｎａｌ）が模擬音響空間の特徴を含むように処理され、音がバイノーラル技法（ｂｉｎａｕｒａｌ ｔｅｃｈｎｉｑｕｅ）かマルチチャネル技法（ｍｕｌｔｉｃｈａｎｎｅｌ ｔｅｃｈｎｉｑｕｅ）のどちらかを用いて空間的に再生されるときに適用されることが多い。したがって、仮想音響は、空間音再生および室内音響モデリングからなる［１］。

【0003】

室内モデリング技術に関して、伝播モデリングのための最も正確な方法は、境界条件のセットに従う理論的波動方程式を解くことである。しかしながら、数値解法に基づく手法のほとんどが、計算の複雑さのせいでインパルス応答を近似するパラメトリックモデルなどの関連する音響特徴を事前計算するよう制限されている、すなわち、関心のある周波数および／またはシーン空間のサイズ（体積／表面）が増加し、さらには動的に移動する物体（ｄｙｎａｍｉｃａｌｌｙ ｍｏｖｉｎｇ ｏｂｊｅｃｔ）が存在するときに現実の困難になる。シーン（ｓｃｅｎｅ）内のプレーヤと物体との間またはプレーヤ相互間の非常に詳細で繊細な相互作用を可能にするために、最近の仮想シーンがますます大きくなり、より洗練されているという事実を踏まえると、現在の数値手法は、インタラクティブな動的で大規模の仮想シーンを処理するのに適切ではない。いくつかのアルゴリズムは、事前計算された音伝播のためのパラメトリック方向符号化［２、３］および音響波方程式のための効率的なＧＰＵベースの時間領域ソルバを使用して関連する音響特徴を事前計算することにより、それらのレンダリング能力を示している［４］。しかしながら、これらの手法は、グラフィックカードやマルチコアコンピューティングシステムなどの高品質システムリソースを必要とする。

【0004】

幾何学的音響効果（ＧＡ）技法は、インタラクティブな音伝播環境のための実用的に信頼できる手法である。一般に使用されるＧＡ技法には、画像ソース法（ＩＳＭ）および光線追跡法（ＲＴＭ）が含まれ［５、６］、ビーム追跡および錐台追跡を使用する修正された手法は、インタラクティブな環境用に開発された［７、８］。回折音モデリングについて、Ｋｏｕｒｙｏｕｍｊｉａｎ［９］は、回折均一理論（ＵＴＤ）を提案し、Ｓｖｅｎｓｓｏｎ［１０］は、数値的意味での回折音のより良い近似のためのＢｉｏｔ－Ｔｏｌｓｔｏｙ－Ｍｅｄｗｉｎ（ＢＴＭ）モデルを提案した。しかしながら、現在の対話型アルゴリズムは、静的シーン［１１］または動的シーンにおける一次回折［１２］に限定された。

【0005】

これら２つのカテゴリ、すなわち、低い周波数用の数値的方法および高い周波数用のＧＡ方法を組み合わせることにより、ハイブリッド手法が可能である［１３］。

【0006】

特に、いくつかの回折物体を有する複雑な音シーンでは、エッジの周りの音波回折（ｓｏｕｎｄ ｄｉｆｆｒａｃｔｉｏｎ）をモデル化するための処理要件が高くなる。したがって、複数の回折物体を有するオーディオシーンにおける音の回折効果を適切にモデル化するために、非常に強力な計算リソースが必要とされる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、オーディオシーンをレンダリングするための改良された概念を提供することである。

【課題を解決するための手段】

【0008】

この目的は、請求項１に記載のオーディオシーンをレンダリングするための装置、または請求項１９に記載のオーディオシーンをレンダリングする方法、または請求項２０に記載のコンピュータプログラムによって達成される。

【0009】

本発明は、関連フィルタ情報を既に有している、音シーンの開始エッジまたは入力エッジと最終エッジまたは出力エッジとの間の中間回折経路を使用することにより、音波回折の処理を大幅に向上させることができるという知見に基づいている。この関連フィルタ情報は、開始エッジと最終エッジとの間に単一または複数の回折があるかどうかにかかわらず、開始エッジと最終エッジとの間の経路全体を既にカバーしている。手順は、開始エッジと最終エッジとの間の道、すなわち、音波が回折効果により進まなければならない経路が、通常は可変のリスナ位置に依存せず、オーディオソース位置にも依存しないという事実に依存する。オーディオソースもまた可変位置を有するときでさえ、可変ソース位置または可変リスナ位置だけが時々変わるが、回折物体の開始エッジと最終エッジとの間のいかなる中間回折経路もジオメトリの他に何も依存しない。この回折経路は一定である、というのは、回折経路は、オーディオシーンジオメトリによって提供される回折物体によってのみ定義されるからである。この種の経路は、複数の回折物体のうちの１つがその形状を変えるときにのみ経時的に変わりやすく、これは、この種の経路が可動剛性ジオメトリに対して変化しないことを意味する。さらに、オーディオシーン内の複数の物体は静的である、すなわち可動ではない。中間回折経路全体の完全なフィルタ情報を提供することにより、特に実行時の処理効率が向上する。それが明確に検証されていないために最終的に使用されない中間回折経路のフィルタ情報も計算される必要があるが、この計算は初期化／符号化ステップで実行することができ、実行時に実行する必要はない。言い換えれば、フィルタ情報に関する、または中間回折経路に関するどんな実行時処理も、通常はまれにしか発生しない動的物体に対してのみ行われる必要があるが、通常発生する静的物体の場合、特定の中間回折経路に関連するフィルタ情報は、任意の移動リスナの任意の移動オーディオソースに関係なく常に同じままである。

【0010】

オーディオソース位置にあるオーディオソースおよび複数の回折物体を含むオーディオシーンをレンダリングするための装置が、複数の回折物体を通る複数の中間回折経路を提供するための回折経路プロバイダを備え、中間回折経路は、複数の回折物体の開始点または開始エッジおよび出力エッジまたは最終エッジと、開始点または開始エッジから出力エッジまたは出力もしくは最終点までの回折による全音伝播を記述する中間回折経路の関連するフィルタ情報と、を有する。典型的には、複数の中間回折経路は、例えば仮想現実環境において実際の実行時処理前に行われる初期化ステップまたは事前計算ステップでプリプロセッサによって提供される。回折経路プロバイダは、実行時にこの情報をすべて計算する必要はなく、例えば、この情報を、実行時処理中にレンダラがアクセスすることができる中間回折経路のリストとして提供することができる。

【0011】

レンダラは、オーディオソースをリスナ位置にレンダリングするように構成され、レンダラは、中間回折経路の出力エッジおよびリスナ位置に基づいて、オーディオソース位置からリスナ位置までの１つまたは複数の有効中間回折経路を決定するように構成される。レンダラは、１つまたは複数の有効中間回折経路の各有効中間回折経路について、有効中間回折経路のための関連フィルタ情報と有効中間回折経路の出力エッジからまたは最終エッジからリスナ位置へのオーディオ信号伝播を記述するフィルタ情報との組合せを使用して、１つまたは複数の有効中間回折経路のある有効中間回折経路に対応する、オーディオソース位置からリスナ位置までのフル回折経路のためのフィルタ表現を決定するように構成される。オーディオシーンのオーディオ出力信号は、オーディオソースに関連するオーディオ信号と各フル回折経路の完全なフィルタ表現とを使用して計算することができる。

【0012】

用途に応じて、オーディオソース位置は固定され、次いで、回折経路プロバイダは、各有効中間回折経路の開始点が固定オーディオソース位置に対応するように各有効中間回折経路を決定する。あるいは、オーディオソース位置が可変であるとき、回折経路プロバイダは、中間回折経路の開始点として、複数の回折物体の入力または開始エッジを決定する。レンダラは、１つまたは複数の中間回折経路の入力エッジとオーディオソースのオーディオソース位置とにさらに基づいて、１つまたは複数の有効中間回折経路を決定するように、すなわち、ソースから入力エッジまでの別のフィルタ情報にさらに基づいてフル回折経路の最終フィルタ表現を決定するために特定のオーディオソース位置に属することができる経路を決定するように構成され、この場合は完全なフィルタ表現が３つの部分によって決定されるように構成される。第１の部分は、音源位置から入力エッジへの音伝播のためのフィルタ情報である。第２の部分は、有効中間回折経路に属する関連情報であり、第３の部分は、出力または最終エッジから実際のリスナ位置への音伝播である。

【0013】

本発明は、本発明が複雑な仮想現実シーンにおいて回折音をシミュレートすることから効率的な方法およびシステムを提供するので、有利である。本発明は、本発明が静的および動的幾何学的物体を経由する音伝播のモデリングを可能にするので有利である。特に、本発明は、本発明が演繹的な既知の幾何プリミティブのセットに基づいて回折経路情報を計算し保存する方法に関する方法およびシステムを提供するという点で有利である。特に、回折音経路は、潜在回折エッジ、回折角、および中間回折エッジの幾何プリミティブのグループなどの属性のセットを含む。

【0014】

本発明は、本発明がリアルタイムで音をレンダリングする速度を高めるために、所与のプリミティブの幾何情報の解析およびプリプロセッサを介した有用なデータベースの抽出を可能にするので、有利である。特に、例えば、米国特許出願公開第２０１５／０３７８０１９号明細書に開示されている手順、または後述する他の手順は、その構造が実行時に考慮される必要がある回折エッジの数を最小限に抑えるエッジ相互間の可視グラフを事前計算することを可能にする。２つのエッジの間の可視性は、事前計算段階では、ソースおよびリスナの場所が通常は知られていないので、ソースからリスナまでの正確な経路が指定されることを必ずしも意味するものではない。代わりに、すべての可能なエッジ対の間の可視グラフは、ソースからの可視エッジのセットからリスナからの可視エッジのセットまでナビゲートするマップである。
本発明の好ましい実施形態が、添付の図面に関して後で論じられる。

【図面の簡単な説明】

【0015】

【図1】４つの静的物体を有するシーン例の上面図である。

【図2a】４つの静的物体および単一の動的物体を有するシーン例の上面図である。

【図2b】動的物体（ＤＯ）なし回折経路およびＤＯあり回折経路を説明するためのリストである。

【図3】６つの静的物体を有するシーン例の上面図である。

【図4】第１のエッジまたは入力エッジからの高次回折経路を計算する方法を示す、６つの静的物体を有するシーン例の上面図である。

【図5】中間回折経路（高次経路を含む）を事前計算し、回折音をリアルタイムでレンダリングするアルゴリズムのブロック図である。

【図6】中間回折経路（高次経路を含む）を事前計算し、動的物体を考慮して回折音をリアルタイムでレンダリングする好ましい第３の実施形態によるアルゴリズムのブロック図である。

【図7】好ましい実施形態による音シーンをレンダリングするための装置を示す図である。

【図8】図４および図３に示した２つの中間回折経路を有する例示的な経路リストを示す図である。

【図9】フル回折経路のフィルタ表現を計算する手順を示す図である。

【図10】有効中間回折経路に関連するフィルタ情報を検索するための好ましい実施態様を示す図である。

【図11】有効中間回折経路を取得するために１つまたは複数の潜在的に有効な中間回折経路を検証する手順を示す図である。

【図12】レンダリング済みオーディオシーンのオーディオ品質を高めるために回転前のソース位置または元のソース位置まで行われた回転を示す図である。

【発明を実施するための形態】

【0016】

図７は、オーディオソースを含むオーディオシーンを、オーディオソース位置でのオーディオソース信号および複数の回折物体でレンダリングするための装置を示す。回折経路プロバイダ１００は、例えば、初期化ステップで、すなわちレンダラ２００によって実行される実行時処理動作の前に、中間回折経路の計算を実行しているプリプロセッサによって満たされた記憶装置を備える。回折経路プロバイダ１００によって取得された中間回折経路のリストの情報に応じて、レンダラは、ヘッドホンのスピーカへの、または拡声器への、または単に記憶または伝送のための、バイノーラルフォーマット、ステレオフォーマット、５．１フォーマット、または任意の他の出力フォーマットなどの所望の出力フォーマットのオーディオ出力信号を計算するように構成される。この目的のために、レンダラ２００は、中間回折経路のリストを受信するだけでなく、一方ではリスナ位置およびオーディオソース信号を受信し、他方ではオーディオソース位置を受信する。

【0017】

特に、レンダラ２００は、オーディオソースをリスナ位置にレンダリングするように構成され、したがって、リスナ位置に到達する音信号が計算される。この音信号は、オーディオソースがオーディオソース位置に配置されているために存在する。この目的のために、レンダは、中間回折経路の出力エッジおよび実際のリスナ位置に基づいて、オーディオソース位置からリスナ位置までの１つまたは複数の有効中間回折経路を決定するように構成される。レンダラはまた、１つまたは複数の有効中間回折経路の各有効中間回折経路について、有効中間回折経路のための関連フィルタ情報と有効中間回折経路の出力エッジからリスナ位置へのオーディオ信号伝播を記述するフィルタ情報との組合せを使用して、１つまたは複数の有効中間回折経路のある有効中間回折経路に対応する、オーディオソース位置からリスナ位置までのフル回折経路のためのフィルタ表現を決定するように構成される。

【0018】

レンダラは、オーディオソースに関連するオーディオ信号と各フル回折経路のフィルタ表現とを使用して、オーディオシーンのオーディオ出力信号を計算する。実施態様に応じて、レンダラは、回折計算に加えて一次反射、二次反射、またはより高次の反射をさらに計算するように構成することもでき、さらに、レンダラは、音シーン内に存在する場合、１つまたは複数の追加のオーディオソースからの寄与と、さらに回折物体によって遮られない直接音伝播経路を有するソースからの直接音伝播の寄与とを計算するように構成することもできる。

【0019】

続いて、本発明の好ましい実施形態についてより詳細に説明する。特に、任意の一次回折経路が、必要に応じてリアルタイムで実際に計算され得るが、これは、いくつかの回折物体を有する複雑なシーンの場合にさらに大きな問題である。

【0020】

特に、より高次の回折経路の場合、そのような回折経路のリアルタイムでの計算は、米国特許出願公開第２０１５／０３７８０１９号明細書に示されているような可視性マップ内のかなりの量の冗長な情報のために問題がある。例えば、図１におけるようなシーンでは、ソースが第１のエッジの右側に位置し、リスナが第５のエッジの左側に位置するとき、回折音は、ソースから第１のエッジおよび第５のエッジを経由してリスナまで進むとイメージすることができる。しかしながら、可視グラフに基づいてリアルタイムでエッジごとに回折経路を構築する方法は、特に可視エッジの平均数が増加し、回折の次数が高くなると計算が複雑になる。さらに、実行時のエッジ間可視性チェックは実行されず、これにより、動的物体相互間の回折効果および１つの静的物体と１つの動的物体との間の回折効果が制限される。静的物体または単一の動的物体の回折効果のケアをすることのみが可能である。動的物体（複数可）による回折効果を静的物体に関連する効果と組み合わせる唯一の方法は、すべての可視グラフを動的物体の再配置されたプリミティブで更新することである。しかし、これは実行時にほとんど不可能である。

【0021】

本発明の方法は、ソースからリスナまでの静的物体および動的物体のエッジを通る可能な（一次／高次）回折経路を指定するために所要の実行時計算を削減することを目的とする。その結果、複数の回折音／オーディオストリームのセットが適切な遅延でレンダリングされる。好ましい概念の実施形態は、ＵＴＤモデルを使用して、新たに設計されたシステム階層を有する複数の可視の適切に配向されたエッジに適用される。その結果、実施形態は、静的ジオメトリによるか、動的物体によるか、静的ジオメトリと動的物体との組合せによるか、または複数の動的物体の組合せによっても、高次回折効果をレンダリングすることができる。好ましい概念に関するより詳細な情報が、以下のサブセクションに提示される。

【0022】

本実施形態を始めた主な着想は、「中間回折経路を計算し続ける必要があるか？」という疑問から始まった。例えば、図３に示すように、ソースからリスナまで、３つの可能な回折経路、すなわち、（ソース）－（１）－（５）－（リスナ）、（ソース）－（９）－（１３）－（リスナ）、および（ソース）－（１）－（７）－（１１）－（リスナ）があると言えるかもしれない。説明を簡単にするために、（１）、（７）、および（１１）を含む３つの中間エッジを経由する最後の経路は良い例である。インタラクティブな環境では、ソースが移動することができ、リスナも移動することができる。しかしながら、いずれの状況でも、（１）－（７）、（７）－（１１）、および（１１）－（１３）を含む中間経路は、これらの中間経路を遮る動的物体が存在しない限り変化しない。（動的物体による回折効果を処理する／組み合わせる方法は、このセクションの最後に提示されることに留意されたい）

【0023】

したがって、中間経路内のエッジ、隣接多角形（例えば、三角形メッシュ）、および回折角によって、一次から許容される高次までの中間経路を事前計算することができると、実行時に所要の計算を最小限にする。

【0024】

例えば、図４は、エッジからの高次回折経路を計算する方法を明らかにするために６つの静的物体を有するシーン例を示す。この場合、回折経路は第１のエッジから始まり、エッジは、以下のようないくつかの相関情報を含むことができる。
struct DiffractionEdge {
const EAR::Geomtery* parentGeometry;
int meshID;
int edgeID;
std::pair < EAR::Vector3, EAR::Vector3 > vtxCoords;
std::pair < EAR::Mesh::Triangle*, EAR::Mesh::Triangle* > adjTris;
float internalAngle;
std::vector < DiffractionEdge* > visibleEdgeList;
};

【0025】

例えば、ｐａｒｅｎｔＧｅｏｍｅｔｒｙまたはｍｅｓｈＩＤは、選択されたエッジが属するジオメトリを示す。さらに、エッジは、２つの頂点の線として（それらの頂点の座標または頂点ｉｄｓによって）物理的に定義することができ、隣り合う三角形は、エッジ、ソース、またはリスナから角度を計算するのに役立つ。ｉｎｔｅｒｎａｌＡｎｇｌｅは、このエッジの周りの最大可能回折角を示す、２つの隣り合う三角形の間の角度である。また、これは、このエッジが潜在回折エッジであるか否かを決定することができる指標でもある。

【0026】

選択されたエッジ（この場合、図４に示す第１のエッジ）から、三角形メッシュの１つから開放空間内への、および他からの２つの可能な回折配向をイメージすることができる。これらの配向は、赤色矢印および青色矢印として示される隣り合う三角形の法線ベクトルによって視覚化される。例えば、赤色の面法線に沿って（反時計回り方向に）、エッジ番号２、番号４、番号５、および番号７は、回折されるべき波のための余白（すなわち、暗いゾーン）があるかどうかをチェックすることにより回折のための次のエッジになる。例えば、エッジ番号６において、エッジ番号６の両側がエッジ番号１から見えるため、音波はエッジ番号１からエッジ番号６へ回折することができず、これは、エッジ番号１から来る音波に対してエッジ番号６による暗いゾーンが存在しないことを意味する。そして次のステップとして、エッジ番号７から次の可能な回折エッジを番号１０および番号１１として見つけることができる。例えば、エッジ番号１１にナビゲートする場合、エッジ番号１、番号７から番号１１への中間角度を計算することができる。この中間角度は、内向きの波と外向きの波との間の角度と定義され、この場合、エッジ番号７への内向きの波は、エッジ番号１から番号７へのベクトルであり、外向きの波は番号７から番号１１へのベクトルである。そして、この角度を

_1-7-11として表すことができる。しかしながら、経路の初めまたは終わりに、そのような中間角度は存在しない。代わりに、ソースの最大許容角度（ＭＡＡＳ）およびリスナの最小許容角度（ＭＡＡＬ）を割り当てることができる。これは、関連する面法線（この場合はエッジ番号１におけるＲｅｄ）に対するソース角度がＭＡＡＳよりも大きい場合、ソースは第２のエッジ（例えば番号７）を見ることができることを意味する。同じ概念で、リスナが所与のＭＡＡＬよりも小さい角度を有する場合、リスナは経路内の最後のエッジの前のエッジを見ることができる。リアルタイムで、ＭＡＡＬ値およびＭＡＡＳ値に基づいて、関連する面法線に対するソースおよびリスナの角度を計算することができ、次いでこの経路を検証することができる。したがって、図４のシーンにおける事前計算された四次経路４００は、図８の上部に示すように、エッジ、三角形、および角度のベクトルとして定義することができる。

【0027】

中間経路および関連するリアルタイムレンダリングアルゴリズムの好ましい事前計算の全手順が図５にある。シーン内のすべての可能な回折経路を事前計算すると、ソースとリスナとの間の直接経路が遮られている場合にのみ、回折の開始点としてのソース場所からの可視エッジリスト、および最終点としてのリスナ位置からのリストを見つけるだけでよい。次いで、関連三角形に対するソースの角度（例えば、表１の１－Ｒ）および三角形に対するリスナの角度（例えば、表１の１２－Ｂ）を計算する必要がある。ソース角度がＭＡＡＳよりも小さく、リスナ角度がＭＡＡＬよりも大きい場合、それは、音源信号がそれに沿って伝播されることになる有効経路になる。次いで、エッジ頂点情報および関連角度を使用して、ソース場所および回折フィルタを更新することができる。バイノーラルレンダリングモジュールは、頭部伝達関数（ＨＲＴＦ）などの適切な方向フィルタを用いて回折ソース情報（回転およびフィルタリング）を合成する。指向性効果や距離効果などのより多くの特徴を回折フレームワークに追加することが可能である。

【0028】

図１は、４つの回折物体を有するオーディオシーンを示しており、エッジ１とエッジ５との間に一次回折経路が存在する。図２ｂの上部は、エッジ１からエッジ５までの一次回折経路を、開始または入力エッジ１に対するソース角度がソースの最大許容角度よりも小さくなければならないという角度基準で示す。これは図１の場合である。リスナの最小許容角度（ＭＡＡＬ）についても同様である。特に、図１における頂点５と頂点６との間のエッジから計算された、出力または最終エッジに対するリスナ位置の角度は、リスナの最小許容角度（ＭＡＡＬ）よりも大きい。図１における現在のソース位置および図１における現在のリスナ位置について、図２ｂの上部に示されているような回折経路はアクティブであり、エッジ１とエッジ５との間の回折特性が関連フィルタ情報であることは、動的物体なしの回折経路に関連して事前保存され得る、または図２ｂのエッジリストを使用して簡単に計算され得る。

【0029】

図４は、入力または開始エッジから出力または最終エッジ１２へ進む中間回折経路４００を示す。図３は、開始エッジ１から最終エッジ１３へ進む別の中間回折経路３００を示す。図３および図４におけるオーディオシーンは、ソースからエッジ９へ、次いでエッジ１３へ、次いでリスナへの追加の回折経路、または、ソースからエッジ１へ、そしてそこからエッジ５へ、そしてこのエッジからリスナへの追加の回折経路を有する。しかしながら、図３の経路３００は、リスナの最小許容角度、すなわち角度基準ＭＡＡＬを満たす、図３に示すリスナ位置の有効中間回折経路であると決定されるだけである。しかしながら、図４に示すリスナ位置は、経路３００のこのＭＡＡＬ基準を満たさない。

【0030】

一方、図３のリスナ位置は、図４に示す経路４００のＭＡＡＬ基準を満たさない。したがって、回折経路プロバイダ１００またはプリプロセッサは、第１のリストエントリとして図４に示される中間回折経路４００を含み、図３に示される他の中間回折経路３００を提供する、図８に示される複数の中間回折経路を転送する。中間回折経路のこのリストはレンダラに提供され、レンダラは、オーディオソース位置からリスナ位置までの１つまたは複数の有効中間回折経路を決定する。図３に示されるリスナ位置の場合、図８のリストの経路３００だけが有効中間回折経路として決定され、図４に示されるリスナ位置の場合、経路４００だけが有効中間回折経路として決定される。

【0031】

図３または図４のシナリオを参照すると、最終エッジまたは出力エッジ１５、１０、７または２を有するどの中間回折経路も、これらのエッジがリスナから全く見えないので、有効中間回折経路であると決定されない。図７のレンダラ２００は、図４のオーディオシーンにより理論的に可能なすべての中間回折経路から、リスナに見える最終エッジまたは出力エッジ、すなわち、この例ではエッジ４、５、１２、１３を有する中間回折経路だけを選択する。これはエッジリスト（ｌｉｓ）に対応する。

【0032】

同様に、ソース位置に関して、開始エッジとして、例えばエッジ３、６、１１または１４を有する、図７の回折経路プロバイダ１００から来る中間回折経路のリストで提供されるどの事前計算された中間回折経路も、全く選択されない。開始エッジ１、８、９、１６を有する回折経路だけが、ＭＡＡＳ角度基準を使用した特定の検証のために選択される。これらのエッジはエッジリスト（ｓｒｃ）にある。

【0033】

要約すると、ソースからリスナへの音伝播のフィルタ表現がそれから最終的に決定される実際の有効中間回折経路の決定は、３段階手順で選択される。第１段階では、ソース位置と一致する開始エッジを有する事前保存された回折経路だけが選択される。第２段階では、リスナ位置と一致する出力エッジを有するそのような中間回折経だけが選択され、第３段階では、それらの選択済み経路のそれぞれが、一方ではソース、他方ではリスナの角度基準を使用して検証される。次いで、３つの段階をすべて切り抜けた中間回折経路だけが、オーディオ出力信号を計算するためにレンダラによって使用される。

【0034】

図１０は、選択情報の好ましい実施態様を示す。ステップ１０２において、特定のソース位置の潜在開始エッジが、オーディオシーンのジオメトリ情報を使用して、ソース位置を使用して、特にプリプロセッサによって既に事前計算された複数の中間回折経路を使用して決定される。ステップ１０４において、特定のリスナ位置の潜在最終エッジが決定される。ステップ１０２において、ステップ１０２の結果と上述の第１段階および第２段階に対応するブロック１０４の結果とに基づいて、潜在中間回折経路が決定される。ステップ１０８において、潜在中間回折経路は、角度条件ＭＡＡＳもしくはＭＡＡＬを使用して、または一般に、あるエッジが回折エッジであるか否かを決定する可視判定によって検証される。ステップ１０８は、上記の第３段階を示す。入力データＭＡＡＳおよびＭＡＡＬＳは、例えば図８に示される中間回折経路のリストから取得される。

【0035】

図１１は、潜在中間回折経路を検証するためのブロック１０８で実行されるステップの集合のさらなる手順を示す。ステップ１１２において、ソース位置角度が開始エッジに対して計算される。これは、例えば、図１の角度１１３の計算に対応する。ステップ１１４において、リスナ位置角度が最終エッジに対して計算される。これは、例えば、図１の角度１１５の計算に対応する。ステップ１１６において、ソース位置角度は、ソースの最大許容角度ＭＡＡＳと比較され、比較の結果として角度がＭＡＡＳよりも大きい状況をもたらすと決定された場合、ブロック１２０に示すように試験は不合格である。しかしながら、角度１１３がＭＡＡＳよりも小さいと決定されると、最初の有効性試験は合格である。

【0036】

それにもかかわらず、中間回折経路は、第２の検証にも合格したときにのみ、有効中間回折経路である。これは、ブロック１１８の結果によって得られる、すなわち、ＭＡＡＬがリスナ位置角度１１５と比較される。角度１１５がＭＡＡＬよりも大きいとき、ブロック１２２に示されるように有効性試験に合格するための第２の寄与が得られ、ステップ１２６に示されるように中間回折経路リストからフィルタ情報が検索される、または、例えば、フィルタ情報は、例えば図８のリストに示される中間角度に応じたパラメトリック表現の場合にリスト内のデータに応じて計算される。

【0037】

図１１のステップ１２６の後の場合のように、有効中間回折経路に関連するフィルタ情報が取得されるとすぐに、図７のオーディオレンダラ２００は、図９に示すように最終フィルタ情報を計算しなければならない。特に、図９のステップ１２６は、図１１のステップ１２６に対応する。ステップ１２８において、ソース位置から有効中間回折経路の開始エッジまでの開始フィルタ情報が決定される。特に、これは、例えば、図１におけるエッジ（１）の頂点までのソースのオーディオ伝播を記述するフィルタ情報である。この伝播情報は、距離に起因する減衰を指すだけでなく、角度にも依存している。回折の幾何学的理論（ＧＴＤ）もしくは回折均一理論（ＵＴＤ）または本発明に可能な音波回折の他のモデルから知られているように、回折音の周波数特性は回折角に依存する。ソース角度１１３が非常に小さいとき、一般に音の低周波部分だけが回折され、高周波部分は、ソース角度１１３が図１のＭＡＡＳ角度に近づくときの状況と比較してより強く減衰される。このような状況では、高周波減衰は、ソース角度が０に近づいているかまたは非常に小さい場合と比較して低減される。

【0038】

同様に、最終または出力エッジ５からリスナ位置までの最終フィルタ情報は、やはりＭＡＡＬに対するリスナ角度１１５に基づいて決定される。次いで、それら３つのフィルタ情報項目またはフィルタ寄与が決定されるとすぐに、それらは、ステップ１３２で、フル回折経路のフィルタ表現を取得するために組み合わされ、フル回折経路は、ソースから開始エッジまでの経路、中間回折経路、および出力または最終エッジからリスナ位置までの経路を含む。組み合わせは多くの方法で行うことができ、１つの効果的な方法は、ステップ１２８、１２６および１３０で取得された３つのフィルタ表現のそれぞれをスペクトル表現に変換して対応する伝達関数を取得し、次いで、オーディオレンダラが周波数領域内で動作する場合にそのまま使用することができる最終フィルタ表現を取得するために、スペクトル領域内の３つの伝達関数を乗算することである。代替方法では、周波数領域フィルタ情報は、オーディオレンダラが時間領域で動作する場合に、時間領域に変換することができる。あるいは、３つのフィルタ項目は、個々のフィルタ寄与を表す時間領域フィルタインパルス応答を使用して畳み込み演算を受けることができ、結果として得られる時間領域フィルタインパルス応答は、レンダリングのためにオーディオレンダラによって使用することができる。この場合、レンダラは、一方のオーディオソース信号と他方の完全なフィルタ表現との間で畳み込み演算を実行する。

【0039】

続いて、静的微分物体のレンダリングの好ましい実施態様のフローチャートを提供するために、図５が示されている。手順はブロック２０２で開始する。次いで、図７の回折経路プロバイダ１００によって提供されるリストを生成するために、事前計算ステップが提供される。ステップ２０４において、トレーサに閉塞試験用のメッシュがセットされる。このステップは、エッジ相互間のすべての異なる回折経路を決定し、回折経路は、定義により、２つの隣り合わないエッジの間の直接経路が遮られたときにのみ発生し得る。例えば、図３を考慮すると、エッジ１とエッジ１１との間の経路はエッジ７によって遮られ、したがって回折が発生し得る。そのような状況は、例えば、ブロック２０４によって決定される。ブロック２０６において、潜在回折エッジリストが、２つの隣り合う三角形の間の内角を使用して計算される。この手順は、そのような回折経路部分、すなわち、例えば、エッジ１とエッジ１１との間の部分の中間角度または内角を決定する。このステップ２０６はまた、エッジ１１を経由するエッジ７とエッジ１２との間、またはエッジ１１を経由するエッジ７とエッジ１３との間のさらなる回折経路部分も決定する。対応する回折経路は、例えば図８に示されるように事前計算され、したがって、例えば図３の経路３００または例えば図４の経路４００は、経路３００のエッジ１からエッジ１３までの全音伝播、または図４の経路４００のエッジ１からエッジ１２までの全音伝播を記述する関連フィルタ情報と共に事前計算される。事前計算手順が完了し、実行時ステップが実行される。ステップ２１０において、レンダラ２００は、ソース位置およびリスナ位置のデータを取得する。ステップ２１２において、ソースとリスナとの間の方向経路閉塞試験が実行される。本手順は、ブロック２１２での試験の結果が、方向経路が遮られるというものである場合にのみ継続する。直接経路が遮られていない場合、直接伝播が発生し、いかなる回折もこの経路にとって問題ではない。

【0040】

ステップ２１４において、一方のソースからの可視エッジリストおよび他方のリスナからの可視リストが決定される。この手順は、図６のステップ１０２、１０４および１０６に対応する。ステップ２１６において、経路は、エッジリストの入力エッジから始まり、リスナのエッジリストの出力エッジで終わることが検証される。これは、図１０のブロック１０８で実行される手順に対応する。ステップ２１８において、フィルタ表現は、ソース場所が関連エッジに対する回転によって更新され得るように、例えばＵＴＤモデルデータベースからの回折フィルタが更新され得るように決定される。しかしながら、一般に、本発明は、ＵＴＤモデルデータベースアプリケーションに限定されるものではなく、本発明は、回折経路からのフィルタ情報の任意の特定の計算およびアプリケーションを使用して適用することができる。ステップ２２０において、オーディオシーンのオーディオ出力信号は、例えば、距離効果が特定のＨＲＴＦフィルタなどの対応するバイノーラルレンダリング方向フィルタ内に含まれていない場合に距離効果をレンダリングするために、そこにある関連する遅延線モジュールを使用するバイノーラルレンダリングによって計算される。

【0041】

図１２は、レンダリング済みオーディオシーンのオーディオ品質を高めるために回転前のソース位置まで行われた回転を示す。この回転は、図５のステップ２１８または図６のステップ２１８で適用されることが好ましい。レンダリングまたは空間化の目的でのソース場所の回転は、元のソース場所に関する空間知覚を向上させるのに有用である。したがって、図１２に関して、音源は、エッジ９を中心として元の音源位置１４３から角度ＤＡ＿９を経て中間位置１４１まで回転することによって得られる新たな位置１４２にレンダリングされる。この角度は、直線が得られるように、エッジ１３とエッジ９を結ぶ線によって決定される。次いで、中間位置１４１は、リスナから最終的な回転後のソース位置１４２への直線を有するために、エッジ１３を中心として角度ＤＡ＿１３を経て回転させられる。したがって、周波数依存等化または減衰値が空間化されるだけでなく、回転後のソース位置１４２での元のソースの知覚される方向も空間化される。この最終的な回転後のソース位置は、各回折プロセスにおける音伝播の角度を変化させる音波回折効果による知覚されるソース位置である。

【0042】

ソースからリスナまでの１つの回折経路例「ソース－（９）－（１３）－リスナ」を参照する。空間音を再生するための追加のファイ、シータ情報は、回転後のソースの位置１４２を使用して生成される。

【0043】

正確なソース／リスナの場所を考慮した完全な関連フィルタ情報は、周波数ごとの正確なＥＱ情報、すなわち回折効果による減衰効果を既に提供している。元のソース位置および元のソースまでの距離を使用することで、低レベルの実装を既に構成している。この低レベルの実装は、適切なＨＲＴＦフィルタを選択するために必要な情報をさらに作成することによって強化される。この目的のために、元の音源は、回折ソースの位置を生成するために、関連するエッジに対して回折角の量だけ回転させられる。次いで、リスナに対するこの位置から方位角および仰角を導出することができ、経路に沿った総伝播距離が得られる。

【0044】

図１２はまた、最終的にレンダリングされた音源位置１４２と回転プロセスによって取得されたリスナ位置との間の距離の計算も示す。ソースをレンダリングするために両方の距離依存減衰の遅延を決定するために、この距離をさらに使用することが好ましい。

【0045】

続いて、元のソース位置１４３の回転後の位置１４３の使用および決定についてさらに述べる。有効経路を取得するための計算の各ステップは、元のソース位置１４３を扱う。しかし、ＶＲ空間においてより良い没入音を感じるようにヘッドホンを装備しているユーザのためのバイノーラルレンダリングを実現するために、音源の場所は、バイノーラライザが元のオーディオ信号に適切な空間フィルタリング（Ｈ＿ＬおよびＨ＿Ｒ）を適用することができるようにバイノーラライザに与えられることが好ましく、ここで、Ｈ＿Ｌ／Ｈ＿Ｒは、例えば、ｈｔｔｐｓ：／／ｗｗｗ．ｅｃｅ．ｕｃｄａｖｉｓ．ｅｄｕ／ｃｉｐｉｃ／ｓｐａｔｉａｌ－ｓｏｕｎｄ／ｔｕｔｏｒｉａｌ／ｈｒｔｆ／に記載されているように、頭部伝達関数（ＨＲＴＦ）と呼ばれる。
Filterd_S_L = H_L(phi, theta, w) * S(w)
Filterd_S_R = H_R(phi, theta, w) * S(w)

【0046】

モノ信号Ｓ（ｗ）は、空間音を生成するために使用されるいかなる定位キューも有さない。しかし、ＨＲＴＦによるフィルタリングされた音は、空間的印象を再現することができる。これを行うために、ファイおよびシータ（すなわち、回折ソースの相対方位角および仰角）は、プロセスを通して与えられるべきである。これが、元の音源を回転させる理由である。したがって、レンダラは、フィルタ情報に加えて、図１２の最終ソース位置１４２の情報を受け取る。低レベルの実装では、音源回転の複雑さを回避することができるように元の音源１４３の方向を使用することが一般に可能であるが、この手順は図１２に見られる方向誤差をもたらす。しかしながら、低レベルの実装では、この誤差は受け入れられる。距離感についても同様である。図１２に示すように、回転後のソース１４２のリスナまでの距離は、元のソース１４３のリスナまでの距離よりもいくらか長い。この距離の誤差は、複雑さを低減するために低レベルの注入で受け入れられ得る。しかしながら、高レベルのアプリケーションでは、この誤差を回避することができる。

【0047】

したがって、元のソースを関連するエッジに対して回転させることにより回折音源の場所を生成すると、ソースおよびリスナからの伝播距離を提供することもでき、この距離は距離による減衰に使用される。

【0048】

ファイ、シータ、および距離の追加情報を生成するこのプロセスは、マルチチャネル再生システムにも有用である。唯一の違いは、マルチチャネル再生システムの場合、異なる空間フィルタセットがＳ（ｗ）に適用されて、Ｆｉｌｔｅｒｅｄ＿Ｓ＿ｉを第ｉのスピーカに「Ｆｉｌｔｅｒｄ＿Ｓ＿ｉ＝Ｈ＿ｉ（ファイ、シータ、ｗ、他のパラメータ）＊Ｓ（ｗ）」として供給することである。

【0049】

好ましい実施形態は、有効中間回折経路に応じて、またはフル回折経路に応じて、回転後のオーディオソース位置が、有効中間回折経路によって受ける回折効果に起因して、またはフル回折経路に応じて、オーディオソース位置とは異なることを計算し、オーディオシーンのオーディオ出力信号を計算すること（２２０）においてオーディオソースの回転後の位置を使用するように構成される、あるいは、フィルタ表現に加えて、フル回折経路に関連するエッジシーケンスおよびフル回折経路に関連する回折角シーケンスを使用してオーディオシーンのオーディオ出力信号を計算するように構成される、レンダラの動作に関する。

【0050】

別の実施形態では、レンダラは、リスナ位置から回転後のソース位置までの距離を決定し、この距離を、オーディオシーンのオーディオ出力信号を計算する際に使用するように構成される。

【0051】

別の実施形態では、レンダラは、回転後のソース位置およびオーディオ出力信号の所定の出力フォーマットに応じて１つまたは複数の方向フィルタを選択し、オーディオ出力信号を計算する際に１つまたは複数の方向フィルタおよびフィルタ表現をオーディオ信号に適用するように構成される。

【0052】

別の実施形態では、レンダラは、回転後のソース位置とリスナ位置との間の距離に応じて減衰値を決定し、フィルタ表現またはオーディオソース位置または回転後のオーディオソース位置に応じた１つまたは複数の方向フィルタに加えて、オーディオ信号に適用するように構成される。
別の実施形態では、レンダラは、少なくとも１つの回転動作を含む一連の回転動作で回転後のソース位置を決定するように構成される。

【0053】

シーケンスの第１のステップでは、フル回折経路の第１の回折エッジから開始して、第１の回折エッジからソース場所までの経路部分を第１の回転動作で回転させて、第２の回折エッジ、またはフル回折経路が第１の回折エッジだけを有する場合にはリスナ位置から第１の中間回転後ソース位置までの直線を取得し、第１の中間回転後ソース位置は、フル回折経路が第１の回折エッジだけを有するときに回転後のソース位置である。シーケンスは、単一の回折エッジについて終了する。２つの回折エッジを有する場合、第１のエッジは図１２のエッジ９となり、第１の中間位置は項目１４１である。

【0054】

２つ以上の回折エッジの場合、第１の回転動作の結果は、第２の回転動作で第２の回折エッジの周りを回転させられて、第３の回折エッジ、またはフル回折経路が第１の回折エッジおよび第２の回折エッジだけを有する場合にはリスナ位置から第２の中間回転後ソース位置までの直線を取得し、第２の中間回転後ソース位置は、フル回折経路が第１の回折エッジおよび第２の回折エッジだけを有するときに回転後のソース位置である。シーケンスは、２つの回折エッジについて終了する。２つの回折エッジを有する場合、第１のエッジは図１２のエッジ９となり、第２のエッジはエッジ１３である。

【0055】

図３の経路３００などの、３つ以上の回折エッジを有する経路の場合、手順は継続され、１つまたは複数の回転動作が、図３の第３の回折エッジ１１を用いて、次いで図３のエッジ１２の図３のエッジ１３を用いて、一般に、フル回折経路が処理され、リスナ位置からそのときに得られた回転後のソース位置までの直線が得られるまで、さらに実行される。

【0056】

続いて、動的物体（ＤＯ）を処理するための好ましい実施態様が示される。この目的のために、図１の状況に対して、ある瞬間から別の瞬間へのオーディオシーンの中心位置に配置されている動的物体ＤＯを示す図２ｂを参照する。これは、図２ｄの上段に示されているエッジ１からエッジ５までの中間回折経路が回折物体ＤＯによって中断され、２つの新しい回折経路が生成される、すなわち、一方がエッジ１からエッジ７まで、次いでエッジ５まで生成され、他方がエッジ１からエッジ３まで、次いでエッジ５まで生成されていることを意味する。これらの回折経路は、リスナが図２ａの左側に配置されている場合に適切である。動的物体が音シーン内に配置されていることにより、ＭＡＡＳ条件およびＭＡＡＬ条件もまた、動的物体なしの状況に対して変化している。図１の中間回折経路リストは、例えば図６の項目２２６に示されるように、図２ｂの下部に示される２つの追加の中間回折経路によってそのまま増強される。特に、図５のエッジ１からエッジ５までの元の経路が、ソースがエッジ１の近くに配置されていないが、例えば、物体相互間に１つまたは複数の他の反射経路があり、同様の状況がリスナに関するものである、より大きな反射状況の一部のみであると仮定すると、動的物体なしで図１に存在する事前に計算された回折経路は、図１の１～５の回折経路を２つの追加の経路で置き換えるだけで、それにもかかわらず、エッジ１から回折経路の任意の開始エッジまでの前の部分をそのままにすることにより、またエッジ５から任意の出力エッジまたは最終エッジまでの経路部分もそのままにすることにより、実行時に容易に更新することができる。

【0057】

図６は、動的物体を用いて実行される手順の状況を示す。ステップ２２２において、動的物体ＤＯが、その場所を、例えば並進および回転により変えているかどうかが決定される。動的物体に付されたエッジは更新される。図２ａの例では、ステップ２２２は、図１に示される前の時点とは対照的に、特定のエッジ７０、６０、２０、３０を有する動的物体がそこにあると決定する。ステップ２１４において、エッジ１およびエッジ５を含む中間回折経路が見つけられる。ステップ２２４において、エッジ１とエッジ５との間の経路内に配置された動的物体のために、中断があると決定される。ステップ２２４において、図２ｂの下部に示されているように、一方では動的物体エッジ３０の上のエッジ１からエッジ５までの追加経路、および動的物体エッジ６０の上のエッジ１からエッジ５までの追加の経路が見つけられる。ステップ２２６において、中断されていない経路は、２つの追加経路によって拡張される。これは、任意の（図示されていない）入力エッジからエッジ１に至り、エッジ５から任意の（図示されていない）出力エッジへ進む経路（図には示されていない）から、エッジ１とエッジ５との間の経路部分を図２ｂに示されている２つの他の経路部分で置き換えることによって修正されることを意味する。入力エッジからエッジ１までの第１の経路部分は、２つの追加の中間回折経路を得るためにこれら２つの経路部分と共にスティッチングされ、エッジ５から出力エッジまで延びる元の経路の出力部分もまた、２つの対応する拡張された中間回折経路にスティッチングされ、したがって、動的物体に起因して、１つ前の中間回折経路（動的物体なし）から、２つの新しい拡張された前の回折経路が生成されている。図６に示される他のステップは、図５に示されているものと同様に行われる。

【0058】

（実行時に）回折効果を動的物体によってレンダリングすることは、没入型メディアを用いた娯楽のためのインタラクティブな印象を提示する最良の方法の１つである。動的物体による回折を考慮する好ましい方策は以下の通りである。

【0059】

１）事前計算ステップにおいて、
Ａ．動的物体／ジオメトリがある場合、所与の動的物体の周りの可能な（中間）回折経路を事前計算する。
Ｂ．複数の動的物体／ジオメトリがある場合、異なる動的物体間で回折が許容されないという仮定に基づいて、単一の物体の周りの可能な（中間）回折経路を事前計算する。
Ｃ．動的／ジオメトリおよび静的物体／ジオメトリがある場合、静的物体と動的物体との間で回折が許容されないという仮定に基づいて、動的または静的物体の周りの可能な経路を事前計算する。

【0060】

２）実行時ステップにおいて、
Ａ．動的メッシュが（並進および回転に関して）再配置される場合にのみ、再配置された動的メッシュに属する潜在エッジを更新する。
Ｂ．ソースおよびリスナから可視エッジリストを見つける。
Ｃ．ソースのエッジリストから始まり、リスナのエッジリストで終わる経路を検証する。
Ｄ．中間エッジ対相互間の可視性を試験し、動的物体または静的物体であり得る遮断物体による侵入がある場合、検証された経路内の経路をエッジ、三角形、および角度によって拡張する。

【0061】

動的物体／ジオメトリを処理するための拡張アルゴリズムは、静的シーンのものと比較して追加のステップを有する図６に示されている。

【0062】

好ましい方法は、特別な場合を除いて再検討される必要がない（中間）回折経路情報を事前計算することを考慮すると、事前計算されたデータを更新することが許容されない最新技術と比較して、いくつかの実用的な利点が生じる。さらに、複数の回折経路を組み合わせて拡張されたものを生成する柔軟な特徴は、静的および動的物体を共に考慮することを可能にする。

【0063】

（１）低い計算の複雑性：好ましい方法は、実行時に所与のソース場所からリスナの場所までのフル経路を構築する必要がない。代わりに、２点間の有効な中間経路を見つけるだけでよい。

【0064】

（２）静的物体と動的物体との組合せまたは複数の動的物体の組合せの回折効果をレンダリングする能力：最新技術の技法では、静的物体および動的物体による回折効果を同時に考慮するために、実行時に（静的または動的）エッジ間の可視グラフ全体を更新する必要がある。好ましい方法は、２つの有効な経路／経路部分の効率的なステッチングプロセスを必要とする。

【0065】

一方、（中間）回折経路を事前計算するには、最新技術の技法と比較して、より多くの時間が必要である。しかしながら、１つのフル経路における最大許容減衰レベル、最大伝播距離、回折の最大次数などの合理的な制約を適用することにより、事前計算された経路データのサイズを制御することが可能である。

【0066】

１）［幾何音響ベースの手法］事前計算された（中間）経路情報に基づいて、複数の可視／適切に配向されたエッジにＵＴＤモデルを適用するための好ましい方法が発明された。この事前計算されたデータは、動的物体による中断などの非常にまれなケースを除いて、リアルタイムで（ほとんどの時間）監視される必要はない。したがって、本発明は、リアルタイムでの計算を最小限に抑える。

【0067】

２）［モジュール化］事前計算された経路はすべてモジュールとして機能する。
Ａ．静的シーンでは、リアルタイムステップでは、２つの空間点の間の有効なモジュールを見つけるだけでよい。
Ｂ．動的シーンでは、物体（Ｂ）による有効経路内に異なる物体（Ａ）による中断が存在する場合でも、Ｂ経由の経路をＡ経由の有効経路で拡張する必要がある（２つの異なる画像をスティッチングすることを想像されたい）。

【0068】

３）［完全に動的な相互作用をサポートする］静的物体と動的物体の組合せまたは複数の動的物体の組合せを含むリアルタイムレンダリング回折効果が実現可能である。

【0069】

本明細書では、前述のすべての代替形態または態様、および以下の特許請求の範囲における独立請求項によって定義されるすべての態様は、個々に、すなわち、企図される代替形態、目的または独立請求項以外の代替形態または目的なしに使用され得ることに言及しておく。しかしながら、他の実施形態では、代替形態もしくは態様または独立請求項のうちの２つ以上を互いに組み合わせることができ、他の実施形態では、すべての態様または代替形態およびすべての独立請求項を互いに組み合わせることができる。

【0070】

発明的符号化信号は、デジタル記憶媒体または非一時的記憶媒体上に保存することができるか、あるいはインターネットなどの無線伝送媒体または有線伝送媒体などの伝送媒体上で伝送することができる。

【0071】

いくつかの態様が装置の文脈で説明されているが、これらの態様は対応する方法の説明も表しており、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応していることは明らかである。同様に、方法ステップの文脈で説明されている態様は、対応するブロックもしくは項目または対応する装置の特徴も表す。

【0072】

いくつかの実施要件に応じて、本発明の諸実施形態はハードウェアまたはソフトウェアで実施することができる。この実施態様は、電子的に読取り可能な制御信号が保存されているデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して行うことができ、デジタル記憶媒体は、当該方法が実行されるように、プログラマブルコンピュータシステムと協働する（または協働することができる）。

【0073】

本発明によるいくつかの実施形態は、電子的に読取り可能な制御信号を有するデータキャリアを備え、電子的に読取り可能な制御信号は、本明細書に記述されている方法のうちの１つが実行されるように、プログラマブルコンピュータシステムと協働することができる。

【0074】

一般に、本発明の諸実施形態は、プログラムコードを有するコンピュータプログラムプロダクトとして実施することができ、プログラムコードは、コンピュータプログラムプロダクトがコンピュータ上で作動するときに方法のうちの１つを実行するために機能する。プログラムコードは、例えば機械可読キャリアに保存されてもよい。

【0075】

他の実施形態は、機械可読キャリアまたは非一時的記憶媒体に保存される、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを備える。

【0076】

言い換えると、したがって、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で作動するときに、本明細書に記述されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0077】

したがって、本発明の方法の別の実施形態は、データキャリア（またはデジタル記憶媒体もしくはコンピュータ可読媒体）であり、データキャリアに記録された、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを含む。

【0078】

したがって、本発明の方法の別の実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号は、例えば、データ通信接続を通じて、例えばインターネットを通じて転送されるように構成することができる。

【0079】

別の実施形態は、本明細書に記述されている方法のうちの１つを実行するように構成または適合された処理手段、例えばコンピュータ、またはプログラマブル論理デバイスを備える。
別の実施形態は、本明細書に記述されている方法のうちの１つを実行するためのコンピュータプログラムがインストールされたコンピュータを備える。

【0080】

いくつかの実施形態では、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）が、本明細書に記述されている方法の機能の一部または全部を実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記述されている方法のうちの１つを実行するためにマイクロプロセッサと協働することができる。一般に、方法は、任意のハードウェア装置によって実行されることが好ましい。

【0081】

上述した実施形態は、本発明の原理の例示にすぎない。本明細書に記述されている配置および詳細の修正形態および変形形態は、当業者には明らかになることが理解されよう。したがって、差し迫った特許請求の範囲によってのみ限定され、本明細書の実施形態の記述および説明により提示される特定の詳細によって限定されるものではないことが意図される。

【0082】

参考文献
[1] L. Savioja and V. Vaelimaeki. Interpolated rectangular 3-D digital waveguide mesh algorithms with frequency warping. IEEE Trans. Speech Audio Process., 11(6) 783-790, 2003

【0083】

[2] Mehra, R., Raghuvanshi, N., Antani, L., Chandak, A., Curtis, S., And Manocha, D. Wave-based sound propagation in large open scenes using an equivalent source formulation, ACM Trans. on Graphics 32(2) 19:1-19:13, 2013

【0084】

[3] Mehra, R., Antani, L., Kim, S., and Manocha, D. Source and listener directivity for interactive wave-based sound propagation, IEEE Transactions on Visualization and Computer Graphics, 20(4) 495-503, 2014

【0085】

[4] Nikunj Raghuvanshi and John M. Snyder, Parametric directional coding for precomputed sound propagation, ACM Trans. on Graphics 37(4) 108:1-108:14, 2018

【0086】

[5] J. B. Allen, and D. A. Berkley, Image method for efficiently simulating small-room acoustics. The Journal of the Acoustical Society of America 65(4) 943-950, 1979

【0087】

[6] M. Vorlaender, Simulation of the transient and steady-state sound propagation in rooms using a new combined raytracing/image-source algorithm, The Journal of the Acoustical Society of America 86(1) 172-178, 1989

【0088】

[7] T. Funkhouser, I. Carlbom, G. Elko, G. Pingali, M. Sondhi, and J. West, A beam tracing approach to acoustic modeling for interactive virtual environments, In Proc. of ACM SIGGRAPH, 21-32, 1998

【0089】

[8] M. Taylor, A. Chandak, L. Antani, and D. Manocha, Resound: interactive sound rendering for dynamic virtual environments, In Proc. of the seventeen ACM international conference on Multimedia, 271-280, 2009

【0090】

[9] R. G. Kouyoumjian and P. H. Pathak, A uniform geometrical theory of diffraction for an edge in a perfectly conducting surface, In Proc. of the IEEE 62, 11, 1448-1461, 1974

【0091】

[10] U. P. Svensson, R. I. Fred, and J. Vanderkooy, An analytic secondary source model of edge diffraction impulse responses, Acoustical Society of America Journal 106 2331-2344, 1999

【0092】

[11] N. Tsingos, T. Funkhouser, A. Ngan, and I. Carlbom, Modeling acoustics in virtual environments using the uniform theory of diffraction, In Proc. of the SIGGRAPH, 545-552, 2001

【0093】

[12] M. Taylor, A. Chandak, Q. Mo, C. Lauterbach, C. Schissler, and D. Manocha, Guided multiview ray tracing for fast auralization. IEEE Transactions on Visualization and Computer Graphics 18, 1797-1810, 2012

【0094】

[13] H. Yeh, R. Mehra, Z. Ren, L. Antani, D. Manocha, and M. Lin, Wave-ray coupling for interactive sound propagation in large complex scenes, ACM Trans. Graph. 32, 6, 165:1-165:11, 2013

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】