2023-539220 残響オーディオ信号を生成するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-09-13

(54)【発明の名称】残響オーディオ信号を生成するための方法

(51)【国際特許分類】

   H04S 7/00 20060101AFI20230906BHJP

   G10K 15/12 20060101ALI20230906BHJP

【ＦＩ】

H04S7/00 350

G10K15/12

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023513215

(86)(22)【出願日】2021-08-26

(85)【翻訳文提出日】2023-03-28

(86)【国際出願番号】 NL2021050523

(87)【国際公開番号】W WO2022045888

(87)【国際公開日】2022-03-03

(31)【優先権主張番号】2026361

(32)【優先日】2020-08-28

(33)【優先権主張国・地域又は機関】NL

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＰＥＮＴＩＵＭ

２．ＳＭＡＬＬＴＡＬＫ

(71)【出願人】

【識別番号】522232721

【氏名又は名称】リキッド・オキシゲン・（エルオーイクス）・ベー・フェー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】パウルス・オーメン

【テーマコード（参考）】

5D162

5D208

【Ｆターム（参考）】

5D162AA05

5D162AA11

5D162BA19

5D162CC37

5D162DA22

5D162EG07

5D208AA08

5D208AB07

(57)【要約】

仮想オブジェクトに関連付けられた残響オーディオ信号を生成するための方法が開示される。方法は、仮想オブジェクトの表現を記憶するステップを含み、表現は、仮想オブジェクトを構成する複数の仮想点を定義し、仮想点は、互いに対してそれぞれの仮想位置を有し、仮想点は、仮想点の対称群に属する。仮想点の各対称群は、1つまたは複数の対称群距離のセットに関連付けられる。セットがそれぞれ対称群に関連付けられている1つまたは複数の対称群距離のセットは、一緒に、1つまたは複数の距離のさらなるセットを形成する。方法は、入力オーディオ信号を受信および/または記憶および/または生成するステップと、各仮想点について、入力オーディオ信号またはそのフィルタリングされたバージョンに基づいて、仮想点オーディオ信号成分を決定するステップとをさらに含む。方法はまた、複合オーディオ信号を取得するために、仮想点オーディオ信号成分を組み合わせるステップと、1つまたは複数の距離のさらなるセット内の各別個の距離について、複合オーディオ信号に基づいて、1つまたは複数の距離オーディオ信号を決定するステップとを含む。方法はまた、1つまたは複数の距離オーディオ信号と、仮想点オーディオ信号成分とに基づいて、残響オーディオ信号を決定するステップを含む。

【特許請求の範囲】

【請求項1】

仮想オブジェクトに関連付けられた残響オーディオ信号を生成するための方法であって、
前記仮想オブジェクトの表現を記憶するステップを含み、前記表現が、前記仮想オブジェクトを構成する複数の仮想点を定義し、前記仮想点が、互いに対してそれぞれの仮想位置を有し、前記仮想点が、仮想点の対称群に属し、前記仮想点の対称群が、
前記複数の仮想点のうちの各仮想点について、前記複数の仮想点のうちの問題の仮想点とそれぞれの他の仮想点との間のそれぞれの仮想距離を含む1つまたは複数の仮想距離のセットを定義するステップと、
仮想点に関連付けられた1つまたは複数の距離の各セットについて、前記仮想点に関連付けられた1つまたは複数の距離のさらなるセットを取得するために、前記セット内の任意の他の距離の整数倍である距離を除去するステップと、
仮想点に関連付けられた1つまたは複数の距離の各々のさらなるセットについて、前記仮想点に関連付けられた1つまたは複数の距離の仮想点固有のセットを形成するために、問題のさらなるセット内の別個の距離を決定するステップと、
仮想点の対称群を形成するために、1つまたは複数の距離の同じそれぞれの仮想点固有のセットを有する仮想点を決定するステップであって、前記仮想点の対称群が、その仮想点の前記仮想点固有のセットと同じ1つまたは複数の対称群距離のセットに関連付けられる、ステップと
によって取得可能であり、
セットがそれぞれ対称群に関連付けられている前記1つまたは複数の対称群距離のセットが、一緒に、1つまたは複数の距離のさらなるセットを形成し、
前記方法が、
入力オーディオ信号を受信および/または記憶および/または生成するステップと、
各仮想点について、前記入力オーディオ信号またはそのフィルタリングされたバージョンに基づいて、仮想点オーディオ信号成分を決定するステップと
複合オーディオ信号を取得するために、このようにして取得された仮想点オーディオ信号成分を組み合わせるステップと、
前記1つまたは複数の距離のさらなるセット内の各別個の距離について、前記複合オーディオ信号に基づいて、1つまたは複数の距離オーディオ信号を決定するステップと
前記1つまたは複数の距離オーディオ信号と、前記仮想点オーディオ信号成分とに基づいて、前記残響オーディオ信号を決定するステップと
をさらに含む、
方法。

【請求項2】

各対称群について、前記決定された距離オーディオ信号に基づいて1つまたは複数の対称群オーディオ信号を決定するステップと、
前記対称群オーディオ信号と前記仮想点オーディオ信号成分とに基づいて前記残響オーディオ信号を決定するステップと
をさらに含む、請求項1に記載の方法。

【請求項3】

前記入力オーディオ信号またはそのフィルタリングされたバージョンに基づいて、各仮想点について仮想点オーディオ信号成分を決定するステップが、
各仮想点について、前記入力オーディオ信号またはその修正された、例えばフィルタリングされたバージョンに対して仮想点固有の演算を実行するステップを含み、前記仮想点固有の演算を実行するステップが、時間遅延を導入する時間遅延演算を実行するステップを含み、前記導入される時間遅延が、音速で割った、問題の仮想点と仮想音源との間の仮想距離にほぼ等しい、
請求項1または2に記載の方法。

【請求項4】

前記1つまたは複数の距離のさらなるセット内の各別個の距離について、1つまたは複数の距離オーディオ信号を決定するステップが、
前記1つまたは複数の距離のさらなるセット内の各個別の距離について、第1の距離オーディオ信号と第2の距離オーディオ信号とを決定するステップを含み、
前記別個の距離について前記第1の距離オーディオ信号を決定するステップが、時間遅延を導入する時間遅延演算と、信号減衰演算と、ローパスフィルタ演算と、信号フィードバック演算とを実行することによって、前記複合オーディオ信号を修正するステップを含み、
前記別個の距離について前記第2の距離オーディオ信号を決定するステップが、第2の時間遅延を導入する第2の時間遅延演算と、信号反転演算と、信号減衰演算と、ローパスフィルタ演算と、第2の信号フィードバック演算とを実行することによって、前記複合オーディオ信号を修正するステップを含む、
請求項1から3のいずれか一項に記載の方法。

【請求項5】

前記第1の時間遅延演算によって導入される前記時間遅延が、音速で割った前記別個の距離に等しい、請求項1から4のいずれか一項に記載の方法。

【請求項6】

各対称群について、前記距離オーディオ信号に基づいて、1つまたは複数の対称群オーディオ信号を決定するステップが、
各対称群について、第1の対称群オーディオ信号と、第2の対称群オーディオ信号とを決定するステップを含み、
前記第1および第2の対称群オーディオ信号を決定するステップが、第1および第2の距離オーディオ信号のすべてのペアから距離オーディオ信号を選択するステップであって、各ペアが、問題の対称群に関連付けられた前記1つまたは複数の対称群距離のセットのうちのそれぞれの距離について決定された、ステップと、前記第1の対称群オーディオ信号を決定するために前記選択された距離オーディオ信号を結合し、前記第2の対称群オーディオ信号を決定するために第1および第2の距離オーディオ信号のすべての前記ペアのうちの選択されていない距離オーディオ信号を結合するステップとを含む、
請求項2、請求項4および5のいずれか一項に記載の方法。

【請求項7】

前記対称群オーディオ信号と前記仮想点オーディオ信号成分とに基づいて前記オーディオ信号を決定するステップが、
前記残響オーディオ信号を決定するために、前記対称群オーディオ信号と前記仮想点オーディオ信号成分とを結合するステップを含み、
前記オーディオ信号を決定するために、前記対称群オーディオ信号と前記仮想点オーディオ信号成分とを結合するステップが、
修正されたオーディオ信号成分を決定するステップを含み、修正されたオーディオ信号成分を決定するステップが、対称群に属する仮想点について決定された各仮想点オーディオ信号成分に、問題の対称群の前記第1または第2の対称群オーディオ信号を追加するステップを含む、
請求項2から6のいずれか一項に記載の方法。

【請求項8】

さらなる仮想オブジェクトのためのさらなる残響オーディオ信号を生成するために請求項1から7のいずれか一項に記載の方法を実行するステップをさらに含み、
前記仮想オブジェクトに関連付けられた前記決定された残響オーディオ信号が入力オーディオ信号として使用される、
請求項1から7のいずれか一項に記載の方法。

【請求項9】

前記仮想オブジェクトに関連付けられた前記残響オーディオ信号と、前記さらなる仮想オブジェクトに関連付けられた前記さらなる残響オーディオ信号とを結合するステップと、オプションで、
前記結合したものを1つまたは複数のスピーカに提供するステップと
をさらに含む、請求項1から8のいずれか一項に記載の方法。

【請求項10】

前記決定されたオーディオ信号を1つまたは複数のスピーカに提供するステップをさらに含む、請求項1から9のいずれか一項に記載の方法。

【請求項11】

前記修正されたオーディオ信号成分を1つまたは複数のスピーカに提供するステップが、前記修正されたオーディオ信号成分を、前記修正されたオーディオ信号成分を複数のスピーカに分配するように構成されたパニングシステムに提供するステップを含む、
請求項1から10のいずれか一項に記載の方法。

【請求項12】

各仮想点について仮想点オーディオ信号成分を決定する前に、前記入力オーディオ信号をフィルタリングするステップをさらに含み、前記入力オーディオ信号をフィルタリングするステップが、
それぞれの減衰係数を使用して前記入力オーディオ信号におけるそれぞれの周波数帯域を減衰させるステップを含むマルチバンドフィルタを適用するステップを含み、前記それぞれの減衰係数が、前記仮想オブジェクトの材料に基づいて決定される、
請求項1から11のいずれか一項に記載の方法。

【請求項13】

前記1つまたは複数の距離のさらなるセット内の各別個の距離について、1つまたは複数の距離オーディオ信号を決定するステップが、
時間遅延を導入する時間遅延演算と、信号減衰演算と、ローパスフィルタ演算と、信号フィードバック演算とを実行することによって、前記複合オーディオ信号を修正するステップを含む、前記1つまたは複数の距離のさらなるセット内の各別個の距離について、距離オーディオ信号を決定するステップを含み、前記方法が、
仮想点の少なくとも1つの対称群について、密度指数を決定するステップであって、
前記少なくとも1つの対称群に関連付けられた前記1つまたは複数の対称群距離のセットからの各距離について、問題の距離に対する距離オーディオ信号を決定するためにどれくらい多くのフィードバック演算が時間の単位あたりに実行されたかを、例えば、問題の距離オーディオ信号を決定するために実行された前記時間遅延演算によって導入された前記時間遅延によって前記時間の単位を割ることによって決定し、したがって、前記少なくとも1つの対称群に関連付けられた前記1つまたは複数の対称群距離のセットからの各距離について、実行されたフィードバック演算のそれぞれの数を取得するステップと、
前記仮想点の対称群のための前記密度指数を取得するために、前記実行されたフィードバック演算のそれぞれの数を加算するステップと
を含むステップを含み、前記方法が、
前記密度指数のためのしきい値を受信するステップと、
前記決定された密度指数が前記しきい値よりも低いことを決定するステップと、
この決定に基づいて、前記仮想オブジェクトを構成する仮想点の数を増加させることによって、前記記憶された表現を変更するステップと
をさらに含む、
請求項1から12のいずれか一項に記載の方法。

【請求項14】

前記ローパスフィルタ演算が、
前記ローパスフィルタリングされるべき信号が、前記ローパスフィルタ演算に関連付けられたカットオフ周波数よりも低いナイキスト周波数に関連付けられていることを決定するステップと、
この決定に基づいて、前記カットオフ周波数以上のナイキスト周波数に関連付けられるように、前記フィルタリングされるべき信号をアップサンプリングするステップと、
前記アップサンプリングされた信号をローパスフィルタリングするステップと、
オプションで、前記フィルタリングされた信号が出力サンプルレートよりも高いサンプルレートに関連付けられていることを決定し、前記出力サンプルレートが出力システムによって出力され得るサンプルレートであり、この決定に基づいて、前記フィルタリングされた信号をダウンサンプリングするステップと
を含む、
請求項4から13のいずれか一項に記載の方法。

【請求項15】

コンピュータ可読プログラムコードが共に具体的されたコンピュータ可読記憶媒体と、
前記コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備え、前記コンピュータ可読プログラムコードを実行することに応答して、前記プロセッサが、請求項1から14のいずれか一項に記載の方法を実行するように構成される、コンピュータ。

【請求項16】

少なくとも1つのソフトウェアコード部分を含むコンピュータプログラムもしくはコンピュータプログラムのスイート、または少なくとも1つのソフトウェアコード部分を記憶するコンピュータプログラム製品であって、前記ソフトウェアコード部分が、コンピュータシステム上で実行されると、請求項1から14のいずれか一項に記載の方法を実行するために構成される、少なくとも1つのソフトウェアコード部分を含むコンピュータプログラムもしくはコンピュータプログラムのスイート、または少なくとも1つのソフトウェアコード部分を記憶するコンピュータプログラム製品。

【請求項17】

少なくとも1つのソフトウェアコード部分を記憶する非一時的なコンピュータ可読記憶媒体であって、前記ソフトウェアコード部分が、コンピュータによって実行または処理されると、請求項1から14のいずれか一項に記載の方法を実行するように構成される、コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、残響オーディオ信号を生成するためのシステムおよび方法に関する。

【背景技術】

【0002】

正確で知覚的に説得力のある残響を再現することの問題が一般的に知られている。

【0003】

例えば、コンサートホールを音響的にシミュレートするための要件を検討するとき、1つの離散的な点音響エネルギー源による1つの離散的なリスニングポイント、すなわち、リスナーの片耳における音響空間の応答のみを必要とすると考える。音源からリスナーの耳に伝播する直接信号は、減衰スケーリングまたはローパスフィルタと直列の単一の遅延線を使用してシミュレートされ得る。第2に、1つまたは複数の反射を介してリスニングポイントに到達する各音線は、遅延線と何らかのスケーリングファクタまたはフィルタとを使用してシミュレートされ得る。より具体的には、タップ付き遅延線が、多くの反射をシミュレートすることができる。各タップは、適切な遅延および利得において1つのエコーを引き出し、各タップは、空気吸収と反射損失とをシミュレートするために独立してフィルタリングされ得る。残響は、実際には、各音源から各リスニングポイントへの音響伝播の多くの経路から構成されるので、原理的には、タップ付き遅延線は、任意の残響環境を正確にシミュレートすることができる(Smith、1993年)。

【0004】

i)タップ付き遅延線は、信号経路分布の信号減衰などの他の技法と比べて比較的計算コストが高く、ii)各タップ付き線は、「ポイントツーポイント」伝達関数、すなわち、1つの点音源から1つの耳への伝達関数のみを処理するが、多くのポイントツーポイント伝達関数を必要とし、音源および/またはリスナーが移動するか、または部屋の他の何かが変化するとき、各ポイントツーポイント伝達は、変更されるべきであるので、シミュレーションの手法は、その基本的な問題がそうであるように、単純なように見える。

【0005】

各エコーが3次元空間における特定の到来角から来たものとして知覚される可能性があると考えると、問題は、さらに増大する。例えば、反射がそれらの自然な方向から来るように現れるように、少なくともいくつかの残響反射は、空間化されるべきであり、すなわち、空間的に構成されたスピーカチャネルにわたって分配されるか、または耳の耳介の頭部伝達関数(HRTF)を考慮に入れてフィルタリングされるべきである(Kendall、Martens、1984年)。したがって、音源またはリスナーの位置を含む何かがリスニング空間において変化すると、空間化も変化するはずである。

【0006】

音楽の場合、典型的な残響時間は、約1秒である。残響時間にちょうど1秒を選択したとする。50kHzのオーディオサンプリングレートにおいて、各フィルタは、1サンプルあたり50000回の乗算および加算、すなわち、1秒あたり25億回の乗算および加算を必要とする。例えば、3つの音源および2つのリスニングポイント(1人のリスナーの2つの耳)のシミュレーションを扱うと、残響を再現するために1秒あたり300億回の演算に達する。この計算負荷は、CPUが同時に何もしていないと仮定し、必要なメモリアクセスによって引き起こされる待ち状態なしで、クロックサイクルごとに乗算と加算の両方が開始され得ると仮定した場合、3Ghzでクロック制御される少なくとも10個のPentium CPUを必要とする(Smith、1993年)。

【0007】

したがって、音の残響を再現するためのポイントツーポイント伝達関数は、計算コストが非常に高いと結論づけることができる。主に科学的または測定目的のために使用される音響波シミュレーションの分野におけるいくつかのアプリケーションは、米国特許第2015/78563号、「Acoustic Wave Reproduction Systems」(Robertson、2015年)に記載されているような完全なポイントツーポイント伝達関数の導関数モデルを使用するが、物理モデリングに基づく明白な方法は、ほとんどのアプリケーションにとって計算コストが高すぎるので、最初に、残響の知覚的に重要な側面と、これらがより効率的な計算構造によってどのように提供され得るかとを考慮に入れなければならないことが、上記から明らかである。

【0008】

一般的に、残響の問題は、知覚品質を犠牲にすることなく、単純化され得ると考えられる。例えば、典型的には、エコー密度は、t²とともに増加し、ここで、tは、時間である。したがって、ある時間を超えると、エコーの量は、非常に大きくなり、知覚的忠実度の損失なしに、均一にサンプリングされた確率的プロセスとしてモデル化され得る。特に、音のサンプルごとに各エコーを明示的に計算する必要はない。滑らかに減衰する後期残響の場合、オーディオサンプリングレートにおいてサンプリングされた適切なランダムプロセスは、知覚的に同等に聞こえる。知覚的に許容できると考えられる必要な時間密度は、1秒あたり1000エコーである(Schroeder、1961年)。しかしながら、時間密度は、トランジェントが大きい衝撃音の場合、10000程度でなければならない場合がある(Gardner、1998年)。

【0009】

同様に、ある周波数よりも上では、ある統計に従って生成されたランダム周波数応答と知覚的に同等になるほど共振モードが密集するように、任意の所与の周波数帯域における共振モードの数は、f²とともに増加することが示され得る。特に、より高密度にパックされた共振を明示的に実装する必要はなく、むしろ、必要なモード密度は、周波数範囲にわたって規則的な間隔の周波数密度に等しいが、これは、時間領域における可聴周期性を生成し、応答の滑らかさのバランスを崩すので、あまり規則的ではない。

【0010】

設定基準は、残響インパルス応答として白色ノイズ信号を指数関数的に減衰させることにいくぶん近くなる。これは、時間領域および周波数領域の両方の滑らかさの基準を満たす(Moorer、1979年)。しかしながら、自然な残響は、高周波においてより速く減衰するので、理想的な残響インパルス応答は、高周波エネルギーが低周波エネルギーよりも速く減衰する、指数関数的に減衰する「色付き」ノイズであると言ったほうがよい。

【0011】

残響を再現するための当該技術分野で知られている方法は、2つの方向に分けられ得る。一方では、人工残響の分野、典型的には遅延線、櫛形フィルタ、およびオールパスフィルタを構成する要素から構成される、Schroederオールパスセクション(Schroeder、1961年)として導入され今日まで人工残響および関連する効果のためのほとんどの商用デバイスの基礎として役立っている手法がある。人工残響の多くのアプリケーションにおいて、そのような手法は、Gerzonによって人工残響における使用のために最初に提案されたフィードバック遅延ネットワーク(FDN)と組み合わされており、Gerzonは、オールパスフィルタ個々のバンクは、質の低い残響をもたらすが、いくつかのそのようなフィルタは、交差結合されたときに質の高い残響の基準を生成し得ると推論した(Gerzon、1972年)。

【0012】

最新技術の中には、米国特許第2013/216073号「Speaker and Room Virtualization using Headphones」(Lau、2013年)およびWO2016/130834「Reverberation Generation for Headphone Virtualisation」(Fielderら、2016年)に記載されているような、人工残響の典型的な要素を使用する多くのアプリケーションが見られる。そのようなシステムは、一般に、ステレオサウンドシステム、すなわちステレオスピーカ構成またはバイノーラルオーディオレンダリング技法によるヘッドフォン仮想化における効果的な残響処理のために最適化されているが、いくつかのアプリケーションはまた、典型的には、米国特許第2008/273708号「Early Reflection Method for Enhanced Externalisation」(Sandgrenら、2008年)に記載されているような複数のチャネルにわたるステレオ信号の特定の拡散アルゴリズムによるマルチチャネル配信のための提案された方法の適応に対処する。

【0013】

当該技術分野において知られているそのような手法は、知覚基準を満たす音の残響の効果的な処理に成功しており、それ自体、残響として耳に心地よく、様々なオーディオおよび音楽制作の実践ならびにユーザアプリケーションにおける有用なツールを備えるが、そのようなアプリケーションは、例えば、エコーから生じ、特定の次元の形状において反射する音で発生する定在波分布に基づいて空間全体で強く変化する特定の共振モードにおいて表される空間の形状、反射の長さと共振モードの基本周波数とに影響を与える部屋のサイズ、および例えば、空間が構築される材料の吸収および反射率に基づいてより速くまたはより遅く消散する様々な周波数帯域を減衰させる時間において表される空間の物質性などの、音響空間の実際の基本的な側面を変換することができない。

【0014】

実際、人工残響のための当該技術分野において知られている手法は、その基本的な技術的設計により、実際の音響空間の性質を構成するそのような定性的な態様を達成することが本質的に不可能である。これは、滑らかさおよび密度の基準が、FDNネットワークを通過する遅延線を含む全通過区間の限定されたセットについての結果を満たす慎重に選択された固定遅延時間および固定信号分布のセットを用いて達成されるからである。結果として、そのような設計に基づくすべての残響システムは、ある形状、サイズの、特定の材料から構築された空間などの特定の音響空間または状況を代表しない、独自の「抽象的な」性質を有し、限定されたパラメータのセットのみが、典型的なフロントエンドユーザ変数である減衰時間、ダンピング量、およびプリディレイなどの所与の性質を変更するために変更され得る。

【0015】

他方において、欧州特許第3026666号「Reverberant Sound Adding Apparatus, Reverberant Sound Adding Method and Reverberant Sound adding Program」(Shirakiharaら、2015年)に記載されているような、記録された信号とオーディオ入力信号との畳み込みを実行するために、典型的には、実際の音響空間からの記録されたインパルス応答(IR)を使用する、畳み込みベースの残響の分野が存在する。そのような手法は、形状、サイズ、および材料構成による特性を含む音響空間の特定の特性をもたらし、それらの側面を畳み込み演算から得られたオーディオ信号にうまく組み込む。

【0016】

それにもかかわらず、空間からの記録されたデータの取得は、IRを記録する目的のために特定の空間にアクセスする必要があること、ならびに所望のIRを取得するための技術的手段および手段の標準化に関する考慮事項を含む、多くの実際的な問題を引き起こす。近年、実空間からの畳み込み残響を有するいくつかのライブラリが収集されているが、異なる部屋および形状の利用可能性は、選択が依然として非常に限られている。

【0017】

この手法のための十分に高い解像度を取得するために必要な、空間内のX量の位置からのX量の指向性信号に相当する膨大なデータ量によって、別の問題が引き起こされる。現在の標準は、仮想化空間モデルにおける限られた解像度の(水平)リスニングポイントおよび離散的な点音源に適用可能な畳み込みベースの残響を取得するための品質基準として、X24水平位置におけるX32角度を規定している。これは、十分に高いサンプルレート(≧44.1kHz p/秒)における入力信号との畳み込みを必要とする786の事前に記録されたオーディオ信号を構成し、これは、現在利用可能なほとんどのCPU規格の利用可能なメモリおよび処理について依然として非常にコストが高く、したがって、高品質でリアルタイムの畳み込みベースの残響を用いるユーザアプリケーションを制限する。

【0018】

さらに、記録されたデータは、適用不可能な1つの空間の特定の固定されたデータのセットを構成する。したがって、そのサイズ、形状、または他の属性を(リアルタイムで)変更または適応させることによる、その仮想空間モデルの変換は、不可能である。これは、特徴が、少なくともその減衰時間、およびダンピングなどの周波数応答の側面に関して、ユーザによってより広範囲に適用可能であり、生成されたオーディオ出力が、様々な出力システム、すなわちスピーカ構成に対して再現を提供するためにより容易に適用可能な人工残響に基づくシステムよりも大きな欠点を畳み込みベースの手法にもたらす。

【0019】

したがって、人工残響において使用される要素の効率および(リアルタイム)適応性で、その形状、サイズ、および物質性などの音響空間の特性を正確に再現することができる残響を生成するための方法に対するニーズが当該技術分野において存在する。

【先行技術文献】

【特許文献】

【0020】

【特許文献1】米国特許第2015/78563号

【特許文献2】米国特許第2013/216073号

【特許文献3】WO2016/130834

【特許文献4】米国特許第2008/273708号

【特許文献5】オランダ国特許出願第2024434号

【特許文献6】オランダ国特許出願第2025950号

【発明の概要】

【課題を解決するための手段】

【0021】

したがって、仮想オブジェクトに関連付けられた残響オーディオ信号を生成するための方法が開示される。方法は、仮想オブジェクトの表現を記憶するステップを含み、表現は、仮想オブジェクトを構成する複数の仮想点を定義し、仮想点は、互いに対してそれぞれの仮想位置を有し、仮想点は、仮想点の対称群に属する。仮想点の対称群は、
複数の仮想点のうちの各仮想点について、複数の仮想点のうちの問題の仮想点とそれぞれの他の仮想点との間のそれぞれの仮想距離を含む1つまたは複数の仮想距離のセットを定義するステップと、
仮想点に関連付けられた1つまたは複数の距離の各セットについて、仮想点に関連付けられた1つまたは複数の距離のさらなるセットを取得するために、問題のセット内の任意の他の距離の整数倍である距離を除去するステップと、
仮想点に関連付けられた1つまたは複数の距離の各々のさらなるセットについて、仮想点に関連付けられた1つまたは複数の距離の仮想点固有のセットを形成するために、問題のさらなるセット内の別個の距離を決定するステップと、
仮想点の対称群を形成するために、1つまたは複数の距離の同じそれぞれの仮想点固有のセットを有する仮想点を決定するステップであって、したがって、仮想点の対称群が、その仮想点の仮想点固有のセットと同じ1つまたは複数の対称群距離のセットに関連付けられる、ステップと
によって取得可能である。

【0022】

セットがそれぞれ対称群に関連付けられている1つまたは複数の対称群距離のセットは、一緒に、1つまたは複数の距離のさらなるセットを形成する。方法は、入力オーディオ信号を受信および/または記憶および/または生成するステップと、各仮想点について、入力オーディオ信号またはそのフィルタリングされたバージョンに基づいて、仮想点オーディオ信号成分を決定するステップとをさらに含む。方法はまた、複合オーディオ信号を取得するために、仮想点オーディオ信号成分を組み合わせるステップと、1つまたは複数の距離のさらなるセット内の各別個の距離について、複合オーディオ信号に基づいて、1つまたは複数の距離オーディオ信号を決定するステップとを含む。方法はまた、1つまたは複数の距離オーディオ信号と、仮想点オーディオ信号成分とに基づいて、残響オーディオ信号を決定するステップを含む。

【0023】

この方法は、部屋などの仮想オブジェクトの空間情報を生成された残響オーディオ信号に組み込むことを可能にする。方法の結果として、生成された残響オーディオ信号は、その特定の音響を有する特定の部屋において記録されたオーディオ信号と同じ特性を所有するが、実際には、仮想点によって表される仮想オブジェクトが残響を引き起こしている。例示すると、仮想オブジェクトは、仮想の壁、床、および天井を有する仮想部屋であり得、仮想の壁、床、および天井は、特定の材料から構成される。そのような場合、残響オーディオ信号を聞いている対象は、あたかも自分が実際に仮想部屋内に立っているかのようにオーディオ信号を知覚し得る。

【0024】

中心点は、仮想オブジェクトが、初期配向および位置から開始して、回転軸の周りを360度未満回転し、初期配向および位置と同一の配向および位置に到達することができるように回転軸が定義され得る点であると理解され得る。仮想オブジェクトのそのような回転は、オブジェクト保存回転と呼ばれる場合もある。例えば、仮想オブジェクトが方形平面である場合、中点を通るそのような回転軸の周りの360度未満の90度の回転は、方形の仮想オブジェクトを、初期位置及び配向と同一の位置および配向にするので、回転軸は、平面に垂直であり、中心点は、矩形の中点である。

【0025】

仮想オブジェクトの中心点に対して対称的に配置された仮想オブジェクトの任意の第1および第2の仮想点は、オブジェクト保存回転が実行される場合、第1の仮想点が第2の仮想点にあるように理解され得る。

【0026】

追加的または代替的に、中心点から等距離に配置された仮想オブジェクトの任意の第1および第2の仮想点は、中心点に対して対称的に配置されていると理解され得る。

【0027】

本明細書で使用される場合、2つ以上の信号を結合することは、これらの信号を総和することを含み得る。

【0028】

一実施形態において、方法は、各対称群について、決定された距離オーディオ信号に基づいて1つまたは複数の対称群オーディオ信号を決定するステップを含む。この実施形態はまた、対称群オーディオ信号と仮想点オーディオ信号成分とに基づいて残響オーディオ信号を決定するステップを含む。

【0029】

各対称群オーディオ信号は、距離オーディオ信号に基づいて決定されるので、この実施形態では、残響オーディオ信号も、1つまたは複数の距離オーディオ信号に基づいて決定される。

【0030】

一実施形態において、入力オーディオ信号またはそのフィルタリングされたバージョンに基づいて、各仮想点について仮想点オーディオ信号成分を決定するステップは、各仮想点について、入力オーディオ信号またはその修正された、例えばフィルタリングされた、反転された、および/または減衰もしくは増幅されたバージョンに対して仮想点固有の演算を実行するステップを含む。ここで、仮想点固有の演算を実行するステップは、時間遅延を導入する時間遅延演算を実行するステップを含み、導入される時間遅延は、音速で割った、問題の仮想点と仮想音源との間の仮想距離にほぼ等しい。

【0031】

好ましくは、仮想表現は、仮想音源に対する、および/または観察者に対する仮想点の仮想位置も定義する。仮想オブジェクトの仮想点と仮想音源との間の仮想距離は、仮想点と仮想音源の中心との間の仮想距離として定義され得る。生成された残響オーディオ信号は、この仮想音源から発生するオーディオ信号を反映すると理解され得る。

【0032】

この実施形態は、残響オーディオ信号を生成する際に、仮想オブジェクトの形状が考慮に入れられるという点で有利である。

【0033】

音速は、仮想オブジェクトと、仮想音源と、観察者との間に定義される仮想媒体における音速であり得る。例えば、仮想オブジェクトと仮想音源との間の仮想媒体は、20℃の温度および50%の平均湿度における空気であると定義され得る。そのような場合、音速は、20℃の温度および50%の平均湿度における空気中の音速である約343m/秒であるべきである。仮想オブジェクトの表現は、仮想オブジェクトと仮想音源との間の仮想媒体を定義し得る。

【0034】

一実施形態において、1つまたは複数の距離のさらなるセット内の各別個の距離について、1つまたは複数の距離オーディオ信号を決定するステップは、1つまたは複数の距離のさらなるセット内の各別個の距離について、第1の距離オーディオ信号と第2の距離オーディオ信号とを決定するステップを含む。ここで、別個の距離について第1の距離オーディオ信号を決定するステップは、時間遅延を導入する時間遅延演算と、信号フィードバック演算とを実行することによって、複合オーディオ信号を修正するステップを含む。さらに、別個の距離について第2の距離オーディオ信号を決定するステップは、第2の時間遅延を導入する第2の時間遅延演算と、第2の信号フィードバック演算および信号反転演算とを実行することによって、複合オーディオ信号を修正するステップを含む。

【0035】

好ましくは、第1の距離オーディオ信号および第2の距離オーディオ信号は、一方が他方の反転バージョンであることのみが異なることが理解されるべきである。

【0036】

この実施形態は、図11を参照して説明したように、別個の距離あたりの高調波の数を増加させ、それによって残響オーディオ信号におけるモード密度を増加させ、別個の距離あたりの高調波が最適に拡散される、すなわち、奇数および偶数の高調波が仮想オブジェクトを構成する対称的に対向する仮想点に分散されるという点で有利である。

【0037】

一実施形態において、第1の時間遅延演算によって導入される第1の時間遅延は、音速で割った別個の距離に等しい。

【0038】

第2の時間遅延および第1の時間遅延は、原理的に同じであることが理解されるべきである。

【0039】

上記で示したように、音速は、好ましくは、例えば、仮想オブジェクトの表現によって定義されるように、仮想オブジェクトと仮想音源との間の仮想媒体に関連付けられた音速である。

【0040】

一実施形態において、各対称群について、距離オーディオ信号に基づいて、1つまたは複数の対称群オーディオ信号を決定するステップは、各対称群について、第1の対称群オーディオ信号と、第2の対称群オーディオ信号とを決定するステップを含む。第1および第2の対称群オーディオ信号を決定するステップは、第1および第2の距離オーディオ信号のすべてのペアから距離オーディオ信号を選択するステップであって、各ペアが、問題の対称群に関連付けられた1つまたは複数の対称群距離のセットのうちのそれぞれの距離について決定された、ステップと、第1の対称群オーディオ信号を決定するために選択された距離オーディオ信号を結合し、第2の対称群オーディオ信号を決定するために第1および第2の距離オーディオ信号のすべての前記ペアのうちの選択されていない距離オーディオ信号を結合するステップとを含む。

【0041】

第1の対称群オーディオ信号を決定するために使用されるべき信号の選択と、したがって、第2の対称群オーディオ信号を決定するために使用されるべき信号の選択とは、任意の方法において実行され得る。この実施形態は、第1および第2の距離オーディオ信号のうち、一方が第1の対称群オーディオ信号に寄与し、他方が第2の対称群オーディオ信号に寄与することを保証する。

【0042】

一実施形態において、対称群オーディオ信号と仮想点オーディオ信号成分とに基づいてオーディオ信号を決定するステップは、前記残響オーディオ信号を決定するために、対称群オーディオ信号と仮想点オーディオ信号成分とを結合するステップを含む。

【0043】

残響オーディオ信号は、好ましくは、仮想オブジェクトからの一次反射、ならびに仮想オブジェクトが生成する残響テールを模倣する。仮想点オーディオ信号成分は、残響オーディオ信号が仮想オブジェクトからの一次反射を模倣するようにし、対称群オーディオ信号は、残響オーディオ信号が仮想オブジェクトに関連付けられた残響テールを含むようにする。

【0044】

一実施形態において、対称群オーディオ信号と仮想点オーディオ信号成分とに基づいてオーディオ信号を決定するステップは、前記残響オーディオ信号を決定するために、対称群オーディオ信号と仮想点オーディオ信号成分とを結合するステップを含む。ここで、前記オーディオ信号を決定するために、対称群オーディオ信号と仮想点オーディオ信号成分とを結合するステップは、修正されたオーディオ信号成分を決定するステップを含む。さらに、修正されたオーディオ信号成分を決定するステップは、対称群に属する仮想点について決定された各仮想点オーディオ信号成分に、問題の対称群の第1または第2の対称群オーディオ信号を追加するステップを含む。

【0045】

この実施形態は、対称群オーディオ信号と仮想点オーディオ信号成分とを結合するための効率的な方法を提供する。

【0046】

原理的には、すべての仮想点と、したがって、すべてのオーディオ信号成分とは、2つの対称群オーディオ信号が決定される単一の対称群に属する。第1または第2のどちらの対称群オーディオ信号がオーディオ信号成分に追加されるのかを決定することは、対称群に関連付けられたオーディオ信号成分の半分、対称群内の仮想点の数が奇数の場合、ほぼ半分が、その対称群に関する第1の対称群オーディオ信号と結合し、オーディオ信号成分の他の半分が、その対称群に関する第2の対称群オーディオ信号と結合するように、第1および第2の対称群オーディオ信号がそれぞれのオーディオ信号成分に交互に追加されるという原理に従って実行され得る。

【0047】

修正されたオーディオ信号成分を決定するステップは、共振、深さ、高さ、および距離の特性をオーディオ信号成分に追加するための他の演算をさらに含み得る。

【0048】

一実施形態において、方法は、さらなる仮想オブジェクトのためのさらなる残響オーディオ信号を生成するための先の請求項のいずれかによる方法を実行することを含み、仮想オブジェクトに関連付けられた決定された残響オーディオ信号が入力オーディオ信号として使用される。

【0049】

この実施形態は、別の仮想オブジェクトに入射する残響オーディオ信号を生成する1つの残響仮想オブジェクトをシミュレートすることを可能にする。これは、壁、天井、床などのいくつかの異なって配向された表面などの複数の仮想オブジェクトを含む複雑な仮想システムのための残響オーディオ信号を生成することを可能にする。

【0050】

一実施形態において、方法は、仮想オブジェクトに関連付けられた残響オーディオ信号と、さらなる仮想オブジェクトに関連付けられたさらなる残響オーディオ信号とを結合するステップと、オプションで、結合したものを1つまたは複数のスピーカに提供するステップとをさらに含む。

【0051】

一実施形態において、方法は、決定されたオーディオ信号を1つまたは複数のスピーカに提供するステップをさらに含む。

【0052】

一実施形態において、方法は、修正されたオーディオ信号成分を1つまたは複数のスピーカに提供するステップが、修正されたオーディオ信号成分を、修正されたオーディオ信号成分を複数のスピーカに分配するように構成されたパニングシステムに提供するステップを含むことを含む。

【0053】

修正されたオーディオ信号成分を分配するステップは、修正されたオーディオ信号成分に基づいて、各スピーカについて1つずつ、いくつかの出力オーディオ信号を決定するステップを含み得る。

【0054】

一実施形態において、方法は、各仮想点について仮想点オーディオ信号成分を決定する前に、入力オーディオ信号をフィルタリングするステップをさらに含む。入力オーディオ信号をフィルタリングするステップは、それぞれの減衰係数を使用して入力オーディオ信号におけるそれぞれの周波数帯域を減衰させるステップを含むマルチバンドフィルタを適用するステップを含み、それぞれの減衰係数は、仮想オブジェクトの材料に基づいて決定される。

【0055】

好ましくは、仮想オブジェクトを定義する表現は、仮想オブジェクトがどの材料から構成されるかも定義する。実例を示すために、表現は、仮想オブジェクトが石灰石から構成されていることを定義し得る。仮想オブジェクトの材料は、それぞれの周波数帯域について既知の特定の吸収係数を有し得る。マルチバンドフィルタのために使用される減衰係数は、これらの吸収係数に基づいて決定され得る。

【0056】

一実施形態において、1つまたは複数の距離のさらなるセット内の各別個の距離について、1つまたは複数の距離オーディオ信号を決定するステップは、1つまたは複数の距離のさらなるセット内の各別個の距離について、距離オーディオ信号を決定するステップを含む。そのような距離オーディオ信号を決定するステップは、時間遅延を導入する時間遅延演算と、信号減衰演算と、ローパスフィルタ演算と、信号フィードバック演算とを実行することによって、複合オーディオ信号を修正するステップを含む。この実施形態は、仮想点の少なくとも1つの対称群について、好ましくは仮想点の各対称群について、密度指数を決定するステップも含む。少なくとも1つの対称群のための密度指数を決定するステップは、
少なくとも1つの対称群に関連付けられた1つまたは複数の対称群距離のセットからの各距離について、問題の距離に対する距離オーディオ信号を決定するためにどれくらい多くのフィードバック演算が時間の単位あたりに実行されたかを、例えば、問題の距離オーディオ信号を決定するために実行された時間遅延演算によって導入された時間遅延によって前記時間の単位を割ることによって決定し、したがって、少なくとも1つの対称群に関連付けられた1つまたは複数の対称群距離のセットからの各距離について、実行されたフィードバック演算のそれぞれの数を取得するステップと、
仮想点の対称群のための密度指数を取得するために、実行されたフィードバック演算のそれぞれの数を加算するステップと
を含む。

【0057】

この実施形態はまた、密度指数のためのしきい値を受信するステップと、決定された密度指数が前記しきい値よりも低いことを決定し、この決定に基づいて、仮想オブジェクトを構成する仮想点の数を増加させることによって、記憶された表現を変更するステップとを含む。

【0058】

原理的には、仮想点の解像度を上昇させることと呼ばれる場合もある、仮想点の数を増加させることは、1つまたは複数の距離のさらなるセットを構成する別個の距離の量をより大きくし、それぞれの距離オーディオ信号を決定するために使用される時間遅延をより小さくする。結果として、時間の単位あたりにより多くのフィードバック演算が実行される。各フィードバック演算は、エコーを表すと理解され得る。したがって、この実施形態は、十分なエコーが生成されることを保証すると言える。

【0059】

一実施形態において、ローパスフィルタ演算は、
ローパスフィルタリングされるべき信号が、ローパスフィルタ演算に関連付けられたカットオフ周波数よりも低いナイキスト周波数に関連付けられていることを決定するステップと、
この決定に基づいて、前記カットオフ周波数以上のナイキスト周波数に関連付けられるように、フィルタリングされるべき信号をアップサンプリングするステップと、
前記アップサンプリングされた信号をローパスフィルタリングするステップと、
オプションで、フィルタリングされた信号が出力サンプルレートよりも高いサンプルレートに関連付けられていることを決定し、出力サンプルレートが出力システムによって出力され得るサンプルレートであり、この決定に基づいて、フィルタリングされた信号をダウンサンプリングするステップと
を含む。

【0060】

本開示の一態様は、そこで具体化されたコンピュータ可読プログラムコードを有するコンピュータ可読記憶媒体と、コンピュータ可読記憶媒体に結合されたプロセッサ、好ましくはマイクロプロセッサとを備えるコンピュータに関し、コンピュータ可読プログラムコードを実行することに応答して、プロセッサは、本明細書に記載の方法のいずれかを実行するように構成される。

【0061】

本開示の一態様は、少なくとも1つのソフトウェアコード部分を含むコンピュータプログラムもしくはコンピュータプログラムのスイート、または少なくとも1つのソフトウェアコード部分を記憶するコンピュータプログラム製品に関し、ソフトウェアコード部分は、コンピュータシステム上で実行されると、本明細書に記載の方法のいずれかを実行するために構成される。

【0062】

本開示の一態様は、少なくとも1つのソフトウェアコード部分を記憶する非一時的なコンピュータ可読記憶媒体に関し、ソフトウェアコード部分は、コンピュータによって実行または処理されると、本明細書に記載の方法のいずれかを実行するように構成される。

【0063】

当業者によって理解されるように、本発明の態様は、システム、方法、またはコンピュータプログラム製品として具体化され得る。したがって、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、または、本明細書ではすべて概して「回路」、「モジュール」、もしくは「システム」と呼ばれる場合があるソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとり得る。本開示において説明する機能は、コンピュータのプロセッサ/マイクロプロセッサによって実行されるアルゴリズムとして実装され得る。さらに、本発明の態様は、そこで具体化された、例えば記憶されたコンピュータ可読プログラムコードを有する1つまたは複数のコンピュータ可読媒体において具体化されたコンピュータプログラム製品の形態をとり得る。

【0064】

1つまたは複数のコンピュータ可読媒体の任意の組合せが利用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。コンピュータ可読記憶媒体は、例えば、限定はしないが、電子、磁気、光学、電磁気、赤外線、もしくは半導体のシステム、装置、もしくはデバイス、または前記のものの任意の適切な組合せであり得る。コンピュータ可読記憶媒体のより具体的な例は、限定はしないが、以下の、1つもしくは複数のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラム可能読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、または前記のものの任意の適切な組合せを含み得る。本発明の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを含むまたは記憶することができる任意の有形の媒体であり得る。

【0065】

コンピュータ可読記憶媒体は、例えば、ベースバンドにおいて、または搬送波の一部としてその中に具体化されたコンピュータ可読プログラムコードを有する伝播データ信号を含み得る。そのような伝播信号は、限定はしないが、電磁気、光学、またはそれらの任意の適切な組合せを含む様々な形態のいずれかをとり得る。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体ではなく、命令実行システム、装置、またはデバイスによってまたはそれらに関連して使用するためのプログラムを通信、伝播、または転送することができる任意のコンピュータ可読媒体であり得る。

【0066】

コンピュータ可読媒体上に具体化されたプログラムコードは、限定はしないが、ワイヤレス、有線、光ファイバ、ケーブル、RFなど、または前記のものの任意の適切な組合せを含む任意の適切な媒体を使用して伝送され得る。本発明の態様のための動作を実行するためのコンピュータプログラムコードは、Java(商標)、Smalltalk、C++などのオブジェクト指向プログラミング言語、および、「C」プログラミング言語または同様のプログラミング言語などの従来の手続き型言語を含む、1つまたは複数のプログラミング言語の任意の組合せにおいて書かれ得る。プログラムコードは、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータ上で部分的におよびリモートコンピュータ上で部分的に、または、完全にリモートコンピュータ、もしくはサーバ上で実行され得る。後者のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)もしくはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを介してユーザのコンピュータに接続され得、または(例えば、インターネットサービスプロバイダを使用してインターネットを介して)外部コンピュータとの接続がなされ得る。

【0067】

本発明の態様について、本発明の実施形態による方法、装置(システム)、およびコンピュータプログラム製品のフローチャート図および/またはブロック図を参照して以下で説明する。フローチャート図および/またはブロック図の各ブロック、ならびに、フローチャート図および/またはブロック図におけるブロックの組合せは、コンピュータプログラム命令によって実装され得ることが理解されるであろう。これらのコンピュータプログラム命令は、コンピュータのプロセッサ、他のプログラム可能なデータ処理装置、または他のデバイスを介して実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実施するための手段を作成するようにマシンを生成するために、汎用コンピュータ、専用コンピュータ、または、他のプログラム可能なデータ処理装置のプロセッサ、具体的には、マイクロプロセッサまたは中央処理装置(CPU)に提供され得る。

【0068】

これらのコンピュータプログラム命令はまた、コンピュータ可読媒体内に記憶された命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実施する命令を含む製品を生成するように特定の方法において機能するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに指示することができるコンピュータ可読媒体内に記憶され得る。

【0069】

コンピュータプログラム命令はまた、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスにロードされ得、コンピュータまたは他のプログラム可能な装置上で実行される命令がフローチャートおよび/またはブロック図のブロックにおいて指定された機能/動作を実施するためのプロセスを提供するように一連の動作ステップをコンピュータ、他のプログラム可能な装置、または他のデバイス上で実行させ、コンピュータ実装プロセスを生成させる。

【0070】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装形態のアーキテクチャ、機能性、および動作を示す。これに関して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実装するための1つまたは複数の実行可能な命令を備えるモジュール、セグメント、またはコードの一部を表し得る。いくつかの代替実装形態において、ブロック内に記載されている機能は、図中に記載されている順序とは異なる順序で発生し得ることも留意されるべきである。例えば、連続して示されている2つのブロックは、実際には、関与する機能性に応じて、実質的に同時に実行され得、または、ときには逆の順序で実行され得る。ブロック図および/またはフローチャート図の各ブロック、ならびにフローチャート図および/またはブロック図におけるブロックの組合せは、指定された機能もしくは動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアおよびコンピュータ命令の組合せによって実装され得ることも留意される。

【0071】

さらに、本明細書に記載の方法を実行するためのコンピュータプログラム、ならびにコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体が提供される。コンピュータプログラムは、例えば、既存のデータ処理システムにダウンロード(更新)され得、またはこれらのシステムの製造時に記憶され得る。

【0072】

特定の実施形態についてまたは関連して論じられている要素および態様は、明示的に別段の記載がない限り、他の実施形態の要素および態様と適切に組み合わされ得る。本発明の実施形態について、本発明による実施形態を概略的に示す添付図面を参照してさらに説明する。本発明は、これらの特定の実施形態に何等限定されないことが理解されるであろう。

【0073】

本発明の態様について、図面中に示す例示的な実施形態への参照によってより詳細に説明する。

【図面の簡単な説明】

【0074】

【図1】実施形態による残響オーディオ信号を受ける観察者を示す図である。

【図2】一実施形態による残響オーディオ信号を生成するための方法を示すフローチャートである。

【図3】一実施形態による、図2に記載のそれぞれのモジュールに関する入力を示すフローチャートである。

【図4】一実施形態による残響オーディオ信号を生成するための方法を示す図である。

【図5】残響オーディオ信号を生成するための一実施形態を示す図である。

【図6A】一実施形態による残響オーディオ信号生成方法を示す詳細なフローチャートである。

【図6B】一実施形態による残響オーディオ信号生成方法を示す詳細なフローチャートである。

【図6C】一実施形態による残響オーディオ信号生成方法を示す詳細なフローチャートである。

【図7】一実施形態によるモノサウンドシステムのための残響オーディオ信号の生成を示す図である。

【図8】一実施形態によるステレオサウンドシステムのための残響オーディオ信号の生成を示す図である。

【図9】6つの対称群に関する対称群距離を示す図である。

【図10】一実施形態による1つまたは複数の距離のさらなるセットを示す図である。

【図11】いくつかの異なる仮想オブジェクトの対称群を示す図である。

【図12】一実施形態による時間遅延を決定するための「値フィルタ」演算に関するフロープロセスの図である。

【図13】一実施形態による「サンプルレート補間」演算に関するフロープロセスを示す図である。

【図14】一実施形態によるユーザインターフェースを概略的に示す図である。

【図15】一実施形態によるデータ処理システムを示すブロック図である。

【図16AB】図１６Ａと図１６Ｂはそれぞれの実施形態による、共振、深さ、高さ、および距離をオーディオ信号成分に符号化するモジュールを示す図である。

【図16CD】図１６Ｃと図１６Ｄはそれぞれの実施形態による、共振、深さ、高さ、および距離をオーディオ信号成分に符号化するモジュールを示す図である。

【図17】一実施形態によるパニングマトリックスの図である。

【図18A】それぞれの実施形態による、オーディオ信号成分に共振特性を追加するためのモジュールを示す図である。

【図18BC】図１８Ｂと図１８Ｃはそれぞれの実施形態による、オーディオ信号成分に共振特性を追加するためのモジュールを示す図である。

【図18D】それぞれの実施形態による、オーディオ信号成分に共振特性を追加するためのモジュールを示す図である。

【図18E】それぞれの実施形態による、オーディオ信号成分に共振特性を追加するためのモジュールを示す図である。

【図18FG】図１８Ｆと図１８Ｇはそれぞれの実施形態による、オーディオ信号成分に共振特性を追加するためのモジュールを示す図である。

【図19】それぞれの実施形態による、オーディオ信号成分に深さ特性を追加するためのモジュールを示す図である。

【図20】それぞれの実施形態による、オーディオ信号成分に距離特性を追加するためのモジュールを示す図である。

【図21】一実施形態による、仮想オブジェクトおよびその仮想点の寸法、位置、および向きを決定するための形状生成器を示す図である。

【発明を実施するための形態】

【0075】

図において、同一の参照番号は、類似または同一の要素を示す。さらに、破線で描かれた要素は、オプションの要素である。

【0076】

本開示は、残響オーディオ信号を生成するための方法およびシステムに関する。実際の残響オーディオ信号は、オブジェクトによる音の反射と、その後のそのようなオブジェクトにおける振動とによって形成されると理解され得る。本明細書で説明する生成された残響オーディオ信号は、残響オーディオ信号が、そのようなオブジェクトの残響を受ける実際に記録されたオーディオ信号と同じ特性を備えるという意味において、仮想オブジェクトに関連付けられる。原理的には、仮想オブジェクトは、任意の形状、サイズ、および/または特性を有し得る。

【0077】

本明細書に記載の方法は、リアルタイム処理を可能にする最高の計算効率において残響オーディオ信号を生成することを可能にする。リアルタイムで残響オーディオ信号を生成する能力は、例えば、仮想オブジェクトの形状、位置、向き、および/または仮想オブジェクトが形成されている材料などの仮想オブジェクトの特性を変更し、変更された仮想オブジェクトに関連付けられた残響オーディオ信号をすぐに生成することを可能にする。特に、仮想音響空間の材料構成、音の伝播条件、空間内でおよび/または他の音源を備えるオブジェクトから反射する音源の空間距離、高さ、および深さなどの、仮想音響空間の条件は、変更され得、これらの変更は、迅速に処理され得る。

【0078】

残響オーディオ信号を生成するための方法およびシステムは、遅延線およびローパスフィルタなどの人工残響の比較的単純な要素を使用する。本明細書で開示する技術は、例えば、複数のオーディオ構成要素にわたるスマートな信号分配が実現されるという点で、システムにおいて必要な遅延線の数を最小限に抑えるように設計され、計算コストが非常に低い。

【0079】

本明細書で開示する技術は、入力オーディオ信号が所与の形状、サイズ、および物質性の実際の音響空間において生成および/または記録されているかのように見せるように、入力オーディオ信号に特徴を追加することを可能にする。

【0080】

方法は、低容量から高容量までのCPU要件に対して、最適に効率的であり、解像度がスケーラブルである。方法は、使用されるCPUの条件によって与えられる最適な解像度において実行しながら、プロセスがリアルタイムで実行され得るので、残響を生成するためのインタラクティブなモデルを可能にする。方法は、モノ、ステレオ、および/またはHTRFベースのヘッドフォンサウンド再生などの、既存のオーディオ再生フォーマットとの後方互換性もありながら、任意の様々なスピーカ構成、および構成において使用されるスピーカの量への適応性を可能にし、スピーカシステム設計への新しい手法を刺激する。

【0081】

遅延時間を取得する方法は、統計的に有効な結果を有する時間遅延値の固定セットに基づかないが、仮想点解像度、すなわち仮想形状において定義された点のセットを決定することによって、任意のタイプおよび/または性質の形状をモデル化することを可能にする「形状生成器」の動作からリアルタイムで生成され得る。結果として生じる時間遅延は、時間遅延の同じセットを使用して、フィードバック遅延ネットワーク(FDN)を組み込む必要なしに、滑らかさ、時間密度、およびモード密度の知覚基準を満たす残響テール、すなわち遅延残響を同時に生成しながら、残響の最初の反射および初期反射における音響形状を正確に表現するように、形状から本質的なデータを推定する「値フィルタ」演算を使用してフィルタリングされる。さらに、本発明は、ユーザによって設定された異なるユーザ条件に対する密度およびサンプルレートの要件の最適化を自動化するための新しい手法を導入する。

【0082】

上記で説明したように、残響オーディオ信号を生成するための方法は、図1に示す方形プレートなどの仮想オブジェクト2の表現を伴う。表現は、図1において{1,2,3,...,N}の番号が付けられた複数の仮想点を定義する。本開示において、「N」は、仮想点の総数を示す。仮想点は、互いに対して、および仮想オブジェクト2の中心点4に対して、それぞれの仮想位置を有する。仮想点は、仮想点の対称群に属し、中心点に関して対称に配置された仮想点は、仮想点の同じ対称群に属する。これについて、図9を参照してより詳細に説明する。

【0083】

表現によって定義された仮想点は、観察者6に対して特定の位置も有する。したがって、仮想オブジェクトは、例えば、観察者から特定の距離において、観察者の下の深さにおいて、または観察者の上の高さにおいて配置され得る。さらに、仮想点は、音源8に対する位置も有し得る。

【0084】

観察者6は、仮想オブジェクト2が形状、すなわち、別個の寸法形状、サイズ、および物質性を有することを知覚し得、観察者に対して別個の高さ、深さ、および距離において音源8および残響空間を知覚し得る。そのような知覚は、そのような形状、サイズ、および材料構成の実空間において音をどのように体験するか、ならびにこの空間をどのように移動し、任意の位置および角度からどのように聞こえるかを探索することによく似ている。したがって、リスナーは、空間を仮想的および/または物理的に移動し、残響空間の内部および/または外部の任意の位置及び角度から結果として生じる残響、すなわち、特定のサイズ、形状、および物質性の空間の音響を体験し、任意の仮想位置に位置する仮想オブジェクトの残響の励起の結果を体験し得る。

【0085】

図2は、一実施形態による残響オーディオ信号を生成するための方法を示すフローチャートである。ここで、入力オーディオ信号xが、それぞれの減衰係数を使用して入力オーディオ信号内のそれぞれの周波数帯域を減衰させるように構成されたマルチバンドフィルタに提供される。減衰係数は、特定の周波数帯域に対する減衰の程度を定義すると理解され得る。例えば、マルチバンドフィルタは、0.7の減衰係数を使用して第1の周波数帯域を減衰させ、0.5の減衰係数を使用して第2の周波数帯域を減衰させるように構成され得る。結果として、第1の周波数帯域における周波数の強度は、係数0.7で減衰され、第2の周波数帯域における周波数の強度は、係数0.5で減衰される。そのようなフィルタ10は、仮想オブジェクによる音の吸収をモデル化するために使用され得るので、吸収フィルタと呼ばれる場合もある。一例において、吸収フィルタは、8オクターブ帯域イコライザである。

【0086】

図2に示す実施形態において、フィルタ10の出力は、その後、第1の反射モジュール12に提供される。そのようなモジュールは、好ましくは、図示のように、各仮想点について仮想点オーディオ信号成分y_nを決定するために、仮想オブジェクト2の仮想点ごとに1つ、複数の並行信号フローを構成する。モジュールは、フロープロセス、フローチャートなどと呼ばれる場合もある。

【0087】

図2の実施形態において、仮想点オーディオ信号成分y_nは、14によって示される複合オーディオ信号

【0088】

【数1】

【0089】

を取得するために、結合、例えば、総和される。

【0090】

さらに、複合オーディオ信号14は、フィルタ10と同一であり得る第2のフィルタ16に提供される。

【0091】

次いで、第2のフィルタ16の出力は、残響テールを生成するためのモジュール18に提供される。モジュール18は、本明細書で説明するように、生成されるべき距離オーディオ信号ごとに1つ、複数の並列信号フローを備える。モジュール18は、1つまたは複数の距離オーディオ信号d_k+/-、すなわち、{d_1+,d_1-,d_2+,d_2-,...,d_K+,d_K-}(図示せず)を決定する。本開示において使用される「K」は、本明細書で説明するように、1つまたは複数の距離のさらなるセットにおける別個の距離の総数を示す。

【0092】

モジュール18は、いくつかの対称群オーディオ信号s_m+/-、すなわち、{s_1+,s_1-,s_2+,s_2-,...,s_M+,s_M-}を出力する。本開示において使用される「M」は、対称群の総数を示す。

【0093】

図2の実施形態において、対称群オーディオ信号s_m+/-は、仮想点オーディオ信号成分y_nと結合される。この結合は、一実施形態による残響オーディオ信号を結果として生じる。

【0094】

図2は、オプションのモジュール、すなわち、共振モジュール20と、深さモジュール22と、高さモジュール24と、距離モジュール26と、パニングシステム28とをさらに示す。これらのモジュールは、残響オーディオ信号を生成するためには必要ないが、観察者に対する残響オーディオ信号のコヒーレントな投影のため、すなわち、残響が観察者によって別個の深さ、高さ、ならびに距離および角度において知覚されるために必要である。共振モジュール20は、オーディオ信号成分に共振特性を追加するための、オーディオ信号成分に対する空間波変換を実行するように構成され、その総和は、本明細書で説明するように、(第2)の信号処理のためのオーディオ入力信号のミックスダウン21であり得る。深さモジュール22は、オーディオ信号成分に深さを符号化するように構成される。高さモジュール24は、オーディオ信号成分に高さを符号化するように構成される。距離モジュール26は、オーディオ信号成分に距離を符号化するように構成される。

【0095】

共振モジュール20によって実行され得る共振特性を追加することは、第1の修正されたオーディオ信号成分を取得するためにオーディオ信号成分を修正することを含み得る(図16A参照)。オーディオ信号成分のこの修正は、図示のように、信号反転演算74をオプションで含み、時間遅延を導入する信号遅延演算75を含み、信号フィードバック演算73をオプションで含む。図示の実施形態において、フィードバックされた信号は、1よりも小さい利得を有する増幅器76によって示されるように減衰される。次いで、第1の修正されたオーディオ信号成分は、第2の修正されたオーディオ信号成分を取得するために、総和78を参照し、オーディオ信号成分と結合される。さらに、第2の修正されたオーディオ信号は、仮想オブジェクトの仮想点に関連付けられたオーディオ信号成分y_n'を取得するために、減衰演算79と、オプションでハイパスフィルタ演算80とによってさらに修正される。

【0096】

修正されたオーディオ信号成分を決定するために導入される時間遅延を決定するための式は、
Δt=Vx_n/v
によって与えられ得、ここで、Vは、形状の次元体積であり、x_nは、仮想形状上の点に関する係数を表し、各点は、デカルト座標(x,y,z)において示される相対的空間位置を有し、vは、媒体中の音速に関連する定数である。オーディオ信号成分の決定は、その内容が全体において本開示に含まれるとみなされるべきオランダ国特許出願第2024434号および第2025950号においても記載されている。

【0097】

総和演算78の後の減衰演算79は、オーディオ信号の利得Gを-6bB減少させることを含み得る。

【0098】

本開示において、三角形内の値、すなわち、減衰演算または増幅器演算における値は、信号が乗算される定数を示すと理解され得る。これらの定数は、しばしば「a」または「b」によって示される。したがって、そのような値が1よりも大きい場合、信号増幅が実行される。そのような値が1よりも小さい場合、信号減衰が実行される。

【0099】

仮想形状上の点nに依存するハイパスフィルタのカットオフ周波数f_cは、
r_n/R≦0.5に対してf_c=v/V2(1-r_n/R)
r_n/R>0.5に対してf_c=v/V2(r_n/R)
として決定され得、ここで、vは、媒体中の音速に関連する定数であり、Vは、仮想形状の次元体積であり、r_nは、仮想形状の中心から点nまでの球面半径を示し、Rは、仮想形状の2つ以上の辺が交わる頂点を通る形状の中心からの球面半径を示す。Rの値が2つ以上の場合、最も大きいRが考慮される。

【0100】

図16Aに示すフローチャートの代わりに、図18A～図18Gのいずれかに示すフローチャートのいずれかが、同じパラメータ値を有する共振特性を追加するために代わりに使用され得ることが理解されるべきである。

【0101】

モジュール22によって実行され得るようにオーディオ信号成分に深さ特性を追加することは、オーディオ信号成分の修正されたバージョンを取得するために、時間遅延を導入する時間遅延演算86と、信号減衰88と、信号フィードバック演算90とを使用して、問題のオーディオ信号成分y_nを修正することと、オーディオ信号成分の修正されたバージョンと問題のオーディオ信号成分とを結合すること(92)とを含み得る(図16B参照)。信号減衰88は、問題のオーディオ信号成分に関連付けられた仮想点の対象の下の仮想深さに依存して実行される。

【0102】

この実施形態において、信号減衰は、パラメータ「b」によって定義される。値b=0の場合、対象の下の仮想点の深さは、符号化されず、値b=1の場合、オーディオ信号成分に関連付けられた仮想点の最大深さが符号化される。

【0103】

修正されたオーディオ信号と入力オーディオ信号との組合せの結果がオプションで減衰または増幅される(94)値「a」は、
a=(a-b)x
に等しく、ここで、xは、高周波散逸曲線の急峻さに影響を与える信号フィードバックの量bに応じて信号利得Gを補正するための増倍係数である。値bを、好ましくは0～1間で変化させることによって、深さの変化がオーディオ信号に追加される。

【0104】

好ましくは、時間遅延演算によって導入される時間遅延Δtは、できるだけ短く、例えば、0.00007秒よりも短く、好ましくは0.00005秒よりも短く、より好ましくは0.00002秒よりも短い。最も好ましくは、約0.00001秒である。96kHzのデジタルサンプルレートの場合、時間遅延は、0.00001秒であり得る。

【0105】

図16Bに示すフローチャートの代わりに、図19に示すフローチャートのいずれかが、パラメータに対して同じ値を用いて代わりに使用され得ることが理解されるべきである。

【0106】

高さモジュール24によって実行され得るようにオーディオ信号成分に高さ特性を追加することは、オーディオ信号成分の修正されたバージョンを取得するために、信号反転演算140と、時間遅延を導入する信号遅延演算142と、信号減衰144とを使用して、問題のオーディオ信号成分を修正することと、オーディオ信号成分の修正されたバージョンと問題のオーディオ信号成分とを結合すること(146)とを含む(図16C参照)。ここで、信号減衰144は、仮想音源の仮想高さに依存して実行される。

【0107】

この実施形態において、値b=0の場合、高さ特性は、オーディオ信号成分に追加されない。値b=1の場合、仮想点の最大高さが知覚される。第1の減衰演算が実行される場合、オプションの減衰148の値「a」の利得Gは、
a=(1-b)x
であり、ここで、xは、低周波散逸曲線の急峻さに影響を与える減衰の量bに応じて信号利得Gを補正するための増倍係数である。値bを、好ましくは0～1間で変化させることによって、高さの変化がオーディオ信号に追加される。

【0108】

好ましくは、時間遅延演算142によって導入される時間遅延Δtは、できるだけ短く、例えば、0.00007秒よりも短く、好ましくは0.00005秒よりも短く、より好ましくは0.00002秒よりも短い。最も好ましくは、約0.00001秒である。96kHzのデジタルサンプルレートの場合、時間遅延は、0.00001秒であり得る。

【0109】

モジュール26によって実行され得るようにオーディオ信号成分に距離特性を追加することは、オーディオ信号成分の第1の修正されたバージョンを取得するために、第1の時間遅延を導入する第1の時間遅延演算160と、第1の信号減衰演算162と、信号フィードバック演算164とを使用して、問題のオーディオ信号成分を修正することと、オーディオ信号成分の第2の修正されたバージョンを取得するために、オーディオ信号成分の第1の修正されたバージョンと問題のオーディオ信号成分とを結合すること(166)と、第2の信号減衰168と、オプションで、オーディオ信号成分の第2の修正されたバージョンに対して第2の時間遅延を導入する第2の信号遅延演算170とを実行することとを含む(図16D参照)。ここで、第1の信号減衰162および第2の信号減衰168は、対象からの仮想距離に依存して実行される。

【0110】

問題のオーディオ信号成分に関連付けられた仮想点の距離に依存して、演算162に関する減衰定数であるbの値と、演算168に関する減衰定数であるaの値とが変化される。定数は、信号が乗算される定数を示すと理解され得る。したがって、そのような値が1よりも大きい場合、信号増幅が実行される。そのような値が1よりも小さい場合、信号減衰が実行される。b=0およびa=1の場合、距離は、符号化されず、b=1およびa=0の場合、最大距離が符号化される。値aの利得Gは、
a=(1-b)x
のようにbの値に関連し得、ここで、xの値は、高周波散逸曲線の急峻さに影響を与える信号フィードバックの量に適用される増倍係数である。

【0111】

好ましくは、時間遅延演算160によって導入される時間遅延Δt₁は、できるだけ短く、例えば、0.00007秒よりも短く、好ましくは0.00005秒よりも短く、より好ましくは0.00002秒よりも短い。最も好ましくは、約0.00001秒である。96kHzのデジタルサンプルレートの場合、時間遅延は、0.00001秒であり得る。

【0112】

時間遅延演算170によって導入されるオプションの時間遅延Δt₂は、仮想音源の移動に関連するドップラー効果をもたらす。時間遅延は、
Δt₂=r/v
として決定され得、ここで、rは、デカルト座標(x,y,z)において示される問題のオーディオ信号成分に関連付けられた仮想点の位置と、視点(x,y,z)として表され得る対象との間の距離であり、vは、媒体中の音速を表す定数である。

【0113】

図16Dに示すフローチャートの代わりに、図20に示すフローチャートのいずれかが、同じパラメータ値を用いて使用され得ることが理解されるべきである。

【0114】

パニングモジュール28は、オーディオ出力信号z_p、すなわち、{z_1,z_2,z_3,...,z_P}を生成するために、修正されたオーディオ信号成分y'_nを減衰および総和するように構成され、各オーディオ出力信号は、個別のスピーカpに関連付けられる。本明細書で使用される「P」は、スピーカの総数を示す。

【0115】

パニングモジュールについて、図17を参照してさらに説明する。図17は、複数Pのスピーカの各スピーカpについてスピーカオーディオ信号z_pを決定するための方法を示すフローチャートである。図示の方法およびシステムは、信号分配マトリックス28またはパニングマトリックス28と呼ばれる場合もある。この実施形態において、スピーカオーディオ信号z_pは、複数のスピーカの各スピーカp(図示せず)について決定される。信号分配マトリックスへの入力は、仮想音源のそれぞれの仮想点に関連付けられた複数のオーディオ信号成分であり、複数のオーディオ信号成分y_nは、本明細書に記載の方法に従って決定されている。

【0116】

各スピーカpは、スピーカ係数a_pに関連付けられる。図示の実施形態において、スピーカpのためのスピーカオーディオ信号z_pを決定することは、減衰されたオーディオ信号成分のスピーカ固有のセットを取得するために、スピーカ係数a_pに基づいて各オーディオ信号成分y_nを減衰させることを含む。スピーカのスピーカ係数は、問題のスピーカと仮想点との間の距離に基づいて決定され得る。スピーカ係数a_pに基づいて各オーディオ信号成分y_nを減衰させることは、単に乗算y_n*a_zpを含み得る。そのような場合、スピーカpに関する減衰されたオーディオ信号成分のスピーカ固有のセットは、{y_1*a_p;y_2*a_p;y_3*a_p;...;y_N*a_p}によって記述され得、ここで、Nは、仮想音源に対して定義された仮想点の総数を示す。その後、このセット内のオーディオ信号成分は、スピーカpのためのスピーカオーディオ信号z_pに到達するために、結合、例えば総和される。この方法は、すべてのスピーカPについて実行される。

【0117】

信号分配マトリックス28は、図17に示すように、乗算器の出力信号が供給される入力線が出力と交差する各位置において乗算器と総和とを有し得る。乗算器は、当該技術分野において一般的に知られているパニングシステムによって各スピーカ振幅について生成された値などの、コントローラによって指定された規定のスピーカ係数によって、入力線から受信した信号を減衰させ、結果として生じる信号を総和に出力する。乗算器が規定の係数を信号に乗じる処理は、「3次元パニング処理」と呼ばれる場合がある。すなわち、コントローラは、複数のスピーカによって対象に提供される結果として生じるオーディオ信号が、形状および空間中の位置、例えば、対象に対する角度、距離、深さ、および高さを有するように、それぞれの出力システムに対応する関連係数の適切な値を与え得る。乗算器の処理の結果として、音は、仮想音源から対象までへの方向および寸法の伝播について適切にシミュレートされる。総和は、乗算器のオーディオ出力信号を、各々がスピーカ構成内のスピーカに関連付けられたそれぞれの出力線に供給する。各出力線は、減衰係数として
a=1/N²
を有する信号減衰器をさらに備え得、ここで、Nは、信号分配マトリックスにおけるオーディオ信号成分y_nの数であり、
aについて取得された減衰は、
G(dB)=10log₁₀(a)
としてデシベル単位の利得Gに変換される。

【0118】

図3は、一実施形態による、図2に記載のそれぞれのモジュールに関する入力を示すフローチャートである。

【0119】

方法は、「形状データ」とも呼ばれる場合がある、仮想オブジェクトの寸法、位置、および向きを決定するための形状発生器30を備え得る。形状発生器は、仮想オブジェクトを構成する仮想点のセットを出力し得、仮想点のセット内の各仮想点は、仮想位置に関連付けられる。仮想点は、図示のようにそれぞれのモジュールに入力され得る。形状発生器について、図21を参照して以下でさらに説明する。

【0120】

図21は、仮想オブジェクトを定義する表現を決定するための方法を示す。表現は、仮想オブジェクトの空間的寸法、すなわち、形状およびサイズ、および対象との相対的なその位置、ならびに、オプションで、仮想オブジェクトの密度を示す。

【0121】

仮想点は、仮想オブジェクトの表面上、またはボリュームにわたって均等に分散され得る。そのような表面上またはそのようなボリュームにわたる仮想点のより高い密度は、より高い解像度に対応する。

【0122】

仮想オブジェクトは、中空であるように定義され得ることが理解されるべきである。そのような場合、表現は、仮想オブジェクトの「内部」の仮想点を定義せず、仮想オブジェクトの外面およびエッジ上にのみ定義する。仮想オブジェクトは、「中実」でもあり得る。そのような場合、表現は、仮想オブジェクトの外面およびエッジ上の仮想点に加えて、仮想オブジェクトの内部ボリュームにわたって均等に分散され得る、仮想オブジェクトの「内部」の仮想点を定義する。

【0123】

一実施形態において、仮想オブジェクトは、幾何学的形状、すなわち、純粋な次元の形状、または半幾何学的、不規則な形状を有し、または有機的な形状であり得る。仮想オブジェクトが任意の形状を有し得ること、ならびに仮想オブジェクトの形状および仮想オブジェクトの形状を構成する仮想点を決定するために任意の方法が使用され得ることが理解されるべきである。

【0124】

仮想点の密度は、仮想点の解像度および/または「グリッド解像度」と呼ばれる場合もある。

【0125】

図21は、表現を取得することが仮想オブジェクトの寸法210と仮想点位置212とを取得することを含み得ることを示す。形状寸法210を取得することは、仮想オブジェクトの寸法を取得するために、形状生成器がスケーリング可能な寸法(xyz)のコンテナ214を生成することと、スケーリングされた寸法の境界内の形状座標216および形状ボリュームを決定することとを含み得る。図示の例において、仮想オブジェクトは、ピラミッドのような形状である。さらに、仮想点位置212を取得することは、形状内の仮想点位置を取得するために、グリッド生成器が、格子218を決定することであって、選択された形状の寸法に従って3つの主要な格子が導入される、ことと、導入された格子の各々に沿った点の解像度を定義することによって、仮想点密度220を決定することとを含み得る。

【0126】

無限格子Lは、
L=a.(Z.v_1+Z.v_2+Z.v_3)
として定義され、ここで、Zは、整数の環であり、v_1、v_2、v_3は、3つのベクトルを記述し、定数aは、
={x=a.n.(v_1.x)+a.m.(v_2.x)、y=a.n.(v_1.y)+a.m.(v_2.y)であるような点(x,y)、n、mは、整数}
のように最小増分に関連する。

【0127】

音は、すべての方向において対称的に伝播すると考えられるので、格子によって生成される重なり合う円または正接する円のパターンが考慮され、ここで、球は、グリッドの各仮想点を中心とする。円の半径は、空間内の音の伝播の生成パターンに影響を与えるように増加され得る。

【0128】

図示の例において、格子K=3が示されており、これは、格子の各軸に沿って3つの仮想点が定義されていることを意味する。

【0129】

さらに、方法は、「サンプルレート補間」演算32を含み得る。この演算は、好ましくは、第1の反射モジュール12において実行される信号処理を修正するために、仮想入力源の位置データ(x,y,z)に依存して実行される。演算はまた、取得された形状データに依存して実行され、残響モジュール18の信号処理を修正および最適化するのに役立つ。サンプルレート補間について、図13を参照して以下でさらに説明する。

【0130】

残響オーディオ信号を生成するための方法はまた、「値フィルタ」演算34と、「時間密度スケーラ」演算36とを含み得る。これらの演算は、取得された形状データに依存して実行され、残響モジュール18の信号処理を修正および最適化するのに役立ち得る。演算34および36について、図12を参照して以下でさらに説明する。

【0131】

方法は、入力源の位置(x,y,z)および回転(x,y,z)ならびにリスナーの仮想位置および/または実際の位置を示す「視点」に関するコントローラデータを取得するステップと、取得されたデータをデジタル信号処理の複数のモジュールに対する入力として適用するステップとをさらに含み得る。

【0132】

図2における説明したオーディオ信号処理、ならびに図3における形状データ取得および修正、サンプルレート補間、値フィルタリングおよび時間密度スケーリングは、例えば、ソフトウェアプログラムまたはコード部分を実行することによって、リアルタイムで実行され得る。

【0133】

本開示の一態様は、本明細書で説明する残響オーディオ信号を生成するための方法を実行するように構成されたデータ処理システムに関する。そのようなデータ処理システムは、オーディオ出力ポートに接続され得、オプションでオーディオ入力信号をリアルタイムで取得するためのオーディオ入力ポートに接続され得る。

【0134】

本発明の一実施形態は、図2および図3に記載のモジュールのうちの1つ、いくつか、および/またはすべて(の一部)を実行することを含むこと、ならびにモジュールは、異なる順序で実行され得、および/または繰り返し実行され得ることが理解されるべきである。

【0135】

図4は、一実施形態による残響オーディオ信号を生成するための方法を示し、方法42aを実行することによる残響オーディオ信号40aの決定の他に、方法42bを実行することによって、さらなる残響オーディオ信号40bがさらなる仮想オブジェクトについて決定される。方法42cを実行することによって、さらなる残響オーディオ信号、例えば、信号40cが生成され得る。ここで、方法42a、42b、42cは、本明細書で説明する残響オーディオ信号を決定するための方法であり得る。これらの方法は、例えば、すべて図2に示すような方法であり得る。

【0136】

図4に示す各方法42は、仮想音源と仮想オブジェクトとの組合せに関連付けられることが理解されるべきである。

【0137】

図4に示す実施形態において、さらなる残響オーディオ信号40bの決定のために、入力オーディオ信号として、方法42aによって生成された信号が取られる。好ましくは、図2に示す信号21は、さらなる残響オーディオ信号を生成するための入力オーディオ信号として使用される。しかしながら、原理的には、方法42を実行している間に生成される任意の信号が、オーディオ入力信号として方法42bに提供され得る。好ましくは、方法42bは、方法42aに関連付けられた仮想オブジェクト、すなわち、方法42aが残響オーディオ信号40aを生成する仮想オブジェクトの仮想位置も入力として受信する。これは、すなわち、「仮想音源」に対する方法42bに関連付けられた仮想オブジェクトの仮想点の仮想位置を決定することを可能にし、方法42bのための音源は、方法42aに関連付けられた仮想オブジェクトである。

【0138】

次に、残響オーディオ信号40cを決定するためのさらなる方法42cが、方法42bを実行している間に生成された信号のいずれか、好ましくは図2に示す信号21を入力オーディオ信号として使用して実行され得る。そのような場合、方法42cは、方法42bに関連付けられた仮想オブジェクトの位置、すなわち、残響オーディオ信号40bが生成される仮想オブジェクトの位置も入力として受信する。

【0139】

原理的には、任意の数の信号が、連鎖的にまたは同時に残響オーディオ信号を決定するための任意の数の方法42_xのための入力であり得る。残響オーディオ信号を生成するための方法は、信号の組合せをオーディオ入力信号として使用し得る。

【0140】

方法42aは、さらなる残響オーディオ信号を生成するためのさらなる方法42bに対して入力される信号を生成することができるが、方法42bを実行している間に生成される信号は、同時に、方法42aのための入力オーディオ信号として再び使用される信号を生成することができる。したがって、方法42aと方法42bとの間でフィードバック演算が可能になり、これらの方法にそれぞれ関連付けられた両方のオブジェクトは、互いに反映し、方法42aまたは42bのいずれかに最初に挿入されたオーディオ入力信号に依存して残響を生成する。もちろん、各方法42aおよび42bは、異なる残響仮想オブジェクトに関連付けられているので、それ自体の形状データならびに空間位置および回転(x,y,z)を入力として有する。

【0141】

したがって、本開示において言及される仮想オブジェクトは、さらなる仮想オブジェクトについて本開示において言及される仮想音源を形成し得る。

【0142】

したがって、図4に示す実施形態は、音源と仮想オブジェクトとの間の関係を確立することを可能にする。本明細書で使用される仮想オブジェクトは、「音源」または「入力源」とも呼ばれる励起源からの音を反射し、残響させるオブジェクトを仮想的に表すと理解され得る。

【0143】

残響オーディオ信号40aおよびさらなる残響オーディオ信号40b、ならびにオプションで信号40cなどのさらなる残響オーディオ信号は、オプションでパニングシステムを介して、1つまたは複数のスピーカのセットに供給され得る最終的な残響信号を決定するために結合され得ることが理解されるべきである。

【0144】

図5は、オーディオ入力信号xが一実施形態による第1の残響オーディオ信号生成方法のための入力オーディオ信号として使用され、結果として生じた残響オーディオ信号が、その後、一実施形態による第2の残響オーディオ信号生成方法のための入力オーディオ信号として使用される一実施形態を示す。

【0145】

どちらの方法も、スピーカに供給される前に最初に総和され、オプションで0～1の範囲の乗数で減衰および/または増幅される、スピーカ構成内の各スピーカpのための個別のオーディオ出力信号z_pを生成する。

【0146】

図6は、一実施形態による残響オーディオ信号生成方法を示す詳細なフローチャートである。この実施形態は、入力オーディオ信号を受信するステップを含む(図6の左側を参照)。入力オーディオ信号は、オプションで、図5において説明したように一実施形態による別の残響オーディオ信号生成方法を実行している間に決定されたオーディオ信号成分の総和である。

【0147】

図6の実施形態は、入力オーディオ信号をマルチバンドフィルタ10に提供するステップを含む(図2も参照)。したがって、この実施形態は、マルチバンドフィルタ10を適用するステップを含む、入力オーディオ信号をフィルタリングするステップを含む。マルチバンドフィルタ10を適用するステップは、それぞれの減衰係数を使用して入力オーディオ信号におけるそれぞれの周波数帯域を減衰させるステップを含み、それぞれの減衰係数は、仮想オブジェクトの材料に基づいて決定される。

【0148】

特定の例において、マルチバンドフィルタは、減衰係数a(dB)が各周波数帯域fについて個別に決定される8オクターブ帯域イコライザから構成される。減衰係数の値は、dBを電力比に変換する標準式
G(dB)=10log₁₀(P_t/P_i)
によって与えられ、ここで、P_tは、電力レベルであり、P_i(1)は、参照電力レベルである。G(dB)は、dB単位の電力比または利得であり、a(dB)=G(dB)であり、電力比は、
α=1-(P_t/P_i)
のように吸収係数に変換される。

【0149】

αの値は、材料試験の標準化された方法を含むデータである、吸収係数の標準ISO354から取得され得る(Bork、2005b)。

【0150】

一実施形態において、仮想オブジェクトは、石灰岩の壁である。周波数f(Hz)におけるオクターブ帯域は、ISO354における石灰岩壁のランダムな入射吸収係数α、
f(125Hz) α=0.02、
f(250Hz) α=0.02、
f(500Hz) α=0.03、
f(1000Hz) α=0.04、
(f2000Hz) α=0.05、
(f4000Hz) α=0.05、
(f8000Hz) α=0.05、
f(16000Hz) α=0.05
によって与えられる。

【0151】

周波数f(Hz)における各オクターブ帯域について減衰a(dB)を適用することによって、反射音の片側強度(Ir～Pt)と入射音の片側強度(Ii～Pi)との差が石灰岩壁による音のエネルギーの吸収であるように入力オーディオ信号が修正される。したがって、結果として生じる残響は、別個の物質性の特性を構成することになる。

【0152】

方法は、(第1の反射モジュール12において、図2も参照)仮想オブジェクトの各仮想点について、入力オーディオ信号のフィルタリングされたバージョンに基づいて、仮想点オーディオ信号成分y(t)_nを決定するステップをさらに含む。ここで、各仮想点オーディオ信号成分y(t)_nを決定するステップは、(フィルタリングされた)オーディオ入力信号に対して仮想点固有の演算を実行するステップを含む。図示の実施形態において、仮想点固有の演算は、信号を減衰させるための減衰演算52と、しきい値周波数よりも高い周波数をフィルタリングするためのローパスフィルタ演算54と、時間遅延を導入するための時間遅延演算56とを実行することを含む。本明細書で使用される場合、カットオフ周波数とも呼ばれるしきい値周波数よりも上または下の周波数をフィルタリングすることは、そのようなしきい値周波数までおよびその上に、またはそれぞれそのようなしきい値周波数までおよび下に、徐々に増加した周波数を減衰させると理解され得る。したがって、フィルタリングは、カットオフ周波数よりも高い、またはそれぞれカットオフ周波数よりも低い周波数が完全に除去される、および/または除去されないことを意味しない。

【0153】

第1の反射モジュール12は、音の第1の反射を生成する。各オーディオ信号成分y_nは、仮想オブジェクトの個別の仮想点に関連付けられる。さらに、各仮想点オーディオ信号成分y_nは、その関連する仮想点の仮想位置に基づいて、特に、仮想音源からのその仮想距離に基づいて決定される。すなわち、生成された残響オーディオ信号は、この仮想音源から生じるオーディオ信号を反映すると理解され得る。この仮想音源の位置は、例えば、仮想オブジェクトの仮想表現において定義される。

【0154】

各仮想点についての減衰演算52、ローパスフィルタリング演算54、および時間遅延演算56は、任意の順序で実行され得ること、ならびに1つまたは複数のステップが省略、繰り返し、修正、および/または追加され得ることが理解されるべきである。

【0155】

関連する仮想点と音源との間の距離rに依存するオーディオ信号成分y_nの演算52における減衰a(dB)は、変換G→Pt/Piと、
Pt=x(1/r²)
とによって与えられ、ここで、音の強さは、I～Pt²によって与えられ、xは、適用される減衰の量を制御するための0～1の増倍係数である。

【0156】

オプションの増倍係数xである「スケーラ」は、パラメータスケーリング機能を提供するために、説明したオーディオ信号処理における任意の他のステップにおいて追加され得、このスケーラは、残響の発音出力の態様を修正するため、すなわち、出力値を増加または減少させるため、したがって演算の影響を拡大または縮小させるために、ユーザがコントローラデータを送信することによって実行され得ることが理解されるべきである。

【0157】

ローパスフィルタ54は、仮想点と仮想音源との間の距離rに依存するオーディオ信号成分y_nの減衰関数を構成し、ここで、周波数f(Hz)の減衰a(dB/m)は、媒体を通って伝播する音の吸収の関数であり、反射の前の音の高周波消散を含む。

【0158】

ローパスフィルタ54のカットオフ周波数

【0159】

【数2】

【0160】

は、一般に、入力に対する出力の音圧振幅比が0.707の大きさを有する周波数として定義され、ここで、

【0161】

【数3】

【0162】

は、音圧レベル(SPL)であり、

【0163】

【数4】

【0164】

であり、
a(dB/m)=-3/r
である。

【0165】

一実施形態において、空間内の音の伝播媒体は、所与の温度および所与の湿度における空気である。音の大気吸収の式を再構成することによって、周波数を減衰の関数

【0166】

【数5】

【0167】

として決定することができ、ここで、p_αは、

【0168】

【数6】

【0169】

における周囲大気圧であり、

【0170】

【数7】

【0171】

は、参照周囲大気圧であり、Tは、周囲大気温度であり、T₀=293.15Kは、参照周囲大気温度である。

【0172】

【数8】

【0173】

は、酸素緩和周波数であり、

【0174】

【数9】

【0175】

は、窒素緩和周波数であり、

【0176】

【数10】

【0177】

は、水蒸気のモル濃度であり、

【0178】

【数11】

【0179】

は、飽和水蒸気圧であり、ここで、

【0180】

【数12】

【0181】

は、パーセンテージとしての相対湿度であり、T₀₁=273.16Kは、三重点等温線温度である(Zuckerwar、Meredith、1984年)。

【0182】

周波数

【0183】

【数13】

【0184】

を定義する式に対する近似解は、周波数

【0185】

【数14】

【0186】

が正弦波方程式に内在し、減衰aが周波数に対する依存性を有する指数に関する場合、第一原理から導出され得、
y=A=A₀e^-acos(wt)
ここで、Aは、dBにおける振幅であり、A₀は、dBにおける初期振幅であり、aは、dB/mにおける減衰係数である。

【0187】

a(dB/m)→α
a(dB/m)=10log₁₀(Pt/Pi)
および
α=1-(Pt/Pi)
を並べ替え、吸収係数を周波数の関数として分析すると、次数=3の多項式が最小として見出される。吸収係数と周波数の両方を別々に分析すると吸収係数は、

【0188】

【数15】

【0189】

のように見出され、周波数は、

【0190】

【数16】

【0191】

のように見出され、ここで、

【0192】

【数17】

【0193】

は、データ点である。2つの式を組み合わせると、

【0194】

【数18】

【0195】

が見出され、ここで、yは、温度および湿度などの外部変数に固有の係数である。より高い周波数において吸収係数との最大の相関を達成するために、係数の平均が
y～5×10^-8
であり、温度および湿度の異なる条件に対して変化することが見出される。

【0196】

吸収係数の関数として周波数

【0197】

【数19】

【0198】

を取得するために方程式を並べ替えると、

【0199】

【数20】

【0200】

が得られ、異なる温度および湿度に対する補正係数yは、例えば、以下の通りである。

【0201】

【表1】

【0202】

各仮想点オーディオ信号成分y_nに対する時間遅延演算56は、
Δt(ms)=(r/v)10³によって与えられるように、距離rに依存する時間遅延Δt_n(ms)を導入し、ここで、vは、媒体を通って伝播する音速であり、20℃の温度および平均50%の湿度における空気中で343m/秒であり、rは、仮想点と仮想音源との間、特に仮想点と仮想音源の中心との間の距離である。

【0203】

したがって、仮想オブジェクトの各仮想点に対して、減衰演算52と、ローパスフィルタ演算54と、時間遅延演算56とを含む仮想点固有の演算を適用することによって、仮想点オーディオ信号成分y_nが生成される。成分y_nは、音源から発生し、音源に対する仮想オブジェクトの位置に応じて仮想オブジェクトによって反射される音の第1の反射に似ている。好ましくは、成分y_nは、特定の温度および湿度の大気などの媒体を通る音の伝播に影響を与える条件に従っても決定される。

【0204】

第1の反射演算12から結果として生じる、y(t)_nとも呼ばれる仮想点オーディオ信号成分y_nは、(i)図6Cに示すように、残響演算18から結果として生じる対称群オーディオ信号と総和されるオーディオ信号成分として渡され、(ii)複合オーディオ信号を取得するために総和される(コンバイナ53参照)。

【0205】

その後、複合オーディオ信号は、係数a=1/N²によって減衰され得(減衰演算55を参照)、ここで、Nは、仮想点オーディオ信号成分の数である。ここで、Nは、オーディオ信号成分の数であり、減衰a(dB)=G(dB)は、G→Pt/Piに変換され、ここで、電力比は、利得Gに関してdBにおいて与えられる。

【0206】

2つ以上のオーディオ信号が説明したオーディオ信号プロセス内で総和される場合はいつでも、総和されたオーディオ信号の数に依存する上記の減衰演算が適用され得ることが理解されるべきである。

【0207】

次いで、複合オーディオ信号は、上記で説明したような吸収フィルタであり得る第2のマルチバンドフィルタリング演算16を実行することによってフィルタリングされる。ISO354から第1の吸収フィルタ10について選択された値は、好ましくは、第2の吸収フィルタ16についても同じ値である。

【0208】

次いで、フィルタリングされた複合オーディオ信号は、減衰演算57を実行することによって減衰される。これは、演算55と同じ演算であると理解され得るが、減衰が、
a=1/K²
のように1つまたは複数の距離Kのさらなるセット内の別個の距離の数に依存するという違いがある。

【0209】

実施形態は、本明細書で説明するように、1つまたは複数の距離オーディオ信号d_k、この例では、1つまたは複数の距離のさらなるセット内の別個の距離ごとに2つの距離オーディオ信号、すなわち、第1の距離オーディオ信号d_k+および第2の距離オーディオ信号d_k-を決定するステップをさらに含む。

【0210】

ここで、別個の距離について第1の距離オーディオ信号を決定するステップは、時間遅延を導入する時間遅延演算64と、信号フィードバック演算58とを実行することによって、複合オーディオ信号を修正するステップを含む。第1の距離オーディオ信号を決定するステップは、減衰演算60とローパスフィルタ演算62とを実行するステップも含む。

【0211】

図示の実施形態において、別個の距離に対して第2の距離オーディオ信号を決定するステップは、第2の時間遅延を導入する第2の時間遅延演算72と、信号反転演算68と、信号減衰演算68と、ローパスフィルタ演算70と、第2の信号フィードバック演算66とを実行することによって、複合オーディオ信号を修正するステップを含む。原理的には、演算64および72は、同一であり、演算62および70は、同一である。また、演算60および68のそれぞれによって実行される減衰も同一であり、演算68は、信号を反転させ、演算60は、信号を反転させないことに留意されたい。

【0212】

信号フィードバック演算を実行するステップは、例えば、図示されているように、減衰演算の前に距離オーディオ信号を入力自体に再帰的に追加するステップを含み得る。ボックス18aは、図2に示す残響モジュール18の一部であり得ることが理解されるべきである。

【0213】

距離オーディオ信号d_k+-の決定において、減衰演算、信号反転演算(実行される場合)、ローパスフィルタリング演算、および時間遅延演算は、任意の順序で実行され得ること、ならびに1つまたは複数のステップは、省略、繰り返し、修正、および/または追加され得ることが理解されるべきである。信号フィードバック演算は、好ましくは最後に実行され、距離オーディオ信号と入力との総和は、好ましくは最初に実行される。

【0214】

図示の実施形態において、2Kの距離オーディオ信号が生成されることに留意されたい。

【0215】

別個の距離についての第1の距離オーディオ信号は、非反転距離オーディオ信号と呼ばれ得、別個の距離についての第2の距離オーディオ信号は、反転距離オーディオ信号と呼ばれ得る。

【0216】

時間遅延演算64/72は、距離オーディオ信号が決定される距離に応じて時間遅延Δt_n(ms)を導入する。この時間遅延は、
Δt(ms)=(r/v)10³
によって与えられ、ここで、rは、距離オーディオ信号d_kが決定される距離であり、vは、媒体を通って伝播する音速、例えば、20℃の温度および平均50%の湿度における空気中で343m/秒である。

【0217】

距離オーディオ信号が決定された距離が距離rとして取られるべきであるという違いがあるが、演算54に関して上記で説明したように、ローパスフィルタ演算62/70は、距離オーディオ信号d_kが決定される距離と、媒体を通って伝播する音の条件とに依存して減衰関数距離オーディオ信号を構成する。

【0218】

減衰演算60/68は、時間遅延演算64/72によって導入された時間遅延Δt_nに応じて
a(dB)=-Δtx
のように実行され、ここで、xは、残響オーディオ信号Dt(s)の総減衰時間と、減衰定数e^axの変数であり、
x=(1/Dt)/e^ax
であり、e^axは、音源からの単位距離あたりの媒体を通って伝播する波の減衰定数である。(連邦規格1037C、1996年)それは、伝播定数の実部であり、また、ネーパー毎メートル(Np/m)において測定される。ネーパーは、約8.686dBである。したがって、減衰定数は、振幅比によって定義される。
e^ax=A₀/A_x=1Np=約8.686

【0219】

値Dt(秒単位)は、残響オーディオ信号の総エネルギーが減衰する実時間を決定する。聴覚のより低いラウドネスしきい値が-72dBの標準で考慮される場合、上記の式は、実際的な目的のために、
x=～1/2(1/Dt)/e^ax
に調整され得る。

【0220】

結果として、減衰a(dB)を適用した後の各距離オーディオ信号の実際の振幅Aは、遅延時間の長さΔtに基づいて異なり、典型的には、長さが短いほど初期振幅が高くなり、さらに、オーディオ入力信号内に存在する周波数fnに基づいて大きく異なる場合があり、これは、基本周波数Fおよび複数の整数F(f1、f2、f3など)であるその高調波は、
F(Hz)=1/(2Δt)
のようにフィードバック演算の時間遅延に関連するが、各距離オーディオ信号のフィードバックの時間振幅M(t)は、-72dBのラウドネスしきい値において各距離オーディオ信号に対して等しくなり、したがって、各距離オーディオ信号の大きさM(t)は、Dt(s)に等しくなるからである。この条件は、残響が減衰するまでの全時間の間、一定に保たれるのが必要な残響の密度を満たす。

【0221】

一実施形態において、仮想オブジェクトは、円形の礼拝堂の形状を有し、この礼拝堂は、石灰岩で作られた壁を有する。この仮想空間は、約2.2秒の可聴残響減衰時間を有し、したがって、すべての距離オーディオ信号を修正するために、Dt(2.2)が適用されることが決定されている。

【0222】

追加的に、減衰演算60/68は、媒体を通って伝播する音の吸収から結果として生じる高周波散逸の補正に依存してさらに修正され得、すなわち、残響の減衰中、より高い周波数は、より低い周波数よりも相対的に速く散逸し、したがって、遅延時間Δtが短いほど、時間振幅M(t)がさらに低減され得る。これは、
a(dB)=x-(Δt₀/Δtn)x
のように減衰a(dB)を増加させることによって達成され、ここで、xは、全減衰時間Dtの可変関数であり、Δt₀は、参照時間遅延であり、これは、システムにおける最長時間遅延、すなわち、図6Aに示すブロック18aにおいて使用される最長時間遅延である。結果として、時間遅延Δtn=Δt₀を有する遅延線の減衰は、0に等しい。

【0223】

2つの方程式を組み合わせると、
a(dB)=x-(Δt_nx)-(Δt₀/Δt_n)x
となる。

【0224】

したがって、減衰演算、ローパスフィルタ演算、および時間遅延演算を適用することによって、一旦総和されると、別個の形状、サイズ、および材料の空間および/またはオブジェクト内の音源のコヒーレントな残響に似るオーディオ信号成分が、特定の温度および湿度の大気などの媒体を通る音の伝播に影響を与える条件に従って生成される。

【0225】

図6Bは、一実施形態による、距離オーディオ信号d_k+-に基づいて対称群オーディオ信号s_m+-がどのように決定されるかを示すフローチャートである。この実施形態は、各対称群mについて、第1の対称群オーディオ信号と第2の対称群オーディオ信号とを決定するステップを含む。さらに、第1および第2の対称群オーディオ信号を決定するステップは、第1および第2の距離オーディオ信号のすべてのペアから距離オーディオ信号を選択するステップであって、各対が、問題の対称群に関連付けられた1つまたは複数の対称群距離のセットからそれぞれの距離について決定された、ステップと、第1の対称群オーディオ信号を決定するために、選択された距離オーディオ信号を結合し、第2の対称群オーディオ信号を決定するために、第1および第2の距離オーディオ信号のすべてのペアから選択されていない距離オーディオ信号を結合するステップとを含む。

【0226】

例示すると、s_1-の決定のために、距離オーディオ信号d_1-および距離オーディオ信号d_2+(および他の信号)が結合される。したがって、s_1+の決定のために、距離オーディオ信号d_1+および距離オーディオ信号d_2-(および他の信号)が結合される。これは、距離オーディオ信号d_1に関連付けられた距離、および距離オーディオ信号d_2に関連付けられた距離が、s_1-およびs_1+が対称群オーディオ信号であるグループm=1に関する1つまたは複数の対称群距離のセット内に存在することを意味することに留意されたい。これらの距離が対称群m=1に関する対称群距離のセット内にない場合、これらは、s_1-にもs_1+にも追加されない。

【0227】

一実施形態において、仮想オブジェクトは、形状上に定義された54個の点を与える格子k(=3)、すなわち、立方体の6つの表面上に均等に分散された3×3個の点の「仮想点解像度」を有する40×40×40mの中空の立方体である。この実施形態において、1つまたは複数の距離のさらなるセットは、18の別個の距離を含む。各別個の距離は、固有の遅延時間Δtに関連付けられ、音速343m/秒、すなわち、20℃の温度および50%の平均湿度の空気を通る音の伝播に関連して生成される。したがって、距離オーディオ信号の各ペアは、1つまたは複数の距離のさらなるセット内の別個の距離に関連付けられる。リマインダとして、本開示において言及される1つまたは複数の距離のさらなるセットは、1つまたは複数の対称群距離のすべてのセット内のすべての距離を含む。1つまたは複数の対称群距離の各セットは、対称群に関連付けられる。この実施形態において、仮想オブジェクトの各仮想点は、3つの対称群のうちの1つに属する。したがって、立方体に関する距離オーディオ信号の反転バージョンおよび非反転バージョンの総和を実行する結果として生じるオーディオ分布マトリックスは、以下の表に従って定義され得る。ここで、列は、対称群1に関する対称群信号1.1(s_1-)、1.2(s_1+)と、対称群2に関する対称群信号2.1(s_2-)、2.2(s_2+)と、対称群3に関する対称群信号3.1(s_M-)、3.2(s_M+)とを示し、ここで、この実施形態の対称群の量は、M=3である。この列の各行は、1つまたは複数の距離のさらなるセット内の別個の距離に関連する。ここで、距離は、関連する時間遅延によって示される。

【0228】

【表2】

【0229】

したがって、この表は、対称群オーディオ信号1.1の決定のために、距離「27.487ms」に関する距離オーディオ信号の反転バージョン、および距離「38.873ms」に関する距離オーディオ信号の非反転バージョン、および距離「47.609」に関する距離オーディオ信号の反転バージョンなどが、対称群信号1.1を形成するために一緒に加算されるように読まれるべきである。

【0230】

図6Bに示すように、距離オーディオ信号に基づいて対称群オーディオ信号を決定するための方法は、好ましくは、図2に示す残響モジュール18において実施されることに留意されたい。

【0231】

図6Cは、対称群オーディオ信号s_mと仮想点オーディオ信号成分y_nとに基づいて残響オーディオ信号がどのように決定されるかを示す詳細なフローチャートである。

【0232】

オプションで、残響オーディオ信号を決定することは、対称群オーディオ信号を仮想点オーディオ信号成分と結合することを含む。オプションで、そのような結合は、修正されたオーディオ信号成分を決定することを含み、修正されたオーディオ信号成分を決定することは、対称群に属する仮想点について決定された各仮想点オーディオ信号成分に、問題の対称群の対称群オーディオ信号を追加することを含む。例示すると、図6Cにおいて、このようにして、仮想オブジェクトの各仮想点について、修正されたオーディオ信号成分y'_nが取得される。オプションで、修正された成分y'_nを決定することは、例えば、図6Cに示すように対称群オーディオ信号を仮想点オーディオ信号成分に加算する前に、仮想点オーディオ信号成分および/または対称群オーディオ信号を減衰させることを含む。

【0233】

仮想点オーディオ信号成分のオプションの減衰は、0～1(∞～0dBラインアウト)にスケーリングされた利得(dB)を含む可変パラメータaによって制御される。対称群オーディオ信号のオプションの減衰は、0～1にスケーリングされた利得(dB)を含む可変パラメータbによって制御される。これは、音源の第1の反射および残響のそれぞれのオーディオ出力レベルを独立して調整するためのオプションの制御をユーザに提供する。オーディオ信号の利得を減衰または増幅するための追加の乗算器は、図6A～図6Cに記載の信号プロセスにおける任意の時点で追加され得ることが理解されるべきである。

【0234】

仮想点オーディオ信号成分および対称群オーディオ信号の総和、例えば結合の後に取得される各修正されたオーディオ信号成分y'_nは、仮想オブジェクトの仮想点に関連付けられると理解されるべきである。

【0235】

オプションで、適切な対称群オーディオ信号を仮想点オーディオ信号成分に加算した後に取得される各オーディオ信号は、さらに修正される。したがって、そのような実施形態において、修正されたオーディオ信号成分を決定することは、図16を参照して上記で説明したように、モジュール80(図2参照)内に存在するような共振モジュール、深さモジュール、高さモジュール、および/または距離モジュールなどによるさらなる修正も含み得る。

【0236】

各々が仮想オブジェクトの仮想点に関連付けられた、最終的に取得される修正されたオーディオ信号成分y'_nは、各々がスピーカ構成内のスピーカpに関連付けられた個別のオーディオ出力信号z_pを形成するために、修正されたオーディオ信号成分y'nを分配するための、パニングマトリックス28などのパニングシステムへの入力である。図17は、パニングシステムの詳細な実施形態を示す。

【0237】

残響演算18、共振演算20、深さ演算22、高さ演算24、距離演算26、およびパニングマトリックス演算28の一部として演算を適用することの利点は、仮想オブジェクトから反射する音源のコヒーレントな音の投影が生成されることであり、音源と仮想オブジェクトの両方は、実際の出力媒体、すなわちスピーカに関して独立して制御可能かつ拡張可能である。これは、本開示で説明するように複数の仮想オブジェクトを定義することによって構成され得、リスナーがその中を移動し、聴覚的に探索することができる動的仮想空間の体験が、スピーカの量および構成に原則として依存しないことを意味する。したがって、音源および仮想オブジェクトは、スケーリング、回転、傾斜され得、空間(の一部)は、クローズアップで拡大または遠方に離され得、スピーカを再構成する必要なしに、観察者に関して、ならびに別の仮想オブジェクトに対する仮想音源および/または仮想音源/仮想オブジェクトに関して、任意の距離、高さ、および深さにおいて配置され得る。

【0238】

図7は、スピーカ構成がモノサウンドシステム、すなわち1つの個別の出力チャネルを有するスピーカシステムである実施形態を示す。この場合、図6Aに記載のような残響演算18において、複合オーディオ信号に基づいて、各距離オーディオ信号について反転または非反転バージョンのみが生成される。そのような実施形態において、対称群オーディオ信号を決定することは、この場合、その全体において省略され得る。代わりに、図2、図5、および図6Aを参照して説明したように、残響演算18aから結果として生じるすべての決定された距離オーディオ信号d_kは、総和され、オプションで減衰または増幅され、第1の反射演算12から結果として生じるすべての仮想点オーディオ信号成分y_nは、総和され、総和されたオーディオ信号の数に応じて方程式を使用して減衰され、オプションでさらに減衰または増幅され、距離オーディオ信号を総和することから結果として生じるオーディオ信号とともに、かつさらなる残響オーディオ信号決定方法のための入力信号としても役立ち得るオーディオ入力信号xとともに、スピーカのオーディオ出力に総和され得る。

【0239】

図8は、スピーカ構成がステレオサウンドシステム、すなわち、中央に位置する(仮想)リスナーの左耳および右耳に対して、スピーカ設定の左側(L)30aおよび右側(R)30bを備える2つの個別の出力チャネルを有するスピーカシステムである実施形態を示す。一実施形態において、そのようなシステムは、一対のヘッドフォンであり得る。この場合、図6Aに記載のような残響演算に関して、各距離オーディオ信号に関する反転バージョンと非反転バージョンの両方が決定される。この実施形態において、対称群オーディオ信号の決定は、その全体において省略され得る。代わりに、遅延線の第1の反転バージョンの出力は、個別の左側出力信号(L)を形成するために、第2の遅延線の非反転バージョン、第3の遅延線の反転バージョンなどと総和され、遅延線の第1の非反転バージョンの出力は、個別の右側出力信号(R)を形成するために、第2の遅延線の反転バージョン、第3の遅延線の非反転バージョンなどと総和される。Rの出力に関して、L≠Rの出力、およびL出力信号とR出力信号の両方は、LおよびRスピーカに供給される前に、さらにオプションで減衰または増幅され得る。

【0240】

この例において、本明細書で説明する残響オーディオ信号決定方法のための入力オーディオ信号であるオーディオ入力信号xが、LおよびRチャネルを有するステレオ信号として定義され、ここで、L=RまたはL≠Rのいずれかが真であり得る。初期オーディオ入力信号のL出力信号とR出力信号の両方は、LおよびRスピーカに供給される前に、さらにオプションで減衰または増幅され得る。

【0241】

結果として、第1の反射演算12から結果として生じるすべての仮想点オーディオ信号成分について、各遅延時間Δtについて遅延線のLおよびRバージョンが生成され、ここで、L=RまたはL≠Rのいずれかが真であり得る。次いで、第1の反射演算12から結果として生じる仮想点オーディオ信号成分のすべてのLバージョンが総和され、すべてのRバージョンが総和され、LとRの両方が、総和されたオーディオ信号の数に応じて方程式を使用して減衰され、LおよびRスピーカに供給される前に、さらにオプションで減衰または増幅される。

【0242】

図7および図8は、既存のオーディオ規格との後方互換性に関して、説明した発明の適用を示す可能な実施形態を表すことが理解されるべきである。従来技術の規格に対して調整された説明したオーディオ信号プロセスに関する出力ルーティングの任意の変更は、本明細書に含まれるとみなされるべきである。

【0243】

仮想オブジェクトの仮想点は、図9に記載のように決定され得る仮想点の対称群に属する。仮想点は、好ましくは、仮想オブジェクトの全体および/または仮想オブジェクト上に等しく分散される。

【0244】

数Nの仮想点が定義され得、仮想点は、仮想オブジェクトを定義すると理解され得る。一実施形態において、仮想オブジェクトは、図9に示すように方形のプレートであり、形状上に定義されたN=25の均等に分散された仮想点を有する2次元形状である。この例において、方形プレートの中心点は、仮想点#13と一致する。方形プレートであるので、中心点を中心とする90度の回転は、同じ構成、すなわち、同じ位置および向きを有する方形プレートを再びもたらすことになる。

【0245】

図9における右上の図は、各仮想点がどの対称群に属するかを示し、すなわち、括弧間の数字は、仮想点の対称群を示す。この例において、6つの対称群が存在する。図9に見られるように、単一の点、図9では対称群g₆に属する仮想点#13は、一実施形態においてそれ自体の対称群を形成し得る。非幾何学的またはより不規則に形成された形状の場合、回転対称性の欠如により、一実施形態において、いくつかのまたは多くの単一点が独自の対称群を形成し得る。したがって、幾何学的または正多角形の形状は、多くの点を含むより少ない対称群を有する傾向があり、不規則な形状は、より少ない点、すなわち、最小で1つの点を含むより多くの対称群を有する傾向がある。

【0246】

したがって、形状上に定義されたすべての仮想点nは、1つの対称群gに属する。これは、同一の対称群内に含まれる仮想点における仮想オブジェクト内の残響の条件が同じであることになり、この対称群内に含まれる仮想点が形状上に定義された任意の他の点との距離の同一のセットを共有することになる。

【0247】

各対称群は、1つまたは複数の対称群距離のセットに関連付けられる。図9は、対称群1、2、3、4、5、6の各々について、関連する対称群距離を示す。

【0248】

図9からわかるように、対称群g_nは、他の群よりも多いまたは少ない距離r_g(n)<->nを有し得、多くの群は、他の群と同一の距離r_n<->nを共有し得る。図9の方形プレートの例において、1つまたは複数の距離のさらなるセット内に7つの別個の距離が存在する。1つまたは複数の距離のさらなるセット内のこれらの7つの距離を図10に示す。

【0249】

一実施形態において、形状は、格子k(=5)と長さl(m)の辺とを有する方形プレートであり、ここで、L=√2l=1mであり、音は、速度v=343m/秒でプレートを通って伝播する。図9において紹介した方法の通り、1つまたは複数のさらなる距離のセット内に合計7つの別個の距離が存在する。各別個の距離は、時間遅延Δt(ms)=(rn<->n/v)10³に関連付けられる。

【0250】

仮想オブジェクトに対して定義された仮想点の数に関して、図10に記載の例に従って、説明した方法は、特定の形状ならびに/または特定のサイズおよび物質性の仮想オブジェクトに固有の本質的な情報を失うことなく、所望のコヒーレンス、密度、および滑らかさを有する残響オーディオ信号を生成するのに必要な計算オーバヘッドを低減するための高度に効率的な方法を含む。

【0251】

例えば、図9において紹介したような25の仮想点を有する方形プレートである仮想オブジェクトのすべての既存の仮想点のペア間の各距離に関する直線信号経路は、理論的には、仮想音源から仮想オブジェクトへの第1の反射後に残響の一次反射を生成することを可能にするために、600の距離オーディオ信号、または2つの距離オーディオ信号が各距離について決定された場合は1200もの距離オーディオ信号に関連付けられた、合計25×24=600の距離になる。さらに、距離オーディオ信号の総和は、残響テール、すなわち、図6Aに記載のようなフィードバック演算、またはより一般的には、従来技術において残響を生成するのに一般的であるようなフィードバック遅延ネットワーク(FDN)によって生成される残響テールの滑らかさの基準を満たさない。残響のモード密度の滑らかさの基準は、一般に、時間次元においてより低い周波数に比べてより高い周波数の消散がより速いピンクノイズ信号に似ていると説明される。そのように生成された距離のセットの中でより多くの同一の距離および整数倍の距離が見つかるので、これは、結果として特定の周波数Fが優勢となり、周波数範囲全体のテールの滑らかさのバランスを崩す。したがって、残響テールを生成するそのような手法は、所定の条件を満たさないので、従来技術の方法では無視される。

【0252】

代わりに、図9を参照して説明した提案された方法に従うと、残響の所望の滑らかさを確保し、同時に仮想オブジェクトの形状に固有の本質的な情報を含む残響オーディオ信号を生成するようにそれらの距離値を維持するためには、必要な信号経路の数は、比較として7つの距離オーディオ信号が決定されることになる7つの別個の距離のみ、または2つの距離オーディオ信号が各別個の距離について決定される場合は14の距離オーディオ信号として、85分の1(600:7)に大幅に減少する。

【0253】

図10の実施形態において、遅延時間に関連する距離とあわせて取得された7つの別個の距離の25点の各々に対する単純な分配は、各々の関連する仮想点について総和オーディオ信号を形成するために、距離オーディオ信号について、
25(×Δt₁)+25(×Δt₂)+25(×Δt₃)+24(×Δt₄)+24(×Δt₅)+16(×Δt₆)+12(×Δt₇)=151
の信号経路を結果として生じる。

【0254】

代わりに、対称群内に仮想点を含み、距離オーディオ信号を各仮想点に直接ではなく対称群に関連付けることによって、必要な信号経路の数は、さらに低減され得る。
6(×Δt₁)+6(×Δt₂)+6(×Δt₃)+5(×Δt₄)+5(×Δt₅)+3(×Δt₆)+2(×Δt₇)=33の信号経路+
4(×g₁)+8(×g₂)+4(×g₃)+4(×g₄)+4(×g₅)+4(×g₆)=61の信号経路

【0255】

したがって、残響に必要な信号経路の量は、演算後に結果として生じる信号経路における量/情報のいかなる損失もなしに、図10に記載のように、対称群について距離オーディオ信号を総和する中間ステップを導入することによって、X2.5(151:61)とさらに低減される。

【0256】

したがって、本明細書で説明する方法は、最小限の処理データおよび信号経路を使用することによって、必要な消費電力を最適化するための効率的な解決策と、高品質の残響信号の密度および滑らかさに関する既知の基準を満たす新規の方法とを含み、同時に、当該技術分野において知られている人工残響を生成するための方法では達成されないその形状および物質性を表すことに関して残響信号に新しい品質を導入する。

【0257】

仮想点解像度、すなわち、形状あたりの定義された点の数が増加するにつれて、残響演算18内の1つまたは複数の距離のさらなるセット内の別個の距離の量も増加し、より多くの距離オーディオ信号が生成されるべきであることが上記から理解され得る。これは今度は、残響の密度、すなわち、1秒あたりのエコーの量を含む「時間密度」と、周波数範囲全体の周波数F(f₁、f₂、f₃など)に関連する「モード密度」とを増加させ、ここで、各一意のFは、互いの整数倍ではない遅延時間Δtの結果とみなされる。

【0258】

本発明は、特定の距離rn<->nの両極(+/-)のバランスのとれた分布によって、仮想形状を有する残響のモード密度を最適化する新規な方法をさらに含む。

【0259】

反転され時間遅延されたフィードバック信号は、時間遅延Δtに基づいてFの奇数高調波(f₁、f₃、f₅など)を増幅し、フィードバックを伴う非反転時間遅延信号は、同じ時間遅延に基づいて同じFの偶数高調波(f₂、f₄、f₆など)を増幅を増幅する。したがって、残響空間の形状の結果として生じる共振成分である、まったく同一の調和級数の対称的な両極の偶数高調波および奇数高調波として信号を分配することによって、結果として生じる残響のモード密度は、形状の同じ仮想点解像度について見出されるように同じ数の距離について2倍に増加する。

【0260】

一実施形態において、仮想オブジェクトは、4つの仮想点、したがって1つの対称群を有する方形プレートである。この1つの対称群に対して2つの対称群距離が存在する。各対称群距離について、反転バージョンおよび非反転バージョンの2つの距離オーディオ信号が決定される。

【0261】

同じ長さのいくつかの垂直または平行な距離が単一の点を接続し得るので、やはり図6Bを参照して説明したように、形状上の点の複雑さ全体に両極の最適な対称的広がりを達成するために、極性符号のチェスボードのような分布が提案される。

【0262】

図11Aによる実施形態において、これは、以下の表に示す対称群オーディオ信号を与える。この表における各行は、1つまたは複数の距離のさらなるセットにおける別個の距離に関連する。列において、距離は、関連する時間遅延によって示される。さらに、各列は、対称群信号に関連する。

【0263】

【表3】

【0264】

したがって、対称群1.1に対して対称群オーディオ信号を決定するために、距離Δt1に関する距離オーディオ信号の反転バージョンと、距離Δt2に関する距離オーディオ信号の非反転バージョンとが一緒に加算される。さらに、対称群1.2に対して対称群オーディオ信号を決定するために、距離Δt1に関する距離オーディオ信号の非反転バージョンと、距離Δt2に関する距離オーディオ信号の反転バージョンとが一緒に加算される。

【0265】

一実施形態において、形状は、4つの仮想点と2つの対称群とを有する、辺は等しいが、等しくない長さおよび幅のプレートである。1つまたは複数の距離のさらなるセットにおいて3つの別個の距離が見出され、各別個の距離について、2つの距離オーディオ信号が決定される。図11Bによる距離r_n-<->n+の両極全体の等しい分布は、

【0266】

【表4】

【0267】

を与える。

【0268】

一実施形態において、形状は、4つの仮想点と4つの対称群とを有する、等しくない辺、長さ、および幅を有するプレートである。この例において、形状上に定義された各仮想点が、それ自体の対称群である。そのため、対称群は、それ自体のバージョンを2つではなく1つのみ有する。1つまたは複数の距離のさらなるセットにおいて、6つの一意の距離が見出される。図11Cによる距離r_n-<->n+の両極全体の等しい分布は、

【0269】

【表5】

【0270】

を与える。

【0271】

この実施形態において、まったく同一のグループ内に含まれる点ではなく群の間に対称的な反対点があるだけなので、分布は、Δt2→g3およびΔt3→g4について、単純なチェスボードのような様式から逸脱することが留意されるべきである。

【0272】

図12は、図9に記載されているように仮想点の間の距離に応じて所望の時間遅延を取得するための「値フィルタ」演算34、および可変しきい値に基づいて残響の所望の時間密度の最適化を自動化する「時間密度スケーラ」演算36のためのフロープロセスである。ステップ「対称群を決定する」までのステップは、値フィルタ演算34において実行され得、各反復におけるこのステップに続くステップは、時間密度スケーラ演算36において実行され得る。

【0273】

特に、仮想点の位置を決定するステップは、格子および形状データを受信するステップを含み得る。このステップの出力は、N×N次元配列であり、各要素は、仮想点からすべての他の仮想点までの距離値を保持する。

【0274】

生成された仮想点の順序付けロジックは、右手座標系を構成する。
const{virtual points}=pd.get virtual points Distances()

【0275】

仮想空間内の仮想点位置に関連する仮想点の番号付けおよび座標(x,y,z)は、カスタム形状スクリプトファイルから生成され得る。単純な仮想オブジェクトスクリプトファイルは、vec3オブジェクトが指定される方法を含む。
# ...
def getPositions(self, density, hollow, speedAdjustedTime):
positions = []
#pyramid base 50×50
positions.append(nap.vec3(-25., 0., -25.))
positions.append(nap.vec3(0., 0., -25.))
positions.append(nap.vec3( 25., 0., -25.))
# ...
positions.append(nap.vec3(12.5, 17.67767, 12.5))
positions.append(nap.vec3(0., 35.355339, 0.))
return positions
# ...

【0276】

次いで、コンピュータプログラムは、関数呼び出しにおいて値を抽出し、仮想点座標を生成し得る。
const config={
type: "scriptFile",
name: "pyramid",
fileName: "scripts/pyramidShape"
}
const pd2 = new virtual points Distances()

【0277】

次のステップにおいて、仮想点のペア間の距離が計算される。各仮想点は、(x,y,z)座標を有するので、標準的な距離方程式が使用される。
r=√((x2-x1)²+(y2-y1)²+(z2-z1)²)

【0278】

その後、音速(v)の値を受信することに基づいて、時間遅延が距離から変換される。N個の仮想点を有する仮想オブジェクトについて、結果は、N×N次元マトリックスであり、ここで、エントリe_ijは、仮想点p_iとp_jとの間の遅延時間Δt(ms)である。その表面上に均等に分散された3×3個の仮想点を有する1×1メートルのプレートの場合、これは、

【0279】

【表6】

【0280】

を与える。

【0281】

この初期マトリックスは、複数の仮想点のうちの各仮想点について、複数の仮想点のうちの問題の仮想点とそれぞれの他の仮想点との間のそれぞれの仮想距離を含む1つまたは複数の仮想距離のセットを定義することによって取得され得る。この例において、仮想点#1に関連付けられた1つまたは複数の仮想距離のセットは、行「1」において示され、仮想点#2に関連付けられた1つまたは複数の仮想距離のセットは、行「2」において示される、などである。

【0282】

次いで、初期マトリックスは、遅延時間のうちのいくつかを除去するために、多重度フィルタに通される。フィルタは、仮想点ごとに適用され得、ここで、1つの仮想点は、マトリックス内の各水平行によって表される。生成された時間遅延値のいくつかは、互いに近接している場合があるので、サンプルレートに従って、遅延時間の差の絶対値をとり、差が1サンプルの時間未満であるかどうかをチェックすることによって、等価性が判断される。したがって、そのようなほとんど同一の距離は、別個の距離として扱われない。
function equals(a, b, sampleRate) {
return Math.abs(a -b) < (1/sampleRate)
}

【0283】

【表7】

【0284】

仮想点に適用されるフィルタの第1のインスタンスにおいて、本発明者らは、時間遅延の第1の発生にのみ関心があり、すべての重複は、フィルタリングされる。この例において、仮想点p1と仮想点p4との間の距離は、仮想点1と仮想点2との間の距離と同じであるので、フィルタリングされる。点1と点2との間の仮想距離が維持されることに留意されたい。

【0285】

フィルタの第2のインスタンスにおいて、他の遅延時間の整数倍である遅延時間、すなわち距離もフィルタリングされる。この例において、仮想点p1と仮想点p3との間の距離は、仮想点p1と仮想点p2との間の距離の値の2倍であるので、フィルタリングされる。

【0286】

このフィルタリングステップの後、各仮想点について、仮想点固有の1つまたは複数の距離のセットが取得される。

【0287】

そのような仮想点固有のセットは、最初に、仮想点に関連付けられた1つまたは複数の距離の各セットについて、すなわち、初期マトリックス内の各行について、仮想点に関連付けられた1つまたは複数の距離のさらなるセットを取得するために、セット内、すなわち問題の行内の任意の他の距離の整数倍である距離である距離を除去することによっても到達され得る。次いで、仮想点固有のセットは、各々のさらなるセット内の別個の距離として決定され得る。例示すると、点1に関する仮想点固有のセットは、0.972、1.374、および2.173を含む。

【0288】

フィルタを満たす仮想点ごとの遅延時間を取得した後、マトリックスの値セットは、別個の遅延時間、すなわち別個の距離を、最短の遅延線から最長の遅延線への昇順に並べ替える。これらの別個の遅延時間は、本明細書では、1つまたは複数の距離のさらなるセットの別個の距離とも呼ばれる。これらの別個の距離が見出された後、対称群ごとの別個の距離に関連付けられた遅延時間の発生などの他の特性が分析され得る。

【0289】

同じ仮想点固有の距離のセットを有する仮想点は、対称群に属すると判断される。例示すると、点3は、点1に関する仮想点固有のセットと同じである仮想点固有の距離のセットとして、0.972、1.374、および2.173を有する。したがって、点1および3は、同じ対称群に属する。

【0290】

この例では、0.972ミリ秒の時間遅延(すなわち、仮想距離0.333m)は、2つの対称群、すなわち、仮想点1-、2+、3-、4+、6-、7+、8-、9+から構成された対象群1、および仮想点5-から構成された対称群2に関連付けられ、
1.374ミリ秒の時間遅延(すなわち、仮想距離0.471m)は、2つの対称群、すなわち、仮想点1+、2-、3+、4-、6+、7-、8+、9-から構成された対象群1、および仮想点5+から構成された対称群2に関連付けられ、
2.173ミリ秒の時間遅延(すなわち、仮想距離0.745m)は、1つの対称群、すなわち、仮想点1-、2+、3-、4+、6-、7+、8-、9+から構成された対象群1に関連付けられる。

【0291】

横軸においてすべての対称群が2つのバージョン1.1 1.2 2.1 2.2 3.1 3.2などにおいて配置された新しいマトリックスが作成される。群が1つの仮想点のみから構成されている場合、群の1つのバージョンのみが存在し、したがって、群は、マトリックス内に一回のみ現れる。縦軸において、別個の距離が遅延時間として表される、すべての対称群距離によって形成された1つまたは複数の距離のさらなるセット内のすべての別個の距離は、最短(上)から最長(下)に並べ替えられる。次いで、両極(+/-)が、単純なチェスボードのような様式においてマトリックスに追加される。最後に、各対称群内の仮想点は、図11A～図11Cに記載されているようなプロセスに従って、グループn.1とグループn.2との間で交互に分散される。

【0292】

コマンドチェーンの第2のステップは、図3におけるビルディングブロック36を参照する「時間密度スケーラ」演算を含む。仮想点の対称群に関する時間遅延値は、以下のように実行され得る。仮想点の各対称群は、1つまたは複数の対称群距離に関連付けられる。さらに、各対称群距離について、時間遅延演算(図6Aにおける64/72を参照)を使用して1つまたは複数の距離オーディオ信号が決定される。特定の対称群に関する、密度指数とも呼ばれる時間遅延値は、
di=Σ{1/Δt₁,1/Δt₂,...,1/Δt_Q}
によって与えられ、ここで、Δt₁は、対称群距離のうちの第1の距離について1つまたは複数の距離オーディオ信号を決定するための時間遅延演算によって導入される時間遅延(秒単位)であり、Δt₂は、対称群距離のうちの第2の距離について1つまたは複数の距離オーディオ信号を決定するための時間遅延演算によって導入される時間遅延である、などである。Qは、密度指数が決定される対称群に関する対称群距離の数を示す。

【0293】

対称群ごとの所与の時間密度は、可変しきい値と比較される。diに関する計算値がしきい値よりも低い場合、フィルタを満たさず、仮想点解像度を増加させるようにプロセスに命令し、各対称群に関する密度指数がしきい値以上になり、したがってフィルタを満たすまで、コマンドチェーンの再実行をトリガする。

【0294】

残響の十分な密度を満たすための1秒あたりのエコーの量は、一般に1000秒^-1と考えられるが、オーディオ信号プロセスへのオーディオ入力信号のタイプおよび性質に応じて、10000秒^-1程度になり得る。実際のdiは、図6Cに記載されているようにスピーカにおけるすべてのオーディオ出力信号の総和と、実際のdi×N(=12における遅延線の数)を増加させる第1の反射演算12における生成された仮想点オーディオ信号成分の量とによってさらに影響を受ける。したがって、時間密度しきい値は、様々な状況に応じてユーザによって調整され得る可変パラメータである必要がある。

【0295】

このようにして、仮想オブジェクト内に残響を生成するためのシステムは、所与の条件において所与の仮想オブジェクトについて最も最適な密度条件に自動的に調整される。人工残響システムの従来技術の適用において、時間密度の基準を満たすために、遅延時間などのパラメータが慎重に選択される。本発明は、システムにおいて選択された遅延時間などの固定された値のセットを事前に必要とすることなく、最適な時間密度を必要とする新規な方法を提供し、その代わりに、そのような値は、形状の属性、すなわち、次元形状、サイズ、および物質性を有する仮想オブジェクト内の残響に依存し得る。

【0296】

図13は、具体的には、媒体を伝わる音速、温度、湿度、および他の要因を含む残響の設定条件に応じて発生し得る高周波および超高周波カットオフ値f_cの場合、仮想点間の距離のスケールを決定する仮想オブジェクトのサイズおよび仮想点解像度に応じて、第1の反射演算12および残響演算18内に含まれる所望のローパスフィルタリングを取得するための「サンプルレート補間」演算32のためのフロープロセスを示す。第1の反射演算12または残響演算18のいずれかにおいて実行された遅延線の一部として取得された値f_cは、人間の可聴周波数範囲(～20kHz)のしきい値よりも(はるかに)上であり得、より具体的には、ナイキスト周波数(=0.5×サンプルレート)よりも大きい場合がある。

【0297】

ナイキスト周波数は、実質的に、デジタルローパスフィルタにおける割り当て可能なカットオフ周波数の上限しきい値を決定し、これは、ナイキストよりも上のフィルタリングが可聴効果をもたらさないことを意味する。それにもかかわらず、図6Aに示されているような、ナイキスト周波数よりも上のf_cの値を含み得る距離依存減衰関数の効果は、ナイキスト周波数よりも下の周波数の減衰からの有意な可聴効果を伴う場合もある。第1の反射演算および残響演算における減衰関数を最適化する手法として、所望のフィルタリング演算を完了するためにサンプルレートを局所的に増加させ、次いでサンプル補間によってサンプルレートをオーディオ出力デバイスのサンプルレートまで減少させることによって、プログラムまたはコード部分を実行するコンピュータ処理ユニットに接続された(またはその一部としての)オーディオ出力デバイスのサンプルレートと、第1の反射演算12および残響演算18における生成された周波数カットオフ値との関係を考慮するコマンドフローが提案される。

【0298】

第1のステップとして、図12に記載のように、第1の反射演算の場合には入力源と各仮想点との間で、または残響演算の場合にはすべての仮想点との間で、すべての必要な距離が計算される。次いで、演算54を参照して図6Aに詳細に説明されているように、f_cが決定され得る。

【0299】

第2のステップは、サンプル補間に関してさらなるアクションが必要であるかどうかを決定するための第1のフィルタを含む。f_cについて取得された値がナイキスト周波数よりも大きい場合、フィルタを満たさず、フィルタを満たすまで補間によってサンプルレートを局所的に増加させるプロセスを命令し、局所的に最適化されたサンプルレートにおいてローパスフィルタリングプロセスを実行するように命令する。

【0300】

ローパスフィルタリング演算が完了した後、第2のフィルタは、ローカルサンプルレートがオーディオ出力デバイスのサンプルレートと一致するかどうかをチェックし、フィルタを満たさない場合、サンプルがオーディオ出力デバイスのサンプルレートと一致するまで、補間によってローカルサンプルレートを減少させる。

【0301】

結果として、問題の周波数カットオフが人間の聴覚範囲よりも(はるかに)上であるにもかかわらず、人間の可聴範囲内の周波数に対する周波数カットオフの影響は、サンプル補間後の信号内に正確に符号化される。本出願人は、これが、説明したような残響オーディオ信号内に構成される高周波消散の精度および滑らかさに対して有意な影響を有することを見出した。

【0302】

図14は、本発明の一実施形態によるユーザインターフェースを示す。方法の一実施形態は、本発明で説明するようにユーザインターフェースを生成するステップを含む。

【0303】

一実施形態において、説明したシステムのためのユーザインターフェースは、仮想オブジェクトを制御するためのモジュール、例えば、観察者および/または「視点」に対するその位置、仮想オブジェクトの形状、仮想オブジェクトを構成する材料、音の伝播のために選択された媒体の条件、残響自体の属性、特定の形状の仮想オブジェクト内の定在波から結果として生じる共振などのいくつかの他の属性、ならびにマスター出力レベル、およびオーディオ出力信号の送信レベル、または他の仮想オブジェクトについて決定された他のオーディオ信号プロセスへの入力オーディオ信号として提供するためのオーディオ信号プロセスからの「オーディオミックスダウン」を含むオーディオ信号プロセスのオーディオ出力を制御するためのモジュールを備える。

【0304】

図示のユーザインターフェースは、ユーザが、他の仮想オブジェクトについて決定された他のオーディオ信号プロセスからのオーディオ出力信号またはオーディオミックスダウンを、入力チャネルを使用して前記仮想オブジェクトについて決定されたオーディオ信号プロセスについて入力オーディオ信号として制御することを可能にする入力セクションを備える。入力チャネルは、説明した方法をオプションで実行することによってまたは外部音源によって、前記仮想オブジェクトについて決定されたオーディオ信号プロセスのための入力オーディオ信号として一緒に結合された別の仮想オブジェクトについて決定されたオーディオ信号プロセスからオーディオ信号を受信する複数のオーディオチャンネルから構成され得る。ユーザインターフェースは、ユーザが、例えば、利得ノブを使用することによって、各入力チャネルの増幅を制御することを可能にする。

【0305】

ユーザインターフェースは、ユーザが、他の仮想オブジェクトのためのオーディオ信号プロセスを決定するために、前記仮想オブジェクトについて決定されたオーディオ信号プロセスの総和されたオーディオ出力信号またはオーディオミックスダウンを、入力オーディオ信号としてルーティングすることを可能にする出力セクションをさらに備え得る。

【0306】

出力モジュールは、図5に記載されているような、別個のスピーカに供給されるオーディオ信号プロセスのオーディオ出力信号のオプションの減衰のレベル(値「a」)を決定し得るマスターレベルフェーダをさらに備え得る。

【0307】

ユーザインターフェースは、ユーザが、その形状などの仮想オブジェクトに関連するパラメータを、例えば、ドロップダウンメニューによって形状を選択することによって入力すること、ならびに/または仮想オブジェクトが中空であるかまたは中実であるかをオン/オフボタンによって入力すること、ならびに/または仮想オブジェクトのスケール、すなわちサイズをノブによって調整すること、ならびに/またはその寸法、例えば、そのデカルト次元を次元x、y、およびzに関する数値ボックスによって入力すること、ならびに/または回転を入力すること、ならびに/または仮想オブジェクトの形状上に定義された仮想点の量、すなわち密度を決定するための解像度を数値ボックスによって入力することを可能にする仮想オブジェクト定義セクションをさらに備え得る。これは、ユーザが、仮想オブジェクトについて決定されたオーディオ信号プロセスにおいて必要な計算量を制御することを可能にする。

【0308】

回転に関連するパラメータを入力するための入力手段は、次元x、y、およびzのためのエンドレス回転ノブとして提示され得る。

【0309】

ユーザインターフェースは、ユーザが仮想オブジェクトの位置に関連するパラメータを入力することを可能にする位置セクションをさらに備え得る。3次元空間における形状の位置は、空間の仮想中心が0、0、0として示されるデカルト座標+/-x、y、zにおいて表され得、仮想オブジェクトを配置し、移動することができる視覚的3次元フィールドとして提示され得る。この3次元制御フィールドは、フィールドの半径を調整することによってサイズを拡大縮小され得る。

【0310】

したがって、仮想オブジェクトについて決定された残響オーディオ信号プロセスから結果として生じる各スピーカのための別個のオーディオ出力信号は、i)仮想オブジェクトの形状のモデル化、ii)3次元空間内の形状の回転、およびiii)3次元空間内の形状の位置によって自動的に制御され得る。

【0311】

ユーザインターフェースは、図16Aに記載されているような共振演算20においてオプションのフィードバック信号の減衰(値「b」)を決定する共振の帯域幅および量を調整するためのノブ、図16Dに記載されているような距離演算26の減衰演算を決定する方程式における増倍係数xを決定する知覚される距離をスケーリングするためのノブ、図16Bに記載されているような深さ演算22または図16Cに記載されているような高さ演算24のいずれかの減衰演算を決定するための方程式における増倍係数xを決定する知覚される高さをスケーリングするためのノブ、および図16Dに記載されているような距離演算26の第2の時間遅延を決定する方程式を修正するためのスケーラである、ドップラー効果の量をスケーリングするためのノブなどの、ユーザが様々なパラメータを制御することを可能にする属性セクションをさらに備え得る。

【0312】

ユーザインターフェースは、いくつかの事前にプログラムされたオプションを有するドロップダウンメニューによって、仮想オブジェクトの材料を選択するためのセクションをさらに備え得る。次に、材料の選択は、図6Aに記載されているような吸収フィルタ演算におけるISO354値の選択されたセットを決定する。「吸収ノブ」および「反射率ノブ」は、結果として生じる反射および残響が、音のより少ない吸収およびより密な反射を構成するように、選択された材料の吸収特性を増加させるため、または選択された材料の吸収特性を減少させるために、選択されたISO354値からの吸収係数の比例スケーラを提供する。

【0313】

ユーザインターフェースは、いくつかの事前にプログラムされたオプションを有するドロップダウンメニューによって、選択された媒体の条件を制御するためのセクションをさらに備え得る。一実施形態では空気であり得る媒体の選択は、空気の媒体の場合、温度のCにおける値を設定するための数値ボックス、および湿度を上昇/低下させるためのノブなどの、特定の媒体おける音の伝播の挙動のパラメータとみなされる、媒体に固有のいくつかのカスタムオプションを構成し得る。音速は、媒体および関連パラメータの選択から結果として生じる値であるが、計算された標準から逸脱するように制御可能な数値ボックスにおいて手動で調整され得る。条件セクションにおける設定パラメータ値は、ローパスフィルタ演算の周波数依存減衰を決定し、図6Aに記載されているような第1の反射演算12および残響演算18の時間遅延演算における時間遅延を決定し、図12に記載されているような値フィルタリング演算における時間遅延の計算を決定し、図13に記載されているようなナイキスト周波数に関連する周波数カットオフを決定する。

【0314】

ユーザインターフェースは、図6Cに記載されているような第1の反射演算12から結果として生じるオーディオ信号成分のオプションの減衰のレベル(値「a」)を決定する、第1の反射の出力利得を制御するためのノブ、図6Cに記載されているような残響演算18から結果として生じるオーディオ信号成分のオプションの減衰のレベル(値「b」)を決定する、残響テールの出力利得を制御するためのノブ、図6Aに記載されているような残響演算18の減衰演算を決定する方程式における係数xを決定する、残響の減衰時間を制御するためのノブ、第1の反射12および/または残響演算18一部としてのローパスフィルタリング演算の周波数カットオフを決定する方程式における係数yを修正および/またはスケーリングし得る残響の減衰を制御し、図6Aに記載されているような残響演算18の減衰演算において使用される高周波散逸に関する補正式の効果をさらに修正する、すなわち、増加または減少させるためのノブ、図12に記載されているような残響システムの最適な時間密度への調整を自動化するために使用される時間密度しきい値を設定する、残響の密度を制御するためのノブなどの、残響の属性を制御するためのセクションをさらに備え得る。

【0315】

ユーザインターフェースを介して受信されるユーザ入力は、本明細書で説明する方法に従ってパラメータの適切な値を決定するために使用され得る。したがって、残響システムのすべての機能的動作は、フロントエンドユーザ特性、すなわち、次元形状、サイズ、および物質性を有する仮想空間内で残響する音源の可聴操作に変換される。

【0316】

本発明の適用は、この特定のインターフェースの例のレイアウトに決して限定されず、システム設計における多数の手法の対象となり、仮想空間内の音源を形成および配置するための多数のレベルの制御を含むことができ、いかなる特定のプラットフォーム、媒体、または視覚設計および/もしくはレイアウトにも限定されないことが理解されるべきである。

【0317】

図15は、一実施形態によるデータ処理システムを示すブロック図を示す。

【0318】

図15に示すように、データ処理システム100は、システムバス106を介してメモリ要素104に結合された少なくとも1つのプロセッサ102を含み得る。そのため、データ処理システムは、メモリ要素104内にプログラムコードを記憶し得る。さらに、プロセッサ102は、システムバス106を介してメモリ要素104からアクセスされたプログラムコードを実行し得る。一態様において、データ処理システムは、プログラムコードを記憶および/または実行するのに適したコンピュータとして実装され得る。しかしながら、データ処理システム100は、本明細書内に記載された機能を実行することができるプロセッサとメモリとを含む任意のシステムの形態において実装され得ることが理解されるべきである。

【0319】

メモリ要素104は、例えば、ローカルメモリ108および1つまたは複数の大容量記憶デバイス110などの1つまたは複数の物理メモリデバイスを含み得る。ローカルメモリは、プログラムコードの実際の実行中に一般的に使用されるランダムアクセスメモリまたは他の非永続メモリデバイスを指し得る。大容量記憶デバイスは、ハードドライブ、または他の永続的データ記憶デバイスとして実装され得る。処理システム100は、実行中にプログラムコードが大容量記憶デバイス110から取得されなければならない回数を減らすために、少なくともいくつかのプログラムコードの一時的な記憶を提供する1つまたは複数のキャッシュメモリ(図示せず)も含み得る。

【0320】

入力デバイス112および出力デバイス114として示されている入力/出力(I/O)デバイスは、オプションでデータ処理システムに結合され得る。入力デバイスの例は、限定はしないが、キーボード、マウスなどのポインティングデバイス、タッチ感知ディスプレイなどを含み得る。出力デバイスの例は、限定はしないが、モニタまたはディスプレイ、スピーカなどを含み得る。入力デバイスおよび/または出力デバイスは、直接または介在するI/Oコントローラを介して、データ処理システムに結合され得る。

【0321】

一実施形態において、入力デバイスおよび出力デバイスは、複合型入力/出力デバイス(図15では、入力デバイス112および出力デバイス114を取り囲む破線で示されている)として実装され得る。そのような複合型デバイスの一例は、ときには「タッチスクリーンディスプレイ」または単に「タッチスクリーン」とも呼ばれるタッチ感知ディスプレイである。そのような実施形態において、デバイスへの入力は、タッチスクリーンディスプレイ上またはその近傍での、スタイラスまたはユーザの指などの物理的物体の動きによって提供され得る。

【0322】

介在するプライベートネットワークまたはパブリックネットワークを介して他のシステム、コンピュータシステム、リモートネットワークデバイス、および/またはリモート記憶デバイスに結合されるようにすることを可能にするために、ネットワークアダプタ116もデータ処理システムに結合され得る。ネットワークアダプタは、前記システム、デバイス、および/またはネットワークによってデータ処理システム100に送信されるデータを受信するデータ受信機と、データ処理システムから前記システム、デバイス、および/またはネットワークにデータを送信するためのデータ送信機とを備え得る。モデム、ケーブルモデム、およびイーサネットカードが、データ処理システム100で使用され得る様々なタイプのネットワークアダプタの例である。

【0323】

図15に示すように、メモリ要素104は、アプリケーション118を記憶し得る。様々な実施形態において、アプリケーション118は、ローカルメモリ108内、1つまたは複数の大容量記憶デバイス110内、またはローカルメモリおよび大容量記憶デバイスとは別に記憶され得る。データ処理システム100は、アプリケーション118の実行を容易にすることができるオペレーティングシステム(図15には図示せず)をさらに実行し得ることが理解されるべきである。実行可能なプログラムコードの形態において実装されているアプリケーション118は、データ処理システム100によって、例えば、プロセッサ102によって実行され得る。アプリケーションを実行することに応答して、データ処理システム100は、本明細書で説明する1つまたは複数の演算または方法ステップを実行するように構成され得る。

【0324】

本発明の一態様において、データ処理システム100は、本明細書に記載されているような第1の反射モジュール12および/または吸収フィルタ16および/または残響モジュール18および/または共振モジュール20および/または深さモジュール22および/または高さモジュール24および/または距離モジュール26および/またはパニングシステム28を表し得る。

【0325】

さらに、データ処理システム100は、本明細書に記載されているような形状発生器30および/またはサンプルレート補間器32および/または値フィルタ34および/または時間密度スケーラ36を表し得る。

【0326】

本発明の様々な実施形態は、コンピュータシステムで使用するためのプログラム製品として実装され得、プログラム製品のプログラムは、実施形態の機能(本明細書に記載の方法を含む)を定義する。一実施形態において、プログラムは、様々な非一時的なコンピュータ可読記憶媒体上に含まれ得、ここで、本明細書で使用される場合、「非一時的なコンピュータ可読記憶媒体」という表現は、一時的な伝播信号を唯一の例外として、すべてのコンピュータ可読媒体を含む。別の実施形態において、プログラムは、様々な一時的なコンピュータ可読記憶媒体上に含まれ得る。例示的なコンピュータ可読記憶媒体は、限定はしないが、(i)情報が永続的に記憶される書き込み不可能な媒体(例えば、CD-ROMドライブによって読み取り可能なCD-ROMディスク、ROMチップ、または任意のタイプの固体不揮発性半導体メモリなどの、コンピュータ内の読み取り専用メモリデバイス)、および(ii)変更可能な情報が記憶される書き込み可能な記憶媒体(例えば、フラッシュメモリ、ディスケットドライブ内のフロッピーディスクもしくはハードディスクドライブ、または任意のタイプの固体ランダムアクセス半導体メモリ)を含む。コンピュータプログラムは、本明細書に記載のプロセッサ102上で実行され得る。

【0327】

本明細書で使用される用語は、特定の実施形態を説明する目的のみのためのものであり、本発明の限定であることを意図するものではない。本明細書で使用される場合、単数形「a」、「an」、および「the」は、文脈が明示的にそうでないことを示さない限り、同様に複数形も含むことが意図される。本明細書で使用される場合、「備える」および/または「備えている」という用語は、記載された特徴、整数、ステップ、演算、要素、および/または構成要素の存在を指定するが、1つまたは複数の他の特徴、整数、ステップ、演算、要素、構成要素、および/またはそれらのグループの存在または追加を排除しないことがさらに理解されるであろう。

【0328】

以下の特許請求の範囲におけるすべての手段またはステッププラスファンクション要素の対応する構造、材料、行為、および均等物は、具体的に特許請求された他の特許請求された要素と組み合わせて機能を実行するための任意の構造、材料、または行為を含むことを意図している。本発明の実施形態の説明は、例示目的のために提示されており、網羅的であること、または開示された形態における実装形態に限定されることを意図していない。本発明の範囲および要旨から逸脱することなく、多くの修正および変形が当業者には明らかであろう。実施形態は、本発明の原理およびいくつかの実際の適用を最もよく説明し、当業者が、企図された特定の使用に適した様々な変更を伴う様々な実施形態について本発明を理解することを可能にするために選択および説明された。

【0329】

本発明者は、本開示への貢献についてIa MgvdliashviliおよびDr. Amira Val Bakerに感謝する。

【符号の説明】

【0330】

2 仮想オブジェクト
4 中心点
6 観察者
8 音源
10 フィルタ、マルチバンドフィルタ、第1の吸収フィルタ
12 第1の反射モジュール、第1の反射演算
14 複合オーディオ信号
16 第2のフィルタ、第2のマルチバンドフィルタリング演算
18 モジュール、残響モジュール、残響演算
18a ボックス、ブロック
20 共振モジュール、共振演算
21 ミックスダウン
22 深さモジュール、深さ演算
24 高さモジュール、高さ演算
26 距離モジュール、距離演算
28 パニングシステム、パニングモジュール、信号分配マトリックス、パニングマトリックス、パニングマトリックス演算
30 形状発生器
30a 左側(L)
30b 右側(R)
32 「サンプルレート補間」演算、サンプルレート補間器
34 「値フィルタ」演算、演算、値フィルタ演算、値フィルタ
36 「時間密度スケーラ」演算、演算、時間密度スケーラ演算、ビルディングブロック、時間密度スケーラ
40a 残響オーディオ信号
40b 残響オーディオ信号
40c 信号
42 方法
42a 方法
42b 方法
42c 方法
52 減衰演算、演算
53 コンバイナ
54 ローパスフィルタ演算、ローパスフィルタ、演算
55 減衰演算、演算
56 時間遅延演算
57 減衰演算
58 信号フィードバック演算
60 減衰演算、演算
62 ローパスフィルタ演算、演算
64 時間遅延演算、演算
66 第2の信号フィードバック演算
68 信号反転演算、信号減衰演算、演算
70 ローパスフィルタ演算、演算
72 第2の時間遅延演算、演算、時間遅延演算
73 信号フィードバック演算
74 信号反転演算
75 信号遅延演算
76 増幅器
78 総和、加算演算
79 減衰演算
80 ハイパスフィルタ演算、モジュール
86 時間遅延演算
88 信号減衰
90 信号フィードバック演算
92 結合すること
94 減衰または増幅される
100 データ処理システム
102 プロセッサ
104 メモリ要素
106 システムバス
108 ローカルメモリ
110 大容量記憶デバイス
112 入力デバイス
114 出力デバイス
116 ネットワークアダプタ
118 アプリケーション
140 信号反転演算
142 信号遅延演算、時間遅延演算
144 信号減衰
146 結合すること
148 減衰
160 第1の時間遅延演算、時間遅延演算
162 第1の信号減衰演算、第1の信号減衰、演算
164 信号フィードバック演算
166 結合すること
168 第2の信号減衰、演算
170 第2の信号遅延演算、第2の信号減衰
210 仮想オブジェクトの寸法、形状寸法
212 仮想点位置
214 コンテナ
216 形状座標
218 格子
220 仮想点密度

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16AB】

【図16CD】

【図17】

【図18A】

【図18BC】

【図18D】

【図18E】

【図18FG】

【図19】

【図20】

【図21】

【国際調査報告】