知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-27
(54)【発明の名称】オーディオ装置及びその方法
(51)【国際特許分類】
H04S 7/00 20060101AFI20240319BHJP
G10K 15/12 20060101ALI20240319BHJP
【ＦＩ】
H04S7/00 350
G10K15/12
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023561329
(86)(22)【出願日】2022-03-10
(85)【翻訳文提出日】2023-10-05
(86)【国際出願番号】 EP2022056218
(87)【国際公開番号】W WO2022214270
(87)【国際公開日】2022-10-13
(31)【優先権主張番号】21167510.3
(32)【優先日】2021-04-08
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】コッペンス イェルーン ジェラルドゥス ヘンリクス
(72)【発明者】
【氏名】ジェルフス サム マーティン
(72)【発明者】
【氏名】ケチチャン パトリック
【テーマコード（参考）】
5D162
5D208
【Ｆターム（参考）】
5D162AA04
5D162AA11
5D162CB16
5D162CC36
5D162CD07
5D162CD21
5D162EG07
5D208AA08
5D208AB17
(57)【要約】
フラッタエコーオーディオ信号を生成するオーディオ装置は、部屋の特性を示す部屋メタデータを受信するように構成された受信機４０１を有する。部屋メタデータは、例えば、部屋の寸法及び／又は部屋の境界の音響反射データを示し得る。推定器４０５は部屋のフラッタエコー推定値を部屋メタデータに応答して決定し、該フラッタエコー推定値は部屋内のフラッタエコーのレベルを示す。信号発生器４０３は、複数のフィードバックループを備えたフィードバック遅延ネットワークを含む。該信号発生器４０３は、フラッタエコーオーディオ信号を、オーディオソース信号が供給されている複数のフィードバックループのうちの一群のフィードバックループの出力信号から生成するように構成される。アダプタ４０７は、一群のフィードバックループにおける第１のフィードバックループに対する第１のパラメータをフラッタエコー推定値に応答して適応させる。
【特許請求の範囲】
【請求項1】
フラッタエコーオーディオ信号を生成するオーディオ装置であって、前記オーディオ装置は、部屋の特性を示す部屋メタデータを受信する受信機と、
前記部屋のフラッタエコー推定値を前記部屋メタデータに応答して決定する推定器であって、前記フラッタエコー推定値が前記部屋内のフラッタエコーのレベルを示す、推定器と、
複数のフィードバックループを備えたフィードバック遅延ネットワークを含む信号発生器であって、前記フラッタエコーオーディオ信号を、オーディオソース信号が供給されている前記複数のフィードバックループのうちの一群のフィードバックループの出力信号から生成する、信号発生器と、
前記一群のフィードバックループにおける第１のフィードバックループに対する第１のパラメータを、前記フラッタエコー推定値に応答して適応させるアダプタと
を有する、オーディオ装置。
【請求項2】
前記部屋メタデータは前記部屋に関する寸法データを含み、前記フラッタエコー推定値が、第２の方向の部屋寸法に対する第１の方向の部屋寸法に応答して決定される、請求項１に記載のオーディオ装置。
【請求項3】
前記部屋メタデータは前記部屋の側面に関する音響反射データを含み、前記フラッタエコー推定値が、前記部屋の第２の境界の音響反射減衰に対する前記部屋の第１の境界の音響反射減衰に応答して決定される、請求項１又は２に記載のオーディオ装置。
【請求項4】
前記アダプタが、前記第１のフィードバックループから自身へのフィードバック係数を、前記フラッタエコー推定値が前記フラッタエコーのレベルの増加を示すことに対して増加させる、請求項１から３の何れか一項に記載のオーディオ装置。
【請求項5】
前記複数のフィードバックループの該複数のフィードバックループのうちの他のフィードバックループに対する少なくとも幾つかのフィードバック係数が、前記部屋の部屋寸法に依存する、請求項１から４の何れか一項に記載のオーディオ装置。
【請求項6】
前記信号発生器は、更に、前記一群のフィードバックループに含まれないフィードバックループの出力から拡散残響信号を生成し、前記アダプタが、前記一群のフィードバックループに含まれるフィードバックループの数を前記フラッタエコー推定値に応答して変化させる、請求項１から５の何れか一項に記載のオーディオ装置。
【請求項7】
前記信号発生器は、前記一群のフィードバックループのフィードバックループに供給される前の前記オーディオソース信号に対して遅延を持ち、前記アダプタが、該遅延を、前記オーディオソース信号のオーディオソース、リスナ及び前記部屋の境界のうちの少なくとも１つの位置に応答して適応させる、請求項１から６の何れか一項に記載のオーディオ装置。
【請求項8】
前記一群のフィードバックループは少なくとも２つのフィードバックループを有し、前記信号発生器は、該少なくとも２つのフィードバックループに供給される前の前記オーディオソース信号に対して遅延を持ち、該遅延が前記少なくとも２つのフィードバックループに対して相違する、請求項１から７の何れか一項に記載のオーディオ装置。
【請求項9】
前記一群のフィードバックループが２以下のループを有する、請求項１から８の何れか一項に記載のオーディオ装置。
【請求項10】
前記アダプタが、前記複数のフィードバックループに対するフィードバック係数を、前記一群のフィードバックループにおけるフィードバックループから該一群のフィードバックループに含まれない如何なるフィードバックループへのフィードバックも存在しないように適応させる、請求項１から９の何れか一項に記載のオーディオ装置。
【請求項11】
前記信号発生器は拡散残響信号を更に生成し、当該オーディオ装置が更に、前記フラッタエコーオーディオ信号に空間処理を適用する空間プロセッサであって、該空間処理が前記オーディオソース信号のソース及び前記部屋の境界のうちの少なくとも１つの位置に依存する、空間プロセッサと、
拡散残響信号及び空間処理後の前記フラッタエコーオーディオ信号を組み合わせる結合器と
を有する、請求項１から１０の何れか一項に記載のオーディオ装置。
【請求項12】
前記フラッタエコーオーディオ信号に空間処理を適用する空間プロセッサであって、該空間処理が前記オーディオソース信号のソース及び前記部屋の側面のうちの少なくとも１つの位置に依存する、空間プロセッサを更に有する、請求項１から１１の何れか一項に記載のオーディオ装置。
【請求項13】
複数のオーディオソース信号を前記複数のフィードバックループに供給する回路を有し、少なくとも１つのオーディオソース信号が前記一群のフィードバックループのフィードバックループにのみ供給される、請求項１から１２の何れか一項に記載のオーディオ装置。
【請求項14】
前記信号発生器は、前記一群のフィードバックループのフィードバックループに供給される前の前記オーディオソース信号に対し利得を有し、前記アダプタが、該利得を、前記オーディオソース信号のオーディオソースの位置、リスナの位置、前記部屋の境界の位置及び前記フラッタエコーオーディオ信号の開始の反射次数のうちの少なくとも１つに応答して適応させる、請求項１から１３の何れか一項に記載のオーディオ装置。
【請求項15】
前記フラッタエコーオーディオ信号は前記部屋の一対の対向する境界の間のフラッタエコーを表し、前記信号発生器は、前記一群のフィードバックループのフィードバックループに供給される前の前記オーディオソース信号に対して周波数依存性利得を有し、前記アダプタは、該利得を、部屋の境界に関する前記部屋メタデータの音響反射データに応答して適応させ、該音響反射データが、前記一対の対向する部屋境界のうちの１つの部屋境界ではない少なくとも１つの部屋境界に関する周波数依存性音響特性を示す、請求項１から１４の何れか一項に記載のオーディオ装置。
【請求項16】
前記一群のフィードバックループが、異なるループ利得を持つ少なくとも２つのフィードバックループを有する、請求項１から１５の何れか一項に記載のオーディオ装置。
【請求項17】
フラッタエコーオーディオ信号を生成する方法であって、前記方法は、部屋の特性を示す部屋メタデータを受信するステップと、
前記部屋のフラッタエコー推定値を前記部屋メタデータに応答して決定するステップであって、該フラッタエコー推定値が前記部屋におけるフラッタエコーのレベルを示す、ステップと、
前記フラッタエコーオーディオ信号を、オーディオソース信号が供給される一群のフィードバックループの出力信号から生成するステップであって、該一群のフィードバックループがフィードバック遅延ネットワークにおける複数のフィードバックループのフィードバックループを有する、ステップと、
前記一群のフィードバックループの第１のフィードバックループに対する第１のパラメータを、前記フラッタエコー推定値に応答して適応させるステップと
を有する、方法。
【請求項18】
コンピュータ上で実行された場合に、請求項１７に記載の方法の全てのステップを実行するように適合されたコンピュータプログラムコード手段を備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、フラッタエコー（鳴き竜）オーディオ信号を生成するための装置及び方法に係り、特には、専らではないが、拡散残響信号の生成と組み合わせてフラッタエコーオーディオ信号を生成するための装置及び方法に関する。
【背景技術】
【0002】
近年、オーディオビジュアル（視聴覚）コンテンツに基づく種々及び広範囲な体験（エクスペリエンス）が、このようなコンテンツを利用及び消費する新たなサービス及び方法が継続的に開発及び導入されることに伴い大幅に増加した。特に、ユーザに一層関わり合う没入型の体験を提供するために、多くの空間的及び対話的なサービス、アプリケーション及び体験が開発されている。
【0003】
このようなアプリケーションの例は、仮想現実（ＶＲ）、拡張現実（ＡＲ）及び複合現実（ＭＲ）アプリケーションであり、これらは急速に主流になりつつあり、多くのソリューションが消費者市場を対象としている。多数の標準も、多くの標準化団体により開発中である。このような標準化活動は、例えばストリーミング、ブロードキャスト、レンダリング等を含むＶＲ／ＡＲ／ＭＲシステムの様々な側面のための標準を積極的に開発している。
【0004】
ＶＲアプリケーションは、ユーザが他の世界／環境／シーン内にいることに対応するユーザ体験（ユーザーエクスペリエンス）を提供する傾向があるのに対し、ＡＲ（複合現実ＭＲを含む）アプリケーションは、ユーザが現在の環境内にいるが追加の情報又は仮想の物体若しくは情報が追加されていることに対応するユーザ体験を提供する傾向がある。このように、ＶＲアプリケーションは完全に没入型の合成生成された世界／シーンを提供する傾向があるのに対し、ＡＲアプリケーションは、ユーザが物理的に存在する現実のシーンに重ねられた部分的に合成された世界／シーンを提供する傾向がある。しかしながら、これらの用語はしばしば入れ替え可能に使用され、高度に重複している。以下では、仮想現実／ＶＲという用語は、仮想現実及び拡張／複合現実の両方を表すために使用される。
【0005】
一例として、ますます人気が高まっているサービスは、ユーザがシステムと能動的かつ動的に対話してレンダリングのパラメータを変更でき、これがユーザの位置及び向きの動き及び変化に適応するような態様で画像及びオーディオを提供することである。多くのアプリケーションにおける非常に魅力的な機能は、例えば、視聴者が提示されているシーン内で移動及び「見回す」ことを可能にする等の、視聴者の実効的な視聴位置及び視聴方向を変更できる機能である。
【0006】
このような機能は、特に仮想現実体験がユーザに提供されることを可能にすることができる。このことは、ユーザが仮想環境内で（比較的）自由に動き回り、自身の位置及び見ている場所を動的に変更することを可能にする。通常、このような仮想現実アプリケーションはシーンの３次元モデルに基づいており、該モデルは特定の要求されたビューを提供するために動的に評価される。このアプローチは、コンピュータ及びコンソール用の、一人称視点シューティングゲームの分類における等の、例えばゲームアプリケーションからよく知られている。
【0007】
ほとんどのＶＲ／ＡＲアプリケーションは、ビジュアルレンダリングに加えて、対応するオーディオ体験も提供する。多くのアプリケーションにおいて、オーディオは、好ましくは、オーディオソースがビジュアルシーン内の対応する物体の位置に対応する位置から到達するように知覚されるような空間的オーディオ体験を提供する。このように、オーディオシーン及びビデオシーンは、一貫性があるように知覚され、両者が完全な空間体験を提供することが好ましい。
【0008】
例えば、多くの没入型体験は、仮想オーディオシーンが両耳（バイノーラル）オーディオレンダリング技術を使用したヘッドフォン再生によって生成されることにより提供される。多くのシナリオにおいて、このようなヘッドフォン再生は、レンダリングがユーザの頭の動きに応答してなされ得るようにヘッドトラッキングに基づくものであり得、これは没入感を大いに増加させる。
【0009】
多くのアプリケーションにとって重要な機能は、オーディオ環境の自然でリアルな知覚を提供できるオーディオをどの様に生成及び／又は配信するかの機能である。例えば、仮想現実アプリケーション用のオーディオを生成する場合、所望のオーディオソースが生成されるだけでなく、これらのオーディオソースが減衰、反射、色付け等を含むオーディオ環境のリアルな知覚を提供するように修正されることが重要である。
【0010】
室内音響、又はより一般的には環境音響の場合、環境の壁、床、天井、物体等からの音波の反射は、音源信号の遅延及び減衰された（通常は周波数に依存する）バージョンが、聴者（すなわちＶＲ／ＡＲ システムのユーザ）に異なる経由で到達するようにさせる。当該組み合わされた効果は、以下で室内インパルス応答（ＲＩＲ）（この用語は、部屋という形の音響環境に対する特定の使用を暗示するが、この用語は、これが部屋に該当するか否かによらず音響環境に関してもっと一般的に使用される傾向がある）と呼ばれるインパルス応答によりモデル化できる。
【0011】
図１に示されるように、室内インパルス応答は、典型的に、音源から聴取者（リスナ）までの距離に依存する直接音、及びこれに後続する部屋の音響特性を特徴付ける残響部分から構成される。部屋のサイズ及び形状、部屋内の音源及びリスナの位置、並びに部屋の表面の反射特性が、全て、この残響部分の特性に影響する。
【0012】
残響部分は、通常は重なり合う２つの時間領域に分解できる。最初の領域はいわゆる早期反射を含み、これら反射は、リスナに到達する前の部屋内の壁又は障害物での音源の分離された反射を表す。時間遅延が増加するにつれて、一定の時間間隔内に存在する反射の数が増加し、それらの経路は二次又は高次の反射を含み得る（例えば、反射は複数の壁、又は壁及び天井の両方からのもの等であり得る）。
【0013】
残響部分における第２の領域は、これらの反射の密度が人間の脳によりもはや分離できない点まで増加する部分である。この領域は、通常、拡散残響、後期残響、又は残響尾部と呼ばれる。
【0014】
上記残響部分は、音源の距離並びに部屋のサイズ及び音響特性に関する情報を聴覚システムに与える手がかりを含んでいる。無響部分のエネルギに対する該残響部分のエネルギは、音源の知覚される距離を主に決定する。早期反射のレベル及び遅延は音源が壁にどれだけ近いかについての手がかりを提供し得、人体計測によるフィルタリングは特定の壁、床又は天井の評価を強化し得る。
【0015】
（早期）反射の密度は、部屋の知覚される大きさに影響する。反射のエネルギレベルが６０ｄＢまで低下するのに掛かる時間（残響時間Ｔ６０により示される）は、部屋内で反射がどれだけ速く消散するかを表す尺度としてよく使用される。残響時間は、特に壁が非常に反射性であるか（浴室等）、又は音の吸収が多いか（家具、カーペット及びカーテンのある寝室等）等の部屋の音響特性に関する情報を提供する。
【0016】
更に、ＲＩＲは、バイノーラル室内インパルス応答（ＢＲＩＲ）の一部である場合、ＲＩＲが頭部、耳及び肩によりフィルタリングされる（すなわち、頭部関連インパルス応答（ＨＲＩＲ）である）ので、ユーザの人体計測特性に依存し得る。
【0017】
後期残響における反射は、リスナにより区別及び分離できないため、しばしば、よく知られたジョットリバーブレータ（Ｊｏｔ ｒｅｖｅｒｂｅｒａｔｏｒ）におけるように、例えばフィードバック遅延ネットワークを使用するパラメトリックリバーブレータ（パラメトリック残響器）を用いてパラメータ的にシミュレーション及び表現される。
【0018】
早期反射の場合、入射方向及び距離依存性遅延は、人間が部屋及び音源の相対位置に関する情報を抽出するための重要な手掛かりである。したがって、早期反射のシミュレーションは後期残響よりも一層明示的でなければならない。したがって、効率的な音響レンダリングアルゴリズムにおいて、早期反射は後期残響とは異なる方法でシミュレーションされる。早期反射のための良く知られた方法は、部屋の各境界において音源をミラーリングして、反射を表す仮想音源を生成することである。
【0019】
早期反射の場合、部屋の境界（壁、天井、床）に対するユーザ及び／又は音源の位置は関係があるが、後期残響の場合、部屋の音響応答は拡散するので、影響全体で一層均一となる傾向がある。このことは、多くの場合、後期残響のシミュレーションを早期反射よりも計算的に効率的にさせる。
【0020】
部屋により定義される後期残響の２つの主たる特性は、Ｔ６０値及び残響レベルである。拡散残響インパルス応答に関して、これらの値はインパルス応答の傾き及び振幅を表す。両者は、通常、自然の部屋において強く周波数依存的である。
【0021】
Ｔ６０パラメータは部屋の反射率及び大きさの印象を与えるのに重要である一方、残響レベルは部屋の境界での複数の反射の複合効果を示す。残響レベル及びその周波数挙動は、早期反射と後期残響との間の区別がどこで行われるかを示す（図２を参照）プリディレイに依存する。
【0022】
残響レベルは、直接音に関して主な音響心理学的関連性を有する。２つの間のレベル差は、音源とユーザ（又はＲＩＲ測定点）との間の距離の指示情報である。距離が長くなると直接音の減衰が大きくなる一方、後期残響のレベルは同じままである（部屋全体において同じである）。同様に、ユーザが音源に対して何処にいるかに依存するような指向性を持つ音源の場合、該指向性はユーザが音源の周りを移動する際に直接応答に影響するが、残響のレベルには影響しない。
【0023】
リアルなオーディオ体験をレンダリングしてオーディオ環境の知覚、特にリスナが位置されると見なされる仮想的部屋の音響特性の知覚を提供するするために、１以上のオーディオ信号及びオブジェクトを、室内インパルス応答を反映するレンダリングプロセスを介してレンダリングすることができる。これは、通常、直接経路、早期反射、及び拡散後期残響成分を個別に生成し、次いで、これをレンダリングされる出力で組み合わせる処理を含む。
【0024】
典型的に、上記異なる成分を生成するためには異なるアプローチが使用され、直接音及び早期反射は、多くの場合、単純なフィルタリング（例えば、バイノーラル処理及び頭部伝達関数フィルタを使用する）により生成される。対照的に、拡散後期残響は、しばしば、ジョットリバーブレータ等のパラメトリックリバーブレータを使用して生成される。
【0025】
このようなアプローチは、多くの状況及び用途において有利で自然に聞こえるオーディオを生成できる。しかしながら、既知のアプローチは、幾つかの状況において及び幾つかの用途に対して最適ではない場合がある。例えば、多くの実施形態において、意図された室内音響の完全な表現とならずにレンダリングされたオーディオを生じさせ得る。多くの状況において、より正確な音響環境を生成するには、追加の複雑さ及び／又は計算リソースを必要とし得る。音響環境を表すオーディオをどの様に表現及び生成するかについての現在のアプローチ及び提案は、最適ではない、及び／又は不十分及び／又は不完全でありがちであり得る。このことは、例えば、レンダリングされた音響環境が没入感及び全体的なユーザ体験に大きな影響を与え得る仮想現実アプリケーション等に特に当てはまり得る。
【発明の概要】
【発明が解決しようとする課題】
【0026】
したがって、改善されたアプローチが有利であろう。特に、動作が改善され、柔軟性が向上され、複雑さが低減され、実装が容易化され、オーディオ体験が向上され、オーディオ品質が向上され、計算負荷が軽減され、仮想／複合／拡張現実アプリケーションに対する適合性及び／又はパフォーマンスが向上され、知覚的キュー（手掛かり）が改善され、異なる音響環境の表現及びレンダリングが改善され、及び／又は性能及び／又は動作が改善されることを可能にするアプローチが有利であろう。
【0027】
したがって、本発明は、上述した欠点の１以上を単独で又は何らかの組み合わせで好ましくは緩和、軽減又は除去することを目指すものである。
【課題を解決するための手段】
【0028】
本発明の一態様によれば、フラッタエコーオーディオ信号を生成するオーディオ装置が提供され、該オーディオ装置は：部屋の特性を示す部屋メタデータを受信するように構成された受信機と；部屋のフラッタエコー推定値を部屋メタデータに応答して決定するように構成された推定器であって、フラッタエコー推定値が部屋内のフラッタエコーのレベルを示す推定器と；複数のフィードバックループを備えたフィードバック遅延ネットワークを含む信号発生器であって、フラッタエコーオーディオ信号を、オーディオソース信号が供給されている複数のフィードバックループのうちの一群（一組）のフィードバックループの出力信号から生成するように構成された信号発生器と；一群のフィードバックループにおける第１のフィードバックループに対する第１のパラメータを、フラッタエコー推定値に応答して適応させるように構成されたアダプタと；を有する。
【0029】
本発明は、多くの実施形態及び多くのシナリオにおいて改善されたユーザ体験を提供することができ、特に音響環境の改善されたユーザ知覚を提供することができる。当該アプローチは、更に、このような改善を可能にするデータの効率的な通信を可能にでき、特に多くのシナリオでは、追加のデータを必要とせず、他の目的で通信され得る環境データ（特に、部屋データ）に基づくものとすることができる。
【0030】
特に、発明者は、既存のアプローチが全ての音響現象を正確に反映しているわけではないこと、及び音響環境におけるフラッタエコー効果の知覚を提供できるフラッタエコーオーディオ信号を生成及びレンダリングすることにより、大幅な改善が達成できることを認識した。更に、複数のフィードバックループを有するフィードバック遅延ネットワークを備えた信号発生器を使用して斯様なフラッタエコーオーディオ信号を生成することは、多くの実施形態においてフラッタエコー効果の正確なレンダリングを可能にしながら、非常に効率的な実装を提供することができる。更に、このことは、拡散残響を生成するための機能との共通化を可能にし、例えば異なる種類の残響及びエコーに割り当てられたリソースを動的に適応できる、高効率で組み合わされたリバーブレータ（残響器）機能が提供されることを可能にする。
【0031】
当該アプローチは、より自然に響くエコーが知覚されることを可能にする適応化を提供できる。該アプローチは、多くの実施形態において、エコーを制御するために専用のデータが送信されることを要せずに、フラッタエコー効果が生成されることを可能にできる。当該装置は、特に、フラッタエコーを生成すべきか否かを、部屋のメタデータに応じて決定でき、又は例えばフラッタエコーのパラメータ（遅延、周波数応答及び／又はレベル等）を適応させて、自然な音響環境をより正確に反映する信号を提供することができる。
【0032】
前記フラッタエコー推定値は、室内のフラッタエコーのレベル／程度／量／行き渡りを示すことができ、特に室内の拡散残響に対するフラッタエコーのレベル／程度／量／行き渡りを示すことができる。フラッタエコーは、部屋の２つの対向する壁／境界／側面の間、特に、部屋の２つの平行な壁／境界／側面の間のフラッタエコーであり得る。
【0033】
前記フィードバック遅延ネットワークは、少なくともオーディオソース信号を少なくとも一群のフィードバックループにおけるフィードバックループに結合するように構成されたネットワーク、及び少なくとも一群のフィードバックループにおけるフィードバックループの出力信号を結合する（組み合わせる）ことにより、フラッタエコーオーディオ信号を生成するように構成された出力回路を有し得る。
【0034】
前記一群のフィードバックループは、１以上のフィードバックループを含み得る。
【0035】
前記第１のパラメータは、例えば、第１のフィードバックループに対するフィードバック係数、第１のフィードバックループに対する伝達関数パラメータ、第１のフィードバックループの周波数依存性、第１のフィードバックループのループ利得、フィードバックループの遅延、フィードバックループの出力信号及び／又はフラッタエコーオーディオ信号に対する重み／利得／レベルであり得る。
【0036】
幾つかの実施形態において、前記アダプタは、一群のフィードバックループにおけるフィードバックループの数をフラッタエコー推定値に応答して変化させるように構成され得る。
【0037】
幾つかの実施形態において、前記信号発生器は、前記一群のフィードバックループには含まれないフィードバックループの出力から拡散残響信号を更に生成するように構成される。拡散残響信号は、オーディオソース信号及び／又は他のオーディオソース信号が該一群のフィードバックループ内にないフィードバックループに供給される場合に生成され得る。
【0038】
多くの実施形態において、当該装置は、室内インパルス応答に応答してフラッタエコー推定値を決定するように構成され得る。
【0039】
前記受信機は、オーディオソース信号を受信するように構成され得る。
【0040】
本発明のオプション的フィーチャによれば、前記部屋メタデータは部屋に関する寸法データを含み、前記フラッタエコー推定値は、第２の方向の部屋寸法に対する第１の方向の部屋寸法に応答して決定される。
【0041】
この構成は、多くの実施形態において、特に有利な動作及び改善された適応的フラッタエコーシミュレーションを提供することができる。
【0042】
上記寸法データは、部屋の１以上の対向する壁／側面／境界の間の距離の指標を提供できる。
【0043】
前記フラッタエコー推定値は、第１の方向の部屋の寸法と第２の方向の部屋の寸法との間の差が増加するにつれて、フラッタエコーのレベルが増加することを示し得る。
【0044】
本発明の任意選択フィーチャによれば、部屋メタデータは部屋の側面に関する音響反射データを含み、フラッタエコー推定値は、部屋の第２の境界の音響反射減衰に対する部屋の第１の境界の音響反射減衰に応答して決定される。
【0045】
この構成は、多くの実施形態において、特に有利な動作及び改善された適応的フラッタエコーシミュレーションを提供することができる。
【0046】
上記第１及び第２の境界は、部屋の壁又は側面であり得る。
【0047】
本発明のオプションのフィーチャによれば、前記アダプタは、第１のフィードバックループから自身へのフィードバック係数を、フラッタエコー推定値がフラッタエコーのレベルの増加を示すことに対して増加させるように構成される。
【0048】
この構成は、特に有利な動作を提供することができ、その結果、改善されたユーザ体験及び音響環境のより自然な知覚をもたらすことができる。
【0049】
該アダプタは、フラッタエコー推定値がフラッタエコーのレベルの増加を示すことに対して、複数のフィードバックループのうちの第１のフィードバックループから第２のフィードバックループへのフィードバック係数を減少させるように構成され得る。第２のフィードバックループは、前記一群のフィードバックループに含まれないフィードバックループであり得る。
【0050】
本発明のオプションのフィーチャによれば、前記複数のフィードバックループの該複数のフィードバックループのうちの他のフィードバックループに対する少なくとも幾つかのフィードバック係数は、部屋の部屋寸法に依存する。
【0051】
幾つかの実施形態において、前記複数のフィードバックループのうちの他のフィードバックループへの前記一群のフィードバックループの少なくとも幾つかのフィードバック係数は、部屋の部屋寸法に依存する。
【0052】
本発明のオプションとしてのフィーチャによれば、前記信号発生器は、前記一群のフィードバックループに含まれないフィードバックループの出力から拡散残響信号を更に生成するように構成され、前記アダプタは、前記一群のフィードバックループに含まれるフィードバックループの数をフラッタエコー推定値に応答して変化させるように構成される。
【0053】
当該アプローチは、部屋の非常に効率的なオーディオエミュレーションを可能にし得る。該アプローチは、例えば、フィードバックループを、種々の目的（拡散残響及びフィードバックループの生成）のために、これらの間のフィードバックループの割り当てが動的に適応されるようにして使用することができるので、複雑さの低い実装を可能にできる。
【0054】
拡散残響信号は、オーディオソース信号及び／又は他のオーディオソース信号が前記一群のフィードバックループ内にないフィードバックループに供給される場合に生成され得る。
【0055】
本発明のオプションのフィーチャによれば、前記信号発生器は、前記一群のフィードバックループのフィードバックループに供給される前のオーディオソース信号に対して遅延を持ち、前記アダプタは、該遅延を、オーディオソース信号のオーディオソース、リスナ及び部屋の境界のうちの少なくとも１つの位置に応答して適応させるように構成される。
【0056】
この構成は、特に有利な動作を提供することができ、その結果、ユーザ体験が向上し、音響環境のより自然な知覚がもたらされ得る。
【0057】
本発明のオプションのフィーチャによれば、前記一群のフィードバックループは少なくとも２つのフィードバックループを有し、前記信号発生器は、該少なくとも２つのフィードバックループに供給される前のオーディオソース信号に対して遅延を持ち、該遅延は前記少なくとも２つのフィードバックループに対して相違する。
【0058】
この構成は、多くの実施形態において、特に有利な動作及び／又は性能を提供することができる。
【0059】
本発明のオプションのフィーチャによれば、前記一群のフィードバックループは２以下のループを有する。
【0060】
この構成は、多くの実施形態において、特に有利な動作及び／又は性能を提供することができる。
【0061】
本発明のオプションのフィーチャによれば、前記アダプタは、複数のフィードバックループに対するフィードバック係数を、前記一群のフィードバックループにおけるフィードバックループから該一群のフィードバックループに含まれない如何なるフィードバックループへのフィードバックも存在しないように適応させるよう構成される。
【0062】
幾つかの実施形態において、該アダプタは、複数のフィードバックループのフィードバック係数を、前記一群のフィードバックループに含まれない何れかのフィードバックループから該一群のフィードバックループのフィードバックループへのフィードバックが存在しないように適応させるように構成される。
【0063】
本発明のオプションのフィーチャによれば、前記信号発生器は拡散残響信号を更に生成するように構成され、当該オーディオ装置は更に：フラッタエコーオーディオ信号に空間処理を適用する空間プロセッサであって、該空間処理がオーディオソース信号のソース及び部屋の境界のうちの少なくとも１つの位置に依存する空間プロセッサと；拡散残響信号及び空間処理後のフラッタエコーオーディオ信号を組み合わせる結合器と；を有する。
【0064】
本発明のオプションのフィーチャによれば、当該オーディオ装置は：フラッタエコーオーディオ信号に空間処理を適用する空間プロセッサであって、該空間処理がオーディオソース信号のソース及び部屋の側面のうちの少なくとも１つの位置に依存する空間プロセッサ；を更に有する。
【0065】
本発明のオプションのフィーチャによれば、当該オーディオ装置は、複数のオーディオソース信号を複数のフィードバックループに供給する回路を更に有し、少なくとも１つのオーディオソース信号は前記一群のフィードバックループのフィードバックループにのみ供給される。
【0066】
本発明のオプションのフィーチャによれば、前記信号発生器は、前記一群のフィードバックループのフィードバックループに供給される前のオーディオソース信号に対し利得を有し、前記アダプタは、該利得を、オーディオソース信号のオーディオソースの位置、リスナの位置、前記部屋の境界の位置及びフラッタエコーオーディオ信号の開始の反射次数のうちの少なくとも１つに応答して適応させるように構成される。
【0067】
本発明のオプションのフィーチャによれば、前記フラッタエコーオーディオ信号は部屋の一対の対向する境界の間のフラッタエコーを表し、前記信号発生器は、前記一群のフィードバックループのフィードバックループに供給される前のオーディオソース信号に対して周波数依存性利得を有し、前記アダプタは、該利得を、部屋の境界に関する部屋メタデータの音響反射データに応答して適応させるように構成され、該音響反射データは、前記一対の対向する部屋境界のうちの１つの部屋境界ではない少なくとも１つの部屋境界に関する周波数依存性音響特性を示す。
【0068】
本発明のオプションのフィーチャによれば、前記一群のフィードバックループは、異なるループ利得を持つ少なくとも２つのフィードバックループを有する。
【0069】
本発明の他の態様によれば、フラッタエコーオーディオ信号を生成する方法が提供され、該方法は：部屋の特性を示す部屋メタデータを受信するステップと；部屋のフラッタエコー推定値を部屋メタデータに応答して決定するステップであって、該フラッタエコー推定値が部屋におけるフラッタエコーのレベルを示す、ステップと；フラッタエコーオーディオ信号を、オーディオソース信号が供給される一群のフィードバックループの出力信号から生成するステップであって、該一群のフィードバックループがフィードバック遅延ネットワークにおける複数のフィードバックループのフィードバックループを有する、ステップと；及び前記一群のフィードバックループの第１のフィードバックループに対する第１のパラメータを、フラッタエコー推定値に応答して適応させるステップと；を有する。
【0070】
本発明の上記及び他の態様、特徴及び利点は、後述される実施形態から明らかとなり、それら実施形態を参照して解説されるであろう。
【0071】
本発明の実施形態は、以下の図面を参照して単なる例として説明される。
【図面の簡単な説明】
【0072】
【発明を実施するための形態】
【0073】
以下の説明は仮想現実アプリケーションのためのオーディオ処理及び生成に焦点を当てるが、説明される原理及び概念は多くの他のアプリケーション及び実施形態でも使用できることが理解されるであろう。
【0074】
ユーザが仮想世界内を移動することを可能にする仮想体験は益々人気となっており、そのような要求を満たすサービスが開発されている。
【0075】
一部のシステムにおいて、ＶＲアプリケーションは、例えば、如何なる遠隔ＶＲデータ又は処理も使用しない又はアクセスすらしないスタンドアロン型装置により、ユーザにローカルに提供され得る。例えば、ゲームコンソール等の装置は、シーンデータを記憶するための記憶部、ユーザの姿勢（ポーズ）を受信／生成するための入力部、及びシーンデータから対応する画像を生成するためのプロセッサを備え得る。
【0076】
他のシステムにおいて、ＶＲアプリケーションはユーザから離れて実装及び実行され得る。例えば、ユーザのローカルな装置は動き／ポーズデータを検出／受信でき、該データはリモート装置に送信され、該リモート装置はデータを処理してユーザポーズを生成する。次いで、リモート装置は、ユーザのポーズに適したビュー画像及び対応するオーディオ信号を、シーンを記述するシーンデータに基づいて生成できる。該ビュー画像及び対応するオーディオ信号は、次いで、ユーザのローカルな装置に送信され、そこで提示される。例えば、リモート装置はビデオストリーム（通常はステレオ／３Ｄビデオストリーム）及び対応するオーディオストリームを直接生成することができ、これはローカル装置により直接提示される。このように、このような例において、ローカル装置は、動きデータを送信し、受信されたビデオデータを提示すること以外には、如何なるＶＲ処理も実行しないであろう。
【0077】
多くのシステムにおいて、機能性は、ローカル装置及びリモート装置に分散され得る。例えば、ローカル装置は、受信される入力データ及びセンサデータを処理してユーザのポーズを生成でき、これらはリモートＶＲ装置に継続的に送信される。次いで、リモートＶＲ装置は対応するビュー画像及び対応するオーディオ信号を生成し、これらを提示のためにローカル装置に送信することができる。他のシステムにおいて、リモートＶＲ装置はビュー画像及び対応するオーディオ信号を直接生成しないが、関連するシーンデータを選択して、これをローカル装置に送信することができ、その場合、ローカル装置は提示されるビュー画像及び対応するオーディオ信号を生成することができる。例えば、リモートＶＲ装置は最も近いキャプチャ点を特定すると共に対応するシーンデータ（例えば、一群のオブジェクトソース及びそれらの位置メタデータ）を抽出し、これをローカル装置に送信することができる。この場合、ローカル装置は受信されたシーンデータを処理して、特定の現在のユーザポーズに関する画像及びオーディオ信号を生成することができる。ユーザのポーズは、通常、頭部のポーズに対応し、ユーザのポーズへの参照は、通常、頭部のポーズへの参照に対応すると等価的に考えることができる。
【0078】
多くのアプリケーションにおいて、特にブロードキャストサービスの場合、ソースは、ユーザのポーズとは独立したシーンの画像（ビデオを含む）及びオーディオ表現の形態でシーンデータを送信又はストリーミングし得る。例えば、特定の仮想の部屋の範囲内のオーディオソースに対応する信号及びメタデータが、複数のクライアントに送信又はストリーミングされ得る。この場合、個々のクライアントは、現在のユーザのポーズに対応するオーディオ信号をローカルに合成し得る。同様に、ソースは、環境内のオーディオソース及び環境の音響特性の記述を含む、オーディオ環境の概略的記述を送信することができる。この場合、オーディオ表現は、例えばバイノーラルレンダリング及び処理を使用して、ローカルに生成されユーザに提示され得る。
【0079】
図３は、遠隔のＶＲクライアント装置３０１が、例えばインターネット等のネットワーク３０５を介してＶＲサーバ３０３と連携するＶＲシステムの斯様な例を示す。サーバ３０３は、能力的に多数のクライアント装置３０１を同時にサポートするように構成され得る。
【0080】
ＶＲサーバ３０３は、例えば、適切なユーザのポーズ（ポーズとは、位置及び／又は向きを指す）に対応するビュー画像をローカルに合成するためにクライアント装置により使用され得る画像データの形態で画像表現を含む画像信号を送信することによりブロードキャストされる体験をサポートできる。同様に、ＶＲサーバ３０３は、シーンのオーディオ表現を送信でき、オーディオがユーザのポーズに対してローカルに合成されることを可能にする。具体的には、ユーザが仮想環境内で動き回ると、合成されてユーザに提示される画像及びオーディオは更新され、（仮想）環境におけるユーザの現在の（仮想）位置及び向きを反映させる。
【0081】
したがって、図３のもの等の多くのアプリケーションにおいては、シーンをモデル化すると共にデータ信号に効率的に含めることができる効率的な画像及びオーディオ表現を生成し、該データ信号を種々の装置に送信又はストリーミングすることができ、これら装置がキャプチャポーズとは異なるポーズに対するビュー及びオーディオをローカルで合成するできるようにすることが望ましい場合であろう。
【0082】
幾つかの実施形態において、シーンを表すモデルは、例えば、ローカルに保存することができ、適切な画像及びオーディオを合成するためにローカルに使用され得る。例えば、部屋のオーディオモデルは、該部屋内で聞くことができるオーディオソースの特性の指示情報、並びに該部屋の音響特性を含み得る。該モデルは、次いで、特定の位置に対する適切なオーディオを合成するために使用され得る。
【0083】
オーディオシーンがどの様に表現されるか、及びこの表現がオーディオを生成するためにどの様に使用されるかは重要な問題である。リスナに自然でリアルな効果を提供することを目的とするオーディオレンダリングは、通常、音響環境のレンダリングを含む。多くの環境の場合、このことは、室内等の環境内に存在する拡散残響の表現及びレンダリングを含む。このような拡散残響のレンダリング及び表現は、オーディオが自然でリアルな環境を表していると知覚されるか等の、環境の知覚に対して重大な影響を有することがわかっている。以下では、オーディオシーンを表現するための、並びに、この表現に基づいてオーディオをレンダリングし、及び特に拡散残響オーディオを強化する有利なアプローチが説明されるであろう。
【0084】
本アプローチを、図４に示すオーディオ装置を参照して説明する。該オーディオ装置は、音響環境におけるオーディオを表すオーディオ出力信号を生成するように構成される。具体的には、該オーディオ装置は、複数のオーディオソース及び所与の音響特性を有する仮想環境内を動き回るユーザにより知覚されるオーディオを表すオーディオを生成することができる。各オーディオソースは、当該オーディオソースからの音を表すオーディオ信号、及び当該オーディオソースの特性を記述できる（オーディオ信号のレベル指示情報及び／又はオーディオソースの位置を供給する等）メタデータにより表される。更に、メタデータは音響環境を特徴付けるために供給される。
【0085】
当該例において、オーディオ装置は、現在の聴取環境においてオーディオソースがどの様に知覚されるかを表すオーディオ信号を生成するように特に構成される。該装置は、直接の及び早期の反射オーディオ信号成分、並びに拡散残響オーディオ信号成分を生成する機能を有する。このように、該オーディオ装置は、１以上のオーディオソース信号を受信し、これらのうちの１つ、幾つか又は全てを処理して、音響環境の挙動を反映した異なる成分を含む対応する出力信号を生成することができる。
【0086】
更に、当該装置は、部屋の特性を示す部屋メタデータに依存したフラッタエコー（ｆｌｕｔｔｅｒ ｅｃｈｏ）オーディオ信号を生成するように構成される。当該音響環境が部屋である場合、この部屋は部屋メタデータにより特徴付けられ、当該オーディオ装置は、そのような部屋内で生じ得るフラッタエコーをエミュレートした（模した）フラッタエコーオーディオ信号を生成するように構成され得る。フラッタエコーオーディオ信号は、直接音、早期反射及び／又は拡散残響オーディオ成分と組み合わされて一層正確で自然に知覚される音響環境を提供する追加のオーディオ成分であり得る（しかしながら、幾つかの実施形態では、フラッタエコーオーディオ信号のみが生成される）。更に、フラッタエコーは、典型的に、個々の部屋に非常に特有なものであり、実際に、幾つかの部屋のタイプ／特性に対してのみ有意又は顕著である傾向があるので、当該オーディオ装置は、特定の部屋に対し適切である場合にフラッタエコーオーディオ信号を特に供給でき、通常は、該フラッタエコーオーディオ信号は、これらの特定の条件を反映するように適応される。特に、多くの実施形態において、フラッタエコーオーディオ信号の生成は部屋メタデータを条件とし得るものであり、フラッタエコーオーディオ信号は当該部屋メタデータが特定の基準を満たす場合にのみ生成され得る。
【0087】
幾つかの部屋のタイプ及び特性の場合、部屋の対向する（特に平行な）境界／壁は、可能性のある早期反射及び拡散残響の生成を助けることに加えて、一定の割合で反復エコーも生じさせ得る。このような効果は、反射の次数が増加するにつれてエネルギが減衰する、対向する壁の間で跳ね返る音を反映するフラッタエコーとして知覚され得る。フラッタエコーは、多くの周波数（具体的には、例えば全てのオーディオ周波数）を含み得、例えば部屋モードで知られているような定在波周波数に限定されるものではない。これらは、中及び高周波数に対して最も顕著になる傾向がある。
【0088】
フラッタエコーの場合、反射音は、基本的に、一定の割合で僅かに低いレベルでもって反射壁から戻る。エコーの割合は、当該エコーを生じさせる壁間の距離（すなわち、飛行時間）に依存する。レベルの低下は、距離減衰及び関連する壁の反射特性に依存する。これらのパラメータは、通常、周波数依存性である。
【0089】
フラッタエコーは、例えば、廊下、階段の吹き抜け、又は異なる境界上に非常に異なる材料特性を持つ部屋等の、特定の部屋の特性が適切な反射を可能にする多くの部屋において発生し得る音響特性である。この音響効果のエミュレーションを含めることで、強制的な体験を提供すると共に、ユーザにとっての一層の没入感を生成し得る。それにもかかわらず、一般的に使用されている方法は、そのようなエミュレーションを実行できず、することもない。
【0090】
図４のオーディオ装置は、特に、部屋の特性を示す部屋メタデータを受信するように構成された受信機（ＲＸ）４０１を備える。フラッタエコーオーディオ信号は室内のフラッタエコーを表すように生成され、該生成される出力信号は、特に、部屋の特定のフラッタエコー特性を反映するフラッタエコーオーディオ信号を含み得る。
【0091】
当該装置は、具体的には、フィードバック遅延ネットワークを使用してフラッタエコーオーディオ信号を生成する。このようなフィードバック遅延ネットワークは拡散残響を生成するためにパラメトリックリバーブレータ（残響器）によっても使用され得、したがって、当該機能は同じ機能性を再利用することができる。このようなアプローチは、複雑さの軽減及び／又は動作の容易化を提供することができ、例えば幾つかの実施形態では、特定の部屋の特性に依存した拡散残響とフラッタエコーシミュレーションとの間のリソースの動的で柔軟な割り当てを可能にすることができる。パラメトリックリバーブレータにおけるフィードバック遅延ネットワークの既存の構成に対し、図４のアプローチは、オーディオレンダリングに使用される一連のシミュレーションツールに部屋の音響の更なる特徴的フィーチャを追加でき、これにより、仮想レンダリングにおける通常の部屋の一層リアルなモデル化を提供する。
【0092】
図４の装置は、フラッタエコーオーディオ信号を生成するように構成される一方、受信機４０１を備え、該受信機は部屋の特性を示す部屋メタデータを受信するように構成される。
【0093】
当該部屋メタデータは、具体的には、長方形の部屋の三次元寸法等の、部屋の寸法を特徴付けるデータを含み得る。幾つかの実施形態では、部屋の１つ又は２つの寸法のみが部屋メタデータにより表され得る。残りの寸法（又は複数の寸法）は、例えば、予め定められた又は仮定された寸法とすることができ、例えば、部屋メタデータは部屋の幅及び長さを示すことができ、当該オーディオ装置は標準的な高さを想定することができる。幾つかの実施形態においては、絶対寸法データを供給することができる一方、他の実施形態は、代わりに又は加えて、相対的寸法データ情報を使用することができる。幾つかの実施形態では、例えば部屋の辺／境界／壁の間の距離だけでなく、該部屋のレイアウトも示す部屋の輪郭が供給され得る。
【0094】
寸法データは、異なる実施形態では異なる態様で供給され得る。例えば、部屋のメタデータは、例えばメートルでの距離、寸法比率を含む部屋の容積、各寸法に関する飛行時間、メッシュとしての２次元又は３次元データ等を含み得る。
【0095】
幾つかの実施形態において、部屋メタデータは、例えば部屋の１以上の壁に関する、多くのケースでは部屋の全ての壁／境界に関する反射係数又は吸収係数等の音響反射データを含み得る。
【0096】
このような情報は、部屋の各壁に関する音響吸収係数、透過係数、結合係数、拡散係数として供給され得る。
【0097】
部屋メタデータに加えて、受信機４０１は、レンダリングされるべき部屋内のオーディオソースのオーディオを表す１以上のオーディオソース信号も受信することができる。多くの実施形態において、オーディオソースはオーディオオブジェクトにより表され得るが、特定のオーディオソース信号は特定の実施形態に依存し、例えば、チャネルソース又は高次アンビソニックス（ＨＯＡ）ソースであり得ることが理解されるであろう。当該オーディオ装置は、受信されたオーディオソース信号／オブジェクトのうちの１以上に関する出力信号を生成するように構成され、典型的には、全てのオーディオソースを含む出力信号を生成する。多くのケースにおいて、出力信号は、室内にあることを示す位置メタデータを持つ全てのオーディオソースの部分組から生成されるであろう。当該オーディオ装置は、特に、受信された全てのオーディオソース信号を処理して、直接音経路、早期反射、拡散残響及びフラッタエコーを含む当該部屋の音響特性を反映した出力信号を生成することができる。この処理は、例えば、各オーディオソース信号に順次に又は並行して適用され得る。結果として得られる出力信号は、単一のレンダリング信号を生成するように組み合わされ得る。例えば、バイノーラルステレオ信号を、各ソースに関して生成された出力信号の（少なくとも一部）をバイノーラル的に処理し、次いで該バイノーラル信号を単一の出力ステレオ信号に結合することにより生成することができる。
【0098】
記載されるアプローチは、フラッタエコーオーディオ信号のみを生成し、例えば如何なる直接、早期反射及び／又は拡散残響信号成分も生成しないオーディオ装置に適用できることが理解されよう。しかしながら、以下の説明は、オーディオ装置が典型的な音響環境の一連の音響効果をシミュレーションするように構成される実施形態に焦点を当てるであろう。
【0099】
当該オーディオ装置は、１以上の（通常は全ての）受信されたオーディオソース信号から１以上の出力信号を生成するように構成された信号発生器４０３を備える。本例における信号発生器４０３は、意図された音響環境を反映するように出力信号を生成する。
【0100】
図５は、信号発生器４０３の一例を示す。当該オーディオ装置は、各オーディオソースに対して経路レンダラ（パスレンダラ）５０１を備える。各経路レンダラ５０１は、オーディオソースからリスナ（聴取者）までの直接経路を表す直接経路信号成分を生成するように構成される。直接経路信号成分は、リスナ及びオーディオソースの位置に基づいて生成され、具体的には、オーディオソースに対してオーディオ信号を距離に依存して潜在的に周波数依存的に、及びユーザに対し特定の方向のオーディオソース（例えば、非全指向性ソースの場合）に対する相対利得をスケーリングすることにより直接経路信号成分を生成することができる。
【0101】
多くの実施形態において、レンダラ５０１は、直接経路信号をソース位置とユーザ位置との間にある遮蔽又は回折（仮想）要素に基づいて生成することもできる。
【0102】
多くの実施形態において、経路レンダラ５０１は、個々の経路に対して、これらが１以上の反射を含む場合、更なる信号成分も生成することができる。このことは、当業者により既知のように、例えば、壁、天井等の反射を評価することにより実行され得る。このように、経路レンダラ５０１は早期反射成分も生成できる。直接経路及び反射経路成分は各経路レンダラに関して単一の出力信号に結合され得、したがって、直接経路及び早期／離散反射を表す単一の信号が各オーディオソースに対して生成され得る。
【0103】
幾つかの実施形態において、各オーディオソースに対する出力オーディオ信号は、例えばオーディオソース及びリスナの相対（角度）位置に基づいてＨＲＴＦフィルタ又はＨＲＩＲフィルタを適用することにより生成されるバイノーラル信号であり得、従って、各出力信号は左耳及び左耳及び右耳（サブ）信号の両方を含み得る。
【0104】
経路レンダラ５０１からの出力信号は結合器（コンバイナ）５０３に提供され、該結合器５０３は異なる経路レンダラ５０１からの信号を結合して、単一の結合信号を生成する。多くの実施形態では、バイノーラル出力信号が生成され得、当該結合器は経路レンダラ５０１からの個々の信号の重み付け結合等の結合を実行し得る。すなわち、経路レンダラ５０１からの全ての右耳信号を一緒に加算して結合右耳信号を生成できる一方、経路レンダラ５０１からの全ての左耳信号を一緒に加算して結合左耳信号を生成できる。
【0105】
バイノーラルレンダリングは、ＶＢＡＰ等のパンニングアルゴリズムを使用してスピーカ構成（例えば、２．０、５．１、７．１、９．１．４、２２．２）にレンダリングし、２以上のスピーカ信号を生成することにより置き換えることができることが理解される。結合器５０３は、そのような実施形態のほとんどにおいて、当該スピーカ構成における各スピーカ信号へ全ての寄与分を結合するであろう。
【0106】
上記経路レンダラ及び結合器は、通常、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、又はメモリ等の支援回路を含む中央処理ユニット等の適切な計算資源上で処理するための実行可能コードを含む、任意の適切な方法で実装することができる。当該複数の経路レンダラは、例えば専用処理ユニットのバンク等の並列機能ユニットとして実装でき、又は各オーディオソースに対する反復動作として実装できることが理解される。通常、各オーディオソース／信号に対しては同一のアルゴリズム／コードが実行される。
【0107】
個々の経路オーディオ成分に加えて、当該オーディオ装置は、更に、環境内の拡散残響を表す信号成分を生成するようにも構成される。拡散残響信号は、ソース信号をダウンミックス信号へと結合し、次いで、該ダウンミックス信号に残響アルゴリズムを適用して拡散残響信号を生成することにより（効率的に）生成される。
【0108】
図５のオーディオ装置はダウンミキサ（ＤＭＸ）５０５を備え、該ダウンミキサは複数の音源（典型的には、当該リバーブレータが拡散残響をシミュレーションしている音響環境内の全ての音源）のオーディオ信号を受信し、これらオーディオ信号をダウンミックスへと組み合わせる。したがって、該ダウンミックスは当該環境内で生成される全ての音を反映する。該ダウンミックスはリバーブレータ（ＲＥＶＢ：残響器）５０７に供給され、該リバーブレータは該ダウンミックスに基づいて拡散残響信号を生成するように構成される。リバーブレータ５０７は、具体的には、ジョットリバーブレータ等のパラメトリックリバーブレータであり得る。リバーブレータ５０７は、拡散残響信号が供給される結合器５０３に結合される。この場合、結合器５０３は上記拡散残響信号を個々の経路を表す経路信号と結合して、リスナにより知覚される当該環境内の結合音を表す結合オーディオ信号を生成する。
【0109】
適切なリバーブレータ（残響器）の例は、図６に示されるジョットリバーブレータである。このリバーブレータは、入力サンプルが該リバーブレータのフィードバックループにどの様に分配されるか及び出力信号が当該ループからどの様に生成されるかを制御するために、ループ入力ベクトルｂ及びループ抽出マトリクスＣを含む。
【0110】
当該オーディオ装置は、更に、フラッタエコーオーディオ信号を生成するように構成されたエコー信号生成器（ＦＬＴＥＣＨＧＥＮ）５０９を備える（多くの実施形態では、複数のフラッタエコーオーディオ信号が生成され得る）。エコー信号発生器５０９は入力オーディオソース信号を受信すると共に１以上のフラッタエコーオーディオ信号を生成する一方、これらのフラッタエコーオーディオ信号は結合器５０３に供給され、該結合器において他の生成された信号成分と結合されて、シミュレーションされている部屋の音響特性を反映した出力信号を供給する。
【0111】
エコー信号発生器５０９、したがって信号発生器４０３は、複数のフィードバックループを備えたフィードバック遅延ネットワークを有する。
【0112】
エコー信号発生器５０９の斯様なフィードバック遅延ネットワークの一例が、３つのフィードバックループが図示された図７に示されている。フィードバック遅延ネットワークは複数のフィードバックループを有することができ、各（又は少なくとも１つの）フィードバックループは入力オーディオ信号を受信する入力を有し、各フィードバックループは、ループ伝達関数（具体的には遅延であり得る）、フィードバックループの出力信号をループの入力に戻して入力オーディオ信号と結合されるようにするフィードバックネットワーク、当該フィードバック遅延ネットワークの出力信号をフィードバックループの出力信号の結合として生成するように構成された出力回路を構成する。当該フィードバックネットワークは、フィードバックループごとに、フィードバックループの出力信号のための該フィードバックループの入力へのフィードバック経路を構成することができ、通常は、他のフィードバックループの１以上の入力へのフィードバック経路も構成し得る。多くの実施形態において、当該フィードバックネットワークは、各フィードバックループの出力から全てのフィードバックループの各入力までのフィードバック経路を構成し得る。各フィードバック経路は、通常、減衰係数（又は等価的に利得係数）を構成し得るが、幾つかの実施形態では、例えば周波数依存性利得を構成する等のように、より複雑なフィードバック経路を提供し得る（例えば、フィルタ機能を提供し得る）。幾つかの実施形態において、前記ループ伝達関数は所望の周波数応答及び利得係数の両方を果たすフィルタであり得る一方、フィードバック経路は単にフラットなユニティゲインのフィードバック（例えば、対角線上に１の係数を有するフィードバックを表すようなフィードバックマトリクスに対応する）であり得る。多くの実施形態において、当該フィードバックネットワークは、各フィードバックループ対の組み合わせに対する係数を備えたフィードバックマトリクスにより表すことができる。
【0113】
フィードバック遅延ネットワークは、通常、種々の遅延を伴うフィードバックループに基づくものである。入力信号はループに投入され、これら信号は適切なフィードバッ利得でループにフィードバックされる。出力信号は、ループ内の信号を結合することにより抽出される。したがって、入力される信号は、種々の遅延により連続的に繰り返される。互いに素な遅延を使用し、ループ間で信号を混合するフィードバックマトリクスを使用することは、実空間における残響に類似したパターンを作成し得、Ｊｏｔ又は他のパラメトリックリバーブレータの例におけるように拡散残響を生成するのに特に適している。
【0114】
上記フィードバックマトリクスの要素の絶対値は、安定した減衰するインパルス応答を実現するために、１未満となるように設計される。所望の残響時間（Ｔ６０）を実現するために、係数を遅延と組み合わせて設定することができる。多くの実装においては、追加の利得又はフィルタがループに含まれる。これらのフィルタは、マトリクスの代わりに減衰を制御することができる。フィルタを使用することは、異なる周波数に対して減衰応答が異なり得るという利点を有する。
【0115】
当該オーディオ装置においては、このようなフィードバック遅延ネットワークを、フラッタエコーオーディオ信号を生成するために使用することができ、多くの実施形態では、フィードバック遅延ネットワークを、フラッタエコーオーディオ信号と拡散残響との両方を生成するために使用できる。特に、同じフィードバック遅延ネットワークを、パラメータ値が所望の効果を提供するように決定されるようにして、両方のために使用することができる。具体的には、フラッタエコーが生成されるべき場合、フィードバック遅延ネットワークの全てのフィードバックループを、拡散残響成分を生成するために使用でき、パラメータはそれに従って設定され得る。フラッタエコーオーディオ信号が生成されるべき場合は、フラッタエコーオーディオ信号を生成するために１以上の（通常は、２又は３以下等の少数のみの）フィードバックループを使用でき、残りのフィードバックループは拡散残響信号を生成するために使用される。次いで、再割り当てされたフィードバックループは、フラッタエコーオーディオ信号を生成するための適切なパラメータで設定される。多くの実施形態では、合計で例えば８～２０のフィードバックループを設けることができ、適切なら、これらのうちの３以下がフラッタエコーオーディオ信号の生成に使用される。
【0116】
具体的な例として、当該アプローチは、拡散残響を生成するパラメトリックリバーブレータ内に、フィードバック遅延ネットワークの既存の構成を使用したフラッタエコーシミュレーションを含める方法を提供することができる。これにより、一連のシミュレーションツールに部屋の音響の更なる特徴的フィーチャが追加され、仮想レンダリングにおける通常の部屋の一層リアルなモデル化を提供できる。
【0117】
このように、当該フィードバック遅延ネットワークは、エコー信号発生器５０９及びリバーブレータ５０７に共通であり得る。
【0118】
図７の例において、入力信号は、プリゲイン（前置利得）部７０１を備える入力回路を介して各フィードバックループに供給される。これらフィードバックループの入力部は結合器（コンバイナ）７０３を備え、該結合器は入力オーディオソース信号を当該フィードバックループに帰還される信号と組み合わせる。各ループはループフィルタ７０５（遅延を含み得る）を備え、該ループフィルタの出力は、ループ入力部にフィードバックを供給するフィードバックネットワーク／マトリクス７０７に供給される。更に、出力回路が各ループからの出力信号を出力信号へと結合する。該出力回路は、具体的には、一群の利得部７０９、及び当該フィードバック遅延ネットワークの出力信号を各フィードバックループからの出力信号の重み付けされた結合として生成するように構成された結合器７１１を含む。
【0119】
当該オーディオ装置は、フラッタエコーオーディオ信号の生成を適応させるように構成される。特に、多くの実施形態において、当該オーディオ装置はフラッタエコーの程度又はレベルをシミュレーションされた部屋の部屋特性に依存して適応させるように構成でき、実際に、多くの実施形態において、該オーディオ装置はフラッタエコーオーディオ信号が生成されるか否かを部屋の特性に依存して適応させることができる。このように、当該フラッタエコーのシミュレーションは、単にフラッタエコー効果を提供するフラッタエコーオーディオ信号の静的な生成ではなく、むしろ部屋の特性に依存する動的に適応されたフラッタエコーの生成であり、特に、フラッタエコー効果を常に生じさせるというより、多くの実施形態において、このような生成は、フラッタエコーが特定の部屋において重要でありそうだと判断された場合にのみ実行され得る。
【0120】
当該オーディオ装置は推定器（ＥＳＴ）４０５を備え、該推定器は、受信される部屋メタデータに基づいて部屋のフラッタエコー推定値を決定するように構成される。該フラッタエコーの推定値は、室内のフラッタエコーのレベル／程度／量／行き渡り（分布度）を示す。
【0121】
フラッタエコー推定値を決定するための正確なアプローチ及びアルゴリズム又は関数は、異なる実施形態の間で相違し得ると共に、個々のアプリケーションに望まれる正確な性能及び動作に依存し得る。多くの実施形態において、フラッタエコー推定値は、部屋メタデータが或る対の対向する境界／壁の間の反射が他の対の境界／壁に対するよりも高いことを示す場合に、フラッタエコーのレベルが増加することを示すように生成され得る。このことは、例えば当該対の対向する壁が他の対の対向する壁よりも互いに遙かに離れている場合、及び／又は当該対の対向する壁の合成された反射減衰が他の対の壁に対するよりも低い場合に当てはまり得る。このような場合において、当該対の対向する壁の間で発生するエコーは、壁間で発生する他の反射経路よりも大幅に強くなり得、このことは、例えば拡散残響等を生み出す他の反射に対して一層大きなフラッタエコー（当該対の対向する壁により生成された）につながり得る。すなわち、これらのフラッタエコーは、例えば拡散残響を生成する他の反射よりも遅く減衰し得る。このことは、ソースによる放射から特定の時間後に、例えば３０ミリ秒後に、より顕著なフラッタエコーを生じさせ得る。
【0122】
推定器４０５はアダプタ（ＡＤＰ：適応器）４０７に結合され、該アダプタは当該フィードバック遅延ネットワークのフィードバックループの少なくとも１つのループのパラメータを上記フラッタエコー推定値に応答して適応させるように構成される。多くの実施形態において、当該パラメータは、ループの自身へのフィードバック係数（周波数依存性であり得る）、フィードバック遅延ネットワークのループから他のループへのフィードバック係数（周波数依存性であり得る）、他のループから本ループへのフィードバック係数（周波数依存性であり得る）、ループ利得／重み、ループ遅延、ループ伝達関数、及び／又は出力信号を生成するための抽出係数／重みであり得る。
【0123】
多くの実施形態では、拡散残響の生成及びフラッタエコー信号の生成のために、共通のフィードバック遅延ネットワークを使用することができる。このような場合において、フィードバックループは拡散残響生成のため又はフラッタエコーオーディオ信号生成のためのいずれかに使用されるように動的に割り当てられ得、このことは、ループのパラメータを拡散残響又はフラッタエコーオーディオ信号に適したものに適応させることにより実行され得る。このように、多くの実施形態において、アダプタ４０７は、少なくとも１つのフィードバックループに対して、拡散残響信号を生成するためのパラメータ値と、フラッタエコーオーディオ信号をフラッタエコー推定値に応答して生成するためのパラメータとの間で切り替えるように構成され得る。
【0124】
したがって、当該オーディオ装置は、室内に存在すると考えられるフラッタエコーの程度を決定するように構成されると共に、このフラッタエコーに対応するフラッタエコーオーディオ信号を生成するようにフィードバック遅延ネットワークのフィードバックループを設定することができる。
【0125】
当該アプローチは、多くの実施形態において改善された音響シミュレーションを提供でき、特に、特定の特徴を有する部屋をシミュレーションする場合に一層自然に響くオーディオを提供でき、フラッタエコーが大きくない又は目立ちさえしない部屋に対して性能を犠牲にすることなく特定のフラッタエコーが顕著になるようにする。
【0126】
残響応答を定義する主な原動的要因は音波の伝播距離である。伝播距離は減衰及び遅延を生じさせる。しかしながら、表面での各反射は、如何なる遅延も加えることなく付加的な減衰を生じさせる。したがって、小さな部屋寸法における繰り返し反射は、大きな部屋寸法に対するよりも速く減衰する。フラッタエコーは、短い部屋寸法においては、大きな部屋寸法におけるよりも速く減衰するであろう。
【0127】
フラッタエコーの減衰率は、部屋の種々の次元寸法がおおよそ同様であるため、ほとんどの場合、部屋の残響時間Ｔ６０と一致する。このことは、フラッタエコーが複数の次元にわたって異なる経路をとる他の反射と混合されることを意味する。これらは、余り規則的でない反射挙動を生じさせる。同様の減衰特性により、フラッタエコーは多くの状況で特に目立たず、典型的な現アプローチでは考慮されない。
【0128】
しかしながら、１つの部屋次元寸法が他の次元寸法から大幅に大きく外れている場合、この次元には当該部屋の反射率のほとんどから大幅に逸脱するフラッタエコーが存在するであろう。これは、部屋の境界との反射相互作用が余りないため、他の反射経路よりも遅く減衰する。このことは、該フラッタエコーを残響の残りのものから目立たせる。少ない反射の結果、時間にわたる減衰が少なくなり、フラッタエコーが、それに応じて一層可聴的となるからである。フラッタエコーを示す室内インパルス応答の一例が図８に示されている（例は、４０×２×２．５ｍの寸法の廊下のものである）。
【0129】
同様に、フラッタエコーは、室内の２つの平行な壁が他の壁よりも大幅に反射的である場合、残響応答が目立ち得る。このことは、この次元におけるフラッタエコーを一層遅く減衰させる。壁との各相互作用が、他の次元及び複数の次元に跨がる反射経路におけるフラッタエコーにおけるよりも破壊的ではないからである。
【0130】
前述したように、フラッタエコーは２つの平行な表面の間での音波の反復的跳ね返りから生じ得る。このようなエコーは、全ての部屋に存在する傾向があるが、幾つかの部屋では、それらの形状又は境界の相対的な材質特性に依存して一層目立つものとなる。
【0131】
本例において、推定器４０５は部屋の寸法の違いを反映するようにフラッタエコーオーディオ信号を生成することができる。部屋メタデータは部屋の寸法データを含むことができ、アダプタ４０７はフラッタエコー推定値を第２の方向の部屋の法に対する第１の方向の部屋寸法に基づいて決定できる。例えば、長方形の部屋における２つの平行な壁の対の間の水平方向の寸法を、部屋メタデータにより示される部屋のサイズの情報から決定できる。次いで、最長の寸法と最短の寸法（又は２番目に長い寸法）との比を決定し、フラッタエコーがどの程度強いかの指標として使用できる。すなわち、該比をフラッタエコー推定値として直接使用できる。
【0132】
次いで、アダプタ４０７は、例えば、比の形態のフラッタエコー推定値を閾値と比較し、閾値が超過された場合、フラッタエコーオーディオ信号を生成するようにフィードバック遅延ネットワークのフィードバックループの幾つかを構成する一方、該比が閾値を下回る場合、代わりに、拡散残響の生成に寄与する（したがって、フラッタエコーオーディオ信号が生成されない）ようにループを構成することができる。他の実施形態では、例えば、フラッタエコーオーディオ信号を生成するために１以上のフィードバックループを永続的に使用するが、これが比／フラッタエコー推定値の単調増加関数である振幅を有するようにすることにより、より段階的なアプローチが使用される。
【0133】
代替的に又は追加的に、アダプタ４０７は、幾つかの実施形態において、フラッタエコーオーディオ信号を部屋の側面／境界／壁の音響反射減衰の変化に応答して決定することができる。当該部屋メタデータには、部屋の壁の音響反射減衰を含むことができ、フラッタエコー推定値は、これらの変化を反映するように生成され得る。具体的には、フラッタエコー推定値は、部屋の一対の対向する側面の合成音響反射減衰と、該部屋の他の対の対向する側面の合成音響反射減衰との間の差に応じて生成され得る。例えば、そのような合成音響反射減衰間の比を決定でき、フラッタエコー推定値は、この比として直接生成できる。差が大きいほど、フラッタエコー推定値も大きくなる。寸法の例について説明したように、アダプタ４０７は動作を該比に基づいて適応させることができる。
【0134】
多くの実施形態において、フラッタエコー推定値は、異なる考慮事項の組み合わせとして生成することができ、特に多くの実施形態においては、フラッタエコー推定値を生成する際に、部屋の寸法と該部屋の壁／側面の音響反射減衰との両方を考慮できることが理解されるであろう。
【0135】
前述したように、目立つフラッタエコーの１つの可能性のある原因は、廊下等のように、１つの逸脱した寸法が他の寸法よりも大幅に長い部屋である。このような場合、逸脱した寸法の２つの対向する壁のエコーは、室内インパルス応答（ＲＩＲ）の残りの部分から目立つフラッタエコーを生じるような一層長い経路長を有するであろう。しかしながら、当該壁に完全に直交する反射経路は、短い寸法の他の境界での追加の反射を伴うが、横方向の広がりは相対的に小さい反射経路により捕捉され得る。
【0136】
結果として、早期反射のかなりの部分の経路長は、逸脱する次元の距離により支配される。この効果は、反射次数が高くなるほど強くなる。写像されたソースが１つの次元において例えば約４０メートルだけ広げられる場合、他の次元における例えば約４メートルの広がりは、距離をそれほど増加しない。したがって、異なる次数の複数の反射は、ＲＩＲにおいて僅かに異なる遅延で互いに近くにグループ化されるであろう。
【0137】
このことは、フラッタエコーが純粋に２つの平行な表面の間で前後に跳ね返る音波により引き起こされるわけではないことを意味する。その効果は、一連の反射の中で最初の最も強い反射を生じさせるだけである。長い境界の１つ上での１以上の浅い追加の反射を表す多くの反射が後続し得る。これらは、ＲＩＲにおいて集中されたエネルギの明らかに見える繰り返しバーストを生じさせる。この結果、単一のエコー反射だけでなく、各エコーが本質的に一連の複合反射を含むフラッタエコーが生じ得る。
【0138】
主フラッタエコーの次数が高くなると、同様の距離の他の反射は時間的に一層密に圧縮される。すなわち、長い部屋の境界で１回又は２回跳ね返る経路の長さは、より低い次数に対するよりも、該長い境界での反射を伴わない経路長に近くなるであろう。このような複合フラッタエコーの例が図９（該図は、生じ得る時間的圧縮も示している）に示されている。
【0139】
デジタル領域で動作すると、このことは、ある時点で複数の反射が同じ（離散的）フィルタ遅延に寄与することを意味する。これらの寄与は加算され、これらのバーストのインパルス応答振幅を、無限サンプルレートの場合よりも大きくさせる。
【0140】
特定の例において、当該オーディオ装置は、パラメトリックリバーブレータの既存の枠組みを利用することによりフラッタエコーのシミュレーションを追加するアプローチを実施する。このように、該オーディオ装置の全体的な複雑さは実質的に変化しないようにできる。
【0141】
当該オーディオ装置は、その動作を：
・部屋の寸法；
・部屋の境界の位置及び向き；及び／又は
・部屋の境界に関連する材料特性；
に基づくものとすることができる。
・部屋の寸法；
・部屋の境界の位置及び向き；及び／又は
・部屋の境界に関連する材料特性；
に基づくものとすることができる。
【0142】
当該メタデータに基づいて、推定器４０５は、先ず、フラッタエコーが、ユーザがいる部屋のありそうな可聴音響特性であるかを判定することができる。例えば、このことは、１つの次元寸法が他の２つよりも大幅に大きい場合、又は１つの次元の壁上の材料の反射特性が他のものにおけるよりも大幅に大きい場合に当てはまると考えられる。これを反映するフラッタエコー推定値が生成され得る。
【0143】
アダプタ４０７は、上記フラッタエコー推定値に応じて信号発生器４０３の動作を適応させることができる。これが、フラッタエコーが重要であることを示している場合、当該パラメトリックリバーブレータのフィードバック遅延ネットワークの構成パラメータが、そのフィードバックループの１以上が該フラッタエコーをモデル化するように変更される。
【0144】
次いで、アダプタ４０７はフラッタエコーが発生する部屋の寸法に比例するようにループ遅延を設定でき、ループフィルタはフラッタエコーに関係する壁の（組み合わされた）材料特性に対応するように設定され、フィードバックマトリクスは当該ループを残りの通常のフィードバックループから分離するように適応され得る。このように、フィードバックループの複数のパラメータを、フラッタエコーをエミュレートするように設定することができる。
【0145】
このように、幾つかの実施形態においては、フラッタエコー推定値を生成することができ、フラッタエコーをシミュレーションすべきか否かを判定するために評価することができる。これは、フラッタエコーが聞こえる場合にのみ必要である。通常、可聴フラッタエコーには、以下の２つの可能性のある主な根本的原因が存在する：
・或る部屋の次元寸法が他の２つよりも大幅に大きい；及び
・１つの次元の壁上の材料の反射特性が、他の２つにおけるよりも大幅に強い。
・或る部屋の次元寸法が他の２つよりも大幅に大きい；及び
・１つの次元の壁上の材料の反射特性が、他の２つにおけるよりも大幅に強い。
【0146】
また、上記を組み合わせもフラッタを生じさせ得る。例えば、２つの次元寸法が第３のものより大幅に大きいが、これらのうちの一方が、他方よりも遙かに反射性が低い場合である。
【0147】
部屋の或る次元の寸法は、例えば、他の２つの次元の寸法の最大値の２倍にも大きい場合に、他の２つよりも大幅に大きいとみなされ得る。代替的な評価基準は、部屋の１つの次元の寸法が他の２つの次元寸法の平均寸法の少なくとも３．１倍長い場合であり得る。幾つかの実施形態において、これは、部屋の或る次元寸法が、３つの全ての部屋次元寸法の平均より少なくとも５０％長い場合であり得る。
【0148】
部屋が直方体（靴箱）ではない場合、当該次元寸法は３つの全ての次元において幾何学構造の外側限界に設定できる。
【0149】
他の例として、部屋は、或る次元の部屋の境界の材料特性が他の次元におけるものと大きく異なる場合、フラッタエコーシミュレーションにとり適格であり得る。反射は、反射係数又は吸収係数等の音響反射減衰を反映するパラメータにより表すことができる。例えば、１つの部屋の次元における両方の壁の平均反射係数（０（非反射）と１（完全反射）との間の値）が、２つの他の方向における両方の壁の最大平均反射係数より少なくとも０．２高い場合等である。同様に、壁の各対の平均反射係数を、全ての壁の平均又は他の２つの壁の対の平均と比較することができる。例えば、平均反射係数が全体の平均より少なくとも２０％大きい場合等である。更に、必要最小限の反射係数を導入することもできる。例えば、平均反射係数は少なくとも０．６７でなければならなに。
【0150】
他の実施形態では、音響反射減衰を反映するために吸収係数を使用することができ、これらの係数は、候補となるフラッタ次元では他の次元におけるよりも小さいことが必要とされ得る。例えば、他の次元における壁の対の平均吸収係数の８５％よりも小さい平均吸収係数が必要とされ得る。
【0151】
反射（又は吸収）係数は、しばしば、周波数依存性である。これらは、全周波数にわたって、又は周波数のサブセットにわたって平均化され得る。更に、平均化は、異なる材料特性を持つ壁区域にわたって行われ得る。
【0152】
このように、フラッタエコー推定値を、このようなパラメータを反映するように生成でき、アダプタ４０７は、フラッタエコーをシミュレーションすべきか否かを、フラッタエコー推定値が適切な基準を満たすかに基づいて決定できる。
【0153】
フラッタエコーの推定、特にフラッタエコーをシミュレーションするか否かを決定することは、部屋の寸法及び材料特性の組み合わせの考慮を含み得る。例えば、別々の評価基準のいずれかが満たされることが、フラッタエコーがシミュレーションされるようにし得る。他の実施形態は、部屋の寸法が大幅に大きく、且つ、対応する平均材料特性が大幅に異なる場合にのみ、フラッタエコーをシミュレーションし得る。オプションとして、又は代替として、候補となるフラッタ次元の反射係数が最小値であることが追加的に要求され得る。
【0154】
幾つかの実施形態では、寸法及び材料特性が推定減衰時間（例えば、Ｔ６０）に組み合わされる。或る次元の推定された１次元減衰時間が、他の２つの次元における１次元減衰時間の最大値より少なくとも３０％長い場合、該次元においてフラッタエコーがシミュレーションされ得る。他の実施形態において、減衰時間は、他の次元におけるより少なくとも０．５秒長い必要があり得る。
【0155】
減衰時間は、寸法及び対応する壁の平均反射係数から推定できる。音波が当該次元において部屋を往復するのにかかる時間内に、音波は移動した距離及び壁上での２回の反射により減衰する。一例として、推定されるＴ６０減衰時間は：
により計算できる。
【数1】
【0156】
この式は、大きさＤの部屋の寸法における１つの往復経路における減衰を決定する。ソースの基準距離ｄｒｅｆ及び平均反射係数
を使用して、エネルギ減衰が計算される。これは、これらのどれだけ多くが６０ｄＢ減衰するために必要とされるかが参照されるもので、２・Ｄメートルの距離を進行するための時間により乗算される。
【数2】
【0157】
他の実施形態において、推定された一次元減衰時間は、例えば一次元Ｔ６０が部屋全体について推定されたものより１０％長い場合、部屋全体の減衰時間と比較され得る。部屋全体のＴ６０は、Ｓａｂｉｎｅ又はＮｏｒｒｉｓ－Ｅｙｒｉｎｇ式等の方程式で推定できる。
【0158】
フラッタエコーがシミュレーションされるべきかの判定は、軟判定とすることもできる。例えば、フラッタエコーが聞こえそうにない場合に低い閾値を、フラッタエコーが聞こえそうな場合に高い閾値を選択することにより、これらの閾値の間の如何なるケースも、０と１との間の信頼度を生じさせるであろう。重みｗ＝０は可聴フラッタエコーがないことに対応する一方、ｗ＝１はフラッタエコーが聞こえるという完全な信頼度に対応する。
【0159】
例えば、次元１における１次元減衰時間
が当該部屋における全ての減衰時間の平均と比較される場合、以下のように、１１０％未満ではフラッタエコーはシミュレーションされず、１５０％を超えると信頼度は１となり、これら閾値の間では０から１まで直線的に増加するような閾値が１１０％及び１５０％に存在し得る：
【数3】
【数4】
【0160】
幾つかの実施形態において、部屋の特性は直接利用できないかも知れない、例えば室内インパルス応答により特徴付けることができる。幾つかの実施形態において、部屋メタデータはＲＩＲを含むことができ、推定器４０５は、ＲＩＲに応答してフラッタエコー推定値を生成するように構成できる。この例において、フィードバック遅延ネットワークのパラメータは、ＲＩＲから生成されたフラッタエコー推定値から決定できる。インパルス応答を測定することは、長方形の靴箱モデルから逸脱する任意形状の部屋に対して一層修正可能である。
【0161】
このような実施形態において、フラッタエコーの存在は、振幅二乗の平滑化バージョンＩＲ（ｅｓｍｏｏｔｈ（ｎ））を使用して測定できる。 ＩＲ（ｅｍｉｎ（ｎ））に最小値追跡を適用することにより、フラッタエコー成分を分離できる。これは、認識可能なフラッタエコーは残りの残響反射よりも緩やかに減衰し、最小値を追跡することは残響減衰エンベロープを近似するからである。これの一例が図１０に示されている。
【0162】
上記２つの信号を減算すると、フラッタエコー成分が、存在するなら、分離される。この信号のエネルギが特定のしきい値を超える場合、フラッタエコーが存在すると判定できる。この判定は、残響のパーセンテージ、すなわち：
として表すこともできる。
【数5】
【0163】
他の例として、２つのエコー図の間の差、ｅｓｍｏｏｔｈ（ｎ）－ｅｍｉｎ（ｎ）を、フラッタエコーの遅延及び減衰に関連する特性を導出するために使用でき、フィードバック遅延ネットワークを構成するために使用できる。
【0164】
幾つかの実施形態では、ピーク抽出アルゴリズムを使用して、極大値及びそのタイムスタンプを抽出することができる。これらのエコーの減衰率は、ピークに指数関数的減衰モデルを当てはめることにより決定できる。減衰率及びタイムスタンプは、一緒に、フィードバックループのパラメータを決定するために使用され得る。
【0165】
アダプタ４０７は、所望の性能に応じて、異なる実施形態においては異なる方法でパラメータを適応させるように構成することができる。フラッタエコーオーディオ信号を生成するためのパラメータは、拡散残響を生成する場合にフィードバックループにより使用されるパラメータとは大幅に相違し得る。
【0166】
残響を生成するためのフィードバック遅延ネットワークにおける遅延は、通常は相対的小さく選択され、反射密度が急速に増加するようにする。例えば、１２ｍｓなる平均がよく使用されるが、高帯域幅信号（例えば、４８ｋＨｚ）に対し、これは通常は更に小さくなる。
【0167】
遅延の選択は、しばしば、残響時間（Ｔ６０）に依存する。これは、通常、部屋の寸法に正に相関するが、部屋の境界の材料特性もＴ６０に対して大きな影響を有する。すなわち、材料特性は、レイテンシを追加させることなく、ＲＩＲに追加の（距離減衰により生じる減衰に加えての）減衰を生じさせ、部屋の寸法は、これらの減衰がＲＩＲで生じる割合を決定する。したがって、パラメトリックリバーブレータの構成は、主に、全体的な残響特性Ｔ６０、及び部屋を正確にモデル化するために最小反射密度に迅速に到達する必要性（例えば、秒当たり１，０００～１０，０００回の反射）により決まる。
【0168】
対照的に、フィードバックループがフラッタエコーオーディオ信号を生成するように構成される場合、アダプタ４０７は、フラッタエコーの割合をシミュレーションするために、部屋の寸法に対応するループ遅延を選択することができる。通常は全体の残響傾斜Ｔ６０をシミュレーションするループフィルタは、各反射における壁の効果をシミュレーションするために、代わりに、フラッタエコーに関係する壁の平均材質特性に対応するように選択され得る。
【0169】
フィードバック行列は、多くの実施形態において、フラッタエコーを拡散残響生成から分離した状態に保つように調整でき、フラッタエコーの一貫した再現がシミュレーションされるようにする。部屋内に複数の異なるフラッタエコーが存在する場合、複数のフィードバックループを同様の方法で再利用できる。
【0170】
多くの実施形態において、アダプタ４０７は、フラッタエコー推定値がフラッタエコーのレベルの増加を示すことに対して、第１のフィードバックループから自身へのフィードバック係数／利得を増加させるように構成され得る。フラッタエコーの程度が増加する場合、所与のフィードバックループから自身へのフィードバックは増加され得る。代わりに又は典型的には加えて、アダプタ４０７は、フラッタエコー推定値がフラッタエコーのレベルの増加を示すことに対して、複数のフィードバックループのうちの第１のフィードバックループから第２のフィードバックループへのフィードバック係数を減少させるように構成され得る。該第２のフィードバックループは、フラッタエコーの生成に使用されるようには構成されておらず、代わりに拡散残響の生成に使用されるフィードバックループであり得る。
【0171】
幾つかの例において、フラッタエコーを生成するために使用されるフィードバックループは、自身に対してのみフィードバックすることができる。幾つかの例において、フラッタエコーを生成するために使用されるフィードバックループは、フラッタエコーを生成するように構成された如何なる他のフィードバックループにもフィードバックしないであろう。幾つかの例において、フラッタエコーを生成するために使用されるフィードバックループは、自身（フラッタエコーを生成するために使用される一群のフィードバックループのうちの、又は恐らくはフィードバック遅延ネットワークの全てのフィードバックループのうちの）のみからフィードバック信号を受信できる。
【0172】
当該適応は例えば徐々の適応であり得るが、他の実施形態において、適応は例えばステップ関数であり得る。例えば、フラッタエコーが有意ではないことをフラッタエコー推定値が示す場合、フィードバックループは主に拡散残響に寄与するために使用され得るので、適切なフィードバック係数は相対的に小さくなり得、その場合、所与のループからのフィードバックは、拡散エコーを構成する多くの異なる反射を反映するために、異なるループにますます分散される。しかしながら、フラッタエコーが有意であることをフラッタエコー推定値が示す場合、典型的なフラッタエコーに対応する周期的反射の量の増加を反映するために、当該ループのフィードバック係数は増加され得る一方、他のループに対するフィードバック係数は減少され得る。
【0173】
当該適応の幾つかの例を以下に図１１の例を参照して説明することができ、該図はフラッタエコーの一例を時間及び空間の関数として示すものである。該例において、ソース（音源）１１０１において発生するフラッタエコーは、リスナ１１０３に、壁１１０５、１１０７の間の２つの経路長に対応する一定の率（τγ＝２Ｄ／ｃ、ここで、Ｄは壁の間の距離であり、ｃは音速である）ではあるが、ユーザ及びソースが壁の間の何処にいるかに依存して４つの異なるオフセットで到達する。
【0174】
幾つかの複雑さの低い実施形態において、当該オーディオ装置は、壁間の単一の経路長（τｒ’＝Ｄ／ｃ）に対応する遅延を使用して、単一のリバーブレータループのみを再利用することにより、これを簡素化することができる。これは、リスナ及びソースが部屋の中間にいることに対応し、その場合、点線及び実線の両方の反射は一定の率で同時にリスナに到達する。
【0175】
第１のループをフラッタエコーのために使用するＮ個のループを備えたリバーブレータのためのフィードバック行列は：
と定義でき、ここで、
はＮ－１のループに対してのみモデル化する拡散残響のための正則フィードバックマトリクスである。フラッタループ内のリバーブレータのＴ６０フィルタ（又はループフィルタ）は、壁の平均反射特性をシミュレーションできる。例えば：
となり、ここで、Ｇｄ（ｘ）はｘメートルの経路長に対する距離減衰（これは、周波数依存性減衰であり得る）を返す関数であり、
は壁１の平均反射係数であり、
は壁２の平均反射係数である（これら係数は、通常、周波数依存性である）。このように、該ループフィルタは、音波が媒体（例えば、空気）を介して伝播することから生じる減衰、及び両方の壁上での反射をシミュレーションする。
【数6】
【数7】
【数8】
【数9】
【数10】
【0176】
関数Ｇｄ（ｘ）は、ｘメートルを伝播する音波に関する距離減衰を提供する。これは、エネルギが半径ｘの球にわたって広がる全方向性ソースに基づく単純な減衰であり得る。距離（すなわち、半径）が２倍になるごとに６ｄＢの減衰を生じることは、よく知られている。多くの実施形態では、ソース信号が定義される距離として基準距離を使用することができ、その場合、距離減衰は信号に含まれると見なされ、Ｇｄ（ｘ）からの追加の距離減衰は０ｄＢに等しい。
【0177】
更に、空気の吸収の効果Ｇａｂｓ（ｘ）等の他の側面を、Ｇｄ（ｘ）に追加することもできる。この効果は、通常、より大きな距離で一層顕著になり、周波数に依存する傾向がある。通常、特に現実的な部屋の寸法Ｄに対して考察される場合、空気吸収の効果は非常に小さい。
【0178】
【数11】
【0179】
記載される実施形態は、平均反射係数を示すために
を使用し得る。材料特性は、種々の方法で定義され得る。例えば、材料特性は、吸収係数、鏡面反射係数、拡散反射係数、透過係数及び／又は結合係数を含み得る。幾つかの実施形態では、それは反射及び吸収のみであり得、これらの合計は１になる必要がある。ほとんどの実施形態では、鏡面反射係数がフラッタエコーシミュレーションに最も関連し得る。
【数12】
【0180】
【数13】
【0181】
反射係数は、平均化されなくてもよいが、例えば、壁の前のソースの横方向の位置、すなわちフラッタエコーの殆どが発生するであろう場所に適応され得る。このような実施形態において、複数のソースは、それらの関連する反射係数に従って別個のループにグループ化され得る。
【0182】
他の例として、当該オーディオ装置は、図１１のフラッタエコーをエミュレートする場合に２倍経路長（τｒ）２に対応する遅延を有する４つの分離されたループを使用するように構成され得る。該４つのループは、リスナ／ソース及び壁の間のオフセットを反映するように事前に遅延された別個の入力を有し得る。例えば、図１２に示されるような事前遅延回路が使用され得る。
【0183】
この場合におけるフィードバックマトリクスは：
のように定義でき、ここで、最初の４つのループはフラッタエコー専用である。
【数14】
【0184】
フラッタループにおけるリバーブレータのループフィルタは、共に、壁の平均反射特性をシミュレーションするであろう。例えば：
である。
【数15】
【0185】
このように、各ループフィルタは、音波が壁間の距離を２回当該媒体（例えば、空気）を介して伝播することから生じる減衰、壁の両方上での反射をシミュレーションする。
【0186】
この実施形態の利点は、実際の部屋においてどの様であるかと同様に、２つのループの非対称性をシミュレーションすることである。フィードバック遅延ネットワーク自体のパラメータを更新することを要せずに、該非対称性を部屋内のユーザの位置に適応させるために事前遅延の調整を使用することができる。
【0187】
例えば、リスナが壁１１０５から壁間距離の３０％にあり、ソースが壁１１０７から壁間距離の１５％にある場合、事前遅延は、ソースからリスナまでの最初の４つの経路長に基づいて以下のように設定できる：
他の例として、経路長の差のみを反映するように、遅延を最小にすることもできる。すなわち：
【数16】
【数17】
【0188】
前の実施形態は、場合により、例えば図１３の例に示すように、事前遅延信号を、合成信号を単一のフィードバックループに供給する前に結合することにより簡略化することができる。
【0189】
フィードバックマトリクスは：
とすることができる。
【数18】
【0190】
そして、ループフィルタは前の実施形態と同じであろう：
【数19】
【0191】
当該ループは経路長減衰及び２つの壁上での反射をシミュレーションするが、事前遅延構成は信号内のオフセットの生成を担当する。遅延は、前の例におけるのと同じであろう。
【0192】
当該事前遅延構成は、これらの最初の経路における壁からの反射及び距離減衰をシミュレーションする利得又はフィルタを含むように拡張することもできる。このようなフィルタは、フィードバックループにおけるシミュレーションは最初の幾つかの反射次数は表していないので、フラッタエコーの早期の伝播及び反射をシミュレーションする追加のフィルタ処理及び／又は減衰を含むこともできる。しかしながら、このような効果は、典型的に、通常の残響事前混合及びそのカラレーション（音色変化）フィルタに既に組み込まれている。
【0193】
個別の入力信号を、単一のタップ付き遅延線から得ることもできる。通常、直接経路 レンダリング及び早期反射レンダリングと組み合わせて使用されるパラメトリックリバーブレータは、自身の通常の動作のために事前遅延を含んでおり、直接経路及び早期反射に対して何処で残響が開始するかを制御する。この事前遅延が十分に長いなら、遅延バッファをタップ付き遅延ラインとして使用できる。この場合、フラッタエコーは早く始まるであろうが、これは早期反射モデル化で補償できる。
【0194】
他の例として、２つの作用し合うループを備え、信号に反復ごとにループを入れ替えさせるフィードバックループの組を使用することができる。以下のフィードバックマトリクスを使用すると、これが最初の２つのループで達成されるであろう：
【数20】
【0195】
この実施形態における遅延は、現実的なシナリオに一層合致する規則的であるが非対称なパターンを作成するために、任意のリスナの位置に対して設定できる。他の例として、当該遅延は、壁の間のユーザの位置に応じて調整することもできる。例えば、ユーザが壁１１０５から壁間距離の３０％にいる場合、第１の遅延はτｒ１＝（２・０．３・Ｄ）／ｃであり得る一方、第２の遅延はτｒ２＝（２・（１－０．３）・Ｄ）／ｃであり得る。
【0196】
前の実施形態と同様に、信号が２方向に跳ね返ることによる欠落オフセットを作成するために、事前遅延構成を使用することができる。これは、最初の２つの経路に対応する２つの遅延（上記のＤｅｌａｙ１及びＤｅｌａｙ２）により実行できる。
【0197】
このアプローチの特段の利点は、２つのループフィルタが各壁を個別にシミュレーションできることである。すなわち、最初の遅延τｒ１に関連する第１のフィルタは：
なる周波数応答を有するであろう。
【数21】
【0198】
同様に、第２の遅延τｒ２に関連する第２のフィルタは：
なる周波数応答を有し、ここで、
は壁２の平均反射係数であり、通常は周波数に依存する。
【数22】
【数23】
【0199】
このような実施形態による可能性は、フラッタループが拡散残響尾部を生成するために正則抽出マトリクスから除外される場合に、これらを、専用のＨＲＴＦ対でレンダリングするための出力を分離するために抽出できることである。
【0200】
幾つかの実施形態において、信号発生器４０３はフィードバック遅延ネットワークのフィードバックループに供給される前のオーディオソース信号のための利得を有し、アダプタ４０７は該オーディオソース信号に関わるオーディオソースの位置に応じて該利得を適応させるように構成される。このことは、必ずしもではないが、特には前述した事前遅延と組み合わせることができ、具体的には図１２及び１３に示された回路の各遅延が適応可能な利得を含むことができ、該適応可能な利得が、アダプタ４０７により、オーディオソース、リスナ及び／又は壁の位置に基づいて調整され得る。
【0201】
受信されるデータは、オーディオソース及び該オーディオソースの位置を表すオーディオ信号を含むことができ、この位置を、上記利得を適応させるために使用することができる。具体的には、該利得は、部屋の壁／境界／側面に対するオーディオソースの位置に基づいて適応され得る。通常、該利得は、オーディオソースからフラッタエコーの反射壁である壁（典型的には、最も近い壁）までの距離に基づいて適応され得る。前記前置利得を、フラッタエコー効果全体の相対的な強度／レベルを調整するために使用でき、特に最初に反射された際の信号の強度を反映するようにレベルを調整するために使用できる。
【0202】
幾つかの実施形態において、該前置利得は、リスナ／ユーザの距離に基づいて適応され得る。具体的には、リスナからソースまでの相対距離、又はフラッタエコーに関する反射壁での少なくとも１回の反射を介するソースからリスナまでの距離である。
【0203】
更に、多くの実施形態において、最初の反射は早期反射シミュレーションにより表すことができ、フラッタエコー信号発生器４０３はフラッタエコーの更なる反射を表すためにのみ使用され得る。例えば、フラッタエコー信号発生器４０３は、４回目以降の反射に対応するフラッタエコー成分を生成するために使用され得る。このような場合において、反射される音は、距離減衰及び反射減衰の両方を含む以前の反射により既に減衰されている。このような効果は、代わりに又は追加的に、前記前置利得により表すことができる。
【0204】
幾つかの実施形態において、アダプタ４０７は当該利得を、部屋の２つの壁／側面／境界（特に、フラッタエコーを生じさせる壁／境界／側面）の間の距離に応じて適応させるように構成され得る。幾つかの実施形態において、アダプタ４０７は当該利得を、部屋の少なくとも１つの壁／側面／境界（特に、フラッタエコーを生じさせる壁／境界／側面）の音響反射減衰に応答して適応させるように構成され得る。幾つかの実施形態において、アダプタ４０７は当該利得を、フラッタエコーシミュレーションに割り当てられたフィードバック遅延ネットワークのフィードバックループの組によりエミュレートされない複数の初期フラッタエコー反射に応答して適応させるように構成され得る。
【0205】
具体的には、ループフィルタの（距離）利得成分が前のループパス（反射）での調整に対する減衰を表すことができ、前置利得を入力信号レベル、すなわちシミュレーションされている反射の開始時のレベルを適応させるために使用することができる。
【0206】
信号は、しばしば、特定の基準距離に対応するレベルで表現され得る。信号をループに投入する前に、該信号のレベルを該信号がすでに伝播した距離に一致させるために、すなわち初期距離利得を表すために、補償／前置利得を特に使用することができる。例えば、フィードバック遅延ネットワークに基づくシミュレーションは、フラッタエコーをその４次から表すように構成できる（最初の３つは、他のアルゴリズムによる早期反射モデル化により表されるからである）。この特定の例において、図１４を参照すると、入力利得は：
となり得、ここで、数値３の２つの出現は３つの以前の反復を表し、壁１１０５の平均反射係数（周波数に依存する場合も、しない場合もあり得る）である
及び壁１１０７の平均である
は、壁１の材料特性で合計されて、遅延τｒ＝Ｄ／ｃ１つのフラッタループにおける両経路を表す。
【数24】
【数25】
【数26】
【0207】
フィードバックループは、反射経路（特定のアプローチに依存して１以上の反射を含み得る）の減衰を反映するように設定された全体的ループ利得を有し得る。ループ利得は、ループフィルタ及び／又はフィードバック係数（フィードバックマトリクス）により設定できる。記載される例において、自体へのループのフィードバック係数は１に設定され、ループ利得（１未満）はループフィルタにより決定される。ループ利得／減衰は、通常、周波数依存性であり、周波数依存性は、通常、適切なループフィルタの使用により実施される。
【0208】
異なる実施形態では、ループ利得／減衰Ｇｄを決定するための異なるアプローチを使用できる。
【0209】
通常、ループフィルタは２つの主要な成分、すなわち材料特性（例えば、反射係数）及び距離関連利得、を含む。各ループフィルタは、１つ又は２つの壁上での反射に対応する１以上の反射係数、及び平均反射係数により表される反射と一貫性のある伝播距離に対応する距離利得を表し得る。
【0210】
基準距離に対するループ関連距離は増加し続けるので、必要とされる距離減衰成分は反復ごとに弱くならなければならない。例えば：
であり、ここで、ｘは反復ごとに大きくなる。
【数27】
【0211】
このことは、連続する反射が指数関数的よりも速く減衰し、これが単一のフィードバックループでは正確にシミュレーションされない場合があることを意味している。フィードバックループにおけるフィルタは、再帰的な性質により一定であり得る。如何なる処理されるサンプルも、多くの異なる反復の成分を含み得る。
【0212】
エネルギ分散成分（最も重要な成分）を分離すれば、距離減衰（信号振幅に関する）はｄｒｅｆ／ｄとなる。全ての反復が、進行距離Ｄに対応するとする。反復のたびに、距離ｄは、この一定距離Ｄで増加し、これにより、前の反復に対する追加の減衰は：
となる。
【数28】
【0213】
問題は、ｄが反復ごとに増加しており、反復ごとに固定ゲインが必要とされることである。ｄがＤの倍数であるように、距離を他の方法で表すと、更なる簡略化を示す同様の結果が得られる：
【数29】
【0214】
各反復における距離減衰の影響は、実際の伝播距離にはあまり依存せず、すでに伝播された距離に対する増加に依存する（減衰は、距離が２倍になるごとに６ｄＢであるという経験則に則して）ことがわかる。図１５は、反復ごとに距離利得がどの様に変化するかを示している。
【0215】
最初の反復における距離利得は、非常に大きな影響を有する。１つの反復に対応する距離は、全体の伝播された距離に比べて相対的に小さいからである。急速に、各反復における距離減衰の動的効果は減少する（すなわち、反復間で変化が小さくなる）。その結果、減衰は指数関数的形状に近づく。
【0216】
距離利得が１に近づくと、反復ごとの利得はフラッタ境界材料特性の平均反射係数に向かって安定する。フラッタエコーをシミュレーションする場合、異なる実施形態は異なるアプローチを選択することができる。例えば、平均反射係数を、高次における減衰をシミュレーションするために選択できる。代わりに、より急峻な減衰を使用して、より低い次数における減衰をシミュレーションすることもできる。又は、過度に急峻な又は過度に浅い減衰を有さないように、ほとんどの実装では、中間の値が有益であろう。高次における傾きの正確なシミュレーションは、多くの場合に不要であり得る。リスナには聞こえないからである。例えば ５回目の反復に対応する傾きを選択することにより、良好なトレードオフを行うことができる。
【0217】
上述したように、多くの実施形態は、フラッタループに投入される信号の入力レベルを調整することができる。基準距離の補償、及び他の方法でシミュレーションされる反射次数に加えて、入力利得を、減衰利得Ｇｄに対して選択されたトレードオフに対して有利に調整することもできる。相対的に遅い減衰を選択することは、フラッタエコーが過度に目立つようにさせ得る一方、相対的に急峻な減衰を選択すると、正確なシミュレーションではフラッタが聞こえなくなる可能性がある。
【0218】
したがって、相対的に遅い減衰が設定されると、初期レベルは、過度に目立つのを防止するように更に低下され得る。追加の減衰は、基本的に、再帰的プロセスでは正確にモデル化されない早期の反復における一層速い減衰を補償する。その結果、より強い最初の反射は正確にモデル化されない可能性がある。多くの場合、これらは、いずれにせよ残響により（大部分が）覆い隠されてしまうであろう。
【0219】
一例として、図１４のモデルに基づいて、フィードバック遅延ネットワークを使用して、１０回目の反復に対応する減衰傾き（勾配）を使用して２次以降のフラッタエコーをシミュレーションすることができ、その結果、ループフィルタは：
のようになる。
【数30】
【0220】
初期入力利得は、最初の反射次数を表すように構成できる：
【数31】
【0221】
最初のＩ＝９の反復で失われた減衰の補償は：
により含めることができ、ここで、
は、材料特性を除く、理想的なモデル化による最初のＩ＝９の反復における減衰の累積効果を表す一方、
は、材料特性を除く、Ｉ＋１＝１０に対応する傾きを使用して実際に適用されるであろう減衰を表す。材料特性は、分数の両方の要素に等しく存在するので除外できる。
【数32】
【数33】
【数34】
【0222】
この補償は、１０回目の反復における傾き及びレベルの両方の整合を保証する。これは、ルックアップテーブルに種々の減衰基準反復Ｊに関して保存できる：
幾つかの場合には、レベルは同一の反復に対して一致させる必要はなく、トレードオフを用いることができ：
ここで、αは０と１との間の値を持つトレードオフパラメータである。１の値は上述したような補償を意味し、０の値は補償なしとなる。
【数35】
【数36】
【0223】
幾つかのアプリケーションにおいては、より高いレベルの低次反射、並びに中及び高次反射のより低いレベルの両方がシミュレーションされることが好ましい。これは、相対的に低い拡散残響エネルギを持つ部屋（例えば、フラッタエコーに関わるものを除き、高度に吸収性の境界）で可能であり得る。このようなアプリケーションは、２以上のループが同じ遅延の異なる減衰率をシミュレーションする実施形態を採用できる。
【0224】
入力信号上及びフラッタフィードバックループ内の遅延が等しい場合、反射は同じ遅れで生成される。第１のフラッタループは急峻な減衰及び相対的に大きな入力利得で構成され得る一方、第２のフラッタループは遅い減衰及び相対的に小さな入力利得で構成され得る。当該２つが出力回路により結合される場合、該結合効果は反復依存性ループ利得による正確なシミュレーションに一層よく似たものになり得る。
【0225】
幾つかの実施形態において、フラッタエコーを生成するために割り当てられたフィードバックループの組は、したがって、異なるループ利得を有する少なくとも２つのフィードバックループを有し得る。しかしながら、該少なくとも２つのフィードバックループは同じ遅延を持ち得る。
【0226】
上記実施形態は、ループフィルタをフラッタエコーが発生する壁の材質特性に従って構成する。これらのフィルタは、長い部屋の境界での浅い反射の効果を含むように拡張できる。
【0227】
フラッタの次元における境界（短い境界）の材料特性は、全体の複合反射に対する最初の反射のエネルギ比に対する影響は有さない。しかしながら、これは、どれだけ速く連続する複合反射が減衰するかに影響する。
【0228】
逆に、長い境界（すなわち、フラッタ次元に沿っていない）の材料特性は、どれだけ速く個々の複合反射が減衰するかを、したがって最初の反射と全体の複合反射との間のエネルギ比を決定する。連続する複合反射における最初の応答振幅の減衰は、この材料により影響を受けることはない。
【0229】
前述したように、ＲＩＲ内において、これらの応答は、これらが寄与するフラッタエコーの次数に伴い変化し、個々の反射を時間的に圧縮する。しかしながら、本質的に、１つ、２つ、又はそれ以上の追加の材料特性による追加の寄与が存在する。主な効果は、これにより個々のフラッタエコーのエネルギ及びそのカラレーションが増加されることである。カラレーションは、追加の周波数依存性材料特性による寄与を追加することにより影響を受けるが、理論的には、櫛型フィルタ効果を生じさせる遅延反射によっても影響を受ける。しかしながら、異なる遅延での多数の繰り返しにより、櫛形フィルタ効果はそれほど大きくない。
【0230】
複合反射は、単一の反射によりモデル化できる。ループフィルタＨτは、複合反射のものと合致するスペクトル応答を持つ単一パルスを表すように設定できる。
【0231】
複合反射の正味の効果も、単一の反射よりも大きなエネルギを構成し、この合計のエネルギも単一の反射で表されねばならない。遅延により、個々の応答の振幅は、通常、コヒーレントに加わらない。
【0232】
複合反射のエネルギは：
により近似でき、ここで、Ｋは無限大であるか、又は直接応答後の特定の期間、例えば５０ミリ秒に制限され得る。通常、より大きなＫは、指数関数的挙動により大きく寄与することはない。
【数37】
【0233】
【数38】
【数39】
【0234】
Ｅｃに関する上記式は、距離減衰を無視している。この寄与度は、相対的に低い。これは、初期振幅と複合反射エネルギとの間のエネルギ比を、フラッタ次数に依存しないようにもさせる。
【0235】
代替実施形態では、非常に短い遅延を持つ別個のループが、主フラッタ応答に対する尾部をシミュレーションすることができる。このループは、主フラッタループによってのみ供給され、直接信号入力（ｂｉ＝０）は有さないが、自身へフィードバックする。短い遅延は、部屋の最短の寸法に依存し得る。フィルタによる減衰は、長い部屋の境界（例えば、
）の場合、平均反射係数であろう。
【数40】
【0236】
他の代替例は、複合反射の速い減衰応答をシミュレーションするフラッタループ内のループフィルタとして、スパースＩＩＲを使用することである。
【0237】
多くの実施形態において、当該オーディオ装置は、複数のオーディオソース信号をフィードバック遅延ネットワークに供給するように構成することができ、特に、複数のオーディオソース信号をフラッタエコーオーディオ信号を生成するフィードバックループの組に供給するように構成することができる。該オーディオ装置は、例えば室内の複数のオーディオソースに関するオーディオソースを受信でき、これらの信号のうちの複数（及び、恐らくは全て）をフラッタエコーオーディオ信号を生成するフィードバックループの組に供給することができる。これら複数の信号は、例えば、合成信号へと結合され、該合成信号は次いでフィードバックループの組に供給され得る。各信号には、他の信号と組み合わされる前に、遅延及び／又は利得調整が施され得る。各信号に対する利得及び／又は遅延は、例えば、（他の信号に対する）個々の信号の初期及び／又は相対信号レベル、及び／又は到着時間を反映するように適応され得る。幾つかの実施形態において、例えば当該利得及び／又は遅延は、フィードバックループの組に供給される幾つかの又は恐らくは全てのソース信号に対して共通であり得る。
【0238】
上述した実施形態は、個々の反射の間のオフセットの正確なシミュレーションを可能にし得る。これにより、特にリアルなレンダリングが提供され得る。記載されたアプローチは、単一のソースに関するフラッタエコーの生成に焦点を当てており、ループパラメータの特性等は、位置等のソースの特定の特徴に依存し得る。しかしながら、多くの場合、シミュレーションされる部屋にはフラッタエコーを生成する２以上のソースが存在する。このような場合、各ソースは、自身の専用のフィードバックループ等によりシミュレーションされ得る。これらは、例えばフィードバック遅延ネットワークの前の事前混合（プレミキシング）及び事前遅延部への別個の並列経路で実装できる。
【0239】
しかしながら、多くのアプリケーションにおいて、そのようなレベルの精度は必要とされない。パラメータは、適切な値（例えば、任意に又は人工的に選択された値）に設定できる。幾つかの実施形態において、これらは、全てのシミュレーションされるソースに対して等しく選択できる。例えば、図１６に示されるアプローチは、個別の利得ｇｎが合成される前の入力オーディオソース信号に適用され、次いで、１以上の遅延が該共通の信号に適用される場合に使用できる。これにより、計算的及び構造的複雑さが軽減される。このようなアプローチにおいて、フラッタエコーオーディオ信号は、依然として、部屋内のユーザの位置に適応させることができる。
【0240】
当該フィードバック遅延ネットワークのフィードバックループへの入力は、数学的に：
と表すことができ、ここで、ｘはオーディオソース信号（モノラル信号）であり、ＸＬはＰ個のフィードバックループに注入されるべきＰ個の信号に対応する出力信号ベクトルである。
【数41】
【0241】
幾つかの実施形態は、フィードバックループへの別個の入力を必要とするか、又はそれから利益を得る。このことは、入力利得ベクトルｂを、２以上の信号を考慮に入れると共に、これを異なるループにマッピングするマトリクスＢに拡張することにより達成できる。
【0242】
例えば、５つのフィードバックループ（Ｐ＝５）を持つフィードバック遅延ネットワークに提供される入力を、入力マトリクスＢにより処理することができ：
ここでｘ１は第１の入力信号であり、ｘ２は第２の入力信号であり、第１のフィードバックループはフラッタエコーの生成に使用されるフィードバックループであり、残りの４つのフィードバックループは拡散残響を生成するために使用される。
【数42】
【0243】
【0244】
遅延により、ソースからリスナまでのＰ個の異なる経路に対して異なるオフセットが生成される。通常、靴箱形状の部屋では、フラッタ次元当たりＰ＝４となる。遅延は、最小のオフセットに対する相対オフセットを表すように選択でき、共通オフセットは無視される。他の実施形態では、全ての遅延を絶対オフセットに設定でき、リスナの位置に可能性として動的に調整する。
【0245】
遅延は、フラッタエコーに対する追加の共通遅延成分を実現するために、共通に調整することもできる。このような共通の遅延成分は、他の手段によりシミュレーションされた早期反射に対し、パラメトリックリバーブレータによりシミュレーションされるフラッタエコーのオフセットを制御するために有用であり得る。例えば、フラッタ次元に関連する最後の早期反射と、フィードバック遅延ネットワークからの最初のシミュレーションされたフラッタエコー応答との間の適切な待ち時間を確保するためである。
【0246】
幾つかの場合では、フラッタエコーを拡散後期残響部分よりも早く開始することが有利であり得る。これらの実施形態において、フラッタループへの入力は、事前遅延部をバイパスし、ソースの放射に対するフラッタエコーシミュレーションの開始を制御する専用のフラッタ遅延部のみを通過し得る。例えば、別途生成される早期反射は、フラッタ次元に関連する全ての反射を除外し、代わりに、これらをフィードバック遅延ネットワークのみを用いてシミュレーションすることができる。
【0247】
他の実施形態においては、早期反射信号が生成され、フィードバック遅延ネットワークのフラッタエコーフィードバックループに供給され得る。該早期反射信号は、フラッタ次元における反射のみを含み得る。
【0248】
幾つかの実施形態において、当該オーディオ装置は、少なくとも１つのオーディオソース信号が、フラッタエコーオーディオ信号の生成に使用されるフィードバックループにのみ供給されるように構成され得る。
【0249】
幾つかの実施形態において、当該オーディオ装置は空間プロセッサを備えることができ、該プロセッサはフラッタエコー信号に空間処理を適用するように構成され、その場合、該空間処理は、オーディオソース信号のソースの位置及び／又は部屋の側面に依存する。
【0250】
当該空間処理は、フラッタエコーオーディオ信号の空間手掛かりを修正又は生成する処理であり得る。特に、該空間プロセッサは、例えば図１８に示されるように、フラッタエコーオーディオ信号のバイノーラル処理を実行するように構成でき、該図において空間プロセッサは２つのＨＲＴＦブロックＨＲＴＦ１、ＨＲＴＦ２により表されている。該空間プロセッサは、ＨＲＴＦを使用してバイノーラル処理を適用してステレオ信号を生成でき、該ステレオ信号はヘッドフォンによりレンダリングされると、適切な位置／方向から発生するフラッタエコーの空間認識を生じさせる。例えば、該バイノーラル処理は、壁のうちのフラッタエコーを生成する１つの壁の位置及びリスナの位置に基づいてＨＲＴＦ処理を適用し、該フラッタエコーがこの壁の方向から到来するように知覚されるようにすることができる。
【0251】
幾つかの実施形態において、空間処理されたフラッタエコーオーディオ信号は、他の生成されたオーディオ成分と組み合わせることができ、特に、該信号はフィードバック遅延ネットワークの他のフィードバックループにより生成された拡散残響と結合することができる。しかしながら、この拡散残響は、一般的に分散された音であるため、空間処理を施すことはできない。
【0252】
このように、幾つかの実施形態において、当該オーディオ装置は、空間処理されたフラッタエコーオーディオ信号を（空間処理されていない）拡散残響信号と結合するための結合器を備える。図１８の例において、結合器ＭＩＸは、空間的に処理されたフラッタエコーオーディオ信号と、空間的に処理されていない拡散残響信号、及び、通常は、直接及び早期反射オーディオ成分等の他のオーディオ成分とを結合することにより、ヘッドフォンのセットのためのステレオ出力信号を生成することができる。
【0253】
多くの実施形態において、当該フィードバック遅延ネットワークは、フラッタエコーオーディオ信号を生成するために使用されるフィードバックループの出力信号を結合することによりフラッタエコーオーディオ信号を生成することができる。同様に、拡散残響信号は、残響を生成するために使用されるフィードバックループの出力信号を結合することにより生成することができる。
【0254】
通常、当該フィードバック遅延ネットワークのフィードバックループは、残響の生成のため又はフラッタエコーの生成のための何れかに使用される。
【0255】
ほとんどの実施形態において、アダプタ４０７は、一群のフィードバックループをフラッタエコーオーディオ信号の生成に割り当て、残りのフィードバックループは残響の生成に使用されるように構成され得る。このような場合において、アダプタ４０７は、通常、ループを分離したままにするように構成され得る。具体的には、アダプタ４０７は、フィードバックループのフィードバック係数を、フラッタエコーオーディオ信号を生成するために使用される一群のフィードバックループのうちの或るフィードバックループから何れの他のフィードバックループへもフィードバックは存在せず、またその逆となるように、適応させることができる。すなわち、該アダプタは、２つの異なる組に属する２つのループ間のフィードバックに関連するフィードバックマトリクスの全てのフィードバック係数をゼロに設定し得る。
【0256】
同様に、出力信号を生成する場合、フラッタエコーオーディオ信号は、一群のフィードバックループのうちのフラッタエコーオーディオ信号の生成に使用されるフィードバックループのみの出力信号の組み合わせにより生成され得る一方、残響信号は、一群のフィードバックループのうちのフラッタエコーオーディオ信号の生成には使用されないフィードバックループのみの出力信号の組み合わせにより生成され得る。
【0257】
多くの実施形態において、フラッタフィードバックループの出力信号は、抽出マトリクスＣにより表すことができる重み付けされた合成を使用して出力信号を生成することにより、他のフィードバックループと同じ方法で処理することができる。このことは、例えば、拡散残響の生成から知られている相関フィルタ及び／又はカラレーションフィルタを適用することを含み得る。この場合、結果として生じるフラッタエコーは、特定の方向から生じるものではないであろう。
【0258】
しかしながら、フラッタエコーが指向性であることが望まれる実施形態において、フラッタエコーフィードバックループ出力信号は、代替処理のために個別に抽出され得る（図１８の例におけるように）。（バイノーラル）拡散残響尾部のための抽出マトリクスは次元２×（Ｎ－２）のものであり、該マトリクスは４×Ｎとなるように拡張でき、フィードバック遅延ネットワークの全てのＮ個のフィードバックループを処理する。Ｎ＝４である以下の例において、最初の２つの行は更なる拡散残響尾部の処理に関係し、最後の２つの行はフラッタエコーに関係する。
【数44】
【0259】
当該抽出マトリクスにより生成される第１及び第２の出力信号は、パラメトリックリバーブレータ機能の残部により通常どおり処理され得る。第３及び第４の出力信号は、別途処理され得る。例えば、両方の壁の反対方向に対応する異なるＨＲＴＦ対が用いられる。これらは、ユーザの向きに応じて適応的であり得る。
【0260】
これは、各壁が別個のループでシミュレーションされる実施形態に対して特に有利であり得る。第１のループは壁１１０５をシミュレーションする一方、第２のループは壁１１０７をシミュレーションする。第３の出力信号のＨＲＴＦ対は、リスナに対する壁１１０５の方向に対応し得、同様に、第４の出力信号について、ＨＲＴＦペアは壁１１０７の方向に対応し得る。
【0261】
例えば、図１８において、異なるＨＲＴＦ対を２つの信号（対向する壁に対応する）に適用することができる。バイノーラル混合器が、全ての３つの左耳信号及び全ての３つの右耳信号を、単一のバイノーラル出力に混合することができる。
【0262】
フラッタエコーオーディオ信号を生成すべきかについて軟判定がなされた場合、フラッタエコーのレンダリングは有利には該軟判定に適応され得る。例えば、軟判定の結果として０と１との間の信頼値αを含む（又は信頼値αに帰着する）フラッタエコー推定となった場合、これにより、レンダリングは、信頼値０におけるフラッタエコー効果なしと、信頼値１における完全なフラッタエコー効果との間で制御され得る。
【0263】
特に単純な実装において、フラッタエコーに関連付けられる抽出マトリクス要素は、信頼値により乗算される。結果として、信頼度が低い場合、フラッタエコーのレベルは低くなる。信頼値は、例えば、信頼度に関して非線形な挙動を達成するために、修正することもできる。例えば、
である。
【数45】
【0264】
同様に、信頼値は、フィードバックマトリクス内の対応する要素を修正するために使用することもできる。このことは、フラッタエコーがより迅速に消滅するという効果を有する。追加の減衰が各反復において適用されるからである。信頼値は、例えば、信頼度に関して非線形の挙動を達成するために修正することもできる。例えば：
である。
【数46】
【0265】
他の実施形態において、当該パラメトリックリバーブレータは、上述した拡散及びフラッタエコー方式と、通常の拡散リバーブレータとの間でクロスフェードすることができる。これの簡単な構成は、信頼値により制御される２つの方式のためのフィードバックマトリクスをクロスフェードし得る。
【数47】
【0266】
影響として、拡散リバーブ生成からフラッタエコー生成への滲み、及びその逆が発生する。これにより、信頼値が減少するにつれてフラッタエコーが一層拡散する。
【0267】
他の斯様な実施形態は、フィードバックループの他の側面を付加的にクロスフェードすることができる。これは、フラッタループにのみ影響し得る。遅延を変更することができ、及び／又はループフィルタの目標スペクトルをクロスフェードすることができる。
【0268】
室内では、複数のフラッタエコー事例が異なる反射率で生じ得ることに注意されたい。場合により、強い反射が存在する複数の次元が存在し得る。特異な形状の部屋では、フラッタ方向に千鳥状の表面が存在し得る。
【0269】
このような場合においては、追加のフラッタエコー事例を、上述したように追加のフィードバックループを使用して処理することができる。このように、記載されたアプローチを、複数のフラッタエコーオーディオ信号の生成のために複製することができる。フラッタエコーのシミュレーションのために過度に多いフィードバックループが必要とされる場合、フィードバック遅延ネットワーク構成内のフィードバックループの数を増やすことが有益であり得る。通常、残響処理のためのループの数が８未満である場合、品質が損なわれ得る。
【0270】
上記記載は、明確さのために、本発明の実施形態を異なる機能回路、ユニット及びプロセッサに関連して説明したことが理解されるであろう。しかしながら、異なる機能回路、ユニット又はプロセッサの間の機能の任意の適切な分散を、本発明から逸脱することなく使用できることは明らかであろう。例えば、別個のプロセッサ又はコントローラにより実行されるように示された機能は、同じプロセッサ又はコントローラにより実行することができる。したがって、特定の機能ユニット又は回路への言及は、厳密な論理的又は物理的構成又は組織を示すというより、記載された機能を提供するための適切な手段への言及としてのみ見なされるべきである。
【0271】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの任意の組み合わせを含む任意の適切な形態で実装することができる。本発明は、オプションとして、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして少なくとも部分的に実装されてもよい。本発明の一実施形態の要素及び成分は、任意の適切な方法で物理的、機能的及び論理的に実装することができる。実際、その機能は、単一のユニットで、複数のユニットで、又は他の機能ユニットの一部として実装することができる。したがって、本発明は単一のユニットで実装することができ、又は異なるユニット、回路及びプロセッサ間で物理的及び機能的に分散することもできる。
【0272】
本発明を幾つかの実施形態に関連して説明したが、本明細書に記載の特定の形態に限定されることを意図したものではない。むしろ、本発明の範囲は、添付請求項によってのみ限定されるものである。更に、フィーチャは特定の実施形態に関連して説明されているように見え得るが、当業者であれば、記載された実施形態の様々なフィーチャを、本発明に従って組み合わせることができることを認識するであろう。請求項において、「有する（含む）」という用語は、他の要素又はステップの存在を排除するものではない。
【0273】
更に、個別に列挙されているが、複数の手段、要素、回路又は方法ステップは、例えば単一の回路、ユニット又はプロセッサにより実装することができる。更に、個々のフィーチャは異なる請求項に含まれ得るが、これらは有利に組み合わせることができ、異なる請求項に含まれることは、フィーチャの組み合わせが実現可能及び／又は有利でないことを意味するものではない。また、１つの分類の請求項にフィーチャが含まれることは、この分類への制限を意味するものではなく、むしろ、該フィーチャが必要に応じて他の請求項分類にも同様に適用できることを示す。更に、請求項におけるフィーチャの順序は、当該フィーチャが実行されなければならない如何なる特定の順序を意味するものではなく、特に方法の請求項における個々のステップの順序は、これらステップがこの順序で実行されなければならないことを意味するものではない。むしろ、これらのステップは、任意の適切な順序で実行することができる。更に、単数の参照は複数を排除するものではない。このように、単数形、「第１の」、「第２の」等への言及は、複数を排除するものではない。請求項における参照符号は、単に明確にする例として提供されるものであり、いかなる形でも請求項の範囲を限定するものとして解釈されるべきではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【国際調査報告】