特許 7663251 モード残響のモード選択

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-08

(45)【発行日】2025-04-16

(54)【発明の名称】モード残響のモード選択

(51)【国際特許分類】

   G10K 15/08 20060101AFI20250409BHJP

【ＦＩ】

G10K15/08

【請求項の数】 19

(21)【出願番号】P 2022519418

(86)(22)【出願日】2020-09-24

(65)【公表番号】

(43)【公表日】2022-12-02

(86)【国際出願番号】 US2020052369

(87)【国際公開番号】W WO2021061892

(87)【国際公開日】2021-04-01

【審査請求日】2023-09-01

(31)【優先権主張番号】16/585,018

(32)【優先日】2019-09-27

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517260766

【氏名又は名称】イーブンタイド・インコーポレイテッド

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【氏名又は名称】池本 理絵

(74)【代理人】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】ハーマン，ウッドロウ，キュー．

(72)【発明者】

【氏名】ヴェデリック，ラッセル

(72)【発明者】

【氏名】カレリゥク，コーレイ

【審査官】齊田 寛史

(56)【参考文献】

【文献】特表２０１６－５０２１３９（ＪＰ，Ａ）

【文献】米国特許第９８０５７０４（ＵＳ，Ｂ１）

【文献】特開２００６－４７４５１（ＪＰ，Ａ）

【文献】特開平４－３２６３９９（ＪＰ，Ａ）

【文献】特開平１１－２１９１９７（ＪＰ，Ａ）

【文献】KERELIUK, C., et al.，"MODAL ANALYSIS OF ROOM IMPULSE RESPONSES USING SUBBAND ESPRIT"，PROCEEDINGS OF THE 21ST INTERNATIONAL CONFERENCE ON DIGITAL AUDIO EFFECTS (DAFX-18) [online]，2018年12月31日，pp.334-341，[２０２４年１１月１２日検索], インターネット<URL:http://dafx2018.web.ua.pt/papers/DAFx2018_paper_56.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／０８

(57)【特許請求の範囲】

【請求項1】

音響空間のインパルス応答を受信するステップであって、該インパルス応答は該音響空間の複数の振動モードを含むものである受信するステップと、
前記インパルス応答を複数のサブ帯域に分割するステップであって、前記インパルス応答の各サブ帯域は、前記複数のモードの一部分を含むものである分割するステップと、
それぞれのサブ帯域ごとに、パラメトリック推定アルゴリズムを使用して、該サブ帯域に含まれる前記モードの一部分のそれぞれのパラメータを求めるステップと、
前記複数のサブ帯域の前記それぞれのモードを一つのセットに集約するステップと、
前記集約されたモードのセットをモードのサブセットにトランケートするステップと
を含み、
前記セットをモードのサブセットにトランケートするステップは、前記セットに含まれる前記モードのそれぞれについて、所定のマスキング曲線に基づいて前記モードの信号対マスク比（ＳＭＲ）を求めるステップを含み、前記セットに含まれる前記モードの１つ以上は前記求められたＳＭＲに基づいてトランケートされるものである、オーディオ信号を操作するモード残響効果を生成する方法。

【請求項2】

前記インパルス応答は、複数の不均一のサブ帯域に分割される、請求項１に記載の方法。

【請求項3】

前記インパルス応答を複数のサブ帯域に分割するステップは、前記インパルス応答をフィルタバンクに通すことを含む、請求項１に記載の方法。

【請求項4】

それぞれのサブ帯域ごとに、該サブ帯域の前記モードの一部分に含まれるモードの数を推定するステップを更に含み、
前記フィルタバンクは、１つ以上の複素フィルタを含み、各サブ帯域について、通過帯域幅と、該通過帯域幅よりも狭い区画幅とのそれぞれを有し、
前記モードの数は前記通過帯域幅内で推定され、
前記サブ帯域に含まれる前記それぞれのモードのパラメータを求めるステップは前記区画幅内の前記モードについてのみ行われる、請求項３に記載の方法。

【請求項5】

それぞれのサブ帯域ごとに、該サブ帯域の前記モードの一部分に含まれるモードの数を推定するステップを更に含む、請求項１に記載の方法。

【請求項6】

各サブ帯域について、該サブ帯域に適用される前記パラメトリック推定アルゴリズムのモデルの次数は、該サブ帯域の前記モードの一部分に含まれる前記推定されたモードの数に基づいている、請求項５に記載の方法。

【請求項7】

前記サブ帯域の前記モードの一部分に含まれるモードの数を推定するステップは、
前記サブ帯域のピーク選択閾値を求めるステップと、
前記ピーク選択閾値よりも大きな前記サブ帯域内で検出されるピークの数を求めるステップと
を含み、
前記推定されるモードの数は前記求められたピークの数に基づいている、請求項５に記載の方法。

【請求項8】

前記サブ帯域は、前記インパルス応答の離散フーリエ変換（ＤＦＴ）から導出され、前記サブ帯域のピーク選択閾値を求めるステップは、
前記サブ帯域の最大ピーク振幅を検出するステップと、
前記サブ帯域の最小ピーク振幅を検出するステップと
を含み、
前記ピーク選択閾値は前記最大ピーク振幅及び前記最小ピーク振幅に少なくとも部分に基づいて求められる、請求項７に記載の方法。

【請求項9】

前記ピーク選択閾値は、ｔ ＝ Ｍ_ｍａｘ － ａ（Ｍ_ｍａｘ － Ｍ_ｍｉｎ）に基づいて求められ、Ｍ_ｍａｘは前記最大ピーク振幅であり、Ｍ_ｍｉｎは前記最小ピーク振幅であり、ａは０と１との間の所定の値である、請求項８に記載の方法。

【請求項10】

それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、前記パラメトリック推定アルゴリズムが適用される各サブ帯域について、該サブ帯域に含まれる前記モードの一部分の周波数、減衰時間、初期振幅又は初期位相のうちの１つ以上を求めることを含む、請求項１に記載の方法。

【請求項11】

それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、該サブ帯域に含まれる各モードの複素振幅を推定することを更に含む、請求項１０に記載の方法。

【請求項12】

前記サブ帯域は、離散フーリエ変換（ＤＦＴ）から導出され、前記サブ帯域に含まれる各モードについて、前記複素振幅を推定することは、前記サブ帯域の前記推定された複素振幅のそれぞれの近似誤差を最小化することを含む、請求項１１に記載の方法。

【請求項13】

前記近似誤差は、対応するスペクトルフィルタの通過帯域内に含まれる前記サブ帯域のモードについてのみ最小化され、異なるスペクトルフィルタが、前記サブ帯域のそれぞれに対応し、前記異なるスペクトルフィルタは、可聴スペクトルをカバーし、重複しないものである、請求項１２に記載の方法。

【請求項14】

前記パラメトリック推定アルゴリズムはＥＳＰＲＩＴアルゴリズムである、請求項１に記載の方法。

【請求項15】

それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、該サブ帯域のピーク選択閾値を求めるステップを含み、前記パラメータは、前記モードの一部分に含まれ且つ前記ピーク選択閾値よりも大きな振幅を有する前記モードについて求められる、請求項１に記載の方法。

【請求項16】

前記セットをモードのサブセットにトランケートするステップは、
前記セットに含まれるモードの数以下であるモードの総数を示す入力を受信することと、
前記セットを、前記モードの総数に等しい数のモードを有するモードのサブセットにトランケートすることと
を更に含む、請求項１に記載の方法。

【請求項17】

前記セットをモードのサブセットにトランケートするステップは、各モードの前記ＳＭＲに従って前記セットに含まれる前記モードをソートすることを更に含み、前記サブセットに含まれる各モードは、前記サブセットから除外される各モードの前記ＳＭＲよりも大きなＳＭＲを有するものである、請求項１６に記載の方法。

【請求項18】

前記所定のマスキング曲線は心理音響モデルに基づいている、請求項１に記載の方法。

【請求項19】

インパルス応答を記憶するメモリと、
１つ以上のプロセッサであって、音響空間の複数の振動モードを含むインパルス応答を受信することと、前記インパルス応答を複数のサブ帯域に分割することであって、前記インパルス応答の各サブ帯域は前記複数のモードの一部分を含むものである分割することと、それぞれのサブ帯域ごとに、該サブ帯域の前記モードの一部分に含まれるモードの数を推定することと、それぞれのサブ帯域ごとに、パラメトリック推定アルゴリズムを使用して、該サブ帯域に含まれる前記モードの一部分のそれぞれのパラメータを求めることと、前記複数のサブ帯域の前記それぞれのモードを一つのセットに集約することと、前記セットに含まれる前記モードのそれぞれについて、所定のマスキング曲線に基づいて該モードの信号対マスク比（ＳＭＲ）を求めることと、前記集約されたモードのセットをモードのサブセットにトランケートすることであって、前記セットに含まれる前記モードの１つ以上は前記求められたＳＭＲに基づいてトランケートされることとを行うように構成されている、１つ以上のプロセッサと
を備える、オーディオ信号を操作するモード残響効果を生成するシステム。

【発明の詳細な説明】

【技術分野】

【0001】

［関連出願の相互参照］
本出願は、２０１９年９月２７日に出願された米国特許出願第１６／５８５，０１８号の継続出願であり、その開示内容は引用することにより本明細書の一部をなすものとする。

【背景技術】

【0002】

オーディオ技術者、音楽家、更には一般大衆（「ユーザ」と総称する）にとって、オーディオ信号の生成及び操作は手慣れたものとなっている。例えば、オーディオ技術者は、モノラルのオーディオ信号をステレオフィールド内に位置決めするパン（pan）及びゲイン（gain）等の効果を使用してモノラルのオーディオ信号を互いにミキシングすることにより、ステレオ信号を編集する。ユーザは、効果を得るために、マルチバンド処理用のクロスオーバネットワーク等のマルチバンド構造（multiband structure）を使用した処理を行って、オーディオ信号の個々の成分に対しても操作を行う。加えて、音楽家及びオーディオ技術者は、圧縮、歪み、遅延、反響（reverberation）等のオーディオ効果を定期的に使用して、音響的に快い音、及び場合によっては不快な音を作成する。オーディオ信号操作は、通常、専門化したソフトウェア又はハードウェアを使用して行われる。オーディオ信号を操作するのに使用されるハードウェア及びソフトウェアのタイプは、一般にユーザの意図に依存する。ユーザは、オーディオ信号を作成及び操作する新たな方法を絶えず探している。

【0003】

残響（リバーブ、reverb）は、ユーザがオーディオ信号に適用する最も一般的な効果のうちの１つである。残響効果は、特定の部屋又は音響空間の反響をシミュレーションし、したがって、オーディオ信号は、特定のインパルス応答を有する部屋において記録されたかのように響く。

【0004】

残響をオーディオ信号に適用する１つの方法は、畳み込みと呼ばれる技法を使用することである。畳み込み残響は、所与の音響空間のインパルス応答をオーディオ信号に適用し、その結果、オーディオ信号は、その所与の空間において生成されたかのように響く。しかしながら、畳み込み残響のパラメータを操作する技法は、比較的制限されている。例えば、畳み込み残響を使用すると、オーディオ信号内の単一の周波数の共鳴音を分離及び操作することが可能でない場合がある。加えて、畳み込み残響を使用すると、シミュレーションされた物理空間の単一の特性（例えば、空間の長さ、空間の幅）を調整又は操作することも可能でない場合がある。

【0005】

残響をオーディオ信号に適用する代替方法は、モード残響（modal reverb）と呼ばれる技法を使用することである。畳み込み残響と異なり、モード残響は、所与の空間のインパルス応答を解析し、この解析に基づいて所与の空間における振動モードを特定し、次に、空間の個々の振動モードを合成する。その結果、残響の個々の周波数を分離して編集することができ、モード残響のパラメータを操作する技法は、畳み込み残響技法のパラメータを操作する技法よりもロバストである。

【0006】

現在知られているモード残響技法（modal reverb technique）の１つの欠点は、必要とされる処理の程度である。反響するオーディオ信号（reverberant audio signal）は、多くの場合に数万個の振動モードからなり、モード残響技法は、オーディオ信号に適用されている残響を適切に復元するためにこれらのモードのそれぞれを特定して処理しなければならない。しかし、プロセッサに大きな負担をかけることなく処理することができるのは、通常、約３０００モード～約５０００モードだけである。必要とされる処理の量は、オーディオ信号からモードを廃棄することによって削減することができるが、これは、オーディオ信号の品質を低下させるという好ましくない効果を有する。

【0007】

モード残響技法のもう１つの欠点は、音響空間（acoustic space）内のモードの全てを特定することが困難であるということである。前述の技法は、モードの全てを適切に特定するほど十分高い分解能を提供していない。例えば、いくつかの例示のモード残響技法では、モード残響のパラメータは、最初に、離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）を使用して音響空間内のオーディオ信号のインパルス応答を周波数領域に変換し、次に、変換された信号のピークをその部屋のモードとして特定することによって導出することができる。しかしながら、ＤＦＴベースのモード特定の分解能は低い。分解能が低い結果、シミュレーションされる物理空間は、近似しかすることができず、容易にスケーリングすることができない。全体的に、ＤＦＴベースのモード残響技法は、オーディオ信号の或る可操作性を提供することができるが、劣化した品質、及び不正確なスケーラビリティを有する。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本開示は、空間のインパルス応答（ＩＲ：impulse response）の記録の解析を通じて音響空間のモードの高分解能推定値を提供するアルゴリズムを導入することによって既知の畳み込み残響技法を改良する。

【課題を解決するための手段】

【0009】

このアルゴリズムは、記録を複数のサブ帯域に分割し、次に、ＥＳＰＲＩＴ等のパラメトリック推定アルゴリズムを使用して各モードの周波数及び減衰パラメータを個別に推定することによってこれを行う。ＥＳＰＲＩＴアルゴリズムによって行われる特異値分解（ＳＶＤ：singular value decomposition）計算は、モードの数に対してほぼ３乗に比例する。これによって、ＥＳＰＲＩＴアルゴリズムは、標準的な音響空間のインパルス応答の記録に存在する多くのモードの数について扱いにくいものとなる。しかし、空間のモードが、個別のサブ帯域に分割されたＩＲによって表される場合には、ＥＳＰＲＩＴアルゴリズムを各サブ帯域に個別に適用することができ、したがって、アルゴリズムに通常必要とされる処理を削減することができる。ＥＳＰＲＩＴによって推定されるモードパラメータは、従来のＤＦＴベースの技法よりも高い分解能を達成する。これによって、ユーザは、例えば、ＩＲ記録において一般に起こる周波数の重複した空間のモードを弁別する（discriminate）ことが可能になる。

【0010】

同技法は、インパルス応答以外の記録を用いて実施することもできる。例えば、ドラム音のオーディオ記録も複数のモードとして解析することができ、そのような記録をサブ帯域にそのように分割することは、ＥＳＰＲＩＴアルゴリズムを解析において適用することを同様に可能にするとともに、従来のＤＦＴベースの技法よりも高い分解能でモードパラメータに基づいて記録を変更することを可能にする。

【0011】

上述の技法は、更に改良することができる。例えば、モードがサブ帯域間でほぼ均等に分割されるように、サブ帯域を不均一に更に分割することができる。第一に、これは、上述した理由から、必要とされる処理を削減するという利点を有する。加えて、不均一な分割は、アルゴリズムの分解能を改善することができる。例えば、空間のＩＲは、周波数スペクトルの或る部分には相対的に高密度のモードを有し、周波数スペクトルの別の部分には相対的に低密度のモードを有する場合がある。高密度のモードを有するオーディオスペクトルの部分に相対的に狭いサブ帯域を選択することによって、サブ帯域内のモードに適用されるアルゴリズムの分解能を改善することができる。同様に、低密度のモードを有するスペクトルの部分は、より低い分解能を許容することができ、したがって、アルゴリズムを適用するのに、より広いサブ帯域を選ぶことができる。

【0012】

本開示の１つの態様は、オーディオ信号を操作するモード残響効果（modal reverb effect）を生成する方法を提供する。前記方法は、音響空間のインパルス応答を受信するステップであって、該インパルス応答は該音響空間の複数の振動モードを含むものである受信するステップと、前記インパルス応答を複数のサブ帯域に分割するステップであって、前記インパルス応答の各サブ帯域は、前記複数のモードの一部分を含むものである分割するステップと、それぞれのサブ帯域ごとに、パラメトリック推定アルゴリズムを使用して、該サブ帯域に含まれる前記モードの一部分のそれぞれのパラメータを求めるステップと、前記複数のサブ帯域の前記それぞれのモードをセットに集約するステップと、前記集約されたモードの一つのセットをモードのサブセットにトランケートする（truncate）ステップとを伴うことができる。前記方法は、前記生成されたモード残響効果に基づいて前記オーディオ信号を操作するステップを更に伴うことができる。

【0013】

いくつかの例では、音響空間のインパルス応答を受信する代わりに、オーディオ信号を受信することができる。オーディオ信号は、それ自体が複数の振動モードを含むことができる。したがって、前記方法の残りのステップをオーディオ信号に適用することができ、それによって、オーディオ信号のモードをトランケートして結果を得ることができるように、オーディオ信号のサブ帯域への分割、パラメトリックアルゴリズムを使用した解析等を行うことができ、それによって、変更されたオーディオ信号が生成される。このように、本開示は、「インパルス応答」の解析の例を提供するが、当業者であれば、同じタイプの解析及び原理を他のオーディオ信号に適用することができること、並びに、本明細書における例は、オーディオ信号にも同様に適用可能であると理解及び予想されることを認識するであろう。

【0014】

いくつかの例では、前記インパルス応答は、複数の不均一のサブ帯域に分割することができる。前記インパルス応答を複数のサブ帯域に分割することは、前記インパルス応答をフィルタバンク（filter bank）に通すことを伴うことができる。それぞれのサブ帯域信号ごとに、該サブ帯域信号の前記モードの一部分に含まれるモードの数を推定することができる。前記フィルタバンクは、１つ以上の複素フィルタを含むことができ、サブ帯域ごとに、通過帯域幅と、該通過帯域幅よりも狭い区画（partition）幅とのそれぞれを有することができる。前記モードの数は、前記通過帯域幅内で推定することができる。前記サブ帯域信号に含まれる前記それぞれのモードのパラメータを求めることは、前記区画幅内の前記モードについてのみ行うことができる。

【0015】

いくつかの例では、前記方法は、それぞれのサブ帯域ごとに、該サブ帯域の前記モードの一部分に含まれるモードの数を推定することを更に伴うことができる。

【0016】

いくつかの例では、該サブ帯域に適用される前記パラメトリック推定アルゴリズムのモデルの次数は、該サブ帯域の前記モードの一部分に含まれる前記推定されたモードの数に基づくことができる。

【0017】

いくつかの例では、前記サブ帯域の前記モードの一部分に含まれるモードの数を推定するステップは、前記サブ帯域のピーク選択閾値を求めるステップと、前記ピーク選択閾値よりも大きな前記サブ帯域内で検出されるピークの数を求めるステップとを伴うことができる。前記推定されるモードの数は、前記求められたピークの数に基づくことができる。

【0018】

いくつかの例では、前記サブ帯域は、前記インパルス応答の離散フーリエ変換（ＤＦＴ：Discrete Fourier Transform）から導出することができ、前記サブ帯域のピーク選択閾値を求めるステップは、前記サブ帯域の最大ピーク振幅を検出することと、前記サブ帯域の最小ピーク振幅を検出することとを伴うことができる。前記ピーク選択閾値は、前記最大ピーク振幅及び前記最小ピーク振幅に少なくとも部分に基づいて求めることができる。

【0019】

いくつかの例では、前記ピーク選択閾値は、ｔ ＝ Ｍ_ｍａｘ － ａ（Ｍ_ｍａｘ － Ｍ_ｍｉｎ）に基づいて求めることができ、Ｍ_ｍａｘは前記最大ピーク振幅とすることができ、Ｍ_ｍｉｎは前記最小ピーク振幅とすることができ、ａは０と１との間の所定の値とすることができる。

【0020】

いくつかの例では、それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、前記パラメトリック推定アルゴリズムが適用される各サブ帯域について、該サブ帯域に含まれる前記モードの一部分の周波数、減衰時間（decay time）、初期振幅又は初期位相のうちの１つ以上を求めることを伴うことができる。

【0021】

いくつかの例では、それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、該サブ帯域に含まれる各モードの複素振幅を推定するステップを更に伴うことができる。

【0022】

いくつかの例では、前記サブ帯域は、離散フーリエ変換（ＤＦＴ）から導出することができ、前記サブ帯域信号に含まれる各モードについて、前記複素振幅を推定するステップは、前記サブ帯域信号の前記推定された複素振幅のそれぞれの近似誤差を最小化することを伴うことができる。

【0023】

いくつかの例では、前記近似誤差は、対応するスペクトルフィルタの通過帯域内に含まれる前記サブ帯域信号のモードについてのみ最小化することができる。異なるスペクトルフィルタが前記サブ帯域信号のそれぞれに対応することができ、前記異なるスペクトルフィルタは、重複することなく前記可聴スペクトルをカバーすることができる。

【0024】

いくつかの例では、前記パラメトリック推定アルゴリズムはＥＳＰＲＩＴアルゴリズムとすることができる。

【0025】

いくつかの例では、それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、該サブ帯域のピーク選択閾値を求めることを伴うことができ、前記パラメータは、前記モードの一部分に含まれ且つ前記ピーク選択閾値よりも大きな振幅を有することができる前記モードについて求めることができる。

【0026】

いくつかの例では、前記セットをモードのサブセットにトランケートするステップは、前記セットに含まれる前記モードのそれぞれについて、所定のマスキング曲線に基づいて前記モードの信号対マスク比（ＳＭＲ）を求めることを伴うことができる。前記セットに含まれる前記モードの１つ以上は、前記求められたＳＭＲに基づいてトランケートすることができる。

【0027】

いくつかの例では、前記セットをモードのサブセットにトランケートするステップは、モードの総数を示す入力を受信することであって、該モードの総数は、前記セットに含まれるモードの数以下であることと、前記セットを、前記モードの総数に等しい数のモードを有するモードのサブセットにトランケートすることとを更に伴うことができる。

【0028】

いくつかの例では、前記セットをモードのサブセットにトランケートするステップは、各モードの前記ＳＭＲに従って前記セットに含まれる前記モードをソートすることを更に伴うことができる。前記サブセットに含まれる各モードは、前記サブセットから除外される各モードの前記ＳＭＲよりも大きなＳＭＲを有することができる。

【0029】

いくつかの例では、前記所定のマスキング曲線は心理音響モデルに基づくことができる。

【0030】

本開示の別の態様は、オーディオ信号を操作するモード残響効果を生成するシステムを提供する。前記システムは、インパルス応答を記憶するメモリと、１つ以上のプロセッサとを備えることができる。前記１つ以上のプロセッサは、音響空間のインパルス応答を受信することであって、該インパルス応答は該音響空間の複数の振動モード（modes of vibration）を含むものである受信することと、前記インパルス応答を複数のサブ帯域に分割することであって、前記インパルス応答の各サブ帯域は、前記複数のモードの一部分を含むものである分割することと、それぞれのサブ帯域ごとに、該サブ帯域の前記モードの一部分に含まれるモードの数を推定することと、パラメトリック推定アルゴリズムを使用して、該サブ帯域に含まれる前記モードの一部分のそれぞれのパラメータを求めることと、前記複数のサブ帯域の前記それぞれのモードをセットに集約することと、前記集約されたモードのセットをモードのサブセットにトランケートすることとを行うように構成することができる。

【0031】

本発明の上記態様、特徴及び利点は、例示的な実施形態の以下の説明及び添付図面を参照して検討すると更に理解される。添付図面において、同様の参照符号は同様の要素を表している。図面に示された本発明の実施形態の説明では、明瞭にするために特定の術語が使用される場合がある。しかしながら、本発明の態様は、使用される特定の用語に限定されることを意図していない。

【図面の簡単な説明】

【0032】

【図1】本開示の一態様による一例示のシステムのブロック図である。

【図2】本開示の一態様による一例示の方法のフロー図である。

【図3】図２に示す方法の一例示のサブルーチンのフロー図である。

【図4】本開示の一態様によるフィルタバンク（filterbank）を表す図である。

【図5】図２に示す方法の別の例示のサブルーチンのフロー図である。

【発明を実施するための形態】

【0033】

図１は、本出願において説明されるモード残響（modal reverb）技法及びモード選択（mode selection）技法を実行する一例示のシステム１００を示している。システム１００は、一つのセット（a set）の命令又は実行可能プログラムを実行するように構成される１つ以上の処理デバイス１１０を含むことができる。プロセッサは、汎用ＣＰＵ、又は特定用途向け集積回路（「ＡＳＩＣ」：application specific integrated circuit）等の専用の構成要素とすることもできるし、他のハードウェアベースのプロセッサとすることもできる。必須ではないが、特定の計算プロセスをより高速且つより効率的に実行する特殊化されたハードウェア構成要素を含めることができる。例えば、本開示の動作は、並列処理能力を備えた複数のコアを有するコンピュータアーキテクチャ上で並列に行うことができる。

【0034】

様々な命令が、図２、図３及び図５のフロー図に関してより詳細に説明される。システムは、１つ以上のプロセッサ１１０によって実行される命令１３０及びプログラムを記憶する１つ以上の記憶デバイス又はメモリ１２０を更に含むことができる。加えて、メモリ１２０は、１つ以上のＩＲ１４２、及びＩＲから特定される１つ以上のモード１４４等のデータ１４０を記憶するように構成することができる。例えば、ＩＲ１４２は、残響効果をオーディオ信号に適用したいユーザが選ぶことができる。残響効果は、選択されたＩＲのモード１４４（例えば、オーディオ信号が部屋内で再生されるとき、ＩＲを生成するその部屋の複数のモード）を特定して合成することによって適用することができる。データは、空間の複数のモードに関する情報を更に含むことができる。簡単にするために、これらのモードは、本明細書では「ＩＲのモード」ともいう。以下で説明するように、モードに関する情報は、命令１３０に含まれるアルゴリズムを使用して推定することができる。

【0035】

システム１００は、データの入力及び出力用のインタフェース１５０を更に含むことができる。例えば、所与の音響空間のＩＲを、インタフェース１５０を介してシステムに入力することができ、選択された数のモード又は対応する指数関数的減衰シヌソイド（ＥＤＳ：exponentially damped sinusoid）及びそれらのパラメータを、インタフェース１５０を介して出力することができる。代わりに又は加えて、１つ以上のプロセッサは、残響操作を実行可能なものとすることができ、その場合に、ユーザは、インタフェース１５０を介して所望の残響パラメータを入力することができ、これらの残響パラメータに基づいて変更されたオーディオ信号を生成し、インタフェース１５０を介して出力することができる。インタフェース１５０を介して他のパラメータ及び命令をシステムに及びシステムから提供することができる。例えば、ＩＲにおいて特定されるモードの数は、ユーザによって入力される変数とすることができる。これは、ユーザの好みに応じて残響動作の処理速度を変えるのに使用することができる。所望のモードの数を事前に設定してメモリ１４０に記憶することもできるし、ユーザがインタフェース１５０を介して入力することもできるし、その双方とすることもできる。

【0036】

いくつかの例では、システム１００は、ユーザのパーソナルコンピュータ、ラップトップ、タブレット、又は他のコンピューティングデバイスを含むことができ、その内部には、プロセッサ及びメモリの双方が収容される。システムによって実行される動作は、図２、図３及び図５のルーチンに関してより詳細に説明される。

【0037】

図２は、一例示のルーチン２００を示すフロー図である。

【0038】

ブロック２１０において、システムは、所与の空間のＩＲを受信する。この空間は、実空間とすることもできるし（それによって、ＩＲは、実空間において再生されるインパルスに応答した記録とすることができる）、シミュレーションされた空間又は仮想空間とすることもできる。ＩＲは、ＩＲによってシミュレーションされた空間のそれぞれの振動モードに分解することができ、これらのモードは、分離して個々に変更することができる。通常のＩＲは、約１００００個のモードよりも多くのモードを含むことができる。

【0039】

ブロック２２０において、システムは、ＩＲを複数のサブ帯域に分割することができる。例えば、ＩＲのモードは、一般的には可聴周波数の範囲（通常は約２０Ｈｚ～約２０ｋＨｚであると考えられる）における広帯域の周波数にわたる様々な周波数を中心とすることができる。この帯域は、複数のサブ帯域に分解することができ、各サブ帯域は、ＩＲの全帯域よりも小さな帯域幅を有する。いくつかの例では、サブ帯域は、重複しないように選ぶこともできるし、ＩＲの全帯域内の周波数の全てが考慮されるように選ぶこともできるし、その双方となるように選ぶこともできる。双方の考慮すべき事項が満たされる場合に、サブ帯域の帯域幅の合計は、完全なＩＲの帯域幅と等しくなることができる。

【0040】

いくつかの例では、サブ帯域は、対数スケール又は非対数スケールのいずれかにおいて均一の帯域幅を有するように選ぶことができる。例えば、ＩＲが３つのサブ帯域に分解される場合に、各サブ帯域は、等しい帯域幅を有することができる。他の例では、ＩＲは、異なる要因に基づいてサブ帯域に分割することができ、これは、サブ帯域の帯域幅の不均一性をもたらす場合がある。例えば、サブ帯域分割は、完全なＩＲのモードをほぼ均等に分割するように構成することができる。

【0041】

いくつかの例では、完全なＩＲを分割することは、最初に、１つ以上のフィルタバンク（filterbank）を使用して完全なＩＲをダウンサンプリングすることを伴うことができる。フィルタバンクは、ＩＲのいくつかの部分を通過させるように構成することができ、それによって、ＩＲを異なるサブ帯域にフィルタリングすることができる。

【0042】

加えて、いくつかの例では、ダウンサンプリングは、１つ以上の複素フィルタを使用して行うことができる。複素フィルタは、ＩＲの正の周波数スペクトルのみを保持することができ、それによって、フィルタリングされたＩＲの不要な部分を後の処理動作から省略することができる。

【0043】

ブロック２３０において、各サブ帯域におけるモードの数が推定される。推定されたモードの数は、サブ帯域が均等に分割されたか否かを知らせることができる。加えて、又は代わりに、推定されたモードの数は、ルーチンの後の動作の所望の分解能を知らせることができる。

【0044】

所与のサブ帯域におけるモードの数を推定する一例示のサブルーチン３００は、図３のフロー図に示されている。

【0045】

ブロック３１０において、サブ帯域のピーク選択閾値を求めることができる。いくつかの例では、ピーク選択閾値は、最低可聴音量を表す振幅値等の固定値とすることができる。サンプリングされた周波数におけるサブ帯域の振幅値を（例えば、フーリエ変換方法を使用して）求めることができ、次に、ピーク選択閾値と比較することができ、それによって、ピーク選択閾値以上の値のみがＩＲのモードであると判断される。

【0046】

いくつかの例では、ピーク選択閾値は、サブ帯域自体の特性に基づいて求めることができる。例えば、ブロック３１２において、サブ帯域は、離散フーリエ変換（ＤＦＴ）を使用して周波数領域において導出することができる。次に、ブロック３１４において、サブ帯域のＤＦＴの最大ピーク振幅を求めることができ、ブロック３１６において、サブ帯域のＤＦＴの最小ピーク振幅を求めることができる。ブロック３１８において、ピーク選択閾値が、最大ピーク及び最小ピークに基づいて設定される。例えば、式：ｔ ＝ Ｍ_ｍａｘ － ａ（Ｍ_ｍａｘ － Ｍ_ｍｉｎ）を使用して、ピーク選択閾値ｔを設定することができる。ここで、Ｍ_ｍａｘは最大ピーク振幅であり、Ｍ_ｍｉｎは最小ピーク振幅であり、ａは０と１との間の所定の値である。ａの所定の値は０．２５とすることができる。

【0047】

ブロック３２０において、ピーク選択閾値値よりも大きな振幅を有するサブ帯域内で検出されたピークの数がカウントされる。ＤＦＴにおける残りのピークは、重要でないもの又は可聴でないものとして無視される。カウントされたピークの数は、サブ帯域における推定されたモードの数に対応する。言い換えれば、カウントされた各ピークは、サブ帯域において特定及びカウントされ、更なる処理ステップにおいて使用されるモードの中心周波数を表す。残りのモードは、カウントされず、更なる処理ステップから省略される。

【0048】

ブロック３３０において、検出されたピークの数に基づいて完全なＩＲをサブ帯域に分割することができる。これは、不均一のサブ帯域をもたらす場合がある。この結果を達成するために、オーディオＦＦＴフィルタバンクを使用することができる。各サブ帯域は、因果的（causal）Ｎタップ有限インパルス応答（ＦＩＲ）フィルタｈ_ｒ［ｎ］：

【数1】

を用いてＩＲをフィルタリングすることによって生成することができる。

【0049】

ここで、

【数2】

であり、ａ_ｍは複素振幅であり、ｚ_ｍはＭ個のモードのうちのｍ番目の複素モードであり、ａ_ｍｒはスケーリングファクタを伴う複素振幅である。信号の最初のＮ－１個のサンプルは、指数関数的減衰（damping）シヌソイド（sinusoid：正弦曲線）の挙動を示さない開始時の過渡現象を表し、その後に、サンプルは、そのような挙動に従い始める。フィルタは、阻止帯域に中心周波数を有するモードを効果的に排除する。

【0050】

当該技術において知られているウィンドウイング法（windowing method）は、ＩＩＲフィルタをトランケートすることによってＦＩＲフィルタを設計することを可能にする。トランケートの動作は、（ＩＩＲフィルタと比較して）ＦＩＲの帯域幅を拡張する。これによって、その結果、図４に示すように、サブ帯域フィルタは、周波数が重複する。各ＦＩＲフィルタの帯域幅は、その区画にわたって一定であり、その区画の端部に近づくにつれてロールオフし始める。これは、区画の外部のモードが減衰され、それらのモードの推定が困難になることを意味する。任意の所与のサブ帯域について、そのサブ帯域の通過帯域内にあるが区画の外部にあるモードは、不可避的に推定されることになる。しかしながら、それらのモードは、近傍の通過帯域の区画内に必然的に含まれるので、適切にプルーニング（pruned）又は無視することができ、したがって、より確実に推定を行うことができる。

【0051】

ウィンドウイング法を使用して設計されるフィルタバンクの１つの例では、最初に、Ｒ個のブリックウォールフィルタ（brickwall filter）を、これらのＲ個のフィルタの全ての周波数応答Ｈ_ｒの合計が１になるように選ぶことができる。Ｒ個のフィルタの逆ＤＴＦＴを行ったものは、

【数3】

を示す。ここで、ｈ_ｒは、Ｒ個のフィルタの中のｒ番目のフィルタのインパルス応答である。フィルタはブリックウォールフィルタであるので、インパルス応答はＩＩＲフィルタである。次に、短いウィンドウとの乗算を介して各チャネルのインパルス応答をトランケートすることができ、したがって、ＦＩＲフィルタが作成される。例えば、各サブ帯域ＩＲチャネルがｗ［ｎ］ｈ_ｒ［ｎ］になるようにＮタップウィンドウｗ［ｎ］を使用することができる。ｗ［０]が１に正規化される限り、このフィルタのセットは、次の式：

【数4】

から分かるように、Ｒ個のフィルタの完全な復元（δ［ｎ］）を引き続き与えることができる。

【0052】

ｗ［ｎ］による時間領域乗算によって、周波数領域における理想的なチャネルフィルタとウィンドウとの間の畳み込みが行われる。この結果、フィルタの周波数領域の拡散がもたらされ、フィルタ応答は、周波数が互いに重複する。この結果、図４に示すものと同様のフィルタバンクが得られる。

【0053】

図４は、所与の通過帯域幅（passband width）を有する通過帯域（passband）４１０を有するフィルタバンクのサブ帯域を示している。通過帯域幅は、（上記でより詳細に説明した）サブ帯域に含まれるモードの数を推定するのに使用することができる。通過帯域は、所与の区画幅を有する区画４２０も有することができる。区画は、区画幅の外部に中心周波数を有するモードをサブ帯域から省くのに使用することができる。各区画領域は、対応するｒ番目のブリックウォールフィルタの元の境界に及ぶことが認識されるべきである。

【0054】

図４の例では、チェビシェフウィンドウ（Chebychev window）を使用して特定のフィルタバンクが設計されている。しかしながら、当該技術において知られている他のウィンドウイング技法を使用して、本開示による他の使用可能なフィルタバンクを作成することができる。

【0055】

図２に戻って、ブロック２４０において、パラメトリック推定アルゴリズムを使用して、サブ帯域に含まれるモードの部分のそれぞれのパラメータを求めることができる。これは、サブ帯域ごとに行うことができる。適用することができる１つのそのようなパラメトリック推定アルゴリズムは、指数関数的減衰シヌソイド（ＥＤＳ）の周波数及び減衰パラメータを見つけるのに使用することができるＥＳＰＲＩＴアルゴリズムである。このアルゴリズムは、信号の信号ベクトルを表すベクトル行列の複素モードの解を求めるために複素シヌソイドの回転不変性特性（rotational invariance property）を利用する。

【0056】

上記ベクトル行列は、ｍ次元空間（ｍは複素モードの数）にあるので、モードの数が増加すると、複素モードの解を求めるのに必要な処理は指数関数的に増加する。言い換えれば、ＥＳＰＲＩＴアルゴリズムのモデルの次数は、サブ帯域に含まれると推定されるモードの数に対応する。これによって、単一の行列内のＩＲ全体の処理は扱いにくいものとなる。しかし、ＩＲをサブ帯域に分割し、その後、ＥＳＰＲＩＴアルゴリズムをＩＲのモードの全てに一括して適用するのではなく、それらのサブ帯域に個別に適用し、ピーク選択閾値よりも大きな振幅を有するモードの解のみを求めることによって、処理の量を大幅に削減することができる。

【0057】

モードの所与のサブセット（例えば、所与のサブ帯域のモード）について、各モードの複素振幅を推定することができる。この推定は、モードの複素振幅の行列であるａの次の最小化関数：

【数5】

等の最小二乗法を使用して行うことができる。ここで、ｘはサンプリングされたモードのベクトルであり、Ｅは複素シヌソイドである。この関数は、それぞれＸ及びＹとラベル付けされるｘ及びＥのＤＦＴ：

【数6】

を行うことによって周波数領域において解くことができる。Ｙの各列は、その場合に、等比級数：

【数7】

を使用して解析的に計算することができる。ここで、ｚはＮ個のモードのうちのｍ番目のモードのｎ番目のサンプルであり、ｌはベクトルｘ内に収集されるサンプリングされたモードのうちのｌ番目のモードである。

【0058】

或いは、振幅及び位相の推定のプロセスは、スペクトルフィルタを使用した分割統治法（divide and conquer approach）に再度用いることにより行うこともできる。この手法では、最小化関数：

【数8】

を使用して振幅を推定することができる。ここで、Ｘ及びＹはそれぞれｘ及びＥのＤＦＴであり、Ｈ_ｋは、複数のサブ帯域のうちのｋ番目のサブ帯域に関連付けられたｋ番目のスペクトルフィルタである。Ｈ_ｋ内に含まれる周波数のみを最小化する必要があるように、フィルタＨ_ｋとの重複が最小であるモードは、Ｙから列を除去することによって事実上無視することができる。

【0059】

モードのサブセットに含まれる各モードｍの帯域幅ｂ_ｍも推定することができる。これは、サブ帯域のそれぞれについて行うことができ、これは、次の式：

【数9】

を使用して行うことができる。ここで、ｄ_ｍは減衰係数であり、ＮはモードのＤＦＴ長である。

【0060】

上記式は、サブ帯域のスペクトルフィルタの通過帯域内に含まれるモードにのみ適用することができる。例えば、ｋ番目のサブ帯域に関連付けられたｋ番目のスペクトルフィルタについて、振幅及び位相は、範囲

【数10】

がフィルタの通過帯域と交差するモードについてのみ推定することができる。これによって、関数を簡単化することができる。

【0061】

加えて、各モードの振幅及び位相の推定は、サブ帯域ごとに独立して行われるので、各サブ帯域の処理は、並列に行うことができる。したがって、並列処理能力を有する複数のコアを有するコンピュータアーキテクチャの場合に、モードパラメータ推定は、より一層高速化することができる。

【0062】

推定されたパラメータは、更なる計算及びその後の適用のためにシステムのメモリに記憶することができる。

【0063】

図２を続けて、ブロック２５０において、複数のサブ帯域のモードを統一されたセットに集約又は別の方法で再結合することができる。ブロック２６０において、モードの統一されたセットをトランケートすることができる。トランケートの結果は、モードのサブセットとすることができる。

【0064】

例えば、このセットに含まれるモードのそれぞれについて、モードの信号対マスク比（ＳＭＲ：signal to mask ratio）が所定のマスキング曲線に基づいて求められ、このセットに含まれるモードの１つ以上が、求められたＳＭＲに基づいてトランケートされる。

【0065】

モードの統一されたセットをトランケートする一例示のサブルーチン５００が、図５のフロー図に示されている。

【0066】

ブロック５１０において、マスキング曲線を定義することができる。いくつかの例では、マスキング曲線は、あらかじめ決定しておくことができる。マスキング曲線を使用して、モードの相対振幅を比較することができるが、専ら互いに対してではなく、曲線に対して比較することができる。マスキング曲線は、オーディオ信号を聴くことができる者の心理音響学を考慮するように設計された心理音響モデル（psychoacoustic model）とすることができる。１つの例示の心理音響モデルは、ＩＳＯ/ＩＥＣ ＭＰＥＧ１規格からの心理音響モデル１（Psychoacoustic Model 1）である。

【0067】

いくつかの例では、マスキング曲線は、トーンマスカ（tonal masker）及びノイズマスカ（noise masker）を伴うことができる。心理音響モデル１を含むいくつかの場合には、信号の各臨界帯域における非トーンマスカの寄与を合計することによって単一のノイズマスカを作成することができる。或いは、この合計は、マスキング曲線をより現実的にモデル化するために見つけられた平均に置き換えることができる。

【0068】

ブロック５２０において、統一されたセット内のモードごとに、信号対マスク比（ＳＭＲ）を各所与のモードの周波数に基づいて求めることができる。ＳＭＲ値は、システムのメモリに記憶することができる。

【0069】

ブロック５３０において、モードは、各モードのＳＭＲに従ってソートすることができる。次に、ブロック５４０において、モードの総数を示す入力を受信することができ、ブロック５５０において、モードの統一されたセットを、最も高いＳＭＲを有するモードを有するモードのサブセットにトランケートすることができる。このサブセットに含まれるモードの数は、入力された総数と等しいものとすることができる。入力された総数は、ＩＲに含まれる振動モードの総数以下の数とすることができる。その結果は、心理音響の観点から、ＩＲに対して最小の効果を有するモードを除外するとともにＩＲに対して最大の効果を有するモードを含むモードのサブセットである。これは、このモードのサブセットに基づくモード残響パラメータの操作が、完全なＩＲの特定されたモードの完全なセットに基づくパラメータの操作と異ならないものとして（又は相違が無視できるものとして）聞き手によって知覚され得ることを意味する。

【0070】

モードをトランケートする他の方法を、図５のサブルーチン５００の代わりに又はこのサブルーチンとともに使用することができる。例えば、相対的に低い振幅（例えば、最小二乗法を使用して推定される）を有するモードは、直ちに廃棄することができる。更なる例として、減衰不足モード（underdamped mode）（応答の包絡線がそれ自体増大している）は、不安定であり、廃棄することができる。加えて、又は代わりに、モードの総数を圧縮するために、Ｋ平均アルゴリズムを使用して、モードをクラスタに編成してグループ化することができる。

【0071】

いくつかの場合には、ＥＳＰＲＩＴアルゴリズムは、６０００モードと１２０００モードとの間に含まれる所与の音響空間のＩＲを推定することができる。ユーザがトランケートしたいと望み得るモードの数６０００～１２０００は、コンピュータごとに処理能力に応じて、又はユーザごとに許容可能な時間制約若しくは目標のオーディオ品質に応じて変化し得る。図５のサブルーチン５００は、これらの因子（例えば、ＩＲパラメータを操作するのに必要とされる時間、操作される残響効果の品質及び精度）を制御するスケーラビリティ及びフレキシビリティを提供する。例えば、モードの総数を２０００～３０００、又は他の場合には３０００～５０００に制限することが望ましい場合がある。２０００と５０００との間の数は、その後、ブロック４４０において入力することができ、ＥＳＰＲＩＴが推定したモードは、その後の処理ステップのためにそれに応じてトランケートすることができる。

【0072】

図２に戻って、ブロック２７０において、ＩＲは、モードのサブセットのみに基づくパラメータを含むように簡略化することができる。その後、簡略化されたＩＲを使用して、オーディオ信号が、簡略化されたＩＲのインパルス応答を有する音響空間内で再生されるかのように響くように、オーディオ信号の反響効果を操作することができる。本明細書において説明される技法に起因して、音響空間の元のＩＲと簡略化されたＩＲとの間の相違は、聞き手に無視できるもの又は知覚できないものとすることができる。上述したように、聞き手が相違を知覚する能力は、ＩＲに含まれる様々な振動モードの振幅、心理音響モデル等を含むいくつかの因子に基づくことができる。

【0073】

より一般的には、本開示は、ユーザがオーディオ記録又はオーディオ記録の一部分の反響効果をより効果的且つ効率的に操作することを可能にすることができる。例えば、ユーザは、音響効果をオーディオ記録の一部分に加えて、その記録が大広間又は小さな部屋等の対象の音響空間において再生されたかのように響かせたい場合がある。動作中、１つ以上のプロセッサは、対象の音響空間のインパルス応答を受信するか又はそうでない場合には導出し、インパルス応答を周波数領域に変換し、周波数プロットをサブ帯域に分割し、その後、空間の最も重要なモード（例えば、上述したモードのサブセット）を選択するために、サブ帯域のそれぞれを最初は個別に解析し、その後、集約したものとして解析する。インパルス応答は、次に、空間のあまり重要でないモードである残りの部分を廃棄することによって簡略化することができる。１つ以上のプロセッサは、次に、空間の簡略化されたインパルス応答を使用してオーディオ信号を操作することが可能である。結果は、変更されたオーディオ記録である。

【0074】

この点に関して、反響は、振動モードの簡略化されたセットを使用して変更することができるオーディオ記録の特性の１つの例にすぎないが、モード変更は、反響を操作するのに特に有用である。これは、部分的には、知覚的に重要なパラメータ（部屋のサイズ、減衰時間）へのモードのマッピングが比較的簡単であるからであり、モードフィルタバンクのパラメータをオーディオレートで安定して調整することができるからである。オーディオ信号又は記録の操作の他の手法も、所与の信号の他の特性を変更するのにより効果的であり得る。

【0075】

上述したルーチンは、指数関数的減衰シヌソイド（ＥＤＳ）を合計したものを使用してＩＲを表すことができるという仮定の下に動作する。このように、選択されたモードは、事実上、ＩＲのＥＤＳパラメータを推定したものであり、選択されたモードの制御は、ＩＲの個々のＥＤＳの制御を個々に近似する。これは、ＩＲに対する多種多様なオーディオ効果を達成することができる。これらのオーディオ効果には、モーフィング（morphing）、空間化（spatialization）、ルームサイズスケーリング、等化（equalization）等が含まれるが、これらに限定されるものではない。

【0076】

加えて、上述したルーチンは、選ばれた音響空間のインパルス応答の処理を一般的に説明している。しかしながら、当業者であれば、オーディオ信号が選択された空間のインパルス応答でない場合であっても、同様のモード選択概念及びアルゴリズムをオーディオ信号等の他のデジタル入力に適用することができることを理解するであろう。例えば、オーディオ信号は、それ自体、オーディオ信号が記録される音響空間のインパルス応答をそこに含んでいる場合があり、そのインパルス応答は、本明細書における技法を使用して特定及び選択することができる記録空間のいくつかの振動モードを含む場合がある。更なる例として、オーディオ記録は、ＥＳＰＲＩＴアルゴリズムの適用が、振動モードを個別に変更することを可能にすることができるように、いくつかの振動モードを含むドラム記録とすることができる。このように、本出願は、任意のモード変更可能なオーディオ記録の改善された分解能を達成することができる。

【0077】

上記例は、ＥＳＰＲＩＴアルゴリズムを使用する状況において説明されている。しかしながら、他のアルゴリズムをパラメータ近似に使用することができる。より一般的には、ＥＳＰＲＩＴ以外のパラメトリック推定アルゴリズムを使用して、信号を個別の成分（例えば、モード、減衰シヌソイド等）に分解し、その後、各個別の成分のパラメータを推定することができる。

【0078】

本発明は特定の実施形態を参照しながら本明細書において説明されてきたが、これらの実施形態は本発明の原理及び応用形態を例示するにすぎないことは理解されたい。それゆえ、添付の特許請求の範囲によって規定されるような本発明の趣旨及び範囲から逸脱することなく、例示的な実施形態に数多くの変更を加えることができること、及び他の構成を考案することができることは理解されたい。
なお、出願当初の特許請求の範囲の記載は以下の通りである。
請求項１：
音響空間のインパルス応答を受信するステップであって、該インパルス応答は該音響空間の複数の振動モードを含むものである受信するステップと、
前記インパルス応答を複数のサブ帯域に分割するステップであって、前記インパルス応答の各サブ帯域は、前記複数のモードの一部分を含むものである分割するステップと、
それぞれのサブ帯域ごとに、パラメトリック推定アルゴリズムを使用して、該サブ帯域に含まれる前記モードの一部分のそれぞれのパラメータを求めるステップと、
前記複数のサブ帯域の前記それぞれのモードを一つのセットに集約するステップと、
前記集約されたモードのセットをモードのサブセットにトランケートするステップと
を含む、オーディオ信号を操作するモード残響効果を生成する方法。
請求項２：
前記インパルス応答は、複数の不均一のサブ帯域に分割される、請求項１に記載の方法。
請求項３：
前記インパルス応答を複数のサブ帯域に分割するステップは、前記インパルス応答をフィルタバンクに通すことを含む、請求項１に記載の方法。
請求項４：
それぞれのサブ帯域信号ごとに、該サブ帯域信号の前記モードの一部分に含まれるモードの数を推定するステップを更に含み、
前記フィルタバンクは、１つ以上の複素フィルタを含み、各サブ帯域について、通過帯域幅と、該通過帯域幅よりも狭い区画幅とのそれぞれを有し、
前記モードの数は前記通過帯域幅内で推定され、
前記サブ帯域信号に含まれる前記それぞれのモードのパラメータを求めるステップは前記区画幅内の前記モードについてのみ行われる、請求項３に記載の方法。
請求項５：
それぞれのサブ帯域ごとに、該サブ帯域の前記モードの一部分に含まれるモードの数を推定するステップを更に含む、請求項１に記載の方法。
請求項６：
各サブ帯域について、該サブ帯域に適用される前記パラメトリック推定アルゴリズムのモデルの次数は、該サブ帯域の前記モードの一部分に含まれる前記推定されたモードの数に基づいている、請求項５に記載の方法。
請求項７：
前記サブ帯域の前記モードの一部分に含まれるモードの数を推定するステップは、
前記サブ帯域のピーク選択閾値を求めるステップと、
前記ピーク選択閾値よりも大きな前記サブ帯域内で検出されるピークの数を求めるステップと
を含み、
前記推定されるモードの数は前記求められたピークの数に基づいている、請求項５に記載の方法。
請求項８：
前記サブ帯域は、前記インパルス応答の離散フーリエ変換（ＤＦＴ）から導出され、前記サブ帯域のピーク選択閾値を求めるステップは、
前記サブ帯域の最大ピーク振幅を検出するステップと、
前記サブ帯域の最小ピーク振幅を検出するステップと
を含み、
前記ピーク選択閾値は前記最大ピーク振幅及び前記最小ピーク振幅に少なくとも部分に基づいて求められる、請求項７に記載の方法。
請求項９：
前記ピーク選択閾値は、ｔ ＝ Ｍ _ｍａｘ － ａ（Ｍ _ｍａｘ － Ｍ _ｍｉｎ ）に基づいて求められ、Ｍ _ｍａｘ は前記最大ピーク振幅であり、Ｍ _ｍｉｎ は前記最小ピーク振幅であり、ａは０と１との間の所定の値である、請求項８に記載の方法。
請求項１０：
それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、前記パラメトリック推定アルゴリズムが適用される各サブ帯域について、該サブ帯域に含まれる前記モードの一部分の周波数、減衰時間、初期振幅又は初期位相のうちの１つ以上を求めることを含む、請求項１に記載の方法。
請求項１１：
それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、該サブ帯域に含まれる各モードの複素振幅を推定することを更に含む、請求項１０に記載の方法。
請求項１２：
前記サブ帯域は、離散フーリエ変換（ＤＦＴ）から導出され、前記サブ帯域信号に含まれる各モードについて、前記複素振幅を推定することは、前記サブ帯域信号の前記推定された複素振幅のそれぞれの近似誤差を最小化することを含む、請求項１１に記載の方法。
請求項１３：
前記近似誤差は、対応するスペクトルフィルタの通過帯域内に含まれる前記サブ帯域信号のモードについてのみ最小化され、異なるスペクトルフィルタが、前記サブ帯域信号のそれぞれに対応し、前記異なるスペクトルフィルタは、前記可聴スペクトルをカバーし、重複しないものである、請求項１２に記載の方法。
請求項１４：
前記パラメトリック推定アルゴリズムはＥＳＰＲＩＴアルゴリズムである、請求項１に記載の方法。
請求項１５：
それぞれのサブ帯域ごとに、前記モードの一部分のそれぞれのパラメータを求めるステップは、該サブ帯域のピーク選択閾値を求めるステップを含み、前記パラメータは、前記モードの一部分に含まれ且つ前記ピーク選択閾値よりも大きな振幅を有する前記モードについて求められる、請求項１に記載の方法。
請求項１６：
前記セットをモードのサブセットにトランケートするステップは、前記セットに含まれる前記モードのそれぞれについて、所定のマスキング曲線に基づいて前記モードの信号対マスク比（ＳＭＲ）を求めるステップを含み、前記セットに含まれる前記モードの１つ以上は、前記求められたＳＭＲに基づいてトランケートされる、請求項１に記載の方法。
請求項１７：
前記セットをモードのサブセットにトランケートするステップは、
前記セットに含まれるモードの数以下であるモードの総数を示す入力を受信することと、
前記セットを、前記モードの総数に等しい数のモードを有するモードのサブセットにトランケートすることと
を更に含む、請求項１６に記載の方法。
請求項１８：
前記セットをモードのサブセットにトランケートするステップは、各モードの前記ＳＭＲに従って前記セットに含まれる前記モードをソートすることを更に含み、前記サブセットに含まれる各モードは、前記サブセットから除外される各モードの前記ＳＭＲよりも大きなＳＭＲを有するものである、請求項１７に記載の方法。
請求項１９：
前記所定のマスキング曲線は心理音響モデルに基づいている、請求項１６に記載の方法。
請求項２０：
インパルス応答を記憶するメモリと、
１つ以上のプロセッサであって、音響空間の複数の振動モードを含むインパルス応答を受信することと、前記インパルス応答を複数のサブ帯域に分割することであって、前記インパルス応答の各サブ帯域は前記複数のモードの一部分を含むものである分割することと、それぞれのサブ帯域ごとに、該サブ帯域の前記モードの一部分に含まれるモードの数を推定することと、それぞれのサブ帯域ごとに、パラメトリック推定アルゴリズムを使用して、該サブ帯域信号に含まれる前記モードの一部分のそれぞれのパラメータを求めることと、前記複数のサブ帯域の前記それぞれのモードを一つのセットに集約することと、前記集約されたモードのセットをモードのサブセットにトランケートすることとを行うように構成されている、１つ以上のプロセッサと
を備える、オーディオ信号を操作するモード残響効果を生成するシステム。

【図1】

【図2】

【図3】

【図4】

【図5】