知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-07-17
(45)【発行日】2025-07-28
(54)【発明の名称】反響利得正規化
(51)【国際特許分類】
H04S 7/00 20060101AFI20250718BHJP
【ＦＩ】
H04S7/00 300
【請求項の数】
19
【外国語出願】
(21)【出願番号】P 2024039810
(22)【出願日】2024-03-14
(62)【分割の表示】P 2020569075の分割
【原出願日】2019-06-14
(65)【公開番号】P2024069464
(43)【公開日】2024-05-21
【審査請求日】2024-03-14
(31)【優先権主張番号】62/685,235
(32)【優先日】2018-06-14
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】レミ サミュエル オードフレイ
(72)【発明者】
【氏名】ジャン－マルク ジョット
(72)【発明者】
【氏名】サミュエル チャールズ ディッカー
【審査官】堀 洋介
(56)【参考文献】
【文献】特表２０１３－５０８７６０（ＪＰ，Ａ）
【文献】特開平０４－１７４９００（ＪＰ，Ａ）
【文献】国際公開第２０１９／０７８０３４（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｓ １／００－ ７／００
Ｇ１０Ｋ １５／００－１５／１２
(57)【特許請求の範囲】
【請求項1】
方法であって、前記方法は、入力信号を受信することであって、前記入力信号は、第１の部分と、第２の部分とを含む、ことと、
反響処理システムを使用して、
反響初期利得（ＲＩＧ）値を前記入力信号の第１の部分に適用することと、
反響初期パワー（ＲＩＰ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＩＰ補正係数は、前記ＲＩＧ値が適用された後に、適用され、前記ＲＩＧ値の適用は、
反響利得（ＲＧ）値を前記入力信号の第１の部分に適用することと、
反響エネルギー（ＲＥ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＥ補正係数は、前記ＲＧ値が適用された後に、適用される、ことと
を含む、ことと、
前記入力信号の第１の部分内に反響効果を導入することであって、前記反響効果は、前記ＲＩＧ値および前記ＲＩＰ補正係数とは別個に適用される、ことと
を行うことと、
直接処理システムを使用して、前記入力信号の第２の部分を処理することと、
前記反響処理システムからの前記入力信号の第１の部分および前記直接処理システムからの前記入力信号の第２の部分を組み合わせることと、
前記入力信号の組み合わせられた第１および第２の部分を出力信号として出力することであって、前記出力信号は、オーディオ信号である、ことと
を含む、方法。
【請求項2】
前記ＲＩＰ補正係数を計算することであって、前記ＲＩＰ補正係数は、ＲＩＰ補正器によって、計算され、前記入力信号の第１の部分に適用される、ことをさらに含み、前記ＲＩＰ補正係数は、前記ＲＩＰ補正器から出力される信号が１．０に正規化されるように、計算される、請求項１に記載の方法。
【請求項3】
前記ＲＩＰ補正係数は、リバーブレータトポロジ、遅延ユニットの数および持続時間、接続利得、およびフィルタパラメータのうちの１つ以上のものに依存する、請求項１に記載の方法。
【請求項4】
前記ＲＩＰ補正係数は、反響インパルス応答のＲＭＳパワーに等しい、請求項１に記載の方法。
【請求項5】
前記入力信号の第１の部分内の前記反響効果の導入は、１つ以上の周波数をフィルタ処理して取り除くことを含む、請求項１に記載の方法。
【請求項6】
前記反響効果の導入は、前記入力信号の第１の部分の位相を変化させることを含む、請求項１に記載の方法。
【請求項7】
前記反響効果の導入は、リバーブレータトポロジを選択し、内部リバーブレータパラメータを設定することを含む、請求項１に記載の方法。
【請求項8】
前記ＲＩＧ値は、１．０に等しく、前記方法は、前記反響処理システムのＲＩＰが１．０に等しいように、前記ＲＩＰ補正係数を計算することをさらに含む、請求項１に記載の方法。
【請求項9】
反響時間を無限大に設定することと、リバーブレータインパルス応答を記録することと、
反響ＲＭＳ振幅を測定することと
によって、前記ＲＩＰ補正係数を計算することをさらに含み、
前記ＲＩＰ補正係数は、前記反響ＲＭＳ振幅の逆数に関連する、請求項１に記載の方法。
【請求項10】
反響時間を有限値に設定することと、リバーブレータインパルス応答を記録することと、
反響ＲＭＳ振幅消滅曲線を導出することと、
放出の時間におけるＲＭＳ振幅を決定することと
によって、前記ＲＩＰ補正係数を計算することをさらに含み、
前記ＲＩＰ補正係数は、反響ＲＭＳ振幅の逆数に関連する、請求項１に記載の方法。
【請求項11】
前記ＲＥ補正係数を計算することであって、前記ＲＥ補正係数は、ＲＥ補正器によって、計算され、前記入力信号の第１の部分に適用される、ことをさらに含み、前記ＲＥ補正係数は、前記ＲＥ補正器から出力される信号が１．０に正規化されるように、計算される、請求項１に記載の方法。
【請求項12】
前記ＲＩＧ値を計算することであって、前記ＲＩＧ値は、前記ＲＧ値を前記ＲＥ補正係数で乗算したものに等しい、ことをさらに含む、請求項１に記載の方法。
【請求項13】
前記反響効果は、前記ＲＩＰ補正係数が適用された後に、導入される、請求項１に記載の方法。
【請求項14】
システムであって、オーディオ信号をユーザに提供するように構成されるウェアラブル頭部デバイスと、
前記オーディオ信号をレンダリングするように構成される回路であって、前記回路は、
反響処理システムであって、
反響初期利得（ＲＩＧ）値を入力信号の第１の部分に適用するように構成されるＲＩＧであって、前記ＲＩＧは、反響利得（ＲＧ）値を前記入力信号の第１の部分に適用するように構成されるＲＧを含み、前記ＲＩＧは、反響エネルギー（ＲＥ）補正係数を前記ＲＧからの信号に適用するように構成されるＲＥ補正器をさらに含む、ＲＩＧと、
反響初期パワー（ＲＩＰ）補正係数を前記ＲＩＧからの信号に適用するように構成されるＲＩＰ補正器と
を含む、反響処理システムと、
前記ＲＩＰ補正器からの信号内に反響効果を導入するように構成されるリバーブレータであって、前記反響効果は、前記ＲＩＧ値および前記ＲＩＰ補正係数とは別個に適用される、リバーブレータと、
前記入力信号の第２の部分を処理するように構成される直接処理システムと、
コンバイナであって、
前記反響処理システムからの前記入力信号の第１の部分および前記直接処理システムからの前記入力信号の第２の部分を組み合わせることと、
前記入力信号の組み合わせられた第１および第２の部分を出力信号として出力することであって、前記出力信号は、前記オーディオ信号である、ことと
を行うように構成される、コンバイナと
を含む、回路と
を備える、システム。
【請求項15】
前記リバーブレータは、前記ＲＩＰ補正器からの前記信号内の１つ以上の周波数をフィルタ処理して取り除くように構成される複数のコムフィルタを含む、請求項１４に記載のシステム。
【請求項16】
前記リバーブレータは、前記複数のコムフィルタからの信号の位相を変化させるように構成される複数のオールパスフィルタを含む、請求項１５に記載のシステム。
【請求項17】
前記ＲＩＧは、反響利得（ＲＧ）値を前記入力信号の第１の部分に適用するように構成されるＲＧを含む、請求項１４に記載のシステム。
【請求項18】
前記ＲＩＧは、反響エネルギー（ＲＥ）補正係数を前記ＲＧからの信号に適用するように構成されるＲＥ補正器をさらに含む、請求項１７に記載のシステム。
【請求項19】
方法であって、前記方法は、入力信号を受信することであって、前記入力信号は、第１の部分と、第２の部分とを含む、ことと、
反響処理システムを使用して、
反響初期利得（ＲＩＧ）値を前記入力信号の第１の部分に適用することと、
反響初期パワー（ＲＩＰ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＩＰ補正係数は、前記ＲＩＧ値が適用された後に適用され、前記ＲＩＧ値の適用は、
反響利得（ＲＧ）値を前記入力信号の第１の部分に適用することと、
反響エネルギー（ＲＥ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＥ補正係数は、前記ＲＧ値が適用された後に適用される、ことと
を含む、ことと、
前記入力信号の第１の部分内に反響効果を導入することと
を行うことと、
直接処理システムを使用して、前記入力信号の第２の部分を処理することと、
前記反響処理システムからの前記入力信号の第１の部分および前記直接処理システムからの前記入力信号の第２の部分を組み合わせることと、
前記入力信号の組み合わせられた第１および第２の部分を出力信号として出力することであって、前記出力信号は、オーディオ信号である、ことと
を含む、方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、参照することによってその全体として本明細書に組み込まれる、２０１８年６月１４日に出願された、米国仮特許出願第６２／６８５，２３５号の利益を主張する。
本願は、参照することによってその全体として本明細書に組み込まれる、２０１８年６月１４日に出願された、米国仮特許出願第６２／６８５，２３５号の利益を主張する。
【0002】
本開示は、一般に、反響アルゴリズムおよび開示される反響アルゴリズムを使用するためのリバーブレータに関する。より具体的には、本開示は、反響初期パワー（ＲＩＰ）補正係数を計算し、リバーブレータと直列にこれを適用することに関する。本開示はまた、反響エネルギー補正（ＲＥＣ）係数を計算し、リバーブレータと直列にこれを適用することに関する。
【背景技術】
【0003】
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【0004】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。そのようなシステムは、仮想視覚およびオーディオキューを現実の視界および音と組み合わせることによって、一意に強調された没入感および臨場感を提供することができる。故に、音が、ユーザの実環境内で自然に、かつユーザの予期する音と一貫して発生しているように現れるように、ＸＲシステムのユーザにデジタル音を提示することが、望ましくあり得る。概して言えば、ユーザは、仮想音が、それらが聞こえる実環境の音響性質を帯びるであろうと予期する。例えば、大きいコンサートホール内のＸＲシステムのユーザは、ＸＲシステムの仮想音が、大きい洞窟に似た音性品質を有することを予期し、逆に、小さいアパートメント内のユーザは、音が、より減衰され、近接し、即時であることを予期するであろう。
【0005】
デジタルまたは人工リバーブレータが、室内の拡散音響反響の知覚される効果をシミュレートするために、オーディオおよび音楽信号処理において使用され得る。例えば、サウンドデザイナのための直感的制御のために、デジタルリバーブレータ毎に反響音量および反響消滅の正確かつ独立した制御を提供するシステムが、所望され得る。
【発明の概要】
【課題を解決するための手段】
【0006】
反響性質の正確かつ独立した制御を提供するためのシステムおよび方法が、開示される。いくつかの実施形態では、システムは、反響処理システムと、直接処理システムと、コンバイナとを含んでもよい。反響処理システムは、反響初期パワー（ＲＩＰ）制御システムと、リバーブレータとを含むことができる。ＲＩＰ制御システムは、反響初期利得（ＲＩＧ）と、ＲＩＰ補正器とを含むことができる。ＲＩＧは、ＲＩＧ値を入力信号に適用するように構成されることができ、ＲＩＰ補正器は、ＲＩＰ補正係数をＲＩＧからの信号に適用するように構成されることができる。リバーブレータは、反響効果をＲＩＰ制御システムからの信号に適用するように構成されることができる。
【0007】
いくつかの実施形態では、リバーブレータは、本システム内の１つ以上の周波数をフィルタ処理して取り除くために、１つ以上のコムフィルタを含むことができる。１つ以上の周波数は、例えば、環境効果を模倣するためにフィルタ処理して取り除かれることができる。いくつかの実施形態では、リバーブレータは、１つ以上のオールパスフィルタを含むことができる。各オールパスフィルタは、コムフィルタから信号を受信することができ、その大きさを変化させることなく、その入力信号を通過させるように構成されることができるが、信号の位相を変化させることができる。
【0008】
いくつかの実施形態では、ＲＩＧは、ＲＧ値を入力信号に適用するように構成される、反響利得（ＲＧ）を含むことができる。いくつかの実施形態では、ＲＩＧは、ＲＥ補正係数をＲＧからの信号に適用するように構成される、ＲＥＣを含むことができる。
本発明は、例えば、以下を提供する。
（項目１）
オーディオ信号をレンダリングするための方法であって、前記方法は、
入力信号を受信することであって、前記入力信号は、第１の部分と、第２の部分とを含む、ことと、
反響処理システムを使用することにより
反響初期利得（ＲＩＧ）値を前記入力信号の第１の部分に適用することと、
反響初期パワー（ＲＩＰ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＩＰ補正係数は、前記ＲＩＧ値が、適用された後に適用される、ことと、
前記入力信号の第１の部分内に反響効果を導入することと
を行うことと、
直接処理システムを使用することにより、
遅延を前記入力信号の第２の部分の中に導入することと、
利得を前記入力信号の第２の部分に適用することと
を行うことと、
前記反響処理システムからの前記入力信号の第１の部分および前記直接処理システムからの前記入力信号の第２の部分を組み合わせることと、
前記入力信号の組み合わせられた第１および第２の部分を出力信号として出力することであって、前記出力信号は、前記オーディオ信号である、ことと
を含む、方法。
（項目２）
前記ＲＩＰ補正係数を計算することであって、前記ＲＩＰ補正係数は、ＲＩＰ補正器によって、計算され、前記入力信号の第１の部分に適用される、こと
をさらに含み、前記ＲＩＰ補正係数は、前記ＲＩＰ補正器から出力される信号が、１．０に正規化されるように計算される、項目１に記載の方法。
（項目３）
前記ＲＩＰ補正係数は、リバーブレータトポロジ、遅延ユニットの数および持続時間、接続利得、およびフィルタパラメータのうちの１つ以上のものに依存する、項目１に記載の方法。
（項目４）
前記ＲＩＰ補正係数は、反響インパルス応答のＲＭＳパワーに等しい、項目１に記載の方法。
（項目５）
前記入力信号の第１の部分内の前記反響効果の導入は、１つ以上の周波数をフィルタ処理して取り除くことを含む、項目１に記載の方法。
（項目６）
前記反響効果の導入は、前記入力信号の第１の部分の位相を変化させることを含む、項目１に記載の方法。
（項目７）
前記反響効果の導入は、リバーブレータトポロジを選択し、内部リバーブレータパラメータを設定することを含む、項目１に記載の方法。
（項目８）
前記ＲＩＧ値は、１．０に等しく、前記方法はさらに、前記反響処理システムのＲＩＰが、１．０に等しいように、前記ＲＩＰ補正係数を計算することを含む、項目１に記載の方法。
（項目９）
反響時間を無限大に設定することと、
リバーブレータインパルス応答を記録することと、
反響ＲＭＳ振幅を測定することと
によって、前記ＲＩＰ補正係数を計算すること
をさらに含み、
前記ＲＩＰ補正係数は、前記反響ＲＭＳ振幅の逆数に関連する、項目１に記載の方法。
（項目１０）
反響時間を有限値に設定することと、
リバーブレータインパルス応答を記録することと、
反響ＲＭＳ振幅消滅曲線を導出することと、
放出の時間におけるＲＭＳ振幅を決定することと
によって、前記ＲＩＰ補正係数を計算すること
をさらに含み、
前記ＲＩＰ補正係数は、前記反響ＲＭＳ振幅の逆数に関連する、項目１に記載の方法。
（項目１１）
前記ＲＩＧ値の適用は、
反響利得（ＲＧ）値を前記入力信号の第１の部分に適用することと、
反響エネルギー（ＲＥ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＥ補正係数は、前記ＲＧ値が、適用された後に適用される、ことと
を含む、項目１に記載の方法。
（項目１２）
前記ＲＥ補正係数を計算することであって、前記ＲＥ補正係数は、ＲＥ補正器によって、計算され、前記入力信号の第１の部分に適用される、こと
をさらに含み、前記ＲＥ補正器は、前記ＲＥ補正から出力される信号が、１．０に正規化されるように計算される、項目１１に記載の方法。
（項目１３）
前記ＲＩＧ値を計算することであって、前記ＲＩＧ値は、前記ＲＧ値を前記ＲＥ補正係数で乗算したものに等しい、こと
をさらに含む、項目１１に記載の方法。
（項目１４）
前記反響効果は、前記ＲＩＰ補正係数が、適用された後に導入される、項目１に記載の方法。
（項目１５）
システムであって、
オーディオ信号をユーザに提供するように構成されるウェアラブル頭部デバイスと、
前記オーディオ信号をレンダリングするように構成される回路であって、前記回路は、
反響処理システムであって、
ＲＩＧ値を入力信号の第１の部分に適用するように構成される反響初期利得（ＲＩＧ）と、
ＲＩＰ補正係数を前記ＲＩＧからの信号に適用するように構成される反響初期パワー（ＲＩＰ）補正器と
を含む、反響処理システムと、
前記ＲＩＰ補正器からの信号内に反響効果を導入するように構成されるリバーブレータと、
直接処理システムであって、
前記入力信号の第２の部分内に遅延を導入するように構成される伝搬遅延と、
利得を前記入力信号の第２の部分に適用するように構成される直接利得と
を含む、直接処理システムと、
コンバイナであって、
前記反響処理システムからの前記入力信号の第１の部分および前記直接処理システムからの前記入力信号の第２の部分を組み合わせることと、
前記入力信号の組み合わせられた第１および第２の部分を出力信号として出力することであって、前記出力信号は、前記オーディオ信号である、ことと
を行うように構成される、コンバイナと
を含む、回路と
を備える、システム。
（項目１６）
前記リバーブレータは、前記ＲＩＰ補正器からの前記信号内の１つ以上の周波数をフィルタ処理して取り除くように構成される複数のコムフィルタを含む、項目１５に記載のシステム。
（項目１７）
前記リバーブレータは、前記複数のコムフィルタからの信号の位相を変化させるように構成される複数のオールパスフィルタを含む、項目１６に記載のシステム。
（項目１８）
前記ＲＩＧは、ＲＧ値を前記入力信号の第１の部分に適用するように構成される反響利得（ＲＧ）を含む、項目１５に記載のシステム。
（項目１９）
前記ＲＩＧはさらに、ＲＥ補正係数を前記ＲＧからの信号に適用するように構成される反響エネルギー（ＲＥ）補正器を含む、項目１８に記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
オーディオ信号をレンダリングするための方法であって、前記方法は、
入力信号を受信することであって、前記入力信号は、第１の部分と、第２の部分とを含む、ことと、
反響処理システムを使用することにより
反響初期利得（ＲＩＧ）値を前記入力信号の第１の部分に適用することと、
反響初期パワー（ＲＩＰ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＩＰ補正係数は、前記ＲＩＧ値が、適用された後に適用される、ことと、
前記入力信号の第１の部分内に反響効果を導入することと
を行うことと、
直接処理システムを使用することにより、
遅延を前記入力信号の第２の部分の中に導入することと、
利得を前記入力信号の第２の部分に適用することと
を行うことと、
前記反響処理システムからの前記入力信号の第１の部分および前記直接処理システムからの前記入力信号の第２の部分を組み合わせることと、
前記入力信号の組み合わせられた第１および第２の部分を出力信号として出力することであって、前記出力信号は、前記オーディオ信号である、ことと
を含む、方法。
（項目２）
前記ＲＩＰ補正係数を計算することであって、前記ＲＩＰ補正係数は、ＲＩＰ補正器によって、計算され、前記入力信号の第１の部分に適用される、こと
をさらに含み、前記ＲＩＰ補正係数は、前記ＲＩＰ補正器から出力される信号が、１．０に正規化されるように計算される、項目１に記載の方法。
（項目３）
前記ＲＩＰ補正係数は、リバーブレータトポロジ、遅延ユニットの数および持続時間、接続利得、およびフィルタパラメータのうちの１つ以上のものに依存する、項目１に記載の方法。
（項目４）
前記ＲＩＰ補正係数は、反響インパルス応答のＲＭＳパワーに等しい、項目１に記載の方法。
（項目５）
前記入力信号の第１の部分内の前記反響効果の導入は、１つ以上の周波数をフィルタ処理して取り除くことを含む、項目１に記載の方法。
（項目６）
前記反響効果の導入は、前記入力信号の第１の部分の位相を変化させることを含む、項目１に記載の方法。
（項目７）
前記反響効果の導入は、リバーブレータトポロジを選択し、内部リバーブレータパラメータを設定することを含む、項目１に記載の方法。
（項目８）
前記ＲＩＧ値は、１．０に等しく、前記方法はさらに、前記反響処理システムのＲＩＰが、１．０に等しいように、前記ＲＩＰ補正係数を計算することを含む、項目１に記載の方法。
（項目９）
反響時間を無限大に設定することと、
リバーブレータインパルス応答を記録することと、
反響ＲＭＳ振幅を測定することと
によって、前記ＲＩＰ補正係数を計算すること
をさらに含み、
前記ＲＩＰ補正係数は、前記反響ＲＭＳ振幅の逆数に関連する、項目１に記載の方法。
（項目１０）
反響時間を有限値に設定することと、
リバーブレータインパルス応答を記録することと、
反響ＲＭＳ振幅消滅曲線を導出することと、
放出の時間におけるＲＭＳ振幅を決定することと
によって、前記ＲＩＰ補正係数を計算すること
をさらに含み、
前記ＲＩＰ補正係数は、前記反響ＲＭＳ振幅の逆数に関連する、項目１に記載の方法。
（項目１１）
前記ＲＩＧ値の適用は、
反響利得（ＲＧ）値を前記入力信号の第１の部分に適用することと、
反響エネルギー（ＲＥ）補正係数を前記入力信号の第１の部分に適用することであって、前記ＲＥ補正係数は、前記ＲＧ値が、適用された後に適用される、ことと
を含む、項目１に記載の方法。
（項目１２）
前記ＲＥ補正係数を計算することであって、前記ＲＥ補正係数は、ＲＥ補正器によって、計算され、前記入力信号の第１の部分に適用される、こと
をさらに含み、前記ＲＥ補正器は、前記ＲＥ補正から出力される信号が、１．０に正規化されるように計算される、項目１１に記載の方法。
（項目１３）
前記ＲＩＧ値を計算することであって、前記ＲＩＧ値は、前記ＲＧ値を前記ＲＥ補正係数で乗算したものに等しい、こと
をさらに含む、項目１１に記載の方法。
（項目１４）
前記反響効果は、前記ＲＩＰ補正係数が、適用された後に導入される、項目１に記載の方法。
（項目１５）
システムであって、
オーディオ信号をユーザに提供するように構成されるウェアラブル頭部デバイスと、
前記オーディオ信号をレンダリングするように構成される回路であって、前記回路は、
反響処理システムであって、
ＲＩＧ値を入力信号の第１の部分に適用するように構成される反響初期利得（ＲＩＧ）と、
ＲＩＰ補正係数を前記ＲＩＧからの信号に適用するように構成される反響初期パワー（ＲＩＰ）補正器と
を含む、反響処理システムと、
前記ＲＩＰ補正器からの信号内に反響効果を導入するように構成されるリバーブレータと、
直接処理システムであって、
前記入力信号の第２の部分内に遅延を導入するように構成される伝搬遅延と、
利得を前記入力信号の第２の部分に適用するように構成される直接利得と
を含む、直接処理システムと、
コンバイナであって、
前記反響処理システムからの前記入力信号の第１の部分および前記直接処理システムからの前記入力信号の第２の部分を組み合わせることと、
前記入力信号の組み合わせられた第１および第２の部分を出力信号として出力することであって、前記出力信号は、前記オーディオ信号である、ことと
を行うように構成される、コンバイナと
を含む、回路と
を備える、システム。
（項目１６）
前記リバーブレータは、前記ＲＩＰ補正器からの前記信号内の１つ以上の周波数をフィルタ処理して取り除くように構成される複数のコムフィルタを含む、項目１５に記載のシステム。
（項目１７）
前記リバーブレータは、前記複数のコムフィルタからの信号の位相を変化させるように構成される複数のオールパスフィルタを含む、項目１６に記載のシステム。
（項目１８）
前記ＲＩＧは、ＲＧ値を前記入力信号の第１の部分に適用するように構成される反響利得（ＲＧ）を含む、項目１５に記載のシステム。
（項目１９）
前記ＲＩＧはさらに、ＲＥ補正係数を前記ＲＧからの信号に適用するように構成される反響エネルギー（ＲＥ）補正器を含む、項目１８に記載のシステム。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【発明を実施するための形態】
【0033】
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面が、参照される。他の実施例も、使用され得、構造変更が、開示される実施例の範囲から逸脱することなく、行われ得ることを理解されたい。
【0034】
例示的ウェアラブルシステム
【0035】
図１は、ユーザの頭部上に装着されるように構成される、例示的ウェアラブル頭部デバイス１００を図示する。ウェアラブル頭部デバイス１００は、頭部デバイス（例えば、ウェアラブル頭部デバイス１００）、ハンドヘルドコントローラ（例えば、下記に説明されるハンドヘルドコントローラ２００）、および／または補助ユニット（例えば、下記に説明される補助ユニット３００）等の１つ以上のコンポーネントを備える、より広範なウェアラブルシステムの一部であってもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、仮想現実、拡張現実、または複合現実システムまたは用途のために使用されることができる。ウェアラブル頭部デバイス１００は、ディスプレイ１１０Ａおよび１１０Ｂ（左および右透過性ディスプレイと、直交瞳拡大（ＯＰＥ）格子セット１１２Ａ／１１２Ｂおよび射出瞳拡大（ＥＰＥ）格子セット１１４Ａ／１１４Ｂ等、ディスプレイからユーザの眼に光を結合するための関連付けられるコンポーネントとを備え得る）等の１つ以上のディスプレイと、スピーカ１２０Ａおよび１２０Ｂ（それぞれ、つるアーム１２２Ａおよび１２２Ｂ上に搭載され、ユーザの左および右耳に隣接して位置付けられ得る）等の左および右音響構造と、赤外線センサ、加速度計、ＧＰＳユニット、慣性測定ユニット（ＩＭＵ）（例えば、ＩＭＵ１２６）、音響センサ（例えば、マイクロホン１５０）等の１つ以上のセンサと、直交コイル電磁受信機（例えば、左つるアーム１２２Ａに搭載されるように示される受信機１２７）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ１３０Ａおよび１３０Ｂ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）（例えば、眼カメラ１２８および１２８Ｂ）とを備えることができる。しかしながら、ウェアラブル頭部デバイス１００は、本発明の範囲から逸脱することなく、任意の好適なディスプレイ技術およびセンサまたは他のコンポーネントの任意の好適な数、タイプ、または組み合わせを組み込むことができる。いくつかの実施例では、ウェアラブル頭部デバイス１００は、ユーザの音声によって発生されるオーディオ信号を検出するように構成される、１つ以上のマイクロホン１５０を組み込んでよく、そのようなマイクロホンは、ユーザの口に隣接してウェアラブル頭部デバイス内に位置付けられてもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、他のウェアラブルシステムを含む、他のデバイスおよびシステムと通信するために、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込んでもよい。ウェアラブル頭部デバイス１００はさらに、バッテリ、プロセッサ、メモリ、記憶ユニット、または種々の入力デバイス（例えば、ボタン、タッチパッド）等のコンポーネントを含んでもよい、または１つ以上のそのようなコンポーネントを備えるハンドヘルドコントローラ（例えば、ハンドヘルドコントローラ２００）または補助ユニット（例えば、補助ユニット３００）に結合されてもよい。いくつかの実施例では、センサは、ユーザの環境に対する頭部搭載型ユニットの座標のセットを出力するように構成されてもよく、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）プロシージャおよび／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、下記にさらに説明されるように、ハンドヘルドコントローラ２００および／または補助ユニット３００に結合されてもよい。
【0036】
図２は、例示的ウェアラブルシステムの例示的モバイルハンドヘルドコントローラコンポーネント２００を図示する。いくつかの実施例では、ハンドヘルドコントローラ２００は、ウェアラブルヘッドデバイス１００および／または下記に説明される補助ユニット３００と有線または無線通信してもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、ユーザによって保持されるべきハンドル部分２２０と、上面２１０に沿って配置される１つ以上のボタン２４０とを含む。いくつかの実施例では、ハンドヘルドコントローラ２００は、光学追跡標的として使用するために構成されてもよく、例えば、ウェアラブル頭部デバイス１００のセンサ（例えば、カメラまたは他の光学センサ）は、ハンドヘルドコントローラ２００の位置および／または配向を検出するように構成されることができ、これは、転じて、ハンドヘルドコントローラ２００を保持するユーザの手の位置および／または配向を示し得る。いくつかの実施例では、ハンドヘルドコントローラ２００は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、または上記に説明されるもの等の１つ以上の入力デバイスを含んでもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、１つ以上のセンサ（例えば、ウェアラブル頭部デバイス１００に関して上記に説明されるセンサまたは追跡コンポーネントのうちのいずれか）を含む。いくつかの実施例では、センサは、ウェアラブル頭部デバイス１００に対する、またはウェアラブルシステムの別のコンポーネントに対するハンドヘルドコントローラ２００の位置または配向を検出することができる。いくつかの実施例では、センサは、ハンドヘルドコントローラ２００のハンドル部分２２０内に位置付けられてもよい、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ２００は、例えば、ボタン２４０の押下状態、またはハンドヘルドコントローラ２００の位置、配向、および／または運動（例えば、ＩＭＵを介して）に対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、ウェアラブル頭部デバイス１００のプロセッサへの、補助ユニット３００への、またはウェアラブルシステムの別のコンポーネントへの入力として使用されてもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、音（例えば、ユーザの発話、環境音）を検出し、ある場合には、検出された音に対応する信号をプロセッサ（例えば、ウェアラブル頭部デバイス１００のプロセッサ）に提供するために、１つ以上のマイクロホンを含むことができる。
【0037】
図３は、例示的ウェアラブルシステムの例示的補助ユニット３００を図示する。いくつかの実施例では、補助ユニット３００は、ウェアラブル頭部デバイス１００および／またはハンドヘルドコントローラ２００と有線または無線通信してもよい。補助ユニット３００は、ウェアラブル頭部デバイス１００および／またはハンドヘルドコントローラ２００（ディスプレイ、センサ、音響構造、プロセッサ、マイクロホン、および／またはウェアラブル頭部デバイス１００またはハンドヘルドコントローラ２００の他のコンポーネントを含む）等のウェアラブルシステムの１つ以上のコンポーネントを動作させるためのエネルギーを提供するために、バッテリを含むことができる。いくつかの実施例では、補助ユニット３００は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、１つ以上の入力デバイス、および／または上記に説明されるもの等の１つ以上のセンサを含んでもよい。いくつかの実施例では、補助ユニット３００は、補助ユニットをユーザに取り付けるためのクリップ３１０（例えば、ユーザによって装着されるベルト）を含む。ウェアラブルシステムの１つ以上のコンポーネントを格納するために補助ユニット３００を使用する利点は、そのように行うことが、大きいまたは重いコンポーネントが、（例えば、ウェアラブル頭部デバイス１００内に格納される場合）ユーザの頭部に搭載される、または（例えば、ハンドヘルドコントローラ２００内に格納される場合）ユーザの手によって担持されるのではなく、大きく重い物体を支持するために比較的に良好に適しているユーザの腰部、胸部、または背部の上に担持されることを可能にし得ることである。これは、バッテリ等の比較的に重いまたは嵩張るコンポーネントに関して特に有利であり得る。
【0038】
図４は、上記に説明される、例示的ウェアラブル頭部デバイス１００と、ハンドヘルドコントローラ２００と、補助ユニット３００とを含み得る等、例示的ウェアラブルシステム４００に対応し得る、例示的機能ブロック図を示す。いくつかの実施例では、ウェアラブルシステム４００は、仮想現実、拡張現実、または複合現実用途のために使用され得る。図４に示されるように、ウェアラブルシステム４００は、ここでは「トーテム」と称される（および上記に説明されるハンドヘルドコントローラ２００に対応し得る）例示的ハンドヘルドコントローラ４００Ｂを含むことができ、ハンドヘルドコントローラ４００Ｂは、トーテム／ヘッドギヤ６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含むことができる。ウェアラブルシステム４００はまた、（上記に説明されるウェアラブルヘッドギヤデバイス１００に対応し得る）例示的ウェアラブル頭部デバイス４００Ａを含むことができ、ウェアラブル頭部デバイス４００Ａは、トーテム／ヘッドギヤ６ＤＯＦヘッドギヤサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦヘッドギヤサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、ベクトル、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ内に含まれる１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ２００のボタン２４０またはハンドヘルドコントローラ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ヘッドギヤ４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂは、それぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれの中で受信される３つの区別可能な信号の相対的大きさを測定することによって、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６ＤＯＦが、決定されてもよい。いくつかの実施例では、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【0039】
拡張現実または複合現実用途を伴ういくつかの実施例では、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間に、または環境座標空間に変換することが、望ましくあり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向において（例えば、ウェアラブル頭部デバイス４００Ａのディスプレイにおける同一の位置において）ではなく、仮想オブジェクトを実環境に対する予期される位置および配向において提示する（例えば、ウェアラブル頭部デバイス４００Ａの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）ために必要であり得る。これは、仮想オブジェクトが、実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが、偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を維持することができる。いくつかの実施例では、座標空間の間の補償変換が、慣性または環境座標系に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、（例えば、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリプロシージャを使用して）深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合されることができ、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と実座標空間との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ウェアラブル頭部デバイス４００ＡのＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関するよりタイムリーな情報を提供することができる。
【0040】
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0041】
いくつかの実施例では、１つ以上のプロセッサ４１６は、ヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、マイクロホン（図示せず）、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、それから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１６から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ４００Ｂを介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって発生された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が、実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0042】
図４に示されるもの等のいくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電する、および／またはパワーをウェアラブル頭部デバイス４００Ａおよび／またはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0043】
図４は、例示的ウェアラブルシステム４００の種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるものである。
【0044】
複合現実環境
【0045】
全ての人々のように、複合現実システムのユーザは、実環境、すなわち、ユーザによって知覚可能である、「実世界」の３次元部分およびその内容全ての中に存在している。例えば、ユーザは、その通常の人間感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して実環境を知覚し、実環境内でその自身の身体を移動させることによって実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができ、例えば、座標は、緯度、経度、および海面に対する高度、基準点からの３つの直交する次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する量を説明することができる。
【0046】
コンピューティングデバイスは、例えば、本デバイスと関連付けられるメモリ内で、仮想環境の表現を維持することができる。本明細書に使用されるように、仮想環境は、３次元空間のコンピュータ表現である。仮想環境は、任意のオブジェクト、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性の表現を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができ、すなわち、プロセッサは、第１の時間に、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、ある時間に第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力が、ある方向ベクトルにおいてオブジェクトに印加されるべきであると示す場合、プロセッサは、運動学の法則を適用し、基本的力学を使用してその時間におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境についての既知の任意の好適な情報および／または任意の好適な入力を使用し、ある時間における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を発生させるためのソフトウェア、入力および出力を取り扱うためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、経時的に仮想オブジェクトを移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0047】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境の任意または全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る仮想オブジェクト（無生物オブジェクト、人物、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能な場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能な場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、１つ以上のオーディオ信号としてユーザに提示され得るオーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトが、オブジェクトの場所座標から生じる音を発生させてもよい（例えば、仮想キャラクタが、発話する、または効果音を引き起こしてもよい）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある音楽的キューまたは周囲音と関連付けられてもよい。プロセッサが、「聴者」座標に対応するオーディオ信号、例えば、仮想環境内の音の複合物に対応し、聴者座標における聴者に聞こえるであろうオーディオ信号をシミュレートするために混合および処理されるオーディオ信号を決定し、１つ以上のスピーカを介してユーザにオーディオ信号を提示することができる。
【0048】
仮想環境は、コンピュータ構造としてのみ存在するため、ユーザは、その通常の感覚を使用して仮想環境を直接知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚出力デバイス等によって、ユーザに提示されるような仮想環境を間接的にのみ知覚することができる。同様に、ユーザは、仮想環境に直接触れる、それを操作する、または別様にそれと相互作用することができないが、入力デバイスまたはセンサを介して、仮想環境を更新するためにデバイスまたはセンサデータを使用し得るプロセッサに入力データを提供することができる。例えば、カメラセンサは、ユーザが仮想環境内のオブジェクトを移動させようとしていることを示す光学データを提供することができ、プロセッサは、そのデータを使用し、オブジェクトに仮想環境内でそれに応じて応答させることができる。
【0049】
反響アルゴリズムおよびリバーブレータ
【0050】
いくつかの実施形態では、デジタルリバーブレータが、フィードバックを伴う遅延ネットワークに基づいて設計されてもよい。そのような実施形態では、リバーブレータアルゴリズム設計ガイドラインが、正確なパラメトリック消滅時間制御のために、かつ消滅時間が、変動されるとき、反響音量を維持するために含まれてもよい／利用可能であってもよい。反響音量の相対的調節は、デジタルリバーブレータとカスケードする調節可能信号振幅利得を提供することによって実現されてもよい。本アプローチは、サウンドデザイナまたはレコーディングエンジニアが、所望の効果を達成するために、リバーブレータ出力信号を可聴的に監視しながら、独立して反響消滅時間および反響音量を調整することを可能にし得る。
【0051】
ビデオゲームまたはＶＲ／ＡＲ／ＭＲのための双方向オーディオエンジン等のプログラム的アプリケーションは、部屋／環境（例えば、仮想部屋／環境）内の聴者（例えば、仮想聴者）の周囲の種々の位置および距離における複数の移動する音源をシミュレートし得、相対的反響音量制御は、十分ではない場合がある。いくつかの実施形態では、レンダリング時に各仮想音源から体験され得る、絶対的反響音量が、適用される。例えば、聴者および音源位置、および、例えば、リバーブレータによってシミュレートされる部屋／環境の音響性質等の多くの因子が、本値を調節し得る。双方向オーディオアプリケーションにおいて等のいくつかの実施形態では、例えば、Ｊｅａｎ－Ｍａｒｃ Ｊｏｔ、Ｌａｕｒｅｎｔ Ｃｅｒｖｅａｕ、およびＯｌｉｖｉｅｒ Ｗａｒｕｓｆｅｌによる「Ａｎａｌｙｓｉｓ ａｎｄ ｓｙｎｔｈｅｓｉｓ ｏｆ ｒｏｏｍ ｒｅｖｅｒｂｅｒａｔｉｏｎ ｂａｓｅｄ ｏｎ ａ ｓｔａｔｉｓｔｉｃａｌ ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｍｏｄｅｌ」に定義されるように、反響初期パワー（ＲＩＰ）をプログラム的に制御することが、望ましい。ＲＩＰは、仮想聴者または仮想音源の位置にかかわらず、仮想部屋を特性評価するために使用されてもよい。
【0052】
いくつかの実施形態では、反響アルゴリズム（リバーブレータによって実行される）が、具体的部屋の音響反響性質に知覚的に合致するように構成されてもよい。例示的音響反響性質は、限定ではないが、反響初期パワー（ＲＩＰ）および反響消滅時間（Ｔ６０）を含むことができる。いくつかの実施形態では、部屋の音響反響性質は、実部屋内で測定される、実部屋または仮想部屋の幾何学的および／または物理的記述に基づくコンピュータシミュレーションによって計算される、または同等物であってもよい。
【0053】
例示的オーディオレンダリングシステム
【0054】
図５Ａは、いくつかの実施形態による、例示的オーディオレンダリングシステムのブロック図を図示する。図５Ｂは、いくつかの実施形態による、図５Ａのオーディオレンダリングシステムを動作させるための例示的プロセスのフローを図示する。
【0055】
オーディオレンダリングシステム５００は、反響処理システム５１０Ａと、直接処理システム５３０と、コンバイナ５４０とを含むことができる。反響処理システム５１０Ａおよび直接処理システム５３０は両方とも、入力信号５０１を受信することができる。
【0056】
反響処理システム５１０Ａは、ＲＩＰ制御システム５１２と、リバーブレータ５１４とを含むことができる。ＲＩＰ制御システム５１２は、入力信号５０１を受信することができ、信号をリバーブレータ５１４に出力することができる。ＲＩＰ制御システム５１２は、反響初期利得（ＲＩＧ）５１６と、ＲＩＰ補正器５１８とを含むことができる。ＲＩＧ５１６は、入力信号５０１の第１の部分を受信することができ、信号をＲＩＰ補正器５１８に出力することができる。ＲＩＧ５１６は、ＲＩＧ値を入力信号５０１に適用するように構成されることができる（プロセス５５０のステップ５５２）。ＲＩＧ値を設定するステップは、反響処理システム５１０Ａの出力信号内のＲＩＰの絶対量を規定する効果を及ぼすことができる。
【0057】
ＲＩＰ補正器５１８は、ＲＩＧ５１６から信号を受信することができ、ＲＩＰ補正係数を計算し、（ＲＩＧ５１６からの）その入力信号に適用するように構成されることができる（ステップ５５４）。ＲＩＰ補正器５１８は、信号をリバーブレータ５１４に出力することができる。リバーブレータ５１４は、ＲＩＰ補正器５１８から信号を受信することができ、信号内に反響効果を導入するように構成されることができる（ステップ５５６）。反響効果は、例えば、仮想環境に基づくことができる。リバーブレータ５１４は、下記により詳細に議論される。
【0058】
直接処理システム５３０は、伝搬遅延５３２と、直接利得５３４とを含むことができる。直接処理システム５３０および伝搬遅延５３２は、入力信号５０１の第２の部分を受信することができる。伝搬遅延５３２は、入力信号５０１内に遅延を導入するように構成されることができ（ステップ５５８）、遅延された信号を直接利得５３４に出力することができる。直接利得５３４は、伝搬遅延５３２から信号を受信することができ、利得を信号に適用するように構成されることができる（ステップ５６０）。
【0059】
コンバイナ５４０は、反響処理システム５１０Ａおよび直接処理システム５３０の両方から出力信号を受信することができ、信号を組み合わせる（例えば、追加する、集約する等）ように構成されることができる（ステップ５６２）。コンバイナ５４０からの出力は、オーディオレンダリングシステム５００の出力信号５４０であり得る。
【0060】
例示的反響初期パワー（ＲＩＰ）正規化
【0061】
反響処理システム５１０Ａでは、ＲＩＧ５１６およびＲＩＰ補正器５１８は両方とも、直列に適用されると、ＲＩＰ補正器５１８から出力される信号が、所定の値（例えば、ユニティ（１．０））に正規化され得るように、それぞれ、ＲＩＧ値およびＲＩＰ補正係数を適用（および／または計算）することができる。すなわち、出力信号のＲＩＧ値は、ＲＩＰ補正器５１８と直列にＲＩＧ５１６を適用することによって制御されることができる。いくつかの実施形態では、ＲＩＰ補正係数は、ＲＩＧ値の直後に適用されることができる。ＲＩＰ正規化プロセスは、下記により詳細に議論される。
【0062】
いくつかの実施形態では、拡散反響テールを生成するために、反響アルゴリズムは、例えば、並列コムフィルタを含み、一連のオールパスフィルタが続いてもよい。いくつかの実施形態では、デジタルリバーブレータは、信号利得スケーリングまたはフィルタユニットもまた含み得る、フィードバックおよび／またはフィードフォワード経路と相互接続される１つ以上の遅延ユニットを含む、ネットワークとして構築されてもよい。図５Ａの反響処理システム５１０Ａ等の反響処理システムのＲＩＰ補正係数は、例えば、リバーブレータトポロジ、ネットワーク内に含まれる遅延ユニットの数および持続時間、接続利得、およびフィルタパラメータ等の１つ以上のパラメータに依存してもよい。
【0063】
いくつかの実施形態では、反響処理システムのＲＩＰ補正係数は、反響時間が、無限大に設定されるとき、反響システムのインパルス応答の二乗平均平方根（ＲＭＳ）パワーに等しくあり得る。いくつかの実施形態では、例えば、図６に図示されるように、リバーブレータの反響時間が、無限大に設定されるとき、リバーブレータのインパルス応答は、時間に対して一定のＲＭＳ振幅を有する、非消滅雑音様信号であり得る。
【0064】
サンプルにおいて表される、時間ｔにおけるデジタル信号｛ｘ｝のＲＭＳパワーＰｒｍｓ（ｔ）は、二乗された信号振幅のアベレージに等しくあり得る。いくつかの実施形態では、ＲＭＳパワーは、以下のように表されてもよい。
式中、ｔは、時間であり、Ｎは、連続的信号サンプルの数であり、ｎは、信号サンプルである。アベレージは、時間ｔにおいて始まり、Ｎ個の連続的信号サンプルを含有する信号窓にわたって評価され得る。
【化1】
式中、ｔは、時間であり、Ｎは、連続的信号サンプルの数であり、ｎは、信号サンプルである。アベレージは、時間ｔにおいて始まり、Ｎ個の連続的信号サンプルを含有する信号窓にわたって評価され得る。
【0065】
ＲＭＳ振幅は、ＲＭＳパワーＰｒｍｓ（ｔ）の平方根に等しくあり得る。いくつかの実施形態では、ＲＭＳ振幅は、以下のように表されてもよい。
【化2】
【0066】
いくつかの実施形態では、リバーブレータのインパルス応答（図６に図示されるような）では、ＲＩＰ補正係数は、反響消滅時間が、無限大に設定される、反響開始に続く一定パワー信号の予期されるＲＭＳパワーとして導出されてもよい。図８は、図５Ａのオーディオレンダリングシステム５００の中に振幅１．０の単一のインパルスを投入することからの例示的出力信号を図示する。そのようなインスタンスでは、反響消滅時間は、無限大に設定され、直接信号出力は、１．０に設定され、直接信号出力は、源から聴者への伝搬遅延によって遅延される。
【0067】
いくつかの実施形態では、反響処理システム５１０Ａの反響時間は、有限値に設定されてもよい。有限値を用いると、ＲＭＳパワーは、図７に示されるように、実質的に、（反響開始時間後に）指数関数的消滅を辿り得る。反響処理システム５１０Ａの反響時間（Ｔ６０）は、概して、それにわたってＲＭＳパワー（または振幅）が６０ｄＢだけ消滅する持続時間として定義されてもよい。ＲＩＰ補正係数は、時間ｔ＝０に外挿されるＲＭＳパワー消滅曲線上で測定されるパワーとして定義されてもよい。時間ｔ＝０は、（図５Ａにおける）入力信号５０１の放出の時間であり得る。
【0068】
例示的リバーブレータ
【0069】
いくつかの実施形態では、（図５Ａの）リバーブレータ５１４は、Ｓｍｉｔｈ 「Ｊ．Ｏ． Ｐｈｙｓｉｃａｌ Ａｕｄｉｏ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ」（ｈｔｔｐ：／／ｃｃｒｍａ．ｓｔａｎｆｏｒｄ．ｅｄｕ／～ｊｏｓ／ｐａｓｐ／（ｏｎｌｉｎｅ ｂｏｏｋ， ２０１０ ｅｄｉｔｉｏｎ））に説明されるもの等の反響アルゴリズムを動作させるように構成されてもよい。これらの実施形態では、リバーブレータは、コムフィルタステージを含有してもよい。コムフィルタステージは、１６個のコムフィルタ（例えば、耳毎に８つのコムフィルタ）を含んでもよく、各コムフィルタは、異なるフィードバックループ遅延長を有することができる。
【0070】
いくつかの実施形態では、リバーブレータに関するＲＩＰ補正係数は、反響時間を無限大に設定することによって計算されてもよい。反響時間を無限大に設定することは、コムフィルタが、いかなる内蔵減衰も有していないと仮定することと同等であり得る。ディラックインパルスが、コムフィルタを通して入力される場合、リバーブレータ５１４の出力信号は、例えば、完全スケールインパルスのシーケンスであり得る。
【0071】
図８は、いくつかの実施形態による、図５Ａのリバーブレータ５１４からの例示的出力信号を図示する。リバーブレータ５１４は、コムフィルタ（図示せず）を含んでもよい。サンプルにおいて表される、フィードバックループ遅延長ｄを伴う１つのみのコムフィルタが、存在する場合、エコー密度は、フィードバックループ遅延長ｄの逆数に等しくあり得る。ＲＭＳ振幅は、エコー密度の平方根に等しくあり得る。ＲＭＳ振幅は、以下のように表されてもよい。
【化3】
【0072】
いくつかの実施形態では、リバーブレータは、複数のコムフィルタを有してもよく、ＲＭＳ振幅は、以下のように表されてもよい。
式中、Ｎは、リバーブレータ内のコムフィルタの数であり、ｄｍｅａｎは、平均フィードバック遅延長である。平均フィードバック遅延長ｄｍｅａｎは、サンプルにおいて表され、Ｎ個のコムフィルタを横断して平均化されてもよい。
【化4】
式中、Ｎは、リバーブレータ内のコムフィルタの数であり、ｄｍｅａｎは、平均フィードバック遅延長である。平均フィードバック遅延長ｄｍｅａｎは、サンプルにおいて表され、Ｎ個のコムフィルタを横断して平均化されてもよい。
【0073】
図９は、いくつかの実施例による、コムフィルタのみを含む、例示的リバーブレータに関するインパルス応答の振幅を図示する。いくつかの実施形態では、リバーブレータは、有限値に設定される消滅時間を有してもよい。図に示されるように、リバーブレータインパルス応答のＲＭＳ振幅は、経時的に指数関数的に低下する。ｄＢスケールでは、ＲＭＳ振幅は、直線に沿って低下し、時間ｔ＝０においてＲＩＰに等しい値から開始する。時間ｔ＝０は、入力における単位インパルスの放出の時間（例えば、仮想音源によるインパルスの放出の時間）であり得る。
【0074】
図１０は、本開示の実施例による、オールパスフィルタステージを含む、例示的リバーブレータに関するインパルス応答の振幅を図示する。リバーブレータは、Ｓｍｉｔｈ「Ｊ．Ｏ． Ｐｈｙｓｉｃａｌ Ａｕｄｉｏ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ」（ｈｔｔｐ：／／ｃｃｒｍａ．ｓｔａｎｆｏｒｄ．ｅｄｕ／～ｊｏｓ／ｐａｓｐ／（ｏｎｌｉｎｅ ｂｏｏｋ， ２０１０ ｅｄｉｔｉｏｎ））に説明されるものに類似し得る。オールパスフィルタの包含は、（図９のリバーブレータインパルス応答のＲＭＳ振幅と比較して）リバーブレータインパルス応答のＲＭＳ振幅に有意に影響を及ぼし得ないため、ｄＢにおけるＲＭＳ振幅の線形消滅傾向は、図９の傾向と同じであり得る。いくつかの実施形態では、線形消滅傾向は、時間ｔ＝０において観察される同一のＲＩＰ値から開始し得る。
【0075】
図１１Ａは、いくつかの実施形態による、コムフィルタを含むリバーブレータを有する、例示的反響処理システムを図示する。図１１Ｂは、いくつかの実施形態による、図１１Ａの反響処理システムを動作させるための例示的プロセスのフローを図示する。
【0076】
反響処理システム５１０Ｂは、ＲＩＰ制御システム５１２と、リバーブレータ１１１４とを含むことができる。ＲＩＰ制御システム５１２は、ＲＩＧ５１６と、ＲＩＰ補正器５１８とを含むことができる。ＲＩＰ制御システム５１２およびＲＩＰ補正器５１８は、（図５Ａの）反響処理システム５１０Ａ内に含まれるものに対応して類似し得る。反響処理システム５１０Ｂは、入力信号５０１を受信し、出力信号５０２Ａおよび５０２Ｂを出力することができる。いくつかの実施形態では、反響処理システム５１０Ｂは、（図５Ａの）反響処理システム５１０Ａの代わりに、図５Ａのオーディオレンダリングシステム５００内に含まれることができる。
【0077】
ＲＩＧ５１６は、ＲＩＧ値を適用するように構成されてもよく（プロセス１１５０のステップ１１５２）、ＲＩＰ補正器５１８は、ＲＩＰ補正係数を適用することができ（ステップ１１５４）、両方とも、リバーブレータ１１１４と直列である。ＲＩＧ５１６、ＲＩＰ補正器５１８、およびリバーブレータ１１４の直列的構成は、反響処理システム５１０ＢのＲＩＰをＲＩＧに等しくさせ得る。
【0078】
いくつかの実施形態では、ＲＩＰ補正係数は、以下のように表されることができる。
信号へのＲＩＰ補正係数の適用は、ＲＩＧ値が、１．０に設定されるとき、ＲＩＰをユニティ（１．０）等の所定の値に設定させることができる。
【化5】
信号へのＲＩＰ補正係数の適用は、ＲＩＧ値が、１．０に設定されるとき、ＲＩＰをユニティ（１．０）等の所定の値に設定させることができる。
【0079】
リバーブレータ５１４は、ＲＩＰ制御システム５１２から信号を受信することができ、反響効果を入力信号の第１の部分の中に導入するように構成されることができる（ステップ１１５６）。リバーブレータ５１４は、１つ以上のコムフィルタ１１１５を含むことができる。コムフィルタ１１１５は、信号内の１つ以上の周波数をフィルタ処理して取り除くように構成されることができる（ステップ１１５８）。例えば、コムフィルタ１１１５は、環境効果（例えば、部屋の壁）を模倣するために、１つ以上の周波数をフィルタ処理して取り除く（例えば、キャンセルする）ことができる。リバーブレータ１１１４は、２つ以上の出力信号５０２Ａおよび５０２Ｂを出力することができる（ステップ１１６０）。
【0080】
図１２Ａは、複数のオールパスフィルタを含むリバーブレータを有する、例示的反響処理システムを図示する。図１２Ｂは、いくつかの実施形態による、図１２Ａの反響処理システムを動作させるための例示的プロセスのフローを図示する。
【0081】
反響処理システム５１０Ｃは、（図１１Ａの）反響処理システム５１０Ｂに類似し得るが、そのリバーブレータ１２１４は、加えて、複数のオールパスフィルタ１２１６を含んでもよい。ステップ１２５２、１２５４、１２５６、１２５８、および１２６０は、それぞれ、ステップ１１５２、１１５４、１１５６、１１５８、および１１６０に対応して類似し得る。
【0082】
反響処理システム５１０Ｃは、ＲＩＰ制御システム５１２と、リバーブレータ１２１４とを含むことができる。ＲＩＰ制御システム５１２は、ＲＩＧ５１６と、ＲＩＰ補正器５１８とを含むことができる。ＲＩＰ制御システム５１２およびＲＩＰ補正器５１８は、（図５Ａの）反響処理システム５１０Ａ内に含まれるものに対応して類似し得る。反響処理システム５１０Ｂは、入力信号５０１を受信し、出力信号５０２Ａおよび５０２Ｂを出力することができる。いくつかの実施形態では、反響処理システム５１０Ｂは、（図５Ａの）反響処理システム５１０Ａまたは（図１１の）反響処理システム５１０Ｂの代わりに、図５Ａのオーディオレンダリングシステム５００内に含まれることができる。
【0083】
リバーブレータ１２１４は、加えて、コムフィルタ１１１５から信号を受信し得る、オールパスフィルタ１２１５を含んでもよい。各オールパスフィルタ１２１５は、コムフィルタ１１１５から信号を受信することができ、その大きさを変化させることなく、その入力信号を通過させるように構成されることができる（ステップ１２６２）。いくつかの実施形態では、オールパスフィルタ１２１５は、信号の位相を変化させることができる。いくつかの実施形態では、各オールパスフィルタは、コムフィルタから一意の信号を受信することができる。オールパスフィルタ１２１５の出力は、反響処理システム５１０Ｃおよびオーディオレンダリングシステム５００の出力信号５０２であり得る。例えば、オールパスフィルタ１２１５Ａは、コムフィルタ１１１５から一意の信号を受信することができ、信号５０２Ａを出力することができ、同様に、オールパスフィルタ１２１５Ｂは、コムフィルタ１１１５から一意の信号を受信することができ、信号５０２Ｂを出力することができる。
【0084】
図９および１０を比較すると、オールパスフィルタ１２１６の包含は、出力ＲＭＳ振幅消滅傾向に有意に影響を及ぼし得ない。
【0085】
ＲＩＰ補正係数を適用するとき、反響時間が、無限大に設定される場合、ＲＩＧ値は、１．０に設定され、単一の単位インパルスが、反響処理システム５１０Ｃを通して入力され、１の一定ＲＭＳレベルを伴う雑音様出力が、取得され得る。
【0086】
図１３は、いくつかの実施形態による、図１２の反響処理システム５１０Ｃの例示的インパルス応答を図示する。反響時間は、有限数に設定されてもよく、ＲＩＧは、１．０に設定されてもよい。ｄＢスケールでは、ＲＭＳレベルは、図１０に示されるように、直線消滅線に沿って低下し得る。しかしながら、ＲＩＰ補正係数に起因して、時間ｔ＝０において図１３で観察されるＲＩＰは、０ｄＢに正規化され得る。
【0087】
いくつかの実施形態では、図５、６、７、および１８Ａと関連して説明されるＲＩＰ正規化方法は、図５のリバーブレータ５１４内に実装される特定のデジタル反響アルゴリズムにかかわらず、適用されてもよい。例えば、リバーブレータは、利得行列と接続されるフィードバックおよびフィードフォワード遅延要素のネットワークから構築されてもよい。
【0088】
図１４は、いくつかの実施形態による、反響処理システム５１０を通した信号入力および出力を図示する。例えば、図１４は、図５Ａ、１１Ａ、および１２Ａに議論されるもの等、上記に議論される反響処理システム５１０のうちのいずれか１つの信号のフローを図示する。ＲＩＧ適用ステップ１４１６は、ＲＩＧ値を設定し、これを入力信号５０１に適用するステップを含むことができる。ＲＩＰ補正係数適用ステップ１４１８は、選定されるリバーブレータ設計および内部リバーブレータパラメータ設定に関するＲＩＰ補正係数を計算するステップを含むことができる。加えて、リバーブレータ１４１４を通して信号を通過させることは、本システムに、リバーブレータトポロジを選択させ、内部リバーブレータパラメータを設定させることができる。図に示されるように、リバーブレータ１４１４の出力は、出力信号５０２であり得る。
【0089】
例示的フィードバック遅延ネットワーク
【0090】
本明細書に開示される実施形態は、いくつかの実施形態による、フィードバック遅延ネットワーク（ＦＤＮ）を含む、リバーブレータを有してもよい。ＦＤＮは、遅延ユニットの出力がその入力にフィードバックされることを可能にし得る、恒等行列を含んでもよい。図１５Ａは、いくつかの実施形態による、フィードバック行列を備える、例示的ＦＤＮのブロック図を図示する。ＦＤＮ１５１５は、フィードバック行列１５２０と、複数のコンバイナ１５２２と、複数の遅延１５２４と、複数の利得１５２６とを含むことができる。
【0091】
コンバイナ１５２２は、入力信号１５０１を受信することができ、その入力を組み合わせる（例えば、追加する、集約する等）ように構成されることができる（プロセス１５５０のステップ１５５２）。コンバイナ１５２２はまた、フィードバック行列１５２０から信号を受信することができる。遅延１５２４は、コンバイナ１５２２から組み合わせられた信号を受信することができ、遅延を１つ以上の信号の中に導入するように構成されることができる（ステップ１５５４）。利得１５２６は、遅延１５２４から信号を受信することができ、利得を１つ以上の信号の中に導入するように構成されることができる（ステップ１５５６）。利得１５２６からの出力信号は、出力信号１５０２を形成することができ、また、フィードバック行列１５２０の中に入力されてもよい。いくつかの実施形態では、フィードバック行列１５２０は、Ｎ×Ｎユニタリ（エネルギー保全）行列であってもよい。
【0092】
フィードバック行列１５２０が、ユニタリ行列である一般的な場合では、ＲＩＰ補正係数の式はまた、リバーブレータのフィードバックループの周囲の全体的エネルギー伝達が、変化せず、遅延がないままであるため、方程式（５）によって与えられてもよい。
【0093】
リバーブレータ設計および内部パラメータ設定の所与の恣意的選定に関して、例えば、ＲＩＰ補正係数が、計算されてもよい。計算されるＲＩＰ補正係数は、ＲＩＧ値が、１．０に設定される場合、全体的反響処理システム５１０のＲＩＰもまた、１．０であるようなものであり得る。
【0094】
いくつかの実施形態では、リバーブレータは、１つ以上のオールパスフィルタを伴うＦＤＮを含んでもよい。図１６は、いくつかの実施形態による、複数のオールパスフィルタを備える、例示的ＦＤＮのブロック図を図示する。
【0095】
ＦＤＮ１６１５は、複数のオールパスフィルタ１６３０と、複数の遅延１６３２と、混合行列１６４０Ｂとを含むことができる。オールパスフィルタ１６３０は、複数の利得１５２６と、吸収性遅延１６３２と、別の混合行列１６４０Ａとを含むことができる。ＦＤＮ１６１５はまた、複数のコンバイナ（図示せず）を含んでもよい。
【0096】
オールパスフィルタ１６３０は、入力信号１５０１を受信し、その大きさを変化させることなく、その入力信号を通過させるように構成されてもよい。いくつかの実施形態では、オールパスフィルタ１６３０は、信号の位相を変化させることができる。いくつかの実施形態では、各オールパスフィルタ１６３０は、オールパスフィルタ１６３０へのパワー入力が、オールパスフィルタからのパワー出力に等しくあり得るように構成されることができる。言い換えると、各オールパスフィルタ１６３０は、いかなる吸収も行い得ない。具体的には、吸収性遅延１６３２は、入力信号１５０１を受信することができ、信号内に遅延を導入するように構成されることができる。いくつかの実施形態では、吸収性遅延１６３２は、サンプルの数だけその入力信号を遅延させることができる。いくつかの実施形態では、各吸収性遅延１６３２は、その出力信号が、その入力信号未満のあるレベルであるような吸収レベルを有することができる。
【0097】
利得１５２６Ａおよび１５２６Ｂは、その個別の入力信号内に利得を導入するように構成されることができる。利得１５２６Ａに関する入力信号は、吸収性遅延への入力信号であり得、利得１５２６Ｂに関する出力信号は、混合行列１６４０Ａへの出力信号であり得る。
【0098】
オールパスフィルタ１６３０からの出力信号は、遅延１６３２への入力信号であり得る。遅延１６３２は、オールパスフィルタ１６３０から信号を受信することができ、その個別の信号の中に遅延を導入するように構成されることができる。いくつかの実施形態では、遅延１６３２からの出力信号は、出力信号１５０２を形成するように組み合わせられることができる、またはいくつかの実施形態では、これらの信号は、その他における複数の出力チャネルとして別個にとられてもよい。いくつかの実施形態では、出力信号１５０２は、ネットワーク内の他の点からとられてもよい。
【0099】
遅延１６３２からの出力信号はまた、混合行列１６４０Ｂの中への入力信号であり得る。混合行列１６４０Ｂは、複数の入力信号を受信するように構成されることができ、オールパスフィルタ１６３０の中にフィードバックされるべきその信号を出力することができる。いくつかの実施形態では、各混合行列は、完全混合行列であり得る。
【0100】
これらのリバーブレータトポロジでは、ＲＩＰ補正係数は、リバーブレータのフィードバックループ内およびその周囲の全体的エネルギー伝達が、変化せず、遅延がないままであり得るため、方程式（５）によって表されてもよい。いくつかの実施形態では、ＦＤＮ１６１５は、所望の出力信号１５０１を達成するために、入力および／または出力信号配置を変動させてもよい。
【0101】
オールパスフィルタ１６３０を伴うＦＤＮ１６１５は、その入力として入力信号１５０１をとり、正しい消滅反響信号を含み得るマルチチャネル出力を作成する、反響システムであり得る。入力信号１５０１は、モノ入力信号であり得る。
【0102】
いくつかの実施形態では、ＲＩＰ補正係数は、図６に示されるように、反響時間が、無限大に設定されるとき、反響ＲＭＳ振幅Ａｒｍｓ（｛Ｐ｝）を決定するリバーブレータパラメータ｛Ｐ｝のセットの数学関数として表されてもよい。例えば、ＲＩＰ補正係数は、以下のように表されることができる。
【化6】
【0103】
所与のリバーブレータトポロジおよびリバーブレータの遅延ユニット長の所与の設定に関して、ＲＩＰ補正係数は、以下のステップ、すなわち、（１）反響時間を無限大に設定するステップ、（２）（図６に示されるような）リバーブレータインパルス応答を記録するステップ、（３）反響ＲＭＳ振幅Ａｒｍｓを測定するステップ、および（４）方程式（６）に従ってＲＩＰ補正係数を決定するステップを実施することによって計算されてもよい。
【0104】
いくつかの実施形態では、ＲＩＰ補正係数は、以下のステップ、すなわち、（１）反響時間を任意の有限値に設定するステップ、（２）リバーブレータインパルス応答を記録するステップ、（３）（図７Ａまたは図７Ｃに示されるような）反響ＲＭＳ振幅消滅曲線Ａｒｍｓ（ｔ）を導出するステップ、（４）（Ａｒｍｓ（０）として表され、図１０に示されるような）放出の時間ｔ＝０において外挿されるその値（ＲＭＳ振幅）を決定するステップ、および（５）方程式７（下記）に従ってＲＩＰ補正係数を決定するステップを実施することによって計算されてもよい。
【化7】
【0105】
例示的反響エネルギー正規化方法
【0106】
いくつかの実施形態では、例えば、アプリケーション開発者、サウンドデザイナ、および同様の人物のために、知覚的に関連する反響利得制御方法を提供することが、望ましくあり得る。例えば、いくつかのリバーブレータまたは部屋シミュレータ実施形態では、入力信号のパワーに対する反響処理システムの効果を表すパワー増幅係数の測度に対するプログラム制御を提供することが、望ましくあり得る。入力信号のパワーは、例えば、ｄＢにおいて表されてもよい。パワー増幅係数に対するプログラム制御は、アプリケーション開発者、サウンドデザイナ、および同様の人物が、例えば、反響出力信号音量と入力信号音量との間のバランス、または直接音出力信号音量を決定することを可能にし得る。
【0107】
いくつかの実施形態では、本システムは、反響エネルギー（ＲＥ）補正係数を適用することができる。図１７Ａは、いくつかの実施形態による、ＲＥ補正器を含む、例示的反響処理システムのブロック図を図示する。図１７Ｂは、いくつかの実施形態による、図１７Ａの反響処理システムを動作させるための例示的プロセスのフローを図示する。
【0108】
反響処理システム５１０Ｄは、ＲＩＰ制御システム５１２と、リバーブレータ５１４とを含むことができる。ＲＩＰ制御システム５１２は、ＲＩＧ５１６と、ＲＩＰ補正器５１８とを含むことができる。ＲＩＰ制御システム５１２、リバーブレータ５１４、およびＲＩＰ補正器５１８は、（図５Ａの）反響処理システム５１０Ａ内に含まれるものに対応して類似し得る。反響処理システム５１０Ｄは、入力信号５０１を受信することができ、出力信号５０２を出力することができる。いくつかの実施形態では、反響処理システム５１０Ｄは、（図５Ａの）反響処理システム５１０Ａ、（図１１Ａの）反響処理システム５１０Ｂ、または（図１２Ａの）反響処理システム５１０Ｃの代わりに、図５Ａのオーディオレンダリングシステム５００内に含まれることができる。
【0109】
反響処理システム５１０Ｄはまた、反響利得（ＲＧ）１７１６と、ＲＥ補正器１７１７とを備える、ＲＩＧ５１６を含んでもよい。ＲＧ１７１６は、入力信号５０１を受信することができ、信号をＲＥ補正器１７１７に出力することができる。ＲＧ１７１６は、ＲＧ値を入力信号５０１の第１の部分に適用するように構成されることができる（プロセス１７５０のステップ１７５２）。いくつかの実施形態では、ＲＩＧは、ＲＥ補正係数が、ＲＧ値が、適用された後に入力信号の第１の部分に適用されるように、ＲＧ１７１６をＲＥ補正器１７１７とカスケードすることによって実現されることができる。いくつかの実施形態では、ＲＩＧ５１６は、ＲＩＰ補正器５１８とカスケードされ、リバーブレータ５１４とカスケードされるＲＩＰ制御システム５１２を形成することができる。
【0110】
ＲＥ補正器１７１７は、ＲＧ１７１６から信号を受信することができ、ＲＥ補正係数を計算し、（ＲＧ１７１６からの）その入力信号に適用するように構成されることができる（ステップ１７５４）。いくつかの実施形態では、ＲＥ補正係数は、これが、（１）ＲＩＰが、１．０に設定され、（２）反響開始時間が、音源による単位インパルスの放出の時間に等しく設定されるとき、リバーブレータインパルス応答における合計エネルギーを表すように計算されてもよい。ＲＧ１７１６およびＲＥＣ１７１７は両方とも、直列に適用されるとき、ＲＥ補正器１７１７から出力される信号が、所定の値（例えば、ユニティ（１．０））に正規化され得るように、それぞれ、ＲＧ値およびＲＥＣ補正係数を適用（および／または計算）することができる。出力信号のＲＩＰは、図１７Ａに示されるように、リバーブレータ、リバーブレータエネルギー補正係数、およびリバーブレータ初期パワー係数と直列にリバーブレータ利得を適用することによって制御されることができる。ＲＥ正規化プロセスは、下記により詳細に議論される。
【0111】
ＲＩＰ補正器５１８は、ＲＩＧ５１６から信号を受信することができ、ＲＩＰ補正係数を計算し、（ＲＩＧ５１６からの）その入力信号に適用するように構成されることができる（ステップ１７５６）。リバーブレータ５１４は、ＲＩＰ補正器５１８から信号を受信することができ、信号内に反響効果を導入するように構成されることができる（ステップ１７５８）。
【0112】
いくつかの実施形態では、仮想部屋のＲＩＰは、図５Ａの反響処理システム５１０Ａ（オーディオレンダリングシステム５００内に含まれる）、図１１Ａの反響処理システム５１０Ｂ（オーディオレンダリングシステム５００内に含まれる）、または両方を使用して制御されてもよい。（図５Ａの）反響処理システム５１０ＡのＲＩＧ５１６は、ＲＩＰを直接規定してもよく、例えば、Ｊｅａｎ－Ｍａｒｃ Ｊｏｔ、Ｌａｕｒｅｎｔ Ｃｅｒｖｅａｕ、およびＯｌｉｖｉｅｒ Ｗａｒｕｓｆｅｌによる「Ａｎａｌｙｓｉｓ ａｎｄ ｓｙｎｔｈｅｓｉｓ ｏｆ ｒｏｏｍ ｒｅｖｅｒｂｅｒａｔｉｏｎ ｂａｓｅｄ ｏｎ
ａ ｓｔａｔｉｓｔｉｃａｌ ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｍｏｄｅｌ」に示されるように、仮想部屋の立方体積の平方根の逆数に比例するとして物理的に解釈されてもよい。
ａ ｓｔａｔｉｓｔｉｃａｌ ｔｉｍｅ－ｆｒｅｑｕｅｎｃｙ ｍｏｄｅｌ」に示されるように、仮想部屋の立方体積の平方根の逆数に比例するとして物理的に解釈されてもよい。
【0113】
（図１７Ａの）反響処理システム５１０ＤのＲＧ５１６は、ＲＥを規定することによって間接的に仮想部屋のＲＩＰを制御してもよい。ＲＥは、これが、仮想部屋内の仮想聴者と同一の位置に併置される場合、ユーザが仮想音源から受け取るであろう反響の予期されるエネルギーに比例する、知覚的に関連する量であり得る。仮想聴者と同一の位置に併置される一例示的仮想音源は、仮想聴者自身の声または足音である。
【0114】
いくつかの実施形態では、ＲＥは、反響処理システムによる入力信号の増幅を表すために計算および使用されることができる。増幅は、信号パワーの観点から表され得る。図７に示されるように、ＲＥは、反響開始時間から積分される反響ＲＭＳパワーエンベロープの下の面積に等しくあり得る。いくつかの実施形態では、ビデオゲームまたは仮想現実のための双方向オーディオエンジンでは、反響開始時間は、少なくとも所与の仮想音源に関する伝搬遅延に等しくあり得る。したがって、所与の仮想音源に関するＲＥの計算は、仮想音源の位置に依存し得る。
【0115】
図１８Ａは、いくつかの実施形態による、仮想聴者と併置される仮想音源に関する経時的な計算されたＲＥを図示する。いくつかの実施形態では、反響開始時間は、音放出の時間に等しいと仮定されることができる。この場合では、ＲＥは、反響開始時間が、音源による単位インパルスの放出の時間に等しいと仮定されるとき、リバーブレータインパルス応答における合計エネルギーを表すことができる。ＲＥは、反響開始時間から積分される反響ＲＭＳパワーエンベロープの下の面積に等しくあり得る。
【0116】
いくつかの実施形態では、ＲＭＳパワー曲線は、時間ｔの連続関数として表されてもよい。そのようなインスタンスでは、ＲＥは、以下のように表されてもよい。
【化8】
【0117】
反響処理システムの離散時間実施形態等のいくつかの実施形態では、ＲＭＳパワー曲線は、離散時間ｔ＝ｎ／Ｆｓの関数として表されることができる。そのようなインスタンスでは、ＲＥは、以下のように表されてもよい。
式中、ＦＳは、同一のレートである。
【化9】
式中、ＦＳは、同一のレートである。
【0118】
いくつかの実施形態では、ＲＥ補正係数は、ＲＥが、所定の値（例えば、ユニティ（１．０））に正規化され得るように、ＲＩＰ補正係数およびリバーブレータと直列に計算および適用されてもよい。ＲＥＣは、以下の通り、ＲＥの平方根の逆数に等しく設定されてもよい。
【化10】
【0119】
いくつかの実施形態では、出力反響信号のＲＩＰは、図１７Ａの反響処理システム５１０Ｃに示されるもの等、ＲＥ補正係数、ＲＩＰ補正係数、およびリバーブレータと直列にＲＧ値を適用することによって制御されてもよい。ＲＧ値およびＲＥ補正は、以下の通り、ＲＩＧを決定するために組み合わせられてもよい。
したがって、ＲＥ補正係数（ＲＥＣ）は、ＲＩＧの代わりに、信号領域ＲＧ量の観点からＲＩＰ補正係数を制御するために使用されてもよい。
【化11】
したがって、ＲＥ補正係数（ＲＥＣ）は、ＲＩＧの代わりに、信号領域ＲＧ量の観点からＲＩＰ補正係数を制御するために使用されてもよい。
【0120】
いくつかの実施形態では、ＲＩＰは、システムインパルス応答内に統合されたＲＥによって導出される、測定された信号パワー増幅にマッピングされてもよい。方程式（１０）－（１１）において上記に示されるように、本マッピングは、信号増幅係数、すなわち、ＲＧの熟知された考えを介したＲＩＰの制御を可能にする。いくつかの実施形態では、図１８Ｂおよび方程式（８）－（９）に示されるように、ＲＥ計算に関して瞬間的反響開始を仮定する利点は、本マッピングが、ユーザまたは聴者位置が考慮されることを要求することなく表され得ることであり得る。
【0121】
いくつかの実施形態では、リバーブレータ５１４のインパルス応答の反響ＲＭＳパワー曲線は、消滅する時間の関数として表されることができる。消滅する時間の関数は、ｔ＝０において開始することができる。
【化12】
【0122】
いくつかの実施形態では、消滅パラメータは、以下の通り、消滅時間Ｔ６０の関数として表されることができる。
【化13】
【0123】
合計ＲＥは、以下のように表されてもよい。
【化14】
【0124】
いくつかの実施形態では、ＲＩＰは、所定の値（例えば、ユニティ（１．０））に正規化されてもよく、ＲＥＣは、以下の通り、表されてもよい。
【化15】
【0125】
いくつかの実施形態では、ＲＥＣは、以下の方程式に従って近似されてもよい。
【化16】
【0126】
図１９は、いくつかの実施形態による、例示的反響処理システムのフローを図示する。例えば、図１９は、図１７Ａの反響処理システム５１０Ｄのフローを図示することができる。リバーブレータ設計および内部パラメータ設定の所与の恣意的選定に関して、ＲＩＰ補正係数が、例えば、方程式（５）－（７）を適用することによって計算されることができる。いくつかの実施形態では、反響消滅時間Ｔ６０の所与のランタイム調節に関して、合計ＲＥは、方程式（８）－（９）を適用することによって再計算されてもよく、ＲＩＰは、１．０に正規化されると仮定されることができる。ＲＥＣ係数は、方程式（１０）に従って導出されることができる。
【0127】
ＲＥＣ係数の適用に起因して、ランタイム時にＲＧ値または反響消滅時間Ｔ６０を調節することは、ＲＧが、入力信号（例えば、入力信号５０１）のＲＭＳ振幅に対して、出力信号（例えば、出力信号５０２）のＲＭＳ振幅に関する増幅係数として動作し得るように、反響処理システムのＲＩＰを自動的に補正する効果を及ぼし得る。反響消滅時間Ｔ６０を調節することが、いくつかの実施形態では、ＲＩＰが、消滅時間の修正によって影響を受け得ないため、ＲＩＰ補正係数を再計算することを要求し得ないことに留意されたい。
【0128】
いくつかの実施形態では、ＲＥＣは、ＲＩＰ補正係数を適用することによってＲＩＰを１．０に設定した後、音源放出からのある時間において規定された２つの点の間の反響テールにおけるエネルギーとしてＲＥを測定することに基づいて定義されてもよい。これは、例えば、測定された反響テールを伴う畳み込みを使用するときに有益であり得る。
【0129】
いくつかの実施形態では、ＲＥ補正係数は、ＲＩＰ補正係数を適用することによってＲＩＰを１．０に設定した後、エネルギー閾値を使用して定義された２つの点の間の反響テールにおけるエネルギーとしてＲＥを測定することに基づいて定義されてもよい。いくつかの実施形態では、直接音に対するエネルギー閾値または絶対的エネルギー閾値が、使用されてもよい。
【0130】
いくつかの実施形態では、ＲＥ補正係数は、ＲＩＰ補正係数を適用することによってＲＩＰを１．０に設定した後、ある時間において定義された１つの点とエネルギー閾値を使用して定義された１つの点との間の反響テールにおけるエネルギーとしてＲＥを測定することに基づいて定義されてもよい。
【0131】
いくつかの実施形態では、ＲＥ補正係数は、ＲＩＰ補正係数を各反響に適用することによって反響テールのそれぞれのＲＩＰを１．０に設定した後、異なる結合された空間によって寄与されるエネルギーの加重和を考慮することによって算出されてもよい。本ＲＥ補正係数算出の一例示的用途は、音響環境が、２つ以上の結合された空間を含む場合であり得る。
【0132】
上記に説明されるシステムおよび方法に関して、本システムおよび方法の要素は、適宜、１つ以上のコンピュータプロセッサ（例えば、ＣＰＵまたはＤＳＰ）によって実装されることができる。本開示は、これらの要素を実装するために使用される、コンピュータプロセッサを含むコンピュータハードウェアの任意の特定の構成に限定されない。ある場合には、複数のコンピュータシステムが、上記に説明されるシステムおよび方法を実装するために採用されることができる。例えば、第１のコンピュータプロセッサ（例えば、マイクロホンに結合されるウェアラブルデバイスのプロセッサ）が、入力マイクロホン信号を受信し、それらの信号の初期処理（例えば、上記に説明されるもの等の信号調整および／またはセグメント化）を実施するために利用されることができる。第２の（おそらく、よりコンピュータ的に強力な）プロセッサが、次いで、それらの信号の発話セグメントと関連付けられる確率値の決定等のよりコンピュータ的に集約的な処理を実施するために利用されることができる。クラウドサーバ等の別のコンピュータデバイスが、発話認識エンジンをホストすることができ、それに入力信号が、最終的に提供される。他の好適な構成も、明白になり、本開示の範囲内である。
【0133】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付される請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるものである。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12A】
【図12B】
【図13】
【図14】
【図15】
【図16】
【図17A】
【図17B】
【図18A】
【図18B】
【図19】
