特開 2024-167895 仮想会場内のシームレスな反響遷移

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024167895

(43)【公開日】2024-12-04

(54)【発明の名称】仮想会場内のシームレスな反響遷移

(51)【国際特許分類】

   G10K 15/12 20060101AFI20241127BHJP

   H04R 3/00 20060101ALI20241127BHJP

   H04S 7/00 20060101ALI20241127BHJP

【ＦＩ】

G10K15/12

H04R3/00 310

H04S7/00 320

H04S7/00 350

【審査請求】未請求

【請求項の数】19

【出願形態】ＯＬ

(21)【出願番号】P 2024080672

(22)【出願日】2024-05-17

(31)【優先権主張番号】23174456

(32)【優先日】2023-05-22

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】504147933

【氏名又は名称】ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】マティアス フォン セント－ジョージ

(72)【発明者】

【氏名】アルント ヘンスゲンス

(72)【発明者】

【氏名】ゲオルク シュピールバウアー

(72)【発明者】

【氏名】アンドレアス レンホルン

【テーマコード（参考）】

5D162

5D208

5D220

【Ｆターム（参考）】

5D162AA05

5D162CA26

5D162CC37

5D162EG04

5D208AA08

5D208AB08

5D208AC02

5D208AC07

5D220AA05

5D220AB08

(57)【要約】

【課題】仮想会場内のシームレスな反響遷移の提供。
【解決手段】音声信号処理のためのコンピュータにより実施される方法は、入力音声信号を受信することと、２つの区別できる音響環境と関連付けられた反響パラメータを取得することと、音響環境ごとに早期反射信号を同時に生成することと、を伴う。それらの早期反射信号は次いで、フェーディング工程に従った２つの環境の間の遷移の間、連続した過渡的な早期反射信号を作成するように、フェーディング工程を通じて組み合わされる。加えて、反響テールが生成され、及び過渡的な早期反射信号と組み合わされる。出力音声信号は、区別して切り替えられる、直接入力音声信号、過渡的な早期反射信号、及び反響テールの組み合わせとして提供され、ユーザに対するシームレスで没入的な聴取経験を結果としてもたらす。
【選択図】図１

【特許請求の範囲】

【請求項1】

プロセシングユニットを含む音声システムによる音声信号処理のためのコンピュータにより実施される方法であって、
－反響と共にユーザに出力されることになる入力音声信号を受信することと、
－第１の音響環境と関連付けられた反響パラメータの第１のセットを取得することと、
－反響パラメータの前記第１のセットとは異なる、第２の音響環境と関連付けられた反響パラメータの第２のセットを取得することと、
－第１の早期反射信号を生成するように反響パラメータの前記第１のセットに基づいて、及び第２の早期反射信号を生成するように反響パラメータの前記第２のセットに基づいて、前記入力音声信号を処理することであって、前記第１の早期反射信号及び前記第２の早期反射信号の各々は、それぞれの音響環境内の初期の音反射を表すそれぞれの合成音声信号を含む、前記処理することと、
－フェーディング工程に従った前記第１の早期反射信号から前記第２の早期反射信号への遷移を含む、過渡的な早期反射信号を生成するように、前記フェーディング工程を通じて前記第１の早期反射信号及び前記第２の早期反射信号を組み合わせることと、
－前記直接入力音声信号及び前記過渡的な早期反射信号の組み合わせを含む出力音声信号を提供することと、
を含む、前記コンピュータにより実施される方法。

【請求項2】

前記第１の早期反射信号及び前記第２の早期反射信号は、前記それぞれの音響環境内の前記入力音声信号の最初に生じる音反射のみをシミュレートすることによって生成される、請求項１に記載のコンピュータにより実施される方法。

【請求項3】

－前記第１の早期反射信号から前記第２の早期反射信号に遷移する間、前記ユーザに前記出力音声信号を連続して出力することを更に含む、請求項１に記載のコンピュータにより実施される方法。

【請求項4】

－第１の反響テール信号を生成するように反響パラメータ前記第１のセットに基づいて、及び第２の反響テール信号を生成するように反響パラメータの前記第２のセットに基づいて、前記直接入力音声信号を処理することと、
－前記直接入力音声信号、前記過渡的な早期反射信号、及び前記第１の反響テール信号の組み合わせを含む前記出力音声信号を提供することと、
－前記出力音声信号の前記連続した再生の間、前記直接入力音声信号、前記過渡的な早期反射信号、及び前記第２の反響テール信号を含む前記出力音声信号を提供するために、前記第１の反響テール信号から前記第２の反響テール信号に切り替えることと、
を更に含む、請求項１に記載のコンピュータにより実施される方法。

【請求項5】

前記第１の反響テール信号及び前記第２の反響テール信号は、前記それぞれの音響環境内の前記早期反射に続く、前記それぞれの音響環境内で生じる好機音反射及び減衰特性を表す合成音声信号を含む、請求項４に記載のコンピュータにより実施される方法。

【請求項6】

－前記ユーザから音声信号を含むマイクロフォン信号を受信することと、
－前記マイクロフォン信号に更に基づいて、前記第１の反響テール信号及び前記第２の反響テール信号を生成することと、
を更に含む、請求項４に記載のコンピュータにより実施される方法。

【請求項7】

反響パラメータの前記第１のセットまたは前記第２のセットに基づいて前記マイクロフォン信号を処理することは、前記それぞれの音響環境内の前記ユーザの位置を更に考慮に入れる、請求項６に記載のコンピュータにより実施される方法。

【請求項8】

前記過渡的な早期反射信号は、前記第１の音響環境及び前記第２の音響環境内の初期の音反射のブレンドを表す連続した且つシームレスな音声信号である、請求項１に記載のコンピュータにより実施される方法。

【請求項9】

前記第１の音響環境は、第１の仮想会場に対応し、前記第２の音響環境は、第２の仮想会場に対応し、または
前記第２の音響環境は、パラメータの前記第１のセットの少なくとも１つのパラメータのユーザ誘発パラメータ変更に対応する、
請求項１に記載のコンピュータにより実施される方法。

【請求項10】

第１の早期反射信号及び第２の早期反射信号は、同時に提供される、請求項１に記載のコンピュータにより実施される方法。

【請求項11】

－待ち時間制御信号に基づいて、前記直接音声信号、早期反射信号、及び／または反響テール信号を同期するように、前記過渡的な早期反射信号における待ち時間を補償することを更に含む、請求項１に記載のコンピュータにより実施される方法。

【請求項12】

前記第１の反響テール信号及び前記第２の反響テール信号を生成することは、前記第１の音響環境及び前記第２の音響環境の前記反響テールパラメータを包含するルックアップテーブルに基づいて、反響テール制御信号を使用して制御される、請求項４に記載のコンピュータにより実施される方法。

【請求項13】

－反響テールのトーナル特性を形状付けるように、前記第１の反響テール信号及び前記第２の反響テール信号に等化フィルタを適用することを更に含む、請求項４に記載のコンピュータにより実施される方法。

【請求項14】

前記入力音声信号は、マルチチャネル音声信号である、請求項１に記載のコンピュータにより実施される方法。

【請求項15】

前記フェーディング工程は、前記過渡的な早期反射信号における前記第１の早期反射信号及び前記第２の早期反射信号の前記ブレンドを制御するユーザ入力に基づいて適応的である、請求項１に記載のコンピュータにより実施される方法。

【請求項16】

－３Ｄ音声信号を生成するように、マルチチャネル３Ｄサラウンドシステムに前記直接入力音声信号及び前記過渡的な早期反射信号を経路指定することと、
－前記出力音声信号を生成するように、ラウドスピーカレベルで再現ルーム補償のためにシステム等化フィルタに前記３Ｄ音声信号を提供することと、
を更に含む、請求項２に記載のコンピュータにより実施される方法。

【請求項17】

反響パラメータの前記第１のセット及び前記第２のセットは、現実世界音響環境または仮想音響環境のデータベースから導出される、請求項１に記載のコンピュータにより実施される方法。

【請求項18】

少なくとも１つのプロセシングユニットを含む音声システムであって、
－反響と共にユーザに出力されることになる入力音声信号を受信することと、
－第１の音響環境と関連付けられた反響パラメータの第１のセットを取得することと、
－反響パラメータの前記第１のセットとは異なる、第２の音響環境と関連付けられた反響パラメータの第２のセットを取得することと、
－第１の早期反射信号を生成するように反響パラメータの前記第１のセットに基づいて、及び第２の早期反射信号を生成するように反響パラメータの前記第２のセットに基づいて、前記入力音声信号を処理することであって、前記第１の早期反射信号及び前記第２の早期反射信号の各々は、前記それぞれの音響環境内の初期の音反射を表すそれぞれの合成音声信号を含む、前記処理することと、
－フェーディング工程に従った前記第１の早期反射信号から前記第２の早期反射信号への遷移を含む、過渡的な早期反射信号を生成するように、前記フェーディング工程を通じて前記第１の早期反射信号及び前記第２の早期反射信号を組み合わせることと、
－前記過渡的な早期反射信号に基づいて出力音声信号を提供することと、
のステップを実行するように構成される、前記音声システム。

【請求項19】

請求項１～１７のいずれか一項に記載の方法を実行するように更に構成される、請求項１８に記載の音声システム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の様々な実施例は一般に、音声処理の分野に関する。開示の様々な実施例は、特に、仮想会場反響に関し、より具体的に、連続した再生を可能にすると共に、異なる反響設定の間のシームレスな反響遷移のための方法に関する。

【背景技術】

【0002】

音声処理は、車両、オンラインミーティング、ゲーミング、及び仮想現実内のエンターテインメントシステムを含む、様々な産業の必須の態様になっている。音声処理の重要な構成要素の１つは、ルーム音響、言い換えると反響のシミュレーションである。反響は、元の音が生成された後の特定の空間内の音の持続性である。没入的及び現実的な聴取経験を生み出すために、音声エンジニアは、異なる音響環境をシミュレートする様々な反響技術を採用することが多い。

【0003】

しかしながら、慣習的な反響技術は、既知の制約を有している。ユーザが仮想会場の間、もしくは異なる反響設定の間で遷移することを望むとき、または聴取経験を調節することを望むとき、音声は、短いミュート段階に入ることが多く、または経験は、反響特性において突然変化することが多い。これは、音声再生における望ましくない途切れをもたらす場合があり、全体的な聴取経験に影響を及ぼし、音の連続性を中断させる。

【発明の概要】

【課題を解決するための手段】

【0004】

したがって、上記説明された制約及び欠点の少なくとも一部を緩和または軽減する、仮想会場反響に対する進展した技術の必要性が存在する。

【0005】

この必要性は、独立請求項の特徴により、充足される。従属請求項の特徴は更に、有利な実施例を定義する。

【0006】

以下では、本開示による解決策が、特許請求される反響方法と共に特許請求される音声システムに関して説明され、特徴、利点、または代替の実施形態は、特許請求の範囲に記載された他の目的に割り当てることができ、またその逆も可能である。言い換えると、音声システムに関連する請求項は、方法のコンテキストにおいて説明される特徴によって改善されることができ、方法は、音声システムのコンテキストにおいて説明される特徴によって改善されることができる。

【0007】

入力音声信号を処理するためのコンピュータにより実施される方法が提供される。方法は、例えば、プロセシングユニットを含む音声システムによって、またはコンピューティングデバイスによって実施される。

【0008】

方法は、反響が適用され、ラウドスピーカを使用して反響と共にユーザに続いて出力されることができる入力音声信号を受信することを含む。

【0009】

第１の音響環境と関連付けられた反響パラメータの第１のセットが取得される。反響パラメータの第１のセットとは異なる、第２の音響環境と関連付けられた反響パラメータの第２のセットが更に取得される。

【0010】

入力音声信号は、第１の早期反射信号を生成するように反響パラメータの第１のセットに基づいて、及び第２の早期反射信号を生成するように反響パラメータの第２のセットに基づいて処理される。言い換えると、例えば、第１の早期反射信号及び第２の早期反射信号それぞれを並列して生成するために、計算または処理の手順またはステップにおいて、反響パラメータの第１のセット及び第２のセットが使用される。

【0011】

第１の早期反射信号及び第２の早期反射信号の各々は、音響環境内の直接信号及び／または第１の反射の後の予め定められた時間閾値の前に生じる音反射と称され得る、それぞれの音響環境内の初期の音反射のみを表すそれぞれの合成音声信号を含む。それらは、音響環境内の反響テール信号または複数の／拡散反射と関連付けられた更なる信号成分を含み得ない。第１の早期反射信号及び第２の早期反射信号は、第１の早期反射信号から第２の早期反射信号へ遷移する、第１の早期反射信号及び第２の早期反射信号を含む組み合わせ信号を生成するように相互と組み合わされる。組み合わせることは、第１の早期反射信号から第２の早期反射信号にフェードし、言い換えると、過渡的な早期反射信号を生成するように組み合わせるためにフェーディング工程が使用され、過渡的な早期反射信号はしたがって、フェーディング工程に従った第１の早期反射信号から第２の早期反射信号への遷移を含む。遷移は、疑似的に連続することができ、またはリスナが区別することができるよりも小さいステップサイズを有する小さいステップにあることができる。

【0012】

出力音声信号は、過渡的な早期反射信号に基づいて、または過渡的な早期反射信号を使用して提供される。出力音声信号は、他の信号成分の中で、直接入力音声信号及び過渡的な早期反射信号の組み合わせを含むことができる。

【0013】

全体的なアイデアにより、開示される方法は、少なくとも２つの別個の部分または信号、例えば、早期反射信号及び反響テール信号に反響工程を分割することに基づいている。第１の信号が異なる音響環境に対して並列して提供される、それらの２つの部分を独立して処理することによって、方法は、ユーザに、反響パラメータを変更する間に中断されない音声経験をもたらすことができる。

【0014】

第１の早期反射信号及び第２の早期反射信号は、それぞれの音響環境内の初期の音反射のみを表すそれぞれの合成音声信号を含み、合成音声信号は、直接信号における音イベントの後の予め定められた時間間隔または期間まで生じる音イベントの反響特性または反射であり、複数の反射の後に生じる反響特性または反射でない。

【0015】

早期反射信号は、２つの異なる音響環境に対して並列して提供される、反響信号の第１の部分を指し得る。反響テール信号は、第２の反響信号を指し得、第２の反響信号は、第１の反響信号を補足し、及び／または第１の信号に少なくとも部分的に含まれない、第１の反響信号に含まれない効果を含む。したがって、反響テール信号は、反響効果を含み、反響効果は、並列してもたらされないが、２つの音響環境の間で切り替えられる。言い換えると、早期反射信号を提供するとき、反響テール信号が計算されず、含まれもしない。

【0016】

反響工程の早期反射信号は、所与の音響環境内の初期の音反射を表す。初期の音反射としても知られる早期反射は、直接音の直後にリスナの耳に到達する最初の一連のエコーである。それらの反射は、音波が壁、天井、及び物体などの音響環境内で様々な表面から跳ね返るにつれて生じる。早期反射信号は、反響テール信号と比較して、その短い遅延時間及び相対的に高い振幅によって特徴付けられる。それらの初期の反射は、環境のサイズ、形状、及び材料性質のリスナの感知に著しく貢献する。

【0017】

言い換えると、早期反射は、音源から直接音が到着した後にリスナの耳に到達するそれぞれのシミュレートされた音響環境内の第１の数の音反射または第１の予め定義された数の音反射のみを含み得る。それらの反射は、音波が、複数の反射が含まれ得ない、壁、天井、及び物体などの音響環境内で様々な表面から跳ね返るにつれて生じる。シミュレーションの観点で、早期反射は、リスナに音が到着する前の制限された数の音反射を表し得る。反響テールから早期反射を区別するために、例えば、音が反響テール信号の部分であると考えられる前の最大数の反射または時間遅延を表す、予め定められた閾値が確立されることができる。

【0018】

それらの早期反射は、反響テールとして知られる、音減衰がさらに延長する前に生じる。対照的に、拡散反射または反響減衰としても説明される、反響テールは、早期反射に続いて音響環境内で生じる後続の音反射及び減衰特性を表す。反響テール信号は、そのより長い遅延時間及び段階的に減少する振幅によって特徴付けられる。音波が環境の周りで跳ね返り続けるにつれて、それらは、エネルギーを損失し、より拡散され、最終的に全体的にフェードアウトする。反響テール信号は、環境の空間的に大きいこと及び全体的な周囲環境のリスナの感知に貢献する。

【0019】

言い換えると、複数の反射または拡散反射を含む反響テール信号は、早期反射への後続の音反射、及び早期反射に続く音響環境内で生じる減衰特性を指す。それらの反射は、例えば、早期反射と比較して、音波が環境の周りで跳ね返り続けるにつれて段階的に減少する振幅を有し得る。音伝播シミュレーションでは、反響テールは、時間点または遅延時間を表す予め定められた閾値の後の全ての効果及び反射、早期反射がより拡散する後期反射に遷移する後続の反射の数を含み得る。反響テールは、環境の空間的に大きいこと及び全体的な周囲環境のリスナの感知に貢献する。したがって、対照的に、反響テールは、早期反射に続いて、音響環境内で生じる後期音反射及び減衰特性を表す。処理方法は、両方の環境に対して同時に反響テールを計算しない。代わりに、それは、２つの環境の反響テール信号の間で切り替え、または連続した再生の間でいずれかの中間ステップを切り替える。

【0020】

したがって、早期反射及び反響テールの分離を説明する方法は、全体的な反響工程の２つの区別できる部分としてそれらを定義することである。早期反射は、反響テールが後続の後期音反射及び減衰特性を含む、音響環境内で最初に生じる音反射として考えられることができる。それらの２つの成分を区別するために、閾値または別の特有の境界が使用されることができる。

【0021】

例えば、音響環境についての最も顕著な反射ピークは、音声信号に対して検出されることができ、早期反射ネットワークによって再モデル化されることができる。

【0022】

例えば、入力音声に含まれる複数の音イベントの各々に対し、早期反射信号は、典型的には最初の５０ミリ秒以内の、直接音の後のリスナの部分へのそれらの急速な到着によって特徴付けられる、音響環境内で生じる初期の音反射を表す合成音声信号として説明されることができる。一方で、反響テール信号は、早期反射の後のそれらの発生によって特徴付けられ、典型的には直接音から５０ミリ秒を上回る、より延長した期間にわたって延長する、音響環境内の後期音反射及び減衰特性を表す。

【0023】

直接音、早期反射及び反響テールの間の、閾値によって規定されるような時間間隔または期間は、直接音と反射との間の時間差に基づいて測定され得る。早期反射信号及び反響テール信号は、反響的空間内の直接音に続く同一の音イベントを表す。早期反射と反響テールとの間の区別は、それらの到着時間及び特性に基づいている。早期反射は、典型的には、直接音の後の最初の５０ミリ秒以内にリスナの位置に到着する、音反射の第１のセットである。反響テールは、早期反射の後に生じ、典型的には直接音から５０ミリ秒を上回る、より延長した期間にわたって延長する、後期音反射及び減衰特性から構成される。よって、期間は、反響的空間内の同一の連続した音イベント内での早期反射段階から反響テール段階への遷移を表し及び特徴付ける。

【0024】

これは、直接音声信号における特定の音イベントについての反響効果に基づいて２つの信号を分離する、時間期間値として予め定められた閾値を使用して、早期反射信号と反響テール信号との間の明確な区別を確立する。この定義では、閾値は典型的には、５０ミリ秒に設定される。これは、直接音の後の最初の５０ミリ秒以内に生じる音反射が早期反射信号の部分と考えられると共に、５０ミリ秒を上回って延長する音反射及び減衰特性が反響テール信号として分類されることを意味する。

【0025】

予め定められた閾値は、特定の要件に従って、及び音響環境の特定の態様を強調するように調節されることができることを理解されよう。例えば、感知された空間内を形状付ける際に早期反射が特に重大であるより小さい音響環境または用途に対して、４０ミリ秒が適切であり得る。例えば、早期反射がより広がり、それらの完全な効果を補足するためにより長い時間ウインドウを必要とする、より大きい音響環境に対して、６０ミリ秒が適切である。例えば、閾値を７５ミリ秒まで延長することによって、早期反射信号は、複雑なジオメトリまたはより高い程度の拡散を有する環境内の初期の音反射のより詳細な表現をもたらし得る。例えば、最も直近の且つ顕著な早期反射を捕捉することに焦点を置き、直接音の空間的印象を強調する用途において、３０ミリが使用される。例えば、音響環境の反響的性質があまり重要でなく、早期反射信号が全体的な音を形状付けるのにより有意な役割を果たす状況において、１００ミリ秒が有用であり得る。

【0026】

早期反射信号及び反響テール信号を分離する、予め定義された閾値または予め定められた閾値を設けることによって、音声信号処理方法は、異なる音響環境及び用途に順応するように適合されることができ、空間特性と反響的品質との間の最適なバランスを保証する。

【0027】

概して、開示される音声信号処理方法は、入力音声信号を受信し、各々が一意な音響環境と関連付けられた反響パラメータの２つのセットを取得する。方法は、それらのパラメータに基づいて入力音声信号を処理し、第１の早期反射信号及び第２の早期反射信号を同時に生成する。それらの合成音声信号は、それらのそれぞれの環境内の初期の音反射を表す。

【0028】

方法は次いで、フェーディング工程を通じて第１の早期反射信号及び第２の早期反射信号を組み合わせ、過渡的な早期反射信号を生成する。この過渡的な信号は、フェーディング工程に従った、または反響テールＬＵＴにおいて定義されたいずれかの中間ステップに従った第１の早期反射信号から第２の早期反射信号への遷移、すなわち、１つの中間ブレンディングステップから別の中間ブレンディングステップでさえ、２つのルームの間のいずれかの中間ブレンディングステップへのフェーディングを包含する。出力音声信号は、直接入力音声信号及び過渡的な早期反射信号の組み合わせから構成され、ユーザに、遷移の間の連続した音声再生をもたらす。

【0029】

このアプローチでは、早期反射及び反響テールは、同一の工程内で計算されない。この区別は、２つの異なる音響環境についての早期反射信号の並列処理を可能にする。結果として、音声経験は、２つの環境の間のリスナ遷移の間に中断されないままであることができる。一方で、反響テール信号は同時に処理されず、それらは、連続した再生の間に切り替えられることができ、それらの間でフェードすることも可能である。

【0030】

反響工程を早期反射及び反響テールに分離することによって、方法は、音響環境を変更するときのよりシームレスな音声経験をもたらす。両方の環境について早期反射を同時に計算し、次いで、それらの間でフェードすることによって、過渡的な早期反射信号が同時に生成される。このアプローチは、音声出力が遷移の間に中断されないままであることを保証する。早期反射及び反響テールを分離するための音声信号処理方法の発明的アプローチは、異なる音響環境の間で変更する間のユーザに対する改善した音声経験を提供する。それらの２つの成分を独立して処理することによって、方法は、円滑な遷移を保証すると共に、連続した音声再生を維持する。この区別は、反響パラメータを調節するときの中断されない音声経験を楽しむことを可能にし、全体的な聴取経験を高める。したがって、開示される方法の利点は、異なる音響環境の間での連続した且つシームレスな遷移を可能にすると共に、中断されない音声再生を維持することである。反響パラメータの２つのセットに基づいて入力音声信号を処理し、２つの早期反射信号を同時に生成することによって、方法は、異なる環境の音響特性の円滑なブレンディングを可能にし、それによって、再生におけるいかなる途絶も伴わず没入的な音声経験をもたらす。

【0031】

反響パラメータは、音が所与の音響環境内でどのように反響するかに影響する所定の音響環境の特性を指し得る。早期反射という用語は、音響環境内で音が放出された直後に生じる初期の音反射を指す。過渡的な早期反射信号は、２つの音響環境の間の遷移を表すブレンドされた信号または混合された信号とも称されることができる、フェーディング工程を通じて第１の早期反射信号及び第２の早期反射信号を組み合わせることによって生成される、第１の音響環境及び第２の音響環境内の初期の音反射のブレンドを表す連続した且つシームレスな音声信号である。

【0032】

それぞれの音響環境内の入力音声信号の最初に生じる音反射をシミュレートすることによって、第１の早期反射信号及び第２の早期反射信号が生成されることができる。最初に生じる音反射をシミュレートすることは、特定の環境内の音波の初期の反射を複製することを意味する。これは、音響環境のジオメトリ、表面及び材質を考慮に入れる機械的モデル及びアルゴリズムを使用して達成され得る。最初に生じる音反射を正確にシミュレートすることによって、方法は、異なる環境の音響性質の現実的な表現をもたらし、ユーザに対する音声経験の品質を改善する。

【0033】

出力音声信号は、第１の早期反射信号から第２の早期反射信号に遷移する間に、ユーザに連続して出力されることができる。連続した出力は、異なる音響環境の間での遷移の間の音声信号の中断されない再生を指す。これは、ユーザが音声再生においていかなるギャップまたは途絶も経験しないことを保証する。連続した出力は、音声経験におけるユーザの没入感を維持し、いかなる中断もなく異なる環境の間でのシームレスな遷移をもたらす。

【0034】

直接入力音声信号は更に、第１の反響テール信号を生成するように反響パラメータの第１のセットに基づいて、及び第２の反響テール信号を生成するように反響パラメータの第２のセットに基づいて処理されることができる。第１の反響テール信号及び第２の反響テール信号は相互に対して、及び／または第１の早期反射信号及び第２の早期反射信号にその後または同時に提供されることができる。直接入力音声信号、過渡的な早期反射信号、及び第１の反響テール信号の組み合わせを含む、出力音声信号が提供されることができる。出力音声信号の連続した再生の間、及び／または第１の早期反射信号から第２の早期反射信号への段階的な遷移の間、第１の反響テール信号は、第２の反響テール信号に切り替えられることができる。出力音声信号は次いで、切り替えの後、直接入力音声信号、過渡的な早期反射信号、及び第２の反響テール信号を含む。

【0035】

反響テール信号は、早期反射に続いて、特定の音響環境内で生じる後期音反射及び減衰特性を表す。反響パラメータの異なるセットに基づいて直接入力音声信号を処理することは、環境ごとの区別できる反響テール信号を生成する。連続した再生の間に反響テール信号を切り替えることは、異なる音響環境の間での円滑で没入的な遷移を可能にし、ユーザに対する一貫した音声経験を維持する共に、処理リソース及びメモリリソースを削減する。言い換えると、早期反射及び反響テールという用語は、ルーム環境または音響環境内の反響を表す出力音声信号の異なる成分を説明するために、音声処理及び音響の分野において使用される。早期反射信号についてと同様の方法において、第１の反響テール信号と第２の反響テール信号との間で遷移することも可能である。

【0036】

実音響環境の例は、その各々がそれらの異なるサイズ、形状、及び材質に起因した区別できる反響特性を有する、コンサートホール、教会、スタジアム、または小型ルームを含む。コンサートホールでは、例えば、早期反射信号は、壁、床、及び天井からの初期の反射を捕捉すると共に、反響テール信号は、ホールにその特性音を与える持続した反響及び減衰を表す。

【0037】

音響環境は、特定の現実世界空間または全体的な、新たな一意の環境をシミュレートするように設計されることができる。仮想会場の例は、有名なコンサートホール、異世界の反響性質を有する幻想的な洞窟、または親密なジャズクラブのデジタルシミュレーションの仮想表現を含み得る。それらのケースでは、早期反射信号及び反響テール信号は、仮想環境と関連付けられた反響パラメータに基づいて生成され、リスナに、シミュレートされた空間内の現実的で没入的な音声経験をもたらす。

【0038】

ユーザからの音声信号を含むことができるマイクロフォン信号が更に受信されることができる。第１の反響テール信号及び第２の反響テール信号は、マイクロフォン信号にも基づいて生成されることができる。マイクロフォン信号は、ユーザのボイスまたは他の音を含み得る、ユーザからのマイクロフォンによって捕捉される音声入力を指す。マイクロフォン信号を反響テール信号の生成に組み込むことによって、方法は、ユーザの入力も変化する音響環境に従って処理されることを保証する。変化する音響環境に適合する、ユーザの入力が音声信号の残りと共に動的に処理されるように、これは、より現実的で没入的な音声経験を可能にする。

【0039】

いくつかの実施例では、マイクロフォン信号は、反響テールにのみ適用されることができる。これは、マイクロフォン信号がフェードするときに中断させる。他の実施例では、マイクロフォン信号は、早期反射ネットワークにも適用されることができ、早期反射ネットワークは、小さい遅延をもリアルタイムでもたらすために、低待ち時間システムＥＱを必要とする。

【0040】

反響パラメータの第１のセットまたは第２のセットに基づいてマイクロフォン信号を処理することは、それぞれの音響環境内のユーザの位置を更に考慮に入れることができる。ユーザの位置は、仮想音響環境または実音響環境内のユーザのロケーションを指す。マイクロフォン信号を処理するときのユーザの位置を考慮することによって、方法は、それぞれの環境内で生じる音反射及び反響特性をより正確にシミュレートすることができる。ユーザの位置を考慮に入れることは、それが音響環境内のユーザの特異な視点を考慮するため、より正確で没入的な音声経験を保証する。

【0041】

過渡的な早期反射信号は、第１の音響環境及び第２の音響環境内の初期の音反射のブレンドを表す連続した且つシームレスな音声信号であることができる。連続した且つシームレスな音声信号は、いかなる中断または音声品質における顕著な変化も伴わない、第１の音響環境と第２の音響環境との間で円滑に遷移する音声出力を指す。ユーザが異なる音響環境との間での円滑で中断されない遷移を経験するように、これは、より没入的で現実的な音声経験をもたらし、音声再生の全体的な一貫性を維持する。

【0042】

第１の音響環境は、第１の仮想もしくは実会場もしくはシーンに対応することができ、第２の音響環境は、第２の仮想もしくは実会場もしくはシーンに対応することができる。代わりに、第２の音響環境は、パラメータの第１のセットの少なくとも１つのパラメータのユーザ誘発パラメータ変更に対応することができる。仮想会場は、反響パラメータを使用してシミュレートされることができるデジタル的に作成される音響環境である。ユーザ誘発パラメータ変更は、音響環境の特性に影響を及ぼす場合がある、反響パラメータの１つ以上のパラメータへのユーザによって行われる調節を指す。これは、それらが予め定義された仮想会場の間で遷移することができ、既存の環境のパラメータへの調節を行うことができるため、ユーザに対するより大きな柔軟性及びカスタマイズを供給し、自身の好みにユーザが音声経験を適合させることを可能にする。

【0043】

反響パラメータ変更は、第１の音響環境と関連付けられた反響パラメータの様々な態様を調節することを可能にする、インタフェースまたは制御システムを通じてユーザによって導入されることができる。そのような調節は、ルームサイズ、形状、表面材質、材料環境内のリスナの位置を修正することを含み得る。ユーザは、ノブもしくはスライダなどの物理制御を使用して、または音響環境の視覚的表現及び関連するパラメータを提供するソフトウェアインタフェースを通じて、それらの調節を行い得る。

【0044】

慣習的な音声処理システムでは、環境の反響パラメータを変更することは典型的には、音声再生における短い中断を結果としてもたらす。システムが新たなパラメータに基づいて早期反射及び反響テール信号を再計算及び再ロードする必要があることを理由に、それらの中断が生じる。この工程の間、音声出力がミュート及び途絶され得、ユーザに対する音声経験における望ましくない途切れを生じさせる。

【0045】

本発明は、反響テール及び早期反射信号の処理を分割することによって、この制約を改善する。第１の早期反射信号及び第２の早期反射信号を同時に生成及び提供することによって、方法は、ユーザが音響環境のパラメータを調節する間にシームレスで連続した音声再生を可能にする。ユーザが新たなパラメータにおいてダイヤルするにつれて、第１の早期反射信号及び第２の早期反射信号を円滑にブレンドするフェーディング工程を通じて、過渡的な早期反射信号が生成される。これは、主音声及び早期反射が中断されないことを保証し、シームレスな音声経験をもたらす。早期反射及び主音声信号が中断されないままであるので、反響テール中断の全体的な影響が最小化され、より没入的で円滑な音声経験をもたらす。

【0046】

第１の早期反射信号及び第２の早期反射信号は、同時に生成及び／または提供されることができる。早期反射信号を同時に提供することは、両方の信号が同時に生成され、同時に処理するために利用可能であることを意味する。これは、音響環境の間での遷移の間の早期反射信号の円滑でシームレスなブレンディングを可能にする。いかなる中断または音声品質における顕著な変化もなく、ユーザが異なる音響環境の間で円滑に遷移することができるように、早期反射信号の同時提供は、より没入的で一貫した音声経験を保証する。

【0047】

コンピュータにより実施される方法は、過渡的な早期反射信号における待ち時間を補償することを含むことができる。直接音声信号、早期反射信号、及び反響テール信号は、待ち時間制御信号に基づいて同期される。待ち時間補償は、環境の間での遷移の間に異なる音声信号が同期されたままであることを保証する。音声処理チェーンにおける処理遅延を分析することによって、待ち時間制御信号が生成されることができる。これは、音声信号が同期されたままであるように、シームレスな音声経験を可能にし、音声再生におけるいかなる顕著なアーチファクトまたは中断も防止する。

【0048】

第１の反響テール信号及び第２の反響テール信号の生成は、反響テール制御信号を使用して制御されることができる。制御信号は、第１の音響環境及び第２の音響環境の反響テールパラメータを包含するルックアップテーブルに基づいている。反響テール制御信号は、反響効果のテールパラメータを管理することへのデータドリブンアプローチであることができる。ルックアップテーブルは、様々な環境についてのパラメータの異なるセットを記憶することができ、それらの間での円滑な遷移を可能にする。このアプローチは、それが異なる仮想会場内の反響テール特性に対して正確な制御を可能にするように、より正確でカスタマイズ可能な音声経験を可能にする。

【0049】

第１の反響テール信号及び第２の反響テール信号に等化フィルタが適用されることができる。等化フィルタは、反響テールのトーナル特性を形状付ける。等化フィルタは、反響テール信号の周波数応答を調節することができ、それらのトーナル特性に対する更なる制御をもたらす。これは、仮想環境の所望の音により良好に整合することを支援する。反響テール信号に等化フィルタを適用することは、仮想会場の間で遷移するときにより現実的で没入的な音を可能にすることによって、全体的な音声経験を高める。

【0050】

入力音声信号は、マルチチャネル音声信号であることができる。マルチチャネル音声信号は、より没入的で空間的に正確な音経験をもたらす。これは、ステレオ、サラウンド音、または更にはより進展した３Ｄ音声フォーマットなどのフォーマットを含むことができる。マルチチャネル音声信号を処理することは、異なる仮想会場内でのより従事した且つ現実的な音声経験を可能にし、ユーザによりリッチでより没入的な聴取経験をもたらす。

【0051】

フェーディング工程は、ユーザ入力が過渡的な早期反射信号における第１の早期反射信号及び第２の早期反射信号のブレンドを制御することに基づいて適応的であることができる。適応的フェーディングは、ユーザが早期反射信号のブレンディングを制御することを可能にし、仮想会場の間での遷移に対して更なる制御を与える。これは、様々なユーザインタフェース要素または入力デバイスを使用して行われることができる。適応的フェーディングをもたらすことによって、ユーザは、より個別化された音声経験を達成することができ、音声再生の特性に対するより円滑な遷移及び更なる制御を可能にする。

【0052】

コンピュータにより実施される方法は、マルチチャネル３Ｄサラウンドシステムに直接入力音声信号及び過渡的な早期反射信号を経路指定することを含むことができる。これは、ラウドスピーカレベルでの再現ルーム補償のためにシステム等化フィルタに提供される、３Ｄ音声信号を生成する。これは、出力音声信号を生成する。３Ｄ音声信号処理及びルーム補償技術は、音声再生の空間的精度を高めることができ、より没入的で現実的な音声経験をもたらす。これは、様々な等化及び空間処理アルゴリズムを使用して達成されることができる。３Ｄ音声及びルーム補償技術を組み込むことは、それらの特定の聴取環境に関わらず、ユーザに対するより正確で没入的な音声経験を保証する。

【0053】

反響パラメータの第１のセット及び第２のセットは、現実世界環境または仮想音響環境のデータベースから導出されることができる。データベースは、様々な環境についての反響パラメータを記憶することができ、それらの音響特性正確な再現を可能にする。これは、特定の目的のために設計された現実世界会場または仮想環境を含むことができる。反響パラメータのデータベースを利用することによって、システムは、より正確で現実的な音声経験をもたらすことができ、ユーザが広範囲の仮想会場内でそれら自体の没入することを可能にする。

【0054】

それらの方法またはそれらの方法のいずれかの組み合わせは、例えば、以下で説明されるように、音声信号処理システム、コンピューティングデバイス、または音声システムによって実施されることができる。デバイスのそのようなシステムは、本開示において説明されるようないずれかの方法または方法の組み合わせを実行するように適合されることができる。

【0055】

以下のステップを実行することによって音声信号を処理するように適合された対応する音声システムが提供される。音声システムは、少なくとも１つのプロセッサ、メモリ、及び任意選択で少なくとも１つのラウドスピーカ及び少なくとも１つのマイクロフォンを含む。少なくとも１つのラウドスピーカ及び／またはマイクロフォンは、音声システムによって生成される音声信号を聴取することができるユーザの周りの予め定義された位置に配列されることができ、少なくとも１つのマイクロフォンを通じて音声入力を生成することができる。

【0056】

入力音声信号を受信するステップでは、音声システムのプロセシングユニットは、反響と共にユーザに出力されることになる音声信号を獲得する。この信号及び任意選択でマイクロフォン信号は、仮想環境内の没入的な音声経験を生じさせるために使用されることができる。

【0057】

反響パラメータの第１のセットを取得するステップでは、システムは、第１の音響環境と関連付けられたパラメータを取り出す。それらのパラメータは、第１の音響環境内の反響効果の特性を定義する。

【0058】

反響パラメータの第２のセットを取得するステップでは、システムは、第１の環境とは異なる第２の音響環境と関連付けられたパラメータを取り出す。それらのパラメータは、第２の音響環境内の反響効果の特性を定義する。

【0059】

入力音声信号を処理するステップでは、音声システムは、反響パラメータの第１のセット及び第２のセットに基づいて、入力音声信号を処理する。これは、第１の音響環境についての第１の早期反射信号及び第２の音響環境についての第２の早期反射信号を生成する。各々の早期反射信号は、それらのそれぞれの環境内の初期の音反射を表す合成音声信号を含み、反響テール信号、すなわち、後に生じる反響高価を含まない。言い換えると、反響信号処理は、２つの音響環境に対して並列して提供される早期反響信号と、或る時間点において１つのそれぞれの音響環境のみに対して提供される後期反響信号とに分割され、切り替えられる。

【0060】

第１の早期反射信号及び第２の早期反射信号を組み合わせるステップでは、音声システムは、過渡的な早期反射信号を生成するためにフェーディング工程を使用する。この信号は、第１の早期反射信号から第２の早期反射信号への遷移を表し、ユーザが環境の間で移動する際の円滑で連続した音声再生経験を保証する。

【0061】

出力音声信号を提供するステップでは、音声システムは、直接入力音声信号及び過渡的な早期反射信号の組み合わせを含む出力信号を生成する。この組み合わされた出力信号は、ユーザに対する現実的で没入的な音声経験を生じさせ、仮想環境の音をシミュレートする。

【0062】

コンピューティングデバイスは、本開示に係る方法によって音声信号を処理するために構成され、コンピューティングデバイスは、メモリ、インタフェース、及び少なくとも１つのプロセシングユニットを含み、メモリは、先述の少なくとも１つのプロセシングユニットによって実行可能な命令を包含し、命令の実行は、コンピューティングデバイスに、本開示に係るいずれかの方法または方法の組み合わせを実行させる。

【0063】

コンピュータプログラム、またはコンピュータプログラム製品は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されることになるプログラムコードを含む。そこでは、プログラムコードの実行は、少なくとも１つのプロセッサに、本開示に係る音声信号を処理する方法の１つを実行させる。

【0064】

コンピュータ可読記憶媒体は、プロセッサよって実行されるとき、プロセッサに、本開示に係るいずれかの方法または方法の組み合わせを実施させる。

【0065】

音声信号を処理するためのそのようなコンピューティングデバイス、音声システム、コンピュータプログラム、及びコンピュータ可読記憶媒体について、音声信号を処理するための方法及び音声システムについて説明される技術的効果に対応する技術的効果が達成され得る。

【0066】

上述の特徴または以下に説明される特徴は、示されるそれぞれの組み合わせのみではなく、本開示の範囲を逸脱することなく、他の組み合わせでも、または分離して使用されることができることを理解される。特に、上述の特徴及び以下に説明される特徴は、示されるそれぞれの組み合わせのみではなく、本開示の範囲を逸脱することなく、他の組み合わせでも、または分離して使用され得る。

【0067】

したがって、上記の概要は、いくつかの実施形態及び実施態様のいくつかの特徴について簡単に概要を説明することを目的としており、限定するものと解釈されるべきではない。他の実施形態は、上記で説明したもの以外の特徴を含み得る。

【0068】

本発明のこれらの目的及び他の目的は、好ましい実施形態の詳細な説明、及び同様の参照番号が同様の要素を指す以下の図面から、当業者には認識及び理解されるであろう。
本発明は、例えば、以下を提供する。
（項目１）
プロセシングユニットを含む音声システムによる音声信号処理のためのコンピュータにより実施される方法であって、
－反響と共にユーザに出力されることになる入力音声信号を受信することと、
－第１の音響環境と関連付けられた反響パラメータの第１のセットを取得することと、
－反響パラメータの前記第１のセットとは異なる、第２の音響環境と関連付けられた反響パラメータの第２のセットを取得することと、
－第１の早期反射信号を生成するように反響パラメータの前記第１のセットに基づいて、及び第２の早期反射信号を生成するように反響パラメータの前記第２のセットに基づいて、前記入力音声信号を処理することであって、前記第１の早期反射信号及び前記第２の早期反射信号の各々は、それぞれの音響環境内の初期の音反射を表すそれぞれの合成音声信号を含む、前記処理することと、
－フェーディング工程に従った前記第１の早期反射信号から前記第２の早期反射信号への遷移を含む、過渡的な早期反射信号を生成するように、前記フェーディング工程を通じて前記第１の早期反射信号及び前記第２の早期反射信号を組み合わせることと、
－前記直接入力音声信号及び前記過渡的な早期反射信号の組み合わせを含む出力音声信号を提供することと、
を含む、前記コンピュータにより実施される方法。
（項目２）
前記第１の早期反射信号及び前記第２の早期反射信号は、前記それぞれの音響環境内の前記入力音声信号の最初に生じる音反射のみをシミュレートすることによって生成される、上記項目に記載のコンピュータにより実施される方法。
（項目３）
－前記第１の早期反射信号から前記第２の早期反射信号に遷移する間、前記ユーザに前記出力音声信号を連続して出力することを更に含む、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目４）
－第１の反響テール信号を生成するように反響パラメータ前記第１のセットに基づいて、及び第２の反響テール信号を生成するように反響パラメータの前記第２のセットに基づいて、前記直接入力音声信号を処理することと、
－前記直接入力音声信号、前記過渡的な早期反射信号、及び前記第１の反響テール信号の組み合わせを含む前記出力音声信号を提供することと、
－前記出力音声信号の前記連続した再生の間、前記直接入力音声信号、前記過渡的な早期反射信号、及び前記第２の反響テール信号を含む前記出力音声信号を提供するために、前記第１の反響テール信号から前記第２の反響テール信号に切り替えることと、
を更に含む、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目５）
前記第１の反響テール信号及び前記第２の反響テール信号は、前記それぞれの音響環境内の前記早期反射に続く、前記それぞれの音響環境内で生じる好機音反射及び減衰特性を表す合成音声信号を含む、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目６）
－前記ユーザから音声信号を含むマイクロフォン信号を受信することと、
－前記マイクロフォン信号に更に基づいて、前記第１の反響テール信号及び前記第２の反響テール信号を生成することと、
を更に含む、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目７）
反響パラメータの前記第１のセットまたは前記第２のセットに基づいて前記マイクロフォン信号を処理することは、前記それぞれの音響環境内の前記ユーザの位置を更に考慮に入れる、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目８）
前記過渡的な早期反射信号は、前記第１の音響環境及び前記第２の音響環境内の初期の音反射のブレンドを表す連続した且つシームレスな音声信号である、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目９）
前記第１の音響環境は、第１の仮想会場に対応し、前記第２の音響環境は、第２の仮想会場に対応し、または
前記第２の音響環境は、パラメータの前記第１のセットの少なくとも１つのパラメータのユーザ誘発パラメータ変更に対応する、
上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１０）
第１の早期反射信号及び第２の早期反射信号は、同時に提供される、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１１）
－待ち時間制御信号に基づいて、前記直接音声信号、早期反射信号、及び／または反響テール信号を同期するように、前記過渡的な早期反射信号における待ち時間を補償することを更に含む、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１２）
前記第１の反響テール信号及び前記第２の反響テール信号を生成することは、前記第１の音響環境及び前記第２の音響環境の前記反響テールパラメータを包含するルックアップテーブルに基づいて、反響テール制御信号を使用して制御される、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１３）
－反響テールのトーナル特性を形状付けるように、前記第１の反響テール信号及び前記第２の反響テール信号に等化フィルタを適用することを更に含む、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１４）
前記入力音声信号は、マルチチャネル音声信号である、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１５）
前記フェーディング工程は、前記過渡的な早期反射信号における前記第１の早期反射信号及び前記第２の早期反射信号の前記ブレンドを制御するユーザ入力に基づいて適応的である、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１６）
－３Ｄ音声信号を生成するように、マルチチャネル３Ｄサラウンドシステムに前記直接入力音声信号及び前記過渡的な早期反射信号を経路指定することと、
－前記出力音声信号を生成するように、ラウドスピーカレベルで再現ルーム補償のためにシステム等化フィルタに前記３Ｄ音声信号を提供することと、
を更に含む、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１７）
反響パラメータの前記第１のセット及び前記第２のセットは、現実世界音響環境または仮想音響環境のデータベースから導出される、上記項目のいずれか一項に記載のコンピュータにより実施される方法。
（項目１８）
少なくとも１つのプロセシングユニットを含む音声システムであって、
－反響と共にユーザに出力されることになる入力音声信号を受信することと、
－第１の音響環境と関連付けられた反響パラメータの第１のセットを取得することと、
－反響パラメータの前記第１のセットとは異なる、第２の音響環境と関連付けられた反響パラメータの第２のセットを取得することと、
－第１の早期反射信号を生成するように反響パラメータの前記第１のセットに基づいて、及び第２の早期反射信号を生成するように反響パラメータの前記第２のセットに基づいて、前記入力音声信号を処理することであって、前記第１の早期反射信号及び前記第２の早期反射信号の各々は、前記それぞれの音響環境内の初期の音反射を表すそれぞれの合成音声信号を含む、前記処理することと、
－フェーディング工程に従った前記第１の早期反射信号から前記第２の早期反射信号への遷移を含む、過渡的な早期反射信号を生成するように、前記フェーディング工程を通じて前記第１の早期反射信号及び前記第２の早期反射信号を組み合わせることと、
－前記過渡的な早期反射信号に基づいて出力音声信号を提供することと、
のステップを実行するように構成される、前記音声システム。
（項目１９）
上記項目のいずれか一項に記載の方法を実行するように更に構成される、上記項目のいずれか一項に記載の音声システム。
（摘要）
音声信号処理のためのコンピュータにより実施される方法は、入力音声信号を受信することと、２つの区別できる音響環境と関連付けられた反響パラメータを取得することと、音響環境ごとに早期反射信号を同時に生成することと、を伴う。それらの早期反射信号は次いで、フェーディング工程に従った２つの環境の間の遷移の間、連続した過渡的な早期反射信号を作成するように、フェーディング工程を通じて組み合わされる。加えて、反響テールが生成され、及び過渡的な早期反射信号と組み合わされる。出力音声信号は、区別して切り替えられる、直接入力音声信号、過渡的な早期反射信号、及び反響テールの組み合わせとして提供され、ユーザに対するシームレスで没入的な聴取経験を結果としてもたらす。

【図面の簡単な説明】

【0069】

【図1】様々な実施形態に係る、音声システムの音声信号及び制御信号フローについてのフローチャートを概略的に例示する。

【図2】様々な実施形態に係る、音声信号を処理する方法のステップを概略的に例示する。

【図3】様々な実施形態に係る、音声システムを概略的に例示する。

【発明を実施するための形態】

【0070】

以下では、本発明の実施形態は、添付図面を参照して以下に詳細に説明される。実施形態の以下の説明は限定的な意味では解釈されるべきものではないことが理解されるべきである。本発明の範囲は、以下に説明する実施形態または図面に限定されることを意図しておらず、全体的な発明的概念の実施例を例示するものと解釈される。特に他に述べられない限り、様々な実施形態の特徴は相互に組み合わされ得る。

【0071】

本開示のいくつかの実施例は全体的に、例えば、プロセッサなど、複数の回路、データ記憶装置、接続、または電気デバイスを提供する。それらのエンティティ、他の電気デバイス、及び各々によって提供される機能性への全ての参照は、本明細書で例示及び説明されるもののみを包含すると限定されることを意図していない。開示される様々な回路または他の電気デバイスに特定のラベルが割り振られ得ると共に、そのようなラベルは、回路及び他の電気デバイスについてのオペレーションの範囲を限定することを意図していない。そのような回路及び他の電気デバイスは、望まれる特定のタイプの電気的実装に基づいていずれかの方式において、相互と組み合わされ得、及び／または分離され得る。本明細書で開示されるいずれかの回路または他の電気デバイスは、いずれかの数のマイクロコントローラ、グラフィックスプロセッサユニット（ＧＰＵ）、集積回路、メモリデバイス（例えば、フラッシュ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的プログラマブルリードオンリメモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、またはそれらの他の適切な変形）、及び本明細書で開示されるオペレーション（複数可）を実行するように相互と共同で作用するソフトウェアを含み得る。加えて、電気デバイスのいずれか１つ以上は、開示されるようないずれかの数の機能を実行するようにプログラムされた非一時的コンピュータ可読媒体において具体化されるプログラムコードを実行するように構成され得る。

【0072】

図面は概略的な表現として見なされるべきであり、図面内の例示される要素は必ずしも原寸に比例しているわけではない。むしろ、様々な要素は、それらの機能及び一般的目的が当業者に明らかとなるように表現される。図面に示される、または本明細書に記載される機能ブロック、装置、構成要素または物理的単位もしくは機能単位間の任意の接続または結合が、間接的な接続または結合によって実行されてもよい。構成要素間の結合は、有線または無線接続を通して確立され得る。機能的ブロックは、ハードウェア、ファームウェア、ソフトウェアまたはその組み合わせにおいて実装され得る。

【0073】

以下、音品質を悪化させることなく、または望ましくないアーチファクトを導入することなく、異なる反響設定の間で遷移すること、または反響パラメータに適合すると共に、連続した音声再生を維持することに関する技術が説明される。

【0074】

図１は、様々な実施形態に係る、音声システムにおける音声信号及び制御信号フローについてのフローチャートを概略的に例示する。

【0075】

図１と共に説明されるように、音声信号処理方法は、２つの音響環境の間でのシームレスな遷移をもたらすことによって、リスナの経験を高める。本技術は、ルーム反響パラメータが変化すると共に連続した音声再生が望まれる、ライブルーム反響技術に特に関連することができる。反響テール処理及び早期反射処理を分割し、よって、ユーザが異なる会場または２つの仮想会場の間で設定された中間パラメータに変化する間に連続した音声再生を維持することによって、本発明はこれを達成する。

【0076】

このライブルーム反響技術についての音声信号フローは、例えば、音楽音声、会議音声、またはエンターテインメント音声などの音声源信号とも称される入力音声信号、と、音声入力、例えば、自動車の内部などの聴取環境内に人からの発話を捕捉するマイクロフォン信号、との両方を処理することを伴う。

【0077】

信号処理方法のフローチャートは、ステレオフォーマットまたはサラウンドフォーマットにあることができる、音声源が入力音声信号を提供することにより開始する。入力音声信号は、追加のマイクロフォン信号と混合されることができる、ミキサ／ルータを介して、プロセシングユニットに送信され、プロセシングユニットは、２つの異なる音響環境、例えば、ルームＡ及びルームＢの早期反射パターンに基づいて早期反射信号を生成する。早期反射信号は、現実的な音声経験をもたらすように、３Ｄサラウンドフォーマットにおいて作成されることができる。

【0078】

対応するプロセシングユニットによって実行されることができる、早期反射パターンＡ及びＢの音声処理ステップでは、ルームＡ及びルームＢの両方についての特有の早期反射が発生する。両方のパターンは、ステップの出力として同時に提供される。２つの別個の早期反射音声信号は次いで、早期反射フェーダＡ／Ｂと称されるマルチチャネルフェーダに入り、マルチチャネルフェーダは、制御信号に応じて、ルームＡ及びルームＢの早期反射パターンの間でフェードする。このフェーディング工程は、過渡的な早期反射信号を生成し、過渡的な早期反射信号は、第１の音響環境及び第２の音響環境内の初期の音反射の混合を含む、第１の早期反射信号及び第２の早期反射信号の連続した且つシームレスなブレンドを表す。

【0079】

言い換えると、音声源信号（ステレオまたはサラウンド）は、２つの異なる音響環境についての特有の早期反射信号を並列して生成するように最初に処理される。それらのパターンは次いで、マルチチャネルフェーダによって、第１の早期反射信号から第２の早期反射信号への段階的な遷移を含む過渡的な早期反射信号に組み合わされる、すなわち、を使用してブレンドされる。その後、過渡的な早期反射信号及び直接信号は、早期反射ルータに分散される。

【0080】

早期反射ルータから直接入力音声信号及び過渡的な早期反射信号は、３Ｄ音声信号を生成するように、マルチチャネル３Ｄサラウンドシステムに経路指定され、３Ｄ音声信号は、ＦＩＲフィルタシステムＥＱユニットに更に提供される。ＦＩＲフィルタシステムＥＱは、ラウドスピーカレベルで再現ルームについてのシステム等化を適用し、音声信号が特定の聴取環境に対して最適化され、総計ステップにそれを提供する。反響パラメータの間の遷移が行われることになるときでさえ、組み合わされた直接信号及び早期反射信号がリスナに連続して提供される。

【0081】

早期反射ルータから、直接音声信号及び過渡的な早期反射信号は更に、早期反射ダウンミキサに分散される。早期反射ダウンミキサは、反響エンジンまたは反響ユニットによって処理されることができる、２－チャネルステレオフォーマットまたはいずれかの他のフォーマットへの直接音信号及び早期反射信号（組み合わされた直接／早期反射信号）のダウンミックスを生成する。このダウンミックスは、様々な音声フォーマット及びシステムとの互換性を可能にする。

【0082】

待ち時間制御信号に基づいた待ち時間補償は、連続した直接信号及び早期反射信号、並びに生成されることになる反響テール信号を含む音声信号を同期するように、ダウンミキサから組み合わされた直接信号及び過渡的な早期反射信号に適用される。この同期は、２つの音響環境の間の遷移の間に、出力音声信号がコヒーレントなままであり、及びアーチファクトがないことを保証する。

【0083】

待ち時間補償は、反響ユニットにおいて生成されることになる反響テール信号と、早期反射を含む直接信号とを同期するように、待ち時間補償ユニットによって実行される。待ち時間計算ルックアップテーブル（ＬＵＴ）に基づいて制御信号により待ち時間補償ユニットを制御することによって、この同期が達成される。音声信号は次いで、反響ユニットに送信され、反響ユニットは、反響テールを生じさせる。

【0084】

反響ユニットでは、反響テールＬＵＴによって提供されるパラメータセットを使用して、反響テールは、直接／早期反射信号に対して発生する。パラメータが反響パラメータの第１のセットから反響パラメータの第２のセットに変化するとき、反響ユニットは、反響ネットワークを再構築するように、短いミュート段階を経験し得る。しかしながら、直接信号及び早期反射は、このミュート段階によって影響されず、ＦＩＲフィルタシステムＥＱ及び総計ステップに連続した音声を提供する。

【0085】

反響テールのトーナル特性は、反響制御信号、特に反響テールＬＵＴによって制御される、反響テールＥＱ及びレベルユニットにより形状付けられる。フィルタされたマルチチャネル音声は次いで、ラウドスピーカレベルで再現ルームについてのシステムＥＱをも設ける低待ち時間システムＥＱユニットに送信され、また、反響テールＬＵＴに基づいて反響制御信号によって制御される。

【0086】

同時に、自動車の内部の発話を捕捉する追加のマイクロフォン信号は、マイクロフォンＥＱユニットによって受信及び線形化される。線形化されたマイクロフォン信号は次いで、ミキサ／ルータ及び任意選択の追加のマイクロフォン平衡ユニットを介して反響ユニットに送信される前に、マイクロフォン平衡ユニットによって均等化される。反響ユニットは、反響パラメータの第１のセットまたは第２のセットに基づいてマイクロフォン信号を処理するとき、それぞれの音響環境内のユーザのマイクロフォン信号を含むことができる。それによって、ユーザボイスも、入力音声信号として、同一の反響効果、例えば、対応する反響テール信号と共に音声システムラウドスピーカを通じて出力されることができる。したがって、マイクロフォン信号は、反響ユニットの出力信号に含まれることができる。また、マイクロフォン信号に、早期反射及び反響テール反響工程、または単に早期反射反響工程を提供することも可能である。

【0087】

ＦＩＲフィルタシステムＥＱ及び低待ち時間システムＥＱの出力は、総計ステップにおいて総計され、結果として生じる音声信号が再生のためにラウドスピーカに提供される。

【0088】

説明される方法は、第１の早期反射信号から第２の早期反射信号に遷移する間の音声信号の連続した出力を可能にし、聴取経験が中断されないことを保証する。ユーザが新たな会場内でダイヤルし、または現在の会場のパラメータを変更するに際、過渡的な早期反射信号は、第１の音響環境及び第２の音響環境内の初期の音反射のブレンドを表し、円滑でシームレスな遷移をもたらす。

【0089】

方法は特に、第１の反響テール信号を生成するように反響パラメータの第１のセットに基づいて、及び第２の反響テール信号を生成するように反響パラメータの第２のセットに基づいて、直接入力音声信号を処理することを含む。出力音声信号は、直接入力音声信号、過渡的な早期反射信号、及び第１の反響テール信号の組み合わせを含む。出力音声信号の連続した再生の間、システムは、第１の反響テール信号から第２の反響テール信号に切り替え、直接入力音声信号、過渡的な早期反射信号、及び第２の反響テール信号を含む出力音声信号を提供する。

【0090】

早期反射は、通常は最初の数ミリ秒以内にある直接音の直後にリスナに到達する初期の音反射を指す。それらの反射は、重大な空間キューを提供し、ルームのサイズ及び形状の感知に貢献する。言い換えると、早期反射は、ルーム環境または音響環境内の初期の音反射をシミュレートすることによって生成される音声信号を指す。この早期反射信号は次いで、再生されることになる完全な音声信号を作成するように、直接音声信号と混合されることができる。直接音及び早期反射を組み合わせることによって、結果として生じる音声再生は、それが現実世界環境内で音がどのように振る舞うかを模倣するように、より現実的で空間的に正確な聴取経験をシミュレートする。

【0091】

他方で、反響テールは、経時的に徐々に減衰する多数の複合的反射から構成された、反響の後期部分を指す。反響テールは、空間の全体的な周囲環境及び特性に貢献する。言い換えると、反響テールは、早期反射が発生した後のルーム環境または音響環境内で起きる複合的な後期反射をシミュレートすることによって実装される。この工程は典型的には、経時的に減衰する密な一連のエコーを生じさせ、自然な持続した反響の感知を生み出すように、畳み込み反響またはアルゴリズム反響などのデジタル信号処理技術を使用することを伴う。反響テールは、直接音及び早期反射の両方を包含する音声信号と混合されることができる。この組み合わせは、完全な音声再生を結果としてもたらし、完全な音声再生は、現実世界音響環境に存在する反響の全範囲をシミュレートし、没入的で自然な音聴取経験をもたらす。

【0092】

直接音声信号は、いかなる反射または反響もなく、音源からリスナに移動する未処理音を表す。この信号は、主要な音情報を提供し、音響環境の完全且つ現実的な表現を生み出すように、早期反射信号及び反響テール信号と組み合わされまたは総計される。

【0093】

したがって、過渡的な早期反射信号は、第１の音響環境及び第２の音響環境内の初期の音反射のブレンドを表す連続した且つシームレスな音声信号を表す。第１の音響環境は、第１の仮想会場に対応し得、第２の音響環境は、第２の仮想会場またはパラメータの第１のセットの少なくとも１つのパラメータのユーザ誘発パラメータ変更に対応し得る。第１の早期反射信号及び第２の早期反射信号の両方は、同時に提供され、過渡的な早期反射信号がフェーディング工程の間に中断されないままであることを保証する。

【0094】

第１の反響テール信号及び第２の反響テール信号は、それぞれの音響環境内の早期反射に続く、それぞれの音響環境内で生じる後期音反射及び減衰特性を表す合成音声信号を含む。それらの反響テール信号は更に、それぞれの音響環境内のユーザの位置を考慮に入れて、ユーザから受信されたマイクロフォン信号を使用して生成されることができる。

【0095】

総計ステップからラウドスピーカへ最終的な出力は、連続した音声再生であり、連続した音声再生は、反響パラメータのシームレスな調節を可能にすると共に、工程の全体を通じて直接信号及び早期反射を維持する。これは、異なる仮想音響環境の間の円滑な遷移をもたらし、マイクロフォンによって捕捉された発話も所望の反響効果により再生される。

【0096】

このライブルーム反響技術における音響環境は、現在の聴取ルームとは異なる仮想空間または実空間の表現であることができる。それらの環境は、コンサートホール、シアタ、教会、スタジアム、または更には、森林、峡谷、もしくは都市の道路のような屋外設定を含み得る。それらの環境の音響性質をシミュレートすることによって、システムは、リスナに没入経験を提供し、自動車の内部など、それらの現在の聴取ルームに残る間に完全に異なる空間にそれらがまるであるように感じさせる。この反響パラメータのシームレスな調節は、音声源信号及びマイクロフォンからの捕捉された発話の両方についての様々な音響環境の現実的な表現を作成することによって、聴取経験を高める。

【0097】

第１の反響テール信号及び第２の反響テール信号の生成は、第１の音響環境及び第２の音響環境の反響テールパラメータを包含する反響テールルックアップテーブル（ＬＵＴ）に基づいて、反響テール制御信号を使用して制御される。この制御信号は、システムが、遷移の間の選択された環境の反響特性を正確に再現することを可能にする。

【0098】

また、反響テールＬＵＴに基づいて、反響テールのトーナル特性を形状付けるように第１の反響テール信号及び第２の反響テール信号に適用される。この等化は、反響テール信号が、直接入力音声信号及び過渡的な早期反射信号と円滑にブレンドされることを保証する。

【0099】

反響テール音声信号は、第１のパラメータ設定と第２のパラメータ設定との間で離散的に切り替えられることができる。

【0100】

入力音声信号は、マルチチャネル音声信号であることができ、システムが様々な音声フォーマット及び再生環境に適合することを可能にする。フェーディング工程は、過渡的な早期反射信号における第１の早期反射信号及び第２の早期反射信号のブレンドを制御するユーザ入力に基づいて適応的であり、ユーザが２つの音響環境の間での遷移を微細に調整することを可能にする。

【0101】

反響パラメータの第１のセット及び第２のセットは、現実世界環境または仮想音響環境のデータベースから導出され、生成された早期反射及び反響テール信号が、選択された環境の音響特性を正確に表すことを保証する。

【0102】

結論として、音声信号処理のためのこのコンピュータにより実施される方法は、ライブルーム反響技術において異なる音響環境の間でのシームレスな遷移を可能にする。反響テール処理、及び早期反射処理を分割することによって、本発明は、連続した音声再生を維持すると共に、ユーザが新たな会場または２つの会場の間の中間パラメータセット内でダイヤルすることを可能にする。第１の早期反射信号及び第２の早期反射信号のブレンドである過渡的な早期反射信号は、円滑で中断されない聴取経験を保証する。

【0103】

この方法は、映画及びビデオゲームにおけるライブ音強化、仮想現実音声、及び没入音声経験など、様々な音声アプリケーションについての著しい進歩を提供する。異なる音響環境の間での現実的でシームレスな遷移をもたらすことによって、方法は、音声コンテンツとのリスナの没入感及びエンゲージメントを高める。

【0104】

適応的フェーディング工程は、ユーザが、過渡的な早期反射信号における第１の早期反射信号及び第２の早期反射信号のブレンドを微細に調整することを可能にし、音声経験を通じてそれらにより大きな制御を与える。加えて、マルチチャネル音声信号サポートは、システムが広範囲の音声フォーマット及び再生環境に適合することができることを保証し、様々な音声アプリケーションに対して適切にする。

【0105】

待ち時間補償特徴は、直接音声信号、早期反射信号、及び反響テール信号を同期し、音響環境の間での遷移の間のコヒーレントでアーチファクトがない出力音声信号を保証する。第１の反響テール信号及び第２の反響テール信号に適用される等化フィルタは、反響テールのトーナル特性を形状付け、出力音声における信号の円滑なブレンドに貢献する。

【0106】

反響パラメータの第１のセット及び第２のセットを生成するための現実世界環境データベースまたは仮想音響環境データベースの使用は、早期反射及び反響テール信号が選択された環境の音響特性を正確に表すことを保証する。この特徴は、音声経験の現実性及び没入感に貢献する。

【0107】

発明的な音声信号処理方法は更に、場合によっては、より現実的で没入的な音声経験を可能にする、早期反射処理にマイクロフォン信号を組み込むことを含む。加えて、システムは、音響環境の間でのより円滑でシームレスな遷移のための異なる反響テール信号の間でのフェーディングを実装することができる。更に、信号処理は、早期反射、中期反射、及び後期反響などの３つ以上の信号に分割されることができ、３つ以上の信号に対して、同様のフェーディング工程が実行されることができ、ユーザに、ブレンド及び異なる音響環境の間の遷移にわたる段階的な制御をもたらす。機械学習アルゴリズムまたは予測的モデルなどの反響テール切り替えを制御する代替的な方法は、潜在的により没入的で現実的な音声経験につながる、テールの間での遷移の効率性及び精度を改善するように探究されることができる。

【0108】

それによって、発明的な音声信号処理方法は、様々な音声アプリケーションにおける異なる音響環境の間でのシームレスな遷移のための効果的な解決策を提供する。連続した音声再生を維持し、円滑で没入的な聴取経験を供給することによって、この方法は、音声コンテンツとのユーザのエンゲージメントを著しく高める。広範囲の音声フォーマット及び再生環境とのその適応性及び互換性は、映画及びビデオゲームにおいてライブ音強化及び仮想現実音声から没入的音声経験に、広スペクトルの用途のために適切にする。

【0109】

図２は、様々な実施形態に係る、音声信号を処理する方法のステップを概略的に例示する。

【0110】

方法は、ステップＳ１０において開始する。ステップＳ２０では、入力音声信号が受信され、入力音声信号は、反響と共にユーザに出力されることになる。ステップＳ３０では、第１の音響環境と関連付けられた反響パラメータの第１のセットが取得され、反響パラメータの第１のセットとは異なる第２の音響環境と関連付けられた反響パラメータの第２のセットも取得される。

【0111】

ステップＳ４０では、第１の早期反射信号を生成するように反響パラメータの第１のセットに基づいて、及び第２の早期反射信号を生成するように反響パラメータの第２のセットに基づいて、入力音声信号が処理される。第１の早期反射信号及び第２の早期反射信号の各々は、それぞれの音響環境内の初期の音反射を表すそれぞれの合成音声信号を含む。

【0112】

ステップＳ５０では、第１の早期反射信号及び第２の早期反射信号は、過渡的な早期反射信号を生成するために、フェーディング工程を通じて組み合わされ、過渡的な早期反射信号は、フェーディング工程に従った第１の早期反射信号から第２の早期反射信号への遷移を含む。

【0113】

最終的に、ステップＳ６０では、過渡的な早期反射信号に基づいて、出力音声信号が提供される。方法は、ステップＳ６０において終了する。

【0114】

図３は、様々な実施形態に係る、音声システムを概略的に例示する。

【0115】

図３において見られるように、音声システムは、処理デバイス、ラウドスピーカ、及び１つ以上のマイクロフォンから構成される。処理デバイスは、音声処理タスクを扱うように共に作用する、プロセッサ及びメモリを含む。ラウドスピーカは、処理された音声を再生することを担当すると共に、マイクロフォンは、システムによって処理されることになる音入力を捕捉する。この音声システムは、ルーム反響パラメータを変更することにより連続した音声再生を提供するように、説明される発明と共に作用する。

【0116】

上述したことから、以下の全体的な結論が導かれる。

【0117】

全体的なアイデアにより、ルーム反響パラメータが変更される間、ライブルーム反響技術において音声信号の連続した音声再生が可能にされる。反響テール処理及び早期反射処理を分割することによって、これが達成される。２つの異なる仮想会場（ルームＡ及びＢ）についての早期反射パターン（すなわち、音声信号）を同時に提供し、それらの音声信号の間でフェードするためにマルチチャネルフェーダを使用することによって、本発明は、パラメータを変更しまたは会場の間で切り替えるときに音声をミュートすることなく、円滑な遷移を可能にする。これは、ユーザ経験を高め、ライブ性能または音声生成の間に反響設定を調節する際に一層の柔軟性が与えられる。

【0118】

２つの異なる早期反射信号の間でのフェーディングは、段階的遷移工程またはブレンド工程を伴い得、段階的遷移工程またはブレンド工程では、１つの信号の振幅が段階的に減少すると共に、他の信号の振幅が同時に増大する。そのようにして、過渡的な早期反射信号における第１の早期反射信号及び第２の早期反射信号の貢献は、段階的に変化する。この工程は、２つの信号の間での円滑で連続した変化を可能にし、いずれかの中間ステップまたは信号の組み合わせを可能にする。音声信号の間でのフェーディングは、シームレスな遷移を生じさせ、シームレスな遷移は、急な変化を最小にし、聴取経験を高め、トラックの間のクロスフェーディング、異なる音声効果の間の遷移、または仮想環境内の音声源のブレンドなどの用途のためにそれを理想的にする。そのような工程はまた、信号を段階的に組み合わせること、または信号の間の遷移／ブレンドとして説明され得る。

【0119】

第１の早期反射信号及び第２の早期反射信号を段階的に変更すること、それらの間でフェードすること、遷移すること、またはそれらを組み合わせることなどのフェーディング工程が、様々な方法において説明されることができる。この工程は、第１の早期反射信号と第２の早期反射信号との間での円滑な進行を表す中間パラメータセットの生成を可能にする。

【0120】

この工程の間、各々の早期反射信号の貢献を段階的に調節することによって、過渡的な早期反射信号が生成され、２つの音響環境の間でのシームレスな遷移を保証する。音声出力におけるいずれの急なシフトまたは中断を経験することなく、ユーザが反響パラメータにおける変更を感知することができるように、このアプローチは、連続した音声再生経験を可能にする。

【0121】

言い換えると、２つの音声信号の間で遷移することは、円滑で進行的な調節を含み、１つの信号の強度は、他の信号の強度が上昇するにつれて減少する。この方法は、信号の間での連続したシフトを促進し、いずれかの中間ブレンドまたは比率に適合する。そのようなシームレスな遷移は、急な変化を最小にするために必須であり、聴取経験を改善し、曲の間のクロスフェーディングのような用途に良好に適合し、区別できる音声の効果の間で移り、シミュレートされた空間内で音声源を結合する。段階的に組み合わせると共に、２つの音声信号の間で遷移することは、段階的で連続した改変から構成され得、１つの信号のボリュームが低減すると共に、他の信号のボリュームが同時に上昇する。この工程は、２つの信号の間でのシームレスな変化を可能にし、いずれかの中間の混合または均衡を可能にする。シームレスなフェーディングは、急なシフトを防止し、全体的な聴覚経験を高め、仮想環境内の異なる反響設定の間でブレンド及び遷移するシナリオに対してそれを完璧にするために必須である。

【0122】

音声信号処理方法では、第１の早期反射信号及び第２の早期反射信号は、第１の第１のテール信号と同時に計算及び提供される。この同時処理は、早期反射信号が相互からフェードされるように、２つの音響環境の間の円滑でシームレスな遷移を可能にし、過渡的な早期反射信号を作成する。

【0123】

早期反射信号がフェードされ及び組み合わされる間、第１のテール信号が音声出力に適用される。テール信号は、早期反射信号のように同時に提供されず、またはフェードされ得ない。代わりに、第１のテール信号は、早期反射フェーディング工程の間に処理され及び音声出力に適用される。

【0124】

早期反射フェーディング工程が完了すると、またはフェーディング工程の間、テール信号は次いで、第１のテール信号から第２のテール信号に切り替えられる。この切り替えは、テール信号の同時処理またはフェーディングなしに行われ得る。ここでの結果として生じる音声出力は、直接入力音声信号、過渡的な早期反射信号、及び音響環境内の変化を反射する第２のテール信号を含む。

【0125】

このアプローチは、音声経験が２つの環境の間のリスナ遷移の間に中断されないままであることを保証する。第１のテール信号の適用と組み合わせて、第１の早期反射信号及び第２の早期反射信号の同時計算及び提供は、円滑なフェーディング工程を可能にする。一方で、反響テール信号は同時に処理されず、それらは、新たな音響環境への遷移を完了するように連続した再生の間に切り替えられる。

【0126】

早期反射信号は、合成音声信号であり得、合成音声信号は、直接音が生み出された直後に音響環境内で生じる初期の一連の音反射を表す。これらの反射は、環境内の壁、天井、及び床などの表面から跳ね返る音波から結果として生じ、それらは典型的には、直接音の後の最初の数ミリ秒以内にリスナに到達する。

【0127】

早期反射信号は、早期反射の空間特性及び時間特性をシミュレートするように、デジタル信号処理アルゴリズムまたはインパルス応答との畳み込みなどの様々な音声処理技術を通じて生成される。この合成信号は、仮想空間または物理空間のサイズ、形状、及び音響性質に関する重大な情報を捕捉し、重要な空間キューをもたらし、深度の感知及び聴取経験における現実性に貢献する。

【0128】

早期反射信号が直接音声信号と組み合わされるとき、それが現実世界環境内の音の自然な振る舞いを複製するように、それは、より没入的で空間的に正確な音声再生を生じさせる。早期反射信号は、現実的で説得力のある音響環境を再度生じさせることが必須である、ルームシミュレーション、仮想現実、及び３Ｄ音声レンダリングなど、音声処理アプリケーションにおいて重要な役割を果たす。

【0129】

過渡的な早期反射信号に基づいて音声信号を出力することは、出力信号として、直接（すなわち、元の）音声信号及び過渡的な早期反射信号の組み合わせを提供することを含み得る。

【0130】

２つの早期反射信号の間のフェーディングは、フェードを実行する前に、早期反射信号を直接混合し、または直接音声などの他の信号とそれらを最初に組み合わせることを含む、様々な方法において達成されることができる。いずれのアプローチにおいても、目的は、出力信号において、第１の早期反射の効果が漸進的にフェードすると共に、第２の早期反射の効果が増大することを保証することである。早期反射信号の１つが出力に対する唯一の影響するものになるまで、この工程が継続し、２つの早期反射信号とそれらのそれぞれの音響特性との間の円滑でシームレスな遷移を結果としてもたらす。したがって、聴取経験に対する第１の早期反射信号の影響が減少し、聴取経験に対する第２の早期反射信号の影響が増大するという効果を有する、信号の全てのフェーディングの組み合わせが含まれるべきである。言い換えると、第１の反響信号及び第２の反響信号の組み合わせである、過渡的な早期反射信号を生成するための第１の反響信号と第２の反響信号との間のフェーディングは、フェーディング特性に基づいている。

【0131】

方法は任意選択で、反響が入力音声信号に適用されることになる、第１の（仮想）反響設定またはシナリオに対応する反響パラメータの第１のセットと、反響が入力音声信号に適用されることになる、第２の（仮想）反響設定またはシナリオに対応する反響パラメータの第２のセットとを受信または要求するステップを含み得る。

【0132】

反響パラメータの第１のセット及び第２のセットに基づいて処理することは、同時にまたは並列して実行されることができ、第１の早期反射信号及び第２の早期反射信号は、例えば、マイクロフォン信号と同期してリアルタイムで、相互に同時に、すなわち、実質的に同時に、及び／または並列して提供されることができる。

【0133】

入力音声信号は、反響されることになり、言い換えると、入力音声信号は、反響処理を意図し、または反響処理を受け、言い換えると、入力音声信号を処理する目的は、それに反響効果を適用することである。したがって、入力音声信号は、様々な反響設定、パラメータ、状況、及び仮想ルームまたは会場特性に従って反響処理を受け、入力音声信号に適用される反響は、反響パラメータの異なるセットに基づいて調節及びカスタマイズされることができる。

【0134】

早期反射を含む音声信号は、早期反響信号と称されることができ、早期反響信号は、元の（直接）音声信号及び早期反射の組み合わせであることができ、反響工程の初期部分を形成する。

【0135】

第１の反響信号は、第１の反響パラメータ、すなわち、第１の反響設定または状況に基づいた音声信号の早期反射パターンを表すことができ、第２の反響信号は、第２の反響パラメータ、すなわち、第２の反響設定または状況に基づいた音声信号の早期反射パターンを表す。第１のパラメータ及び第２の反響パラメータ、反響設定は、相互に異なることができる。

【0136】

反響パラメータの第１のセットは、第１の反響設定に、特に、第１の仮想ルームまたは仮想会場に対応し得、その結果、第１の反響信号は、第１の反響設定を表す。したがって、反響パラメータの第２のセットは、第２の反響設定に、特に、第２の仮想ルームまたは仮想会場に対応し得、その結果、第２の反響信号は、第２の反響設定を表す。

【0137】

最初に、直接音声信号は、過渡的な早期反射信号と組み合わされ、過渡的な早期反射信号は、第１の早期反射信号及び第２の早期反射信号のフェーディング工程を通じて作成される。直接音声信号及び過渡的な早期反射信号のこの組み合わせは、音響環境の空間特性を表し、フェーディング工程の間に連続して出力される。

【0138】

早期反射フェーディング工程が行われている間、第１の反響テール信号は、音声出力に適用される。反響テール信号は、直接音声信号及び早期反射信号と同時に組み合わされる。代わりに、それは、出力音声信号の連続した再生の間に別個に処理及び適用される。

【0139】

早期反射フェーディング工程が完了し、過渡的な早期反射信号が確立されると、反響テール信号は次いで、第１のテール信号から第２のテール信号に切り替えられる。この切り替えは、新たな音響環境の反響的な品質が正確に表されることを保証する。

【0140】

直接音声信号、早期反射信号、及び反響テール信号を直列に処理し及び組み合わせることによって、音声信号処理方法は、異なる音響環境の間で遷移する間に音声出力の連続性及び整合性を維持する。

【0141】

要約すると、音声信号処理のためのコンピュータにより実施される方法は、入力音声信号を受信することと、２つの区別できる音響環境と関連付けられた反響パラメータを取得することと、音響環境ごとに早期反射信号を同時に生成することと、を伴う。それらの早期反射信号は次いで、フェーディング工程に従った２つの環境の間の遷移の間、連続した過渡的な早期反射信号を作成するように、フェーディング工程を通じて組み合わされる。加えて、反響テールが生成され、及び過渡的な早期反射信号と組み合わされる。出力音声信号は、直接入力音声信号、過渡的な早期反射信号、及び反響テールの組み合わせとして提供され、ユーザに対するシームレスで没入的な聴取経験を結果としてもたらす。

【0142】

提供される技術は、アーチファクトを導入することなく、または音品質に悪影響を及ぼすことなく、ルーム反響パラメータが変更される間に連続した音声再生を可能にする反響遷移の改善した方法を提供する。提供される技術は、ユーザ経験を高め、異なる仮想会場の間のシームレスな遷移を可能にし、ライブ実行、レコーディング、及び他のマルチメディアアプリケーションの間の反響設定のリアルタイムな調節を促進する。シームレスな反響遷移は、音品質を悪化させることなく、または望ましくないアーチファクトを導入することなく、ルーム反響パラメータが変更される間に連続した音声再生を維持する。

【0143】

説明される技術は、車両内の音声システムに関して説明されてきたことが理解されよう。しかしながら、それらは、ユーザに対して音声信号を再生することを含む任意のシステムと共に使用されることができ、音声信号は、反響設定が変更されることに従って反響がもたらされることが明白である。同様の技術は、例えば、建物、または家庭用電子機器など、他の種類及びタイプの音声システムに容易に適用され得る。

【0144】

開示された技術は、特定の好ましい実施形態に関して説明されているが、当業者であれば、本明細書を読んで理解すれば、均等物及び修正が思い浮かぶであろう。本開示は、そのような全ての均等物及び修正を含み、添付の特許請求の範囲によってのみ限定される。

【図1】

【図2】

【図3】