(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-19
(45)【発行日】2024-06-27
(54)【発明の名称】低周波数チャネル間コヒーレンス制御
(51)【国際特許分類】
H04S 7/00 20060101AFI20240620BHJP
【FI】
H04S7/00 300
【外国語出願】
(21)【出願番号】P 2023172753
(22)【出願日】2023-10-04
(62)【分割の表示】P 2020568523の分割
【原出願日】2019-06-12
【審査請求日】2023-10-04
(32)【優先日】2018-06-12
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(74)【代理人】
【識別番号】100078282
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】レミ サミュエル オードフレイ
(72)【発明者】
【氏名】ジャン-マルク ジョット
【審査官】堀 洋介
(56)【参考文献】
【文献】特開2017-203237(JP,A)
【文献】特開平10-327494(JP,A)
【文献】特開2007-081560(JP,A)
【文献】米国特許出願公開第2015/0125010(US,A1)
【文献】米国特許出願公開第2007/0133831(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 1/00- 7/00
H04R 1/10
H04R 3/00- 3/14
(57)【特許請求の範囲】
【請求項1】
ウェアラブルヘッドデバイスのユーザにオーディオ信号を提示する方法であって、前記方法は、
第1の入力信号を受信することと、
前記第1の入力信号にローパスフィルタを適用することにより、第1のローパスフィルタ処理された信号を生成することであって、前記ローパスフィルタを適用することは、低周波数閾値を上回る前記第1の入力信号の周波数を減衰させることを含む、ことと、
前記第1の入力信号に第1のハイパスフィルタを適用することにより、第1のハイパスフィルタ処理された信号を生成することであって、前記第1のハイパスフィルタを適用することは、第1の高周波数閾値未満の前記第1の入力信号の周波数を減衰させることを含む、ことと、
第2の入力信号を受信することと、
前記第2の入力信号に第2のハイパスフィルタを適用することにより、第2のハイパスフィルタ処理された信号を生成することであって、前記第2のハイパスフィルタを適用することは、第2の高周波数閾値未満の前記第2の入力信号の周波数を減衰させることを含む、ことと、
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、第1の出力信号を生成することと、
前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせることにより、第2の出力信号を生成することと、
前記ユーザに、前記ウェアラブルヘッドデバイスの第1のスピーカを介して前記第1の出力信号を提示することと、
前記ユーザに、前記ウェアラブルヘッドデバイスの第2のスピーカを介して前記第2の出力信号を提示することと
を含
み、
前記第1の入力信号は、リバーブレータの第1の出力を備え、前記リバーブレータの前記第1の出力は、第1の反響パラメータに対応し、
前記第2の入力信号は、前記リバーブレータの第2の出力を備え、前記リバーブレータの前記第2の出力は、第2の反響パラメータに対応する、方法。
【請求項2】
前記低周波数閾値、前記第1の高周波数閾値、および前記第2の高周波数閾値のうちの1つ以上は、前記ウェアラブルヘッドデバイスの1つ以上のセンサの出力に基づいて決定される、請求項1に記載の方法。
【請求項3】
前記第1の反響パラメータは、前記ウェアラブルデバイスの1つ以上のセンサの出力に基づいて決定される、請求項
1に記載の方法。
【請求項4】
ウェアラブルヘッドデバイスのユーザにオーディオ信号を提示する方法であって、前記方法は、
第1の入力信号を受信することと、
前記第1の入力信号にローパスフィルタを適用することにより、第1のローパスフィルタ処理された信号を生成することであって、前記ローパスフィルタを適用することは、低周波数閾値を上回る前記第1の入力信号の周波数を減衰させることを含む、ことと、
前記第1の入力信号に第1のハイパスフィルタを適用することにより、第1のハイパスフィルタ処理された信号を生成することであって、前記第1のハイパスフィルタを適用することは、第1の高周波数閾値未満の前記第1の入力信号の周波数を減衰させることを含む、ことと、
第2の入力信号を受信することと、
前記第2の入力信号に第2のハイパスフィルタを適用することにより、第2のハイパスフィルタ処理された信号を生成することであって、前記第2のハイパスフィルタを適用することは、第2の高周波数閾値未満の前記第2の入力信号の周波数を減衰させることを含む、ことと、
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、第1の出力信号を生成することと、
前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせることにより、第2の出力信号を生成することと、
前記ユーザに、前記ウェアラブルヘッドデバイスの第1のスピーカを介して前記第1の出力信号を提示することと、
前記ユーザに、前記ウェアラブルヘッドデバイスの第2のスピーカを介して前記第2の出力信号を提示することと
を含み、
前記第1の入力信号は、源信号に適用される第1のコムフィルタの出力を備え、前記第2の入力信号は、前記源信号に適用される第2のコムフィルタの出力を備える
、方法。
【請求項5】
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、前記第1の出力信号を生成することは、前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせる前に、前記第1のローパスフィルタ処理された信号に時間遅延を適用することを含み、
前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせることにより、前記第2の出力信号を生成することは、前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせる前に、前記第1のローパスフィルタ処理された信号に前記時間遅延を適用することを含む、請求項1に記載の方法。
【請求項6】
前記時間遅延の大きさは、前記ウェアラブルヘッドデバイスの1つ以上のセンサの出力に基づいて決定される、請求項
5に記載の方法。
【請求項7】
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、前記第1の出力信号を生成することは、前記第1のハイパスフィルタ処理された信号を前記第1のローパスフィルタ処理された信号と組み合わせる前に、前記第1のハイパスフィルタ処理された信号に位相シフトを適用することを含む、請求項1に記載の方法。
【請求項8】
前記位相シフトの大きさは、前記ウェアラブルヘッドデバイスの1つ以上のセンサの出力に基づいて決定される、請求項
7に記載の方法。
【請求項9】
ウェアラブルヘッドデバイスであって、
第1のスピーカと第2のスピーカとを含む複数のスピーカと、
1つ以上のセンサと、
1つ以上のプロセッサと
を備え、
前記1つ以上のプロセッサは、
第1の入力信号を受信することと、
前記第1の入力信号にローパスフィルタを適用することにより、第1のローパスフィルタ処理された信号を生成することであって、前記ローパスフィルタを適用することは、低周波数閾値を上回る前記第1の入力信号の周波数を減衰させることを含む、ことと、
前記第1の入力信号に第1のハイパスフィルタを適用することにより、第1のハイパスフィルタ処理された信号を生成することであって、前記第1のハイパスフィルタを適用することは、第1の高周波数閾値未満の前記第1の入力信号の周波数を減衰させることを含む、ことと、
第2の入力信号を受信することと、
前記第2の入力信号に第2のハイパスフィルタを適用することにより、第2のハイパスフィルタ処理された信号を生成することであって、前記第2のハイパスフィルタを適用することは、第2の高周波数閾値未満の前記第2の入力信号の周波数を減衰させることを含む、ことと、
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、第1の出力信号を生成することと、
前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせることにより、第2の出力信号を生成することと、
前記ウェアラブルヘッドデバイスのユーザに、前記第1のスピーカを介して前記第1の出力信号を提示することと、
前記ウェアラブルヘッドデバイスの前記ユーザに、前記第2のスピーカを介して前記第2の出力信号を提示することと
を含む方法を実施するように構成されて
おり、
前記第1の入力信号は、リバーブレータの第1の出力を備え、前記リバーブレータの前記第1の出力は、第1の反響パラメータに対応し、
前記第2の入力信号は、前記リバーブレータの第2の出力を備え、前記リバーブレータの前記第2の出力は、第2の反響パラメータに対応する、ウェアラブルヘッドデバイス。
【請求項10】
前記低周波数閾値、前記第1の高周波数閾値、および前記第2の高周波数閾値のうちの1つ以上は、前記1つ以上のセンサの出力に基づいて決定される、請求項
9に記載のウェアラブルヘッドデバイス。
【請求項11】
前記第1の反響パラメータは、前記1つ以上のセンサの出力に基づいて決定される、請求項
9に記載のウェアラブルヘッドデバイス。
【請求項12】
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、前記第1の出力信号を生成することは、前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせる前に、前記第1のローパスフィルタ処理された信号に時間遅延を適用することを含み、
前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせることにより、前記第2の出力信号を生成することは、前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせる前に、前記第1のローパスフィルタ処理された信号に前記時間遅延を適用することを含み、
前記時間遅延の大きさは、前記1つ以上のセンサの出力に基づいて決定される、請求項
9に記載のウェアラブルヘッドデバイス。
【請求項13】
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、前記第1の出力信号を生成することは、前記第1のハイパスフィルタ処理された信号を前記第1のローパスフィルタ処理された信号と組み合わせる前に、前記第1のハイパスフィルタ処理された信号に位相シフトを適用することを含み、
前記位相シフトの大きさは、前記1つ以上のセンサの出力に基づいて決定される、請求項
9に記載のウェアラブルヘッドデバイス。
【請求項14】
命令を格納する非一過性コンピュータ読み取り可能な媒体であって、前記命令は、1つ以上のプロセッサによって実行されると、前記1つ以上のプロセッサに、
第1の入力信号を受信することと、
前記第1の入力信号にローパスフィルタを適用することにより、第1のローパスフィルタ処理された信号を生成することであって、前記ローパスフィルタを適用することは、低周波数閾値を上回る前記第1の入力信号の周波数を減衰させることを含む、ことと、
前記第1の入力信号に第1のハイパスフィルタを適用することにより、第1のハイパスフィルタ処理された信号を生成することであって、前記第1のハイパスフィルタを適用することは、第1の高周波数閾値未満の前記第1の入力信号の周波数を減衰させることを含む、ことと、
第2の入力信号を受信することと、
前記第2の入力信号に第2のハイパスフィルタを適用することにより、第2のハイパスフィルタ処理された信号を生成することであって、前記第2のハイパスフィルタを適用することは、第2の高周波数閾値未満の前記第2の入力信号の周波数を減衰させることを含む、ことと、
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、第1の出力信号を生成することと、
前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせることにより、第2の出力信号を生成することと、
ウェアラブルヘッドデバイスのユーザに、前記ウェアラブルヘッドデバイスの第1のスピーカを介して前記第1の出力信号を提示することと、
ウェアラブルヘッドデバイスの前記ユーザに、前記ウェアラブルヘッドデバイスの第2のスピーカを介して前記第2の出力信号を提示することと
を含む方法を実施させ
、
前記第1の入力信号は、リバーブレータの第1の出力を備え、前記リバーブレータの前記第1の出力は、第1の反響パラメータに対応し、
前記第2の入力信号は、前記リバーブレータの第2の出力を備え、前記リバーブレータの前記第2の出力は、第2の反響パラメータに対応する、非一過性コンピュータ読み取り可能な媒体。
【請求項15】
前記低周波数閾値、前記第1の高周波数閾値、および前記第2の高周波数閾値のうちの1つ以上は、前記ウェアラブルヘッドデバイスの1つ以上のセンサの出力に基づいて決定される、請求項
14に記載の非一過性コンピュータ読み取り可能な媒体。
【請求項16】
前記第1の反響パラメータは、前記ウェアラブルヘッドデバイスの1つ以上のセンサの出力に基づいて決定される、請求項
14に記載の非一過性コンピュータ読み取り可能な媒体。
【請求項17】
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、前記第1の出力信号を生成することは、前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせる前に、前記第1のローパスフィルタ処理された信号に時間遅延を適用することを含み、
前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせることにより、前記第2の出力信号を生成することは、前記第1のローパスフィルタ処理された信号を前記第2のハイパスフィルタ処理された信号と組み合わせる前に、前記第1のローパスフィルタ処理された信号に前記時間遅延を適用することを含み、
前記時間遅延の大きさは、前記ウェアラブルヘッドデバイスの1つ以上のセンサの出力に基づいて決定される、請求項
14に記載の非一過性コンピュータ読み取り可能な媒体。
【請求項18】
前記第1のローパスフィルタ処理された信号を前記第1のハイパスフィルタ処理された信号と組み合わせることにより、前記第1の出力信号を生成することは、前記第1のハイパスフィルタ処理された信号を前記第1のローパスフィルタ処理された信号と組み合わせる前に、前記第1のハイパスフィルタ処理された信号に位相シフトを適用することを含み、
前記位相シフトの大きさは、前記ウェアラブルヘッドデバイスの1つ以上のセンサの出力に基づいて決定される、請求項
14に記載の非一過性コンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その内容が参照することによってその全体として本明細書に組み込まれる2018年6月12日に出願された米国仮出願第62/684,086号の優先権を主張する。
(分野)
【0002】
本開示は、概して、信号間の低周波数コヒーレンス(例えば、低周波数において高コヒーレンスを強制するためにベース管理タイプアプローチを使用する信号間)に関する。いくつかの実施形態において、本開示は、両耳レンダラのコンテキストにおけるものであり、2つの信号が、室内シミュレーションアルゴリズムから出力される。
【背景技術】
【0003】
仮想環境は、コンピューティング環境において普遍的であり、ビデオゲーム(仮想環境が、ゲーム世界を表し得る)、マップ(仮想環境が、ナビゲートされるべき地形を表し得る)、シミュレーション(仮想環境が、実環境をシミュレートし得る)、デジタルストーリーテリング(仮想キャラクタが、仮想環境内で互いに相互作用し得る)、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ(例えば、2Dディスプレイ画面)およびオーディオシステム(例えば、固定スピーカ)は、人を引き付け、現実的で、かつ没入型の体験を作成する方法で仮想環境を実現することが可能でないこともある。
【0004】
仮想現実(「VR」)、拡張現実(「AR」)、複合現実(「MR」)、および関連技術(集合的に、「XR」)は、XRシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示するための能力を共有する。そのようなシステムは、仮想視覚およびオーディオキューを現実の視界および音と組み合わせることによって、独特に高められた没入感および臨場感を提供することができる。故に、音がユーザの実環境内で(自然に、ユーザの予期する音と一貫して)発生しているように思えるように、XRシステムのユーザにデジタル音を提示することが、望ましくあり得る。概して言えば、ユーザは、仮想音が、それらが聞こえる実環境の音響特性を帯びるであろうと予期する。例えば、大きいコンサートホール内のXRシステムのユーザは、XRシステムの仮想音が、大きい洞窟に似た音性品質を有することを予期し、逆に、小さいアパートメント内のユーザは、音が、より減衰され、近く、直接的であることを予期するであろう。加えて、ユーザは、仮想音が、固有の空間効果を有するであろうと予期する。例えば、部屋の正面に立っているユーザは、すぐ近くに位置する源から生じる仮想音が、部屋の正面から発しているように思われ、遠く離れて位置する源から生じる仮想音が、部屋の後ろから発しているように思われると予期するであろう。このように、ユーザは、例えば、手の届く音源を有する人物と背景で再生される音楽とを区別することができる。
【0005】
いくつかの人工リバーブレータは、周波数依存性行列を使用し得る。周波数依存性行列は、左リバーブレータ出力信号および右リバーブレータ出力信号を注入する2×2行列であり得、右リバーブレータ出力信号は、左リバーブレータ出力信号と右リバーブレータ出力信号との合計のスケーリングされたコピーである。いくつかの実施形態において、周波数依存性2×2行列を使用することは、弱め合う干渉および強め合う干渉に起因して、ある周波数において左リバーブレータ出力信号および右リバーブレータ出力信号の音色品質に対して有害効果を及ぼし得る。
【0006】
したがって、低周波数において高い両耳間コヒーレンスを達成するための代替システムおよび方法が、所望される。加えて、または代替として、中および/または高周波数において低い両耳間コヒーレンスを達成するためのシステムおよび方法が、所望される。
【発明の概要】
【課題を解決するための手段】
【0007】
低周波数において低両耳間コヒーレンスを提供するためのシステムおよび方法が、開示される。いくつかの実施形態において、システムは、リバーブレータと、低周波数両耳間コヒーレンス制御システムとを含み得る。リバーブレータは、コムフィルタの2つの組、すなわち、左耳出力信号のためのものと、右耳出力信号のためのものとを含み得る。
【0008】
低周波数両耳間コヒーレンス制御システムは、複数の区分を含むことができ、各区分は、その区分を通して伝搬する信号のある周波数範囲を制御するように構成されることができる。区分は、左耳出力信号のための左高周波数区分と、右耳出力信号のための右高周波数区分とを含み得る。区分は、左および右高周波数区分のコンバイナによって組み合わせられるべき信号を出力し得る共有低周波数区分も含み得る。
【0009】
低周波数両耳間コヒーレンス制御システムは、複数のフィルタと、随意に、遅延とを含むことができる。複数のフィルタは、1つ以上のハイパスフィルタ、1つ以上のオールパスフィルタ、および/またはローパスフィルタを含み得る。いくつかの実施形態において、低周波数両耳間コヒーレンス制御システムは、1つ以上の高周波数処理ユニットを含むことができる。
【0010】
いくつかの実施形態において、1つの出力信号(例えば、左耳出力信号)は、入力信号と同一であり得、したがって、それは、いかなる処理も受けないこともある。
【0011】
いくつかの実施形態において、ネットワーク内の各遅延ユニットを伴う吸収係数が、反響減衰時間を制御するために挿入され得る。
本発明は、例えば、以下を提供する。
(項目1)
システムであって、前記システムは、
ユーザにオーディオ信号を提供するように構成されたウェアラブル頭部デバイスであって、前記オーディオ信号は、左耳信号と右耳信号とを含む、ウェアラブル頭部デバイスと、
複数の区分を含む低周波数両耳間コヒーレンス制御システムと
を備え、
前記複数の区分は、
第1の信号を受信するように構成された低周波数区分であって、前記低周波数区分は、ローパスフィルタを含み、前記ローパスフィルタは、低周波数閾値より低い周波数を有する入力信号の部分を前記低周波数区分に通すように構成されている、低周波数区分と、
1つ以上の高周波数区分と
を含み、
前記1つ以上の高周波数区分は、第2の信号を受信するように構成された第1の高周波数区分を含み、前記第1の高周波数区分は、
第1のハイパスフィルタであって、前記第1のハイパスフィルタは、高周波数閾値より大きい周波数を有する入力信号の部分を前記第1の高周波数区分に通すように構成されている、第1のハイパスフィルタと、
第1のコンバイナと
を含み、
前記第1のコンバイナは、前記低周波数区分の出力信号と前記第1のハイパスフィルタの出力信号とを受信し、それらを組み合わせ、前記右耳信号を発生させるように構成されている、システム。
(項目2)
前記左耳信号は、前記第1の信号である、項目1に記載のシステム。
(項目3)
前記1つ以上の高周波数区分は、前記第1の信号を受信するように構成された第2の高周波数区分をさらに含み、前記第2の高周波数区分は、
前記高周波数閾値より大きい周波数を有する前記入力信号の部分を前記低周波数に通すように構成された第2のハイパスフィルタと、
第2のコンバイナと
を含み、
前記第2のコンバイナは、前記低周波数区分の出力信号と前記第2のハイパスフィルタの出力信号とを受信し、それらを組み合わせ、前記左耳信号を発生させるように構成されている、項目1に記載のシステム。
(項目4)
前記1つ以上の高周波数区分のうちの少なくとも1つは、高周波数処理ユニットをさらに含み、前記高周波数処理ユニットは、前記それぞれのハイパスフィルタへの入力信号を発生させるように構成されている、項目1に記載のシステム。
(項目5)
前記1つ以上の高周波数区分のうちの少なくとも1つは、高周波数処理ユニットをさらに含み、前記高周波数処理ユニットは、前記それぞれのハイパスフィルタの出力信号を受信し、前記それぞれのコンバイナへの入力信号を発生させるように構成されている、項目1に記載のシステム。
(項目6)
前記高周波数処理ユニットは、吸収性入れ子オールパスフィルタを含む、項目5に記載のシステム。
(項目7)
前記高周波数処理ユニットは、入れ子オールパスフィルタを含む、項目5に記載のシステム。
(項目8)
前記低周波数区分は、遅延をさらに含み、前記遅延は、前記ローパスフィルタから前記入力信号の通された部分を受信し、それに遅延を導入するように構成されている、項目1に記載のシステム。
(項目9)
前記遅延は、吸収性遅延である、項目8に記載のシステム。
(項目10)
複数のコムフィルタを含むリバーブレータをさらに備え、前記リバーブレータは、入力信号を受信し、前記低周波数両耳間コヒーレンス制御システムへの信号を出力するように構成されている、項目1に記載のシステム。
(項目11)
オーディオ信号をユーザに提供する方法であって、前記方法は、
低周波数区分によって第1の信号を受信することと、
ローパスフィルタを使用して、低周波数閾値より低い周波数を有する前記第1の信号の部分をフィルタ処理し、通すことと、
高周波数区分によって第2の信号を受信することと、
第1のハイパスフィルタを使用して、高周波数閾値より大きい周波数を有する前記第2の信号の部分をフィルタ処理し、通すことと、
第1のコンバイナを使用して、前記低周波数区分の出力信号と前記第1のハイパスフィルタの出力信号とを組み合わせ、右耳信号を発生させることと
を含む、方法。
(項目12)
左耳信号として前記第1の信号を出力することをさらに含む、項目11に記載の方法。
(項目13)
第2のハイパスフィルタを使用して、前記高周波数閾値より大きい周波数を有する前記第1の信号の部分をフィルタ処理し、通すことと、
第2のコンバイナを使用して、前記低周波数区分の出力信号と前記第2のハイパスフィルタの出力信号とを組み合わせ、左耳信号を発生させることと
をさらに含む、項目11に記載の方法。
(項目14)
オールパスフィルタを使用して、前記第1の信号または前記第2の信号の大きさ応答を変化させることなく、それぞれ、前記第1の信号または前記第2の信号の位相を修正することをさらに含む、項目11に記載の方法。
(項目15)
前記システムの反響時間が標的化反響時間に等しいように、1つ以上の吸収係数を用いて1つ以上の吸収性遅延ユニットを構成することをさらに含む、項目11に記載の方法。
(項目16)
環境の1つ以上の特性を決定することと、
前記環境の前記決定された1つ以上の特性に基づいて、前記1つ以上の吸収係数を決定することと
をさらに含む、項目15に記載の方法。
【図面の簡単な説明】
【0012】
【
図1】
図1は、いくつかの実施形態による、ユーザの頭部上に装着されるように構成される例示的ウェアラブル頭部デバイス100を図示する。
【0013】
【
図2】
図2は、いくつかの実施形態による、例示的ウェアラブルシステムの例示的モバイルハンドヘルドコントローラコンポーネント200を図示する。
【0014】
【
図3】
図3は、いくつかの実施形態による、例示的ウェアラブルシステムの例示的補助ユニット300を図示する。
【0015】
【
図4】
図4は、いくつかの実施形態による、例示的ウェアラブルシステムに対応し得る例示的機能ブロック図を図示する。
【0016】
【
図5A】
図5Aは、左出力信号および右出力信号が各耳に別個に伝送される例示的両耳オーディオ再生システムを図示する。
【0017】
【
図5B】
図5Bは、
図5Aの両耳オーディオ再生システムの入力と出力のうちの1つとの間の例示的インパルス応答を図示する。
【0018】
【
図6】
図6は、いくつかの実施形態による、測定された両耳室内インパルス応答反響テールにおける周波数依存性両耳間コヒーレンスを図示する。
【0019】
【
図7A】
図7Aは、いくつかの実施形態による、リバーブレータと低周波数両耳間コヒーレンス制御システムとを含む例示的システムのブロック図を図示する。
【0020】
【0021】
【
図8】
図8は、いくつかの実施形態による、
図7Aのシステムのリバーブレータからの両耳間コヒーレンス出力のプロットを図示する。
【0022】
【
図9】
図9は、いくつかの実施形態による、
図7Aの低周波数両耳間コヒーレンス制御システムからの両耳間コヒーレンス出力のプロットを図示する。
【0023】
【
図10】
図10は、いくつかの実施形態による、二次バターワースフィルタを使用して実現されるハイパスフィルタおよびローパスフィルタの例示的周波数応答を図示する。
【0024】
【
図11】
図11は、いくつかの実施形態による、例示的入れ子オールパスフィルタを図示する。
【0025】
【
図12A】
図12Aは、いくつかの実施形態による、リバーブレータと低周波数両耳間コヒーレンス制御システムとを含む例示的システムのブロック図を図示する。
【0026】
【0027】
【
図13A】
図13Aは、いくつかの実施形態による、フィルタと出力信号との間に位置する高周波数処理ユニットを含む例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
【0028】
【0029】
【
図14A】
図14Aは、いくつかの実施形態による、入力信号とフィルタとの間に位置する高周波数処理ユニットを含む例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
【0030】
【0031】
【
図15A】
図15Aは、いくつかの実施形態による、高周波数処理ユニットを除外する例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
【0032】
【0033】
【
図16A】
図16Aは、いくつかの実施形態による、共有周波数区分を除外する例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
【0034】
【0035】
【
図17】
図17は、いくつかの実施形態による、オールパスフィルタおよび低周波数チャネル間コヒーレンス制御システムを伴う例示的フィードバック遅延ネットワーク(FDN)を図示する。
【発明を実施するための形態】
【0036】
例の以下の説明において、本明細書の一部を形成し、例証として、実践され得る具体的例が示される付随の図面が、参照される。他の例も、使用され得、構造変更が、開示される例の範囲から逸脱することなく、行われ得ることを理解されたい。
【0037】
(例示的ウェアラブルシステム)
【0038】
図1は、ユーザの頭部上に装着されるように構成される例示的ウェアラブル頭部デバイス100を図示する。ウェアラブル頭部デバイス100は、頭部デバイス(例えば、ウェアラブル頭部デバイス100)、ハンドヘルドコントローラ(例えば、下で説明されるハンドヘルドコントローラ200)、および/または補助ユニット(例えば、下で説明される補助ユニット300)等の1つ以上のコンポーネントを備えているより広範なウェアラブルシステムの一部であり得る。いくつかの例において、ウェアラブル頭部デバイス100は、仮想現実、拡張現実、または複合現実システムまたは用途のために使用されることができる。ウェアラブル頭部デバイス100は、ディスプレイ110Aおよび110B(左および右透過性ディスプレイと、直交瞳拡大(OPE)格子セット112A/112Bおよび射出瞳拡大(EPE)格子セット114A/114B等、ディスプレイからユーザの眼に光を結合するための関連付けられるコンポーネントを備え得る)等の1つ以上のディスプレイと、スピーカ120Aおよび120B(それぞれ、つるアーム122Aおよび122B上に搭載され、ユーザの左および右耳に隣接して位置付けられ得る)等の左および右音響構造と、赤外線センサ、加速度計、GPSユニット、慣性測定ユニット(IMU)(例えば、IMU126)、音響センサ(例えば、マイクロホン150)等の1つ以上のセンサと、直交コイル電磁受信機(例えば、左つるアーム122Aに搭載されるように示される受信機127)と、ユーザから離れるように向けられる左および右カメラ(例えば、深度(飛行時間)カメラ130Aおよび130B)と、ユーザに向かって向けられる左および右眼カメラ(例えば、ユーザの眼移動を検出するために)(例えば、眼カメラ128および128B)とを備えていることができる。しかしながら、ウェアラブル頭部デバイス100は、本発明の範囲から逸脱することなく、任意の好適なディスプレイ技術およびセンサまたは他のコンポーネントの任意の好適な数、タイプ、または組み合わせを組み込むことができる。いくつかの例において、ウェアラブル頭部デバイス100は、ユーザの音声によって発生させられるオーディオ信号を検出するように構成される1つ以上のマイクロホン150を備え得、そのようなマイクロホンは、ユーザの口に隣接してウェアラブル頭部デバイス内に位置付けられ得る。いくつかの例において、ウェアラブル頭部デバイス100は、他のウェアラブルシステムを含む他のデバイスおよびシステムと通信するために、ネットワーキング特徴(例えば、Wi-Fi能力)を組み込み得る。ウェアラブル頭部デバイス100は、バッテリ、プロセッサ、メモリ、記憶ユニット、または種々の入力デバイス(例えば、ボタン、タッチパッド)等のコンポーネントをさらに含み得るか、または、ウェアラブル頭部デバイス100は、1つ以上のそのようなコンポーネントを備えているハンドヘルドコントローラ(例えば、ハンドヘルドコントローラ200)または補助ユニット(例えば、補助ユニット300)に結合され得る。いくつかの例において、センサは、ユーザの環境に対する頭部搭載型ユニットの座標の組を出力するように構成され得、入力をプロセッサに提供し、同時位置特定およびマッピング(SLAM)プロシージャおよび/またはビジュアルオドメトリアルゴリズムを実施し得る。いくつかの例において、ウェアラブル頭部デバイス100は、下でさらに説明されるように、ハンドヘルドコントローラ200および/または補助ユニット300に結合され得る。
【0039】
図2は、例示的ウェアラブルシステムの例示的モバイルハンドヘルドコントローラコンポーネント200を図示する。いくつかの例において、ハンドヘルドコントローラ200は、ウェアラブルヘッドデバイス100および/または下で説明される補助ユニット300と有線または無線通信し得る。いくつかの例において、ハンドヘルドコントローラ200は、ユーザによって保持されるべきハンドル部分220と、上面210に沿って配置される1つ以上のボタン240とを含む。いくつかの例において、ハンドヘルドコントローラ200は、光学追跡標的として使用するために構成され得、例えば、ウェアラブル頭部デバイス100のセンサ(例えば、カメラまたは他の光学センサ)は、ハンドヘルドコントローラ200の位置および/または向きを検出するように構成されることができ、それは、転じて、ハンドヘルドコントローラ200を保持するユーザの手の位置および/または向きを示し得る。いくつかの例において、ハンドヘルドコントローラ200は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、または上で説明されるもの等の1つ以上の入力デバイスを含み得る。いくつかの例において、ハンドヘルドコントローラ200は、1つ以上のセンサ(例えば、ウェアラブル頭部デバイス100に関して上で説明されるセンサまたは追跡コンポーネントのうちのいずれか)を含む。いくつかの例において、センサは、ウェアラブル頭部デバイス100に対する、またはウェアラブルシステムの別のコンポーネントに対するハンドヘルドコントローラ200の位置または向きを検出することができる。いくつかの例において、センサは、ハンドヘルドコントローラ200のハンドル部分220内に位置付けられ得、および/または、ハンドヘルドコントローラに機械的に結合され得る。ハンドヘルドコントローラ200は、例えば、ボタン240の押された状態、またはハンドヘルドコントローラ200の位置、向き、および/または運動(例えば、IMUを介して)に対応する1つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、ウェアラブル頭部デバイス100のプロセッサへの入力、補助ユニット300への入力、またはウェアラブルシステムの別のコンポーネントへの入力として使用され得る。いくつかの例において、ハンドヘルドコントローラ200は、音(例えば、ユーザの発話、環境音)を検出し、ある場合、検出された音に対応する信号をプロセッサ(例えば、ウェアラブル頭部デバイス100のプロセッサ)に提供するために、1つ以上のマイクロホンを含むことができる。
【0040】
図3は、例示的ウェアラブルシステムの例示的補助ユニット300を図示する。いくつかの例において、補助ユニット300は、ウェアラブル頭部デバイス100および/またはハンドヘルドコントローラ200と有線または無線通信し得る。補助ユニット300は、ウェアラブル頭部デバイス100および/またはハンドヘルドコントローラ200(ディスプレイ、センサ、音響構造、プロセッサ、マイクロホン、および/またはウェアラブル頭部デバイス100またはハンドヘルドコントローラ200の他のコンポーネントを含む)等のウェアラブルシステムの1つ以上のコンポーネントを動作させるためのエネルギーを提供するために、バッテリを含むことができる。いくつかの例において、補助ユニット300は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、1つ以上の入力デバイス、および/または上で説明されるもの等の1つ以上のセンサを含み得る。いくつかの例において、補助ユニット300は、補助ユニットをユーザ(例えば、ユーザによって装着されるベルト)に取り付けるためのクリップ310を含む。ウェアラブルシステムの1つ以上のコンポーネントを格納するために補助ユニット300を使用する利点は、そのように行うことが、大きいまたは重いコンポーネントが、(例えば、ウェアラブル頭部デバイス100内に格納される場合)ユーザの頭部に搭載される、または(例えば、ハンドヘルドコントローラ200内に格納される場合)ユーザの手によって持ち運ばれるのではなく、大きく重い物体を支持するために比較的に良好に適しているユーザの腰部、胸部、または背部上で持ち運ばれることを可能にし得ることである。これは、バッテリ等の比較的に重いまたは嵩張るコンポーネントに関して特に有利であり得る。
【0041】
図4は、上で説明される、例示的ウェアラブル頭部デバイス100と、ハンドヘルドコントローラ200と、補助ユニット300とを含み得るような例示的ウェアラブルシステム400に対応し得る例示的機能ブロック図を示す。いくつかの例において、ウェアラブルシステム400は、仮想現実、拡張現実、または複合現実用途のために使用され得る。
図4に示されるように、ウェアラブルシステム400は、ここでは「トーテム」と称される(および上で説明されるハンドヘルドコントローラ200に対応し得る)例示的ハンドヘルドコントローラ400Bを含むことができ、ハンドヘルドコントローラ400Bは、トーテム/ヘッドギヤ6自由度(6DOF)トーテムサブシステム404Aを含むことができる。ウェアラブルシステム400は、(上で説明されるウェアラブルヘッドギヤデバイス100に対応し得る)例示的ウェアラブル頭部デバイス400Aも含むことができ、ウェアラブル頭部デバイス400Aは、トーテム/ヘッドギヤ6DOFヘッドギヤサブシステム404Bを含む。例において、6DOFトーテムサブシステム404Aおよび6DOFヘッドギヤサブシステム404Bは、協働し、ウェアラブル頭部デバイス400Aに対するハンドヘルドコントローラ400Bの6つの座標(例えば、3つの平行移動方向におけるオフセットおよび3つの軸に沿った回転)を決定する。6自由度は、ウェアラブル頭部デバイス400Aの座標系に対して表され得る。3つの平行移動オフセットは、そのような座標系内におけるX、Y、およびZオフセットとして、平行移動行列として、またはある他の表現として表され得る。回転自由度は、ヨー、ピッチ、およびロール回転の列として、ベクトルとして、回転行列として、四元数として、またはある他の表現として表され得る。いくつかの例において、ウェアラブル頭部デバイス400A内に含まれる1つ以上の深度カメラ444(および/または1つ以上の非深度カメラ)および/または1つ以上の光学標的(例えば、上で説明されるようなハンドヘルドコントローラ200のボタン240またはハンドヘルドコントローラ内に含まれる専用光学標的)が、6DOF追跡のために使用されることができる。いくつかの例において、ハンドヘルドコントローラ400Bは、上で説明されるようなカメラを含むことができ、ヘッドギヤ400Aは、カメラと併せで光学追跡のための光学標的を含むことができる。いくつかの例において、ウェアラブル頭部デバイス400Aおよびハンドヘルドコントローラ400Bの各々は、3つの直交して向けられたソレノイドの組を含み、それらは、3つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用されるコイルの各々において受信される3つの区別可能な信号の相対的大きさを測定することによって、ウェアラブル頭部デバイス400Aに対するハンドヘルドコントローラ400Bの6DOFが、決定され得る。いくつかの例において、6DOFトーテムサブシステム404Aは、向上した正確度および/またはハンドヘルドコントローラ400Bの高速移動に関するよりタイムリーな情報を提供するために有用である慣性測定ユニット(IMU)を含むことができる。
【0042】
拡張現実または複合現実用途を伴ういくつかの例において、座標をローカル座標空間(例えば、ウェアラブル頭部デバイス400Aに対して固定される座標空間)から慣性座標空間または環境座標空間に変換することが、望ましくあり得る。例えば、そのような変換は、ウェアラブル頭部デバイス400Aのディスプレイが、ディスプレイ上の固定位置および向きにおいて(例えば、ウェアラブル頭部デバイス400Aのディスプレイにおける同一の位置において)ではなく、仮想オブジェクトを実環境に対する予期される位置および向きにおいて提示する(例えば、ウェアラブル頭部デバイス400Aの位置および向きにかかわらず、前方に面した実椅子に座っている仮想人物)ために必要であり得る。これは、仮想オブジェクトが、実環境内に存在するという錯覚を維持することができる(かつ、例えば、ウェアラブル頭部デバイス400Aが、シフトおよび回転するとき、実環境内に不自然に位置付けられているように見えない)。いくつかの例において、慣性または環境座標系に対するウェアラブル頭部デバイス400Aの変換を決定するために、座標空間の間の補償変換が、深度カメラ444からの画像を処理することによって決定されることができる(例えば、同時位置特定およびマッピング(SLAM)および/またはビジュアルオドメトリプロシージャを使用して)。
図4に示される例において、深度カメラ444は、SLAM/ビジュアルオドメトリブロック406に結合されることができ、画像をブロック406に提供することができる。SLAM/ビジュアルオドメトリブロック406実装は、プロセッサを含むことができ、プロセッサは、この画像を処理し、次いで、ユーザの頭部の位置および向きを決定するように構成され、ユーザの頭部の位置および向きは、頭部座標空間と実座標空間との間の変換を識別するために使用され得る。同様に、いくつかの例において、ユーザの頭部姿勢および場所に関する情報の追加の源が、ウェアラブル頭部デバイス400AのIMU409から取得される。IMU409からの情報は、SLAM/ビジュアルオドメトリブロック406からの情報と統合され、向上した正確度および/またはユーザの頭部姿勢および位置の高速調節に関するよりタイムリーな情報を提供することができる。
【0043】
いくつかの例において、深度カメラ444は、ウェアラブル頭部デバイス400Aのプロセッサにおいて実装され得る手のジェスチャトラッカ411に3D画像を供給することができる。手のジェスチャトラッカ411は、例えば、深度カメラ444から受信された3D画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明らかであろう。
【0044】
いくつかの例において、1つ以上のプロセッサ416は、ヘッドギヤサブシステム404B、IMU409、SLAM/ビジュアルオドメトリブロック406、深度カメラ444、マイクロホン(図示せず)、および/または手のジェスチャトラッカ411からのデータを受信するように構成され得る。プロセッサ416は、制御信号を6DOFトーテムシステム404Aに送信し、それから受信することもできる。プロセッサ416は、ハンドヘルドコントローラ400Bが繋がれていない例等において、無線で、6DOFトーテムシステム404Aに結合され得る。プロセッサ416は、視聴覚コンテンツメモリ418、グラフィカル処理ユニット(GPU)420、および/またはデジタル信号プロセッサ(DSP)オーディオ空間化装置422等の追加のコンポーネントとさらに通信し得る。DSPオーディオ空間化装置422は、頭部関連伝達関数(HRTF)メモリ425に結合され得る。GPU420は、画像毎に変調された光424の左源に結合される左チャネル出力と、画像毎に変調された光426の右源に結合される右チャネル出力とを含むことができる。GPU420は、立体視画像データを画像毎に変調された光424、426の源に出力することができる。DSPオーディオ空間化装置422は、オーディオを左スピーカ412および/または右スピーカ414に出力することができる。DSPオーディオ空間化装置422は、プロセッサ416から、ユーザから仮想音源への方向ベクトルを示す入力を受信することができる(例えば、仮想音源は、ハンドヘルドコントローラ400Bを介して、ユーザによって移動させられ得る)。方向ベクトルに基づいて、DSPオーディオ空間化装置422は、対応するHRTFを決定することができる(例えば、HRTFにアクセスすることによって、または複数のHRTFを補間することによって)。DSPオーディオ空間化装置422は、次いで、仮想オブジェクトによって発生させられた仮想音に対応するオーディオ信号等のオーディオ信号に決定されたHRTFを適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および向きを組み込むことによって(すなわち、その仮想音が、実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって)、仮想音の信憑性および現実性を向上させることができる。
【0045】
図4に示されるもの等のいくつかの例において、プロセッサ416、GPU420、DSPオーディオ空間化装置422、HRTFメモリ425、およびオーディオ/視覚的コンテンツメモリ418のうちの1つ以上は、補助ユニット400C(上で説明される補助ユニット320に対応し得る)内に含まれ得る。補助ユニット400Cは、そのコンポーネントを給電するために、および/または、電力をウェアラブル頭部デバイス400Aおよび/またはハンドヘルドコントローラ400Bに供給するために、バッテリ427を含み得る。そのようなコンポーネントをユーザの腰部に搭載され得る補助ユニット内に含むことは、ウェアラブル頭部デバイス400Aのサイズおよび重量を限定することができ、それは、次に、ユーザの頭部および頸部の疲労を低減させることができる。
【0046】
図4は、例示的ウェアラブルシステム400の種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配置も、当業者に明白であろう。例えば、補助ユニット400Cに関連付けられているような
図4に提示される要素は、代わりに、ウェアラブル頭部デバイス400Aまたはハンドヘルドコントローラ400Bに関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ400Bまたは補助ユニット400Cを完全に無くし得る。そのような変更および修正は、開示される例の範囲内に含まれるとして理解されるべきである。
【0047】
(複合現実環境)
【0048】
全ての人々のように、複合現実システムのユーザは、実環境、すなわち、ユーザによって知覚可能である「実世界」の3次元部分およびその内容全ての中に存在している。例えば、ユーザは、その通常の人間感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して実環境を知覚し、実環境内でその自身の身体を移動させることによって実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができ、例えば、座標は、緯度、経度、および海面に対する高度、基準点からの3つの直交する次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間における方向と大きさとを有する量を説明することができる。
【0049】
コンピューティングデバイスは、例えば、デバイスに関連付けられるメモリ内で、仮想環境の表現を維持することができる。本明細書に使用されるように、仮想環境は、3次元空間のコンピュータ表現である。仮想環境は、任意のオブジェクト、アクション、信号、パラメータ、座標、ベクトル、またはその空間に関連付けられる他の特性の表現を含むことができる。いくつかの例において、コンピューティングデバイスの回路(例えば、プロセッサ)は、仮想環境の状態を維持および更新することができ、すなわち、プロセッサは、第1の時間において、仮想環境に関連付けられるデータおよび/またはユーザによって提供される入力に基づいて、第2の時間における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、ある時間に第1の座標に位置し、あるプログラムされた物理的パラメータ(例えば、質量、摩擦係数)を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに加えられるべきであると示す場合、プロセッサは、運動学の法則を適用し、基本的力学を使用してその時間におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境についての既知の任意の好適な情報および/または任意の好適な入力を使用し、ある時間における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新することにおいて、プロセッサは、任意の好適なソフトウェアを実行することができ、任意の好適なソフトウェアは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア(例えば、スクリプト)、仮想環境内の信号(例えば、オーディオ信号)の挙動を定義するためのソフトウェア、仮想環境に関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を発生させるためのソフトウェア、入力および出力を取り扱うためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ(例えば、経時的に仮想オブジェクトを移動させるためのアニメーションデータ)を適用するためのソフトウェア、または多くの他の可能性を含む。
【0050】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境の任意または全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る仮想オブジェクト(無生物オブジェクト、人物、動物、光等の表現を含み得る)を含み得る。プロセッサは、仮想環境のビュー(例えば、原点座標、視軸、および錐台を伴う「カメラ」に対応する)を決定し、そのビューに対応する仮想環境の視認可能な場面をディスプレイにレンダリングすることができる。任意の好適なレンダリング技術が、この目的のために使用され得る。いくつかの例において、視認可能な場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外し得る。同様に、仮想環境は、1つ以上のオーディオ信号としてユーザに提示され得るオーディオ側面を含み得る。例えば、仮想環境内の仮想オブジェクトが、オブジェクトの場所座標から生じる音を発生させ得る(例えば、仮想キャラクタが、発話する、または効果音を引き起こし得る)、または仮想環境は、特定の場所に関連付けられることもそうではないこともある音楽的キューまたは周囲音に関連付けられ得る。プロセッサは、「聴者」座標に対応するオーディオ信号(例えば、オーディオ信号は、聴者座標における聴者に聞こえるであろうオーディオ信号をシミュレートするために混合および処理される仮想環境内の音の合成音に対応する)を決定し、1つ以上のスピーカを介してユーザにオーディオ信号を提示することができる。
【0051】
仮想環境は、コンピュータ構造としてのみ存在するので、ユーザは、その通常の感覚を使用して仮想環境を直接知覚することができない。代わりに、ユーザは、仮想環境を間接的にのみ知覚することができ、例えば、ディスプレイ、スピーカ、触覚出力デバイス等によってユーザに提示される。同様に、ユーザは、仮想環境に直接触れること、それを操作すること、または別様にそれと相互作用することができないが、入力デバイスまたはセンサを介して、プロセッサに入力データを提供することができ、プロセッサは、仮想環境を更新するためにデバイスまたはセンサデータを使用し得る。例えば、カメラセンサは、ユーザが仮想環境内のオブジェクトを移動させようとしていることを示す光学データを提供することができ、プロセッサは、そのデータを使用し、オブジェクトに仮想環境内でそれに応じて応答させることができる。
【0052】
(デジタル反響および環境オーディオ処理)
【0053】
XRシステムは、原点座標を伴う音源において生じ、システムにおける向きベクトルの方向に進行するように思われるオーディオ信号をユーザに提示することができる。ユーザは、それらが音源の原点座標から生じ、向きベクトルに沿って進行する実オーディオ信号であるかのようにこれらのオーディオ信号を知覚し得る。
【0054】
ある場合、オーディオ信号は、それらが、仮想環境内のコンピュータ信号に対応し、必ずしも、実環境内の実音に対応するわけではないという点で、仮想と見なされ得る。しかしながら、仮想オーディオ信号は、例えば、
図1におけるウェアラブル頭部デバイス100のスピーカ120Aおよび120Bを介して発生させられたとき、人間の耳によって検出可能な実オーディオ信号としてユーザに提示されることができる。
【0055】
いくつかの仮想または複合現実環境は、環境が現実または本物であるように感じられないという知覚に悩まされる。この知覚の1つの理由は、オーディオおよび視覚的キューが、常時、仮想環境内で互いに合致するわけではないことである。仮想体験全体が、部分的に実世界相互作用に基づく自身の予期に適合しないので、偽物であり、本物ではないように感じ得る。ユーザの環境内のオブジェクトと現実的に相互作用していると思われるオーディオ信号を提示することによって、ユーザの体験を改良すること(わずかな点でさえ)が、望ましい。そのようなオーディオ信号が、実世界体験に基づく自身の予期により一貫するほど、ユーザの体験は、より没入型かつ魅力のあるものであろう。
【0056】
デジタルリバーブレータ(人工リバーブレータとも称される)が、オーディオおよび音楽信号処理において使用され得る。例えば、2チャネルステレオ出力を伴うリバーブレータが、互いに関連がない左耳信号および右耳信号を生成し得る。互いに関連がない信号は、従来のステレオラウドスピーカ再生構成において拡散反響効果を生成するために好適であり得る。両耳オーディオ再生システムにおける関連がないリバーブレータ出力信号(左出力信号と右出力信号とが、各耳に別個に伝送される)は、不自然な効果を生成し得る。一方、自然な拡散反響音場において、左耳における信号と右耳における信号とは、低周波数において非常にコヒーレントである。
【0057】
図5Aは、左出力信号と右出力信号とが各耳に別個に伝送される例示的両耳オーディオ再生システムを図示する。システム500は、直接音レンダラ510と、リバーブレータ520とを含む両耳再生システムであり得る。図に示されるように、システム500は、別個の直接音レンダリング経路とリバーブレータエネルギー経路とを含み得る。すなわち、信号501は、システム500への入力信号であり得る。信号501は、直接音レンダラ510およびリバーブレータ520の両方に入力され得る。直接音レンダラ510とリバーブレータ520とからの出力は、組み合わせられ、出力信号502R(例えば、右出力信号)とは別個の出力信号502L(例えば、左出力信号)をもたらし得る。
【0058】
図5Bは、
図5Aの両耳オーディオ再生システムの入力と出力のうちの1つとの間の例示的インパルス応答を図示する。図に示されるように、直接音の後に反射および反響が続き、反響は、それらが環境によって減衰させられるので、時間とともに自然に起こる減衰を経験し得る。
【0059】
いくつかの人工リバーブレータは、周波数依存性行列を使用し得る。周波数依存性行列は、左リバーブレータ出力信号および右リバーブレータ出力信号を注入する2×2行列であり得、右リバーブレータ出力信号は、左リバーブレータ出力信号と右リバーブレータ出力信号との合計のスケーリングされたコピーである。いくつかの実施形態において、周波数依存性2×2行列を使用することは、弱め合う干渉および強め合う干渉に起因して、ある周波数において左リバーブレータ出力信号および右リバーブレータ出力信号の音色品質に対して有害効果を及ぼし得る。したがって、出力信号は、ある周波数において不自然な効果を生成し得る。
【0060】
(標的両耳間コヒーレンス特徴)
【0061】
両耳間コヒーレンスは、両耳室内インパルス応答(BRIR)における左耳信号と右耳信号との間のコヒーレンスの尺度である。BRIRは、部屋が音響に及ぼし得る影響を反映し得る。同様に、チャネル間コヒーレンスは、第1のチャネル信号と第2のチャネル信号との間のコヒーレンスの尺度である。両耳間コヒーレンスは、室内の人に対して測定されるBRIRにおいて、低周波数において高くなり、高周波数において低くなる傾向がある。言い換えると、室内の個人に対する測定を分析すると、後期反響減衰に対して算出された両耳間コヒーレンスは、例えば、
図6に図示されるように、間隔を置かれたオムニマイクロホン記録の拡散場応答に近づき得る。
図6は、いくつかの実施形態による、測定されたBRIR反響テールにおける周波数依存性両耳間コヒーレンスを図示する。
【0062】
両耳間コヒーレンス標的は、例えば、周波数の関数として導出され得る。いくつかの実施形態において、低周波数において高両耳間コヒーレンス(例えば、左耳信号と右耳信号との間の高コヒーレンス)を達成し、中および/または高周波数において低両耳間コヒーレンス(例えば、左耳信号と右耳信号との間の低コヒーレンス)を達成することが、所望され得る。
【0063】
反響アルゴリズム(リバーブレータを使用して実装され得る)は、左耳と右耳との間で互いに関連がない出力信号を作成し得る。低周波数における両耳間コヒーレンスを制御することは、例えば、左耳信号および右耳信号を別個に(例えば、左耳および右耳に向けられる別個のそれぞれの左および右スピーカを介して)伝送するウェアラブル頭部デバイス上での再生のために、より現実的な室内シミュレーション効果をもたらし得る。
【0064】
(例示的低周波数両耳間コヒーレンス制御)
【0065】
いくつかの実施形態において、関連がない出力信号は、反響アルゴリズム(リバーブレータを使用して実装され得る)を使用して生成され得る。反響アルゴリズムは、例えば、各耳(例えば、左耳および右耳)のための異なる遅延を伴う並列コムフィルタを含み、それによって、互いに実質的に互いに関連がない左耳および右耳に関する異なる信号を生成し得る。いくつかの実施形態において、これは、高周波数において低両耳間コヒーレンスを提供し得るが、低周波数において高両耳間コヒーレンスを提供しないこともある。
【0066】
図7Aは、いくつかの実施形態による、リバーブレータと、低周波数両耳間コヒーレンス制御システムとを含む例示的システムのブロック図を図示する。
図7Bは、
図7Aのシステムを動作させるための例示的方法のフローを図示する。
【0067】
システム700は、リバーブレータ720と、低周波数両耳間コヒーレンス制御システム730とを含むことができる。リバーブレータ720は、リバーブレータ720からの出力が、低周波数両耳間コヒーレンス制御システム730に入力として受信されるように、低周波数両耳間コヒーレンス制御システム730と直列に接続され得る。
【0068】
リバーブレータ720は、コムフィルタの2つの組、すなわち、左耳コムフィルタ722Lと、右耳コムフィルタ722Rとを含むことができる。コムフィルタ722L/722Rの両方の組は、入力信号501を受信することができる。
【0069】
低周波数両耳間コヒーレンス制御システム730は、左高周波数区分732Lと、共有低周波数区分732Sと、右高周波数区分732Rとを含むことができる。用語「左高周波数」、「共有低周波数区分」、および「右高周波数区分」は、異なる区分/経路を説明するために使用される。
【0070】
左耳コムフィルタ722Lは、高周波数区分732Lおよび共有低周波数区分732Sに信号を出力することができる。右耳コムフィルタ722Rは、右高周波数区分732Rに信号を出力することができる。
【0071】
左高周波数区分732Lは、複数のフィルタ、すなわち、ハイパスフィルタ736Lと、第1の入れ子オールパスフィルタ738Aと、第2の入れ子オールパスフィルタ738Bと、コンバイナ740Lとを含むことができる。左耳コムフィルタ722Lからの出力信号は、ハイパスフィルタ736Lに入力されることができる。ハイパスフィルタ736Lからの出力信号は、第1の入れ子オールパスフィルタ738Aに入力されることができる。第1の入れ子オールパスフィルタ738Aからの出力信号は、第2の入れ子オールパスフィルタ738Bに入力されることができる。
【0072】
同様に、右高周波数区分732Rは、複数のフィルタ、すなわち、ハイパスフィルタ738Rと、第1の入れ子オールパスフィルタ738Cと、第2の入れ子オールパスフィルタ738Dと、コンバイナ740Rとを含むことができる。右耳コムフィルタ722Rからの出力信号は、ハイパスフィルタ736Rに入力されることができる。ハイパスフィルタ736Rからの出力信号は、第1の入れ子オールパスフィルタ738Cに入力されることができる。第1の入れ子オールパスフィルタ738Cからの出力信号は、第2の入れ子オールパスフィルタ738Dに入力されることができる。
【0073】
ハイパスフィルタ736は、高周波数閾値より高い周波数を有する信号の部分を通すように構成されることができる。オールパスフィルタは、全ての信号を通すように構成されることができる。コンバイナは、その入力信号を組み合わせ、1つ以上の出力信号を形成するように構成されることができる。
【0074】
共有低周波数区分732Sは、ローパスフィルタ742と、遅延744とを含むことができる。共有低周波数区分732Sは、低周波数管理システムと称され得る。いくつかの実施形態において、左高周波数区分732L、共有低周波数区分732S、および/または右高周波数区分732Rのコンポーネントは、任意の順序であり得、本開示の例は、
図7Aに図示される構成に限定されない。
【0075】
左耳コムフィルタ722Lは、入力信号(信号501)を受信することができ、フィードバックループを使用して、その入力信号の減衰バージョンを繰り返すことができる(プロセス750のステップ752)。左耳コムフィルタ722Lは、左高周波数区分732Lおよび共有低周波数区分732Sに信号を出力することができる。具体的に、左耳コムフィルタ722Lは、左高周波数区分732Lのハイパスフィルタ736Lおよび共有低周波数区分732Sのローパスフィルタ742に信号を出力することができる。右耳コムフィルタ722Rは、入力信号(信号501)を受信することができ、フィードバックループを使用して、その入力信号の減衰バージョンを繰り返すことができる(ステップ770)。右耳コムフィルタ722Rは、右高周波数区分732Rに信号を出力することができる。具体的に、右耳コムフィルタ722Rは、右高周波数区分732Rのハイパスフィルタ736Rに信号を出力することができる。
【0076】
左高周波数区分732Lにおいて、ハイパスフィルタ736Lは、左耳コムフィルタ722Lから出力される信号を受信することができ、高周波数閾値より高い周波数を有するそれらの信号(すなわち、高周波数信号)を出力として通すことができる(ステップ754)。ハイパスフィルタ736Lからの出力は、第1の入れ子オールパスフィルタ738Aに入力されることができる。第1の入れ子オールパスフィルタ738Aは、ハイパスフィルタ736Lからこの信号を受信することができ、その大きさ応答を変化させることなくその位相を修正することができる(ステップ756)。第1の入れ子オールパスフィルタ738Aは、第2の入れ子オールパスフィルタ738Bによって入力として受信されるべき信号を出力することができる。第2の入れ子オールパスフィルタ738Bは、第1の入れ子オールパスフィルタ738Aからこの信号を受信することができ、その大きさ応答を変化させることなくその位相を修正することができる(ステップ758)。第2の入れ子オールパスフィルタ738Bは、信号をコンバイナ740Lに出力することができる。
【0077】
右高周波数区分732Rにおいて、ハイパスフィルタ736Rは、右耳コムフィルタ722Rから出力される信号を受信することができ、高周波数閾値より高い周波数を有するそれらの信号を出力として通すことができる(ステップ772)。ハイパスフィルタ736Rからの出力は、第1の入れ子オールパスフィルタ738Cに入力されることができる。第1の入れ子オールパスフィルタ738Cは、ハイパスフィルタ736Rからこの信号を受信することができ、その大きさ応答を変化させることなくその位相を修正することができる(ステップ774)。第1の入れ子オールパスフィルタ738Cは、第2の入れ子オールパスフィルタ738Dによって入力として受信されるべき信号を出力することができる。第2のオールパスフィルタ738Dは、第1の入れ子オールパスフィルタ738Cからこの信号を受信することができ、その大きさ応答を変化させることなくその位相を修正することができる(ステップ776)。第2の入れ子オールパスフィルタ738Dは、信号をコンバイナ740Rに出力することができる。
【0078】
共有低周波数区分732Sにおいて、ローパスフィルタ742は、左耳コムフィルタ722Lから出力される信号を受信することができ、低周波数閾値より低い周波数を有する信号の部分(すなわち、低周波数信号)を出力として通すことができる(ステップ760)。いくつかの実施形態において、(左高周波数区分732Lの)ハイパスフィルタ736Lによって通されないそれらの信号は、ローパスフィルタ742によって通され得る。いくつかの実施形態において、(共有低周波数区分732Sの)ローパスフィルタ742によって通されないそれらの信号は、(左高周波数区分732Lの)ハイパスフィルタ736Lによって通され得る。ローパスフィルタ742からの出力は、遅延744に入力されることができる。遅延744は、遅延を(ローパスフィルタ742からの)その入力信号の中に導入することができる(ステップ762)。遅延744からの出力信号は、(左高周波数区分732Lの)コンバイナ740Lおよび(右高周波数区分732Rの)740Rへの入力であり得る。
【0079】
左高周波数区分732Lのコンバイナ740Lは、(左高周波数区分732Lの)第2の入れ子オールパスフィルタ738Bからの信号および(共有低周波数区分732Sの)遅延744からの信号を受信することができる。コンバイナ740Lは、組み合わせる(例えば、入力信号を合計する)ことができ(ステップ764)、結果として生じる信号を信号502Lとして出力することができる。コンバイナ740Lからの出力は、左耳出力信号であり得る(ステップ766)。
【0080】
右高周波数区分732Rのコンバイナ740Rは、(右高周波数区分732Rの)第2の入れ子オールパスフィルタ738Dからの信号および(共有低周波数区分732Sの)遅延744からの信号を受信することができる。コンバイナ740Rは、組み合わせる(例えば、入力信号を合計する)ことができ(ステップ778)、結果として生じる信号を信号502Rとして出力することができる。コンバイナ740Rからの出力は、右耳出力信号であり得る(ステップ780)。
【0081】
前述で議論されるように、共有低周波数区分732Sは、低周波数管理システムである。共有低周波数区分732Sによって左高周波数区分732Lおよび右高周波数区分732Rの両方に導入される信号における遅延は、両耳間コヒーレンスを制御することに役立つことができる。遅延は、(ローパスフィルタ742によってフィルタ処理される)低周波数閾値より低い周波数を有する信号に対して導入されるので、システム700は、低周波数において高コヒーレンスを達成することができる。いくつかの実施形態において、各区分732は、所与の区分を通して伝搬する信号のある周波数範囲を制御する。例えば、ハイパスフィルタ736Lは、左高周波数区分732Lの信号を制御し、ハイパスフィルタ736Rは、右高周波数区分732Rの信号を制御し、ローパスフィルタ742は、共有低周波数区分732Sの信号を制御する。
【0082】
いくつかの実施形態において、遅延744は、その出力信号を左高周波数区分732Lの第2の入れ子オールパスフィルタ738Bからの出力信号と整列させることができる。加えて、または代替として、遅延744は、その出力信号を右高周波数区分732Rの第2の入れ子オールパスフィルタ738Dの出力信号と整列させることができる。
【0083】
図8は、いくつかの実施形態による、
図7Aのシステムのリバーブレータ720からの両耳間コヒーレンス出力のプロットを図示する。図に示されるように、両耳間コヒーレンスは、全ての(低、中、および高)周波数を横断して低くあり得る。
【0084】
図9は、いくつかの実施形態による、
図7Aの低周波数両耳間コヒーレンス制御システム730からの両耳間コヒーレンス出力のプロットを図示する。図に示されるように、両耳間コヒーレンスは、低周波数(例えば、1kHz未満)において高く、中および高周波数(例えば、1kHz超)において低くあり得る。いくつかの実施形態において、共有低周波数区分732Sは、低周波数に関する両耳間コヒーレンスを制御することができる。いくつかの実施形態において、左高周波数区分732Lおよび右高周波数区分732Rは、中および/または高周波数に関する両耳間コヒーレンスを制御することができる。このように、低周波数コヒーレンス制御システムは、共有区分と、複数の専用区分とを含むことができる。共有区分は、低周波数信号を制御するためのものであり得、専用区分は、高周波数信号を制御するためのものであり得る。
【0085】
(例示的フィルタ)
【0086】
図10は、いくつかの実施形態による、二次バターワースフィルタを使用して実現されるハイパスフィルタおよびローパスフィルタの例示的周波数応答を図示する。図に示されるように、ハイパスフィルタ(例えば、ハイパスフィルタ736L、ハイパスフィルタ736R、または両方)は、高周波数閾値より高い周波数を有する信号を通すことができる。例えば、ハイパスフィルタは、1kHzより高い周波数を有する信号を通すことができる。いくつかの例において、ハイパスフィルタの応答は、勾配を有し得、ある周波数範囲(例えば、約100Hz~1kHz)内で、ハイパスフィルタが、信号を部分的に通し得る。いくつかの実施形態において、ハイパスフィルタは、二次バターワースフィルタであり得る。
【0087】
図にさらに示されるように、ローパスフィルタ(例えば、ローパスフィルタ742)は、低周波数閾値未満の周波数を有する信号を通すことができる。例えば、ローパスフィルタは、200Hz未満の周波数を有する信号を通すことができる。いくつかの例において、ハイパスフィルタの応答は、勾配を有し得、ある周波数範囲(例えば、約200Hz~4kHz)内で、ローパスフィルタが、信号を部分的に通し得る。いくつかの実施形態において、ローパスフィルタは、二次バターワースフィルタであり得る。
【0088】
いくつかの実施形態において、両耳間コヒーレンスは、ある周波数範囲において高から低に遷移することができる。周波数範囲は、2つ以上のフィルタの交差点および勾配を調節することによって制御され得る:(左高周波数区分732Lの)ハイパスフィルタ736L、(右高周波数区分732Rの)ハイパスフィルタ736R、および(共有低周波数区分732Sの)ローパスフィルタ742。
【0089】
図11は、いくつかの実施形態による、例示的入れ子オールパスフィルタを図示する。図に図示されるオールパスフィルタ738は、例えば、
図7Aに図示されるオールパスフィルタ738A、738B、738C、および738Dのうちの1つ以上であり得る。オールパスフィルタ738は、複数のコンポーネント、すなわち、利得1145A、利得1145B、利得1145C、利得1145D、遅延1144A、遅延1144B、コンバイナ1140A、コンバイナ1140B、コンバイナ1140C、およびコンバイナ1140Dを含むことができる。
【0090】
前述で議論されるように、オールパスフィルタ738は、入力信号における全ての周波数を通すように構成されることができる。いくつかの例において、オールパスフィルタ738は、その大きさを変化させることなく、周波数間の位相関係を変化させながら信号を通すことができる。オールパスフィルタ738への入力信号は、利得1145Aからの出力とともに、コンバイナ1140Aへの入力として提供されることができる。コンバイナ1140Aからの出力は、遅延1144Aおよび利得1145Dへの入力として提供されることができる。
【0091】
遅延1144Aは、ある遅延を信号の中に導入することができ、その出力は、利得1145Bからの出力とともに、コンバイナ1140Bへの入力として提示されることができる。コンバイナ1140Bからの出力は、遅延1144Bおよび利得1145Cへの入力として提供されることができる。遅延1144Bは、ある量の遅延を導入することができ、その信号をコンバイナ1140Cに出力することができる。コンバイナ1140Cは、利得1145Cからも信号を受信することができる。
【0092】
利得1145A、利得1145B、利得1145C、および利得1145Dは、ある量の利得をそれぞれの入力信号の中に導入することができる。コンバイナ1140Dは、コンバイナ1140Cと利得1145Dとから出力を受信し、信号を組み合わせる(例えば、合計する)ことができる。
【0093】
いくつかの実施形態において、
図7Aのリバーブレータ720は、フィードバックおよびフィードフォワード処理ブロックのネットワークを使用して実現され得る。ネットワークは、例えば、スタンドアロンコムフィルタまたはより複雑なフィードバック遅延ネットワーク(FDN)、およびオールパスフィルタを含み得る。いくつかの実施形態において、リバーブレータトポロジにかかわらず、反響減衰時間は、リバーブレータを相互接続された遅延ユニットの集合と見なし、ネットワーク内の各遅延ユニットに吸収係数を挿入することによって制御され得る。
【0094】
図7Aのシステムの場合のように、遅延ユニットを含む1つ以上の処理ブロックが、リバーブレータとカスケードにおいて関連付けられる場合、遅延ユニットを含む1つ以上の追加の処理ブロックによる余分な処理が、ある程度の余分な減衰または時間スミアリングを導入し得、短い反響時間を実現するための全体的システムの能力を限定し得る。
【0095】
図12Aは、いくつかの実施形態による、リバーブレータと、低周波数両耳間コヒーレンス制御システムとを含む例示的システムのブロック図を図示する。
【0096】
低周波数両耳間コヒーレンス制御システム1200は、いくつかの差異を伴って、
図7Aの低周波数両耳間コヒーレンス制御システム700に類似し得る。例えば、
図7Aの左高周波数区分732Lは、第1の入れ子オールパスフィルタ738Aと、第2の入れ子オールパスフィルタ738Bとを含む一方、
図12Aの左高周波数区分1232Lは、第1の吸収性入れ子オールパスフィルタ1239Aと、第2の吸収性入れ子オールパスフィルタ1239Bとを含む。同様に、
図7Aの右高周波数区分732Rは、第1の入れ子オールパスフィルタ739Cと、第2の入れ子オールパスフィルタ739Dとを含む一方、
図12Aの右高周波数区分1232Rは、第1の吸収性入れ子オールパスフィルタ1239Cと、第2の吸収性入れ子オールパスフィルタ1239Dとを含む。
図7Aの共有低周波数区分732Sは、遅延744を含む一方、
図12Aの共有低周波数区分1232Sは、吸収性遅延1245を含む。
【0097】
図12Aの低周波数両耳間コヒーレンス制御システム1200のそれぞれの吸収性遅延ユニットは、全体的システムの反響時間が、元のリバーブレータの標的化反響時間と厳密に同一であることを可能にするために、1つ以上の吸収係数を用いて構成され得る。
【0098】
各吸収性遅延ユニット(例えば、左高周波数区分1232Lの第1の吸収性入れ子オールパスフィルタ1239A、左高周波数区分1232Lの第2の吸収性入れ子オールパスフィルタ1239B、右高周波数区分1232Rの第1の吸収性入れ子オールパスフィルタ1239C、右高周波数区分1232Rの第2の吸収性入れ子オールパスフィルタ1239D、および/または共有低周波数区分1232Sの吸収性遅延1245)における吸収利得または減衰grain
dは、対応する遅延dの関数として表され得る。式(1)は、いくつかの実施形態による、対応する遅延dの関数としての吸収利得grain
dの式を含む。
【数1】
【0099】
式(1)において、T60は、遅延と同じ単位において表される反響時間であり得る。
【0100】
図12Bは、
図12Aのシステムを動作させるための例示的方法のフローを図示する。プロセス1250は、
図7Bのプロセス750のコンテキストにおいて説明されるステップ752、754、760、764、766、770、772、778、および780に対応して類似するそれぞれのステップ1252、1254、1260、1264、1266、1270、1272、1278、および1280を含む。プロセス1250は、ステップ1256、1258、1262、1274、および1276も含む。ステップ1256、1258、1262、1274、および1276は、それぞれ、(
図7Bの)ステップ756、758、762、774、および776に類似し得るが、反響時間を可能にするために吸収性遅延ユニットを使用し得る。
【0101】
(低周波数コヒーレンス制御システムの実施形態)
【0102】
図13A、14A、15A、および16Aは、種々の実施形態による、それぞれ、例示的低周波数チャネル間コヒーレンス制御システム1330、1430、1530、および1630を図示する。低周波数チャネル間コヒーレンス制御システム1330、1430、1530、および1630の各々は、左高周波数区分と、共有低周波数区分と、右高周波数区分とを含むことができる。
【0103】
いくつかの実施形態において、低周波数チャネル間コヒーレンス制御システム1330、1430、1530、および1630は、複数の入力信号、すなわち、信号1301Aおよび信号1301Bを受信し得る。いくつかの実施形態において、信号1301Aおよび1301Bは、実質的に同じスペクトルコンテンツを有するが、低い相互チャネル間コヒーレンスを有し得る。2つの信号は、例えば、2チャネルリバーブレータによって生成されるとき、実質的に同じスペクトルコンテンツを有するが、低い相互チャネル間コヒーレンスを有し得る。例示的2チャネルリバーブレータは、
図7Aおよび12Aのリバーブレータ720である。リバーブレータ720は、2チャネルリバーブレータであるが、本開示の例は、任意の数のチャネルを有するリバーブレータを含むことができる。
【0104】
いくつかの実施形態において、低周波数チャネル間コヒーレンス制御システム1330、1430、1530、および1630は、複数の出力信号、すなわち、信号1302Lおよび1302Rを出力し得る。
【0105】
いくつかの実施形態において、低周波数チャネル間コヒーレンス制御システム1330、1430、1530、および1630は、
図7Aおよび12Aのものに対応して類似し得るハイパスフィルタ736Lと、ハイパスフィルタ736Rと、ローパスフィルタ742と、遅延744とを含み得る。加えて、または代替として、これらのフィルタは、
図10のコンテキストにおいて上で説明される二次バターワースフィルタを使用して実現され得る。
【0106】
いくつかの実施形態において、低周波数チャネル間コヒーレンス制御システム1330、1430、1530、および1630は、
図7Aおよび12Aのものに対応して類似し得るコンバイナ740Lおよび740Rを含み得る。
【0107】
いくつかの実施形態において、低周波数チャネル間コヒーレンス制御システム1330および1430は、高周波数処理ユニット1337Lおよび1337Rも含み得る。高周波数処理ユニット1337は、オールパスフィルタ(入れ子オールパスフィルタおよび/またはカスケードオールパスフィルタ等の任意のタイプのオールパスフィルタを含む)または吸収性オールパスフィルタであり得る。
【0108】
図13Aは、いくつかの実施形態による、フィルタと出力信号との間に位置する高周波数処理ユニットを含む例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
図13Bは、
図13Aのシステムを動作させるための例示的方法のフローを図示する。
【0109】
低周波数チャネル間コヒーレンス制御システム1330は、左高周波数区分1332Lと、共有低周波数区分1332Sと、右高周波数区分1332Rとを含むことができる。左高周波数区分1332Lは、ハイパスフィルタ736Lと、高周波数処理ユニット1337Lと、コンバイナ740Lとを含むことができる。同様に、右高周波数区分1332Rは、ハイパスフィルタ736Rと、高周波数処理ユニット1337Rと、コンバイナ740Rとを含むことができる。共有低周波数区分1332Sは、ローパスフィルタ742と、遅延744とを含むことができる。
【0110】
左高周波数区分1332Lにおいて、ハイパスフィルタ736Lは、第1の入力信号1301Aを受信する(プロセス1350のステップ1352)。ハイパスフィルタ736Lは、高周波数閾値より高い周波数を有する信号を高周波数処理ユニット1337Lに通すように構成されることができる(ステップ1354)。高周波数処理ユニット1337Lは、ハイパスフィルタ736Lからの信号に対して処理を実施するように構成されることができる(ステップ1356)。上で議論されるように、高周波数処理ユニット1337Lは、1つ以上のタイプのフィルタを含むことができ、ハイパスフィルタ736Lからの信号に対する処理は、フィルタのタイプの対応する機能を実施することができる。高周波数処理ユニット1337Lは、次いで、信号をコンバイナ740Lに出力する。
【0111】
右高周波数区分1332Rにおいて、ハイパスフィルタ736Rは、第2の入力信号1301を受信する(ステップ1370)。ハイパスフィルタ736Rは、高周波数閾値より高い周波数を有する信号を高周波数処理ユニット1337Rに通すように構成されることができる(ステップ1372)。高周波数処理ユニット1337Rは、ハイパスフィルタ736Rからの信号に対して処理を実施するように構成されることができる(ステップ1374)。上で議論されるように、高周波数処理ユニット1337Rは、1つ以上のタイプのフィルタを含むことができ、ハイパスフィルタ736Rからの信号に対する処理は、フィルタのタイプの対応する機能を実施することができる。高周波数処理ユニット1337Rは、次いで、信号をコンバイナ740Rに出力する。
【0112】
共有低周波数区分1332Sにおいて、ローパスフィルタ742は、第1の入力信号1301Aを受信する。ローパスフィルタ742は、低周波数閾値未満の周波数を有する信号を通すように構成されることができる(ステップ1360)。いくつかの実施形態において、低周波数両耳間コヒーレンス制御システム1330は、遅延744を含み得る。遅延744は、遅延を(ローパスフィルタ742からの)その入力信号の中に導入することができる(ステップ1362)。遅延744からの出力信号は、(左高周波数区分1332Lの)コンバイナ740Lおよび(右高周波数区分1332Rの)740Rへの入力であり得る。
【0113】
コンバイナ740Lは、(左高周波数区分1332Lの)高周波数処理ユニット1337Lから、および共有低周波数区分1332Sから信号を受信する。コンバイナ740Lは、2つの受信された信号を組み合わせ(例えば、合計し)(ステップ1364)、第1の出力信号1302Lを出力する(ステップ1366)。
【0114】
コンバイナ740Rは、(右高周波数区分1332Rの)高周波数処理ユニット1337Rから、および(共有低周波数区分1332Sの)遅延744から信号を受信する。コンバイナ740Rは、2つの受信された信号を組み合わせ(例えば、合計し)(ステップ1376)、第2の出力信号1302Rを出力する(ステップ1378)。
【0115】
いくつかの実施形態において、低周波数両耳間コヒーレンス制御システム1330は、随意に、その共有低周波数区分1332S内に遅延744を含み得る。そのような実施形態において、ローパスフィルタ742からの信号は、コンバイナ740Lおよび740Rに直接入力され得る。
【0116】
図14Aは、いくつかの実施形態による、入力信号とフィルタとの間に位置する高周波数処理ユニットを含む例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
図14Bは、
図14Aのシステムを動作させるための例示的方法のフローを図示する。
【0117】
低周波数チャネル間コヒーレンス制御システム1430は、左高周波数区分1432Lと、共有低周波数区分1432Sと、右高周波数区分1432Rとを含むことができる。左高周波数区分1432Lは、高周波数処理ユニット1337Lと、ハイパスフィルタ736Lと、コンバイナ740Lとを含むことができる。同様に、右高周波数区分1432Rは、高周波数処理ユニット1437Rと、ハイパスフィルタ736Rと、コンバイナ740Rとを含むことができる。共有低周波数区分1432Sは、ローパスフィルタ742を含むことができる。
【0118】
左高周波数区分1432Lにおいて、高周波数処理ユニット1337Lは、第1の入力信号1301Aを受信する(プロセス1450のステップ1452)。高周波数処理ユニット1337Lは、信号1301Aに対して処理を実施するように構成されることができる(ステップ1454)。上で議論されるように、高周波数処理ユニット1337Lは、1つ以上のタイプのフィルタを含むことができ、所与のフィルタの機能に対応する信号1301Aに対する処理を実施することができる。高周波数処理ユニット1337Lは、次いで、信号をハイパスフィルタ736Lに出力する。ハイパスフィルタ736Lは、高周波数閾値より高い周波数を有する信号をコンバイナ740Lに通すように構成されることができる(ステップ1456)。
【0119】
右高周波数区分1432Rにおいて、高周波数処理ユニット1337Rは、第1の入力信号1301Bを受信する(ステップ1470)。高周波数処理ユニット1337Rは、信号1301Bに対して処理を実施するように構成されることができる(ステップ1472)。上で議論されるように、高周波数処理ユニット1337Rは、1つ以上のタイプのフィルタを含むことができ、所与のフィルタの機能に対応する信号1301Bに対する処理を実施することができる。高周波数処理ユニット1337Rは、次いで、信号をハイパスフィルタ736Rに出力する。ハイパスフィルタ736Rは、高周波数閾値より高い周波数を有する信号をコンバイナ740Rに通すように構成されることができる(ステップ1474)。
【0120】
共有低周波数区分1432Sにおいて、ローパスフィルタ742は、第1の入力信号1301Aを受信する。ローパスフィルタ742は、低周波数閾値未満の周波数を有する信号をコンバイナ740Lおよび740Rに通すように構成されることができる(ステップ1460)。
【0121】
コンバイナ740Lは、(左高周波数区分1432Lの)ハイパスフィルタ736Lから、および(共有低周波数区分1432Sの)ローパスフィルタ742から信号を受信する。コンバイナ740Lは、2つの受信された信号を組み合わせ(例えば、合計し)(ステップ1462)、第1の出力信号1302Lを出力する(ステップ1464)。
【0122】
コンバイナ740Rは、(右高周波数区分1432Rの)ハイパスフィルタ736Rから、および(共有低周波数区分1432Sの)ローパスフィルタ742から信号を受信する。コンバイナ740Rは、2つの受信された信号を組み合わせ(例えば、合計し)(ステップ1476)、第2の出力信号1302Rを出力する(ステップ1478)。
【0123】
図15Aは、いくつかの実施形態による、高周波数処理ユニットを除外する例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
図15Bは、
図15Aのシステムを動作させるための例示的方法のフローを図示する。
【0124】
低周波数チャネル間コヒーレンス制御システム1530は、左高周波数区分1532Lと、共有低周波数区分1532Sと、右高周波数1532Rとを含むことができる。左高周波数区分1532Lは、ハイパスフィルタ736Lと、コンバイナ740Lとを含むことができる。同様に、右高周波数区分1532Rは、ハイパスフィルタ736Rと、コンバイナ740Rとを含むことができる。共有低周波数区分1532Sは、ローパスフィルタ742を含むことができる。
【0125】
左高周波数区分1532Lにおいて、ハイパスフィルタ736Lは、第1の入力信号1301Aを受信する(プロセス1550のステップ1552)。ハイパスフィルタ736Lは、高周波数閾値より高い周波数を有する信号をコンバイナ740Lに通すように構成されることができる(ステップ1554)。右高周波数区分1532Rにおいて、ハイパスフィルタ736Rは、第2の入力信号1301Bを受信する(ステップ1570)。ハイパスフィルタ736Rは、高周波数閾値より高い周波数を有する信号をコンバイナ740Rに通すように構成されることができる(ステップ1572)。共有高周波数区分1532Sにおいて、ローパスフィルタ742は、第1の入力信号1301Aを受信する(ステップ1560)。ローパスフィルタ742は、高周波数閾値未満の周波数を有する信号をコンバイナ740Lおよび740Rに通すように構成されることができる。
【0126】
コンバイナ740Lは、(左高周波数区分1332Lの)ハイパスフィルタ736Lから、および(共有低周波数区分1532Sの)ローパスフィルタ742から信号を受信する。コンバイナ740Lは、2つの受信された信号を組み合わせ(例えば、合計し)(ステップ1562)、第1の出力信号1302Lを出力する(ステップ1564)。
【0127】
コンバイナ740Rは、(右高周波数区分1332Rの)ハイパスフィルタ736Rから、および(共有低周波数区分1532Sの)ローパスフィルタ742から信号を受信する。コンバイナ740Rは、2つの受信された信号を組み合わせ(例えば、合計し)(ステップ1574)、第2の出力信号1302Rを出力する(ステップ1576)。
【0128】
図15Aの低周波数チャネル間コヒーレンス制御システム1530は、いくつかの差異を伴って、
図14Aの低周波数両耳間コヒーレンス制御システム1430に類似し得る。例えば、
図14Aの左高周波数区分1432Lおよび右高周波数区分1432Rは、それぞれ、高周波数処理ユニット1337Lおよび1337Rを含む。一方、
図15Aの低周波数チャネル間コヒーレンス制御システム1530は、高周波数処理ユニットを含まない。いくつかの実施形態において、
図15Aの低周波数両耳間コヒーレンス制御システム1530を含むシステムは、例えば、低周波数チャネル間コヒーレンス制御システム1530の前にシステムの他の部分内に高周波数処理ユニットを含み得る。
【0129】
図16Aは、いくつかの実施形態による、共有周波数区分を除外する例示的低周波数チャネル間コヒーレンス制御システムのブロック図を図示する。
図16Bは、
図16Aのシステムを動作させるための例示的方法のフローを図示する。
【0130】
低周波数チャネル間コヒーレンス制御システム1630は、低周波数区分1632Lと、高周波数区分1632Hとを含むことができる。低周波数区分1632Lは、ローパスフィルタ742を含むことができる。高周波数区分は、ハイパスフィルタ736と、コンバイナ740とを含むことができる。
【0131】
低周波数区分1632Lのローパスフィルタ742は、第1の入力信号1301Aを受信することができる(プロセス1650のステップ1652)。高周波数区分1632Hのハイパスフィルタ736は、第2の入力信号1301Bを受信することができる(ステップ1670)。
【0132】
チャネル間コヒーレンス制御システム1630は、第1の入力信号1301Aを第1の出力信号1302Lとして直接出力し得る(ステップ1660)。言い換えると、第1の出力信号1302Lは、第1の入力信号1301Aと同一であり、それは、第1の出力信号1302Lが、低周波数両耳間コヒーレンス制御システム1630においていかなる処理も受けないことを意味する。
【0133】
ローパスフィルタ742は、低周波数閾値未満の周波数を有する信号をコンバイナ740に通すように構成されることができる(ステップ1654)。ハイパスフィルタ736は、高周波数閾値より高い周波数を有する信号をコンバイナ740に通すように構成されることができる(ステップ1672)。コンバイナ740は、低周波数区分1632Lのローパスフィルタ742から、および高周波数区分1632Hのハイパスフィルタ736から信号を受信し、組み合わせる(例えば、合計する)(ステップ1674)。コンバイナ740は、第2の出力信号1302Rを出力することができる(ステップ1676)。
【0134】
プロセッサは、ユーザの現在の環境の特性に従って、低周波数コヒーレンス信号を有するようにオーディオ信号を処理することができる。例示的特性は、限定ではないが、サイズ、形状、材料、および音響特性を含む。例えば、レンガ壁は、ガラス壁と異なるコヒーレンスを引き起こし得る。別の例として、音の音響特性は、長椅子が、不在であるときに対して、長椅子が、現在の環境内に位置しているときに異なり得る。プロセッサは、ユーザの現在の環境についての情報(例えば、1つ以上の特性)を使用し、上で議論されるオーディオ信号処理に関する1つ以上の特性(例えば、吸収係数)を設定し得る。
【0135】
いくつかの実施形態において、プロセッサは、動的に特性を決定し得る(例えば、実行中にインパルス応答を算出し得る)。例えば、システムは、メモリ内に1つ以上の所定の信号を記憶し得る。ウェアラブル頭部ユニットは、試験オーディオ信号を発生させ、ユーザの現在の環境内のその応答を決定し得る。応答は、例えば、ユーザの現在の環境を通して伝搬した反射オーディオ信号であり得る。プロセッサは、試験オーディオ信号と反射オーディオ信号との間の変化に基づいて、特性を決定し得る。反射オーディオ信号は、発生させられた試験オーディオ信号に応答し得る。
【0136】
いくつかの実施形態において、プロセッサは、ユーザの1つ以上のアクションに基づいて、特性を決定し得る。例えば、プロセッサは、ウェアラブル頭部デバイス上のセンサを使用して、ユーザがその注視標的を変化させたかどうか、ユーザがそのバイタルサインを変化させたかどうか等を決定し得る。プロセッサは、決定されたセンサ情報を使用し、ユーザのアクションをもたらすであろう現在の環境からの特性を決定し得る。
【0137】
図17は、いくつかの実施形態による、オールパスフィルタと、低周波数チャネル間コヒーレンス制御システムとを含む例示的フィードバック遅延ネットワーク(FDN)のブロック図を図示する。FDN1715は、入力信号(例えば、モノ入力信号)をとり、マルチチャネル出力を作成する反響システムであり得る。FDN1715によって作成されるマルチチャネル出力は、正しい減衰反響信号であり得る。
【0138】
FDN1715は、複数のオールパスフィルタ1730と、複数の遅延1732と、混合行列1740Bとを含むことができる。オールパスフィルタ1730は、複数の利得1726と、吸収性遅延1732と、別の混合行列1740Aとを含むことができる。FDN1715は、複数のコンバイナ(図示せず)も含み得る。
【0139】
オールパスフィルタ1730は、入力信号501を受信し、オールパスフィルタ1730への電力入力が、オールパスフィルタ1730からの電力出力に等しくあり得るように、信号501を通すように構成され得る。言い換えると、各オールパスフィルタ1730は、いかなる吸収も有しないこともある。
【0140】
吸収性遅延1732は、入力信号501を受信することができ、信号内に遅延を導入するように構成されることができる。いくつかの実施形態において、吸収性遅延1732は、サンプルの数によってその入力信号を遅延させることができる。いくつかの実施形態において、各吸収性遅延1732は、その出力信号が、その入力信号よりある程度低いレベルであるような吸収レベルを有することができる。
【0141】
利得1726Aおよび1726Bは、そのそれぞれの入力信号内に利得を導入するように構成されることができる。利得1726Aに関する入力信号は、吸収性遅延への入力信号であり得、利得1726Bに関する出力信号は、混合行列1740Aへの出力信号であり得る。
【0142】
オールパスフィルタ1630からの出力信号は、遅延1732への入力信号であり得る。遅延1732は、オールパスフィルタ1730から信号を受信することができ、そのそれぞれの信号の中に遅延を導入するように構成されることができる。遅延1732からの出力信号は、出力信号502を形成するように組み合わせられることができる。
【0143】
遅延1732からの出力信号は、混合行列1740Bの中への入力信号でもあり得る。混合行列1640Bは、オールパスフィルタ1630の中にフィードバックされるべきその信号を出力することができる。いくつかの実施形態において、各混合行列は、完全混合行列であり得る。
【0144】
FDN1715は、
図15Aの低周波数チャネル間コヒーレンス制御システム1530に結合されることができる。当業者は、FDNが、上で開示される低周波数チャネル間コヒーレンス制御システムのうちのいずれか1つと組み合わせられ得ることを理解するであろう。
【0145】
上で説明されるシステムおよび方法に関して、システムおよび方法の要素は、適宜、1つ以上のコンピュータプロセッサ(例えば、CPUまたはDSP)によって実装されることができる。本開示は、これらの要素を実装するために使用されるコンピュータプロセッサを含むコンピュータハードウェアの任意の特定の構成に限定されない。ある場合、複数のコンピュータシステムが、上で説明されるシステムおよび方法を実装するために採用されることができる。例えば、第1のコンピュータプロセッサ(例えば、マイクロホンに結合されるウェアラブルデバイスのプロセッサ)が、入力マイクロホン信号を受信し、それらの信号の初期処理(例えば、上で説明されるもの等の信号調整および/またはセグメント化)を実施するために利用されることができる。第2の(おそらく、よりコンピュータ的に強力な)プロセッサが、次いで、それらの信号の発話セグメントに関連付けられる確率値の決定等のよりコンピュータ的に集約的な処理を実施するために利用されることができる。クラウドサーバ等の別のコンピュータデバイスが、発話認識エンジンをホストすることができ、それに入力信号が、最終的に提供される。他の好適な構成も、明白であり、本開示の範囲内である。
【0146】
開示される例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白であろうことに留意されたい。例えば、1つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成し得る。そのような変更および修正は、添付される請求項によって定義されるような開示される例の範囲内に含まれるとして理解されるべきである。