特表 2024-539279 複合現実デバイス上での環境オーディオ応答のマッピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-28

(54)【発明の名称】複合現実デバイス上での環境オーディオ応答のマッピング

(51)【国際特許分類】

   H04S 7/00 20060101AFI20241018BHJP

【ＦＩ】

H04S7/00 300

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024524625

(86)(22)【出願日】2022-10-18

(85)【翻訳文提出日】2024-06-13

(86)【国際出願番号】 US2022078316

(87)【国際公開番号】W WO2023076823

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/271,659

(32)【優先日】2021-10-25

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】514108838

【氏名又は名称】マジック リープ， インコーポレイテッド

【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．

【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ハーテンスタイナー， マーク ブランドン

(72)【発明者】

【氏名】マシュー， ジャスティン ダン

(72)【発明者】

【氏名】オードフレイ， レミ サミュエル

(72)【発明者】

【氏名】ジョット， ジャン－マルク

(72)【発明者】

【氏名】ヴォンダーサール， ベンジャミン トーマス

(72)【発明者】

【氏名】ランド， マイケル ゼット．

【テーマコード（参考）】

5D162

【Ｆターム（参考）】

5D162AA05

5D162AA07

5D162CC08

5D162CC36

5D162CD11

5D162DA28

5D162EG02

(57)【要約】

本開示は、一般に、拡張現実（ＡＲ）、複合現実（ＭＲ）、またはエクステンデッドリアリティ（ＸＲ）環境マッピングに関する。具体的には、本開示は、ＡＲ、ＭＲ、またはＸＲ環境におけるＡＲ、ＭＲ、またはＸＲオーディオマッピングに関する。いくつかの実施形態では、開示されるシステムおよび方法は、録音に基づいて、環境がマッピングされることを可能にする。いくつかの実施形態では、オーディオマッピング情報は、環境内に位置する、ボクセルに関連付けられる。

【特許請求の範囲】

【請求項1】

方法であって、
オーディオ信号を受信することと、
前記オーディオ信号が環境のオーディオマッピングに関する要件を満たすかどうかを決定することであって、前記要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つを備える、ことと、
前記要件が満たされることの決定に従って、前記オーディオマッピングを実施することと、
前記要件が満たされないことの決定に従って、前記オーディオマッピングを実施しないようにすることと
を含む、方法。

【請求項2】

前記最小ＳＮＲ制約が満たされるかどうかを決定することは、信号レベルが閾値を超えるかどうかを決定することを含む、請求項１に記載の方法。

【請求項3】

前記信号持続時間制約が満たされるかどうかを決定することは、信号レベルが少なくとも時間の閾値持続時間に関する閾値を超えるかどうかを決定することを含む、請求項１に記載の方法。

【請求項4】

前記併置制約が満たされるかどうかを決定することは、前記信号の源が前記信号の受信の場所の閾値距離内にあるかどうかを決定することを含む、請求項１に記載の方法。

【請求項5】

前記併置制約が満たされるかどうかを決定することは、前記信号に基づいて、音声アクティブ化検出（ＶＡＤ）プロセスを適用することを含む、請求項１に記載の方法。

【請求項6】

前記全方向性制約が満たされるかどうかを決定することは、前記信号の源が全方向性源を備えるかどうかを決定することを含む、請求項１に記載の方法。

【請求項7】

前記全方向性制約が満たされるかどうかを決定することは、前記信号の源に関する放射パターンおよび前記信号の源に関する配向のうちの１つまたはそれを上回るものを決定することを含む、請求項１に記載の方法。

【請求項8】

前記全方向性制約が満たされるかどうかを決定することは、前記信号に基づいて、ＶＡＤプロセスを適用することを含む、請求項１に記載の方法。

【請求項9】

前記インパルス制約が満たされるかどうかを決定することは、前記信号が、瞬間信号、インパルス信号、および過渡信号のうちの１つまたはそれを上回るものを備えるかどうかを決定することを含む、請求項１に記載の方法。

【請求項10】

前記インパルス制約が満たされるかどうかを決定することは、前記信号に基づいて、デュアルエンベロープフォロワを適用することを含む、請求項１に記載の方法。

【請求項11】

前記インパルス制約が満たされないことを決定することと、
前記インパルス制約が満たされないことの決定に従って、
前記信号をクリーン入力ストリームに変換することと、
前記クリーン入力ストリームと前記信号を比較することと
をさらに含む、請求項１に記載の方法。

【請求項12】

方法であって、
信号を受信することと、
前記信号をフィルタリングすることであって、前記信号をフィルタリングすることは、前記信号を複数のサブ帯域に分離することを含む、ことと、
前記サブ帯域のサブ帯域に関して、
前記信号のピークを識別することと、
前記信号の減弱を識別することと、
前記ピーク、前記減弱、または前記ピークおよび前記減弱の両方に基づいて、
減弱時間を決定することと、
反響利得を決定することと
を含む、方法。

【請求項13】

方法であって、
信号を受信することと、
直接経路信号を発生させることと、
前記直接経路信号に基づいて、前記信号を逆畳み込みすることと、
前記逆畳み込みすることに基づいて、
減弱時間を決定することと、
反響利得を決定することと
を含む、方法。

【請求項14】

方法であって、
環境のオーディオマッピングの１つまたはそれを上回る部分を前記環境内に位置する複数のボクセルに関連付けることを含み、
各部分は、前記環境内の個別のボクセルの場所と関連付けられるオーディオ応答性質を備える、方法。

【請求項15】

システムであって、前記システムは、請求項１－１４のいずれかに記載の方法を実施するように構成される１つまたはそれを上回るプロセッサを備える、システム。

【請求項16】

非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、１つまたはそれを上回る命令を記憶しており、前記１つまたはそれを上回る命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、前記デバイスに、請求項１－１４のいずれかに記載の方法を実施させる、非一過性コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０２１年１０月２５日に出願された、米国仮出願第６３／２７１，６５９号の優先権を主張する。

【0002】

本開示は、一般に、拡張現実（ＡＲ）、複合現実（ＭＲ）、またはエクステンデッドリアリティ（ＸＲ）環境マッピングに関する。具体的には、本開示は、ＡＲ、ＭＲ、またはＸＲ環境におけるＡＲ、ＭＲ、またはＸＲオーディオマッピングに関する。

【背景技術】

【0003】

自然設定における音は、物理的環境に基づいて、ある量の反響音を受け得る。それに対して反響音が追加されていない、録音または合成された音は、ヘッドホンを経由して、または、他の近接送達システムを介して（例えば、ウェアラブル頭部デバイスのスピーカを介して）再生されるとき、（例えば、非技術的用語「ドライ」によって特徴付けられる）不自然な音となり得る。

【0004】

ビデオゲーム、ラジオ放送、映画／ＴＶ番組、または録音された音楽等の環境内で音をより自然にするための方法は、適切な量の人工反響音をドライオーディオ信号に適用することである。例えば、大ホールをシミュレートすることを求める場合、適切な量の人工反響音は、小部屋内の反響音のエミュレーションと比較して、直接信号に対してより長い減弱時間およびより低い利得を有するであろう。

【0005】

人工反響が（例えば、上記に説明されるインスタンスにおいて）使用される場合、音響的にエミュレートすることを所望する空間は、事前に定義されるか、またはユーザ体験に関連しないかのいずれかであり得る。芸術的選択肢よりも現実性を優先し得る、ビデオゲーム体験の場合、事前に設計されたレベルまたは場面は、構築時間に先立って精密に把握される、部屋および空間の寸法（いくつかは、オブジェクトおよび表面材料等の音響的関連情報を含む）を含有するであろう。音楽制作または音響シアターの場合、聴覚的場面と視覚的帰結を同期させる試行または目標は、存在し得ず、反響音によって提供される、シミュレートされた空間は、その中でその断片が体験される、知覚された「物理的」空間を定義する。映画およびテレビでは、反響音は、番組内容の共有空間に伴う、例えば、大聖堂内または棺桶内に閉じ込められた状況において、視認者の感覚を高めるために使用され得るが、これらのインスタンスでは、その共有空間は、音設計のかなり前に、十分に理解されている。全てのこれらの場合では、物理的空間の幾何学形状および／または材料性質の知識が、直接、知覚的に調和する結果を達成するための反響音パラメータを知らせ得る。

【0006】

しかしながら、ＡＲ、ＭＲ、またはＸＲ用途では、ユーザの物理的環境についての情報は、事前に想定または把握され得ず、環境についての正確な情報は、現実的オーディオ応答を導出し、没入型のユーザ体験を作成する際に重要である。そのような情報は、視覚的および／または移動センサ測定によって（例えば、ＡＲ、ＭＲ、またはＸＲデバイスのセンサによって）、かついくつかのインスタンスでは、リアルタイムで、集められ得る。

【0007】

より効率的に、例えば、異なる捕捉コンポーネントを使用して、および／または分析の少なくとも一部をオフラインで実施して、情報を集め、オーディオ応答（例えば、環境反響音）を導出することが望ましくあり得る。また、効率的かつスケーラブルな様式において、これらの導出を関連付けることが望ましくあり得る。

【発明の概要】

【課題を解決するための手段】

【0008】

ＡＲ、ＭＲ、またはＸＲ環境マッピングのためのシステムおよび方法が、開示される。具体的には、本開示は、ＡＲ、ＭＲ、またはＸＲ環境におけるオーディオマッピングおよびマッピングの関連付けに関する。いくつかの実施形態では、開示されるシステムおよび方法は、録音に基づいて、環境がマッピングされることを可能にする。いくつかの実施形態では、オーディオマッピング情報は、環境内に位置する、ボクセルに関連付けられる。

【0009】

いくつかの実施形態では、方法は、信号を受信するステップと、信号が分析の要件を満たすかどうかを決定するステップとを含む。

【0010】

いくつかの実施形態では、信号は、オーディオ信号を備え、分析は、環境のオーディオマッピングと関連付けられる。

【0011】

いくつかの実施形態では、要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つを備える。

【0012】

いくつかの実施形態では、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、信号レベルが閾値を超えるかどうかを決定するステップを含む。

【0013】

いくつかの実施形態では、閾値は、ノイズフロアを上回る第２の閾値である。

【0014】

いくつかの実施形態では、本方法はさらに、ノイズフロアを追跡するステップを含む。

【0015】

いくつかの実施形態では、本方法はさらに、ノイズフロアを調節するステップを含む。

【0016】

いくつかの実施形態では、持続時間制約が満たされるかどうかを決定するステップは、信号レベルが少なくとも時間の閾値持続時間に関する閾値を超えるかどうかを決定するステップを含む。

【0017】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号の源が信号の受信の場所の閾値距離内にあるかどうかを決定するステップを含む。

【0018】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号に基づいて、音声アクティブ化検出（ＶＡＤ）プロセスを適用するステップを含む。

【0019】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源が全方向性源を備えるかどうかを決定するステップを含む。

【0020】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源に関する放射パターンおよび信号の源に関する配向のうちの１つまたはそれを上回るものを決定するステップを含む。

【0021】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0022】

いくつかの実施形態では、インパルス制約が満たされるかどうかを決定するステップは、信号が、瞬間信号、インパルス信号、および過渡信号のうちの１つまたはそれを上回るものを備えるかどうかを決定するステップを含む。

【0023】

いくつかの実施形態では、インパルス制約が満たされるかどうかを決定するステップは、信号に基づいて、デュアルエンベロープフォロワを適用するステップを含む。

【0024】

いくつかの実施形態では、本方法はさらに、インパルス信号制約が満たされないことを決定するステップと、インパルス制約が満たされないことの決定に従って、信号をクリーン入力ストリームに変換するステップと、クリーン入力ストリームと信号を比較するステップとを含む。

【0025】

いくつかの実施形態では、本方法はさらに、分析要件が満たされることの決定に従って、下記の方法を実施するステップと、分析要件が満たされないことの決定に従って、下記の方法を実施しないようにするステップとを含む。

【0026】

いくつかの実施形態では、本方法はさらに、信号をＲＭＳエンベロープに平滑化するステップを含む。

【0027】

いくつかの実施形態では、本方法はさらに、ＲＭＳエンベロープを線形適合するステップを含む。

【0028】

いくつかの実施形態では、信号は、サンプルのブロックを備える。

【0029】

いくつかの実施形態では、信号を受信するステップはさらに、マイクロホンを介して、信号を検出するステップを含む。

【0030】

いくつかの実施形態では、信号を受信するステップはさらに、信号を記憶装置から受信するステップを含む。

【0031】

いくつかの実施形態では、信号は、ユーザによって発生される。

【0032】

いくつかの実施形態では、信号は、ユーザによって口頭で発生される。

【0033】

いくつかの実施形態では、信号は、ユーザによって非口頭で発生される。

【0034】

いくつかの実施形態では、信号は、信号を受信するデバイスと異なる、デバイスによって発生される。

【0035】

いくつかの実施形態では、本方法はさらに、信号の発生を要請するステップを含み、信号は、信号を発生させるための要請に応答して発生される。

【0036】

いくつかの実施形態では、方法は、信号を受信するステップと、信号をフィルタリングするステップであって、信号をフィルタリングするステップは、信号を複数のサブ帯域に分離するステップを含む、ステップと、サブ帯域のサブ帯域に関して、信号のピークを識別するステップと、信号の減弱を識別するステップと、ピーク、減弱、またはピークおよび減弱の両方に基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む。

【0037】

いくつかの実施形態では、信号は、分析要件を満たす。

【0038】

いくつかの実施形態では、分析要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つである。

【0039】

いくつかの実施形態では、本方法はさらに、ＲＭＳエンベロープを使用して、信号を平滑化するステップを含む。

【0040】

いくつかの実施形態では、信号をフィルタリングするステップは、ＦＩＲ非因果的ゼロ位相フィルタを使用するステップを含む。

【0041】

いくつかの実施形態では、信号をフィルタリングするステップは、ＦＩＲ非因果的直交ミラーフィルタ（ＱＭＦ）を使用するステップを含む。

【0042】

いくつかの実施形態では、サブ帯域は、低周波数サブ帯域、中周波数サブ帯域、および高周波数サブ帯域を備える。

【0043】

いくつかの実施形態では、サブ帯域の数は、減弱時間制御点の数を上回る。

【0044】

いくつかの実施形態では、信号のピークを識別するステップは、信号の一次導関数の極小値を識別するステップを含む。

【0045】

いくつかの実施形態では、ピークは、極小値の時間の前に時間的に位置する。

【0046】

いくつかの実施形態では、信号のピークを識別するステップは、閾値を下回る信号の一次導関数の部分を識別するステップを含む。

【0047】

いくつかの実施形態では、ピークは、閾値を下回る信号の一次導関数の部分の時間の前に時間的に位置する。

【0048】

いくつかの実施形態では、減弱を識別するステップは、サブ帯域に対応する信号の減弱している部分を線形適合するステップを含む。

【0049】

いくつかの実施形態では、サブ帯域に対応する信号は、ピークと減弱部分との間の初期反射部分を備える。

【0050】

いくつかの実施形態では、初期反射部分は、初期反射に対応する信号の部分を備える。

【0051】

いくつかの実施形態では、本方法はさらに、初期反射部分から、反射遅延を決定するステップと、反射利得を決定するステップとを含む。

【0052】

いくつかの実施形態では、減弱している部分の終了は、閾値信号レベルに対応する。

【0053】

いくつかの実施形態では、本方法はさらに、サブ帯域の第２のサブ帯域に関して、信号の第２のピークを識別するステップと、信号の第２の減弱を識別するステップと、第２のピーク、第２の減弱、または第２のピークおよび第２の減弱の両方に基づいて、第２の減弱時間を決定するステップと、第２の反響利得を決定するステップと、第１および第２の減弱時間を組み合わせるステップと、第１および第２の反響利得を組み合わせるステップとを含む。

【0054】

いくつかの実施形態では、減弱時間および反響利得は、線形適合することによって組み合わせられる。

【0055】

いくつかの実施形態では、減弱時間および反響利得は、個別の減弱時間および反響利得に対応する加重に基づいて組み合わせられる。

【0056】

いくつかの実施形態では、本方法はさらに、本方法を繰り返すステップを含む。

【0057】

いくつかの実施形態では、方法は、信号を受信するステップと、直接経路信号を発生させるステップと、直接経路信号に基づいて、信号を逆畳み込みするステップと、該逆畳み込みするステップに基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む。

【0058】

いくつかの実施形態では、方法は、環境のオーディオマッピングの１つまたはそれを上回る部分を環境内に位置する複数のボクセルに関連付けるステップを含む。各部分は、環境内の個別のボクセルの場所と関連付けられる、オーディオ応答性質を備える。

【0059】

いくつかの実施形態では、本方法はさらに、デバイスの場所を決定するステップであって、複数のボクセルの第１のボクセルは、デバイスの場所を備える、ステップと、デバイスに、第１のボクセルと関連付けられるオーディオ応答性質に基づいて、環境の音を提示するステップとを含む。

【0060】

いくつかの実施形態では、オーディオ応答性質は、反響利得、減弱時間、反射遅延、および反射利得のうちの少なくとも１つを備える。

【0061】

いくつかの実施形態では、ボクセルの体積は、均一である。

【0062】

いくつかの実施形態では、ボクセルの体積は、非均一である。

【0063】

いくつかの実施形態では、本方法はさらに、第１の信号に基づいて、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップを含み、複数のボクセルの第１のボクセルと関連付けられる、オーディオ応答性質は、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを備える。

【0064】

いくつかの実施形態では、本方法はさらに、反響利得、減弱時間、反射時間、または反射利得に対応する、加重を決定するステップを含み、第１のボクセルと関連付けられる、オーディオ応答性質は、加重された反響利得、加重された減弱時間、加重された反射時間、および加重された反射利得のうちの少なくとも１つに基づく。

【0065】

いくつかの実施形態では、加重は、第１のボクセルと第１の信号の場所との間の距離に基づく。

【0066】

いくつかの実施形態では、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の経過時間に基づく。

【0067】

いくつかの実施形態では、加重は、第１のボクセルが、第１のオーディオ応答性質の関連付けに先立って、第２のオーディオ応答性質と関連付けられるかどうかの決定に基づく。

【0068】

いくつかの実施形態では、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の信頼度に基づく。

【0069】

いくつかの実施形態では、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つを決定するステップを含み、ボクセルと関連付けられる、オーディオ応答性質はさらに、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つに基づく。

【0070】

いくつかの実施形態では、本方法はさらに、第１の時間において、第１の信号を受信するステップと、第２の時間において、第２の信号を受信するステップとを含む。

【0071】

いくつかの実施形態では、本方法はさらに、第１のデバイスにおいて、第１の信号を受信するステップと、第２のデバイスにおいて、第２の信号を受信するステップとを含む。

【0072】

いくつかの実施形態では、本方法はさらに、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回るかどうかを決定するステップと、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回ることの決定に従って、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第１のボクセルと関連付けられるボクセル性質の数が閾値を下回らないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得を決定しないようにするステップとを含む。

【0073】

いくつかの実施形態では、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にあるかどうかを決定するステップと、第２の信号の場所が第１のボクセルの最大距離内にあることの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つに基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得に基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新しないようにするステップとを含む。

【0074】

いくつかの実施形態では、複数のボクセルの第２のボクセルは、第２のオーディオ応答性質と関連付けられ、本方法はさらに、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つに対応する、第１の加重および第２の加重を決定するステップを含み、第１のオーディオ応答性質は、第１の加重された反響利得、第１の加重された減弱時間、第１の加重された反射時間、および第１の反射利得のうちの少なくとも１つに基づき、第２のオーディオ応答性質は、少なくとも第２の加重された反響利得、第２の加重された減弱時間、第２の加重された反射時間、および第２の加重された反射利得に基づく。

【0075】

いくつかの実施形態では、複数のボクセルは、メタデータと関連付けられ、メタデータは、第１の測定、タイムスタンプ、位置、および信頼度のうちの少なくとも１つを備える。

【0076】

いくつかの実施形態では、システムは、マイクロホンと、マイクロホンを介して、信号を受信するステップと、信号が分析の要件を満たすかどうかを決定するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。

【0077】

いくつかの実施形態では、信号は、オーディオ信号を備え、分析は、環境のオーディオマッピングと関連付けられる。

【0078】

いくつかの実施形態では、要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つである。

【0079】

いくつかの実施形態では、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、信号レベルが閾値を超えるかどうかを決定するステップを含む。

【0080】

いくつかの実施形態では、閾値は、ノイズフロアを上回る第２の閾値である。

【0081】

いくつかの実施形態では、本方法はさらに、ノイズフロアを追跡するステップを含む。

【0082】

いくつかの実施形態では、本方法はさらに、ノイズフロアを調節するステップを含む。

【0083】

いくつかの実施形態では、持続時間制約が満たされるかどうかを決定するステップは、信号レベルが少なくとも時間の閾値持続時間に関する閾値を超えるかどうかを決定するステップを含む。

【0084】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号の源が信号の受信の場所の閾値距離内にあるかどうかを決定するステップを含む。

【0085】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0086】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源が全方向性源を備えるかどうかを決定するステップを含む。

【0087】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源に関する放射パターンおよび信号の源に関する配向のうちの１つまたはそれを上回るものを決定するステップを含む。

【0088】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0089】

いくつかの実施形態では、インパルス制約が満たされるかどうかを決定するステップは、信号が、瞬間信号、インパルス信号、および過渡信号のうちの１つまたはそれを上回るものを備えるかどうかを決定するステップを含む。

【0090】

いくつかの実施形態では、インパルス制約が満たされるかどうかを決定するステップは、信号に基づいて、デュアルエンベロープフォロワを適用するステップを含む。

【0091】

いくつかの実施形態では、本方法はさらに、インパルス制約が満たされないことを決定するステップと、インパルス制約が満たされないことの決定に従って、信号をクリーン入力ストリームに変換するステップと、クリーン入力ストリームと信号を比較するステップとを含む。

【0092】

いくつかの実施形態では、本方法はさらに、分析要件が満たされることの決定に従って、上記方法を実施するステップと、分析要件が満たされないことの決定に従って、上記方法を実施しないようにするステップとを含む。

【0093】

いくつかの実施形態では、本方法はさらに、信号をＲＭＳエンベロープに平滑化するステップを含む。

【0094】

いくつかの実施形態では、本方法はさらに、ＲＭＳエンベロープを線形適合するステップを含む。

【0095】

いくつかの実施形態では、信号は、サンプルのブロックを備える。

【0096】

いくつかの実施形態では、信号を受信するステップはさらに、マイクロホンを介して、信号を検出するステップを含む。

【0097】

いくつかの実施形態では、信号を受信するステップはさらに、信号を記憶装置から受信するステップを含む。

【0098】

いくつかの実施形態では、信号は、ユーザによって発生される。

【0099】

いくつかの実施形態では、信号は、ユーザによって口頭で発生される。

【0100】

いくつかの実施形態では、信号は、ユーザによって非口頭で発生される。

【0101】

いくつかの実施形態では、信号は、信号を受信するデバイスと異なる、デバイスによって発生される。

【0102】

いくつかの実施形態では、本方法はさらに、信号の発生を要請するステップを含み、信号は、信号を発生させるための要請に応答して発生される。

【0103】

いくつかの実施形態では、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、マイクロホンを備える。

【0104】

いくつかの実施形態では、システムは、信号を受信するステップと、信号をフィルタリングするステップであって、信号をフィルタリングするステップは、信号を複数のサブ帯域に分離するステップを含む、ステップと、サブ帯域のサブ帯域に関して、信号のピークを識別するステップと、信号の減弱を識別するステップと、ピーク、減弱、またはピークおよび減弱の両方に基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサを備える。

【0105】

いくつかの実施形態では、信号は、分析要件を満たす。

【0106】

いくつかの実施形態では、分析要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つである。

【0107】

いくつかの実施形態では、本方法はさらに、ＲＭＳエンベロープを使用して、信号を平滑化するステップを含む。

【0108】

いくつかの実施形態では、信号をフィルタリングするステップは、ＦＩＲ非因果的ゼロ位相フィルタを使用するステップを含む。

【0109】

いくつかの実施形態では、信号をフィルタリングするステップは、ＦＩＲ非因果的直交ミラーフィルタ（ＱＭＦ）を使用するステップを含む。

【0110】

いくつかの実施形態では、サブ帯域は、低周波数サブ帯域、中周波数サブ帯域、および高周波数サブ帯域を備える。

【0111】

いくつかの実施形態では、サブ帯域の数は、減弱時間制御点の数を上回る。

【0112】

いくつかの実施形態では、信号のピークを識別するステップは、信号の一次導関数の極小値を識別するステップを含む。

【0113】

いくつかの実施形態では、ピークは、極小値の時間の前に時間的に位置する。

【0114】

いくつかの実施形態では、信号のピークを識別するステップは、閾値を下回る信号の一次導関数の部分を識別するステップを含む。

【0115】

いくつかの実施形態では、ピークは、閾値を下回る信号の一次導関数の部分の時間の前に時間的に位置する。

【0116】

いくつかの実施形態では、減弱を識別するステップは、サブ帯域に対応する信号の減弱している部分を線形適合するステップを含む。

【0117】

いくつかの実施形態では、サブ帯域に対応する信号は、ピークと減弱部分との間の初期反射部分を備える。

【0118】

いくつかの実施形態では、初期反射部分は、初期反射に対応する信号の部分を備える。

【0119】

いくつかの実施形態では、本方法はさらに、初期反射部分から、反射遅延を決定するステップと、反射利得を決定するステップとを含む。

【0120】

いくつかの実施形態では、減弱している部分の終了は、閾値信号レベルに対応する。

【0121】

いくつかの実施形態では、本方法はさらに、サブ帯域の第２のサブ帯域に関して、信号の第２のピークを識別するステップと、信号の第２の減弱を識別するステップと、第２のピーク、第２の減弱、または第２のピークおよび第２の減弱の両方に基づいて、第２の減弱時間を決定するステップと、第２の反響利得を決定するステップと、第１および第２の減弱時間を組み合わせるステップと、第１および第２の反響利得を組み合わせるステップとを含む。

【0122】

いくつかの実施形態では、減弱時間および反響利得は、線形適合することによって組み合わせられる。

【0123】

いくつかの実施形態では、減弱時間および反響利得は、個別の減弱時間および反響利得に対応する加重に基づいて組み合わせられる。

【0124】

いくつかの実施形態では、本方法はさらに、周期的に、本方法を繰り返すステップを含む。

【0125】

いくつかの実施形態では、本システムはさらに、サーバを備え、サーバは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0126】

いくつかの実施形態では、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0127】

いくつかの実施形態では、システムは、信号を受信するステップと、直接経路信号を発生させるステップと、直接経路信号に基づいて、信号を逆畳み込みするステップと、該逆畳み込みするステップに基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサを備える。

【0128】

いくつかの実施形態では、本システムはさらに、サーバを備え、サーバは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0129】

いくつかの実施形態では、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0130】

いくつかの実施形態では、システムは、環境のオーディオマッピングの１つまたはそれを上回る部分を環境内に位置する複数のボクセルに関連付けるステップを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサを備える。各部分は、環境内の個別のボクセルの場所と関連付けられる、オーディオ応答性質を備える。

【0131】

いくつかの実施形態では、本方法はさらに、デバイスの場所を決定するステップであって、複数のボクセルの第１のボクセルは、デバイスの場所を備える、ステップと、デバイスに、第１のボクセルと関連付けられるオーディオ応答性質に基づいて、環境の音を提示するステップとを含む。

【0132】

いくつかの実施形態では、オーディオ応答性質は、反響利得、減弱時間、反射遅延、および反射利得のうちの少なくとも１つを備える。

【0133】

いくつかの実施形態では、ボクセルの体積は、均一である。

【0134】

いくつかの実施形態では、ボクセルの体積は、非均一である。

【0135】

いくつかの実施形態では、本方法はさらに、第１の信号に基づいて、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップを含み、複数のボクセルの第１のボクセルと関連付けられる、オーディオ応答性質は、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを備える。

【0136】

いくつかの実施形態では、本方法はさらに、反響利得、減弱時間、反射時間、または反射利得に対応する、加重を決定するステップを含み、第１のボクセルと関連付けられる、オーディオ応答性質は、加重された反響利得、加重された減弱時間、加重された反射時間、および加重された反射利得のうちの少なくとも１つに基づく。

【0137】

いくつかの実施形態では、加重は、第１のボクセルと第１の信号の場所との間の距離に基づく。

【0138】

いくつかの実施形態では、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の経過時間に基づく。

【0139】

いくつかの実施形態では、加重は、第１のボクセルが、第１のオーディオ応答性質の関連付けに先立って、第２のオーディオ応答性質と関連付けられるかどうかの決定に基づく。

【0140】

いくつかの実施形態では、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の信頼度に基づく。

【0141】

いくつかの実施形態では、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つを決定するステップを含み、ボクセルと関連付けられる、オーディオ応答性質はさらに、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つに基づく。

【0142】

いくつかの実施形態では、本方法はさらに、第１の時間において、第１の信号を受信するステップと、第２の時間において、第２の信号を受信するステップとを含む。

【0143】

いくつかの実施形態では、本方法はさらに、第１のデバイスにおいて、第１の信号を受信するステップと、第２のデバイスにおいて、第２の信号を受信するステップとを含む。

【0144】

いくつかの実施形態では、本方法はさらに、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回るかどうかを決定するステップと、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回ることの決定に従って、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第１のボクセルと関連付けられるボクセル性質の数が閾値を下回らないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得を決定しないようにするステップとを含む。

【0145】

いくつかの実施形態では、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にあるかどうかを決定するステップと、第２の信号の場所が第１のボクセルの最大距離内にあることの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つに基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得に基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新しないようにするステップとを含む。

【0146】

いくつかの実施形態では、複数のボクセルの第２のボクセルは、第２のオーディオ応答性質と関連付けられ、本方法はさらに、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つに対応する、第１の加重および第２の加重を決定するステップを含み、第１のオーディオ応答性質は、第１の加重された反響利得、第１の加重された減弱時間、第１の加重された反射時間、および第１の反射利得のうちの少なくとも１つに基づき、第２のオーディオ応答性質は、少なくとも第２の加重された反響利得、第２の加重された減弱時間、第２の加重された反射時間、および第２の加重された反射利得に基づく。
いくつかの実施形態では、複数のボクセルは、メタデータと関連付けられ、メタデータは、第１の測定、タイムスタンプ、位置、および信頼度のうちの少なくとも１つを備える。

【0147】

いくつかの実施形態では、本システムはさらに、サーバを備え、サーバは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0148】

いくつかの実施形態では、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0149】

いくつかの実施形態では、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、信号を受信するステップと、信号が分析の要件を満たすかどうかを決定するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。

【0150】

いくつかの実施形態では、信号は、オーディオ信号を備え、分析は、環境のオーディオマッピングと関連付けられる。

【0151】

いくつかの実施形態では、要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つを備える。

【0152】

いくつかの実施形態では、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、信号レベルが閾値を超えるかどうかを決定するステップを含む。

【0153】

いくつかの実施形態では、閾値は、ノイズフロアを上回る第２の閾値である。

【0154】

いくつかの実施形態では、本方法はさらに、ノイズフロアを追跡するステップを含む。

【0155】

いくつかの実施形態では、本方法はさらに、ノイズフロアを調節するステップを含む。

【0156】

いくつかの実施形態では、持続時間制約が満たされるかどうかを決定するステップは、信号レベルが少なくとも時間の閾値持続時間に関する閾値を超えるかどうかを決定するステップを含む。

【0157】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号の源が信号の受信の場所の閾値距離内にあるかどうかを決定するステップを含む。

【0158】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0159】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源が全方向性源を備えるかどうかを決定するステップを含む。

【0160】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源に関する放射パターンおよび信号の源に関する配向のうちの１つまたはそれを上回るものを決定するステップを含む。

【0161】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0162】

いくつかの実施形態では、インパルス制約が満たされるかどうかを決定するステップは、信号が、瞬間信号、インパルス信号、および過渡信号のうちの１つまたはそれを上回るものを備えるかどうかを決定するステップを含む。

【0163】

いくつかの実施形態では、インパルス制約が満たされるかどうかを決定するステップは、信号に基づいて、デュアルエンベロープフォロワを適用するステップを含む。

【0164】

いくつかの実施形態では、本方法はさらに、インパルス制約が満たされないことを決定するステップと、インパルス制約が満たされないことの決定に従って、信号をクリーン入力ストリームに変換するステップと、クリーン入力ストリームと信号を比較するステップとを含む。

【0165】

いくつかの実施形態では、本方法はさらに、分析要件が満たされることの決定に従って、上記方法を実施するステップと、分析要件が満たされないことの決定に従って、上記方法を実施しないようにするステップとを含む。

【0166】

いくつかの実施形態では、本方法はさらに、信号をＲＭＳエンベロープに平滑化するステップを含む。

【0167】

いくつかの実施形態では、本方法はさらに、ＲＭＳエンベロープを線形適合するステップを含む。

【0168】

いくつかの実施形態では、信号は、サンプルのブロックを備える。

【0169】

いくつかの実施形態では、信号を受信するステップはさらに、マイクロホンを介して、信号を検出するステップを含む。

【0170】

いくつかの実施形態では、信号を受信するステップはさらに、信号を記憶装置から受信するステップを含む。

【0171】

いくつかの実施形態では、信号は、ユーザによって発生される。

【0172】

いくつかの実施形態では、信号は、ユーザによって口頭で発生される。

【0173】

いくつかの実施形態では、信号は、ユーザによって非口頭で発生される。

【0174】

いくつかの実施形態では、信号は、信号を受信するデバイスと異なる、デバイスによって発生される。

【0175】

いくつかの実施形態では、本方法はさらに、信号の発生を要請するステップを含み、信号は、信号を発生させるための要請に応答して発生される。

【0176】

いくつかの実施形態では、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、信号を受信するステップと、信号をフィルタリングするステップであって、信号をフィルタリングするステップは、信号を複数のサブ帯域に分離するステップを含む、ステップと、サブ帯域のサブ帯域に関して、信号のピークを識別するステップと、信号の減弱を識別するステップと、ピーク、減弱、またはピークおよび減弱の両方に基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。

【0177】

いくつかの実施形態では、信号は、分析要件を満たす。

【0178】

いくつかの実施形態では、分析要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つである。

【0179】

いくつかの実施形態では、本方法はさらに、ＲＭＳエンベロープを使用して、信号を平滑化するステップを含む。

【0180】

いくつかの実施形態では、信号をフィルタリングするステップは、ＦＩＲ非因果的ゼロ位相フィルタを使用するステップを含む。

【0181】

いくつかの実施形態では、信号をフィルタリングするステップは、ＦＩＲ非因果的直交ミラーフィルタ（ＱＭＦ）を使用するステップを含む。

【0182】

いくつかの実施形態では、サブ帯域は、低周波数サブ帯域、中周波数サブ帯域、および高周波数サブ帯域を備える。

【0183】

いくつかの実施形態では、サブ帯域の数は、減弱時間制御点の数を上回る。

【0184】

いくつかの実施形態では、信号のピークを識別するステップは、信号の一次導関数の極小値を識別するステップを含む。

【0185】

いくつかの実施形態では、ピークは、極小値の時間の前に時間的に位置する。

【0186】

いくつかの実施形態では、信号のピークを識別するステップは、閾値を下回る信号の一次導関数の部分を識別するステップを含む。

【0187】

いくつかの実施形態では、ピークは、閾値を下回る信号の一次導関数の部分の時間の前に時間的に位置する。

【0188】

いくつかの実施形態では、減弱を識別するステップは、サブ帯域に対応する信号の減弱している部分を線形適合するステップを含む。

【0189】

いくつかの実施形態では、サブ帯域に対応する信号は、ピークと減弱部分との間の初期反射部分を備える。

【0190】

いくつかの実施形態では、初期反射部分は、初期反射に対応する信号の部分を備える。

【0191】

いくつかの実施形態では、本方法はさらに、初期反射部分から、反射遅延を決定するステップと、反射利得を決定するステップとを含む。

【0192】

いくつかの実施形態では、減弱している部分の終了は、閾値信号レベルに対応する。

【0193】

いくつかの実施形態では、本方法はさらに、サブ帯域の第２のサブ帯域に関して、信号の第２のピークを識別するステップと、信号の第２の減弱を識別するステップと、第２のピーク、第２の減弱、または第２のピークおよび第２の減弱の両方に基づいて、第２の減弱時間を決定するステップと、第２の反響利得を決定するステップと、第１および第２の減弱時間を組み合わせるステップと、第１および第２の反響利得を組み合わせるステップとを含む。

【0194】

いくつかの実施形態では、減弱時間および反響利得は、線形適合することによって組み合わせられる。

【0195】

いくつかの実施形態では、減弱時間および反響利得は、個別の減弱時間および反響利得に対応する加重に基づいて組み合わせられる。

【0196】

いくつかの実施形態では、本方法はさらに、周期的に、請求項１６６に記載の方法を繰り返すステップを含む。

【0197】

いくつかの実施形態では、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、信号を受信するステップと、直接経路信号を発生させるステップと、直接経路信号に基づいて、信号を逆畳み込みするステップと、該逆畳み込みするステップに基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。

【0198】

いくつかの実施形態では、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、環境のオーディオマッピングの１つまたはそれを上回る部分を環境内に位置する複数のボクセルに関連付けるステップを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。各部分は、環境内の個別のボクセルの場所と関連付けられる、オーディオ応答性質を備える。

【0199】

いくつかの実施形態では、本方法はさらに、デバイスの場所を決定するステップであって、複数のボクセルの第１のボクセルは、デバイスの場所を備える、ステップと、デバイスに、第１のボクセルと関連付けられるオーディオ応答性質に基づいて、環境の音を提示するステップとを含む。

【0200】

いくつかの実施形態では、オーディオ応答性質は、反響利得、減弱時間、反射遅延、および反射利得のうちの少なくとも１つを備える。

【0201】

いくつかの実施形態では、ボクセルの体積は、均一である。

【0202】

いくつかの実施形態では、ボクセルの体積は、非均一である。

【0203】

いくつかの実施形態では、本方法はさらに、第１の信号に基づいて、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップを含み、複数のボクセルの第１のボクセルと関連付けられる、オーディオ応答性質は、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを備える。

【0204】

いくつかの実施形態では、本方法はさらに、反響利得、減弱時間、反射時間、または反射利得に対応する、加重を決定するステップを含み、第１のボクセルと関連付けられる、オーディオ応答性質は、加重された反響利得、加重された減弱時間、加重された反射時間、および加重された反射利得のうちの少なくとも１つに基づく。

【0205】

いくつかの実施形態では、加重は、第１のボクセルと第１の信号の場所との間の距離に基づく。

【0206】

いくつかの実施形態では、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の経過時間に基づく。

【0207】

いくつかの実施形態では、加重は、第１のボクセルが、第１のオーディオ応答性質の関連付けに先立って、第２のオーディオ応答性質と関連付けられるかどうかの決定に基づく。

【0208】

いくつかの実施形態では、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の信頼度に基づく。

【0209】

いくつかの実施形態では、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つを決定するステップを含み、ボクセルと関連付けられる、オーディオ応答性質はさらに、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つに基づく。

【0210】

いくつかの実施形態では、本方法はさらに、第１の時間において、第１の信号を受信するステップと、第２の時間において、第２の信号を受信するステップとを含む。

【0211】

いくつかの実施形態では、本方法はさらに、第１のデバイスにおいて、第１の信号を受信するステップと、第２のデバイスにおいて、第２の信号を受信するステップとを含む。

【0212】

いくつかの実施形態では、本方法はさらに、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回るかどうかを決定するステップと、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回ることの決定に従って、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第１のボクセルと関連付けられるボクセル性質の数が閾値を下回らないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得を決定しないようにするステップとを含む。

【0213】

いくつかの実施形態では、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にあるかどうかを決定するステップと、第２の信号の場所が第１のボクセルの最大距離内にあることの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つに基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得に基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新しないようにするステップとを含む。

【0214】

いくつかの実施形態では、複数のボクセルの第２のボクセルは、第２のオーディオ応答性質と関連付けられ、本方法はさらに、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つに対応する、第１の加重および第２の加重を決定するステップを含み、第１のオーディオ応答性質は、第１の加重された反響利得、第１の加重された減弱時間、第１の加重された反射時間、および第１の反射利得のうちの少なくとも１つに基づき、第２のオーディオ応答性質は、少なくとも第２の加重された反響利得、第２の加重された減弱時間、第２の加重された反射時間、および第２の加重された反射利得に基づく。

【0215】

いくつかの実施形態では、複数のボクセルは、メタデータと関連付けられ、メタデータは、第１の測定、タイムスタンプ、位置、および信頼度のうちの少なくとも１つを備える。

【図面の簡単な説明】

【0216】

【図1A】図１Ａ－１Ｃは、本開示のいくつかの実施形態による、例示的環境を図示する。

【図1B】図１Ａ－１Ｃは、本開示のいくつかの実施形態による、例示的環境を図示する。

【図1C】図１Ａ－１Ｃは、本開示のいくつかの実施形態による、例示的環境を図示する。

【0217】

【図2A】図２Ａ－２Ｂは、本開示のいくつかの実施形態による、例示的ウェアラブルシステムを図示する。

【図2B】図２Ａ－２Ｂは、本開示のいくつかの実施形態による、例示的ウェアラブルシステムを図示する。

【0218】

【図3】図３は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムと併用され得る、例示的ハンドヘルドコントローラを図示する。

【0219】

【図4】図４は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムと併用され得る、例示的補助ユニットを図示する。

【0220】

【図5A】図５Ａ－５Ｂは、本開示のいくつかの実施形態による、例示的ウェアラブルシステムのための例示的機能ブロック図を図示する。

【図5B】図５Ａ－５Ｂは、本開示のいくつかの実施形態による、例示的ウェアラブルシステムのための例示的機能ブロック図を図示する。

【0221】

【図6A】図６Ａ－６Ｂは、本開示のいくつかの実施形態による、分析されるべき信号を決定する例示的方法を図示する。

【図6B】図６Ａ－６Ｂは、本開示のいくつかの実施形態による、分析されるべき信号を決定する例示的方法を図示する。

【0222】

【図7A】図７Ａ－７Ｂは、本開示のいくつかの実施形態による、信号分析の例示的方法を図示する。

【図7B】図７Ａ－７Ｂは、本開示のいくつかの実施形態による、信号分析の例示的方法を図示する。

【0223】

【図8】図８は、本開示のいくつかの実施形態による、例示的環境を図示する。

【発明を実施するための形態】

【0224】

詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。

【0225】

全ての人々と同様に、ＭＲシステムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、臭覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値から成ることができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。

【0226】

コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を発生させるためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。

【0227】

ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を発生させてもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において（例えば、本明細書に説明される方法およびシステムを使用して）聴取者によって聞こえるであろうオーディオ信号をシミュレートするようにミックスおよび処理される、オーディオ信号を決定し、ユーザに、１つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。

【0228】

仮想環境は、算出構造として存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚し得ない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的に、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用し得ないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。

【0229】

ＭＲシステムは、ユーザに、例えば、透過型ディスプレイおよび／または１つまたはそれを上回るスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、ＭＲ環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つまたはそれを上回るスピーカは、ウェアラブル頭部デバイスの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。

【0230】

ＭＲＥでは、（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられる実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上において実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。

【0231】

いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。

【0232】

いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトに類似する、特性を有し得る。例えば、仮想キャラクタは、ユーザに没入型の複合現実体験を提供するために、実物のようなフィギュアとして、仮想または複合現実環境内に提示されてもよい。実物のような特性を有する、仮想キャラクタを用いることで、ユーザは、実際の人物と相互作用しているように感じ得る。そのようなインスタンスでは、仮想キャラクタの筋肉移動および視線等のアクションが自然に現れることが望ましい。例えば、仮想キャラクタの移動は、その対応する実オブジェクトに類似すべきである（例えば、仮想人間は、実際の人間のように歩行する、またはその腕を移動させるべきである）。別の実施例として、仮想人間のジェスチャおよび位置付けは、自然に現れるべきであって、仮想人間は、ユーザとの相互作用を開始することができる（例えば、仮想人間は、ユーザとの協働体験につながることができる）。実物のようなオーディオ応答を有する、仮想キャラクタまたはオブジェクトの提示は、本明細書にさらに詳細に説明される。

【0233】

ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、本明細書に述べられたように、ユーザが、直接、仮想環境を知覚する、またはそれと相互作用し得ないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することがより直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させ得る。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。

【0234】

図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）と、１つまたはそれを上回るスピーカと、例えば、本明細書に説明されるような１つまたはそれを上回るセンサ（例えば、カメラ）とを備えてもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを備える。部屋１０４Ａは、場所座標（例えば、座標系１０８）を用いて空間的に説明され得、実環境１００の場所は、場所座標の原点（例えば、点１０６）に対して説明され得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。

【0235】

図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを備える。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想キャラクタ１３２を備え、これは、実環境１００内の任意の実オブジェクトに対応し得ない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応し得ない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つまたはそれを上回る実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。

【0236】

持続的座標データは、物理的環境に対して存続する、座標データであり得る。持続的座標データは、ＭＲシステム（例えば、ＭＲシステム１１２、２００）によって使用され、持続的仮想コンテンツを設置し得、これは、その上に仮想オブジェクトが表示されている、ディスプレイの移動には結び付けられ得ない。例えば、２次元画面が、仮想オブジェクトを画面上のある位置に対して表示し得る。２次元画面が移動するにつれて、仮想コンテンツは、画面に伴って移動し得る。いくつかの実施形態では、持続的仮想コンテンツは、部屋の角に表示され得る。ＭＲユーザが、角を見ると、仮想コンテンツが見え、角から視線を逸らし（仮想コンテンツは、仮想コンテンツが、ユーザの頭部の運動に起因して、ユーザの視野内からユーザの視野外の場所に移動している場合があるため、もはや可視ではなくなり得る）、角における仮想コンテンツが見えるように視線を戻し得る（実オブジェクトが挙動し得る方法に類似する）。

【0237】

いくつかの実施形態では、持続的座標データ（例えば、持続的座標系および／または持続的座標フレーム）は、原点と、３つの軸とを含むことができる。例えば、持続的座標系は、ＭＲシステムによって、部屋の中心に割り当てられてもよい。いくつかの実施形態では、ユーザが、部屋を動き回り、部屋から外に出て、部屋に再進入する等をし得るが、持続的座標系は、部屋の中心に留まり得る（例えば、物理的環境に対して存続するため）。いくつかの実施形態では、仮想オブジェクトは、持続的仮想コンテンツを表示することを有効にし得る、持続的座標データへの変換を使用して表示されてもよい。いくつかの実施形態では、ＭＲシステムは、同時位置特定およびマッピングを使用して、持続的座標データを発生させてもよい（例えば、ＭＲシステムは、持続的座標系を空間内の点に割り当ててもよい）。いくつかの実施形態では、ＭＲシステムは、持続的座標データを規則的インターバルにおいて発生させることによって、環境をマッピングしてもよい（例えば、ＭＲシステムは、持続的座標系を、持続的座標系が別の持続的座標系の少なくとも５フィート以内にあり得る、グリッド内に割り当ててもよい）。

【0238】

いくつかの実施形態では、持続的座標データは、ＭＲシステムによって発生され、遠隔サーバに伝送されてもよい。いくつかの実施形態では、遠隔サーバは、持続的座標データを受信するように構成されてもよい。いくつかの実施形態では、遠隔サーバは、複数の観察インスタンスからの持続的座標データを同期させるように構成されてもよい。例えば、複数のＭＲシステムは、同一部屋と持続的座標データをマッピングし、そのデータを遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、本観察データを使用して、規準持続的座標データを発生させてもよく、これは、１つまたはそれを上回る観察に基づいてもよい。いくつかの実施形態では、規準持続的座標データは、持続的座標データの単一観察より正確および／または信頼性があり得る。いくつかの実施形態では、規準持続的座標データは、１つまたはそれを上回るＭＲシステムに伝送されてもよい。例えば、ＭＲシステムは、画像認識および／または場所データを使用して、それが、対応する規準持続的座標データを有する、部屋内に位置することを認識してもよい（例えば、他のＭＲシステムが、部屋を事前にマッピングしているため）。いくつかの実施形態では、ＭＲシステムは、その場所に対応する規準持続的座標データを遠隔サーバから受信してもよい。

【0239】

図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では、（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。

【0240】

図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。本明細書に説明されるように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。

【0241】

示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（例えば、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。

【0242】

いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。

【0243】

いくつかの実施例では、本明細書に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想キャラクタ１３２は、キャラクタがＭＲＥ１５０の周囲を歩き回るにつれて発生される、足音効果等の１つまたはそれを上回るオーディオ信号と関連付けられ得る。本明細書に説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音のミックスおよび処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つまたはそれを上回るスピーカおよび／または１つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。

【0244】

例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを備え得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力、モバイルネットワーク（例えば、４Ｇ、５Ｇ）能力）を組み込み、ＭＲＥ１５０および他の複合現実システム内における要素（例えば、仮想キャラクタ１３２）の提示と関連付けられるデータ処理および訓練データのためのニューラルネットワーク（例えば、クラウド内に）を含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標のセットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または本明細書に説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。

【0245】

いくつかの実施形態では、アニメーションリグが、仮想キャラクタ１３２をＭＲＥ１５０内に提示するために使用される。アニメーションリグが、仮想キャラクタ１３２に関して説明されるが、アニメーションリグは、ＭＲＥ１５０内の他のキャラクタ（例えば、人間キャラクタ、動物キャラクタ、抽象キャラクタ）とも関連付けられ得ることを理解されたい。

【0246】

図２Ａは、ユーザの頭部上に装着されるように構成される、例示的ウェアラブル頭部デバイス２００Ａを図示する。ウェアラブル頭部デバイス２００Ａは、頭部デバイス（例えば、ウェアラブル頭部デバイス２００Ａ）、ハンドヘルドコントローラ（例えば、下記に説明される、ハンドヘルドコントローラ３００）、および／または補助ユニット（例えば、下記に説明される、補助ユニット４００）等の１つまたはそれを上回るコンポーネントを備える、より広義のウェアラブルシステムの一部であってもよい。いくつかの実施例では、ウェアラブル頭部デバイス２００Ａは、ＡＲ、ＭＲ、またはＸＲシステムまたは用途のために使用されることができる。ウェアラブル頭部デバイス２００Ａは、ディスプレイ２１０Ａおよび２１０Ｂ（左および右透過型ディスプレイと、直交瞳拡張（ＯＰＥ）格子セット２１２Ａ／２１２Ｂおよび射出瞳拡張（ＥＰＥ）格子セット２１４Ａ／２１４Ｂ等のディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを備えてもよい）等の１つまたはそれを上回るディスプレイと、スピーカ２２０Ａおよび２２０Ｂ（つるのアーム２２２Ａおよび２２２Ｂ上に搭載され、それぞれ、ユーザの左および右耳に隣接して位置付けられてもよい）等の左および右音響構造と、赤外線センサ、加速度計、ＧＰＳユニット、慣性測定ユニット（ＩＭＵ、例えば、ＩＭＵ２２６）、音響センサ（例えば、マイクロホン２５０）等の１つまたはそれを上回るセンサと、直交コイル電磁受信機（例えば、左つるのアーム２２２Ａに搭載されて示される、受信機２２７）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ２３０Ａおよび２３０Ｂ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）（例えば、眼カメラ２２８Ａおよび２２８Ｂ）とを備えることができる。しかしながら、ウェアラブル頭部デバイス２００Ａは、本発明の範囲から逸脱することなく、任意の好適なディスプレイ技術、および任意の好適な数、タイプ、または組み合わせのセンサまたは他のコンポーネントを組み込むことができる。いくつかの実施例では、ウェアラブル頭部デバイス２００Ａは、ユーザの声によって発生されたオーディオ信号を検出するように構成される、１つまたはそれを上回るマイクロホン２５０を組み込んでもよく、そのようなマイクロホンは、ユーザの口に隣接して、および／またはユーザの頭部の片側または両側上に位置付けられてもよい。いくつかの実施例では、ウェアラブル頭部デバイス２００Ａは、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他のウェアラブルシステムを含む、他のデバイスおよびシステムと通信してもよい。ウェアラブル頭部デバイス２００Ａはさらに、バッテリ、プロセッサ、メモリ、記憶ユニット、または種々の入力デバイス（例えば、ボタン、タッチパッド）等のコンポーネントを含んでもよい、または１つまたはそれを上回るそのようなコンポーネントを備える、ハンドヘルドコントローラ（例えば、ハンドヘルドコントローラ３００）または補助ユニット（例えば、補助ユニット４００）に結合されてもよい。いくつかの実施例では、センサは、ユーザの環境に対する頭部搭載型ユニットの座標のセットを出力するように構成されてもよく、入力を同時位置特定およびマッピング（ＳＬＡＭ）プロシージャおよび／またはビジュアルオドメトリアルゴリズムを実施するプロセッサに提供してもよい。いくつかの実施例では、ウェアラブル頭部デバイス２００Ａは、さらに下記に説明されるように、ハンドヘルドコントローラ３００および／または補助ユニット４００に結合されてもよい。

【0247】

図２Ｂは、ユーザの頭部上に装着されるように構成される、例示的ウェアラブル頭部デバイス２００Ｂ（ウェアラブル頭部デバイス２００Ａに対応し得る）を図示する。いくつかの実施形態では、ウェアラブル頭部デバイス２００Ｂは、マイクロホン２５０Ａ、２５０Ｂ、２５０Ｃ、および２５０Ｄを含む、マルチマイクロホン構成を含むことができる。マルチマイクロホン構成は、オーディオ情報に加え、音源についての空間情報を提供することができる。例えば、信号処理技法が、マルチマイクロホン構成において受信された信号の振幅に基づいて、ウェアラブル頭部デバイス２００Ｂに対するオーディオ源の相対的位置を決定するために使用されることができる。同一オーディオ信号が、マイクロホン２５０Ａにおいて、２５０Ｂにおいてより大きい振幅を伴って受信される場合、オーディオ源がマイクロホン２５０Ｂよりマイクロホン２５０Ａに近いことが決定されることができる。非対称または対称マイクロホン構成が、使用されることができる。いくつかの実施形態では、ウェアラブル頭部デバイス２００Ｂの正面上において、マイクロホン２５０Ａおよび２５０Ｂを非対称的に構成することが有利であり得る。例えば、マイクロホン２５０Ａおよび２５０Ｂの非対称構成は、高さに関する空間情報を提供することができる（例えば、第１のマイクロホンから声源（例えば、ユーザの口、ユーザの咽喉までの距離）および第２のマイクロホンから声源までの第２の距離は、異なる）。これは、ユーザの発話を他の人間発話から区別するために使用されることができる。例えば、マイクロホン２５０Ａにおいて受信される信号およびマイクロホン２５０Ｂにおいて受信される振幅の比が、オーディオ源がユーザからのものであることを決定するために、ユーザの口に関して予期されることができる。いくつかの実施形態では、対称構成は、ユーザの発話をユーザの左または右の他の人間発話から区別することが可能であり得る。４つのマイクロホンが、図２Ｂに示されるが、任意の好適な数のマイクロホンが、使用されることができ、マイクロホンが、任意の好適な（例えば、対称または非対称）構成で配列されることができることが検討される。

【0248】

図３は、例示的ウェアラブルシステムの例示的モバイルハンドヘルドコントローラ３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、下記に説明される、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂおよび／または補助ユニット４００と有線または無線通信してもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ユーザによって保持されるためのハンドル部分３２０と、上部表面３１０に沿って配置される、１つまたはそれを上回るボタン３４０とを含む。いくつかの実施例では、ハンドヘルドコントローラ３００は、光学追跡標的として使用するために構成されてもよく、例えば、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂのセンサ（例えば、カメラまたは他の光学センサ）は、ハンドヘルドコントローラ３００の位置および／または配向を検出するように構成されることができ、これはさらに言うと、ハンドヘルドコントローラ３００を保持するユーザの手の位置および／または配向を示し得る。いくつかの実施例では、ハンドヘルドコントローラ３００は、本明細書に説明されるもの等のプロセッサ、メモリ、記憶ユニット、ディスプレイ、または１つまたはそれを上回る入力デバイスを含んでもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、１つまたはそれを上回るセンサ（例えば、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂに関して本明細書に説明される、センサまたは追跡コンポーネントのいずれか）を含む。いくつかの実施例では、センサは、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂまたはウェアラブルシステムの別のコンポーネントに対するハンドヘルドコントローラ３００の位置または配向を検出することができる。いくつかの実施例では、センサは、ハンドヘルドコントローラ３００のハンドル部分３２０内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、例えば、ボタン３４０の押下状態またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）に対応する、１つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂのプロセッサ、補助ユニット４００、またはウェアラブルシステムの別のコンポーネントへの入力として使用されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、１つまたはそれを上回るマイクロホンを含み、音（例えば、ユーザの発話、環境音）を検出し、ある場合には、検出された音に対応する信号をプロセッサ（例えば、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂのプロセッサ）に提供することができる。

【0249】

図４は、例示的ウェアラブルシステムの例示的補助ユニット４００を図示する。いくつかの実施例では、補助ユニット４００は、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂおよび／またはハンドヘルドコントローラ３００と有線または無線通信してもよい。補助ユニット４００は、バッテリを含み、主に、または補完的に、エネルギーを提供し、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂおよび／またはハンドヘルドコントローラ３００等のウェアラブルシステムの１つまたはそれを上回るコンポーネント（ディスプレイ、センサ、音響構造、プロセッサ、マイクロホン、および／またはウェアラブル頭部デバイス２００Ａおよび／または２００Ｂまたはハンドヘルドコントローラ３００の他のコンポーネントを含む）を動作させることができる。いくつかの実施例では、補助ユニット４００は、本明細書に説明されるもの等のプロセッサ、メモリ、記憶ユニット、ディスプレイ、１つまたはそれを上回る入力デバイス、および／または１つまたはそれを上回るセンサを含んでもよい。いくつかの実施例では、補助ユニット４００は、補助ユニットをユーザに取り付ける（例えば、補助ユニットをユーザによって装着されるベルトに取り付ける）のためのクリップ４１０を含む。補助ユニット４００を使用して、ウェアラブルシステムの１つまたはそれを上回るコンポーネントを格納する利点は、そうすることによって、より大きいまたはより重いコンポーネントが、ユーザの頭部に搭載される（例えば、ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂ内に格納される場合）、またはユーザの手によって搬送される（例えば、ハンドヘルドコントローラ３００内に格納される場合）のではなく、ユーザの腰部、胸部、または背部上で搬送されることを可能にし得、これは、より大きいおよびより重い物体を支持するために比較的により好適であることである。これは、特に、バッテリ等のより比較的に重いまたはより嵩張るコンポーネントに有利であり得る。

【0250】

図５Ａは、例示的ウェアラブルシステム５０１Ａに対応し得る、例示的機能ブロック図を示し、そのようなシステムは、本明細書に説明される、例示的ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂと、ハンドヘルドコントローラ３００と、補助ユニット４００とを含んでもよい。いくつかの実施例では、ウェアラブルシステム５０１Ａは、ＡＲ、ＭＲ、またはＸＲ用途のために使用され得る。図５に示されるように、ウェアラブルシステム５０１Ａは、本明細書では、「トーテム」と称される（ハンドヘルドコントローラ３００に対応し得る）、例示的ハンドヘルドコントローラ５００Ｂを含むことができ、ハンドヘルドコントローラ５００Ｂは、トーテム／ヘッドギヤ６自由度（６ＤＯＦ）トーテムサブシステム５０４Ａを含むことができる。ウェアラブルシステム５０１Ａはまた、例示的ヘッドギヤデバイス５００Ａ（ウェアラブル頭部デバイス２００Ａおよび／または２００Ｂに対応し得る）を含むことができ、ヘッドギヤデバイス５００Ａは、トーテム／ヘッドギヤ６ＤＯＦヘッドギヤサブシステム５０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム５０４Ａおよび６ＤＯＦヘッドギヤサブシステム５０４Ｂは、協働し、ヘッドギヤデバイス５００Ａに対するハンドヘルドコントローラ５００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ヘッドギヤデバイス５００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、ベクトルとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ヘッドギヤデバイス５００Ａ内に含まれる、１つまたはそれを上回る深度カメラ５４４（および／または１つまたはそれを上回る非深度カメラ）および／または１つまたはそれを上回る光学標的（例えば、説明されるようなハンドヘルドコントローラ３００のボタン３４０、ハンドヘルドコントローラ内に含まれる専用光学標的）が、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ５００Ｂは、説明されるようなカメラを含むことができ、ヘッドギヤデバイス５００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ヘッドギヤデバイス５００Ａおよびハンドヘルドコントローラ５００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ヘッドギヤデバイス５００Ａに対するハンドヘルドコントローラ５００Ｂの６ＤＯＦが、決定され得る。いくつかの実施例では、６ＤＯＦトーテムサブシステム５０４Ａは、改良された正確度および／またはハンドヘルドコントローラ５００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。

【0251】

図５Ｂは、例示的ウェアラブルシステム５０１Ｂ（例示的ウェアラブルシステム５０１Ａに対応し得る）に対応し得る、例示的機能ブロック図を示す。いくつかの実施形態では、ウェアラブルシステム５０１Ｂは、マイクロホンアレイ５０７を含むことができ、これは、ヘッドギヤデバイス５００Ａ上に配列される、１つまたはそれを上回るマイクロホンを含むことができる。いくつかの実施形態では、マイクロホンアレイ５０７は、４つのマイクロホンを含むことができる。２つのマイクロホンは、ヘッドギヤ５００Ａの正面上に設置されることができ、２つのマイクロホンは、図２Ｂに関して説明される構成のように、頭部ヘッドギヤ５００Ａの背面に設置されることができる（例えば、１つは、左後ろに、１つは、右後ろに）。マイクロホンアレイ５０７は、任意の好適な数のマイクロホンを含むことができ、単一マイクロホンを含むこともできる。いくつかの実施形態では、マイクロホンアレイ５０７によって受信された信号は、ＤＳＰ５０８に伝送されることができる。ＤＳＰ５０８は、信号処理をマイクロホンアレイ５０７から受信された信号上で実施するように構成されることができる。例えば、ＤＳＰ５０８は、ノイズ低減、音響エコーキャンセル、および／またはビーム形成をマイクロホンアレイ５０７から受信された信号上で実施するように構成されることができる。ＤＳＰ５０８は、信号をプロセッサ５１６に伝送するように構成されることができる。いくつかの実施形態では、システム５０１Ｂは、それぞれ、１つまたはそれを上回るマイクロホンと関連付けられ得る、複数の信号処理段階を含むことができる。いくつかの実施形態では、複数の信号処理段階はそれぞれ、ビーム形成のために使用される、２つまたはそれを上回るマイクロホンの組み合わせのマイクロホンと関連付けられる。いくつかの実施形態では、複数の信号処理段階はそれぞれ、音声開始検出、キー語句検出、または終検査出のいずれかのために使用される、信号を前処理するために使用される、ノイズ低減またはエコー消去アルゴリズムと関連付けられる。

【0252】

拡張現実または複合現実用途を伴う、いくつかの実施例では、座標をローカル座標空間（例えば、ヘッドギヤデバイス５００Ａに対して固定される座標空間）から慣性座標空間または環境座標空間に変換することが望ましくあり得る。例えば、そのような変換は、ヘッドギヤデバイス５００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ヘッドギヤデバイス５００Ａのディスプレイ内の同一位置）にではなく、仮想オブジェクトを実環境に対して予期される位置および配向に提示するために必要であり得る（例えば、ヘッドギヤデバイス５００Ａの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）。これは、仮想オブジェクトが実環境内に存在するという錯覚を維持することができる（例えば、ヘッドギヤデバイス５００Ａが偏移および回転させるにつれて、実環境内に不自然に位置付けられて現れない）。いくつかの実施例では、座標空間間の補償変換が、慣性または環境座標系に対するヘッドギヤデバイス５００Ａの変換を決定するために、深度カメラ５４４からの像を処理することによって決定されることができる（例えば、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリプロシージャを使用して）。図５に示される実施例では、深度カメラ５４４は、ＳＬＡＭ／ビジュアルオドメトリブロック５０６に結合され、像をブロック５０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック５０６実装は、本像を処理し、次いで、頭部座標空間と実座標空間との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ヘッドギヤデバイス５００ＡのＩＭＵ５０９から取得される。ＩＭＵ５０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック５０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関するよりタイムリーな情報を提供することができる。

【0253】

いくつかの実施例では、深度カメラ５４４は、ヘッドギヤデバイス５００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ５１１に、３Ｄ像を供給することができる。手のジェスチャトラッカ５１１は、例えば、深度カメラ５４４から受信された３Ｄ像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。

【0254】

いくつかの実施例では、１つまたはそれを上回るプロセッサ５１６は、ヘッドギヤサブシステム５０４Ｂ、ＩＭＵ５０９、ＳＬＡＭ／ビジュアルオドメトリブロック５０６、深度カメラ５４４、マイクロホン５５０、および／または手のジェスチャ追跡器５１１からのデータを受信するように構成されてもよい。プロセッサ５１６はまた、制御信号を６ＤＯＦトーテムシステム５０４Ａに送信し、そこから受信することができる。プロセッサ５１６は、ハンドヘルドコントローラ５００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム５０４Ａに結合されてもよい。プロセッサ５１６はさらに、視聴覚コンテンツメモリ５１８、グラフィカル処理ユニット（ＧＰＵ）５２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置５２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置５２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ５２５に結合されてもよい。ＧＰＵ５２０は、画像毎に変調された光の左源５２４に結合される、左チャネル出力と、画像毎に変調された光の右源５２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ５２０は、立体視画像データを画像毎に変調された光の源５２４、５２６に出力することができる。ＤＳＰオーディオ空間化装置５２２は、オーディオを左スピーカ５１２および／または右スピーカ５１４に出力することができる。ＤＳＰオーディオ空間化装置５２２は、オーディオを左スピーカ５１２および／または右スピーカ５１４に出力することができる。ＤＳＰオーディオ空間化装置５２２は、プロセッサ５１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ５００Ｂを介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置５２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置５２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって発生された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。

【0255】

図５に示されるようないくつかの実施例では、プロセッサ５１６、ＧＰＵ５２０、ＤＳＰオーディオ空間化装置５２２、ＨＲＴＦメモリ５２５、および視聴覚コンテンツメモリ５１８のうちの１つまたはそれを上回るものは、補助ユニット５００Ｃ（補助ユニット４００に対応し得る）内に含まれてもよい。補助ユニット５００Ｃは、バッテリ５２７を含み、そのコンポーネントを給電し、および／または電力をヘッドギヤデバイス５００Ａまたはハンドヘルドコントローラ５００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ヘッドギヤデバイス５００Ａのサイズおよび重量を限定または低減させることができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。いくつかの実施形態では、補助ユニットは、携帯電話、タブレット、または第２のコンピューティングデバイスである。

【0256】

図５Ａおよび５Ｂは、例示的ウェアラブルシステム５０１Ａおよび５０１Ｂの種々のコンポーネントに対応する、要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、図５Ａおよび５Ｂに図示されるヘッドギヤデバイス５００Ａは、プロセッサおよび／またはバッテリ（図示せず）を含んでもよい。含まれるプロセッサおよび／またはバッテリは、補助ユニット５００Ｃのプロセッサおよび／またはバッテリとともに動作する、またはその代わりに動作してもよい。概して、別の実施例として、補助ユニット５００Ｃと関連付けられるように、図５に提示される要素またはそれに関して説明される機能性が、代わりに、ヘッドギヤデバイス５００Ａまたはハンドヘルドコントローラ５００Ｂと関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ５００Ｂまたは補助ユニット５００Ｃを全体的になくしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるものとする。

【0257】

図６Ａは、本開示のいくつかの実施形態による、分析されるべき信号を決定する例示的方法６００を図示する。いくつかの実施形態では、方法６００は、方法７００において、信号が分析されるべきかどうかを決定する。例えば、方法６００は、信号が、デバイスまたはシステムが信号（例えば、ＡＲ、ＭＲ、またはＸＲ環境内に録音されるオーディオ信号）の環境についてのマッピング情報（例えば、環境の反響音、反射、音響環境フィンガプリント）を抽出するための特性を備えるかどうかを決定する。

【0258】

本明細書で使用されるように、音響環境フィンガプリントは、周波数依存減弱時間、反響利得、反響減弱時間、反響減弱時間低周波数比、反響減弱時間高周波数比、反響遅延、反射利得（例えば、追随反射利得）、反射遅延（例えば、追随反射遅延）等の（例えば、複合現実環境の）反響音または音響性質の集合を指し得る。いくつかの実施例では、反響減弱時間、反響減弱時間低周波数比、および反響減弱時間高周波数比は、低中高の分解能を伴う、周波数依存減弱時間をともに形成する。減弱時間は、（例えば、特定のエネルギー帯域に関するＡＲ、ＭＲ、またはＸＲ環境では）音が減弱する速度を定量化し得る。いくつかの実施形態では、減弱時間は、「ｔ６０」として表され、これは、音が６０ｄＢ減弱するためにかかる時間である。反響利得は、投入されるエネルギー（例えば、音が導入されるときのそのエネルギー）に対する（例えば、音が導入された後の特定の時間における）減弱音の相対的エネルギーレベルを定量化し得る。反響遅延は、（例えば、音が導入されるときの）エネルギーの投入と確率論的減弱している音の最大量との間の時間を指し得る。いくつかの実施形態では、反響遅延は、周波数依存である（例えば、反響利得は、ブロードバンド成分を備え、反響利得は、複数のサブ帯域利得を備える）。

【0259】

いくつかの実施形態では、信号は、リアルタイムで受信された１つまたはそれを上回る入力ストリームを備え、信号が分析のために捕捉されるべき（例えば方法７００において実施されるべき）であるかどうかの決定もまた、リアルタイムで決定される。

【0260】

方法６００は、説明されるステップを含むように図示されるが、異なる順序のステップ、付加的ステップ、またはより少ないステップが、本開示の範囲から逸脱することなく、含まれてもよいことを理解されたい。例えば、方法６００のステップは、他の開示される方法のステップを用いて実施されてもよい（例えば、方法６５０、方法７００、環境８００に関して説明される方法）。別の実施例として、方法６００は、説明されるものより少ない要件に基づいて、信号が分析されるべきであることを決定し得る。さらに別の実施例として、方法６００は、説明されるもの以外の要件に基づいて、信号が分析されるべきであることを決定し得る。

【0261】

いくつかの実施形態では、方法６００の算出、決定、計算、または導出ステップは、ウェアラブル頭部デバイスまたはＡＲ、ＭＲ、またはＸＲシステムのプロセッサ（例えば、ＭＲシステム１１２のプロセッサ、ウェアラブル頭部デバイス２００Ａのプロセッサ、ウェアラブル頭部デバイス２００Ｂのプロセッサ、ハンドヘルドコントローラ３００のプロセッサ、補助ユニット４００のプロセッサ、プロセッサ５１６、ＤＳＰ５２２）を使用して、および／または（例えば、クラウド内の）サーバを使用して、実施される。

【0262】

いくつかの実施形態では、方法６００は、信号を受信するステップ（ステップ６０２）を含む。いくつかの実施例では、信号は、サンプルのブロックを備える（例えば、数百個のサンプル、２５６個のサンプル、５１２個のサンプルが、受信される）。いくつかの実施形態では、信号は、オーディオデータを備え、オーディオデータは、オーディオの環境をマッピングするための情報を備えてもよい（例えば、オーディオは、環境のオーディオ応答が導出されることを可能にする、情報を備える）。いくつかの実施形態では、信号は、マイクロホン（例えば、マイクロホン２５０、マイクロホン２５０Ａ、２５０Ｂ、２５０Ｃ、および２５０Ｄ、ハンドヘルドコントローラ３００のマイクロホン、マイクロホンアレイ５０７）を介して受信される。例えば、信号は、マイクロホンに発話しているユーザからの短発声を備える。別の実施例として、信号は、（例えば、ユーザによってマイクロホンに対して行われる）叩音、ノック音、スナップ音、および同等物の音等の短持続時間を有する、エネルギーを備える。いくつかの実施形態では、信号は、データを記憶装置から（例えば、ウェアラブル頭部デバイス２００Ａ、ウェアラブル頭部デバイス２００Ｂ、ハンドヘルドコントローラ３００、ウェアラブルシステム５０１Ａ、ウェアラブルシステム５０１Ｂの記憶装置から、サーバの記憶装置から）読み出すことによって受信される。

【0263】

いくつかの実施形態では、ステップ６０２は、環境のオーディオ応答（例えば、ＡＲ、ＭＲ、またはＸＲ環境の反響音）をマッピングするための要請に応答して、実施される。いくつかの実施形態では、要請は、受信側デバイスへのユーザ入力（例えば、ユーザが、受信側デバイスを使用して、環境のオーディオ応答をマッピングすることを所望すること）によって、開始される。いくつかの実施形態では、要請は、受信側デバイス（例えば、受信側デバイスが、環境のオーディオ応答をマッピングする（例えば、環境のコンテンツを正確に提示する）ために受信される信号を要求すること）によって、開始される。いくつかの実施形態では、受信側デバイスは、信号を提供するためのインジケーションをユーザに提供する。例えば、環境のオーディオ応答をマッピングするための要請に応答して、受信側デバイスは、ユーザが信号を提供するための方向を提供する（例えば、短発声を行う（例えば、クリック音、ポッピング音、または同等物を口頭で行う）のための方向を示す、短持続時間を有するエネルギーを備える、信号（例えば、叩音、ノック音、スナップ音、または同等物）を発生させるための方向を示す）。

【0264】

いくつかの実施形態では、方法６００は、信号が分析要件を満たすかどうかを決定するステップ（ステップ６０４）を含む。いくつかの実施形態では、ステップ６０４は、１つまたはそれを上回る要件に基づいて、信号が（例えば、環境マッピング情報を導出するために、環境の反響音／反射情報を導出するために、環境の音響環境フィンガプリントを導出するために）方法７００において分析されるべきであると認定されるかどうかを決定するステップを含む。例えば、要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約を含む。他の要件も、信号が分析されるべきかどうかを決定するために使用されてもよいことを理解されたい。

【0265】

いくつかの実施形態では、要件は、不正確な結果をもたらす信号が環境マッピング情報（例えば、環境の反響音／反射性質、環境の音響環境フィンガプリント）のために分析されないように防止する。いくつかの実施形態では、本明細書でさらに詳細に説明されるように、要件は、環境マッピング情報（例えば、環境の反響音／反射性質、環境の音響環境フィンガプリント）のためにより正確な分析をもたらすための補償を要求し得る、信号の識別を可能にする。

【0266】

いくつかの実施形態では、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、追跡されるノイズフロアを上回る信号の信号レベルの存在を検出するステップを含む。いくつかの実施形態では、信号の信号レベルと追跡されるノイズフロアとの間の閾値差異は、２０ｄＢである。すなわち、いくつかの実施形態では、信号の信号レベルと追跡されるノイズフロアとの間の差異が、２０ｄＢを上回る場合、信号は、最小ＳＮＲ制約を満たす。いくつかの実施形態では、可動レベル追跡器が、ノイズフロアレベルを追跡する。いくつかの実施形態では、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、信号が環境を駆動または励起させるために十分に強いかどうかを決定するステップを含む。

【0267】

例えば、（例えば、ステップ６０２から受信された）サンプルのブロック（例えば、数百（例えば、２５６、５１２）個のサンプルのブロック）は、より短い（例えば、１６～３２個のサンプル）時間スケールを有する、ＲＭＳエンベロープに平滑化される。線が、ＲＭＳエンベロープに対して適合され得る。適合された線の傾きの絶対値が、閾値傾きを下回る（例えば、サンプルのブロックのエネルギーレベルが、比較的に平坦である）場合、ノイズフロアは、調節される。いくつかの実施形態では、線は、ＲＭＳエンベロープに平滑化せずに、サンプルのブロックに対して適合されてもよい。サンプルのブロックは、ＲＭＳエンベロープに平滑化されるように説明されるが、サンプルのブロックは、他のタイプのエンベロープ（例えば、連続エネルギー）に平滑化されてもよいことを理解されたい。

【0268】

いくつかの実施形態では、ブロック平均値が、現在のノイズフロアを下回る場合、より大きいパーセンテージ（例えば、５０％を上回る）のノイズフロアが、ブロック平均値に向かって移動する。いくつかの実施形態では、ブロック平均が、現在のノイズフロアを上回る場合、より小さいパーセンテージ（例えば、５０％未満）のノイズフロアが、ブロック平均値に向かって移動する。

【0269】

いくつかの実施形態では、ノイズフロアは、受信された信号が存在するとき、低速レートで持続的に移動する。いくつかの実施形態では、ノイズフロアは、受信された信号が存在しないとき、（受信された信号が存在するときの低速レートと比較して）より低速レートで持続的に移動する。いくつかの実施形態では、ノイズフロアは、受信された信号が存在しないとき、（受信された信号が存在するときの率と比較して）同一率で持続的に移動する。低速ノイズフロア移動レートは、（例えば、新しいよりノイズが多い環境内のノイズが環境マッピング分析のための信号として解釈されないように防止するために）よりノイズが多い環境に対して正しいかつ段階的調節を可能にする。いくつかの実施例では、短減弱時間を備えるオーディオ応答を有する、環境では、ノイズフロアの上昇は、無視可能であり得る。いくつかの実施例では、長減弱時間を備えるオーディオ応答を有する、環境では、信号が受信され、信号が分析のための要件を満たすかどうかが決定された後、ノイズフロアは、迅速に、初期レベルにリセットされる（例えば、迅速に、受信された信号を伴わない、ノイズフロアレベルまで降下する、または戻る）。いくつかの実施形態では、信号が受信された後、後続ノイズフロア適合のための時間は、短縮され、ノイズフロアがより迅速に受信された周囲ノイズレベルに調節されることを可能にし得る。

【0270】

いくつかの実施形態では、信号持続時間制約が満たされるかどうかを決定するステップは、信号持続時間が測定可能遅延を有効にするために十分に長いかどうかを決定するステップを含む。例えば、いくつかの実施形態では、信号を受信するデバイス（例えば、ウェアラブル頭部デバイス２００Ａ、ウェアラブル頭部デバイス２００Ｂ、ハンドヘルドコントローラ３００、ウェアラブルシステム５０１Ａ、ウェアラブルシステム５０１Ｂ、サーバ）が、信号の持続時間が閾値時間量を超えて信号持続時間閾値を上回る（例えば、ノイズフロアを上回る、ノイズフロアを閾値量（例えば、２０ｄＢ）上回る、最小ＳＮＲを上回る連続的持続時間を上回る）かどうかを決定する。いくつかの実施形態では、信号持続時間制約が満たされるかどうかの決定は、信号が閾値時間量を超えて最小ＳＮＲ制約を満たすかどうかを評価する（例えば、信号の持続時間が、ノイズフロアを上回る、ノイズフロアを閾値量（例えば、２０ｄＢ）上回る、閾値時間量を超えて最小ＳＮＲを上回るかどうかを決定する）ときに実施されてもよい。

【0271】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号の源が受信側デバイスと併置されるかどうかを決定するステップを含む。いくつかの実施形態では、信号の源が受信側デバイスと併置されることを確認するステップは、（例えば、方法７００において実施される）分析の反響利得または反射利得の正確度を確実にする。すなわち、受信側デバイスと併置されない源からの信号（例えば、源が受信側デバイスから離れている）は、不正確な反響利得または反射利得決定をもたらし得る。

【0272】

いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号の源の場所を決定するステップを含む。いくつかの実施形態では、信号の源と受信側デバイスの場所との間の距離は、後続分析（例えば、方法７００）の正確度に影響を及ぼす（例えば、源および受信側デバイス場所の環境座標の差異として表される）。したがって、いくつかの実施形態では、併置制約が満たされるかどうかを決定するステップは、信号の源が受信側デバイスの場所の閾値距離内にあるかどうかを決定するステップを含む。

【0273】

いくつかの実施形態では、距離が、把握され（例えば、環境内の源の座標に基づいて、信号の源は、受信側デバイスのユーザである）、併置制約は、未知の源距離と関連付けられる不確実性が低減されるため、緩和され得る。いくつかの実施形態では、併置制約をより良好に満たすために、信号の源が、位置特定されることが要求される（例えば、源と受信側デバイスとの間の距離閾値内において、ユーザによって発生される信号のみが、環境マッピングのために使用され得る（例えば、源は、受信側デバイスの近位にある））。

【0274】

いくつかの実施形態では、距離は、信号の発生と反射または反響された信号の受信との間の時間遅延およびレベル差異によって決定される。いくつかの実施形態では、距離は、ビーム形成分析を使用して決定される。いくつかの実施形態では、距離は、自動相関分析を使用して決定される。例えば、ピークの差異が、自動相関され、距離が、ピークを相関させるために必要とされる差異に基づいて、推定される。距離が、閾値距離を上回ると推定される場合、併置制約は、満たされない。

【0275】

いくつかの実施形態では、ニューラルネットワークが、信号と受信側デバイスとの間の距離を識別するように訓練される。例えば、ニューラルネットワークは、ある範囲内の（例えば、併置制約を満たすための位置特定範囲内の）音源を識別するように訓練される。別の実施例として、ニューラルネットワークは、受信側デバイスの近位にあることが把握される、具体的音源（例えば、ユーザによって発生される信号（例えば、ユーザの音声、手叩音、スナップ音、ポップ音、および同等物））を識別するように訓練される。いくつかの実施形態では、音声アクティブ化検出（ＶＡＤ）（例えば、深層ＶＡＤ）が、併置制約が満たされるかどうかを決定するために、ユーザ発話を識別するために使用される。例えば、ＶＡＤは、ユーザの発話を識別し、本識別に従って、信号は、受信側デバイスと併置され、併置制約を満たすと決定される。

【0276】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源が全方向性源を備えるかどうかを決定するステップを含む。いくつかの実施形態では、信号の源が全方向性であることを確認するステップは、（例えば、方法７００において実施される）反響利得または反射利得分析の正確度を確実にする。すなわち、全方向性ではない、源からの信号は、不正確な反響利得または反射利得決定をもたらし得る。

【0277】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、信号の源の放射パターンが把握または想定されるかどうかを決定するステップを含む。いくつかの実施形態では、源放射パターンは、把握され、または推測されてもよく（例えば、環境についての情報からの源についての情報に基づいて、源の配向が、把握され、または検出されてもよく）、全方向性制約は、未知の指向性と関連付けられる不確実性が低減されるため、緩和され得る。いくつかの実施形態では、全方向性制約をより良好に満たすために、信号の源放射パターンが、把握されるために要求される、または推測されてもよい（例えば、環境についての情報からの源についての情報に基づいて）。

【0278】

いくつかの実施形態では、全方向性制約が満たされるかどうかを決定するステップは、マイクロホン入力間で比較するステップを含む。例えば、信号は、１つを上回るマイクロホン（例えば、マイクロホン２５０、マイクロホン２５０Ａ、２５０Ｂ、２５０Ｃ、および２５０Ｄ、ハンドヘルドコントローラ３００のマイクロホン、マイクロホンアレイ５０７のうちの１つを上回るもの）を介して受信される。各マイクロホンにおいて受信される信号のレベルが、比較され得、レベル間の相対的差異は、全方向性制約が満たされる（例えば、相対的差異がある閾値内にある）かどうかを示す。

【0279】

いくつかの実施形態では、ニューラルネットワークが、既知の放射パターンおよび配向を識別するように訓練される。例えば、ニューラルネットワークは、ユーザによって発生される信号（例えば、ユーザの音声、手叩音、スナップ音、ポップ音、および同等物）等の音を識別するように訓練される。いくつかの実施形態では、ＶＡＤ（例えば、深層ＶＡＤ）が、放射パターンおよび配向が既知であるかどうかを決定するために、ユーザ発話を識別するために使用される。例えば、ＶＡＤは、ユーザの発話を識別し、本識別に従って、信号は、既知の放射パターンおよび配向を有すると決定される。いくつかの実施形態では、信号が既知の放射パターンおよび配向を有することの決定に従って、信号は、全方向性制約を満たすと決定される。

【0280】

いくつかの実施形態では、インパルス信号制約が満たされるかどうかを決定するステップは、信号がインパルス信号を備えるかどうかを決定するステップを含む。いくつかの実施形態では、信号がインパルス信号を備えるかどうかを決定するステップは、信号が、瞬間信号、インパルス信号、および過渡信号のうちの１つまたはそれを上回るものを備えるかどうかを決定するステップを含む。例えば、瞬間、インパルス、または過渡信号は、ある閾値レベル（例えば、最小ＳＮＲ制約を満たすエネルギーレベル）を上回る短持続時間（例えば、ある閾値時間量より短い、１０ｍｓより短い）のエネルギーを備える。

【0281】

いくつかの実施形態では、信号が、瞬間、インパルス、または過渡信号を備えることを確認するステップは、（例えば、方法７００において実施される）反響利得または反射利得分析の正確度を確実にする。すなわち、瞬間、インパルス、または過渡信号を備えない、信号は、不正確な反響利得または反射利得決定をもたらし得る。すなわち、瞬間、インパルス、または過渡信号は、広範囲のスペクトル成分を備え、広周波数範囲が分析され、（例えば、環境マッピング、環境反響音／反射、音響環境フィンガプリントに対応する）広周波数応答が導出されることを可能にし得る（例えば、方法７００を使用して）。

【0282】

いくつかの実施形態では、インパルス信号制約が満たされるかどうかを決定するステップは、信号に基づいて、デュアルエンベロープフォロワを適用するステップを含む。例えば、異なる時間スケールにおける２つのエンベロープフォロワ（例えば、より短い時間スケールにおける第１のエンベロープフォロワおよびより長い時間スケールにおける第２のエンベロープフォロワ）が、瞬間的に、（例えば、インパルス信号制約を満たすものとして信号を認定するために十分に高速である）信号の高速オンセット（例えば、信号の開始）およびオフセット（例えば、信号の終了）を識別するために比較される。短時間スケールにおける第１のエンベロープフォロワ間の差異が、より長い時間スケールにおける第２のエンベロープフォロワより閾値量だけ高い場合、高速オンセットが、決定される。より長い時間スケールにおける第２のエンベロープフォロワ間の差異が、より短い時間スケールにおける第１のエンベロープフォロワより閾値量だけ負である場合、高速オフセットが、決定される。高速オンセットおよび高速オフセットが、信号に関して決定され、高速オンセットおよび高速オフセットが、短持続時間（例えば、ある閾値時間量より短い、１０ｍｓより短い）内で生じる場合、信号は、インパルス信号制約を満たすと決定され得る。

【0283】

いくつかの実施形態では、知覚オーディオコーデック（例えば、知覚エントロピ、スペクトル分析）によって使用されるもの等の過渡信号を識別するための技法が、インパルス信号制約が満たされるかどうかを決定するために使用される。

【0284】

いくつかの実施形態では、信号がインパルス制約を満たすことの決定に従って、第１の分析が、信号上において実施される。例えば、信号がインパルス制約を満たすことの決定に従って、方法７００に関して説明される第１の分析が、信号上において実施される。

【0285】

いくつかの実施形態では、インパルス制約が満たされないことの決定に従って、第２の分析が、信号上において実施される。いくつかの実施形態では、第２の分析は、（例えば、ステップ６０２から受信された）信号をクリーン入力ストリームに変換するステップを含む。例えば、信号をクリーン入力ストリームに変換するステップは、信号をドライ信号（例えば、クリーンユーザ音声入力ストリーム、隔離された入力ストリーム（例えば、ユーザ音声入力ストリーム））に変換するステップを備える。別の実施例として、信号をクリーン入力ストリームに変換するステップは、信号を直接音エネルギー（例えば、信号自体の音に対応するエネルギー）に変換するステップを含む。

【0286】

信号をクリーン入力ストリームに変換することによって、信号と関連付けられる、音響エネルギーの量（例えば、環境の中に投入される、音響エネルギーの量）が、算出され得る。また、音響エネルギーの量を算出することによって、音響エネルギーが、追跡され得、減弱時間および／または反響利得が、クリーン入力ストリームと信号をマッチングさせることによって、求められ得る（例えば、反復的に求められる）。例えば、クリーン入力ストリームと信号をマッチングさせることによって、クリーン入力ストリームと信号との間の差異が、決定され得、差異は、減弱時間および／または反響利得が導出されることを可能にし得る（例えば、差異は、減弱時間および／または反響利得の関数である）。

【0287】

実施例として、反響利得は、返される電力（例えば、環境の反響音特性に起因して）と照射される電力（例えば、源によって出力された信号の電力、クリーン入力ストリームの電力）の比によって定義され得る。いくつかの実施形態では、返される電力は、信号源の場所において返される信号を検出することによって測定される。例えば、返される電力は、信号源場所において、受信側デバイスによって（例えば、マイクロホン２５０、マイクロホン２５０Ａ、２５０Ｂ、２５０Ｃ、および２５０Ｄ、ハンドヘルドコントローラ３００のマイクロホン、マイクロホンアレイ５０７を使用して）測定される。

【0288】

いくつかの実施形態では、返される電力および照射される電力は、検出された信号（例えば、マイクロホン信号）の時間ウィンドウ化によって決定され得る。いくつかの実施形態では、検出された信号の時間ウィンドウ化は、震動（例えば、ユーザの短発声）源音を検出するステップを含む。例えば、ＶＡＤ（例えば、深層ＶＡＤ）が、音声入力の存在を検出するために使用されてもよい。いったん音声入力の存在が、検出されると、ユーザからの短発声の発生が、決定される。例えば、短発声は、発声が（例えば、環境の反響音性質を決定するために）返される信号を検出することに干渉しないように、十分に短持続時間を有する。別の実施例として、短発声は、閾値時間量より短い持続時間を有する。

【0289】

いくつかの実施形態では、複数の返される信号および照射される信号が、測定され、返される電力と照射される電力の比が、対応する信号に関して算出される。算出された比は、環境のオーディオ応答（例えば、環境の反響音／反射、環境の音響環境フィンガプリント）をマッピングするように累積され得る。いくつかの実施形態では、異なる算出された比は、異なる周波数範囲に関するオーディオ応答が決定され、信号全体を表す応答にともにコンパイルされることを可能にする。いくつかの実施形態では、比の累積は、有利なこととして、非インパルス信号が環境のオーディオ応答をマッピングするために使用されることを可能にする。

【0290】

いくつかの実施形態では、信号は、環境をマッピングするための要請に応答して発生されない、音（例えば、間接音）に対応する。例えば、これらの音は、環境をマッピングするための要請から独立して発生される、環境内の音（例えば、環境をマッピングするための要請の有無にかかわらず発生される音、環境由来の音）を含む。これらの音は、環境からの音反射または反響された音であり得る。いくつかの実施形態では、ビーム形成が、実施され、信号を隔離する。例えば、ビーム形成は、間接音を隔離するために使用される。いくつかの実施形態では、間接音の場所が、把握され、間接音が、隔離される場合、間接音は、環境をマッピングするために使用され得る（例えば、方法７００に関して説明されるように）。

【0291】

いくつかの実施形態では、方法６００の間に入手、導出、または算出された情報は、後続プロセスまたは分析のために使用され得る（例えば、方法７００および／または環境８００に関して説明される方法に関して説明されるように）。例えば、ユーザの音声が、（例えば、ＶＡＤまたは本明細書に説明される他の方法を使用して）信号源と識別される場合、信号は、既知の放射パターンおよび／または配向を有すると決定される。いくつかの実施形態では、後続プロセスまたは分析は、その識別の間に決定される音声の特性（例えば、人間話者に対応するタイミングおよび／または周波数応答、性別に対応するタイミングおよび／または周波数応答、他のタイミングおよび／または周波数応答）を考慮するように調整され得る。

【0292】

源の放射パターンは、源から媒体に伝送される、エネルギーの量を決定するため、源の放射パターンおよび配向を把握することによって、全方向性制約が、充足され得る。例えば、全方向性制約は、直接経路減衰および／または環境の中へのエネルギー放射を補償することによって、充足され得る。例えば、減衰、損失等が、既知の放射パターンおよび／または配向から決定される、源のエネルギー伝送特性によって、補償され得る。

【0293】

いくつかの実施形態では、反響利得算出（本明細書でさらに詳細に説明されるように）は、直接経路減衰と環境の中へのエネルギー放射との間の比較である。補償を実施することによって、反響利得は、より正確に算出され得る。

【0294】

より一般的には、いくつかの実施形態では、（例えば、ステップ６０４に基づいて）分析のための要件が満たされないことの決定に従って、補償が、（例えば、信号と関連付けられる付加的制約関連情報を導出することによって、信号に）適用される。いくつかの実施形態では、補償は、後続処理または分析の正確度を改良するために適用される（例えば、方法７００および環境８００に関して説明される方法に関して説明されるように）。いくつかの実施形態では、補償は、補償された信号が分析のための要件を満たすことを可能にするように適用される（例えば、補償された信号は、補償後、制約を満たす）。

【0295】

後続プロセスまたは分析のために使用され得る、方法６００の間に入手、導出、または算出された情報の別の実施例として、源までの距離が、信号分析を介して、決定されてもよい（例えば、受信された信号の減衰に基づいて導出される）。減衰は、反響利得算出において使用されてもよい（本明細書でさらに詳細に説明されるように）。いくつかの実施形態では、源までの距離が、決定および把握されるため、対応する併置制約は、源が併置されるかどうかの不確実性が低減されるため、緩和され得る。

【0296】

いくつかの実施形態では、開示される制約または要件が満たされるかどうかおよび信号が後続分析のために好適であるかどうかを決定することによって、方法６００は、有利なこととして、環境マッピングのためのリアルタイムデータ（例えば、受信側デバイスからのリアルタイムセンサデータ）に関する必要性を排除し得る。例えば、信号が環境マッピング情報（例えば、環境反響／反射、音響環境フィンガプリント）の導出のための十分な情報を備えると決定される。信号は、環境マッピングを導出するための十分な情報を備えるため、付加的リアルタイムデータは、必要であり得ず、環境マッピング分析は、異なる時間におよび／または本明細書に説明される実施例および利点を伴う異なるデバイス上で実施されてもよい。

【0297】

図６Ｂは、本開示のいくつかの実施形態による、分析されるべき信号を決定する例示的方法６５０を図示する。いくつかの実施形態では、方法６５０は、方法７００において信号が分析されるべきかどうかを決定する。例えば、方法６５０は、信号が、デバイスまたはシステムが信号（例えば、ＡＲ、ＭＲ、またはＸＲ環境内で録音されるオーディオ信号）の環境についてのマッピング情報（例えば、環境の反響音／反射、音響環境フィンガプリント）を抽出するための特性を備えるかどうかを決定する。いくつかの実施形態では、信号は、リアルタイムで受信された１つまたはそれを上回る入力ストリームを備え、信号が（例えば、方法７００において実施される）分析のために捕捉されるべきかどうかの決定もまた、リアルタイムで決定される。

【0298】

方法６５０は、説明されるステップを含むように図示されるが、異なる順序のステップ、付加的ステップ、またはより少ないステップが、本開示の範囲から逸脱することなく、含まれてもよいことを理解されたい。例えば、方法６５０のステップは、他の開示される方法のステップを用いて実施されてもよい（例えば、方法６００、方法７００、環境８００に関して説明される方法）。別の実施例として、方法６５０は、説明されるものより少ない要件に基づいて、信号が分析されるべきであることを決定し得る。さらに別の実施例として、方法６５０は、信号が説明されるもの以外の要件に基づいて分析されるべきであることを決定し得る。

【0299】

いくつかの実施形態では、方法６５０の算出、決定、計算、または導出ステップは、ウェアラブル頭部デバイスまたはＡＲ、ＭＲ、またはＸＲシステムのプロセッサ（例えば、ＭＲシステム１１２のプロセッサ、ウェアラブル頭部デバイス２００Ａのプロセッサ、ウェアラブル頭部デバイス２００Ｂのプロセッサ、ハンドヘルドコントローラ３００のプロセッサ、補助ユニット４００のプロセッサ、プロセッサ５１６、ＤＳＰ５２２）を使用して、および／または（例えば、クラウド内の）サーバを使用して、実施される。

【0300】

いくつかの実施形態では、方法６５０は、サンプルのブロックを受信するステップ（ステップ６５２）を含む。例えば、方法６００に関して説明されるステップ６０２が、実施される。簡潔にするために、本ステップの実施例および利点は、本明細書に説明されない。

【0301】

いくつかの実施形態では、方法６５０は、サンプルのブロックをエンベロープに平滑化するステップ（ステップ６５４）を含む。例えば、本明細書で最小ＳＮＲ制約に関して説明されるように、サンプルのブロックは、ＲＭＳエンベロープに平滑化される。簡潔にするために、本ステップの実施例および利点は、本明細書に説明されない。

【0302】

いくつかの実施形態では、方法６５０は、エンベロープを線形適合するステップ（ステップ６５６）を含む。例えば、最小ＳＮＲ制約に関して説明されるように、線は、ＲＭＳエンベロープに対して適合される。簡潔にするために、本ステップの実施例および利点は、本明細書に説明されない。

【0303】

いくつかの実施形態では、方法６５０は、サンプルのブロックを収集するかどうかを決定するステップ（ステップ６５８）を含む。例えば、受信側デバイス（例えば、ウェアラブル頭部デバイス２００Ａ、ウェアラブル頭部デバイス２００Ｂ、ハンドヘルドコントローラ３００、ウェアラブルシステム５０１Ａ、ウェアラブルシステム５０１Ｂ、サーバ）が、（例えば、ユーザから、アプリケーションからの入力の受信に応答して）サンプルのブロックまたはサンプルのブロックの一部を収集するかどうかを決定する。

【0304】

いくつかの実施形態では、サンプルのブロックを収集しないことの決定に従って、方法６５０は、エンベロープとＳＮＲ閾値を比較するステップ（ステップ６６０）を含む。例えば、ＲＭＳエンベロープ（例えば、適合された線、エンベロープ平均）が、ＳＮＲオン閾値（例えば、ノイズフロアを上回る閾値ｄＢ）と比較される。いくつかの実施形態では、ＲＭＳエンベロープが、ＳＮＲオン閾値を上回る場合、サンプルのブロックは、最小ＳＮＲ制約を満たすと決定される。

【0305】

いくつかの実施形態では、エンベロープ（例えば、ブロックエンベロープの平均）がオン閾値を上回らないことの決定に従って、方法６５０は、適合された線が平坦であるかどうかを決定するステップ（ステップ６６２）を含む。例えば、適合された線の傾きは、閾値傾きと比較され得、適合された線の傾きが、閾値傾きを下回る場合、適合された線は、平坦と決定される。適合された線が平坦ではない（例えば、サンプルのブロックが平坦ではなく、最小ＳＮＲ制約が満たされない）ことの決定に従って、方法６５０は、新しいサンプルのブロックが受信されるまでに完了され得る。

【0306】

いくつかの実施形態では、適合された線が平坦であることの決定に従って、方法６５０は、適合された線の値を決定するステップ（ステップ６６４）を含む。例えば、適合された線の平均が、決定される。適合された線の値が、ノイズフロアを下回る（例えば、サンプルのブロックが、平坦であって、オン閾値を下回るため、ノイズを備え得る）場合、方法６５０は、ノイズフロアを下方に移動させるステップ（ステップ６６６）を含む。いくつかの実施形態では、ノイズフロアは、新しいノイズフロアに迅速に収束するために、迅速に下方に移動される。適合された線の値が、ノイズフロアを上回る場合、方法６５０は、ノイズフロアを上方に移動させるステップ（ステップ６６８）を含む。いくつかの実施形態では、ノイズフロアは、新しいノイズフロアが環境マッピングのために分析されないように防止するために、ゆっくりと上方に移動される（最小ＳＮＲ制約に関して説明されるように）。

【0307】

いくつかの実施形態では、エンベロープ（例えば、ブロックエンベロープの平均）がオン閾値を上回ることの決定に従って、方法６５０は、分析条件を更新するステップおよびサンプルのブロックを収集することを決定するステップ（ステップ６７０）を含む。例えば、サンプルのブロックを収集しないと決定されたが、サンプルのブロックが最小ＳＮＲ制約を満たすと決定される。したがって、いくつかの実施形態では、分析条件は、サンプルのブロックを収集することの決定を（例えば、ステップ６７２に）変更するように更新される。

【0308】

いくつかの実施形態では、サンプルのブロックを収集することの決定に従って、方法６５０は、エンベロープとＳＮＲ閾値を比較するステップ（ステップ６７２）を含む。例えば、ＲＭＳエンベロープ（例えば、適合された線、エンベロープ平均）が、ＳＮＲオフ閾値（例えば、ノイズフロアを上回る閾値ｄＢ）と比較される。いくつかの実施形態では、ＲＭＳエンベロープが、ＳＮＲオフ閾値未満である場合、サンプルのブロックは、最小ＳＮＲ制約を満たさないと決定される。

【0309】

いくつかの実施形態では、エンベロープがＳＮＲ閾値未満である（例えば、サンプルのブロックが最小ＳＮＲ制約を満たすと考えられない）ことの決定に従って、方法６５０は、エンベロープの傾きと閾値傾きを比較するステップ（ステップ６７４）を含む。例えば、適合された線の傾きが、閾値傾きと比較される。

【0310】

いくつかの実施形態では、傾きが閾値傾き未満であることの決定に従って、方法６５０は、サンプルを収集し続けるステップ（ステップ６７６）を含む。例えば、収集されたサンプルが、最小ＳＮＲ制約を満たさず、十分に高い傾きを有していないと決定されると、方法６５０は、サンプルが最小ＳＮＲ制約を満たすまで、（例えば、サンプルのブロックが環境マッピングのために使用され得るかどうかを決定するためのさらなる処理のために）サンプルを収集し続け得る。

【0311】

いくつかの実施形態では、傾きが閾値傾きを上回ることの決定に従って、方法６５０は、サンプルを収集することを停止するステップ（ステップ６７８）を含む。例えば、エンベロープが、ＳＮＲ閾値未満であり得るが、サンプルのブロックは、（例えば、サンプルのブロックの一部が最小ＳＮＲ制約を満たし得るように）十分に高い傾きを有する。いくつかの実施形態では、エンベロープがＳＮＲ閾値を上回る（例えば、ステップ６７２から、サンプルのブロックが最小ＳＮＲ制約を満たす）ことの決定に従って、方法６５０は、サンプルを収集することを停止するステップ（ステップ６７８）を含む。いくつかの実施形態では、サンプル収集が、停止され、収集されたサンプルはさらに、（例えば、サンプルのブロックが環境マッピングのために使用され得るかどうかを決定するために）処理される。

【0312】

いくつかの実施形態では、方法６５０は、併置制約が満たされるかどうかを決定するステップ（ステップ６８０）を含む。例えば、本明細書で併置制約に関して説明されるように、収集されたサンプルが併置制約を満たすかどうかが、決定される。簡潔にするために、本ステップの実施例および利点は、本明細書に説明されない。いくつかの実施形態では、ステップ６８０は、収集されたサンプルが最小ＳＮＲ制約を満たすことの決定に従って、実施される。いくつかの実施形態では、併置制約が満たされないことの決定に従って、方法６５０は、新しいサンプルのブロックが受信されるまでに完了され得る。

【0313】

いくつかの実施形態では、方法６５０は、全方向性制約が満たされるかどうかを決定するステップ（ステップ６８２）を含む。例えば、本明細書で全方向性制約に関して説明されるように、収集されたサンプルが全方向性制約を満たすかどうかが、決定される。簡潔にするために、本ステップの実施例および利点は、本明細書に説明されない。いくつかの実施形態では、ステップ６８２は、収集されたサンプルが併置制約を満たすことの決定に従って、実施される。いくつかの実施形態では、全方向性制約が満たされないことの決定に従って、方法６５０は、新しいサンプルのブロックが受信されるまでに完了され得る。

【0314】

いくつかの実施形態では、方法６５０は、インパルス制約が満たされるかどうかを決定するステップ（ステップ６８４）を含む。例えば、本明細書でインパルス制約に関して説明されるように、収集されたサンプルがインパルス制約を満たすかどうかが、決定される。簡潔にするために、本ステップの実施例および利点は、本明細書に説明されない。いくつかの実施形態では、ステップ６８４は、収集されたサンプルが全方向性制約を満たすことの決定に従って、実施される。いくつかの実施形態では、インパルス制約が満たされないことの決定に従って、方法６５０は、新しいサンプルのブロックが受信されるまでに完了され得る。

【0315】

いくつかの実施形態では、要件または制約が満たされていることの決定に従って、収集されたサンプルは、さらなる分析を受け得る。例えば、収集されたサンプルが開示される制約（例えば、最小ＳＮＲ、持続時間、併置、全方向性、インパルス）のうちの１つまたはそれを上回るものを満たすと決定される。本決定に従って、収集されたサンプルは、環境マッピングのための分析のために好適である（例えば、収集されたサンプルが、環境反響音／反射および／または音響環境フィンガプリントの正確な導出をもたらすであろう、情報を備える）と決定される。いくつかの実施形態では、これらの収集されたサンプルは、方法７００を使用して、処理される。

【0316】

いくつかの実施形態では、開示される制約または要件が満たされるかどうかおよび信号が後続分析のために好適であるかどうかを決定することによって、方法６５０は、有利なこととして、環境マッピングのためのリアルタイムデータ（例えば、受信側デバイスからのリアルタイムセンサデータ）に関する必要性を排除し得る。例えば、信号は、環境マッピング情報（例えば、環境反響／反射、音響環境フィンガプリント）の導出のために十分な情報を備えると決定される。信号は、環境マッピングを導出するために十分な情報を備えるため、付加的リアルタイムデータが、必要であり得ず、環境マッピング分析は、異なる時間におよび／または本明細書に説明される実施例および利点を伴う異なるデバイス上で実施されてもよい。

【0317】

図７Ａは、本開示のいくつかの実施形態による、信号分析の例示的方法７００を図示する。いくつかの実施形態では、方法６００または方法６５０は、方法７００において信号が分析されるべきかどうかを決定する。例えば、方法７００は、情報（例えば、環境の反響音／反射、オーディオ性質（例えば、周波数依存減弱時間、反響利得、反響減弱時間、反響減弱時間低周波数比、反響減弱時間高周波数比、反響遅延、反射利得、反射遅延）の集合である、音響環境フィンガプリント）をマッピングするために、（例えば、方法６００または６５０から決定される）信号を分析するステップを含む。

【0318】

いくつかの実施形態では、リアルタイムデータは、分析を実施するために要求され得ない（例えば、リアルタイムセンサデータは、環境マッピングのために要求されない）ため、方法７００（例えば、信号に基づく、ＡＲ、ＭＲ、またはＸＲ環境の反響音／反射性質または音響環境フィンガプリントの決定）は、オフラインで実施される。分析をオフラインで実施することは、分析がリアルタイムで完了される必要があり得ないため、非因果的ゼロ位相ＦＩＲフィルタリングまたは他のより最適化された技法等の有利な信号処理技法の適用を可能にし得る。いくつかの実施形態では、分析をオフラインで実施することによって、分析は、有利なこととして、受信側デバイス（例えば、サンプルを受信するデバイス）以外のデバイスを用いて実施されてもよい。他のデバイス（例えば、サーバ、クラウド、遠隔コンピューティングリソース）は、本分析を実施するためにより好適であり得る、より効率的または強力なデバイスであってもよい。さらに、分析を異なる時間におよび／または異なるデバイスにおいて実施することは、コンピューティングリソースを受信側デバイスから解放し、受信側デバイスがより効率的に起動することを可能にし得る。

【0319】

いくつかの実施形態では、開示される方法およびシステムは、有利なこととして、受信側デバイスによって検出されたオーディオ信号および他の既知の情報（例えば、他のセンサからの付加的データを伴わずに）のみの分析を使用して、未知の空間の反響音性質の決定を可能にする。

【0320】

方法７００は、説明されるステップを含むように図示されるが、異なる順序のステップ、付加的ステップ、またはより少ないステップが、本開示の範囲から逸脱することなく、含まれてもよいことを理解されたい。例えば、方法７００のステップは、他の開示される方法のステップを用いて実施されてもよい（例えば、方法６００、方法６５０、環境８００に関して説明される方法）。

【0321】

いくつかの実施形態では、方法７００の算出、決定、計算、または導出ステップは、ウェアラブル頭部デバイスまたはＡＲ、ＭＲ、またはＸＲシステムのプロセッサ（例えば、ＭＲシステム１１２のプロセッサ、ウェアラブル頭部デバイス２００Ａのプロセッサ、ウェアラブル頭部デバイス２００Ｂのプロセッサ、ハンドヘルドコントローラ３００のプロセッサ、補助ユニット４００のプロセッサ、プロセッサ５１６、ＤＳＰ５２２）を使用して、および／または（例えば、クラウド内の）サーバを使用して、実施される。

【0322】

いくつかの実施形態では、概して、方法７００は、減弱時間を決定するステップと、環境マッピングのための反響利得（例えば、環境反響／反射、音響環境フィンガプリント）を算出するステップとを含む。例えば、減弱時間は、分析されている信号（例えば、（例えば、方法６００または６５０から）環境マッピング分析のために好適であると見なされる、サンプルのブロックまたは収集されたサンプル）の「ｔ６０」時間または６０ｄＢ減弱するためにかかる時間を測定することによって、決定されてもよい。ｔ６０時間は、測定されたピークと既知または測定されたノイズフロアとの間の信号を表す平滑化されたエンベロープを適合させることによって、測定されてもよい。

【0323】

開示される方法を使用して、減弱時間を決定することによって、エネルギー「リンギング」が、平滑化時定数に基づく係数を伴う短次数フィルタを信号に適用することによる連続エネルギーエンベロープの使用と比較して、低減される。対照的に、いくつかの実施形態では、開示される分析方法は、ＲＭＳエンベロープ平滑化方法を使用する。例えば、平滑化は、（例えば、サンプルの周囲の規定された時定数によって定義された持続時間内の）信号の二乗値の算術平均の平方根を求めることによって遂行される。ＲＭＳエンベロープ平滑化方法を使用して、発生されたエンベロープは、直接分析のためにより均一である。結果として、減弱および利得測定正確度が、改良される。いくつかの実施形態では、ＲＭＳエンベロープ平滑化を使用することは、より効率的分析をもたらす。

【0324】

さらに、いくつかの実施形態では、開示されるエンベロープ平滑化方法は、より大きい周波数帯域の平滑化と比較して、（例えば、開示されるフィルタリングステップを使用して分離される）着目周波数帯域に適用されてもよい。結果として、エイリアシング効果に起因して、振幅変調は、低減され得る。

【0325】

いくつかの実施形態では、開示される環境マッピング分析は、線形適合をＲＭＳ平滑化エネルギーエンベロープ上で実施するステップを含む。適合させるためのエンベロープの正しい範囲は、マッピングの正確度に影響を及ぼし得る。例えば、エネルギーエンベロープは、理想的には、初期反射が到着した後、インパルス音に追従し得る（例えば、エンベロープの開始は、指数関数的エネルギー減弱の無減弱領域である）。したがって、いくつかの実施形態では、減弱領域の一部である可能性がより高い、信号の領域が、減弱を測定するために適合される。いくつかの実施形態では、減弱領域およびピークが、適合される。処理を低減させるために、適合されたピークが、サンプルの付加的コピーまたは処理を伴わずに、反響利得算出のために使用され得る。

【0326】

反響利得は、（例えば、対数空間内で）減弱線形適合を識別されたピークまたはインパルス時間に外挿し、外挿された点とピークレベルとの間の相対的レベルを比較することによって算出され得る。いくつかの実施形態では、（例えば、方法６００または６５０に関して説明される）併置および／または全方向性制約を課すことは、有利なこととして、制約を満たすことが、計算における項を低減させ（例えば、反響利得計算における距離減衰、配向減衰、および／または放射パターンに対応する、項が、簡略化または無視され得る）、大きさ空間におけるより簡潔な算出を可能にするため、本算出がより効率的となることを可能にする。例えば、制約が、満たされる場合、反響利得（ｄＢ単位）＝ピーク利得（ｄＢ単位）－ピーク時減弱線適合利得（ｄＢ単位）となる。

【0327】

いくつかの実施形態では、方法７００は、信号を受信するステップ（ステップ７０２）を含む。例えば、分析デバイス（例えば、ウェアラブル頭部デバイス２００Ａ、ウェアラブル頭部デバイス２００Ｂ、ハンドヘルドコントローラ３００、ウェアラブルシステム５０１Ａ、ウェアラブルシステム５０１Ｂ、サーバ）は、（例えば、方法６００または６５０から）環境マッピング分析のために好適であると見なされる、サンプルのブロックまたは収集されたサンプルを受信する。

【0328】

いくつかの実施形態では、方法７００は、信号をフィルタリングするステップ（ステップ７０４）を含む。いくつかの実施形態では、信号をフィルタリングするステップは、信号を周波数サブ帯域（例えば、低、中、高周波数サブ帯域）にフィルタリングするステップを含む。例えば、ＦＩＲ非因果的ゼロ位相フィルタバンクが、信号に適用され、信号をサブ帯域に分離する。いくつかの実施形態では、ＦＩＲ非因果的直交ミラーフィルタ（ＱＭＦ）が、再サンプリングフィルタバンク構成において使用され、サブ帯域間のタイミングの保存を最大限にする。いくつかの実施形態では、次数、通過帯域リップル、および停止帯域阻止等のフィルタのパラメータが、ユーザ定義される、システム定義される、または動的に決定される。

【0329】

いくつかの実施形態では、サブ帯域はそれぞれ、ＱＭＦの高域通過部分の出力から取得される。ＱＭＦの低域通過部分の出力は、係数（例えば、２）によってダウンサンプリングされ、再び、ＱＭＦに入力され、前の帯域を１オクターブ下回る帯域を生産し得る。本プロセスは、所望の数のオクターブ帯域に到達する、または最小限の数のサンプルが分析を実施するために残るまで、繰り返され得る。いくつかの実施形態では、各サブ帯域は、好適な対応するダウンサンプリングレートを有する。

【0330】

いくつかの実施形態では、サブ帯域の数は、予期される減弱時間制御点の数を上回る。本サブ帯域の数は、有利なこととして、（例えば、より大きい分析のために好適な）分析のロバスト性を増加させ、環境のオーディオ応答の理解を改良し（例えば、分解能を増加させ）、導出されるオーディオ応答および／または他の信号処理または伝搬成分のさらなる精緻化を可能にする。いくつかの実施形態では、減弱時間制御点は、周波数帯域結果のいくつかまたは全てを平均、線形適合、または曲線形適合することによって決定される。いくつかの実施形態では、ゼロ未満のもの等の外れ値または極限値は、除かれる。いくつかの実施形態では、サブ帯域の数は、可聴スペクトルを十分に満たす。いくつかの実施形態では、各サブ帯域の分析に先立って、各サブ帯域のエネルギーは、各サブ帯域が十分なエネルギーを備えることを確実にするように決定される。

【0331】

いくつかの実施形態では、各サブ帯域は、個々に分析される。本明細書でさらに詳細に説明されるように、環境マッピング情報が、サブ帯域毎に分析された後、全てのサブ帯域に関する結果は、ともに組み合わせられ、測定に関するマッピング情報をコンパイルし得る（かつ測定は、環境８００に関して説明されるように、環境の他の測定と組み合わせられ得る）。議論されるように、開示される方法は、有利なこととして、信号および信号のサブ帯域に適用されるべきＦＩＲ非因果的ゼロ位相フィルタが、個々に、より効率的に、かつより正確に分析されることを可能にする。

【0332】

いくつかの実施形態では、方法７００は、ピークを識別するステップ（ステップ７０６）を含む。例えば、ピークは、サブ帯域内の信号（例えば、非平滑化信号、エンベロープ化された信号）の一次導関数の極小値によって識別される。別の実施例として、ピークは、閾値を下回る信号（例えば、非平滑化信号、エンベロープ化された信号）の一次導関数の部分によって識別される。すなわち、いくつかの実施形態では、方法７００は、信号の一次導関数における極小値または閾値を下回る部分を検索することによって、サブ帯域毎に、エネルギーにおける「急降下」を検索し、潜在的着目領域を識別する。これらの「急降下」を識別することは、これらの「急降下」がピークの周囲（例えば、ピーク後）に生じ得るため、サブ帯域毎に、信号のピークを識別し得る（例えば、降下が急峻であるほど、信号は、よりインパルス的である）。例えば、ピークは、識別された「急降下」前に識別され得る。

【0333】

いくつかの実施形態では、デュアルエンベロープ追跡器が、（例えば、方法６００または６５０から）インパルス制約が満たされるかどうかを決定するために使用される。デュアルエンベロープ追跡器はまた、エネルギーにおける高速降下に対応する信号の部分を検索するために使用されてもよい。簡潔にするために、実施例および利点は、本明細書に説明されない。

【0334】

いくつかの実施形態では、方法７００は、減弱を識別するステップ（ステップ７０８）を含む。例えば、サブ帯域に関して識別されたピークから、ピークは、線形適合と交差され、反響利得および／または減弱時間を決定し得る。いくつかの実施形態では、ステップ７０６および７０８は、異なるサブ帯域に関して実施される。

【0335】

いくつかの実施形態では、ピークとノイズフロアとの間の領域内のサンプルのサブセットは、除かれるように選択される。除かれたサンプルは、初期反射または環境のオーディオ応答と一致しない他の特性を備える可能性がより高くあり得る（例えば、減弱時間測定を汚染する可能性が高い）。例えば、ピークから、初期反射に対応し得る、いくつかのサンプルは、スキップされ、線形適合のために使用されない。いくつかの実施形態では、スキップされるサンプルの数は、自動相関反射分析、測定された反響遅延、または部屋幾何学形状情報を使用して決定される。収集されたサンプルは、スキップされたサンプル後に線形適合されてもよい。

【0336】

いくつかの実施形態では、スキップされたサンプル（例えば、音末尾におけるサンプル）が、分析される。例えば、スキップされたサンプルは、反射利得および／または反射遅延等の音響環境フィンガプリントの他の性質を決定するために分析される。反射に対応する、スキップされたサンプルを分析することは、相互相関および本明細書に説明される他の技法を可能にし得る。

【0337】

図７Ｂは、本開示のいくつかの実施形態による、信号分析の例示的方法を図示する。具体的には、図７Ｂは、ピークを信号７５０から識別するステップと、スキップするためのサンプルを識別するステップと、信号７５０の適切なサンプルを線形適合するステップとの実施例を図示する。いくつかの実施形態では、信号７５０は、本明細書に説明されるように、サブ帯域に対応する、平均平滑化されたＲＭＳ信号であって、信号は、サンプルの集合を備える。

【0338】

本実施例では、ステップ７０６に関して説明されるように、「急降下」７５２が、識別される。「急降下」が、識別されるため、ピーク７５４は、「急降下」前の領域を検索することによって識別され得る。「急降下」前のピークを検索するための領域は、動的に決定される、システム定義される、またはユーザ定義されてもよい。ステップ７０８に関して説明されるように、いくつかのサンプル（例えば、初期反射に対応し得る、サンプル）は、スキップされる。スキップされたサンプルは、信号７５０の領域７５６に対応する。領域７５６は、動的に決定される、システム定義される、またはユーザ定義されてもよい。

【0339】

スキップされたサンプル後、信号７５０の領域７５８内の減弱傾きが、線７６０と適合される（例えば、線形に適合される）。いくつかの実施形態では、領域７５８は、ＳＮＲ閾値（例えば、ノイズフロアを上回る閾値量）において終了する（例えば、適合された線の終了）。いくつかの実施形態では、領域７５８は、所定の時間で終了する（例えば、領域７５８の幅は、所定の時間量、最大数の所定のサンプル、領域７５８がノイズフロアに到達する前の時間量、十分な量のサンプルがノイズフロアに到達する前に算出のために取得されるときである）。いくつかの実施形態では、領域７５８は、信号７５０が上向きに上昇する（例えば、新しい信号を示す、新しいピークを示す）とき、終了する（例えば、適合された線の終了）。適合された線７６０は、環境マッピングのために、信号７５０の反響減弱時間を算出するために使用される。いくつかの実施形態では、適合された線７６０は、適合された線７６０の傾きに基づいて、ｔ６０時間を算出するために使用される。

【0340】

図７Ａに戻ると、いくつかの実施形態では、方法７００は、異なる帯域に関する分析結果を組み合わせるステップ（ステップ７１０）を含む。例えば、反響減弱時間、反響利得、反射利得、および／または反射遅延が、（例えば、上記に説明されるように）サブ帯域毎に算出された後、結果は、信号の場所に対応する、環境のオーディオ応答（例えば、環境反響音／反射、音響環境フィンガプリント）を表す、結果のセットに組み合わせられる。

【0341】

いくつかの実施形態では、結果は、異なるサブ帯域からの結果を通して、線を適合させ、個別のサブ帯域（例えば、低、中、高サブ帯域）の中心周波数に対応する、点をサンプリングすることによって、組み合わせられる。いくつかの実施形態では、サンプリング点を通して、線を適合させるために、サブ帯域毎の減弱は、略線形である。いくつかの実施形態では、正確度を改良するために、非線形線が、異なるサブ帯域からの結果間で適合させるために使用される。

【0342】

いくつかの実施形態では、異なるサブ帯域からの結果は、異なる要因に基づいて、加重される。例えば、異なるサブ帯域からの結果は、対応するサブ帯域内に存在する全体的エネルギーに基づいて、加重されてもよい。別の実施例として、異なるサブ帯域からの結果は、対応するサブ帯域のＳＮＲ（例えば、最大ＳＮＲ）に基づいてもよい。いくつかの実施形態では、加重に基づいて、サブ帯域からの結果は、組み合わせられた分析結果内に含まれなくてもよい。

【0343】

いくつかの実施形態では、信号は、（例えば、方法７００の代わりに）信号を逆畳み込みすることによって、環境マッピングのために分析される。例えば、信号は、全方向性信号であって、全方向性信号は、（例えば、全方向性信号から隔離されたインパルス源からの）直接経路信号で逆畳み込みされる。直接経路信号は、ビーム形成、自動相関、またはケプストラム分析を実施することによって、隔離されてもよい。

【0344】

逆畳み込み後、残りの信号は、環境のオーディオ応答に対応し得る。残りの信号から、環境マッピング情報（例えば、環境反響／反射、音響環境フィンガプリント）が、（例えば、既知の分析方法を使用して）決定されてもよい。いくつかの実施形態では、より高い帯域幅空間反響音システムが、決定された環境マッピング情報を使用して、反響を環境内の信号に適用してもよい。例えば、畳み込みベースの反響を使用して、聴取者からの距離を補間することによって、環境オーディオ応答位置および／または配向が、検出され、（例えば、畳み込みのために）持続的に更新するオーディオ応答を発生させる。

【0345】

いくつかの実施形態では、検出されたデバイス（例えば、環境の既知の場所における受信側デバイス以外の検出されたデバイス（例えば、放射、スペクトル出力、配向、位置、場所、および距離等のデバイスと関連付けられる、情報が、無線ネットワークを経由して、取得されてもよい））を使用して、既知の信号（例えば、インパルス信号）が、再生される。いくつかの実施形態では、検出されたデバイス（例えば、スピーカ）は、環境を駆動するために十分なエネルギーを生産するように構成される。分析のための信号は、既知の信号で逆畳み込みされ、環境のオーディオ応答が、導出される。いくつかの実施形態では、デバイスと関連付けられる情報に基づいて、既知の信号は、より正確な導出されたオーディオ応答のために、よりインパルス状の信号を発生させるように補償され得る。いくつかの実施形態では、分析されるべき信号は、検出されたデバイスによって、提供される（例えば、無線接続を介して）。

【0346】

図８は、本開示のいくつかの実施形態による、例示的環境８００を図示する。例えば、環境８００は、図１Ａ－１Ｃに関して説明されるように、ＭＲＥ１５０である。ユーザ８１０は、ユーザ１１０に対応し得、ＭＲシステム８１２は、ＭＲシステム１１２または本明細書に開示されるＡＲ、ＭＲ、またはＸＲシステムに対応し得、仮想キャラクタ８３２は、仮想キャラクタ１３２に対応し得る。図示されるように、仮想イヌ８３４が、環境８００の一部であってもよい。環境８００の幾何学形状は、限定であることを意味することを理解されたい。開示される方法およびシステムは、他の幾何学形状を有する環境をマッピングするように構成されてもよい。

【0347】

開示される方法およびシステムは、聴取者を混乱させ得る、「ドライ」オーディオ信号を提供することとは対照的に、仮想音源に対して現実的オーディオ応答を提供することによって、ユーザ８１０に、没入型のＡＲ、ＭＲ、またはＸＲ体験を提供し得る。例えば、仮想キャラクタ８３２が、音響ギターを演奏すると、音響ギターの音が、開示される方法およびシステムを使用して、環境８００のマッピング（例えば、環境反響／反射、音響環境フィンガプリント）に従って、ユーザ８１０に提示される。別の実施例として、仮想イヌ８３４が、吠えると、吠音が、環境８００のマッピングに従って、ユーザに提示される。開示される方法およびシステムは、加えて、仮想音源に対する現実的オーディオ応答をより効率的に提供し得る。

【0348】

いくつかの実施形態では、環境８００に関して説明される算出、決定、計算、または導出ステップは、ウェアラブル頭部デバイスまたはＡＲ、ＭＲ、またはＸＲシステムのプロセッサ（例えば、ＭＲシステム１１２のプロセッサ、ウェアラブル頭部デバイス２００Ａのプロセッサ、ウェアラブル頭部デバイス２００Ｂのプロセッサ、ハンドヘルドコントローラ３００のプロセッサ、補助ユニット４００のプロセッサ、プロセッサ５１６、ＤＳＰ５２２）を使用して、および／または（例えば、クラウド内の）サーバを使用して、実施される。

【0349】

いくつかの実施形態では、環境８００は、（例えば、反響減弱時間、反射遅延、および反響／反射利得測定を取得するための方法７００を使用した）信号の分析に基づいて、環境全体を通したオーディオ性質の関連付けられる３次元マップを有する。いくつかの実施形態では、開示される方法およびシステムは、異なる使用および環境条件のために、複数の測定を効率的に管理する。いくつかの実施形態では、開示される方法およびシステムは、個々の測定（例えば、反響減弱時間、反射遅延、反響／反射利得）の関連付けおよび統合および異なるデバイス間での環境の測定の共有を可能にする。

【0350】

いくつかの実施形態では、複数の分析された信号（例えば、環境マッピング情報を決定するために方法７００を使用して分析された信号）は、組み合わせられ、環境８００の組み合わせられた環境マッピングを形成する。例えば、環境の第１および第２の信号が、分析され、対応する反響音性質（例えば、反響減弱時間、反射遅延、反響／反射利得）を決定してもよい。反響音性質は、ともに組み合わせられ、組み合わせられた環境マッピングを形成し得、これは、環境のより正確なオーディオ応答を表し得る。

【0351】

いくつかの実施形態では、第１の信号は、第１のデバイス（例えば、第１の分析デバイス、サーバ）上で分析され、第２の信号は、第２のデバイス（例えば、第２の分析デバイス、サーバ）上で分析される。いくつかの実施形態では、第１の信号は、第１の時間において分析され、第２の信号は、第２の時間において分析される。例えば、第２の信号は、第１の信号より後の時間において分析されてもよい。第２の信号の分析は、（例えば、サーバ内に記憶される）環境８００のオーディオ応答を更新し、（例えば、環境内の将来的ユーザのためのより没入型および現実的ＡＲ、ＭＲ、またはＸＲオーディオ環境のために）オーディオ応答の正確度を改良する。

【0352】

いくつかの実施形態では、それに基づいて測定が要請され得る、条件が、前の測定および／または他の要因の空間および時間的近接度に基づいて、決定される。いくつかの実施形態では、環境をマッピングするための反響減弱時間、反射遅延、および反響／反射利得測定のアクセス、キュレーション、および関連付けを促進するための付加的データも、検討される。

【0353】

いくつかの実施形態では、環境８００の異なる場所は、異なるオーディオ応答性質と関連付けられる。例えば、ＡＲ、ＭＲ、またはＸＲ環境のオーディオマッピングの部分は、ボクセル８０２（例えば、均一サイズボクセル、非均一サイズボクセル）に関連付けられる。ボクセルのサイズは、環境のマップの分解能（例えば、環境内の場所の関数としての反響音性質）であり得る。各部分は、個別のボクセルの場所と関連付けられる、環境性質のセット（例えば、オーディオ応答、反響音／反射、音響環境フィンガプリント）を備えてもよい。これらの性質は、各ボクセル内の固定点（例えば、ボクセルの中心点）に対応し得、性質の同一セットは、本固定点を中心とするボクセルの体積に対応し得る。各ボクセルと関連付けられる、性質のセットは、方法６００、６５０、および／または７００を使用して処理および分析された信号に基づいて、決定されてもよい。

【0354】

例えば、ボクセル８０２Ａ（図示せず）は、ＭＲシステム８１２の場所に対応し、ＭＲシステム８１２を介してユーザ８１０に提示される、仮想オーディオは、ボクセル８０２Ａと関連付けられる、性質に基づく。ボクセル８０２Ａと関連付けられる、性質は、仮想キャラクタ８３２が演奏している音響ギターがユーザ８１０に提示される方法（例えば、反響が音響ギター音に適用される方法）を決定し得る。ボクセル８０２Ａと関連付けられる、性質はまた、仮想イヌ８３４が吠えている音がユーザ８１０に提示される方法（例えば、反響が吠音に適用される方法）を決定し得る。

【0355】

加えて、測定または性質をボクセルに関連付けることは、よりスケーラブルな環境マッピングを可能にする。例えば、ボクセルは、環境マップの基本的構築ブロックであってもよい。複数のボクセルは、異なる音響応答と関連付けられる、異なる幾何学的ゾーンを形成してもよく、ボクセルによる関連付けは、異なるゾーンがシームレスに相互接続される（例えば、多室シミュレーションをサポートする）ことを可能にする。空間オーディオシステム（例えば、ウェアラブル頭部デバイス２００Ａ、ウェアラブル頭部デバイス２００Ｂ、ハンドヘルドコントローラ３００、ウェアラブルシステム５０１Ａ、ウェアラブルシステム５０１Ｂ）は、（例えば、本明細書に説明される方法およびシステムを使用して関連付けられ、発生される）環境マッピング情報を受信し、システムの位置および対応する幾何学的ゾーンにおける現在のボクセルに従って、応答し得る。

【0356】

いくつかの実施形態では、ボクセルと関連付けられる、性質のセットが、算出される。例えば、特定のボクセルに関して、反響性質のセットが、オーディオ応答測定（例えば、方法７００から取得される、反響減弱時間、反射遅延、および／または反響／反射利得）に基づいて算出される。反響性質のセットは、加重を応答測定に適用し、測定とボクセルとの間の差異（例えば、測定とボクセルとの間の場所差異、測定と現在の時間との間の時間差異）を調節することによって取得されてもよい。

【0357】

いくつかの実施形態では、性質のセットは、反響性質に加え、メタデータを含む。例えば、メタデータは、第１の測定、タイムスタンプ、位置、および信頼度を含む。いくつかの実施形態では、第１の測定メタデータは、対応するボクセルの性質が設定されていないことを示す。

【0358】

いくつかの実施形態では、タイムスタンプメタデータは、オーディオ応答性質の経過時間を示す。いくつかの実施形態では、より古いタイムスタンプを伴う測定は、より少なく加重され、より新しいタイムスタンプを伴う測定は、より多く加重される（例えば、より新しい測定は、環境の音響応答のより正確な表現であり得る）。いくつかの実施形態では、測定が、閾値経過時間より古い場合、性質は、除去される（例えば、環境の組み合わせられた応答を決定する際にもはや考慮されない）。

【0359】

いくつかの実施形態では、位置メタデータは、受信側デバイス（例えば、方法６００、６５０、または７００に関して説明されるように、環境の減弱時間、反射遅延時間、および／または反響／反射利得を決定するための信号を受信するデバイス）から導出される。例えば、信号が、受信される際、（例えば、受信側デバイスのセンサを使用して決定された）受信側デバイスの位置情報を含む、メタデータが、受信された信号と関連付けられる。位置情報は、受信された信号の座標を含んでもよい。

【0360】

いくつかの実施形態では、位置メタデータは、性質へのその寄与において測定に適用される、加重の量を決定する。例えば、ボクセルが、（例えば、位置メタデータによって示されるように）測定の場所により近位である場合、測定に関する対応する距離加重は、より高くなるであろう（例えば、ボクセルと測定の位置との間の距離に比例する）。別の実施例として、ボクセルが、（例えば、位置メタデータによって示されるように）測定の場所からより離れている場合、測定に関する対応する距離加重は、より低くなるであろう（例えば、ボクセルと測定の位置との間の距離に比例する）。いくつかの実施形態では、ボクセルが、最大距離を超える場合、測定は、対応する距離加重を有しないであろう（例えば、測定は、ボクセルから著しく離れて行われ、ボクセルにおける音響応答に影響を及ぼさなかった）。いくつかの実施形態では、ボクセルが、最短距離内にある場合、測定は、完全距離加重を有するであろう。

【0361】

実施例として、測定は、環境８００の場所８０４において行われ（例えば、本測定を導出するために受信された信号は、場所８０４において受信され）、ボクセル８０２Ａと関連付けられる、性質は、測定の加重されたバージョンに依存する（加重の決定は、本明細書にさらに詳細に説明される）。場所８０４が、ボクセル８０２Ａから最小距離内にある場合、測定は、ボクセル８０２Ａと関連付けられる性質（例えば、オーディオ応答、反響音／反射応答、音響環境フィンガプリント）を決定するための完全加重を与えられる。場所８０４が、ボクセル８０２Ａから最短距離と最大距離との間にある場合、測定は、ボクセル８０２Ａと関連付けられる性質（例えば、オーディオ応答、反響音／反射応答、音響環境フィンガプリント）を決定するための比例加重を与えられる。場所８０４が、ボクセル８０２Ａから最大距離を超える場合、測定は、ボクセル８０２Ａと関連付けられる性質（例えば、オーディオ応答、反響音／反射応答、音響環境フィンガプリント）を決定するための加重を与えられない。

【0362】

別の実施例として、反響音性質は、距離加重に影響を及ぼし得る。例えば、より長い減弱時間は、最小および最大距離（例えば、上記に説明される最小および最大距離に対応する）を増加させ得る。例えば、ボクセルが、測定の最大距離内にある場合、測定は、加重によってスケーリングされるように、ボクセルと関連付けられる性質に影響を及ぼす。ボクセルが、測定の最小距離内にある場合、ボクセルと関連付けられる性質に及ぼされる測定の影響は、完全加重によってスケーリングされる。

【0363】

いくつかの実施例では、反響性質のデフォルトセットから逸脱する、測定（例えば、より長い減弱時間）は、逸脱する測定が、環境についての新しい情報を提供し得、非デフォルト挙動の必要性を示し得るため、環境マッピングにとって貴重であり得る。非デフォルト挙動に関する必要性に対処することは、環境のオーディオ応答の知覚性を改良し得る。

【0364】

いくつかの実施形態では、最小（例えば、完全加重に対応する）および最大（例えば、無加重に対応する）距離は、ボクセルの状態に依存する。例えば、ボクセルが、対応する第１の測定メタデータを有する（例えば、ボクセル内で実施される測定が存在しない）場合、最小および最大距離は、増加され、初期測定を取得する確率を増加させ得る。ボクセルが、対応する初期測定を取得した後、最小および最大距離は、デフォルト値に戻るように低減され得る。

【0365】

いくつかの実施形態では、信頼度メタデータは、測定の真実性を反映させる。いくつかの実施形態では、信頼度メタデータの値は、測定の検査によって決定される。例えば、減弱時間は、予期される減弱時間と比較されてもよい。すなわち、減弱時間と予期される値との間の差異が、近接する場合、信頼度メタデータの値は、高くなるであろう。別の実施例として、測定が、（物理的に予期され得る）より高い周波数においてより短い減弱時間を備える場合、信頼度メタデータの値は、高くなるであろう。

【0366】

いくつかの実施形態では、信頼度メタデータは、同時検出の分析間の一致によって決定される。例えば、受信された信号が、複数のマイクロホンによって検出され、算出された減弱時間、反射遅延、および／または反響／反射利得が、マイクロホンからの検出を使用して、類似する場合、信頼度メタデータの値は、高くなるであろう。

【0367】

いくつかの実施形態では、測定（例えば、減弱時間、反射遅延、反響／反射利得）は、ボクセルに関連付けられてもよい。例えば、ボクセルは、加重によって適宜スケーリングされる、ボクセルの最大距離内の測定に基づいて決定される、性質のセットと関連付けられる。測定をボクセルに関連付けることは、有利なこととして、環境内の測定の密度を計測し、付加的測定が必要とされ得る環境内の場所を決定し、オーディオ応答が環境全体を通して正確であることを確実にするための方法を提供し得る。例えば、環境の場所に対応する、ボクセルが、閾値未満の測定数（例えば、５、すなわち、経過時間閾値を下回る測定）を含む場合、新しい測定プロセスが、開始され得る（例えば、方法６００、６５０、または７００に関して説明されるように）（例えば、デバイスが、環境の場所またはその近位にあるとき、ユーザは、ボクセルにおける新しい測定を実施するようにプロンプトされる）。

【0368】

いくつかの実施形態では、ボクセルと関連付けられる、信頼度は、ボクセルに関する新しい測定が必要とされるかどうかを決定する。例えば、ボクセル内の測定の信頼度の和が、閾値未満である場合、新しい測定が、開始され得る（例えば、方法６００、６５０、または７００に関して説明されるように）（例えば、デバイスが、環境の場所またはその近位にあるとき、ユーザは、ボクセルにおける新しい測定を実施するようにプロンプトされる）。

【0369】

いくつかの実施形態では、新しい測定が、開始された後、測定デバイスは、もはや同一ボクセル内に存在しない場合がある（例えば、ユーザが、測定の間、ボクセルから離れるように移動した）。これらのシナリオでは、測定は、保存され、適宜スケーリングされるであろう（例えば、第１のボクセルと新しいボクセルとの間の差異に基づいて）。

【0370】

いくつかの実施形態では、その性質を算出するためにボクセルあたり要求される測定の数（例えば、閾値信頼度を有し、および／または閾値経過時間を下回る、測定の数）は、ボクセルのサイズに依存する。例えば、より大きいボクセルは、より小さいボクセルより多くの測定を要求し得る。いくつかの実施形態では、十分な量の測定が、環境を横断して取得されると、ボクセルを横断した測定の密度は、一定となる。いくつかの実施形態では、環境内の各ボクセルは、その性質を算出するための少なくとも最小数の測定と関連付けられる。十分な量の測定が環境を横断して取得されていることの決定に従って、環境に進入するデバイスは、測定を取得しないようにする。

【0371】

いくつかの実施形態では、測定が取得された後、測定場所から最大距離内の任意のボクセルと関連付けられる、性質（例えば、反響音性質）は、（例えば、本新しい測定を考慮するために）再算出される。各影響されるボクセルは、本明細書に説明されるように、適切な加重を使用して（例えば、時間的、空間近接度、信頼度値に応じて）、再算出される。

【0372】

実施例として、新しい測定は、環境８００の場所８０６において行われる（例えば、本測定を導出するために受信された信号が、場所８０６において受信された）。場所８０６が、ボクセル８０２Ａから最大距離内にある場合、新しい測定は、本明細書に説明される加重に従って、ボクセル８０２Ａと関連付けられる性質を更新するであろう。

【0373】

いくつかの実施形態では、代替として、測定（例えば、反響減弱時間、反射遅延、反響／反射利得）は、ボクセルに関連付けられない。新しい測定は、（例えば、デバイス場所における）測定密度の決定に従って開始されてもよい。例えば、測定密度が閾値を下回ることの決定に従って、次いで、新しい測定プロセスが、本明細書に説明されるように、開始される。

【0374】

いくつかの実施形態では、新しい測定を開始するための決定は、任意の時点で（例えば、システムコマンドに応答して、ユーザコマンドに応答して）、行われる。いくつかの実施形態では、決定は、デバイスが環境内でナビゲートするにつれて、周期的に（例えば、フレーム毎、１メートルあたり２回の測定、２メートル毎に１０回の測定）、行われる。いくつかの実施形態では、決定は、デバイスが最も近い測定からまたは最も近い測定の平均から閾値距離を超えると、行われる。いくつかの実施形態では、決定は、デバイスの近位の経過時間測定または測定の平均経過時間が閾値経過時間を上回ると、行われる。いくつかの実施形態では、決定は、デバイスの近位の測定の信頼度または測定の組み合わせられた信頼度が閾値未満であると、行われる。いくつかの実施形態では、ある測定要請は、ある時間に保留中である。すなわち、第１の新しい測定が、必要とされると決定される場合、第２の新しい測定の必要性は、第１の新しい測定が完了されるまで、決定されなくてもよい。

【0375】

いくつかの実施形態では、測定（例えば、決定された減弱時間、反響利得、反射利得、反射時間）は、保存される。いくつかの実施形態では、ボクセルは、デバイスが新しい空間に進入すると、作成される。例えば、デバイスが、ボクセルを伴わない空間に進入すると、新しい設定されていないボクセル（例えば、最初は、任意の関連付けられる性質を伴わないボクセル）が、作成される。測定を保存することによって、新しいボクセルの最大距離内の任意の保存された測定は、新しいボクセルと関連付けられる性質を伴う、新しいボクセルを提供するために使用されてもよい（例えば、本明細書に説明されるように加重に基づいて）。最大距離内の保存された測定を伴う新しいボクセルを提供することによって、新しい測定は、ボクセルの作成後、要求されず、有利なこととして、処理電力を低減させ、効率を改良し得る。

【0376】

いくつかの実施形態では、ボクセルは、状態含有フィルタとして取り扱われ、ボクセルと関連付けられる、反響性質は、集合的に、サンプルとして、測定は、フィルタにフィードする、加重されたサンプルとして取り扱われる。ボクセルの他の実施例に関して説明されるように、フィルタは、ボクセルが測定の最大距離内にある場合、更新される。新しい測定が取得された後、フィルタの係数が、本明細書に説明されるように、距離および信頼度の関数としての加重に基づいて、更新される。これらの実施形態は、新しい測定が取得される度に、（例えば、時間に起因して、加重を決定するための）より初期の測定の検索を要求しなくてもよい。

【0377】

これらの実施形態では、測定自体は、有利なこととして、保存される必要はなく、むしろ、単に、各ボクセルと関連付けられる、状態（または最後のｎ個の変化）が、更新される。ボクセル状態はまた、固定されたサイズであって、したがって、本アプローチは、測定を含有する、可変サイズのコンテナを伴わない。さらに、新しい測定を保存してもよい。

【0378】

例えば、各ボクセルは、（例えば、複数の性質を横断した）多次元１極／移動平均フィルタと見なされ得る。これは、有利なこととして、性質のボクセルの関連付けられるセット以外の、付加的状態を記憶する必要性をプリエンプトし得る。いくつかの実施形態では、ボクセルと関連付けられる、性質は、「最後の更新された」メタデータを含む。すなわち、最後の更新されたメタデータ（例えば、前の測定のタイムスタンプ）は、前の測定までの時間的距離をもたらす。最後の更新されたメタデータは、本明細書に説明されるように、ボクセルに関する測定履歴のリプレイをサポートするために使用されてもよい。測定が、取得されると、フィルタの係数（例えば、古い性質対新しい測定性質の加重）が、物理的距離（例えば、本明細書に説明される距離加重に基づいてスケーリングされる、測定位置からボクセル位置までの距離）、時間的距離（例えば、前の測定がボクセルを更新させた以降の時間、ほぼ等しい加重を受信する時間的に近い測定、前の測定がより高い加重を受信した後の後に生じた測定（例えば、前の測定に取って代わるであろう、１年後に取得された新しい測定）、完全加重を受信した第１の測定）、および／または信頼度（例えば、より高い信頼度測定（例えば、ボクセルの信頼度値に対する絶対値）は、より高い加重を受信する）に基づいて決定されてもよい。

【0379】

ＡＲ、ＭＲ、またはＸＲ源の応答と環境のオーディオ応答（例えば、環境反響／反射、音響環境フィンガプリント）を知覚的にマッチングさせることによって、開示される方法およびシステムは、仮想および実要素が、ユーザのためのより没入型のＡＲ、ＭＲ、またはＸＲ体験を作成するために区別不能に混成することを可能にする。環境のオーディオ応答をマッピングすることによって、仮想および実オーディオ源は、同一物理的空間内で類似反響音性質を呈し、知覚不協和音を低減させ、ＡＲ、ＭＲ、またはＸＲ環境のユーザのための聴覚的没入を増加させるであろう。

【0380】

例えば、開示される方法およびシステムを使用して、環境マッピングを発生させることによって、環境内のユーザの音声および仮想キャラクタは、類似反響音性質を呈するであろう。すなわち、ユーザの音声および仮想キャラクタからの音のオーディオ応答（例えば、反響音）は、マッチングし、仮想キャラクタは、聴取者と同一空間内に存在するように現れるであろう。

【0381】

いくつかの実施形態では、ウェアラブル頭部デバイス（例えば、本明細書に説明されるウェアラブル頭部デバイス、本明細書に説明されるＡＲ、ＭＲ、またはＸＲシステム）は、プロセッサと、メモリと、メモリ内に記憶され、プロセッサによって実行されるように構成され、図６－８に関して説明される方法を実施するための命令を含む、プログラムとを含む。

【0382】

いくつかの実施形態では、非一過性コンピュータ可読記憶媒体は、１つまたはそれを上回るプログラムを記憶し、１つまたはそれを上回るプログラムは、命令を含む。命令が、１つまたはそれを上回るプロセッサと、メモリとを伴う、電子デバイス（例えば、本明細書に説明される電子デバイスまたはシステム）によって実行されると、命令は、電子デバイスに、図６－８に関して説明される方法を実施させる。

【0383】

本開示の実施例は、ウェアラブル頭部デバイスまたはＡＲ、ＭＲ、またはＸＲシステムに関して説明されるが、開示される環境マッピング方法はまた、他のデバイスまたはシステムを使用して実施されてもよいことを理解されたい。例えば、開示される方法は、モバイルデバイスを使用して実施され、環境（例えば、ＡＲ、ＭＲ、またはＸＲ環境）のオーディオ応答を決定およびマッピングしてもよい。

【0384】

本開示の実施例は、反響音に関して説明されるが、開示される環境マッピング方法はまた、概して、ＡＲ、ＭＲ、またはＸＲ環境の他のオーディオパラメータのために実施されてもよいことを理解されたい。例えば、開示される方法は、ＡＲ、ＭＲ、またはＸＲ環境のエコー応答を決定するために実施されてもよい。

【0385】

本明細書に説明されるシステムおよび方法に関して、本システムおよび方法の要素は、必要に応じて、１つまたはそれを上回るコンピュータプロセッサ（例えば、ＣＰＵまたはＤＳＰ）によって実装されることができる。本開示は、これらの要素を実装するために使用される、コンピュータプロセッサを含む、任意の特定の構成のコンピュータハードウェアに限定されない。ある場合には、複数のコンピュータシステムが、本明細書に説明されるシステムおよび方法を実装するために採用されることができる。例えば、第１のコンピュータプロセッサ（例えば、１つまたはそれを上回るマイクロホンに結合される、ウェアラブルデバイスのプロセッサ）が、入力マイクロホン信号を受信し、それらの信号の初期処理を実施するために利用されることができる。第２の（おそらく、より算出上強力な）プロセッサが、次いで、より算出上集約的である処理を実施するために利用されることができる。クラウドサーバ等の別のコンピュータデバイスが、オーディオ処理エンジンをホストすることができ、それに対して入力信号が、最終的には提供される。他の好適な構成も、明白となり、本開示の範囲内である。

【0386】

いくつかの実施形態によると、方法は、信号を受信するステップと、信号が分析の要件を満たすかどうかを決定するステップとを含む。

【0387】

いくつかの実施形態によると、信号は、オーディオ信号を備え、分析は、環境のオーディオマッピングと関連付けられる。

【0388】

いくつかの実施形態によると、要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つを備える。

【0389】

いくつかの実施形態によると、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、信号レベルが閾値を超えるかどうかを決定するステップを含む。

【0390】

いくつかの実施形態によると、閾値は、ノイズフロアを上回る第２の閾値である。

【0391】

いくつかの実施形態によると、本方法はさらに、ノイズフロアを追跡するステップを含む。

【0392】

いくつかの実施形態によると、本方法はさらに、ノイズフロアを調節するステップを含む。

【0393】

いくつかの実施形態によると、持続時間制約が満たされるかどうかを決定するステップは、信号レベルが少なくとも時間の閾値持続時間に関する閾値を超えるかどうかを決定するステップを含む。

【0394】

いくつかの実施形態によると、併置制約が満たされるかどうかを決定するステップは、信号の源が信号の受信の場所の閾値距離内にあるかどうかを決定するステップを含む。

【0395】

いくつかの実施形態によると、併置制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0396】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号の源が全方向性源を備えるかどうかを決定するステップを含む。

【0397】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号の源に関する放射パターンおよび信号の源に関する配向のうちの１つまたはそれを上回るものを決定するステップを含む。

【0398】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0399】

いくつかの実施形態によると、インパルス制約が満たされるかどうかを決定するステップは、信号が、瞬間、インパルス、または過渡信号を備えるかどうかを決定するステップを含む。

【0400】

いくつかの実施形態によると、インパルス制約が満たされるかどうかを決定するステップは、信号に基づいて、デュアルエンベロープフォロワを適用するステップを含む。

【0401】

いくつかの実施形態によると、本方法はさらに、インパルス制約が満たされないことを決定するステップと、インパルス制約が満たされないことの決定に従って、信号をクリーン入力ストリームに変換するステップと、クリーン入力ストリームと信号を比較するステップとを含む。

【0402】

いくつかの実施形態によると、本方法はさらに、分析要件が満たされることの決定に従って、下記の方法を実施するステップと、分析要件が満たされないことの決定に従って、下記の方法を実施しないようにするステップとを含む。

【0403】

いくつかの実施形態によると、本方法はさらに、信号をＲＭＳエンベロープに平滑化するステップを含む。

【0404】

いくつかの実施形態によると、本方法はさらに、ＲＭＳエンベロープを線形適合するステップを含む。

【0405】

いくつかの実施形態によると、信号は、サンプルのブロックを備える。

【0406】

いくつかの実施形態によると、信号を受信するステップはさらに、マイクロホンを介して、信号を検出するステップを含む。

【0407】

いくつかの実施形態によると、信号を受信するステップはさらに、信号を記憶装置から受信するステップを含む。

【0408】

いくつかの実施形態によると、信号は、ユーザによって発生される。

【0409】

いくつかの実施形態によると、信号は、ユーザによって口頭で発生される。

【0410】

いくつかの実施形態によると、信号は、ユーザによって非口頭で発生される。

【0411】

いくつかの実施形態によると、信号は、信号を受信するデバイスと異なる、デバイスによって発生される。

【0412】

いくつかの実施形態によると、本方法はさらに、信号の発生を要請するステップを含み、信号は、信号を発生させるための要請に応答して発生される。

【0413】

いくつかの実施形態によると、方法は、信号を受信するステップと、信号をフィルタリングするステップであって、信号をフィルタリングするステップは、信号を複数のサブ帯域に分離するステップを含む、ステップと、サブ帯域のサブ帯域に関して、信号のピークを識別するステップと、信号の減弱を識別するステップと、ピーク、減弱、またはピークおよび減弱の両方に基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む。

【0414】

いくつかの実施形態によると、信号は、分析要件を満たす。

【0415】

いくつかの実施形態によると、分析要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つである。

【0416】

いくつかの実施形態によると、本方法はさらに、ＲＭＳエンベロープを使用して、信号を平滑化するステップを含む。

【0417】

いくつかの実施形態によると、信号をフィルタリングするステップは、ＦＩＲ非因果的ゼロ位相フィルタを使用するステップを含む。

【0418】

いくつかの実施形態によると、信号をフィルタリングするステップは、ＦＩＲ非因果的直交ミラーフィルタ（ＱＭＦ）を使用するステップを含む。

【0419】

いくつかの実施形態によると、サブ帯域は、低周波数サブ帯域、中周波数サブ帯域、および高周波数サブ帯域を備える。

【0420】

いくつかの実施形態によると、サブ帯域の数は、減弱時間制御点の数を上回る。

【0421】

いくつかの実施形態によると、信号のピークを識別するステップは、信号の一次導関数の極小値を識別するステップを含む。

【0422】

いくつかの実施形態によると、ピークは、極小値の時間の前に時間的に位置する。

【0423】

いくつかの実施形態によると、信号のピークを識別するステップは、閾値を下回る信号の一次導関数の部分を識別するステップを含む。

【0424】

いくつかの実施形態によると、ピークは、閾値を下回る信号の一次導関数の部分の時間の前に時間的に位置する。

【0425】

いくつかの実施形態によると、減弱を識別するステップは、サブ帯域に対応する信号の減弱している部分を線形適合するステップを含む。

【0426】

いくつかの実施形態によると、サブ帯域に対応する信号は、ピークと減弱部分との間の初期反射部分を備える。

【0427】

いくつかの実施形態によると、初期反射部分は、初期反射に対応する信号の部分を備える。

【0428】

いくつかの実施形態によると、本方法はさらに、初期反射部分から、反射遅延を決定するステップと、反射利得を決定するステップとを含む。

【0429】

いくつかの実施形態によると、減弱している部分の終了は、閾値信号レベルに対応する。

【0430】

いくつかの実施形態によると、本方法はさらに、サブ帯域の第２のサブ帯域に関して、信号の第２のピークを識別するステップと、信号の第２の減弱を識別するステップと、第２のピーク、第２の減弱、または第２のピークおよび第２の減弱の両方に基づいて、第２の減弱時間を決定するステップと、第２の反響利得を決定するステップと、第１および第２の減弱時間を組み合わせるステップと、第１および第２の反響利得を組み合わせるステップとを含む。

【0431】

いくつかの実施形態によると、減弱時間および反響利得は、線形適合することによって組み合わせられる。

【0432】

いくつかの実施形態によると、減弱時間および反響利得は、個別の減弱時間および反響利得に対応する加重に基づいて組み合わせられる。

【0433】

いくつかの実施形態によると、本方法はさらに、本方法を繰り返すステップを含む。

【0434】

いくつかの実施形態によると、方法は、信号を受信するステップと、直接経路信号を発生させるステップと、直接経路信号に基づいて、信号を逆畳み込みするステップと、該逆畳み込みするステップに基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む。

【0435】

いくつかの実施形態によると、方法は、環境のオーディオマッピングの１つまたはそれを上回る部分を環境内に位置する複数のボクセルに関連付けるステップを含む。各部分は、環境内の個別のボクセルの場所と関連付けられる、オーディオ応答性質を備える。

【0436】

いくつかの実施形態によると、本方法はさらに、デバイスの場所を決定するステップであって、複数のボクセルの第１のボクセルは、デバイスの場所を備える、ステップと、デバイスに、第１のボクセルと関連付けられるオーディオ応答性質に基づいて、環境の音を提示するステップとを含む。

【0437】

いくつかの実施形態によると、オーディオ応答性質は、反響利得、減弱時間、反射遅延、および反射利得のうちの少なくとも１つを備える。

【0438】

いくつかの実施形態によると、ボクセルの体積は、均一である。

【0439】

いくつかの実施形態によると、ボクセルの体積は、非均一である。

【0440】

いくつかの実施形態によると、本方法はさらに、第１の信号に基づいて、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップを含み、複数のボクセルの第１のボクセルと関連付けられる、オーディオ応答性質は、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを備える。

【0441】

いくつかの実施形態によると、本方法はさらに、反響利得、減弱時間、反射時間、または反射利得に対応する、加重を決定するステップを含み、第１のボクセルと関連付けられる、オーディオ応答性質は、加重された反響利得、加重された減弱時間、加重された反射時間、および加重された反射利得のうちの少なくとも１つに基づく。

【0442】

いくつかの実施形態によると、加重は、第１のボクセルと第１の信号の場所との間の距離に基づく。

【0443】

いくつかの実施形態によると、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の経過時間に基づく。

【0444】

いくつかの実施形態によると、加重は、第１のボクセルが、第１のオーディオ応答性質の関連付けに先立って、第２のオーディオ応答性質と関連付けられるかどうかの決定に基づく。

【0445】

いくつかの実施形態によると、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の信頼度に基づく。

【0446】

いくつかの実施形態によると、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つを決定するステップを含み、ボクセルと関連付けられる、オーディオ応答性質はさらに、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つに基づく。

【0447】

いくつかの実施形態によると、本方法はさらに、第１の時間において、第１の信号を受信するステップと、第２の時間において、第２の信号を受信するステップとを含む。

【0448】

いくつかの実施形態によると、本方法はさらに、第１のデバイスにおいて、第１の信号を受信するステップと、第２のデバイスにおいて、第２の信号を受信するステップとを含む。

【0449】

いくつかの実施形態によると、本方法はさらに、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回るかどうかを決定するステップと、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回ることの決定に従って、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第１のボクセルと関連付けられるボクセル性質の数が閾値を下回らないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得を決定しないようにするステップとを含む。

【0450】

いくつかの実施形態によると、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にあるかどうかを決定するステップと、第２の信号の場所が第１のボクセルの最大距離内にあることの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つに基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得に基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新しないようにするステップとを含む。

【0451】

いくつかの実施形態によると、複数のボクセルの第２のボクセルは、第２のオーディオ応答性質と関連付けられ、本方法はさらに、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つに対応する、第１の加重および第２の加重を決定するステップを含み、第１のオーディオ応答性質は、第１の加重された反響利得、第１の加重された減弱時間、第１の加重された反射時間、および第１の反射利得のうちの少なくとも１つに基づき、第２のオーディオ応答性質は、少なくとも第２の加重された反響利得、第２の加重された減弱時間、第２の加重された反射時間、および第２の加重された反射利得に基づく。

【0452】

いくつかの実施形態によると、複数のボクセルは、メタデータと関連付けられ、メタデータは、第１の測定、タイムスタンプ、位置、および信頼度のうちの少なくとも１つを備える。

【0453】

いくつかの実施形態によると、システムは、マイクロホンと、マイクロホンを介して、信号を受信するステップと、信号が分析の要件を満たすかどうかを決定するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。

【0454】

いくつかの実施形態によると、信号は、オーディオ信号を備え、分析は、環境のオーディオマッピングと関連付けられる。

【0455】

いくつかの実施形態によると、要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つを備える。

【0456】

いくつかの実施形態によると、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、信号レベルが閾値を超えるかどうかを決定するステップを含む。

【0457】

いくつかの実施形態によると、閾値は、ノイズフロアを上回る第２の閾値である。

【0458】

いくつかの実施形態によると、本方法はさらに、ノイズフロアを追跡するステップを含む。

【0459】

いくつかの実施形態によると、本方法はさらに、ノイズフロアを調節するステップを含む。

【0460】

いくつかの実施形態によると、持続時間制約が満たされるかどうかを決定するステップは、信号レベルが少なくとも時間の閾値持続時間に関する閾値を超えるかどうかを決定するステップを含む。

【0461】

いくつかの実施形態によると、併置制約が満たされるかどうかを決定するステップは、信号の源が信号の受信の場所の閾値距離内にあるかどうかを決定するステップを含む。

【0462】

いくつかの実施形態によると、併置制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤを適用するステップを含む。

【0463】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号の源が全方向性源を備えるかどうかを決定するステップを含む。

【0464】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号の源に関する放射パターンおよび信号の源に関する配向のうちの１つまたはそれを上回るものを決定するステップを含む。

【0465】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0466】

いくつかの実施形態によると、インパルス制約が満たされるかどうかを決定するステップは、信号が、瞬間信号、インパルス信号、および過渡信号のうちの１つまたはそれを上回るものを備えるかどうかを決定するステップを含む。

【0467】

いくつかの実施形態によると、インパルス制約が満たされるかどうかを決定するステップは、信号に基づいて、デュアルエンベロープフォロワを適用するステップを含む。

【0468】

いくつかの実施形態によると、本方法はさらに、インパルス制約が満たされないことを決定するステップと、インパルス制約が満たされないことの決定に従って、信号をクリーン入力ストリームに変換するステップと、クリーン入力ストリームと信号を比較するステップとを含む。

【0469】

いくつかの実施形態によると、本方法はさらに、分析要件が満たされることの決定に従って、上記方法を実施するステップと、分析要件が満たされないことの決定に従って、上記方法を実施しないようにするステップとを含む。

【0470】

いくつかの実施形態によると、本方法はさらに、信号をＲＭＳエンベロープに平滑化するステップを含む。

【0471】

いくつかの実施形態によると、本方法はさらに、ＲＭＳエンベロープを線形適合するステップを含む。

【0472】

いくつかの実施形態によると、信号は、サンプルのブロックを備える。

【0473】

いくつかの実施形態によると、信号を受信するステップはさらに、マイクロホンを介して、信号を検出するステップを含む。

【0474】

いくつかの実施形態によると、信号を受信するステップはさらに、信号を記憶装置から受信するステップを含む。

【0475】

いくつかの実施形態によると、信号は、ユーザによって発生される。

【0476】

いくつかの実施形態によると、信号は、ユーザによって口頭で発生される。

【0477】

いくつかの実施形態によると、信号は、ユーザによって非口頭で発生される。

【0478】

いくつかの実施形態によると、信号は、信号を受信するデバイスと異なる、デバイスによって発生される。

【0479】

いくつかの実施形態によると、本方法はさらに、信号の発生を要請するステップを含み、信号は、信号を発生させるための要請に応答して発生される。

【0480】

いくつかの実施形態によると、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、マイクロホンを備える。

【0481】

いくつかの実施形態によると、システムは、信号を受信するステップと、信号をフィルタリングするステップであって、信号をフィルタリングするステップは、信号を複数のサブ帯域に分離するステップを含む、ステップと、サブ帯域のサブ帯域に関して、信号のピークを識別するステップと、信号の減弱を識別するステップと、ピーク、減弱、またはピークおよび減弱の両方に基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサを備える。

【0482】

いくつかの実施形態によると、信号は、分析要件を満たす。

【0483】

いくつかの実施形態によると、分析要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つである。

【0484】

いくつかの実施形態によると、本方法はさらに、ＲＭＳエンベロープを使用して、信号を平滑化するステップを含む。

【0485】

いくつかの実施形態によると、信号をフィルタリングするステップは、ＦＩＲ非因果的ゼロ位相フィルタを使用するステップを含む。

【0486】

いくつかの実施形態によると、信号をフィルタリングするステップは、ＦＩＲ非因果的直交ミラーフィルタ（ＱＭＦ）を使用するステップを含む。

【0487】

いくつかの実施形態によると、サブ帯域は、低周波数サブ帯域、中周波数サブ帯域、および高周波数サブ帯域を備える。

【0488】

いくつかの実施形態によると、サブ帯域の数は、減弱時間制御点の数を上回る。

【0489】

いくつかの実施形態によると、信号のピークを識別するステップは、信号の一次導関数の極小値を識別するステップを含む。

【0490】

いくつかの実施形態によると、ピークは、極小値の時間の前に時間的に位置する。

【0491】

いくつかの実施形態によると、信号のピークを識別するステップは、閾値を下回る信号の一次導関数の部分を識別するステップを含む。

【0492】

いくつかの実施形態によると、ピークは、閾値を下回る信号の一次導関数の部分の時間の前に時間的に位置する。

【0493】

いくつかの実施形態によると、減弱を識別するステップは、サブ帯域に対応する信号の減弱している部分を線形適合するステップを含む。

【0494】

いくつかの実施形態によると、サブ帯域に対応する信号は、ピークと減弱部分との間の初期反射部分を備える。

【0495】

いくつかの実施形態によると、初期反射部分は、初期反射に対応する信号の部分を備える。

【0496】

いくつかの実施形態によると、本方法はさらに、初期反射部分から、反射遅延を決定するステップと、反射利得を決定するステップとを含む。

【0497】

いくつかの実施形態によると、減弱している部分の終了は、閾値信号レベルに対応する。

【0498】

いくつかの実施形態によると、本方法はさらに、サブ帯域の第２のサブ帯域に関して、信号の第２のピークを識別するステップと、信号の第２の減弱を識別するステップと、第２のピーク、第２の減弱、または第２のピークおよび第２の減弱の両方に基づいて、第２の減弱時間を決定するステップと、第２の反響利得を決定するステップと、第１および第２の減弱時間を組み合わせるステップと、第１および第２の反響利得を組み合わせるステップとを含む。

【0499】

いくつかの実施形態によると、減弱時間および反響利得は、線形適合することによって組み合わせられる。

【0500】

いくつかの実施形態によると、減弱時間および反響利得は、個別の減弱時間および反響利得に対応する加重に基づいて組み合わせられる。

【0501】

いくつかの実施形態によると、本方法はさらに、周期的に、本方法を繰り返すステップを含む。

【0502】

いくつかの実施形態によると、本システムはさらに、サーバを備え、サーバは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0503】

いくつかの実施形態によると、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0504】

いくつかの実施形態によると、システムは、信号を受信するステップと、直接経路信号を発生させるステップと、直接経路信号に基づいて、信号を逆畳み込みするステップと、該逆畳み込みするステップに基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサを備える。

【0505】

いくつかの実施形態によると、本システムはさらに、サーバを備え、サーバは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0506】

いくつかの実施形態によると、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0507】

いくつかの実施形態によると、システムは、環境のオーディオマッピングの１つまたはそれを上回る部分を環境内に位置する複数のボクセルに関連付けるステップを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサを備える。各部分は、環境内の個別のボクセルの場所と関連付けられる、オーディオ応答性質を備える。

【0508】

いくつかの実施形態によると、本方法はさらに、デバイスの場所を決定するステップであって、複数のボクセルの第１のボクセルは、デバイスの場所を備える、ステップと、デバイスに、第１のボクセルと関連付けられるオーディオ応答性質に基づいて、環境の音を提示するステップとを含む。

【0509】

いくつかの実施形態によると、オーディオ応答性質は、反響利得、減弱時間、反射遅延、および反射利得のうちの少なくとも１つを備える。

【0510】

いくつかの実施形態によると、ボクセルの体積は、均一である。

【0511】

いくつかの実施形態によると、ボクセルの体積は、非均一である。

【0512】

いくつかの実施形態によると、本方法はさらに、第１の信号に基づいて、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップを含み、複数のボクセルの第１のボクセルと関連付けられる、オーディオ応答性質は、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを備える。

【0513】

いくつかの実施形態によると、本方法はさらに、反響利得、減弱時間、反射時間、または反射利得に対応する、加重を決定するステップを含み、第１のボクセルと関連付けられる、オーディオ応答性質は、加重された反響利得、加重された減弱時間、加重された反射時間、および加重された反射利得のうちの少なくとも１つに基づく。

【0514】

いくつかの実施形態によると、加重は、第１のボクセルと第１の信号の場所との間の距離に基づく。

【0515】

いくつかの実施形態によると、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の経過時間に基づく。

【0516】

いくつかの実施形態によると、加重は、第１のボクセルが、第１のオーディオ応答性質の関連付けに先立って、第２のオーディオ応答性質と関連付けられるかどうかの決定に基づく。

【0517】

いくつかの実施形態によると、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の信頼度に基づく。

【0518】

いくつかの実施形態によると、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つを決定するステップを含み、ボクセルと関連付けられる、オーディオ応答性質はさらに、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つに基づく。

【0519】

いくつかの実施形態によると、本方法はさらに、第１の時間において、第１の信号を受信するステップと、第２の時間において、第２の信号を受信するステップとを含む。

【0520】

いくつかの実施形態によると、本方法はさらに、第１のデバイスにおいて、第１の信号を受信するステップと、第２のデバイスにおいて、第２の信号を受信するステップとを含む。

【0521】

いくつかの実施形態によると、本方法はさらに、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回るかどうかを決定するステップと、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回ることの決定に従って、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第１のボクセルと関連付けられるボクセル性質の数が閾値を下回らないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得を決定しないようにするステップとを含む。

【0522】

いくつかの実施形態によると、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にあるかどうかを決定するステップと、第２の信号の場所が第１のボクセルの最大距離内にあることの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つに基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得に基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新しないようにするステップとを含む。

【0523】

いくつかの実施形態によると、複数のボクセルの第２のボクセルは、第２のオーディオ応答性質と関連付けられ、本方法はさらに、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つに対応する、第１の加重および第２の加重を決定するステップを含み、第１のオーディオ応答性質は、第１の加重された反響利得、第１の加重された減弱時間、第１の加重された反射時間、および第１の反射利得のうちの少なくとも１つに基づき、第２のオーディオ応答性質は、少なくとも第２の加重された反響利得、第２の加重された減弱時間、第２の加重された反射時間、および第２の加重された反射利得に基づく。

【0524】

いくつかの実施形態によると、複数のボクセルは、メタデータと関連付けられ、メタデータは、第１の測定、タイムスタンプ、位置、および信頼度のうちの少なくとも１つを備える。

【0525】

いくつかの実施形態によると、本システムはさらに、サーバを備え、サーバは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0526】

いくつかの実施形態によると、本システムはさらに、ウェアラブル頭部デバイスを備え、ウェアラブル頭部デバイスは、１つまたはそれを上回るプロセッサのうちの少なくとも１つを備える。

【0527】

いくつかの実施形態によると、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、信号を受信するステップと、信号が分析の要件を満たすかどうかを決定するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。

【0528】

いくつかの実施形態によると、信号は、オーディオ信号を備え、分析は、環境のオーディオマッピングと関連付けられる。

【0529】

いくつかの実施形態によると、要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つを備える。

【0530】

いくつかの実施形態によると、最小ＳＮＲ制約が満たされるかどうかを決定するステップは、信号レベルが閾値を超えるかどうかを決定するステップを含む。

【0531】

いくつかの実施形態によると、閾値は、ノイズフロアを上回る第２の閾値である。

【0532】

いくつかの実施形態によると、本方法はさらに、ノイズフロアを追跡するステップを含む。

【0533】

いくつかの実施形態によると、本方法はさらに、ノイズフロアを調節するステップを含む。

【0534】

いくつかの実施形態によると、持続時間制約が満たされるかどうかを決定するステップは、信号レベルが少なくとも時間の閾値持続時間に関する閾値を超えるかどうかを決定するステップを含む。

【0535】

いくつかの実施形態によると、併置制約が満たされるかどうかを決定するステップは、信号の源が信号の受信の場所の閾値距離内にあるかどうかを決定するステップを含む。

【0536】

いくつかの実施形態によると、併置制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0537】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号の源が全方向性源を備えるかどうかを決定するステップを含む。

【0538】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号の源に関する放射パターンおよび信号の源に関する配向のうちの１つまたはそれを上回るものを決定するステップを含む。

【0539】

いくつかの実施形態によると、全方向性制約が満たされるかどうかを決定するステップは、信号に基づいて、ＶＡＤプロセスを適用するステップを含む。

【0540】

いくつかの実施形態によると、インパルス制約が満たされるかどうかを決定するステップは、信号が、瞬間信号、インパルス信号、および過渡信号のうちの１つまたはそれを上回るものを備えるかどうかを決定するステップを含む。

【0541】

いくつかの実施形態によると、インパルス制約が満たされるかどうかを決定するステップは、信号に基づいて、デュアルエンベロープフォロワを適用するステップを含む。

【0542】

いくつかの実施形態によると、本方法はさらに、インパルス制約が満たされないことを決定するステップと、インパルス制約が満たされないことの決定に従って、信号をクリーン入力ストリームに変換するステップと、クリーン入力ストリームと信号を比較するステップとを含む。

【0543】

いくつかの実施形態によると、本方法はさらに、分析要件が満たされることの決定に従って、上記方法を実施するステップと、分析要件が満たされないことの決定に従って、上記方法を実施しないようにするステップとを含む。

【0544】

いくつかの実施形態によると、本方法はさらに、信号をＲＭＳエンベロープに平滑化するステップを含む。

【0545】

いくつかの実施形態によると、本方法はさらに、ＲＭＳエンベロープを線形適合するステップを含む。

【0546】

いくつかの実施形態によると、信号は、サンプルのブロックを備える。

【0547】

いくつかの実施形態によると、信号を受信するステップはさらに、マイクロホンを介して、信号を検出するステップを含む。

【0548】

いくつかの実施形態によると、信号を受信するステップはさらに、信号を記憶装置から受信するステップを含む。

【0549】

いくつかの実施形態によると、信号は、ユーザによって発生される。

【0550】

いくつかの実施形態によると、信号は、ユーザによって口頭で発生される。

【0551】

いくつかの実施形態によると、信号は、ユーザによって非口頭で発生される。

【0552】

いくつかの実施形態によると、信号は、信号を受信するデバイスと異なる、デバイスによって発生される。

【0553】

いくつかの実施形態によると、本方法はさらに、信号の発生を要請するステップを含み、信号は、信号を発生させるための要請に応答して発生される。

【0554】

いくつかの実施形態によると、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、信号を受信するステップと、信号をフィルタリングするステップであって、信号をフィルタリングするステップは、信号を複数のサブ帯域に分離するステップを含む、ステップと、サブ帯域のサブ帯域に関して、信号のピークを識別するステップと、信号の減弱を識別するステップと、ピーク、減弱、またはピークおよび減弱の両方に基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。

【0555】

いくつかの実施形態によると、信号は、分析要件を満たす。

【0556】

いくつかの実施形態によると、分析要件は、最小信号対ノイズ比（ＳＮＲ）制約、信号持続時間制約、併置制約、全方向性制約、およびインパルス信号制約のうちの少なくとも１つである。

【0557】

いくつかの実施形態によると、本方法はさらに、ＲＭＳエンベロープを使用して、信号を平滑化するステップを含む。

【0558】

いくつかの実施形態によると、信号をフィルタリングするステップは、ＦＩＲ非因果的ゼロ位相フィルタを使用するステップを含む。

【0559】

いくつかの実施形態によると、信号をフィルタリングするステップは、ＦＩＲ非因果的直交ミラーフィルタ（ＱＭＦ）を使用するステップを含む。

【0560】

いくつかの実施形態によると、サブ帯域は、低周波数サブ帯域、中周波数サブ帯域、および高周波数サブ帯域を備える。

【0561】

いくつかの実施形態によると、サブ帯域の数は、減弱時間制御点の数を上回る。

【0562】

いくつかの実施形態によると、信号のピークを識別するステップは、信号の一次導関数の極小値を識別するステップを含む。

【0563】

いくつかの実施形態によると、ピークは、極小値の時間の前に時間的に位置する。

【0564】

いくつかの実施形態によると、信号のピークを識別するステップは、閾値を下回る信号の一次導関数の部分を識別するステップを含む。

【0565】

いくつかの実施形態によると、ピークは、閾値を下回る信号の一次導関数の部分の時間の前に時間的に位置する。

【0566】

いくつかの実施形態によると、減弱を識別するステップは、サブ帯域に対応する信号の減弱している部分を線形適合するステップを含む。

【0567】

いくつかの実施形態によると、サブ帯域に対応する信号は、ピークと減弱部分との間の初期反射部分を備える。

【0568】

いくつかの実施形態によると、初期反射部分は、初期反射に対応する信号の部分を備える。

【0569】

いくつかの実施形態によると、本方法はさらに、初期反射部分から、反射遅延を決定するステップと、反射利得を決定するステップとを含む。

【0570】

いくつかの実施形態によると、減弱している部分の終了は、閾値信号レベルに対応する。

【0571】

いくつかの実施形態によると、本方法はさらに、サブ帯域の第２のサブ帯域に関して、信号の第２のピークを識別するステップと、信号の第２の減弱を識別するステップと、第２のピーク、第２の減弱、または第２のピークおよび第２の減弱の両方に基づいて、第２の減弱時間を決定するステップと、第２の反響利得を決定するステップと、第１および第２の減弱時間を組み合わせるステップと、第１および第２の反響利得を組み合わせるステップとを含む。

【0572】

いくつかの実施形態によると、減弱時間および反響利得は、線形適合することによって組み合わせられる。

【0573】

いくつかの実施形態によると、減弱時間および反響利得は、個別の減弱時間および反響利得に対応する加重に基づいて組み合わせられる。

【0574】

いくつかの実施形態によると、本方法はさらに、周期的に、請求項１６６に記載の方法を繰り返すステップを含む。

【0575】

いくつかの実施形態によると、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、信号を受信するステップと、直接経路信号を発生させるステップと、直接経路信号に基づいて、信号を逆畳み込みするステップと、該逆畳み込みするステップに基づいて、減弱時間を決定するステップと、反響利得を決定するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。

【0576】

いくつかの実施形態によると、非一過性コンピュータ可読媒体は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、環境のオーディオマッピングの１つまたはそれを上回る部分を環境内に位置する複数のボクセルに関連付けるステップを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。各部分は、環境内の個別のボクセルの場所と関連付けられる、オーディオ応答性質を備える。

【0577】

いくつかの実施形態によると、本方法はさらに、デバイスの場所を決定するステップであって、複数のボクセルの第１のボクセルは、デバイスの場所を備える、ステップと、デバイスに、第１のボクセルと関連付けられるオーディオ応答性質に基づいて、環境の音を提示するステップとを含む。

【0578】

いくつかの実施形態によると、オーディオ応答性質は、反響利得、減弱時間、反射遅延、および反射利得のうちの少なくとも１つを備える。

【0579】

いくつかの実施形態によると、ボクセルの体積は、均一である。

【0580】

いくつかの実施形態によると、ボクセルの体積は、非均一である。

【0581】

いくつかの実施形態によると、本方法はさらに、第１の信号に基づいて、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップを含み、複数のボクセルの第１のボクセルと関連付けられる、オーディオ応答性質は、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つを備える。

【0582】

いくつかの実施形態によると、本方法はさらに、反響利得、減弱時間、反射時間、または反射利得に対応する、加重を決定するステップを含み、第１のボクセルと関連付けられる、オーディオ応答性質は、加重された反響利得、加重された減弱時間、加重された反射時間、および加重された反射利得のうちの少なくとも１つに基づく。

【0583】

いくつかの実施形態によると、加重は、第１のボクセルと第１の信号の場所との間の距離に基づく。

【0584】

いくつかの実施形態によると、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の経過時間に基づく。

【0585】

いくつかの実施形態によると、加重は、第１のボクセルが、第１のオーディオ応答性質の関連付けに先立って、第２のオーディオ応答性質と関連付けられるかどうかの決定に基づく。

【0586】

いくつかの実施形態によると、加重は、第１のボクセルと関連付けられる、オーディオ応答性質の信頼度に基づく。

【0587】

いくつかの実施形態によると、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つを決定するステップを含み、ボクセルと関連付けられる、オーディオ応答性質はさらに、第２の反響利得、第２の減弱時間、第２の反射時間、および第２の反射利得のうちの少なくとも１つに基づく。

【0588】

いくつかの実施形態によると、本方法はさらに、第１の時間において、第１の信号を受信するステップと、第２の時間において、第２の信号を受信するステップとを含む。

【0589】

いくつかの実施形態によると、本方法はさらに、第１のデバイスにおいて、第１の信号を受信するステップと、第２のデバイスにおいて、第２の信号を受信するステップとを含む。

【0590】

いくつかの実施形態によると、本方法はさらに、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回るかどうかを決定するステップと、第１のボクセルと関連付けられるオーディオ応答性質の数が閾値を下回ることの決定に従って、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第１のボクセルと関連付けられるボクセル性質の数が閾値を下回らないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得を決定しないようにするステップとを含む。

【0591】

いくつかの実施形態によると、本方法はさらに、第２の信号に基づいて、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つを決定するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にあるかどうかを決定するステップと、第２の信号の場所が第１のボクセルの最大距離内にあることの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得のうちの少なくとも１つに基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新するステップと、第２の信号の場所が第１のボクセルと関連付けられる最大距離内にないことの決定に従って、第２の反響利得、第２の減弱時間、反射時間、および反射利得に基づいて、第１のボクセルと関連付けられるオーディオ応答性質を更新しないようにするステップとを含む。

【0592】

いくつかの実施形態によると、複数のボクセルの第２のボクセルは、第２のオーディオ応答性質と関連付けられ、本方法はさらに、反響利得、減弱時間、反射時間、および反射利得のうちの少なくとも１つに対応する、第１の加重および第２の加重を決定するステップを含み、第１のオーディオ応答性質は、第１の加重された反響利得、第１の加重された減弱時間、第１の加重された反射時間、および第１の反射利得のうちの少なくとも１つに基づき、第２のオーディオ応答性質は、少なくとも第２の加重された反響利得、第２の加重された減弱時間、第２の加重された反射時間、および第２の加重された反射利得に基づく。

【0593】

いくつかの実施形態によると、複数のボクセルは、メタデータと関連付けられ、メタデータは、第１の測定、タイムスタンプ、位置、および信頼度のうちの少なくとも１つを備える。

【0594】

開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【国際調査報告】