▶ マジック リープ， インコーポレイテッドの特許一覧 ▶ タジク， アナスタシア アンドレエヴナの特許一覧 ▶ ペリー， オマールの特許一覧 ▶ ライダー， コルビー ネルソンの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-29
(54)【発明の名称】表面の適切な衝突
(51)【国際特許分類】
H04S 7/00 20060101AFI20230622BHJP
H04R 3/00 20060101ALI20230622BHJP
【ＦＩ】
H04S7/00 300
H04R3/00 310
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022573600
(86)(22)【出願日】2021-05-27
(85)【翻訳文提出日】2023-01-24
(86)【国際出願番号】 US2021034639
(87)【国際公開番号】W WO2021243098
(87)【国際公開日】2021-12-02
(31)【優先権主張番号】63/032,427
(32)【優先日】2020-05-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(71)【出願人】
【識別番号】522463532
【氏名又は名称】タジク， アナスタシア アンドレエヴナ
(71)【出願人】
【識別番号】522463543
【氏名又は名称】ペリー， オマール
(71)【出願人】
【識別番号】522463554
【氏名又は名称】ライダー， コルビー ネルソン
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】タジク， アナスタシア アンドレエヴナ
(72)【発明者】
【氏名】ペリー， オマール
(72)【発明者】
【氏名】ライダー， コルビー ネルソン
【テーマコード（参考）】
5D162
5D220
【Ｆターム（参考）】
5D162AA07
5D162CD01
5D162CD21
5D162EG02
5D220AA05
(57)【要約】
本明細書に開示されるものは、表面と衝突する仮想オブジェクトの提示と関連付けられる、オーディオ信号を提示するためのシステムおよび方法である。仮想オブジェクトおよび表面は、複合現実環境と関連付けられてもよい。オーディオ信号の生成は、マイクロホンからのオーディオストリームおよびセンサからのビデオストリームのうちの少なくとも１つに基づいてもよい。いくつかの実施形態では、仮想オブジェクトと表面との間の衝突は、表面上の足音と関連付けられる。
【特許請求の範囲】
【請求項1】
システムであって、マイクロホンと、
センサと、
ディスプレイと、
オーディオ出力と、
１つまたはそれを上回るプロセッサであって、
前記マイクロホンを介して、オーディオストリームを生成することと、
前記センサを介して、ビデオストリームを生成することと、
トリガイベントが生じたことを決定することと、
前記トリガイベントが生じたことの決定に従って、
前記トリガイベントと関連付けられるタイムスタンプを識別することと、
前記タイムスタンプに基づいて、前記オーディオストリームの一部を識別することと、
前記タイムスタンプに基づいて、前記ビデオストリームの一部を識別することと、
前記オーディオストリームの一部および前記ビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成することと、
前記ディスプレイ上に、表面と衝突する仮想オブジェクトを提示することであって、前記表面は、前記トリガイベントと関連付けられる、ことと、
前記第１のオーディオ信号に基づいて、第２のオーディオ信号を生成することと、
前記オーディオ出力を介して、前記第２のオーディオ信号を提示することと
を含む方法を実行するように構成される、１つまたはそれを上回るプロセッサと
を備える、システム。
【請求項2】
前記トリガイベントは、前記表面上の足音を備える、請求項１に記載のシステム。
【請求項3】
第２のセンサをさらに備え、前記トリガイベントが生じたことを決定することは、前記第２のセンサによって捕捉された移動データに基づく、請求項１に記載のシステム。
【請求項4】
慣性測定ユニットをさらに備え、前記トリガイベントが生じたことを決定することは、前記慣性測定ユニットによって捕捉された慣性データに基づく、請求項１に記載のシステム。
【請求項5】
補助デバイスと、ウェアラブル頭部デバイスとをさらに備え、前記トリガイベントが生じたことを決定することは、前記補助デバイスの慣性データに基づき、
前記補助デバイスは、前記ウェアラブル頭部デバイスに結合される、
請求項１に記載のシステム。
【請求項6】
前記方法はさらに、前記トリガイベントが生じたことの決定に従って、
前記タイムスタンプに基づいて、前記システムのウェアラブル頭部デバイスの位置を識別することと、
前記システムのウェアラブル頭部デバイスの位置に基づいて、前記トリガイベントの位置を決定することと、
前記トリガイベントの位置と前記第１のオーディオ信号を関連付けることと
を含む、請求項１に記載のシステム。
【請求項7】
前記方法はさらに、前記仮想オブジェクトと前記表面の衝突の位置を決定することと、
前記仮想オブジェクトと前記表面の衝突の位置が前記トリガイベントの位置と関連付けられるかどうかを決定することと
を含み、
前記第２のオーディオ信号を生成することはさらに、前記仮想オブジェクトと前記表面の衝突の位置が前記トリガイベントの位置と関連付けられることの決定に基づく、
請求項６に記載のシステム。
【請求項8】
前記第２のオーディオ信号を生成することはさらに、前記表面の物理的モデルおよび前記仮想オブジェクトの物理的モデルのうちの少なくとも１つに基づく、請求項１に記載のシステム。
【請求項9】
前記第２のオーディオ信号を生成することはさらに、前記第１のオーディオ信号の分析および再合成に基づく、請求項１に記載のシステム。
【請求項10】
前記方法はさらに、前記トリガイベントが生じたことの決定に従って、前記第１のオーディオ信号と前記表面を関連付けることを含む、請求項１に記載のシステム。
【請求項11】
前記第２のオーディオ信号は、前記仮想オブジェクトと前記表面の衝突に対応する、請求項１に記載のシステム。
【請求項12】
前記方法はさらに、前記第１のオーディオ信号を記憶することを含み、前記仮想オブジェクトと前記表面の衝突は、第２のシステムのディスプレイ上に提示され、
前記第２のオーディオ信号を生成することはさらに、前記記憶された第１のオーディオ信号に基づく、
請求項１に記載のシステム。
【請求項13】
前記方法はさらに、第２のオーディオストリームを生成することと、
第２のビデオストリームを生成することと、
第２のトリガイベントが生じたことを決定することと、
前記第２のトリガイベントが生じたことの決定に従って、
前記トリガイベントと関連付けられる第２のタイムスタンプを識別することと、
前記第２のタイムスタンプに基づいて、前記第２のオーディオストリームの一部を識別することと、
前記第２のタイムスタンプに基づいて、前記第２のビデオストリームの一部を識別することと、
前記第２のオーディオストリームの一部および前記第２のビデオストリームの一部のうちの少なくとも１つに基づいて、第３のオーディオ信号を生成することと
を含み、
前記第２のオーディオ信号を生成することはさらに、前記第３のオーディオ信号に基づく、請求項１に記載のシステム。
【請求項14】
前記ビデオストリームは、前記表面と関連付けられる情報を含む、請求項１に記載のシステム。
【請求項15】
前記仮想オブジェクトは、仮想キャラクタの足を備える、請求項１に記載のシステム。
【請求項16】
前記表面の材料は、音響性質と関連付けられ、前記第２のオーディオ信号を生成することはさらに、前記表面の材料の音響性質に基づく、
請求項１に記載のシステム。
【請求項17】
前記方法はさらに、前記材料の測定された吸収係数、手動定義、音響データ、および慣性データのうちの少なくとも１つに基づいて、前記表面の材料の音響性質を決定することを含む、請求項１６に記載のシステム。
【請求項18】
方法であって、ウェアラブル頭部デバイスのマイクロホンを介して、オーディオストリームを生成することと、
前記ウェアラブル頭部デバイスのセンサを介して、ビデオストリームを生成することと、
トリガイベントが生じたことを決定することと、
前記トリガイベントが生じたことの決定に従って、
前記トリガイベントと関連付けられるタイムスタンプを識別することと、
前記タイムスタンプに基づいて、前記オーディオストリームの一部を識別することと、
前記タイムスタンプに基づいて、前記ビデオストリームの一部を識別することと、
前記オーディオストリームの一部および前記ビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成することと、
表面と衝突する仮想オブジェクトを提示することであって、前記表面は、前記トリガイベントと関連付けられる、ことと、
前記第１のオーディオ信号に基づいて、第２のオーディオ信号を生成することと、
前記第２のオーディオ信号を提示することと
を含む、方法。
【請求項19】
前記第２のオーディオ信号は、前記仮想オブジェクトと前記表面の衝突に対応する、請求項１８に記載の方法。
【請求項20】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、１つまたはそれを上回る命令を記憶しており、前記１つまたはそれを上回る命令は、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、ウェアラブル頭部デバイスのマイクロホンを介して、オーディオストリームを生成することと、
前記ウェアラブル頭部デバイスのセンサを介して、ビデオストリームを生成することと、
トリガイベントが生じたことを決定することと、
前記トリガイベントが生じたことの決定に従って、
前記トリガイベントと関連付けられるタイムスタンプを識別することと、
前記タイムスタンプに基づいて、前記オーディオストリームの一部を識別することと、
前記タイムスタンプに基づいて、前記ビデオストリームの一部を識別することと、
前記オーディオストリームの一部および前記ビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成することと、
表面と衝突する仮想オブジェクトを提示することであって、前記表面は、前記トリガイベントと関連付けられる、ことと、
前記第１のオーディオ信号に基づいて、第２のオーディオ信号を生成することと、
前記第２のオーディオ信号を提示することと
を含む方法を実施させる、非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０２０年５月２９日に出願された、米国仮出願第６３／０３２，４２７号の利益を請求する。
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０２０年５月２９日に出願された、米国仮出願第６３／０３２，４２７号の利益を請求する。
【0002】
本開示は、一般に、没入型のオーディオコンテンツを提示するためのシステムおよび方法に関し、特に、複合現実環境内において没入型のオーディオコンテンツを提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【0004】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。そのようなシステムは、仮想視覚的およびオーディオキューと実光景および音を組み合わせることによって、一意に増大した没入感および現実性をもたらすことができる。故に、音が、ユーザの実環境内において、自然かつ音のユーザの予期と一貫して生じていると感じられるような方法において、デジタル音をＸＲシステムのユーザに提示することが望ましくあり得る。概して、ユーザは、仮想音が、その中で彼らに聞こえる、実環境の音響性質を帯びるであろうことを予期する。例えば、大コンサートホール内のＸＲシステムのユーザは、ＸＲシステムの仮想音が、大きい洞窟のような音波品質を有することを予期し、逆に、狭いアパート内のユーザは、音が、より減衰され、近く、かつ即座であることを予期するであろう。仮想音と実および／または仮想環境の音響性質を合致させることに加え、現実性はさらに、仮想音を空間化することによって向上される。例えば、仮想オブジェクトが、視覚的に、背後からユーザを越えて飛行し得、ユーザは、対応する仮想音がユーザに対する仮想オブジェクトの空間移動を同様に反映させることを予期し得る。
【0005】
既存の技術は、多くの場合、ユーザの周囲を考慮せず、または仮想オブジェクトの空間移動に対応せず、ユーザ体験を損なわせ得る、不真正性の感覚につながる、仮想オーディオを提示すること等によって、これらの予期を欠いている。ＸＲシステムのユーザの観察は、ユーザが、仮想コンテンツと実環境との間の視覚的不整合（例えば、照明における不一致）には比較的に寛容であり得るが、ユーザが、聴覚的不整合により敏感であり得ることを示す。我々の生活全体を通して持続的に精緻化される、我々の独自の聴覚的体験は、我々に、我々の物理的環境が我々が聞こえる音にどのように影響を及ぼすかを敏感に認知させ得、我々は、それらの予期と一致しない、音に非常に敏感であり得る。ＸＲシステムでは、そのような不一致は、不快であり得、没入型かつ人を引き付ける体験を仕掛的な模倣したものに変えさせ得る。極端な実施例では、聴覚的不一致は、内耳が聴覚的刺激とその対応する視覚的キューを調和させることが不可能であるため、乗り物酔いおよび他の悪影響を及ぼし得る。
【0006】
特に、ＸＲシステムのユーザは、仮想オブジェクトと他の仮想または実オブジェクトとの間の衝突の聴覚的不整合を認知することに敏感であり得る。足音を含む、そのような衝突は、ＸＲ環境の没入感において重要な役割を果たし得る。仮想キャラクタが、ユーザの実環境を歩き回っているとき、ユーザは、仮想キャラクタが実人物であるかのように、足音が聞こえることを予期し得る。例えば、ユーザは、仮想キャラクタが、木製の床の上を歩き回っているとき、特定の特性音を伴う、足音が聞こえることを予期し得、ユーザは、仮想キャラクタがコンクリートの上を歩き回っているとき、異なる特性音を予期し得る。ユーザの予期に合致しない、オーディオが、再生される場合（またはオーディオが全く再生されない場合）、ユーザの没入感は、仮想キャラクタがどれほど視覚的に現実的に現れ得るかにかかわらず、妨げられ得る。したがって、仮想オブジェクトと他の仮想または実オブジェクトとの間の正確な衝突音を識別および生成するためのシステムおよび方法を開発することが望ましくあり得る。
【発明の概要】
【課題を解決するための手段】
【0007】
本明細書に開示されるものは、表面と衝突する仮想オブジェクトの提示と関連付けられる、オーディオ信号を提示するためのシステムおよび方法である。仮想オブジェクトおよび表面は、複合現実環境と関連付けられてもよい。オーディオ信号の生成は、マイクロホンからのオーディオストリームおよびセンサからのビデオストリームのうちの少なくとも１つに基づいてもよい。いくつかの実施形態では、仮想オブジェクトと表面との間の衝突は、表面上の足音と関連付けられる。いくつかの実施形態では、トリガイベントの発生は、決定され、本決定に従って、トリガイベントと関連付けられるタイムスタンプが、識別される。表面と衝突する仮想オブジェクトの提示と関連付けられる、オーディオ信号が基づく、タイムスタンプが、オーディオ信号を生成するために使用されてもよい。衝突の提示と関連付けられる、オーディオ信号は、表面の材料と関連付けられ得る。材料を決定するための方法およびシステムは、本明細書に開示される。
【0008】
いくつかの実施形態では、方法が、ウェアラブル頭部デバイスのマイクロホンを介して、オーディオストリームを生成するステップと、ウェアラブル頭部デバイスのセンサを介して、ビデオストリームを生成するステップと、トリガイベントが生じたことを決定するステップと、トリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、タイムスタンプを識別するステップと、タイムスタンプに基づいて、オーディオストリームの一部を識別するステップと、タイムスタンプに基づいて、ビデオストリームの一部を識別するステップと、オーディオストリームの一部およびビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成するステップと、表面と衝突する仮想オブジェクトを提示するステップであって、表面は、トリガイベントと関連付けられる、ステップと、第１のオーディオ信号に基づいて、第２のオーディオ信号を生成するステップと、第２のオーディオ信号を提示するステップとを含む。
【0009】
いくつかの実施形態では、トリガイベントは、表面上の足音を備える。
【0010】
いくつかの実施形態では、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの移動データに基づく。
【0011】
いくつかの実施形態では、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの慣性データに基づく。
【0012】
いくつかの実施形態では、トリガイベントが生じたことを決定するステップは、補助デバイスの慣性データに基づき、補助デバイスは、ウェアラブル頭部デバイスに結合される。
【0013】
いくつかの実施形態では、本方法はさらに、トリガイベントが生じたことの決定に従って、タイムスタンプに基づいて、ウェアラブル頭部デバイスの位置を識別するステップと、ウェアラブル頭部デバイスの位置に基づいて、トリガイベントの位置を決定するステップと、トリガイベントの位置と第１のオーディオ信号を関連付けるステップとを含む。
【0014】
いくつかの実施形態では、本方法はさらに、仮想オブジェクトと表面の衝突の位置を決定するステップと、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられるかどうかを決定するステップとを含み、第２のオーディオ信号を生成するステップはさらに、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられることの決定に基づく。
【0015】
いくつかの実施形態では、第２のオーディオ信号を生成するステップはさらに、表面の物理的モデルおよび仮想オブジェクトの物理的モデルのうちの少なくとも１つに基づく。
【0016】
いくつかの実施形態では、第２のオーディオ信号を生成するステップはさらに、第１のオーディオ信号の分析および再合成に基づく。
【0017】
いくつかの実施形態では、本方法はさらに、トリガイベントが生じたことの決定に従って、第１のオーディオ信号と表面を関連付けるステップを含む。
【0018】
いくつかの実施形態では、第２のオーディオ信号は、仮想オブジェクトと表面の衝突に対応する。
【0019】
いくつかの実施形態では、本方法はさらに、第１のオーディオ信号を記憶するステップを含み、仮想オブジェクトと表面の衝突は、第２のウェアラブル頭部デバイスのディスプレイ上に提示され、第２のオーディオ信号を生成するステップはさらに、記憶された第１のオーディオ信号に基づく。
【0020】
いくつかの実施形態では、本方法はさらに、第２のオーディオストリームを生成するステップと、第２のビデオストリームを生成するステップと、第２のトリガイベントが生じたことを決定するステップと、第２のトリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、第２のタイムスタンプを識別するステップと、第２のタイムスタンプに基づいて、第２のオーディオストリームの一部を識別するステップと、第２のタイムスタンプに基づいて、第２のビデオストリームの一部を識別するステップと、第２のオーディオストリームの一部および第２のビデオストリームの一部のうちの少なくとも１つに基づいて、第３のオーディオ信号を生成するステップとを含み、第２のオーディオ信号を生成するステップはさらに、第３のオーディオ信号に基づく。
【0021】
いくつかの実施形態では、ビデオストリームは、表面と関連付けられる、情報を含む。
【0022】
いくつかの実施形態では、仮想オブジェクトは、仮想キャラクタの足を備える。
【0023】
いくつかの実施形態では、表面の材料は、音響性質と関連付けられ、第２のオーディオ信号を生成するステップはさらに、表面の材料の音響性質に基づく。
【0024】
いくつかの実施形態では、本方法はさらに、材料の測定された吸収係数、手動定義、音響データ、および慣性データのうちの少なくとも１つに基づいて、表面の材料の音響性質を決定するステップを含む。
【0025】
いくつかの実施形態では、システムが、マイクロホンと、センサと、ディスプレイと、オーディオ出力と、マイクロホンを介して、オーディオストリームを生成するステップと、センサを介して、ビデオストリームを生成するステップと、トリガイベントが生じたことを決定するステップと、トリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、タイムスタンプを識別するステップと、タイムスタンプに基づいて、オーディオストリームの一部を識別するステップと、タイムスタンプに基づいて、ビデオストリームの一部を識別するステップと、オーディオストリームの一部およびビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成するステップと、ディスプレイ上に、表面と衝突する仮想オブジェクトを提示するステップであって、表面は、トリガイベントと関連付けられる、ステップと、第１のオーディオ信号に基づいて、第２のオーディオ信号を生成するステップと、オーディオ出力を介して、第２のオーディオ信号を提示するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。
【0026】
いくつかの実施形態では、トリガイベントは、表面上の足音を備える。
【0027】
いくつかの実施形態では、本システムはさらに、第２のセンサを備え、トリガイベントが生じたことを決定するステップは、第２のセンサによって捕捉された移動データに基づく。
【0028】
いくつかの実施形態では、本システムはさらに、慣性測定ユニットを備え、トリガイベントが生じたことを決定するステップは、慣性測定ユニットによって捕捉された慣性データに基づく。
【0029】
いくつかの実施形態では、本システムはさらに、補助デバイスと、ウェアラブル頭部デバイスとを備え、トリガイベントが生じたことを決定するステップは、補助デバイスの慣性データに基づき、補助デバイスは、ウェアラブル頭部デバイスに結合される。
【0030】
いくつかの実施形態では、本方法はさらに、トリガイベントが生じたことの決定に従って、タイムスタンプに基づいて、システムのウェアラブル頭部デバイスの位置を識別するステップと、システムのウェアラブル頭部デバイスの位置に基づいて、トリガイベントの位置を決定するステップと、トリガイベントの位置と第１のオーディオ信号を関連付けるステップとを含む。
【0031】
いくつかの実施形態では、本方法はさらに、仮想オブジェクトと表面の衝突の位置を決定するステップと、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられるかどうかを決定するステップとを含み、第２のオーディオ信号を生成するステップはさらに、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられることの決定に基づく。
【0032】
いくつかの実施形態では、第２のオーディオ信号を生成するステップはさらに、表面の物理的モデルおよび仮想オブジェクトの物理的モデルのうちの少なくとも１つに基づく。
【0033】
いくつかの実施形態では、第２のオーディオ信号を生成するステップはさらに、第１のオーディオ信号の分析および再合成に基づく。
【0034】
いくつかの実施形態では、本方法はさらに、トリガイベントが生じたことの決定に従って、第１のオーディオ信号と表面を関連付けるステップを含む。
【0035】
いくつかの実施形態では、第２のオーディオ信号は、仮想オブジェクトと表面の衝突に対応する。
【0036】
いくつかの実施形態では、本方法はさらに、第１のオーディオ信号を記憶するステップを含み、仮想オブジェクトと表面の衝突は、第２のシステムのディスプレイ上に提示され、第２のオーディオ信号を生成するステップはさらに、記憶された第１のオーディオ信号に基づく。
【0037】
いくつかの実施形態では、本方法はさらに、第２のオーディオストリームを生成するステップと、第２のビデオストリームを生成するステップと、第２のトリガイベントが生じたことを決定するステップと、第２のトリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、第２のタイムスタンプを識別するステップと、第２のタイムスタンプに基づいて、第２のオーディオストリームの一部を識別するステップと、第２のタイムスタンプに基づいて、第２のビデオストリームの一部を識別するステップと、第２のオーディオストリームの一部および第２のビデオストリームの一部のうちの少なくとも１つに基づいて、第３のオーディオ信号を生成するステップとを含み、第２のオーディオ信号を生成するステップはさらに、第３のオーディオ信号に基づく。
【0038】
いくつかの実施形態では、ビデオストリームは、表面と関連付けられる、情報を含む。
【0039】
いくつかの実施形態では、仮想オブジェクトは、仮想キャラクタの足を備える。
【0040】
いくつかの実施形態では、表面の材料は、音響性質と関連付けられ、第２のオーディオ信号を生成するステップはさらに、表面の材料の音響性質に基づく。
【0041】
いくつかの実施形態では、本方法はさらに、材料の測定された吸収係数、手動定義、音響データ、および慣性データのうちの少なくとも１つに基づいて、表面の材料の音響性質を決定するステップを含む。
【0042】
いくつかの実施形態では、非一過性コンピュータ可読媒体が、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、ウェアラブル頭部デバイスのマイクロホンを介して、オーディオストリームを生成するステップと、ウェアラブル頭部デバイスのセンサを介して、ビデオストリームを生成するステップと、トリガイベントが生じたことを決定するステップと、トリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、タイムスタンプを識別するステップと、タイムスタンプに基づいて、オーディオストリームの一部を識別するステップと、タイムスタンプに基づいて、ビデオストリームの一部を識別するステップと、オーディオストリームの一部およびビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成するステップと、表面と衝突する仮想オブジェクトを提示するステップであって、表面は、トリガイベントと関連付けられる、ステップと、第１のオーディオ信号に基づいて、第２のオーディオ信号を生成するステップと、第２のオーディオ信号を提示するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。
【0043】
いくつかの実施形態では、トリガイベントは、表面上の足音を備える。
【0044】
いくつかの実施形態では、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの移動データに基づく。
【0045】
いくつかの実施形態では、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの慣性データに基づく。
【0046】
いくつかの実施形態では、トリガイベントが生じたことを決定するステップは、補助デバイスの慣性データに基づき、補助デバイスは、ウェアラブル頭部デバイスに結合される。
【0047】
いくつかの実施形態では、本方法はさらに、トリガイベントが生じたことの決定に従って、タイムスタンプに基づいて、ウェアラブル頭部デバイスの位置を識別するステップと、ウェアラブル頭部デバイスの位置に基づいて、トリガイベントの位置を決定するステップと、トリガイベントの位置と第１のオーディオ信号を関連付けるステップとを含む。
【0048】
いくつかの実施形態では、本方法はさらに、仮想オブジェクトと表面の衝突の位置を決定するステップと、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられるかどうかを決定するステップとを含み、第２のオーディオ信号を生成するステップはさらに、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられることの決定に基づく。
【0049】
いくつかの実施形態では、第２のオーディオ信号を生成するステップはさらに、表面の物理的モデルおよび仮想オブジェクトの物理的モデルのうちの少なくとも１つに基づく。
【0050】
いくつかの実施形態では、第２のオーディオ信号を生成するステップはさらに、第１のオーディオ信号の分析および再合成に基づく。
【0051】
いくつかの実施形態では、本方法はさらに、トリガイベントが生じたことの決定に従って、第１のオーディオ信号と表面を関連付けるステップを含む。
【0052】
いくつかの実施形態では、第２のオーディオ信号は、仮想オブジェクトと表面の衝突に対応する。
【0053】
いくつかの実施形態では、本方法はさらに、第１のオーディオ信号を記憶するステップを含み、仮想オブジェクトと表面の衝突は、第２のウェアラブル頭部デバイスのディスプレイ上に提示され、第２のオーディオ信号を生成するステップはさらに、記憶された第１のオーディオ信号に基づく。
【0054】
いくつかの実施形態では、本方法はさらに、第２のオーディオストリームを生成するステップと、第２のビデオストリームを生成するステップと、第２のトリガイベントが生じたことを決定するステップと、第２のトリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、第２のタイムスタンプを識別するステップと、第２のタイムスタンプに基づいて、第２のオーディオストリームの一部を識別するステップと、第２のタイムスタンプに基づいて、第２のビデオストリームの一部を識別するステップと、第２のオーディオストリームの一部および第２のビデオストリームの一部のうちの少なくとも１つに基づいて、第３のオーディオ信号を生成するステップとを含み、第２のオーディオ信号を生成するステップはさらに、第３のオーディオ信号に基づく。
【0055】
いくつかの実施形態では、ビデオストリームは、表面と関連付けられる、情報を含む。
【0056】
いくつかの実施形態では、仮想オブジェクトは、仮想キャラクタの足を備える。
【0057】
いくつかの実施形態では、表面の材料は、音響性質と関連付けられ、第２のオーディオ信号を生成するステップはさらに、表面の材料の音響性質に基づく。
【0058】
いくつかの実施形態では、本方法はさらに、材料の測定された吸収係数、手動定義、音響データ、および慣性データのうちの少なくとも１つに基づいて、表面の材料の音響性質を決定するステップを含む。
【図面の簡単な説明】
【0059】
【0060】
【0061】
【0062】
【0063】
【0064】
【0065】
【発明を実施するための形態】
【0066】
詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
【0067】
複合現実環境
【0068】
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
【0069】
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0070】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。
【0071】
仮想環境は、算出構造として存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚し得ない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的に、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用し得ないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
【0072】
複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび／または１つまたはそれを上回るスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つまたはそれを上回るスピーカは、ウェアラブル頭部デバイスの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。
【0073】
ＭＲＥでは（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは（例えば、ＭＲＥと関連付けられる実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。
【0074】
いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。
【0075】
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、本明細書に述べられたように、ユーザが、直接、仮想環境を知覚する、またはそれと相互作用し得ないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することがより直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させ得る。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
【0076】
図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）および１つまたはそれを上回るスピーカと、例えば、本明細書に説明されるような１つまたはそれを上回るセンサ（例えば、カメラ）とを含んでもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを含む。部屋１０４Ａは、場所座標（例えば、場所座標１０８）を用いて空間的に説明され得、実環境１００の場所は、場所座標の原点（例えば、点１０６）に対して説明され得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。
【0077】
図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを含む。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスタ１３２を含み、これは、実環境１００内の任意の実オブジェクトに対応し得ない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応し得ない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つまたはそれを上回る実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。
【0078】
持続座標データは、物理的環境に対して存続する、座標データであり得る。持続座標データは、ＭＲシステム（例えば、ＭＲシステム１１２、２００）によって、持続仮想コンテンツを設置するために使用されてもよく、これは、その上に仮想オブジェクトが表示されている、ディスプレイの移動に結び付けられなくてもよい。例えば、２次元画面は、仮想オブジェクトを画面上のある位置に対して表示し得る。２次元画面が、移動するにつれて、仮想コンテンツは、画面とともに移動し得る。いくつかの実施形態では、持続仮想コンテンツが、部屋の角に表示され得る。ＭＲユーザが、角を見ると、仮想コンテンツが見え、角から眼を逸らし（仮想コンテンツは、仮想コンテンツが、ユーザの頭部の運動に起因して、ユーザの視野内から場所の外側のユーザの視野外の場所の移動している場合があるため、もはや可視ではなくなり得る）、眼を戻すと、仮想コンテンツが角に見え得る（実オブジェクトが挙動し得る方法に類似する）。
【0079】
いくつかの実施形態では、持続座標データ（例えば、持続座標系および／または持続座標フレーム）は、原点と、３つの軸とを含むことができる。例えば、持続座標系は、ＭＲシステムによって、部屋の中心に割り当てられてもよい。いくつかの実施形態では、ユーザが、部屋を動き回り、部屋から外に出て、部屋に再進入する等を行い得るが、持続座標系は、部屋の中心にあるままであり得る（例えば、物理的環境に対して存続するため）。いくつかの実施形態では、仮想オブジェクトは、持続座標データへの変換を使用して表示されてもよく、これは、持続仮想コンテンツを表示することを可能にし得る。いくつかの実施形態では、ＭＲシステムは、同時位置特定およびマッピングを使用して、持続座標データを生成してもよい（例えば、ＭＲシステムは、持続座標系を空間内の点に割り当ててもよい）。いくつかの実施形態では、ＭＲシステムは、持続座標データを規則的インターバルで生成することによって、環境をマッピングしてもよい（例えば、ＭＲシステムは、持続座標系をグリッド内に割り当ててもよく、持続座標系は、別の持続座標系の少なくとも５フィート以内にあり得る）。
【0080】
いくつかの実施形態では、持続座標データは、ＭＲシステムによって生成され、遠隔サーバに伝送されてもよい。いくつかの実施形態では、遠隔サーバは、持続座標データを受信するように構成されてもよい。いくつかの実施形態では、遠隔サーバは、複数の観察インスタンスからの持続座標データを同期させるように構成されてもよい。例えば、複数のＭＲシステムが、持続座標データで同一部屋をマッピングし、そのデータを遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、本観察データを使用して、規準持続座標データを生成してもよく、これは、１つまたはそれを上回る観察に基づいてもよい。いくつかの実施形態では、規準持続座標データは、持続座標データの単一観察より正確および／または信頼性があり得る。いくつかの実施形態では、規準持続座標データは、１つまたはそれを上回るＭＲシステムに伝送されてもよい。例えば、ＭＲシステムは、画像認識および／または場所データを使用して、それが、対応する規準持続座標データを有する、部屋内に位置することを認識してもよい（例えば、他のＭＲシステムが、その部屋を以前にマッピングしているため）。いくつかの実施形態では、ＭＲシステムは、その場所に対応する規準持続座標データを遠隔サーバから受信してもよい。
【0081】
図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
【0082】
図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。本明細書に説明されるように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。
【0083】
示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（例えば、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を含む。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。
【0084】
いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
【0085】
いくつかの実施例では、本明細書に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスタ１３２は、モンスタがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つまたはそれを上回るオーディオ信号と関連付けられ得る。本明細書に説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つまたはそれを上回るスピーカおよび／または１つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。
【0086】
例示的複合現実システム
【0087】
例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを含み得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力、モバイルネットワーク（例えば、４Ｇ、５Ｇ）能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または本明細書に説明されるように、ウェアラブルベルトパックであり得る補助ユニット３２０を含んでもよい。
【0088】
図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられるＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。
【0089】
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
【0090】
図２Ａ－２Ｄに示される実施例では、画像毎に変調された光の左源２１２４は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光の右源２１２６は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光の源２１２４、２１２６は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つまたはそれを上回るレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光の源２１２４、２１２６からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
【0091】
いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
【0092】
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
【0093】
図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管の第１のサブセット２４０４と、３つの導波管の第２のサブセット２４０６とを含むことができる。導波管の２つのサブセット２４０４、２４０６は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管のサブセット２４０４、２４０６のそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に対して鏡像化され得る。
【0094】
図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つまたはそれを上回るボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つまたはそれを上回るものに対応する、１つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。
【0095】
図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
【0096】
いくつかの実施例では、複合現実システム２００は、１つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
【0097】
図４は、本明細書に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つまたはそれを上回る深度カメラ４４４（および／または１つまたはそれを上回る非深度カメラ）、および／または１つまたはそれを上回る光学標的（例えば、本明細書に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、本明細書に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【0098】
いくつかの実施形態では、ウェアラブルシステム４００は、マイクロホンアレイ４０７を含むことができ、これは、ヘッドギヤデバイス４００Ａ上に配列される、１つまたはそれを上回るマイクロホンを含むことができる。いくつかの実施形態では、マイクロホンアレイ４０７は、４つのマイクロホンを含むことができる。２つのマイクロホンは、ヘッドギヤ４００Ａの正面上に設置されることができ、２つのマイクロホンは、頭部ヘッドギヤ４００Ａの背面に設置されることができる（例えば、左後方に１つ、および右後方に１つ）。いくつかの実施形態では、マイクロホンアレイ４０７によって受信された信号は、ＤＳＰ４０８に伝送されることができる。ＤＳＰ４０８は、信号処理をマイクロホンアレイ４０７から受信された信号上で実施するように構成されることができる。例えば、ＤＳＰ４０８は、雑音低減、音響エコーキャンセル、および／またはビーム形成をマイクロホンアレイ４０７から受信された信号上で実施するように構成されることができる。ＤＳＰ４０８は、信号をプロセッサ４１６に伝送するように構成されることができる。
【0099】
いくつかの実施例では、例えば、座標系１０８に対する（例えば、ＭＲシステム１１２の）ウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する予期される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関するよりタイムリーな情報を提供することができる。
【0100】
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0101】
いくつかの実施例では、１つまたはそれを上回るプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、オーディオ／視覚的コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して本明細書に説明されるように、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0102】
図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つまたはそれを上回るものは、補助ユニット４００Ｃ（本明細書に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0103】
図４は、例示的ウェアラブルシステム４００の種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、図示されるヘッドギヤデバイス４００Ａは、プロセッサおよび／またはバッテリ（図示せず）を含んでもよい。含まれるプロセッサおよび／またはバッテリは、補助ユニット４００Ｃのプロセッサおよび／またはバッテリとともに動作する、またはその代わりに動作してもよい。概して、別の実施例として、補助ユニット４００Ｃと関連付けられるように図４に関して提示される要素または説明される機能性は、代わりに、ヘッドギヤデバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に省略してもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
【0104】
表面の適切な衝突
【0105】
ＸＲシステム（例えば、ＭＲシステム１１２、２００）は、実コンテンツと仮想コンテンツをともに混成するため、真の没入感は、可能な限り多くのユーザの感覚を引き付けることに依拠し得る。仮想オブジェクトは、可能な限り現実的に見えかつ聞こえるべきである。特に、仮想オブジェクトに基づいて、現実的音を提示することは、困難であり得る。現実的映像を提示することと異なり、現実的音は、容易に知覚可能ではない、実環境の特性に依存し得る。現実的映像は、照明、ユーザの位置等の関数であり得る（いくつかまたはその全ては、ユーザ相互作用を伴わずに、視覚的および／または受動的に決定され得る）が、現実的音は、ユーザ相互作用を伴わずに決定することがより困難であり得る、性質の関数であり得る。例えば、実オブジェクトの吸収率、透過率、基本周波数、共鳴、減衰時間等の等の音響性質が、仮想オブジェクトと実オブジェクトとの間の現実的衝突音を生成するために関連し得るが、これらの性質は、容易に決定され得ない。具体的には、関連音響性質を決定することは、ある形態のユーザ相互作用（例えば、ユーザに、種々のオブジェクトにタップするように求める）を要求し得る。しかしながら、大量のユーザ相互作用を要求することは、そのような要求される相互作用がＸＲシステムのユーザの享受に悪影響を及ぼし得るため、望ましくあり得ない。
【0106】
本問題は、特に、仮想オブジェクトと実オブジェクトとの間の衝突に関して顕著であり得る。仮想オブジェクトに関する音響性質は、仮想オブジェクトが、作成の際、それと関連付けられる既知の性質を有し得る（例えば、仮想オブジェクトは、木材、プラスチック等から作製されるように指定され得る）ため、比較的に容易に取得され得る。しかしながら、ユーザ相互作用を伴わずには、実オブジェクトの音響性質を決定することは、それらが容易に明白ではあり得ないため、単純ではあり得ない。例えば、表面は、木材のように見えるが、実際には、ビニルであり得、本事実は、実オブジェクトが表面と衝突し、結果として生じる音が記録されるまで、明白とはなり得ない。
【0107】
したがって、現実的オーディオコンテンツを生成する、具体的には、最小限の要求されるユーザアクションを伴って、現実的オーディオコンテンツを生成するためのシステムおよび方法を開発することが望ましくあり得る。１つの特に一般的衝突音は、足音（例えば、足または履物と接地表面との間の衝突）を含み得る。仮想キャラクタが、実環境を歩き回っているように提示される場合、ＸＲシステムのユーザは、仮想キャラクタの足／履物および／または実接地表面に対応する、足音の音が聞こえることを予期し得る。仮想キャラクタの足／履物の音響性質は、既知および／または事前定義され得るが、接地表面の音響性質は、既知ではない場合がある。「足音」は、片足または歩行に限定されないことを理解されたい。例えば、足音はまた、ジャンプまたは１回を上回る足と表面の衝突と関連付けられ得る。
【0108】
いくつかの実施形態では、接地表面の音響性質は、受動的に決定されることができる（例えば、具体的ユーザ入力を伴わずに）。例えば、ＸＲシステムのユーザが、歩き回るにつれて、情報が、ユーザ自身の足音から収集されてもよく（例えば、足音が記録される）、接地表面の音響性質が、記録されたオーディオから抽出されてもよい。
【0109】
いくつかの実施形態では、ＸＲシステムのセンサが、接地表面の音響性質を識別および／またはタグ付けするために使用されることができ、その情報は、仮想オブジェクトとの衝突を伴う現実的音響音（例えば、足音）を生成するために使用されることができる。例えば、ＸＲシステムは、オーディオを継続的に記録してもよい（例えば、較正周期の間）。ユーザの足音に対応するオーディオ信号を決定するために、位置および／または慣性データが、足音が生じた可能性が高いときを識別するために使用されることができる。いったん足音が識別されると、オーディオストリームからのオーディオの対応するセグメントが、読み出されることができる。いくつかの実施形態では、オーディオセグメントは、処理および／または分析され、その接地表面の適切な音響性質を決定することができる。いくつかの実施形態では、ビデオストリームもまた、利用されることができる。例えば、ビデオストリームは、視覚的データ（例えば、テクスチャおよび／またはパターン）を捕捉してもよく、これは、接地表面の音響性質を決定する際に、オーディオデータを補完するために使用されてもよい。
【0110】
図５は、いくつかの実施形態による、例示的複合現実環境を図示する。図５は、ＭＲＥ５００を描写し、これは、ユーザ５０２と、ＭＲシステム５０４（ＭＲシステム１１２、２００に対応し得る）とを含んでもよい。ＭＲＥ５００はまた、仮想キャラクタ５１４を含むことができ、これは、ＭＲＥ５００を動き回るように提示され得る。いくつかの実施形態では、仮想キャラクタ５１４は、本明細書に説明されるもの等のＭＲシステム５０４の１つまたはそれを上回る透過型ディスプレイを介して、ユーザ５０２に提示されることができる。仮想キャラクタ５１４が、ＭＲＥ５００を動き回るにつれて、ユーザ５０２は、仮想キャラクタ５１４の足音に対応する、音が聞こえることを予期し得る。例えば、仮想足（および／または仮想履物）５１６が、カーペット製の接地表面５１０と衝突するにつれて、ユーザ５０２は、カーペットと衝突する裸足に対応する、音が聞こえることを予期し得る。いくつかの実施形態では、仮想足５１６とカーペット製の接地表面５１０の衝突に対応する、現実的音はまた、直ちに視覚的に明白ではない場合がある、要因によって影響され得る。例えば、カーペット製の接地表面５１０は、木製の床またはコンクリート製床上に静置されている場合があり、衝突音は、接地表面の真下の構造に応じて、異なり得る。ＭＲシステム５０４の１つまたはそれを上回るセンサを使用して、仮想オブジェクトと実オブジェクトとの間の現実的衝突音を決定することが望ましくあり得る。対応する音は、ＭＲシステム５０４の１つまたはそれを上回るスピーカを介して、提示されてもよい。ＭＲＥ５００は、木製接地表面５０８および／またはタイル製接地表面５１２を含む、いくつかの異なる接地表面を含み得る。ユーザ５０２は、したがって、仮想足５１６が、木製の接地表面５０８、カーペット製の接地表面５１０、および／またはタイル製の接地表面５１２と衝突するにつれて、異なる音が聞こえることを予期し得る。図５に関して説明される表面は、単に、例示であって、他の材料を含む、表面も、代替として、または加えて、ＭＲＥの一部であり得ることを理解されたい。
【0111】
仮想オブジェクト（例えば、仮想足５１６）と実オブジェクト（例えば、接地表面５０８、５１０、および／または５１２）との間の衝突に対応する、現実的音を提示することは、仮想オブジェクトおよび実オブジェクトの音響性質に基づくことができる。いくつかの実施形態では、仮想オブジェクトの音響性質は、既知および／または事前に定義されてもよい（例えば、仮想オブジェクトの開発者および／または作成者によって）。いくつかの実施形態では、仮想オブジェクトの性質は、読み出されてもよい（例えば、ＵｎｒｅａｌまたはＵｎｉｔｙ等の３Ｄゲームエンジンから）。いくつかの実施形態では、実オブジェクトの音響性質は、既知および／または事前に定義されていない場合があり、実オブジェクトの音響性質は、ＭＲシステム５０４の１つまたはそれを上回るセンサから決定されてもよい。
【0112】
いくつかの実施形態では、実オブジェクトの音響性質は、低減されたユーザ相互作用を用いて、決定されてもよい。例えば、ユーザ５０２は、ＭＲＥ５００を動き回り得、実足５０６と接地表面５０８、５１０、および／または５１２との間の衝突によって生産された音は、それらの接地表面の音響性質を決定するために使用され得る、情報を提供し得る。本情報は、分析され、仮想音合成で使用されることができる。例えば、ユーザ５０２が、ＭＲＥ５００内の接地表面を動き回った（および実足音の音が記録／分析された）後、ＭＲシステム５０４は、十分な情報を収集しており、仮想オブジェクトがＭＲＥ５００内の接地表面のいずれかと衝突すると、現実的仮想音を提示し得る。いくつかの実施形態では、ＭＲシステム５０４は、オーディオおよび／またはビデオを持続的に記録してもよい。いくつかの実施形態では、記録されたオーディオおよび／またはビデオストリームは、ＭＲシステム５０４の１つまたはそれを上回るバッファ内に記憶されてもよい。バッファは、アルゴリズム（例えば、足音検出アルゴリズム）が、その中で足音が生じた時間を識別することを可能にし得、したがって、ＭＲシステム５０４は、さらなる処理のために、タイムスタンプと関連付けられる、オーディオおよび／またはビデオを抽出し得る。
【0113】
いくつかの実施形態では、音響性質は、手動でタグ付けされることができる（例えば、Ｍａｇｉｃ ＬｅａｐのＭａｇｉｃｖｅｒｓｅ等の複合現実エコシステムにおいて）。いくつかの実施形態では、音響性質は、ユーザにそれらの近くで音を生成する（例えば、拍手する、足踏みする、またはタップすることによって）ように求めることによって推測されてもよい。複合現実システムのセンサは、音を受信し（例えば、材料から反射されたユーザのアクションの音が、測定され、戻って来た音響エネルギーと伝送された音響エネルギーの比率が、計算される）、本システムは、吸収係数を推測し得、音の吸収係数および周波数から、材料（例えば、木材、プラスチック、コンクリート）が、分類され得る。異なる周波数および異なる材料に関する例示的吸収係数値は、ｗｗｗ．ａｃｏｕｓｔｉｃ．ｕａ／ｓｔ／ｗｅｂ＿ａｂｓｏｒｐｔｉｏｎ＿ｄａｔａ＿ｅｎｇ．ｐｄｆ等のデータシート上に見出され得るが、例示的係数値および対応する材料および周波数は、限定を意味するものではないことを理解されたい。
【0114】
いくつかの実施形態では、ソナー技法（例えば、複合現実システムのスピーカを使用して）が、種々の周波数における吸収係数を推測するために使用されることができる。戻って来た音響エネルギーと伝送された音響エネルギーの比率に基づいて、材料の推定が、推測されることができる。いくつかの実施形態では、複合現実システムは、表面と衝突することができ（例えば、ユーザが、表面と複合現実システムのコンポーネントを衝打させる（例えば、軽く））、慣性データ（例えば、ＩＭＵ導出力）および音響データ（例えば、衝突からの音）が、材料についての情報を提供してもよい。
【0115】
いくつかの実施形態では、ＭＲシステム５０４は、頭部姿勢データを利用して、足音が生じたことを決定してもよい。頭部姿勢データは、３次元空間内のＭＲシステム５０４の位置（例えば、持続座標データに関連して）および／またはＭＲシステム５０４の配向を含むことができる。いくつかの実施形態では、頭部姿勢データは、ヒトの頭部が、歩行の間、特定のパターンで移動し得るため、足音と相関されてもよい。例えば、ユーザの頭部５０２は、接地表面と平行な平面内で放物線運動において移動し得る。いくつかの実施形態では、ユーザの頭部５０２はまた、垂直軸（例えば、接地表面に対して法線の軸、すなわち、ユーザの頭部から爪先までの線と平行な軸）に沿って、上および／または下に移動し得る。放物線（または他の好適な移動）が、接地表面と平行な平面内で検出され、移動が、ある時間ウィンドウ内で、垂直軸に沿って検出される場合、足音が、識別されることができる。
【0116】
いくつかの実施形態では、移動閾値が、誤検出を低減させるために適用されることができる。いくつかの実施形態では、正確度が、訓練相を用いて改良されてもよい。例えば、ユーザは、可聴キューが発行されると、その足音が生じる状態で、歩行するように求められてもよい（例えば、複合現実システムによってプロンプトされる）。律動的クリックトラック（例えば、６０クリック／分におけるメトロノーム）が、再生されてもよく、ユーザは、ある数のクリック（例えば、１小節カウント式における５番目のクリック）後、歩行を開始するようにプロンプトされてもよい。足音は、メトロノームがクリックする（例えば、６０クリック／分において、毎秒）ときに生じるようにタイミング調整されてもよい。訓練相と関連付けられる、頭部姿勢データは、次いで、訓練コーパスに追加され得、将来的頭部姿勢推測足音が、深層学習アルゴリズムによって分類される。
【0117】
いくつかの実施形態では、頭部姿勢データは、左足音または右足音が生じたかどうかを決定するために使用されることができる。例えば、左足音は、正の放物線曲線と関連付けられ得、右足音は、負の放物線曲線と関連付けられ得る。正の放物線および負の放物線曲線の経路は、対向方向にあり得る。
【0118】
足音はまた、他の好適な方法を使用して識別されることができる。例えば、ＭＲシステム５０４は、ウェアラブル頭部デバイスの１つまたはそれを上回るＩＭＵを含んでもよく、慣性データは、足音が生じたかどうかを決定するために使用されることができる。いくつかの実施形態では、ＭＲシステム５０４は、ウェアラブル頭部デバイスに接続され得る、補助デバイス（例えば、ベルトパック）を含んでもよく、補助デバイスは、１つまたはそれを上回るＩＭＵを含んでもよい。補助デバイスからの慣性データは、足音が生じたかどうかを決定するために使用されてもよい。いくつかの実施形態では、機械学習および／または人工知能が、足音が生じたかどうかを決定するために使用されることができる。例えば、グラウンドトゥルースデータセットが、手動で識別された足音および足音の発生時に記録された対応するセンサデータ（例えば、頭部姿勢データ、ＩＭＵデータ、ビデオデータ、オーディオデータ等）を用いて確立されることができる。いくつかの実施形態では、機械学習アルゴリズム（例えば、深層ニューラルネットワーク）が、グラウンドトゥルースデータセット（またはデータセットのサブセット）上で訓練され、センサデータに基づいて、足音が生じたかどうかを識別してもよい。
【0119】
いくつかの実施形態では、足音発生の識別は、足音と関連付けられる、オーディオデータを識別するために使用されることができる。例えば、足音と関連付けられる、タイムスタンプが、オーディオデータ（例えば、特定のオーディオセグメント）をバッファされたオーディオストリームから読み出すために使用されることができる。いくつかの実施形態では、読み出されたオーディオセグメントは、足音が生じた接地上の具体的位置と関連付けられ得る。足音が生じた場所は、任意の好適な方法で決定されることができる。例えば、足音の場所は、足音発生時の頭部姿勢に基づくことができる。足音は、接地平面に対する頭部姿勢の投影の近傍で生じると推定され、頭部姿勢投影の左または右にオフセットされ得る。オフセットは、多くのユーザにとって適切であり得る、近似値であることができる、またはオフセットは、ユーザ毎にカスタマイズされることができる（例えば、機械学習アルゴリズムを使用して）。その特定の位置についての一意の特性を明らかにし得るため、オーディオセグメントと具体的位置を関連付けることが有益であり得る。例えば、特定の床板は、軋み得るが、木製の床の残りは、その音響特性を有していない場合がある。いくつかの実施形態では、オーディオセグメントは、床セグメント全体（視覚的に識別されてもよい）と関連付けられ得る。例えば、木製の接地表面５０８上の実足５０６からの足音は、木製の接地表面５０８の全体と関連付けられ得る。表面の全体の境界は、本明細書に説明されるように、ＭＲシステム５０４のセンサ（例えば、光学センサ）を使用して決定される、または事前に定義されてもよい。例えば、第２のＭＲＥ（例えば、家の異なる部屋内、異なる場所における類似部屋内）が、ＭＲＥ５００内のものに類似する接地表面を含む。第２のＭＲＥの接地表面が以前に識別された接地表面に類似する（例えば、識別された接地表面上の足音と関連付けられるデータが記録されている）ことの決定に従って、ＭＲシステム５０４は、識別された接地表面と関連付けられるデータを使用して、第２のＭＲＥの接地表面の音響性質を決定してもよい。
【0120】
いくつかの実施形態では、特定の接地表面上で収集された複数のオーディオセグメントが、集約および／または合成されてもよく、合成された音は、接地表面と関連付けられ得る。これは、オーディオセグメントと接地表面上の個々の位置を関連付けるために要求されるメモリの量を低減させる利点を有することができる。いくつかの実施形態では、１つまたはそれを上回る音響性質が、オーディオセグメントから決定されることができ、１つまたはそれを上回る音響性質は、実表面の少なくとも一部と関連付けられ得る。
【0121】
いくつかの実施形態では、実表面と関連付けられる、音および／または音響性質は、１つまたはそれを上回る遠隔サーバに伝送されることができる。他のＭＲシステム（または同一ＭＲシステム）が、ＭＲＥ５００を認識する場合、１つまたはそれを上回る遠隔サーバは、仮想オブジェクトが、既知の実表面と衝突することに応じて、現実的音を生産し得るように、関連付けられる音をＭＲシステムに伝送してもよい。ＭＲシステムは、関連付けられる音を１つまたはそれを上回る遠隔サーバに継続的に伝送してもよく（関連付けられる音がすでに伝送されている場合でも）、関連付けられる音は、１つまたはそれを上回る遠隔サーバによって、関連付けられる音の正確度を継続的に精緻化するために合成されてもよい。
【0122】
足音および／または実表面と関連付けられる、オーディオセグメントは、分析および／または処理されてもよい。例えば、基本周波数、特殊ピーク、構造が中空であるかどうか、および／または共鳴性質等の音響特性が、オーディオセグメントから抽出されてもよい。いくつかの実施形態では、接地表面によって生産された音に対応する、オーディオ信号は、オーディオセグメント内の他のオーディオ信号から分離されることができる。例えば、複数のオーディオセグメントは、同一接地セグメント上で異なる履物を使用して記録されることができ、これは、接地表面に対応するオーディオ信号が決定されることを可能にし得る。いくつかの実施形態では、足／履物によって生産された音に対応する、オーディオ信号は、オーディオセグメント内の他のオーディオ信号から分離されることができる。例えば、複数のオーディオセグメントが、異なる接地セグメント上で同一足／履物を使用して記録されることができ、これは、足／履物に対応するオーディオ信号が決定されることを可能にし得る。オーディオ信号、オーディオセグメント、および／または音響性質は、接地セグメントの一部と関連付けられ、ＭＲシステム５０４内に記憶され、および／または１つまたはそれを上回る遠隔サーバ内に記憶されることができる。
【0123】
ビデオデータもまた、足音（または他の衝突）と関連付けられる、オーディオセグメントを分析および／または処理するために使用されることができる。いくつかの実施形態では、ＭＲシステム５０４上の１つまたはそれを上回るカメラによって捕捉されたビデオストリームは、オーディオデータを分析するために使用され得る、視覚的情報を含み得る。例えば、ＭＲシステム５０４は、木製の接地表面５０８が木製の外観を有することを識別してもよい（例えば、縁検出を使用して、板材を検出し、および／またはパターン認識を使用して、木目を検出する）。本ビデオ情報は、例えば（実足５０６とは対照的に）ＭＲシステム５０４が、木製の表面との既知の衝突音に基づいて、オーディオ信号を識別することが可能であり得るため、木製の接地表面５０８によって生産された音に対応するオーディオセグメントの部分を抽出するために使用されることができる。いくつかの実施形態では、ビデオデータは、接地表面の異なるセグメントを識別するために使用されることができる。例えば、ビデオデータは、木製の接地表面５０８が、カーペット製の接地表面５１０と異なる材料である可能性が高く（それによって、異なる音を有するはずである）、これが、タイル製の接地表面５１２とも異なる材料である可能性が高いことを識別するために使用されることができる。ビデオデータはまた、特定の接地表面が開始および／または終了する場所を識別するために使用されることができる。これらの視覚的境界は、特定のオーディオセグメントおよび／または特性と関連付けられ得る、接地表面の部分を識別するために使用されることができる。
【0124】
いったんオーディオデータが、処理され、分析され、表面と関連付けられ、および／または記憶されると、オーディオデータは、仮想オブジェクトと既知の表面との間の衝突に関する音を生成するために使用されることができる。衝突に関する音は、必要に応じて、ランタイム動作の間に生成されることができる。例えば、仮想足５１６が、木製の接地表面５０８と衝突するにつれて、音が、生成され、ユーザ５０２に提示されることができる。生成された音は、仮想足５１６が「実際」のものである場合、仮想足５１６と木製の接地表面５０８との間の衝突に結び付けられるであろう、現実的音に対応し得る。いくつかの実施形態では、木製の接地表面５０８と関連付けられる、オーディオセグメント（例えば、実足５０６と木製の接地表面５０８との間の衝突の間に記録および／または処理されたオーディオセグメント）は、再生され、音を生成することができる。オーディオセグメントは、雑音を低減させ、および／または衝突に対応し得ない音（例えば、オーディオセグメントの記録の間の衣類の摩擦音またはユーザ発話）を軽減させるように処理されている場合がある。
【0125】
いくつかの実施形態では、オーディオセグメント（例えば、木製の接地表面５０８と関連付けられるもの）は、分析－再合成技法を使用して処理されることができる。例えば、オーディオセグメントは、踵衝打と爪先衝打との間の時間を考慮するように時間が引き延ばされることができる。いくつかの実施形態では、短時間高速フーリエ変換が、適用され、オーディオセグメントを変調および再合成することができる（例えば、仮想キャラクタ５１４の歩幅に合致させるために）。他の例示的分析－再合成技法は、スペクトルモデル化合成、ウェーブレット分析－再合成、ＭＱ分析－再合成、および位相ヴォコーディングを含んでもよい。
【0126】
いくつかの実施形態では、音は、衝突するオブジェクトの物理的モデルを使用して生成されることができる。例えば、仮想足５１６の物理的および／または音響特性は、既知であって、および／または１つまたはそれを上回るデータベース（例えば、遠隔サーバ上に位置する、外部データベース）から読み出されることができる。仮想足５１６の幾何学形状は、ＭＲシステム５０４にとって既知であり得、材料および／または音響性質もまた、既知であって、および／または読み出されてもよい。いくつかの実施形態では、仮想足５１６が衝突に応答する方法の物理的モデルが、構築されることができ、オーディオが、物理的モデルに基づいて生成されることができる。いくつかの実施形態では、接地表面の物理的モデルもまた、構築されることができる。例えば、接地表面と関連付けられる、オーディオセグメントおよび／または音響性質が、メモリおよび／または１つまたはそれを上回る遠隔サーバから読み出されることができる。接地表面の物理的モデルは、表面の推定される性質（例えば、表面の視覚的テクスチャ、共鳴性質、基本周波数、下層構造が中空であるかどうか等）を使用して生成されることができる。これらの性質は、本明細書にさらに詳細に説明されるように、ＭＲシステム５０４の１つまたはそれを上回るセンサを使用して推定されてもよい。接地表面に関する物理的モデルを使用して、オーディオは、衝突が物理的モデルに基づいて生産するであろう、音に基づいて生成されることができる。
【0127】
本開示の方法および説明は、仮想足と実床表面との間の表面の適切な衝突音を生成するステップを説明するが、また、類似方法は、他の仮想オブジェクト（例えば、非足）と実オブジェクト（例えば、非床表面）との間の任意の衝突のために使用されることもできることが検討される。例えば、ＭＲシステム５０４は、ビデオデータおよび／またはオーディオデータを使用して、ユーザ５０２が実マグカップをテーブル表面上に置くときを認識する。本オーディオおよび／またはビデオデータは、本明細書に説明される技法を使用して、分析および／または処理され、仮想オブジェクトと同一テーブル表面に関する衝突音を生成してもよい。
【0128】
いくつかの実施形態では、ＭＲシステム５０４は、実材料の音響性質を決定するために、ユーザ相互作用を要求してもよい。例えば、較正周期が、ユーザが、環境内の種々の表面を、音響データがそれらの対応する表面に関して生成され得るように、タップすることを要求し得る。
【0129】
【0130】
ステップ６０２では、オーディオストリームが、生成されることができる（例えば、ＭＲシステム５０４等のウェアラブル頭部デバイスの１つまたはそれを上回るマイクロホンによって）。いくつかの実施形態では、オーディオストリームは、ユーザ（例えば、ユーザ５０２）がＭＲシステム（例えば、ＭＲシステム５０４）を使用している間、継続的に生成されることができる。いくつかの実施形態では、オーディオストリームは、ある時間周期（例えば、十分な情報が実環境内の材料の音響性質に関して取得される、較正周期）の間、生成されることができる。オーディオストリームは、１つまたはそれを上回るバッファ内に記憶されることができ、オーディオストリームが記録されている時間および場所に対応する、タイムスタンプおよび座標（例えば、ＭＲＥ内の場所、ユーザ場所）を含んでもよい。オーディオストリームは、実環境の実表面と衝突する実オブジェクトの音についての情報を含み得る。
【0131】
ステップ６０４では、ビデオストリームが、生成されることができる（例えば、ＭＲシステム５０４等のウェアラブル頭部デバイスの１つまたはそれを上回るカメラによって）。いくつかの実施形態では、ビデオストリームは、ユーザ（例えば、ユーザ５０２）がＭＲシステム（例えば、ＭＲシステム５０４）を使用している間、継続的に生成されることができる。いくつかの実施形態では、ビデオストリームは、ある時間周期（例えば、十分な情報が実環境内の材料の音響性質に関して取得される、較正周期）の間、生成されることができる。ビデオストリームは、１つまたはそれを上回るバッファ内に記憶されることができ、ビデオストリームが記録されている時間および場所に対応する、タイムスタンプおよび座標（例えば、ＭＲＥ内の場所、ユーザ場所）を含んでもよい。ビデオストリームは、実環境の実表面の情報（例えば、実表面の材料に関連する視覚的情報）を含んでもよい。
【0132】
ステップ６０６では、トリガイベントが生じたかどうかが決定されることができる。いくつかの実施形態では、トリガイベントは、着目音と関連付けられ得る、イベントを含むことができる。例えば、接地表面上の足音は、足音衝突の音を生成することが所望される場合、トリガイベントと見なされ得る。いくつかの実施形態では、ウェアラブル頭部デバイス（例えば、ＭＲシステム５０４）の頭部姿勢および／またはＩＭＵデータを使用して、足音が生じたかどうかが決定されることができる。足音が生じたかどうかの決定は、図５に関して説明される。簡潔にするために、これは、再びここでは説明されないであろう。
【0133】
概して、着目音は、実環境の表面と衝突する実オブジェクトの音であってもよい。別の実施例として、実環境内の実オブジェクトと衝突する実オブジェクトは、トリガイベントと見なされ得る。ＭＲシステムのセンサは、トリガイベントが生じたかどうかを決定するために使用されてもよい。
【0134】
ステップ６０８では、トリガイベントに対応する、第２のタイムスタンプが、識別されることができる。いくつかの実施形態では、第２のタイムスタンプは、トリガイベントが生じたことの決定に応答して、識別されることができる。
【0135】
ステップ６１０では、オーディオストリームの一部および／またはビデオストリームの一部が、第２のタイムスタンプに基づいて、識別されることができる。第２のタイムスタンプは、ステップ６０２および／または６０４において生成された、オーディオストリームおよび／またはビデオストリームのタイムスタンプの一部であってもよい（例えば、オーディオストリームおよび／またはビデオストリームの生成の間に生じたトリガイベント）。いくつかの実施形態では、オーディオストリームの一部およびビデオストリームの一部は、トリガイベントが生じたことの決定に従って識別されることができる。いくつかの実施形態では、オーディオストリームおよび／またはビデオストリームの一部は、第２のタイムスタンプ前の時間周期および／または後の時間周期を含むことができる。
【0136】
ステップ６１２では、第１のオーディオ信号が、オーディオストリームの識別された部分および／またはビデオストリームの識別された部分に基づいて生成されることができる。いくつかの実施形態では、第１のオーディオ信号は、実環境の表面と（例えば、トリガイベントと関連付けられる表面）衝突する仮想オブジェクトの音と関連付けられる。いくつかの実施形態では、第１のオーディオ信号は、オーディオストリームの一部を含むことができる。いくつかの実施形態では、第１のオーディオ信号を生成するステップは、本明細書に説明されるように、オーディオストリームの一部を処理および／または分析するステップを含むことができる。いくつかの実施形態では、第１のオーディオ信号を生成するステップは、オーディオストリームの一部から決定され得る、１つまたはそれを上回る音響特性を使用するステップを含むことができる。いくつかの実施形態では、第１のオーディオ信号は、トリガイベントの位置と関連付けられることができる。トリガイベントの位置は、本明細書に説明される技法を使用して、トリガイベントのタイムスタンプと関連付けられる、頭部姿勢データに基づいて決定されることができる。
【0137】
ステップ６１４では、仮想オブジェクトが、表面（例えば、実表面、すなわち、トリガイベントと関連付けられる表面）と衝突するように提示されることができる。例えば、仮想キャラクタ５１４が、ＭＲＥ５００を歩き回り得、仮想足５１６が、カーペット製の接地表面５１０と衝突するように提示され得る。いくつかの実施形態では、仮想オブジェクトは、ウェアラブル頭部デバイス（例えば、ＭＲシステム５０４）の１つまたはそれを上回る透過型ディスプレイを介して、表面と衝突するように提示されることができる。
【0138】
ステップ６１６では、第２のオーディオ信号が、第１のオーディオ信号に基づいて、生成され、提示されることができる。いくつかの実施形態では、第２のオーディオ信号は、表面と衝突する仮想オブジェクトによって作成された音に対応する。いくつかの実施形態では、第２のオーディオ信号は、ウェアラブル頭部デバイス（例えば、ＭＲシステム５０４）の１つまたはそれを上回るスピーカを介して提示されることができる。いくつかの実施形態では、第２のオーディオ信号は、第１のオーディオ信号を含むことができる。例えば、第１のオーディオ信号は、第２のオーディオ信号として再生されることができる。いくつかの実施形態では、第２のオーディオ信号を生成するステップは、分析－再合成を第１のオーディオ信号上で実施するステップを含むことができる。いくつかの実施形態では、第２のオーディオ信号を生成するステップは、仮想オブジェクトに対応する、物理的モデルを生成するステップと、表面に対応する、物理的モデルを生成するステップとを含むことができる。物理的モデルは、第２のオーディオ信号を生成するために使用されることができる。
【0139】
いくつかの実施形態によると、方法が、ウェアラブル頭部デバイスのマイクロホンを介して、オーディオストリームを生成するステップと、ウェアラブル頭部デバイスのセンサを介して、ビデオストリームを生成するステップと、トリガイベントが生じたことを決定するステップと、トリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、タイムスタンプを識別するステップと、タイムスタンプに基づいて、オーディオストリームの一部を識別するステップと、タイムスタンプに基づいて、ビデオストリームの一部を識別するステップと、オーディオストリームの一部およびビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成するステップと、表面と衝突する仮想オブジェクトを提示するステップであって、表面は、トリガイベントと関連付けられる、ステップと、第１のオーディオ信号に基づいて、第２のオーディオ信号を生成するステップと、第２のオーディオ信号を提示するステップとを含む。
【0140】
いくつかの実施形態によると、トリガイベントは、表面上の足音を備える。
【0141】
いくつかの実施形態によると、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの移動データに基づく。
【0142】
いくつかの実施形態によると、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの慣性データに基づく。
【0143】
いくつかの実施形態によると、トリガイベントが生じたことを決定するステップは、補助デバイスの慣性データに基づき、補助デバイスは、ウェアラブル頭部デバイスに結合される。
【0144】
いくつかの実施形態によると、本方法はさらに、トリガイベントが生じたことの決定に従って、タイムスタンプに基づいて、ウェアラブル頭部デバイスの位置を識別するステップと、ウェアラブル頭部デバイスの位置に基づいて、トリガイベントの位置を決定するステップと、トリガイベントの位置と第１のオーディオ信号を関連付けるステップとを含む。
【0145】
いくつかの実施形態によると、本方法はさらに、仮想オブジェクトと表面の衝突の位置を決定するステップと、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられるかどうかを決定するステップとを含み、第２のオーディオ信号を生成するステップはさらに、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられることの決定に基づく。
【0146】
いくつかの実施形態によると、第２のオーディオ信号を生成するステップはさらに、表面の物理的モデルおよび仮想オブジェクトの物理的モデルのうちの少なくとも１つに基づく。
【0147】
いくつかの実施形態によると、第２のオーディオ信号を生成するステップはさらに、第１のオーディオ信号の分析および再合成に基づく。
【0148】
いくつかの実施形態によると、本方法はさらに、トリガイベントが生じたことの決定に従って、第１のオーディオ信号と表面を関連付けるステップを含む。
【0149】
いくつかの実施形態によると、第２のオーディオ信号は、仮想オブジェクトと表面の衝突に対応する。
【0150】
いくつかの実施形態によると、本方法はさらに、第１のオーディオ信号を記憶するステップを含み、仮想オブジェクトと表面の衝突は、第２のウェアラブル頭部デバイスのディスプレイ上に提示され、第２のオーディオ信号を生成するステップはさらに、記憶された第１のオーディオ信号に基づく。
【0151】
いくつかの実施形態によると、本方法はさらに、第２のオーディオストリームを生成するステップと、第２のビデオストリームを生成するステップと、第２のトリガイベントが生じたことを決定するステップと、第２のトリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、第２のタイムスタンプを識別するステップと、第２のタイムスタンプに基づいて、第２のオーディオストリームの一部を識別するステップと、第２のタイムスタンプに基づいて、第２のビデオストリームの一部を識別するステップと、第２のオーディオストリームの一部および第２のビデオストリームの一部のうちの少なくとも１つに基づいて、第３のオーディオ信号を生成するステップとを含み、第２のオーディオ信号を生成するステップはさらに、第３のオーディオ信号に基づく。
【0152】
いくつかの実施形態によると、ビデオストリームは、表面と関連付けられる、情報を含む。
【0153】
いくつかの実施形態によると、仮想オブジェクトは、仮想キャラクタの足を備える。
【0154】
いくつかの実施形態によると、表面の材料は、音響性質と関連付けられ、第２のオーディオ信号を生成するステップはさらに、表面の材料の音響性質に基づく。
【0155】
いくつかの実施形態によると、本方法はさらに、材料の測定された吸収係数、手動定義、音響データ、および慣性データのうちの少なくとも１つに基づいて、表面の材料の音響性質を決定するステップを含む。
【0156】
いくつかの実施形態によると、システムが、マイクロホンと、センサと、ディスプレイと、オーディオ出力と、マイクロホンを介して、オーディオストリームを生成するステップと、センサを介して、ビデオストリームを生成するステップと、トリガイベントが生じたことを決定するステップと、トリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、タイムスタンプを識別するステップと、タイムスタンプに基づいて、オーディオストリームの一部を識別するステップと、タイムスタンプに基づいて、ビデオストリームの一部を識別するステップと、オーディオストリームの一部およびビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成するステップと、ディスプレイ上に、表面と衝突する仮想オブジェクトを提示するステップであって、表面は、トリガイベントと関連付けられる、ステップと、第１のオーディオ信号に基づいて、第２のオーディオ信号を生成するステップと、オーディオ出力を介して、第２のオーディオ信号を提示するステップとを含む、方法を実行するように構成される、１つまたはそれを上回るプロセッサとを備える。
【0157】
いくつかの実施形態によると、トリガイベントは、表面上の足音を備える。
【0158】
いくつかの実施形態によると、本システムはさらに、第２のセンサを備え、トリガイベントが生じたことを決定するステップは、第２のセンサによって捕捉された移動データに基づく。
【0159】
いくつかの実施形態によると、本システムはさらに、慣性測定ユニットを備え、トリガイベントが生じたことを決定するステップは、慣性測定ユニットによって捕捉された慣性データに基づく。
【0160】
いくつかの実施形態によると、本システムはさらに、補助デバイスと、ウェアラブル頭部デバイスとを備え、トリガイベントが生じたことを決定するステップは、補助デバイスの慣性データに基づき、補助デバイスは、ウェアラブル頭部デバイスに結合される。
【0161】
いくつかの実施形態によると、本方法はさらに、トリガイベントが生じたことの決定に従って、タイムスタンプに基づいて、システムのウェアラブル頭部デバイスの位置を識別するステップと、システムのウェアラブル頭部デバイスの位置に基づいて、トリガイベントの位置を決定するステップと、トリガイベントの位置と第１のオーディオ信号を関連付けるステップとを含む。
【0162】
いくつかの実施形態によると、本方法はさらに、仮想オブジェクトと表面の衝突の位置を決定するステップと、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられるかどうかを決定するステップとを含み、第２のオーディオ信号を生成するステップはさらに、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられることの決定に基づく。
【0163】
いくつかの実施形態によると、第２のオーディオ信号を生成するステップはさらに、表面の物理的モデルおよび仮想オブジェクトの物理的モデルのうちの少なくとも１つに基づく。
【0164】
いくつかの実施形態によると、第２のオーディオ信号を生成するステップはさらに、第１のオーディオ信号の分析および再合成に基づく。
【0165】
いくつかの実施形態によると、本方法はさらに、トリガイベントが生じたことの決定に従って、第１のオーディオ信号と表面を関連付けるステップを含む。
【0166】
いくつかの実施形態によると、第２のオーディオ信号は、仮想オブジェクトと表面の衝突に対応する。
【0167】
いくつかの実施形態によると、本方法はさらに、第１のオーディオ信号を記憶するステップを含み、仮想オブジェクトと表面の衝突は、第２のシステムのディスプレイ上に提示され、第２のオーディオ信号を生成するステップはさらに、記憶された第１のオーディオ信号に基づく。
【0168】
いくつかの実施形態によると、本方法はさらに、第２のオーディオストリームを生成するステップと、第２のビデオストリームを生成するステップと、第２のトリガイベントが生じたことを決定するステップと、第２のトリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、第２のタイムスタンプを識別するステップと、第２のタイムスタンプに基づいて、第２のオーディオストリームの一部を識別するステップと、第２のタイムスタンプに基づいて、第２のビデオストリームの一部を識別するステップと、第２のオーディオストリームの一部および第２のビデオストリームの一部のうちの少なくとも１つに基づいて、第３のオーディオ信号を生成するステップとを含み、第２のオーディオ信号を生成するステップはさらに、第３のオーディオ信号に基づく。
【0169】
いくつかの実施形態によると、ビデオストリームは、表面と関連付けられる、情報を含む。
【0170】
いくつかの実施形態によると、仮想オブジェクトは、仮想キャラクタの足を備える。
【0171】
いくつかの実施形態によると、表面の材料は、音響性質と関連付けられ、第２のオーディオ信号を生成するステップはさらに、表面の材料の音響性質に基づく。
【0172】
いくつかの実施形態によると、本方法はさらに、材料の測定された吸収係数、手動定義、音響データ、および慣性データのうちの少なくとも１つに基づいて、表面の材料の音響性質を決定するステップを含む。
【0173】
いくつかの実施形態によると、非一過性コンピュータ可読媒体が、電子デバイスの１つまたはそれを上回るプロセッサによって実行されると、デバイスに、ウェアラブル頭部デバイスのマイクロホンを介して、オーディオストリームを生成するステップと、ウェアラブル頭部デバイスのセンサを介して、ビデオストリームを生成するステップと、トリガイベントが生じたことを決定するステップと、トリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、タイムスタンプを識別するステップと、タイムスタンプに基づいて、オーディオストリームの一部を識別するステップと、タイムスタンプに基づいて、ビデオストリームの一部を識別するステップと、オーディオストリームの一部およびビデオストリームの一部のうちの少なくとも１つに基づいて、第１のオーディオ信号を生成するステップと、表面と衝突する仮想オブジェクトを提示するステップであって、表面は、トリガイベントと関連付けられる、ステップと、第１のオーディオ信号に基づいて、第２のオーディオ信号を生成するステップと、第２のオーディオ信号を提示するステップとを含む、方法を実施させる、１つまたはそれを上回る命令を記憶する。
【0174】
いくつかの実施形態によると、トリガイベントは、表面上の足音を備える。
【0175】
いくつかの実施形態によると、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの移動データに基づく。
【0176】
いくつかの実施形態によると、トリガイベントが生じたことを決定するステップは、ウェアラブル頭部デバイスの慣性データに基づく。
【0177】
いくつかの実施形態によると、トリガイベントが生じたことを決定するステップは、補助デバイスの慣性データに基づき、補助デバイスは、ウェアラブル頭部デバイスに結合される。
【0178】
いくつかの実施形態によると、本方法はさらに、トリガイベントが生じたことの決定に従って、タイムスタンプに基づいて、ウェアラブル頭部デバイスの位置を識別するステップと、ウェアラブル頭部デバイスの位置に基づいて、トリガイベントの位置を決定するステップと、トリガイベントの位置と第１のオーディオ信号を関連付けるステップとを含む。
【0179】
いくつかの実施形態によると、本方法はさらに、仮想オブジェクトと表面の衝突の位置を決定するステップと、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられるかどうかを決定するステップとを含み、第２のオーディオ信号を生成するステップはさらに、仮想オブジェクトと表面の衝突の位置がトリガイベントの位置と関連付けられることの決定に基づく。
【0180】
いくつかの実施形態によると、第２のオーディオ信号を生成するステップはさらに、表面の物理的モデルおよび仮想オブジェクトの物理的モデルのうちの少なくとも１つに基づく。
【0181】
いくつかの実施形態によると、第２のオーディオ信号を生成するステップはさらに、第１のオーディオ信号の分析および再合成に基づく。
【0182】
いくつかの実施形態によると、本方法はさらに、トリガイベントが生じたことの決定に従って、第１のオーディオ信号と表面を関連付けるステップを含む。
【0183】
いくつかの実施形態によると、第２のオーディオ信号は、仮想オブジェクトと表面の衝突に対応する。
【0184】
いくつかの実施形態によると、本方法はさらに、第１のオーディオ信号を記憶するステップを含み、仮想オブジェクトと表面の衝突は、第２のウェアラブル頭部デバイスのディスプレイ上に提示され、第２のオーディオ信号を生成するステップはさらに、記憶された第１のオーディオ信号に基づく。
【0185】
いくつかの実施形態によると、本方法はさらに、第２のオーディオストリームを生成するステップと、第２のビデオストリームを生成するステップと、第２のトリガイベントが生じたことを決定するステップと、第２のトリガイベントが生じたことの決定に従って、トリガイベントと関連付けられる、第２のタイムスタンプを識別するステップと、第２のタイムスタンプに基づいて、第２のオーディオストリームの一部を識別するステップと、第２のタイムスタンプに基づいて、第２のビデオストリームの一部を識別するステップと、第２のオーディオストリームの一部および第２のビデオストリームの一部のうちの少なくとも１つに基づいて、第３のオーディオ信号を生成するステップとを含み、第２のオーディオ信号を生成するステップはさらに、第３のオーディオ信号に基づく。
【0186】
いくつかの実施形態によると、ビデオストリームは、表面と関連付けられる、情報を含む。
【0187】
いくつかの実施形態によると、仮想オブジェクトは、仮想キャラクタの足を備える。
【0188】
いくつかの実施形態によると、表面の材料は、音響性質と関連付けられ、第２のオーディオ信号を生成するステップはさらに、表面の材料の音響性質に基づく。
【0189】
いくつかの実施形態によると、本方法はさらに、材料の測定された吸収係数、手動定義、音響データ、および慣性データのうちの少なくとも１つに基づいて、表面の材料の音響性質を決定するステップを含む。
【0190】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【国際調査報告】