(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-06
(54)【発明の名称】遅延オーディオ追従
(51)【国際特許分類】
H04S 7/00 20060101AFI20230330BHJP
G06T 19/00 20110101ALI20230330BHJP
A63F 13/54 20140101ALI20230330BHJP
A63F 13/25 20140101ALI20230330BHJP
【ＦＩ】
H04S7/00 340
G06T19/00 300B
A63F13/54
A63F13/25
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022548902
(86)(22)【出願日】2021-02-12
(85)【翻訳文提出日】2022-10-06
(86)【国際出願番号】 US2021017971
(87)【国際公開番号】W WO2021163573
(87)【国際公開日】2021-08-19
(31)【優先権主張番号】62/976,986
(32)【優先日】2020-02-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ， インコーポレイテッド
【氏名又は名称原語表記】Ｍａｇｉｃ Ｌｅａｐ，Ｉｎｃ．
【住所又は居所原語表記】７５００ Ｗ ＳＵＮＲＩＳＥ ＢＬＶＤ，ＰＬＡＮＴＡＴＩＯＮ，ＦＬ ３３３２２ ＵＳＡ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】タジク， アナスタシア アンドレエヴナ
【テーマコード（参考）】
5B050
5D162
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050CA07
5B050CA08
5B050EA09
5B050EA27
5B050FA05
5B050FA10
5D162CC08
5D162CD08
5D162CD25
(57)【要約】
複合現実オーディオを提示するためのシステムおよび方法が開示される。例示的方法では、オーディオが、ウェアラブル頭部デバイスのユーザに提示される。第１の時間におけるユーザの頭部の第１の位置が、ウェアラブル頭部デバイスの１つまたはそれを上回るセンサに基づいて決定される。第１の時間より後の第２の時間におけるユーザの頭部の第２の位置が、１つまたはそれを上回るセンサに基づいて決定される。オーディオ信号が、第１の位置と第２の位置との間の差異に基づいて決定される。オーディオ信号は、ウェアラブル頭部デバイスのスピーカを介して、ユーザに提示される。オーディオ信号を決定することは、仮想環境内のオーディオ信号の起点を決定することを含む。オーディオ信号をユーザに提示することは、決定された起点から生じるかのように、オーディオ信号を提示することを含む。
【特許請求の範囲】
【請求項1】
システムであって、スピーカおよび１つまたはそれを上回るセンサを有するウェアラブル頭部デバイスと、
１つまたはそれを上回るプロセッサであって、
前記１つまたはそれを上回るセンサに基づいて、第１の時間におけるユーザの頭部の第１の位置を決定することと、
前記１つまたはそれを上回るセンサに基づいて、前記第１の時間より後の第２の時間における前記ユーザの頭部の第２の位置を決定することと、
前記第１の位置と前記第２の位置との間の差異に基づいて、オーディオ信号を決定することと、
前記スピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含む方法を実施するように構成される、１つまたはそれを上回るプロセッサと
を備え、
前記オーディオ信号を決定することは、仮想環境内の前記オーディオ信号の起点を決定することを含み、
前記オーディオ信号を前記ユーザに提示することは、前記決定された起点から生じるかのように、前記オーディオ信号を提示することを含み、
前記オーディオ信号の起点を決定することは、オフセットを前記ユーザの頭部の位置に適用することを含む、システム。
【請求項2】
前記オーディオ信号の起点を決定することはさらに、前記ユーザの頭部の位置の変化率に基づいて、前記オーディオ信号の起点を決定することを含む、請求項１に記載のシステム。
【請求項3】
前記オーディオ信号の起点を決定することはさらに、前記変化率が閾値を超えることの決定に従って、前記起点が第１の起点を備えることを決定することと、
前記変化率が前記閾値を超えないことの決定に従って、前記起点が前記第１の起点と異なる第２の起点を備えることを決定することと
を含む、請求項２に記載のシステム。
【請求項4】
前記オーディオ信号の起点を決定することはさらに、前記オフセットの大きさが閾値を下回ることの決定に従って、前記起点が第１の起点を備えることを決定することと、
前記オフセットの大きさが前記閾値を下回らないことの決定に従って、前記起点が前記第１の起点と異なる第２の起点を備えることを決定することと
を含む、請求項１に記載のシステム。
【請求項5】
前記オーディオ信号を決定することはさらに、前記仮想環境内の速度を決定することを含み、前記オーディオ信号を前記ユーザに提示することはさらに、前記起点が前記決定された速度で運動するかのように、前記オーディオ信号を提示することを含む、
請求項１に記載のシステム。
【請求項6】
前記速度を決定することは、前記ユーザの頭部の第１の位置と前記ユーザの頭部の第２の位置との間の差異に基づいて、前記速度を決定することを含む、請求項５に記載のシステム。
【請求項7】
前記オフセットは、前記ユーザの頭部の第１の位置に基づいて決定される、請求項１に記載のシステム。
【請求項8】
オーディオをウェアラブル頭部デバイスのユーザに提示する方法であって、前記ウェアラブル頭部デバイスの１つまたはそれを上回るセンサに基づいて、第１の時間における前記ユーザの頭部の第１の位置を決定することと、
前記１つまたはそれを上回るセンサに基づいて、前記第１の時間より後の第２の時間における前記ユーザの頭部の第２の位置を決定することと、
前記第１の位置と前記第２の位置との間の差異に基づいて、オーディオ信号を決定することと、
前記ウェアラブル頭部デバイスのスピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含み、
前記オーディオ信号を決定することは、仮想環境内の前記オーディオ信号の起点を決定することを含み、
前記オーディオ信号を前記ユーザに提示することは、前記決定された起点から生じるかのように、前記オーディオ信号を提示することを含み、
前記オーディオ信号の起点を決定することは、オフセットを前記ユーザの頭部の位置に適用することを含む、方法。
【請求項9】
前記オーディオ信号の起点を決定することはさらに、前記ユーザの頭部の位置の変化率に基づいて、前記オーディオ信号の起点を決定することを含む、請求項８に記載の方法。
【請求項10】
前記オーディオ信号の起点を決定することはさらに、前記変化率が閾値を超えることの決定に従って、前記起点が第１の起点を備えることを決定することと、
前記変化率が前記閾値を超えないことの決定に従って、前記起点が前記第１の起点と異なる第２の起点を備えることを決定することと
を含む、請求項９に記載の方法。
【請求項11】
前記オーディオ信号の起点を決定することはさらに、前記オフセットの大きさが閾値を下回ることの決定に従って、前記起点が第１の起点を備えることを決定することと、
前記オフセットの大きさが前記閾値を下回らないことの決定に従って、前記起点が前記第１の起点と異なる第２の起点を備えることを決定することと
を含む、請求項８に記載の方法。
【請求項12】
前記オーディオ信号を決定することはさらに、前記仮想環境内の速度を決定することを含み、前記オーディオ信号を前記ユーザに提示することはさらに、前記起点が前記決定された速度で運動するかのように、前記オーディオ信号を提示することを含む、
請求項８に記載の方法。
【請求項13】
前記速度を決定することは、前記ユーザの頭部の第１の位置と前記ユーザの頭部の第２の位置との間の差異に基づいて、前記速度を決定することを含む、請求項１２に記載の方法。
【請求項14】
前記オフセットは、前記ユーザの頭部の第１の位置に基づいて決定される、請求項８に記載の方法。
【請求項15】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つまたはそれを上回るプロセッサによって実行されると、前記１つまたはそれを上回るプロセッサに、オーディオをウェアラブル頭部デバイスのユーザに提示する方法を実施させ、前記方法は、前記ウェアラブル頭部デバイスの１つまたはそれを上回るセンサに基づいて、第１の時間における前記ユーザの頭部の第１の位置を決定することと、
前記１つまたはそれを上回るセンサに基づいて、前記第１の時間より後の第２の時間における前記ユーザの頭部の第２の位置を決定することと、
前記第１の位置と前記第２の位置との間の差異に基づいて、オーディオ信号を決定することと、
前記ウェアラブル頭部デバイスのスピーカを介して、前記オーディオ信号を前記ユーザに提示することと
を含み、
前記オーディオ信号を決定することは、仮想環境内の前記オーディオ信号の起点を決定することを含み、
前記オーディオ信号を前記ユーザに提示することは、前記決定された起点から生じるかのように、前記オーディオ信号を提示することを含み、
前記オーディオ信号の起点を決定することは、オフセットを前記ユーザの頭部の位置に適用することを含む、
非一過性コンピュータ可読媒体。
【請求項16】
前記オーディオ信号の起点を決定することはさらに、前記ユーザの頭部の位置の変化率に基づいて、前記オーディオ信号の起点を決定することを含む、請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項17】
前記オーディオ信号の起点を決定することはさらに、前記変化率が閾値を超えることの決定に従って、前記起点が第１の起点を備えることを決定することと、
前記変化率が前記閾値を超えないことの決定に従って、前記起点が前記第１の起点と異なる第２の起点を備えることを決定することと
を含む、請求項１６に記載の非一過性コンピュータ可読媒体。
【請求項18】
前記オーディオ信号の起点を決定することはさらに、前記オフセットの大きさが閾値を下回ることの決定に従って、前記起点が第１の起点を備えることを決定することと、
前記オフセットの大きさが前記閾値を下回らないことの決定に従って、前記起点が前記第１の起点と異なる第２の起点を備えることを決定することと
を含む、請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項19】
前記オーディオ信号を決定することはさらに、前記仮想環境内の速度を決定することを含み、前記オーディオ信号を前記ユーザに提示することはさらに、前記起点が前記決定された速度で運動するかのように、前記オーディオ信号を提示することを含む、
請求項１５に記載の非一過性コンピュータ可読媒体。
【請求項20】
前記速度を決定することは、前記ユーザの頭部の第１の位置と前記ユーザの頭部の第２の位置との間の差異に基づいて、前記速度を決定することを含む、請求項１９に記載の非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０２０年２月１４日に出願された、米国仮出願第６２／９７６，９８６号の利益を請求する。
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０２０年２月１４日に出願された、米国仮出願第６２／９７６，９８６号の利益を請求する。
【0002】
本開示は、一般に、オーディオをユーザに提示するためのシステムおよび方法に関し、特に、複合現実環境内でオーディオをユーザに提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【0004】
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザに、コンピュータシステム内のデータによって表される仮想環境に対応する、感覚情報を提示する能力を共有する。そのようなシステムは、仮想視覚的およびオーディオキューと実光景および音を組み合わせることによって、一意に増大した没入感および現実性をもたらすことができる。故に、音が自然に生じているように感じられように、かつユーザの実環境内の音のユーザの予期と一貫して、デジタル音をＸＲシステムのユーザに提示することが望ましくあり得る。概して、ユーザは、仮想音が、その中で彼らに聞こえる、実環境の音響性質を帯びるであろうことを予期する。例えば、大コンサートホール内のＸＲシステムのユーザは、ＸＲシステムの仮想音が、大洞窟のような音波品質を有することを予期し、逆に言えば、狭いアパート内のユーザは、音が、より減衰され、近く、かつ即座であることを予期するであろう。仮想音と実および／または仮想環境の音響性質を合致させることに加え、現実性はさらに、仮想音を空間化することによって向上される。例えば、仮想オブジェクトが、視覚的に、背後からユーザを越えて飛行し得、ユーザは、対応する仮想音がユーザに対する仮想オブジェクトの空間移動を同様に反映させることを予期し得る。
【0005】
既存の技術は、多くの場合、ユーザの周囲を考慮せず、また仮想オブジェクトの空間移動に対応せず、ユーザ体験を損なわせ得る、不真正性の感覚につながる、仮想オーディオを提示すること等によって、これらの予期を欠いている。ＸＲシステムのユーザの観察は、ユーザが、仮想コンテンツと実環境との間の視覚的不整合（例えば、照明における不一致）には比較的に寛容であり得るが、ユーザが、聴覚的不整合により敏感であり得ることを示す。我々の生活全体を通して持続的に精緻化される、我々の独自の聴覚的体験は、我々に、我々の物理的環境が我々が聞こえる音にどのように影響を及ぼすかを敏感に認知させ得、我々は、それらの予期と一致しない、音に非常に敏感であり得る。ＸＲシステムでは、そのような不一致は、不快であり得、没入型かつ人を引き付ける体験を仕掛的な模倣したものに変えさせ得る。極端な実施例では、聴覚的不一致は、内耳が聴覚的刺激とその対応する視覚的キューを調和させることが不可能であるため、乗り物酔いおよび他の悪影響を及ぼし得る。
【0006】
我々のオーディオ感知に対する我々の感度のため、没入型のオーディオ体験は、没入型の視覚的体験より重要ではないにしても、それと等しく重要であり得る。ＸＲシステムに利用可能な種々の感知および演算能力のため、ＸＲシステムは、音を１つまたはそれを上回るチャネルに分裂させることによって、音を空間化し得る、従来的オーディオシステムよりはるかに没入型のオーディオ体験をもたらすように位置付けられ得る。例えば、ステレオヘッドホンは、左チャネルおよび右チャネルを使用して、オーディオをユーザに提示し、異なる方向から生じる音の出現を与え得る。いくつかのステレオヘッドホンは、（５．１チャネルのような）付加的チャネルをシミュレートし、オーディオ空間化をさらに向上させ得る。しかしながら、従来的システムは、空間化音位置がユーザに対して静的であるという事実に悩まされ得る。例えば、ユーザの左耳から５フィートの場所で生じるようにユーザに提示され得る、ギター音は、ユーザがその頭部を回転させるにつれて、ユーザに対して動的に変化し得ない。そのような静的挙動は、「実」環境内のオーディオ挙動を反映させ得ない。ライブオーケストラを鑑賞している人物は、例えば、小頭部移動に基づいて、そのオーディオ体験に若干の変化を被り得る。これらの小音響挙動は、累積し、没入型のオーディオ体験に追加され得る。したがって、ＸＲシステムがユーザのオーディオ体験を向上させるためのオーディオシステムおよび方法を開発することが望ましい。
【0007】
ユーザの物理的環境の特性を考慮することによって、本明細書に説明されるシステムおよび方法は、ユーザによって聞こえるであろうものを、仮想音がその環境内で自然に生成される実音であるかのように、シミュレートすることができる。音が実世界内で挙動する方法に忠実な様式において、仮想音を提示することによって、ユーザは、複合現実環境とのつながりの増大した感覚を体験し得る。同様に、ユーザの移動および環境に応答する、場所を意識した仮想コンテンツを提示することによって、コンテンツは、より主観的で、双方向で、かつ現実的となり、例えば、点Ａにおけるユーザの体験は、点Ｂにおけるその体験と全体的に異なり得る。本向上された現実性および相互作用は、空間的に意識したオーディオを使用して、新規形態のゲームプレー、ソーシャル特徴、または双方向挙動を有効にするもの等、複合現実の新しい用途のための基盤を提供することができる。
【発明の概要】
【課題を解決するための手段】
【0008】
本開示の実施例は、複合現実オーディオを提示するためのシステムおよび方法を説明する。本開示の実施例によると、オーディオが、ウェアラブル頭部デバイスのユーザに提示される。第１の時間におけるユーザの頭部の第１の位置が、ウェアラブル頭部デバイスの１つまたはそれを上回るセンサに基づいて決定される。第１の時間より後の第２の時間におけるユーザの頭部の第２の位置が、１つまたはそれを上回るセンサに基づいて決定される。オーディオ信号が、第１の位置と第２の位置との間の差異に基づいて決定される。オーディオ信号は、ウェアラブル頭部デバイスのスピーカを介して、ユーザに提示される。オーディオ信号を決定することは、仮想環境内のオーディオ信号の起点を決定することを含む。オーディオ信号をユーザに提示することは、決定された起点から生じるかのように、オーディオ信号を提示することを含む。オーディオ信号の起点を決定することは、オフセットをユーザの頭部の位置に適用することを含む。
【図面の簡単な説明】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【発明を実施するための形態】
【0016】
詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
【0017】
複合現実環境
【0018】
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の３次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から３つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
【0019】
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、３次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第１の時間ｔ０において、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間ｔ１における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間ｔ０において、第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間ｔ１におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および／または任意の好適な入力を使用して、時間ｔ１における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0020】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト（無生物オブジェクト、人々、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに１つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい（例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、１つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。
【0021】
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
【0022】
複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび／または１つまたはそれを上回るスピーカ（例えば、ウェアラブル頭部デバイスの中に組み込まれ得る）を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境（「ＭＲＥ」）を提示することができる。いくつかの実施形態では、１つまたはそれを上回るスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、ＭＲＥは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列（または他の好適な表現）によって相互に関連する。故に、単一座標（いくつかの実施例では、変換行列とともに）は、実環境内の第１の場所と、また、仮想環境内の第２の対応する場所とを定義し得、その逆も同様である。
【0023】
ＭＲＥでは、（例えば、ＭＲＥと関連付けられる仮想環境内の）仮想オブジェクトは、（例えば、ＭＲＥと関連付けられる実環境内の）実オブジェクトに対応し得る。例えば、ＭＲＥの実環境が、実街灯柱（実オブジェクト）をある場所座標に含む場合、ＭＲＥの仮想環境は、仮想街灯柱（仮想オブジェクト）を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい（街灯柱が略円筒形形状であり得ることを反映する）。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、ＭＲＥのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、ＭＲＥのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、ＭＲＥの仮想環境内にのみ存在し得る。
【0024】
いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、ＭＲＥ内の実環境は、緑色の２本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、ＭＲＥ内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の２本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性（色、腕の数）において、その対応する実オブジェクトに類似するが、他の特性（顔特徴、性格）において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動（例えば、人間の性格）をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物（例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ）であってもよい。
【0025】
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、ＶＲシステムと比較して、ＭＲＥを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、ＶＲシステムのユーザは、上記に述べられたように、ユーザが、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、ＭＲシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、ＶＲシステムと関連付けられる負の心理学的感覚（例えば、認知的不協和）および負の物理的感覚（例えば、乗り物酔い）を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
【0026】
図１Ａは、ユーザ１１０が複合現実システム１１２を使用する、例示的実環境１００を図示する。複合現実システム１１２は、ディスプレイ（例えば、透過型ディスプレイ）および１つまたはそれを上回るスピーカと、例えば、下記に説明されるような１つまたはそれを上回るセンサ（例えば、カメラ）とを含んでもよい。示される実環境１００は、その中にユーザ１１０が立っている、長方形の部屋１０４Ａと、実オブジェクト１２２Ａ（ランプ）、１２４Ａ（テーブル）、１２６Ａ（ソファ）、および１２８Ａ（絵画）とを含む。部屋１０４Ａはさらに、場所座標１０６を含み、これは、実環境１００の原点と見なされ得る。図１Ａに示されるように、その原点を点１０６（世界座標）に伴う、環境／世界座標系１０８（ｘ－軸１０８Ｘ、ｙ－軸１０８Ｙ、およびｚ－軸１０８Ｚを備える）は、実環境１００のための座標空間を定義し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、複合現実システム１１２の電源がオンにされた場所に対応し得る。いくつかの実施形態では、環境／世界座標系１０８の原点１０６は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ１１０は、実環境１００内の実オブジェクトと見なされ得る。同様に、ユーザ１１０の身体部分（例えば、手、足）は、実環境１００内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点１１５（例えば、ユーザ／聴取者／頭部座標）に伴う、ユーザ／聴取者／頭部座標系１１４（ｘ－軸１１４Ｘ、ｙ－軸１１４Ｙ、およびｚ－軸１１４Ｚを備える）は、その上に複合現実システム１１２が位置する、ユーザ／聴取者／頭部のための座標空間を定義し得る。ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の１つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ／聴取者／頭部座標系１１４の原点１１５は、複合現実システム１１２の初期較正等の間、複合現実システム１１２のディスプレイに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、ユーザ／聴取者／頭部座標系１１４空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標１１６および右耳座標１１７が、ユーザ／聴取者／頭部座標系１１４の原点１１５に対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現が、左耳座標１１６および右耳座標１１７とユーザ／聴取者／頭部座標系１１４空間との間の変換を特性評価することができる。ユーザ／聴取者／頭部座標系１１４は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境／世界座標系１０８に対する場所の表現を簡略化することができる。同時位置特定およびマッピング（ＳＬＡＭ）、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系１１４と環境座標系１０８との間の変換が、リアルタイムで決定および更新されることができる。
【0027】
図１Ｂは、実環境１００に対応する、例示的仮想環境１３０を図示する。示される仮想環境１３０は、実長方形部屋１０４Ａに対応する仮想長方形部屋１０４Ｂと、実オブジェクト１２２Ａに対応する仮想オブジェクト１２２Ｂと、実オブジェクト１２４Ａに対応する仮想オブジェクト１２４Ｂと、実オブジェクト１２６Ａに対応する仮想オブジェクト１２６Ｂとを含む。仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂと関連付けられるメタデータは、対応する実オブジェクト１２２Ａ、１２４Ａ、１２６Ａから導出される情報を含むことができる。仮想環境１３０は、加えて、仮想モンスタ１３２を含み、これは、実環境１００内の任意の実オブジェクトに対応しない。実環境１００内の実オブジェクト１２８Ａは、仮想環境１３０内の任意の仮想オブジェクトに対応しない。その原点を点１３４（持続的座標）に伴う、持続的座標系１３３（ｘ－軸１３３Ｘ、ｙ－軸１３３Ｙ、およびｚ－軸１３３Ｚを備える）は、仮想コンテンツのための座標空間を定義し得る。持続的座標系１３３の原点１３４は、実オブジェクト１２６Ａ等の１つまたはそれを上回る実オブジェクトと相対的に／それに対して定義されてもよい。行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、持続的座標系１３３空間と環境／世界座標系１０８空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、持続的座標系１３３の原点１３４に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２はそれぞれ、１つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。
【0028】
図１Ａおよび１Ｂに関して、環境／世界座標系１０８は、実環境１００および仮想環境１３０の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点１０６に有する。さらに、座標空間は、同一の３つの直交軸（１０８Ｘ、１０８Ｙ、１０８Ｚ）によって定義される。故に、実環境１００内の第１の場所および仮想環境１３０内の第２の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示することを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では（図示せず）、行列（平行移動行列および四元数行列または他の回転行列を含み得る）または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
【0029】
図１Ｃは、同時に、実環境１００および仮想環境１３０の側面をユーザ１１０に複合現実システム１１２を介して提示する、例示的ＭＲＥ１５０を図示する。示される実施例では、ＭＲＥ１５０は、同時に、ユーザ１１０に、実環境１００からの実オブジェクト１２２Ａ、１２４Ａ、１２６Ａ、および１２８Ａ（例えば、複合現実システム１１２のディスプレイの透過性部分を介して）と、仮想環境１３０からの仮想オブジェクト１２２Ｂ、１２４Ｂ、１２６Ｂ、および１３２（例えば、複合現実システム１１２のディスプレイのアクティブディスプレイ部分を介して）とを提示する。上記のように、原点１０６は、ＭＲＥ１５０に対応する座標空間のための原点として作用し、座標系１０８は、座標空間のためのｘ－軸、ｙ－軸、およびｚ－軸を定義する。
【0030】
示される実施例では、複合現実オブジェクトは、座標空間１０８内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト（すなわち、１２２Ａ／１２２Ｂ、１２４Ａ／１２４Ｂ、１２６Ａ／１２６Ｂ）を含む。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ１１０に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る（仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等）。いくつかの実施例では、仮想オブジェクト（１２２Ｂ、１２４Ｂ、および／または１２６Ｂ）は、対応する実オブジェクト（１２２Ａ、１２４Ａ、および／または１２６Ａ）をオクルードするように、表示されてもよい（例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して）。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る（無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等）。
【0031】
いくつかの実施例では、実オブジェクト（例えば、１２２Ａ、１２４Ａ、１２６Ａ）は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの２次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
【0032】
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、ＭＲＥ１５０では、仮想モンスタ１３２は、モンスタがＭＲＥ１５０の周囲を歩き回るにつれて生成される、足音効果等の１つまたはそれを上回るオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム１１２のプロセッサは、ＭＲＥ１５０内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム１１２内に含まれる１つまたはそれを上回るスピーカおよび／または１つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ１１０に提示することができる。
【0033】
例示的複合現実システム
【0034】
例示的複合現実システム１１２は、ディスプレイ（接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを含み得る）と、左および右スピーカ（例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる）と、慣性測定ユニット（ＩＭＵ）（例えば、頭部デバイスのつるのアームに搭載される）と、直交コイル電磁受信機（例えば、左つる部品に搭載される）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）とを備える、ウェアラブル頭部デバイス（例えば、ウェアラブル拡張現実または複合現実頭部デバイス）を含むことができる。しかしながら、複合現実システム１１２は、任意の好適なディスプレイ技術および任意の好適なセンサ（例えば、光学、赤外線、音響、ＬＩＤＡＲ、ＥＯＧ、ＧＰＳ、磁気）を組み込むことができる。加えて、複合現実システム１１２は、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム１１２はさらに、バッテリ（ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい）と、プロセッサと、メモリとを含んでもよい。複合現実システム１１２のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、ＩＭＵまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム１１２はまた、ハンドヘルドコントローラ３００、および／または下記にさらに説明されるように、ウェアラブルベルトパックであり得る、補助ユニット３２０を含んでもよい。
【0035】
図２Ａ－２Ｄは、ＭＲＥ（ＭＲＥ１５０に対応し得る）または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム２００（複合現実システム１１２に対応し得る）のコンポーネントを図示する。図２Ａは、例示的複合現実システム２００内に含まれるウェアラブル頭部デバイス２１０２の斜視図を図示する。図２Ｂは、ユーザの頭部２２０２上に装着されるウェアラブル頭部デバイス２１０２の上面図を図示する。図２Ｃは、ウェアラブル頭部デバイス２１０２の正面図を図示する。図２Ｄは、ウェアラブル頭部デバイス２１０２の例示的接眼レンズ２１１０の縁視図を図示する。図２Ａ－２Ｃに示されるように、例示的ウェアラブル頭部デバイス２１０２は、例示的左接眼レンズ（例えば、左透明導波管セット接眼レンズ）２１０８と、例示的右接眼レンズ（例えば、右透明導波管セット接眼レンズ）２１１０とを含む。各接眼レンズ２１０８および２１１０は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ（例えば、画像毎に変調された光を介して）を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ２１０８は、左内部結合格子セット２１１２と、左直交瞳拡張（ＯＰＥ）格子セット２１２０と、左出射（出力）瞳拡張（ＥＰＥ）格子セット２１２２とを含むことができる。同様に、右接眼レンズ２１１０は、右内部結合格子セット２１１８と、右ＯＰＥ格子セット２１１４と、右ＥＰＥ格子セット２１１６とを含むことができる。画像毎に変調された光は、内部結合格子２１１２および２１１８、ＯＰＥ２１１４および２１２０、およびＥＰＥ２１１６および２１２２を介して、ユーザの眼に転送されることができる。各内部結合格子セット２１１２、２１１８は、光をその対応するＯＰＥ格子セット２１２０、２１１４に向かって偏向させるように構成されることができる。各ＯＰＥ格子セット２１２０、２１１４は、光をその関連付けられるＥＰＥ２１２２、２１１６に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各ＥＰＥ２１２２、２１１６は、その対応するＯＰＥ格子セット２１２０、２１１４から受信された光の少なくとも一部を、接眼レンズ２１０８、２１１０の背後に定義される、ユーザアイボックス位置（図示せず）に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット２１１２および２１１８、ＯＰＥ格子セット２１１４および２１２０、およびＥＰＥ格子セット２１１６および２１２２の代わりに、接眼レンズ２１０８および２１１０は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および／または屈折および反射性特徴の他の配列を含むことができる。
【0036】
いくつかの実施例では、ウェアラブル頭部デバイス２１０２は、左つるのアーム２１３０と、右つるのアーム２１３２とを含むことができ、左つるのアーム２１３０は、左スピーカ２１３４を含み、右つるのアーム２１３２は、右スピーカ２１３６を含む。直交コイル電磁受信機２１３８は、左こめかみ部品またはウェアラブル頭部ユニット２１０２内の別の好適な場所に位置することができる。慣性測定ユニット（ＩＭＵ）２１４０は、右つるのアーム２１３２またはウェアラブル頭部デバイス２１０２内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス２１０２はまた、左深度（例えば、飛行時間）カメラ２１４２と、右深度カメラ２１４４とを含むことができる。深度カメラ２１４２、２１４４は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
【0037】
図２Ａ－２Ｄに示される実施例では、画像毎に変調された光の左源２１２４は、左内部結合格子セット２１１２を通して、左接眼レンズ２１０８の中に光学的に結合されることができ、画像毎に変調された光の右源２１２６は、右内部結合格子セット２１１８を通して、右接眼レンズ２１１０の中に光学的に結合されることができる。画像毎に変調された光の源２１２４、２１２６は、例えば、光ファイバスキャナ、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または側面あたり１つまたはそれを上回るレンズを使用して、内部結合格子セット２１１２、２１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光型ディスプレイを含むことができる。入力結合格子セット２１１２、２１１８は、画像毎に変調された光の源２１２４、２１２６からの光を、接眼レンズ２１０８、２１１０のための全内部反射（ＴＩＲ）に関する臨界角を上回る角度に偏向させることができる。ＯＰＥ格子セット２１１４、２１２０は、伝搬する光をＴＩＲによってＥＰＥ格子セット２１１６、２１２２に向かって下方に漸次的に偏向させる。ＥＰＥ格子セット２１１６、２１２２は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
【0038】
いくつかの実施例では、図２Ｄに示されるように、左接眼レンズ２１０８および右接眼レンズ２１１０はそれぞれ、複数の導波管２４０２を含む。例えば、各接眼レンズ２１０８、２１１０は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル（例えば、赤色、青色、および緑色）専用である。いくつかの実施例では、各接眼レンズ２１０８、２１１０は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離（例えば、波面曲率の逆数に対応する距離）に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、ＥＰＥ格子セット２１１６、２１２２は、各ＥＰＥを横断して出射する光のＰｏｙｎｔｉｎｇベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
【0039】
いくつかの実施例では、表示されるコンテンツが３次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器２１２４、２１２６および接眼レンズ２１０８、２１１０を通して、ユーザに提示されることができる。３次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管（したがって、対応する波面曲率）を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節（例えば、オブジェクト距離依存焦点）との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
【0040】
図２Ｄは、例示的ウェアラブル頭部デバイス２１０２の右接眼レンズ２１１０の上部からの縁視図を図示する。図２Ｄに示されるように、複数の導波管２４０２は、３つの導波管の第１のサブセット２４０４と、３つの導波管の第２のサブセット２４０６とを含むことができる。導波管の２つのサブセット２４０４、２４０６は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるＥＰＥ格子によって区別されることができる。導波管のサブセット２４０４、２４０６のそれぞれ内において、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２２０６に結合するために使用されることができる。（図２Ｄには図示されないが、左接眼レンズ２１０８の構造は、右接眼レンズ２１１０の構造に類似する。）
【0041】
図３Ａは、複合現実システム２００の例示的ハンドヘルドコントローラコンポーネント３００を図示する。いくつかの実施例では、ハンドヘルドコントローラ３００は、把持部分３４６と、上部表面３４８に沿って配置される、１つまたはそれを上回るボタン３５０とを含む。いくつかの実施例では、ボタン３５０は、例えば、カメラまたは他の光学センサ（複合現実システム２００の頭部ユニット（例えば、ウェアラブル頭部デバイス２１０２）内に搭載され得る）と併せて、ハンドヘルドコントローラ３００の６自由度（６ＤＯＦ）運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ３００は、ウェアラブル頭部デバイス２１０２に対する位置または配向等の位置または配向を検出するための追跡コンポーネント（例えば、ＩＭＵまたは他の好適なセンサ）を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ３００のハンドル内に位置付けられてもよく、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ３００は、ボタンの押下状態、またはハンドヘルドコントローラ３００の位置、配向、および／または運動（例えば、ＩＭＵを介して）のうちの１つまたはそれを上回るものに対応する、１つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム２００のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および／または移動（さらに言うと、コントローラを保持するユーザの手の位置、配向、および／または移動）に対応し得る。そのような入力はまた、ユーザがボタン３５０を押下したことに対応し得る。
【0042】
図３Ｂは、複合現実システム２００の例示的補助ユニット３２０を図示する。補助ユニット３２０は、エネルギーを提供し、システム２００を動作するためのバッテリを含むことができ、プログラムを実行し、システム２００を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット３２０は、補助ユニット３２０をユーザのベルトに取り付ける等のためのクリップ２１２８を含む。他の形状因子も、補助ユニット３２０のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット３２０は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス２１０２に結合される。補助ユニット３２０とウェアラブル頭部デバイス２１０２との間の無線接続もまた、使用されることができる。
【0043】
いくつかの実施例では、複合現実システム２００は、１つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス２１０２に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ３００および／または補助ユニット３２０に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
【0044】
図４は、上記に説明される複合現実システム２００（図１に関する複合現実システム１１２に対応し得る）等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図４に示されるように、例示的ハンドヘルドコントローラ４００Ｂ（ハンドヘルドコントローラ３００（「トーテム」）に対応し得る）は、トーテム／ウェアラブル頭部デバイス６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含み、例示的ウェアラブル頭部デバイス４００Ａ（ウェアラブル頭部デバイス２１０２に対応し得る）は、トーテム／ウェアラブル頭部デバイス６ＤＯＦサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ、ウェアラブル頭部デバイス４００Ａ内に含まれる、１つまたはそれを上回る深度カメラ４４４（および／または１つまたはそれを上回る非深度カメラ）、および／または１つまたはそれを上回る光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ４００Ｂのボタン３５０またはハンドヘルドコントローラ４００Ｂ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂはそれぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される３つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ４００Ｂに対するウェアラブル頭部デバイス４００Ａの６ＤＯＦが、決定され得る。加えて、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【0045】
いくつかの実施例では、例えば、座標系１０８に対するウェアラブル頭部デバイス４００Ａの移動を補償するために、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間（例えば、実環境に対して固定される座標空間）に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向（例えば、ディスプレイの右下角における同一位置）ではなく仮想オブジェクトを実環境に対する期待される位置および配向に提示し（例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物）、仮想オブジェクトが実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系１０８に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、ＳＬＡＭおよび／またはビジュアルオドメトリプロシージャを使用して、深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合され、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間（例えば、慣性座標空間）との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
【0046】
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0047】
いくつかの実施例では、１つまたはそれを上回るプロセッサ４１６は、ウェアラブル頭部デバイスの６ＤＯＦヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、そこから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、オーディオ／視覚的コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、例えば、図２Ａ－２Ｄに関して上記に説明されるように、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ３２０を介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの期待に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0048】
図４に示されるようないくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つまたはそれを上回るものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３２０に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電し、および／または電力をウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0049】
図４は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
【0050】
遅延オーディオ追従
【0051】
ＭＲシステムは、没入型のオーディオ体験を提供するために、感知および／または算出を利用するように良好に位置付けられることができる。特に、ＭＲシステムは、音を空間化し、ユーザをＭＲＥ内に没入させるための一意の方法をもたらすことができる。ＭＲシステムは、スピーカ４１２および４１４に関して上記に説明されるように、オーディオ信号をユーザに提示するためのスピーカを含むことができる。ＭＲシステムは、オーディオ信号を決定し、仮想環境（例えば、ＭＲＥ）に基づいて、再生することができる。例えば、オーディオ信号は、仮想環境内の場所（例えば、仮想環境内の音の起点）および仮想環境内のユーザの場所に応じて、ある特性を採用することができる。同様に、オーディオ信号は、仮想環境内において、ある速度で、またはある配向を伴って、進行する、音の効果をシミュレートする、オーディオ特性を採用することができる。これらの特性は、ステレオ音場内の設置を含むことができる。いくつかのオーディオシステム（例えば、ヘッドホン）は、サウンドトラックを１つまたはそれを上回るチャネルに分割し、異なる場所から生じるようにオーディオを提示する。例えば、ヘッドホンは、ユーザの耳毎に１つのチャネルの、２つのチャネルを利用してもよい。サウンドトラックが、画面を横断して移動する仮想オブジェクト（例えば、映画内で画面を横断して飛んでいる飛行機）を伴う場合、付随の音（例えば、エンジン雑音）が、ユーザの左側からユーザの右側に移動するように提示されてもよい。オーディオが、人物が実世界を通して移動する実オブジェクトを知覚する方法をシミュレートするため、空間化オーディオは、仮想体験の没入感を追加する。
【0052】
いくつかのオーディオシステムは、没入型の空間化オーディオを提供するその能力における限界に悩まされ得る。例えば、いくつかのヘッドホンシステムは、左および右オーディオチャネルをユーザの左および右耳に別個に提示することによって、音をステレオ音場内に提示し得る。しかし、ユーザの頭部の場所（例えば、位置および／または配向）の知識を伴わないと、音は、ユーザの頭部に関連して静的に固定されているように聞こえ得る。例えば、左チャネルを通してユーザの左耳に提示される、音は、ユーザが、その頭部を方向転換させ、前方、後方、側方等に移動させるかどうかにかかわらず、ユーザの左耳に提示され続け得る。本静的挙動は、音が実環境内で動的に挙動する方法に関するユーザの予期と一致し得ないため、ＭＲシステムにとって望ましくあり得ない。例えば、音源を固定位置に伴う、実環境では、聴取者は、その源によって放出され、聴取者の左および右耳によって聞こえる、音が、ユーザがその音源の位置に対して移動および回転する方法にしたがって、より大きいまたはより小さくなる、または他の動的オーディオ特性（例えば、ドップラー効果）を呈することを予期するであろう。例えば、静的音源が、最初に、ユーザの左側上に位置する場合、その音源によって放出される、音は、ユーザの右耳と比較して、ユーザの左耳において優勢となり得る。しかし、音源が、今度は、ユーザの右側上に位置するように、ユーザが、１８０度回転する場合、ユーザは、音が、ユーザの右耳において優勢となることを予期するであろう。同様に、ユーザが移動する間、音源は、ユーザに対して場所を変化させるように継続的に現れ得る（例えば、わずかな位置変化は、各耳において検出される音量の、わずかであるが、知覚可能な変化をもたらし得る）。仮想または複合現実環境では、音が、実世界オーディオ体験に基づく、ユーザの予期に従って挙動するとき、ユーザの設置および没入の感知は、向上されることができる。加えて、ユーザは、現実的オーディオキューを利用して、音源を識別し、環境内に設置することができる。
【0053】
ＭＲシステム（例えば、ＭＲシステム１１２、２００）は、実世界オーディオ挙動に適合させることによって、空間化オーディオの没入感を向上させ得る。例えば、ＭＲシステムは、ＭＲシステムの１つまたはそれを上回るカメラおよび／または１つまたはそれを上回る慣性測定ユニットセンサを利用して、ＳＬＡＭ算出を実施してもよい。ＳＬＡＭ技法を使用して、ＭＲシステムは、その周囲の３次元マップを構築し、および／または周囲内のＭＲシステムの場所を識別してもよい。いくつかの実施形態では、ＭＲシステムは、ＳＬＡＭを利用して、頭部姿勢を推定してもよく、これは、３次元空間内のユーザの頭部の位置についての情報（例えば、場所および／または配向）を含むことができる。いくつかの実施形態では、ＭＲシステムは、１つまたはそれを上回る座標フレームを利用して、「絶対」感知において、オブジェクトおよび／またはＭＲシステムの場所を識別してもよい（例えば、仮想オブジェクトの場所は、単に、ＭＲシステムまたは画面に対して係止される代わりに、実環境の実場所に結び付けられてもよい）。
【0054】
図５は、いくつかの実施形態による、複合現実空間化オーディオの実施例を図示する。いくつかの実施形態では、ＭＲシステムは、仮想オブジェクトが、ユーザに対して固定される代わりに、環境に対して固定されるように、ＳＬＡＭ技法を使用して、１つまたはそれを上回る仮想オブジェクト５０４ａおよび５０４ｂをＭＲＥ内に設置してもよい。いくつかの実施形態では、仮想オブジェクト５０４ａおよび５０４ｂは、音の源であるように構成されることができる。仮想オブジェクト５０４ａおよび／または５０４ｂは、ユーザ５０２に可視であってもよい（例えば、仮想ギターとして）、または仮想オブジェクト５０４ａおよび／または５０４ｂは、ユーザに可視ではなくてもよい（例えば、そこから音が放出される、不可視点として）。ＳＬＡＭ技法を使用して、ＭＲシステムは、複数の仮想音源（例えば、仮想オブジェクト５０４ａおよび／または５０４ｂ）をユーザ５０２の周囲に設置し、空間化オーディオを提示することができる。ユーザ５０２が、その頭部を回転させるにつれて、ユーザ５０２は、仮想オブジェクト５０４ａおよび５０４ｂの場所を知覚することが可能であり得る（例えば、仮想オブジェクト５０４ａが、ユーザ５０２が第１の配向にあるとき、より大きく、ユーザ５０２が第２の配向にあるとき、より小さいことを観察することによって）。本アプローチは、ユーザ５０２が、ユーザ５０２の移動に基づく空間化の動的変化を知覚することを可能にする利点を有することができる。これは、ユーザ５０２の場所に適合しない、固定された音より没入型のオーディオ体験を作成し得る。
【0055】
しかしながら、いくつかの実施形態では、図５に示される例示的アプローチは、いくつかの不利点に悩まされ得る。作曲された楽譜等のいくつかの用途では、音設計者は、音が空間化挙動を呈する程度を限定することを所望し得る。さらに、いくつかの状況では、空間化オーディオは、耳障りまたは不快な結果につながり得る。例えば、仮想オブジェクト５０４ｂをＭＲＥ内の位置に対して固定することは、仮想オブジェクト５０４ｂから放出される音が、ユーザ５０２が仮想オブジェクト５０４ｂに接近するときに意図されるものより大きくなり得ることを意味し得る。仮想オブジェクト５０４ｂが、チェロの音に対応し、仮想オーケストラの一部である場合、オーケストラ音は、ユーザ５０２が、仮想オブジェクト５０４ｂのあまりに近くに立っている場合、ユーザ５０２に歪曲されて聞こえ得る。設計された体験から逸脱し得るため、ユーザ（例えば、ユーザ５０２）が音源（例えば、仮想オブジェクト５０４ｂ）のあまりに近くに歩いて行くことを可能にすることは、望ましくあり得ない。例えば、仮想チェロの過度に強い音は、仮想バイオリンからの音を弱め得る。
【0056】
設計された体験からの可能性としての逸脱に加え、ユーザが仮想音源に接近することを可能にすることは、特に、ユーザの場所が音源の場所とほぼ重複する場合、またはユーザの頭部が音源に対して高速で移動または回転する場合等の極限実施例では、ユーザを混乱または当惑させ得る。いくつかの実施形態では、仮想オブジェクト５０４ｂは、そこから音が放出される、不可視点であり得る。ユーザ５０２が、仮想オブジェクト５０４ｂに接近する場合、ユーザ５０２は、音が不可視点からはっきりと放出されるように知覚し得る。これは、例えば、音が、望ましくない注意を仮想オブジェクト５０４ｂに引き付ける場合（例えば、仮想オブジェクト５０４ｂが、ユーザの注意を誘引することを回避するために不可視であるように構成されている場合）、望ましくあり得ない。いくつかの実施形態では、ユーザのための意図される中心焦点は、映像および／またはナレーション付きストーリーであってもよく、空間化オーディオが、映像および／またはナレーション付きストーリーにおけるユーザの没入感を向上させるために使用されてもよい。例えば、ＭＲシステムは、ユーザが、歩き回り、キャラクタおよび／またはオブジェクトを異なる目線から観察し得る、３次元「映画」をユーザに提示してもよい。そのような用途では、ユーザが、音が放出される複合現実場面内に位置する不可視点を知覚することを当惑させ得る。例えば、戦闘場面では、ユーザが、不可視ギタートラックが再生されている、点に接近することを可能にすることは望ましくあり得ない。音設計者およびストーリー作成者は、意図されるナレーションを保存するために、空間化オーディオ体験の付加的制御を取得することを所望し得る。したがって、没入型空間化オーディオを提供する、付加的方法を開発することが望ましくあり得る。例えば、オーディオ設計者が、（例えば、スクリプトエンジンによって実行される、スクリプトによって制御される）個人ベースで音と関連付けられ得る、カスタムオーディオ挙動を作成することを許可することが望ましくあり得る。ある場合には、デフォルトオーディオ挙動が、カスタムオーディオ挙動によって上書きされない限り、適用されることができる。ある場合には、カスタムオーディオ挙動は、所望のオーディオ体験を生産するために、音の起点を操作することを含むことができる。
【0057】
図６Ａ－６Ｃは、いくつかの実施形態による、複合現実空間化オーディオの実施例を図示する。空間化オーディオは、持続視覚的コンテンツと同様に、信憑性のある３次元ＭＲＥ（例えば、ＭＲＥ１５０）体験を作成することができる。ユーザが、実環境（例えば、実環境１００）を歩き回るにつれて、ユーザは、実オブジェクトのように挙動する（例えば、持続仮想コンテンツは、ユーザがそれに接近するにつれて、より大きく現れ、ユーザが離れるように移動するにつれて、より小さくなる）、持続仮想コンテンツが見えることを予期し得る。同様に、ユーザは、ユーザが動き回る間、音源が実環境内に存在するかのように、音源が挙動することを予期し得る（例えば、音源は、ユーザがそれに接近するにつれて、より大きく聞こえ得、ユーザが離れるように移動するにつれて、より小さく聞こえ得る）。いくつかの実施形態では、没入型の空間化オーディオは、例えば、「遅延追従」効果を通して、音源をユーザの頭部に対して操作することによって制御されることができる。例えば、１つまたはそれを上回る音源が、ユーザの頭部の周囲に離間され、および／または第１の位置においてそこに結び付けられることができる。第１の位置では、１つまたはそれを上回る音源は、指定される位置に位置してもよく、これは、音源が特定のオーディオ体験を生産するために意図される（例えば、開発者またはオーディオ設計者によって）位置であってもよい。音源の位置は、音源の起点、例えば、そこから音が生じるように現れる、ＭＲＥ内の座標に対応し得る。音源起点は、ユーザの頭部（または他の聴取者位置）からのオフセット（例えば、ベクトルオフセット）として表され得る。すなわち、音をユーザに提示することは、ユーザの頭部からのオフセットを決定することと、音源起点に到着するために、そのオフセットをユーザの頭部に適用することとを含むことができる。第１の時間におけるユーザの頭部の第１の位置は、例えば、（例えば、ウェアラブル頭部デバイス４０１Ａに関して）上記に説明されるようなウェアラブル頭部デバイスの１つまたはそれを上回るセンサによって決定されることができる。第２の後の時間におけるユーザの頭部の第２の位置が、次いで、決定されることができる。頭部の第１の位置と第２の位置との間の差異は、オーディオ信号を操作するために使用されることができる。例えば、ある場合には、ユーザがその頭部を第２の位置に移動させるとき、１つまたはそれを上回る音源は、音源の位置が、ユーザの頭部の周囲に離間され、および／またはそこに結び付けられ得る、その指定される位置から逸脱し得るように、頭部の移動を「辿る」ように命令されることができる（例えば、ユーザの頭部の周囲に離間され、および／またはそこに結び付けられる、指定される位置は、ユーザの頭部に関連して、移動／変化してもよく、音源は、もはや、ユーザの頭部の周囲に離間され、および／またはそこに結び付けられる、その指定される位置に位置しなくてもよい）。音源の本操作は、例えば音源起点を、第１の位置から、頭部の第１の位置と第２の位置との間の差異未満の量だけ、移動させることによって、実装されることができる。いくつかの実施形態では、指定される位置は、ユーザの頭部位置に対して固定されたままであってもよいが、対応する仮想音源は、ユーザの頭部位置に「弾性的に」結び付けられてもよく、対応する指定される位置の背後を辿ってもよい。いくつかの実施形態では、音源は、ユーザの頭部が第２の位置に到達した後のある時点において、ユーザの頭部の周囲に離間され、および／またはそこに結び付けられる、その指定される位置（例えば、特定のオーディオ体験を生産するように意図される、同一位置）に戻ってもよい。第１の頭部位置と第２の頭部位置との間の差異に基づいて起点を決定するもの等、音源起点の他の操作も、検討され、本開示の範囲内である。より一般的には、カスタムオーディオ動態が、音源の起点をユーザの頭部またはＭＲＥ内のある他のオブジェクト（移動するオブジェクトを含む）に対して操作することによって作成されることができる。例えば、音源起点は、ユーザの頭部位置および配向の関数として、または頭部位置または配向の経時的変化または累積の関数（例えば、頭部位置または配向の積分または導関数の関数）として、定義されることができる。そのような関数は、特定の速度で、または特定の方向に進行する、音をシミュレートするように、創造的効果のために使用されることができる。例えば、ユーザの頭部移動の速度が、決定されることができ（例えば、上記に説明されるようなウェアラブル頭部デバイスの１つまたはそれを上回るセンサによって決定される、頭部移動の導関数として）、音が、音起点がその同一速度（または頭部の速度に基づく異なる速度）で進行するかのように、提示されることができる。別の実施例として、ユーザの頭部の配向の変化が、上記に説明されるようなウェアラブル頭部デバイスの１つまたはそれを上回るセンサ等を介して、決定されることができ、音が、音起点がユーザの頭部配向の変化に基づく配向を伴って移動するかのように、提示されることができる。音起点をユーザの頭部位置または配向の関数として表すことはまた、そうでなければ望ましくないオーディオ結果を引き起こすであろう、状況を円滑にハンドリングするように適合されることができる。例えば、音源がユーザの頭部に対して移動する程度を限定する、機能を定義することによって、それらの音源からの極限または望ましくないオーディオ効果が、限定または回避され得る。これは、例えば、ユーザの頭部位置の閾値変化率を確立することによって、実装されることができる。すなわち、変化率が、閾値を超える場合、音源起点の位置の変化が、適宜、限定されることができる（例えば、閾値を超える場合、起点を第１の座標に設定し、閾値を超えない場合、起点を異なる座標に設定することによって）。望ましくないオーディオ効果を回避する別の実施例として、音源起点は、常時、少なくともユーザからの最小距離に留まるように構成されることができる。例えば、音源起点とユーザの頭部との間のオフセットの大きさが、最小閾値を下回る場合、起点は、少なくともユーザの頭部からの最小距離にある、代替位置に再配置されることができる。
【0058】
図６Ａに示されるように、いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、中心６０２の周囲に離間され、および／またはそこに結び付けられてもよい。仮想オブジェクト６０４ａおよび／または６０４ｂは、可視（例えば、ユーザに表示される）または不可視（例えば、ユーザに表示されない）であってもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、他の仮想オブジェクトと相互作用しなくてもよい。例えば、仮想オブジェクト６０４ａおよび／または６０４ｂは、他の仮想オブジェクトと衝突しなくてもよい。仮想オブジェクト６０４ａおよび／または６０４ｂは、他の仮想オブジェクトからの光を反射／吸収／透過しなくてもよく、および／または仮想オブジェクト６０４ａおよび／または６０４ｂは、他の仮想オブジェクトからの音を反射／吸収／伝送しなくてもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、他の仮想オブジェクトと相互作用してもよい。
【0059】
いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、１つまたはそれを上回る音源と関連付けられてもよい。ある場合には、各仮想オブジェクトは、１つの音源に対応してもよい。例えば、仮想オブジェクト６０４ａおよび／または６０４ｂは、仮想的に、音をＭＲＥ内のその場所から放出するように構成されてもよい。ある場所から放出されるように知覚され得るように、音源を構成することは、任意の好適な方法を使用して行われることができる。例えば、頭部関連伝達関数（「ＨＲＴＦ」）が、特定の場所から生じる音をシミュレートするために使用されることができる。いくつかの実施形態では、汎用ＨＲＴＦが、使用されることができる。いくつかの実施形態では、例えば、ユーザの耳の周囲の１つまたはそれを上回るマイクロホン（例えば、ＭＲシステムの１つまたはそれを上回るマイクロホン）が、１人またはそれを上回るユーザ特有のＨＲＴＦを決定するために使用されることができる。いくつかの実施形態では、ユーザと仮想音源との間の距離が、好適な方法（例えば、音圧減衰、高周波数減衰、直接および残響音の混合、運動視差等）を使用して、シミュレートされてもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、音を点源として放出するように構成されてもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、音源の物理的３次元モデルを含んでもよく、音は、音源との相互作用をモデル化することによって生成されてもよい。例えば、仮想オブジェクト６０４ａは、木材本体、弦、調整ペグ等を含む、仮想ギターを含んでもよい。音が、１つまたはそれを上回る弦を弾くことと、アクションが仮想ギターの他のコンポーネントと相互作用する方法とをモデル化することによって、生成されてもよい。
【0060】
いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、音を全方向性に放出してもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、音を指向性に放出してもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、音源を含むように構成されてもよく、各音源は、音楽ステムを含んでもよい。いくつかの実施形態では、音楽ステムは、音楽の音全体の恣意的サブセットであってもよい。例えば、またはオーケストラサウンドトラックは、バイオリンステム、チェロステム、バスステム、トランペットステム、ティンパニステム等を含んでもよい。いくつかの実施形態では、マルチチャネルサウンドトラックのチャネルは、ステムとして表されることができる。例えば、２チャネルサウンドトラックは、左ステムおよび右ステムを含んでもよい。いくつかの実施形態では、ミックスの単一トラックが、ステムとして表されてもよい。いくつかの実施形態では、音楽サウンドトラックは、周波数帯域に従って、ステムに分裂されてもよい。ステムは、音全体の任意の恣意的サブセットを表すことができる。
【0061】
いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、１つまたはそれを上回るオブジェクト（例えば、中心６０２および／またはベクトル６０６）に結び付けられてもよい。例えば、仮想オブジェクト６０４ａは、指定される位置６０８ａに割り当てられてもよい。いくつかの実施形態では、指定される位置６０８ａは、ベクトル６０６および／または中心６０２に対する固定点であることができる。いくつかの実施形態では、仮想オブジェクト６０４ｂは、指定される位置６０８ｂに割り当てられてもよい。いくつかの実施形態では、指定される位置６０８ｂは、ベクトル６０６および／または中心６０２に対する固定点であることができる。中心６０２は、点および／または３次元オブジェクトであることができる。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、３次元オブジェクトの点（例えば、３次元オブジェクトの中心点またはその表面上の点）に結び付けられてもよい。いくつかの実施形態では、中心６０２は、任意の好適な点（例えば、ユーザの頭部の中心）に対応してもよい。ユーザの頭部の中心は、頭部装着型ＭＲシステム（既知の寸法を有し得る）の中心および平均頭部寸法を使用して、または他の好適な方法を使用して、推定されてもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、指向性インジケータ（例えば、ベクトル６０６）に結び付けられてもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、指定される位置に設置されることができ、これは、中心６０２および／またはベクトル６０６に対するその位置を含み、および／またはそれによって定義されてもよい（例えば、球面座標系を使用して）。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、中心６０２および／またはベクトル６０６が位置（例えば、場所および／または配向）を変化させる場合、その指定される位置から逸脱してもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、中心６０２および／またはベクトル６０６が位置の変化を停止させた後、例えば、中心６０２および／またはベクトル６０６が、所定の時間周期（例えば、５秒）にわたって、固定位置／値を有した後、その指定される位置に戻ってもよい。
【0062】
図６Ｂに示されるように、ベクトル６０６は、方向を変化させてもよい。いくつかの実施形態では、指定される位置６０８ａおよび／または６０８ｂは、対応して、移動してもよい。例えば、指定される位置６０８ａおよび／または６０８ｂは、図６Ａにおけるものと同一の図６Ｂにおける中心６０２および／またはベクトル６０６に対する位置であってもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、指定される位置６０８ａおよび／または６０８ｂの移動を辿ってもよい。例えば、ベクトル６０６が、図６Ａにおける第１の位置から図６Ｂにおける第２の位置に移動する（例えば、ユーザの頭部の回転を反映させるため）につれて、仮想オブジェクト６０４ａおよび／または６０４ｂは、図６Ａおよび図６Ｂの両方において、同一位置に留まってもよい（指定される位置６０８ａおよび／または６０８ｂが移動する際でも）。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、ベクトル６０６および／または中心６０２が移動および／または移動を開始した後、移動を開始してもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、ベクトル６０６および／または中心６０２が、例えば、所定の時間周期にわたって、移動を停止した後、移動を開始してもよい。図６Ｃでは、仮想オブジェクト６０４ａおよび／または６０４ｂは、ベクトル６０６および／または中心６０２に対するその指定される位置に戻ってもよい。例えば、仮想オブジェクト６０４ａおよび／または６０４ｂは、図６Ａにおけるものと同一の図６Ｃにおけるベクトル６０６および／または中心６０２に対する位置を占有してもよい。
【0063】
仮想オブジェクト６０４ａおよび／または６０４ｂは、ある時間周期にわたって、その指定される位置６０８ａおよび／または６０８ｂから逸脱してもよい。いくつかの実施形態では、ベクトル６０６および／または中心６０２が、方向を変化させるにつれて、仮想オブジェクト６０４ａおよび／または６０４ｂは、それぞれ、指定される位置６０８ａおよび／または６０８ｂの移動経路を「トレース」してもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、その現在の位置から、それぞれ、指定される位置６０８ａおよび／または６０８ｂまで補間された経路まで追従してもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、いったん中心６０２および／またはベクトル６０６が、加速および／または移動（例えば、線形および／または角加速）を完全に停止すると、その指定される位置に戻ってもよい。例えば、中心６０２は、定常点のままであってもよく、ベクトル６０６は、一定速度において、中心６０２を中心として回転してもよい（例えば、ユーザが、その頭部を回転させるため）。ある時間周期後、仮想オブジェクト６０４ａおよび／または６０４ｂは、ベクトル６０６が一定速度で移動したままであるという事実にもかかわらず、その指定される位置に戻ってもよい。同様に、いくつかの実施形態では、中心６０２は、一定速度で移動してもよく（およびベクトル６０６は、定常のままであってもよい、またはまた、一定速度で移動してもよい）、仮想オブジェクト６０４ａおよび／または６０４ｂは、初期加速が中止後、その指定される位置に戻ってもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、いったん中心６０２および／またはベクトル６０６が移動を停止すると、その指定される位置に戻ってもよい。例えば、ユーザの頭部が、一定速度で回転している場合、仮想オブジェクト６０４ａおよび／または６０４ｂは、ユーザがその頭部のスピンを停止するまで、その指定される位置から「遅れ」続けてもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、いったん中心６０２および／またはベクトル６０６が加速を停止すると、その指定される位置に戻ってもよい。例えば、ユーザの頭部が、回転を開始する、次いで、一定速度で回転し続ける場合、仮想オブジェクト６０４ａおよび／または６０４ｂは、最初に、その指定される位置から遅れ、次いで、ユーザの頭部が（例えば、閾値時間周期にわたって）一定速度に到達した後、その指定される位置に到達してもよい。
【0064】
いくつかの実施形態では、１つまたはそれを上回る音源は、それらがユーザの頭部に「弾性的に」結び付けられるかのように、移動してもよい。例えば、ユーザが、その頭部を第１の位置から第２の位置に回転させるにつれて、１つまたはそれを上回る音源は、ユーザの頭部と同一角速度で回転しなくてもよい。いくつかの実施形態では、１つまたはそれを上回る音源は、ユーザの頭部より低速の角速度で回転を開始し、角速度を加速させ、それらがユーザの頭部に対するその初期位置に接近するにつれて、角速度を減速させてもよい。角速度の変化率は、例えば、音設計者によって事前に設定されたレベルにおいて、上限が定められてもよい。これは、音源が非常に迅速に移動することを可能にすること（上記に説明されるような望ましくないオーディオ効果をもたらし得る）と、音源が全く移動しないように防止すること（空間化オーディオの利益を搬送し得ない）との間の平衡を保つことができる。
【0065】
いくつかの実施形態では、１つまたはそれを上回る空間化音源に遅延追従を実施させることは、いくつかの利点を有することができる。例えば、ユーザが、空間化音源から相対的位置において逸脱することを可能にすることは、ユーザが、音における差異を知覚することを可能にすることができる。ユーザは、空間化音が、ユーザが空間化音から離れるように方向転換するにつれて、若干より静かになることに気づき、ＭＲＥ内におけるユーザの没入感を向上され得る。いくつかの実施形態では、遅延追従はまた、所望のオーディオ体験を維持することができる。例えば、ユーザは、音源に接近し、音源の非常に近くに留まることによって、オーディオ体験を非意図的に歪曲させないように防止され得る。音源が、環境に対して静的に設置される場合、ユーザは、音源に接近し得、および空間化装置は、望ましくないことに、ユーザの近接度の結果として、他の音源を過度に抑圧するような音源を提示し得る（特に、ユーザと音源との間の距離がゼロに近づくにつれて）。いくつかの実施形態では、遅延追従は、ユーザが、全体的オーディオ効果を損なわせずに、向上された空間化を体験し得るように、ある遅延後、音源をユーザに対する設定位置に移動させてもよい（例えば、各音源が、概して、相互および／またはユーザから所望の距離に維持され得るため）。
【0066】
いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、動的指定される位置を有することができる。例えば、指定される位置６０８ａは、中心６０２およびベクトル６０６が定常のままである場合でも、移動する（例えば、ユーザの頭部の軌道を辿る、またはユーザの頭部のより近くおよび／またはそこからさらに遠く離れるように移動する）ように構成されてもよい。いくつかの実施形態では、動的指定される位置は、中心および／またはベクトル（例えば、移動する中心および／またはベクトル）に関連して決定されることができ、仮想オブジェクトは、その指定される位置に向かって、遅延追従様式において移動することができる（例えば、指定される位置の移動をトレースする、および／または経路を補間することによって）。
【0067】
いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、ゲームエンジンのためのアセット設計ツール（例えば、Ｕｎｉｔｙ）を使用して、その指定される位置に設置されることができる。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、ゲームエンジンオブジェクトを含んでもよく、これは、３次元環境（例えば、ゲームエンジンによってサポートされる、ＭＲＥ）内に設置されてもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび／または６０４ｂは、親オブジェクトのコンポーネントであってもよい。いくつかの実施形態では、親オブジェクトは、仮想オブジェクトを指定される位置に設置するための対応する中心および／またはベクトル等のパラメータを含んでもよい。いくつかの実施形態では、親オブジェクトは、仮想オブジェクトがその指定される位置に戻るべき速度および／または仮想オブジェクトその指定される位置に戻るべき状況（例えば、一定速度または無運動）に関するパラメータ等の遅延追従パラメータを含んでもよい。いくつかの実施形態では、親オブジェクトは、仮想オブジェクトがその指定される位置を追跡する速度（例えば、仮想オブジェクトが、一定速度で移動、加速、および／または減速すべきかどうか）に関すパラメータを含んでもよい。いくつかの実施形態では、親オブジェクトは、仮想オブジェクトがその現在の位置からその指定される位置まで辿り得る経路を決定するためのパラメータを含んでもよい（例えば、線形および／または指数関数的補間を使用して）。いくつかの実施形態では、仮想オブジェクト（例えば、仮想オブジェクト６０４ａおよび６０４ｂ）は、その独自のそのようなパラメータを含んでもよい。
【0068】
いくつかの実施形態では、ゲームエンジンは、仮想オブジェクト６０４ａおよび６０４ｂのいくつかまたは全ての性質（例えば、仮想オブジェクト６０４ａおよび６０４ｂの現在および／または指定される場所）を維持してもよい。いくつかの実施形態では、仮想オブジェクト６０４ａおよび６０４ｂの現在の場所（例えば、親オブジェクトの場所および／または性質を通して、または、直接、仮想オブジェクト６０４および６０４ｂの場所および／または性質）が、空間化および／またはレンダリングエンジンに通過されてもよい。例えば、空間化および／またはレンダリングエンジンは、仮想オブジェクト６０４ａから発出される音および仮想オブジェクト６０４ａの現在の位置を受信してもよい。空間化および／またはレンダリングエンジンは、入力を処理し、音を仮想オブジェクト６０４ａの場所から生じるように知覚するように構成され得る、空間化音を含み得る、出力を生産してもよい。空間化および／またはレンダリングエンジンは、限定ではないが、頭部関連伝達関数および／または距離減衰技法を含む、任意の好適な技法を使用して、空間化音をレンダリングしてもよい。
【0069】
いくつかの実施形態では、空間化および／またはレンダリングエンジンは、データ構造を受信し、遅延追従空間化音をレンダリングしてもよい。例えば、遅延追従データ構造は、頭部姿勢に対する位置に関するパラメータおよび／またはメタデータおよび／または遅延追従パラメータとともに、データフォーマットを含んでもよい。いくつかの実施形態では、ＭＲシステム上で起動するアプリケーションは、１つまたはそれを上回る遅延追従データ構造を空間化および／またはレンダリングエンジンに送信し、遅延追従空間化音をレンダリングしてもよい。
【0070】
いくつかの実施形態では、サウンドトラックが、遅延追従データ構造の中に処理されてもよい。例えば、５．１チャネルサウンドトラックが、６つのステムに分裂されてもよく、各ステムは、１つまたはそれを上回る仮想オブジェクト（例えば、仮想オブジェクト６０４ａおよび６０４ｂ）に割り当てられてもよい。各ステム／仮想オブジェクトは、５．１チャネルサラウンド音のための事前に構成された配向に設置されてもよい（例えば、中心スピーカステムは、ユーザの正面の約２０フィートにおいて、ユーザの顔の真正面に設置されてもよい）。いくつかの実施形態では、遅延追従データ構造は、次いで、空間化および／またはレンダリングエンジンによって使用され、遅延追従空間化音をレンダリングしてもよい。
【0071】
いくつかの実施形態では、遅延追従空間化音は、１人を上回るユーザのためにレンダリングされてもよい。例えば、第１のユーザを囲繞するように構成される、仮想オブジェクトのセットは、第２のユーザに知覚可能であってもよい。第２のユーザは、遅延様式において、第１のユーザに続いて、仮想オブジェクト／音源を観察してもよい。いくつかの実施形態では、仮想オブジェクト／音源のセットは、１人を上回るユーザを囲繞するように構成されてもよい。例えば、中心点は、第１のユーザの頭部と第２のユーザの頭部との間の中心点として計算されてもよい。ベクトルは、各ユーザに面した方向を表すベクトル間の平均ベクトルとして計算されてもよい。１つまたはそれを上回る仮想オブジェクト／音源が、動的に計算される中心点および／またはベクトルに対して設置されてもよい。
【0072】
２つの仮想オブジェクトが、図６Ａ－６Ｃに示されるが、任意の数の仮想オブジェクトおよび／または音源が、使用されてもよいことが検討される。いくつかの実施形態では、各仮想オブジェクトおよび／または音源は、その独自の別個のパラメータを有してもよい。中心点／オブジェクトおよびベクトルは、位置仮想オブジェクトを位置付けるために使用されるが、任意の適切な座標系（例えば、デカルト、球状等）も、使用されてもよい。
【0073】
システム、方法、およびコンピュータ可読媒体が、開示される。いくつかの実施例によると、システムは、スピーカおよび１つまたはそれを上回るセンサを有する、ウェアラブル頭部デバイスと、１つまたはそれを上回るセンサに基づいて、第１の時間におけるユーザの頭部の第１の位置を決定することと、１つまたはそれを上回るセンサに基づいて、第１の時間より後の第２の時間におけるユーザの頭部の第２の位置を決定することと、第１の位置と第２の位置との間の差異に基づいて、オーディオ信号を決定することと、スピーカを介して、オーディオ信号をユーザに提示することとを含む、方法を実施するように構成される、１つまたはそれを上回るプロセッサとを備え、オーディオ信号を決定することは、仮想環境内のオーディオ信号の起点を決定することを含み、オーディオ信号をユーザに提示することは、決定された起点から生じるかのように、オーディオ信号を提示することを含み、オーディオ信号の起点を決定することは、オフセットをユーザの頭部の位置に適用することを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、ユーザの頭部の位置の変化率に基づいて、オーディオ信号の起点を決定することを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、変化率が閾値を超えることの決定に従って、起点が第１の起点を備えることを決定することと、変化率が閾値を超えないことの決定に従って、起点が第１の起点と異なる第２の起点を備えることを決定することとを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、オフセットの大きさが閾値を下回ることの決定に従って、起点が第１の起点を備えることを決定することと、オフセットの大きさが閾値を下回らないことの決定に従って、起点が第１の起点と異なる第２の起点を備えることを決定することとを含む。いくつかの実施例では、オーディオ信号を決定することはさらに、仮想環境内の速度を決定することを含み、オーディオ信号をユーザに提示することはさらに、起点が決定された速度で運動するかのように、オーディオ信号を提示することを含む。いくつかの実施例では、速度を決定することは、ユーザの頭部の第１の位置とユーザの頭部の第２の位置との間の差異に基づいて、速度を決定することを含む。いくつかの実施例では、オフセットは、ユーザの頭部の第１の位置に基づいて決定される。
【0074】
いくつかの実施例によると、オーディオをウェアラブル頭部デバイスのユーザに提示する方法は、ウェアラブル頭部デバイスの１つまたはそれを上回るセンサに基づいて、第１の時間におけるユーザの頭部の第１の位置を決定することと、１つまたはそれを上回るセンサに基づいて、第１の時間より後の第２の時間におけるユーザの頭部の第２の位置を決定することと、第１の位置と第２の位置との間の差異に基づいて、オーディオ信号を決定することと、ウェアラブル頭部デバイスのスピーカを介して、オーディオ信号をユーザに提示することとを含み、オーディオ信号を決定することは、仮想環境内のオーディオ信号の起点を決定することを含み、オーディオ信号をユーザに提示することは、決定された起点から生じるかのように、オーディオ信号を提示することを含み、オーディオ信号の起点を決定することは、オフセットをユーザの頭部の位置に適用することを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、ユーザの頭部の位置の変化率に基づいて、オーディオ信号の起点を決定することを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、変化率が閾値を超えることの決定に従って、起点が第１の起点を備えることを決定することと、変化率が閾値を超えないことの決定に従って、起点が第１の起点と異なる第２の起点を備えることを決定することとを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、オフセットの大きさが閾値を下回ることの決定に従って、起点が第１の起点を備えることを決定することと、オフセットの大きさが閾値を下回らないことの決定に従って、起点が第１の起点と異なる第２の起点を備えることを決定することとを含む。いくつかの実施例では、オーディオ信号を決定することはさらに、仮想環境内の速度を決定することを含み、オーディオ信号をユーザに提示することはさらに、起点が決定された速度で運動するかのように、オーディオ信号を提示することを含む。いくつかの実施例では、速度を決定することは、ユーザの頭部の第１の位置とユーザの頭部の第２の位置との間の差異に基づいて、速度を決定することを含む。いくつかの実施例では、オフセットは、ユーザの頭部の第１の位置に基づいて決定される。
【0075】
いくつかの実施例によると、非一過性コンピュータ可読媒体は、１つまたはそれを上回るプロセッサによって実行されると、１つまたはそれを上回るプロセッサに、オーディオをウェアラブル頭部デバイスのユーザに提示する方法を実施させる、命令を記憶し、本方法は、ウェアラブル頭部デバイスの１つまたはそれを上回るセンサに基づいて、第１の時間におけるユーザの頭部の第１の位置を決定することと、１つまたはそれを上回るセンサに基づいて、第１の時間より後の第２の時間におけるユーザの頭部の第２の位置を決定することと、第１の位置と第２の位置との間の差異に基づいて、オーディオ信号を決定することと、ウェアラブル頭部デバイスのスピーカを介して、オーディオ信号をユーザに提示することとを含み、オーディオ信号を決定することは、仮想環境内のオーディオ信号の起点を決定することを含み、オーディオ信号をユーザに提示することは、決定された起点から生じるかのように、オーディオ信号を提示することを含み、オーディオ信号の起点を決定することは、オフセットをユーザの頭部の位置に適用することを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、ユーザの頭部の位置の変化率に基づいて、オーディオ信号の起点を決定することを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、変化率が閾値を超えることの決定に従って、起点が第１の起点を備えることを決定することと、変化率が閾値を超えないことの決定に従って、起点が第１の起点と異なる第２の起点を備えることを決定することとを含む。いくつかの実施例では、オーディオ信号の起点を決定することはさらに、オフセットの大きさが閾値を下回ることの決定に従って、起点が第１の起点を備えることを決定することと、オフセットの大きさが閾値を下回らないことの決定に従って、起点が第１の起点と異なる第２の起点を備えることを決定することとを含む。いくつかの実施例では、オーディオ信号を決定することはさらに、仮想環境内の速度を決定することを含み、オーディオ信号をユーザに提示することはさらに、起点が決定された速度で運動するかのように、オーディオ信号を提示することを含む。いくつかの実施例では、速度を決定することは、ユーザの頭部の第１の位置とユーザの頭部の第２の位置との間の差異に基づいて、速度を決定することを含む。いくつかの実施例では、オフセットは、ユーザの頭部の第１の位置に基づいて決定される。
【0076】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【国際調査報告】