IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ マジック リープ, インコーポレイテッドの特許一覧 ▶ ジョット, ジャン-マルクの特許一覧 ▶ ミニック, マイケルの特許一覧 ▶ パストウチェンコ, ドミトリーの特許一覧 ▶ サイモン, マイケル アーロンの特許一覧 ▶ スコット, ジョン エミット ザ サードの特許一覧 ▶ ベイリー, リチャード セント クレアの特許一覧 ▶ バラスブラマニャム, シヴァクマールの特許一覧 ▶ アガディ, ハルシャラジの特許一覧

特表2023-515886没入型のオーディオプラットフォーム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-04-14
(54)【発明の名称】没入型のオーディオプラットフォーム
(51)【国際特許分類】
   H04S 7/00 20060101AFI20230407BHJP
   G06T 19/00 20110101ALI20230407BHJP
   G02B 27/02 20060101ALI20230407BHJP
【FI】
H04S7/00 340
G06T19/00 A
G02B27/02 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022552758
(86)(22)【出願日】2021-03-02
(85)【翻訳文提出日】2022-10-26
(86)【国際出願番号】 US2021020547
(87)【国際公開番号】W WO2021178454
(87)【国際公開日】2021-09-10
(31)【優先権主張番号】62/984,198
(32)【優先日】2020-03-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/036,270
(32)【優先日】2020-06-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】514108838
【氏名又は名称】マジック リープ, インコーポレイテッド
【氏名又は名称原語表記】Magic Leap,Inc.
【住所又は居所原語表記】7500 W SUNRISE BLVD,PLANTATION,FL 33322 USA
(71)【出願人】
【識別番号】522348044
【氏名又は名称】ジョット, ジャン-マルク
(71)【出願人】
【識別番号】522348332
【氏名又は名称】ミニック, マイケル
(71)【出願人】
【識別番号】522348343
【氏名又は名称】パストウチェンコ, ドミトリー
(71)【出願人】
【識別番号】522348354
【氏名又は名称】サイモン, マイケル アーロン
(71)【出願人】
【識別番号】522348365
【氏名又は名称】スコット, ジョン エミット ザ サード
(71)【出願人】
【識別番号】522348376
【氏名又は名称】ベイリー, リチャード セント クレア
(71)【出願人】
【識別番号】522348387
【氏名又は名称】バラスブラマニャム, シヴァクマール
(71)【出願人】
【識別番号】522348398
【氏名又は名称】アガディ, ハルシャラジ
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ジョット, ジャン-マルク
(72)【発明者】
【氏名】ミニック, マイケル
(72)【発明者】
【氏名】パストウチェンコ, ドミトリー
(72)【発明者】
【氏名】サイモン, マイケル アーロン
(72)【発明者】
【氏名】スコット, ジョン エミット ザ サード
(72)【発明者】
【氏名】ベイリー, リチャード セント クレア
(72)【発明者】
【氏名】バラスブラマニャム, シヴァクマール
(72)【発明者】
【氏名】アガディ, ハルシャラジ
【テーマコード(参考)】
2H199
5B050
5D162
【Fターム(参考)】
2H199CA02
2H199CA12
2H199CA24
2H199CA25
2H199CA27
2H199CA32
2H199CA42
2H199CA53
2H199CA66
2H199CA67
2H199CA92
2H199CA93
2H199CA94
2H199CA95
2H199CA96
2H199CA97
5B050AA03
5B050BA09
5B050BA11
5B050BA12
5B050BA13
5B050CA08
5B050DA05
5B050DA07
5B050EA04
5B050EA26
5B050FA02
5B050FA05
5B050FA06
5D162CB18
5D162CC08
5D162CD24
5D162CD25
5D162DA04
5D162EG06
(57)【要約】
本方法は、第1の入力をアプリケーションプログラムから受信することと、第1のサービスを介して、エンコードされたオーディオストリームを受信することと、第1のサービスを介して、デコードされたオーディオストリームを生成することと、第2のサービスを介して、デコードされたオーディオストリームを受信することと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信することと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信することとと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成することと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示することとを含んでもよい。
【特許請求の範囲】
【請求項1】
システムであって、
1つまたはそれを上回るセンサおよび1つまたはそれを上回るスピーカを備えるウェアラブル頭部デバイスと、
1つまたはそれを上回るプロセッサであって、
第1の入力をアプリケーションプログラムから受信することと、
前記第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信することと、
前記第1のサービスを介して、前記エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成することと、
第2のサービスを介して、前記デコードされたオーディオストリームを受信することと、
第2の入力を前記ウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信することと、
前記第2のサービスを介して、第3の入力を前記アプリケーションプログラムから受信することであって、前記第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ことと、
前記第2のサービスを介して、前記デコードされたオーディオストリーム、前記第2の入力、および前記第3の入力に基づいて、空間化オーディオストリームを生成することと、
前記ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、前記空間化オーディオストリームを提示することと
を含む方法を実行するように構成される、1つまたはそれを上回るプロセッサと
を備える、システム。
【請求項2】
前記第2の入力は、前記ウェアラブル頭部デバイスの位置に対応する、請求項1に記載のシステム。
【請求項3】
前記1つまたはそれを上回る仮想スピーカの位置は、前記ウェアラブル頭部デバイスの位置に基づく、請求項2に記載のシステム。
【請求項4】
前記第2の入力は、実環境内の物理的オブジェクトの位置に対応する、請求項1に記載のシステム。
【請求項5】
前記1つまたはそれを上回る仮想スピーカの位置は、前記物理的オブジェクトの位置に基づく、請求項4に記載のシステム。
【請求項6】
前記エンコードされたオーディオストリームは、遠隔サーバから受信される、請求項1に記載のシステム。
【請求項7】
前記第1のサービスは、前記第2のサービスと異なるサービスである、請求項1に記載のシステム。
【請求項8】
前記空間化オーディオストリームは、6つのオーディオチャネルを備え、前記6つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える、請求項1に記載のシステム。
【請求項9】
前記空間化オーディオストリームは、8つのオーディオチャネルを備え、前記8つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える、請求項1に記載のシステム。
【請求項10】
前記空間化オーディオストリームを提示することは、前記ウェアラブル頭部デバイスのディスプレイ上に表示される仮想コンテンツを提示するように構成される仮想画面に対する前記ウェアラブル頭部デバイスの位置および距離に基づく、請求項1に記載のシステム。
【請求項11】
前記空間化オーディオストリームは、ユーザ空間化オーディオ、画面毎空間化オーディオ、および部屋毎空間化オーディオのうちの少なくとも1つに基づいて提示される、請求項1に記載のシステム。
【請求項12】
前記空間化オーディオストリームは、前記画面毎空間化オーディオに基づいて提示され、
前記空間化オーディオストリームは、静的モードおよび動的モードのうちの1つと関連付けられ、
前記ウェアラブル頭部デバイスは、第1の位置にあり、
前記方法はさらに、
前記ウェアラブル頭部デバイスを、前記第1の位置から、前記第1の位置と異なる第2の位置に移動させることと、
前記空間化オーディオストリームが前記静的モードと関連付けられることの決定に従って、前記第1の空間化オーディオを、第1の距離に基づいて、前記第1の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示することと、
前記空間化オーディオストリームが前記動的モードと関連付けられることの決定に従って、第2の空間化オーディオを、第2の距離に基づいて、前記第2の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示することと
を含む、請求項11に記載のシステム。
【請求項13】
前記空間化オーディオストリームは、前記部屋毎空間化オーディオに基づいて提示され、前記方法はさらに、
前記ウェアラブル頭部デバイスの位置が第1の部屋内にあることの決定に従って、前記第1の部屋と関連付けられる第1の空間化オーディオを提示することを含む、前記空間化オーディオを提示することと、
前記ウェアラブル頭部デバイスの位置が第2の部屋内にあることの決定に従って、前記第2の部屋と関連付けられる第2の空間化オーディオを提示することを含む、前記空間化オーディオを提示することと
を含み、
前記第1の空間化オーディオは、前記第2の空間化オーディオと異なり、
前記第1の部屋は、前記第2の部屋と異なる、
請求項11に記載のシステム。
【請求項14】
前記空間化オーディオストリームの前記提示は、ユーザ設定に基づく、請求項1に記載のシステム。
【請求項15】
前記空間化オーディオストリームの前記提示は、前記アプリケーションプログラムの設定に基づく、請求項1に記載のシステム。
【請求項16】
前記第1の空間化オーディオストリームは、一元型設定と関連付けられ、前記方法はさらに、
第4の入力を第2のアプリケーションプログラムから受信することと、
前記ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、前記一元型設定と関連付けられる第2の空間化オーディオストリームを提示することと
を含む、請求項1に記載のシステム。
【請求項17】
方法であって、
第1の入力をアプリケーションプログラムから受信することと、
前記第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信することと、
前記第1のサービスを介して、前記エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成することと、
第2のサービスを介して、前記デコードされたオーディオストリームを受信することと、
第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信することと、
前記第2のサービスを介して、第3の入力を前記アプリケーションプログラムから受信することであって、前記第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ことと、
前記第2のサービスを介して、前記デコードされたオーディオストリーム、前記第2の入力、および前記第3の入力に基づいて、空間化オーディオストリームを生成することと、
前記ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、前記空間化オーディオストリームを提示することと
を含む、方法。
【請求項18】
前記第2の入力は、前記ウェアラブル頭部デバイスの位置に対応する、請求項17に記載の方法。
【請求項19】
前記第2の入力は、実環境内の物理的オブジェクトの位置に対応する、請求項17に記載の方法。
【請求項20】
非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、1つまたはそれを上回るプロセッサによって実行されると、前記1つまたはそれを上回るプロセッサに、
第1の入力をアプリケーションプログラムから受信することと、
前記第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信することと、
前記第1のサービスを介して、前記エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成することと、
第2のサービスを介して、前記デコードされたオーディオストリームを受信することと、
第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信することと、
前記第2のサービスを介して、第3の入力を前記アプリケーションプログラムから受信することであって、前記第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ことと、
前記第2のサービスを介して、前記デコードされたオーディオストリーム、前記第2の入力、および前記第3の入力に基づいて、空間化オーディオストリームを生成することと、
前記ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、前記空間化オーディオストリームを提示することと
を含む方法を実行させる、非一過性コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、2020年3月2日に出願された、米国仮出願第62/984,198号、および2020年6月8日に出願された、米国仮出願第63/036,270号の利益を請求する。
【0002】
本開示は、一般に、没入型のオーディオコンテンツを提示するためのシステムおよび方法に関し、特に、没入型のオーディオコンテンツを複合現実環境内に提示するためのシステムおよび方法に関する。
【背景技術】
【0003】
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム(仮想環境が、ゲーム世界を表し得る)、マップ(仮想環境が、ナビゲートされるべき地形を表し得る)、シミュレーション(仮想環境が、実環境をシミュレートし得る)、デジタルストーリーテリング(仮想キャラクタが、仮想環境内で相互に相互作用し得る)、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ(例えば、2Dディスプレイ画面)およびオーディオシステム(例えば、固定スピーカ)は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
【0004】
仮想現実(「VR」)、拡張現実(「AR」)、複合現実(「MR」)、および関連技術(集合的に、「XR」)は、XRシステムのユーザに、コンピュータシステム内のデータによって表される仮想環境に対応する、感覚情報を提示する能力を共有する。そのようなシステムは、仮想視覚的およびオーディオキューと実光景および音を組み合わせることによって、一意に増大した没入感および現実性をもたらすことができる。故に、音が自然に生じているように感じられように、かつユーザの実環境内の音のユーザの予期と一貫して、デジタル音をXRシステムのユーザに提示することが望ましくあり得る。概して、ユーザは、仮想音が、その中で彼らに聞こえる、実環境の音響性質を帯びるであろうことを予期する。例えば、大コンサートホール内のXRシステムのユーザは、XRシステムの仮想音が、大洞窟のような音波品質を有することを予期し、逆に言えば、狭いアパート内のユーザは、音が、より減衰され、近く、かつ即座であることを予期するであろう。仮想音と実および/または仮想環境の音響性質を合致させることに加え、現実性はさらに、仮想音を空間化することによって向上される。例えば、仮想オブジェクトが、視覚的に、背後からユーザを越えて飛行し得、ユーザは、対応する仮想音がユーザに対する仮想オブジェクトの空間移動を同様に反映させることを予期し得る。
【0005】
既存の技術は、多くの場合、ユーザの周囲を考慮せず、また仮想オブジェクトの空間移動に対応せず、ユーザ体験を損なわせ得る、不真正性の感覚につながる、仮想オーディオを提示すること等によって、これらの予期を欠いている。XRシステムのユーザの観察は、ユーザが、仮想コンテンツと実環境との間の視覚的不整合(例えば、照明における不一致)には比較的に寛容であり得るが、ユーザが、聴覚的不整合により敏感であり得ることを示す。我々の生活全体を通して持続的に精緻化される、我々の独自の聴覚的体験は、我々に、我々の物理的環境が我々が聞こえる音にどのように影響を及ぼすかを敏感に認知させ得、我々は、それらの予期と一致しない、音に非常に敏感であり得る。XRシステムでは、そのような不一致は、不快であり得、没入型かつ人を引き付ける体験を仕掛的な模倣したものに変えさせ得る。極端な実施例では、聴覚的不一致は、内耳が聴覚的刺激とその対応する視覚的キューを調和させることが不可能であるため、乗り物酔いおよび他の悪影響を及ぼし得る。
【0006】
センサ、透過型ディスプレイ、およびスピーカを使用して、XRシステムは、没入型の映像およびオーディオコンテンツをユーザに提示し得る。そのような能力は、エンターテインメント側面に非常に適し得る。例えば、XR映画は、ユーザの環境の周囲に3次元で表示される、仮想コンテンツを含んでもよい。XR映画はまた、オーディオコンテンツを含んでもよく、これは、マルチチャネルスピーカアレイ内で再生されるように構成されてもよい。単純ステレオ音より複雑であり得る、オーディオコンテンツの容易な再生を促進し得る、システムおよび方法を開発することが望ましくあり得る。ある場合には、オーディオコンテンツは、高忠実性であり得、これは、オーディオコンテンツの再生において処理するためのデータの量を増加させ得る。大量のデータは、帯域幅および/または処理要件を最小限にするために、圧縮および/またはエンコードされ得る。したがって、圧縮されたオーディオコンテンツを再生し得る、システムおよび方法を開発することが望ましくあり得る。
【発明の概要】
【課題を解決するための手段】
【0007】
本開示の実施例は、オーディオコンテンツを複合現実環境内に提示するためのシステムおよび方法を説明する。本開示の実施例によると、本方法は、第1の入力をアプリケーションプログラムから受信するステップと、第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信するステップと、第1のサービスを介して、エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成するステップと、第2のサービスを介して、デコードされたオーディオストリームを受信するステップと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信するステップと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信するステップであって、第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ステップと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示するステップとを含んでもよい。
【0008】
いくつかの実施形態では、本方法は、第1の入力をアプリケーションプログラムから受信するステップと、第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信するステップと、第1のサービスを介して、エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成するステップと、第2のサービスを介して、デコードされたオーディオストリームを受信するステップと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信するステップと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信するステップであって、第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ステップと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示するステップとを含む。
【0009】
いくつかの実施形態では、第2の入力は、ウェアラブル頭部デバイスの位置に対応する。
【0010】
いくつかの実施形態では、1つまたはそれを上回る仮想スピーカの位置は、ウェアラブル頭部デバイスの位置に基づく。
【0011】
いくつかの実施形態では、第2の入力は、実環境内の物理的オブジェクトの位置に対応する。
【0012】
いくつかの実施形態では、1つまたはそれを上回る仮想スピーカの位置は、物理的オブジェクトの位置に基づく。
【0013】
いくつかの実施形態では、エンコードされたオーディオストリームは、遠隔サーバから受信される。
【0014】
いくつかの実施形態では、第1のサービスは、第2のサービスと異なるサービスである。
【0015】
いくつかの実施形態では、空間化オーディオストリームは、6つのオーディオチャネルを備え、6つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0016】
いくつかの実施形態では、空間化オーディオストリームは、8つのオーディオチャネルを備え、8つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0017】
いくつかの実施形態では、空間化オーディオストリームを提示するステップは、ウェアラブル頭部デバイスのディスプレイ上に表示される仮想コンテンツを提示するように構成される、仮想画面に対するウェアラブル頭部デバイスの位置および距離に基づく。
【0018】
いくつかの実施形態では、空間化オーディオストリームは、ユーザ空間化オーディオ、画面毎空間化オーディオ、および部屋毎空間化オーディオのうちの少なくとも1つに基づいて提示される。
【0019】
いくつかの実施形態では、空間化オーディオストリームは、画面毎空間化オーディオに基づいて提示され、空間化オーディオストリームは、静的モードおよび動的モードのうちの1つと関連付けられ、ウェアラブル頭部デバイスは、第1の位置にある。本方法はさらに、ウェアラブル頭部デバイスを、第1の位置から、第1の位置と異なる、第2の位置に移動させるステップと、空間化オーディオストリームが静的モードと関連付けられることの決定に従って、第1の空間化オーディオを、第1の距離に基づいて、第1の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップと、空間化オーディオストリームが動的モードと関連付けられることの決定に従って、第2の空間化オーディオを、第2の距離に基づいて、第2の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップとを含む。
【0020】
いくつかの実施形態では、空間化オーディオストリームは、部屋毎空間化オーディオに基づいて提示される。本方法ではさらに、ウェアラブル頭部デバイスの位置が第1の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第1の部屋と関連付けられる、第1の空間化オーディオを提示するステップを含み、ウェアラブル頭部デバイスの位置が第2の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第2の部屋と関連付けられる、第2の空間化オーディオを提示するステップを含む。第1の空間化オーディオは、第2の空間化オーディオと異なり、第1の部屋は、第2の部屋と異なる。
【0021】
いくつかの実施形態では、空間化オーディオストリームの提示は、ユーザ設定に基づく。
【0022】
いくつかの実施形態では、空間化オーディオストリームの提示は、アプリケーションプログラムの設定に基づく。
【0023】
いくつかの実施形態では、第1の空間化オーディオストリームは、一元型設定と関連付けられる。本方法はさらに、第4の入力を第2のアプリケーションプログラムから受信するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、一元型設定と関連付けられる、第2の空間化オーディオストリームを提示するステップとを含む。
【0024】
いくつかの実施形態では、本システムは、1つまたはそれを上回るセンサおよび1つまたはそれを上回るスピーカを備える、ウェアラブル頭部デバイスと、第1の入力をアプリケーションプログラムから受信するステップと、第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信するステップと、第1のサービスを介して、エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成するステップと、第2のサービスを介して、デコードされたオーディオストリームを受信するステップと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信するステップと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信するステップであって、第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ステップと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示するステップとを含む、方法を実行するように構成される、1つまたはそれを上回るプロセッサとを備える。
【0025】
いくつかの実施形態では、第2の入力は、ウェアラブル頭部デバイスの位置に対応する。
【0026】
いくつかの実施形態では、1つまたはそれを上回る仮想スピーカの位置は、ウェアラブル頭部デバイスの位置に基づく。
【0027】
いくつかの実施形態では、第2の入力は、実環境内の物理的オブジェクトの位置に対応する。
【0028】
いくつかの実施形態では、1つまたはそれを上回る仮想スピーカの位置は、物理的オブジェクトの位置に基づく。
【0029】
いくつかの実施形態では、エンコードされたオーディオストリームは、遠隔サーバから受信される。
【0030】
いくつかの実施形態では、第1のサービスは、第2のサービスと異なるサービスである。
【0031】
いくつかの実施形態では、空間化オーディオストリームは、6つのオーディオチャネルを備え、6つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0032】
いくつかの実施形態では、空間化オーディオストリームは、8つのオーディオチャネルを備え、8つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0033】
いくつかの実施形態では、空間化オーディオストリームを提示するステップは、ウェアラブル頭部デバイスのディスプレイ上に表示される仮想コンテンツを提示するように構成される、仮想画面に対するウェアラブル頭部デバイスの位置および距離に基づく。
【0034】
いくつかの実施形態では、空間化オーディオストリームは、ユーザ空間化オーディオ、画面毎空間化オーディオ、および部屋毎空間化オーディオのうちの少なくとも1つに基づいて提示される。
【0035】
いくつかの実施形態では、空間化オーディオストリームは、画面毎空間化オーディオに基づいて提示され、空間化オーディオストリームは、静的モードおよび動的モードのうちの1つと関連付けられ、ウェアラブル頭部デバイスは、第1の位置にあって、本方法はさらに、ウェアラブル頭部デバイスを、第1の位置から、第1の位置と異なる、第2の位置に移動させるステップと、空間化オーディオストリームが静的モードと関連付けられることの決定に従って、第1の空間化オーディオを、第1の距離に基づいて、第1の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップと、空間化オーディオストリームが動的モードと関連付けられることの決定に従って、第2の空間化オーディオを、第2の距離に基づいて、第2の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップとを含む。
【0036】
いくつかの実施形態では、空間化オーディオストリームは、部屋毎空間化オーディオに基づいて提示され、本方法ではさらに、ウェアラブル頭部デバイスの位置が第1の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第1の部屋と関連付けられる、第1の空間化オーディオを提示するステップを含み、ウェアラブル頭部デバイスの位置が第2の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第2の部屋と関連付けられる、第2の空間化オーディオを提示するステップを含む。第1の空間化オーディオは、第2の空間化オーディオと異なり、第1の部屋は、第2の部屋と異なる。
【0037】
いくつかの実施形態では、空間化オーディオストリームの提示は、ユーザ設定に基づく。
【0038】
いくつかの実施形態では、空間化オーディオストリームの提示は、アプリケーションプログラムの設定に基づく。
【0039】
いくつかの実施形態では、第1の空間化オーディオストリームは、一元型設定と関連付けられ、本方法はさらに、第4の入力を第2のアプリケーションプログラムから受信するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、一元型設定と関連付けられる、第2の空間化オーディオストリームを提示するステップとを含む。
【0040】
いくつかの実施形態では、非一過性コンピュータ可読媒体は、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、第1の入力をアプリケーションプログラムから受信するステップと、第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信するステップと、第1のサービスを介して、エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成するステップと、第2のサービスを介して、デコードされたオーディオストリームを受信するステップと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信するステップと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信するステップであって、第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ステップと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示するステップとを含む、方法を実行させる、命令を記憶する。
【0041】
いくつかの実施形態では、第2の入力は、ウェアラブル頭部デバイスの位置に対応する。
【0042】
いくつかの実施形態では、1つまたはそれを上回る仮想スピーカの位置は、ウェアラブル頭部デバイスの位置に基づく。
【0043】
いくつかの実施形態では、第2の入力は、実環境内の物理的オブジェクトの位置に対応する。
【0044】
いくつかの実施形態では、1つまたはそれを上回る仮想スピーカの位置は、物理的オブジェクトの位置に基づく。
【0045】
いくつかの実施形態では、エンコードされたオーディオストリームは、遠隔サーバから受信される。
【0046】
いくつかの実施形態では、第1のサービスは、第2のサービスと異なるサービスである。
【0047】
いくつかの実施形態では、空間化オーディオストリームは、6つのオーディオチャネルを備え、6つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0048】
いくつかの実施形態では、空間化オーディオストリームは、8つのオーディオチャネルを備え、8つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0049】
いくつかの実施形態では、空間化オーディオストリームを提示するステップは、ウェアラブル頭部デバイスのディスプレイ上に表示される仮想コンテンツを提示するように構成される、仮想画面に対するウェアラブル頭部デバイスの位置および距離に基づく。
【0050】
いくつかの実施形態では、空間化オーディオストリームは、ユーザ空間化オーディオ、画面毎空間化オーディオ、および部屋毎空間化オーディオのうちの少なくとも1つに基づいて提示される。
【0051】
いくつかの実施形態では、空間化オーディオストリームは、画面毎空間化オーディオに基づいて提示され、空間化オーディオストリームは、静的モードおよび動的モードのうちの1つと関連付けられ、ウェアラブル頭部デバイスは、第1の位置にあって、本方法はさらに、ウェアラブル頭部デバイスを、第1の位置から、第1の位置と異なる、第2の位置に移動させるステップと、空間化オーディオストリームが静的モードと関連付けられることの決定に従って、第1の空間化オーディオを、第1の距離に基づいて、第1の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップと、空間化オーディオストリームが動的モードと関連付けられることの決定に従って、第2の空間化オーディオを、第2の距離に基づいて、第2の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップとを含む。
【0052】
いくつかの実施形態では、空間化オーディオストリームは、部屋毎空間化オーディオに基づいて提示され、本方法ではさらに、ウェアラブル頭部デバイスの位置が第1の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第1の部屋と関連付けられる、第1の空間化オーディオを提示するステップを含み、ウェアラブル頭部デバイスの位置が第2の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第2の部屋と関連付けられる、第2の空間化オーディオを提示するステップを含む。第1の空間化オーディオは、第2の空間化オーディオと異なり、第1の部屋は、第2の部屋と異なる。
【0053】
いくつかの実施形態では、空間化オーディオストリームの提示は、ユーザ設定に基づく。
【0054】
いくつかの実施形態では、空間化オーディオストリームの提示は、アプリケーションプログラムの設定に基づく。
【0055】
いくつかの実施形態では、第1の空間化オーディオストリームは、一元型設定と関連付けられ、本方法はさらに、第4の入力を第2のアプリケーションプログラムから受信するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、一元型設定と関連付けられる、第2の空間化オーディオストリームを提示するステップとを含む。
【図面の簡単な説明】
【0056】
図1A図1A-1Cは、いくつかの実施形態による、例示的複合現実環境を図示する。
図1B図1A-1Cは、いくつかの実施形態による、例示的複合現実環境を図示する。
図1C図1A-1Cは、いくつかの実施形態による、例示的複合現実環境を図示する。
【0057】
図2A図2A-2Dは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
図2B図2A-2Dは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
図2C図2A-2Dは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
図2D図2A-2Dは、いくつかの実施形態による、複合現実環境を生成し、それと相互作用するために使用され得る、例示的複合現実システムのコンポーネントを図示する。
【0058】
図3A図3Aは、いくつかの実施形態による、入力を複合現実環境に提供するために使用され得る、例示的複合現実ハンドヘルドコントローラを図示する。
【0059】
図3B図3Bは、いくつかの実施形態による、例示的複合現実システムと併用され得る、例示的補助ユニットを図示する。
【0060】
図4図4は、いくつかの実施形態による、例示的複合現実システムのための例示的機能ブロック図を図示する。
【0061】
図5図5は、いくつかの実施形態による、没入型のオーディオプラットフォームの例示的表示を図示する。
【0062】
図6図6は、いくつかの実施形態による、没入型のオーディオプラットフォームの実施例を図示する。
【0063】
図7図7は、いくつかの実施形態による、オーディオコンテンツを提示するためのプロセスの実施例を図示する。
【発明を実施するための形態】
【0064】
詳細な説明
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
【0065】
複合現実環境
【0066】
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の3次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点から3つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
【0067】
コンピューティングデバイスは、例えば、デバイスと関連付けられるメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、3次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路(例えば、プロセッサ)は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第1の時間t0において、仮想環境と関連付けられるデータおよび/またはユーザによって提供される入力に基づいて、第2の時間t1における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間t0において、第1の座標に位置し、あるプログラムされた物理的パラメータ(例えば、質量、摩擦係数)を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間t1におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および/または任意の好適な入力を使用して、時間t1における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア(例えば、スクリプト)、仮想環境内の信号(例えば、オーディオ信号)の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ(例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ)を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
【0068】
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト(無生物オブジェクト、人々、動物、光等の表現を含み得る)を含んでもよい。プロセッサは、仮想環境のビュー(例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する)を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに1つまたはそれを上回るオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい(例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る)、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、1つまたはそれを上回るスピーカを介して、オーディオ信号を提示することができる。
【0069】
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
【0070】
複合現実システムは、ユーザに、例えば、透過型ディスプレイおよび/または1つまたはそれを上回るスピーカ(例えば、ウェアラブル頭部デバイスの中に組み込まれ得る)を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境(「MRE」)を提示することができる。いくつかの実施形態では、1つまたはそれを上回るスピーカは、頭部搭載型ウェアラブルユニットの外部にあってもよい。本明細書で使用されるように、MREは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列(または他の好適な表現)によって相互に関連する。故に、単一座標(いくつかの実施例では、変換行列とともに)は、実環境内の第1の場所と、また、仮想環境内の第2の対応する場所とを定義し得、その逆も同様である。
【0071】
MREでは、(例えば、MREと関連付けられる仮想環境内の)仮想オブジェクトは、(例えば、MREと関連付けられる実環境内の)実オブジェクトに対応し得る。例えば、MREの実環境が、実街灯柱(実オブジェクト)をある場所座標に含む場合、MREの仮想環境は、仮想街灯柱(仮想オブジェクト)を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトとともに組み合わせて、「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい(街灯柱が略円筒形形状であり得ることを反映する)。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、MREのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、MREのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、MREの仮想環境内にのみ存在し得る。
【0072】
いくつかの実施例では、仮想オブジェクトは、時として著しく、対応する実オブジェクトのものと異なる、特性を有してもよい。例えば、MRE内の実環境は、緑色の2本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、MRE内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の2本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性(色、腕の数)において、その対応する実オブジェクトに類似するが、他の特性(顔特徴、性格)において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動(例えば、人間の性格)をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物(例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスタ)であってもよい。
【0073】
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、VRシステムと比較して、MREを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられる視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、VRシステムのユーザは、上記に述べられたように、ユーザが、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、MRシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、VRシステムと関連付けられる負の心理学的感覚(例えば、認知的不協和)および負の物理的感覚(例えば、乗り物酔い)を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
【0074】
図1Aは、ユーザ110が複合現実システム112を使用する、例示的実環境100を図示する。複合現実システム112は、ディスプレイ(例えば、透過型ディスプレイ)および1つまたはそれを上回るスピーカと、例えば、下記に説明されるような1つまたはそれを上回るセンサ(例えば、カメラ)とを含んでもよい。示される実環境100は、その中にユーザ110が立っている、長方形の部屋104Aと、実オブジェクト122A(ランプ)、124A(テーブル)、126A(ソファ)、および128A(絵画)とを含む。部屋104Aはさらに、場所座標106を含み、これは、実環境100の原点と見なされ得る。図1Aに示されるように、その原点を点106(世界座標)に伴う、環境/世界座標系108(x-軸108X、y-軸108Y、およびz-軸108Zを備える)は、実環境100のための座標空間を定義し得る。いくつかの実施形態では、環境/世界座標系108の原点106は、複合現実システム112の電源がオンにされた場所に対応し得る。いくつかの実施形態では、環境/世界座標系108の原点106は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ110は、実環境100内の実オブジェクトと見なされ得る。同様に、ユーザ110の身体部分(例えば、手、足)は、実環境100内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点115(例えば、ユーザ/聴取者/頭部座標)に伴う、ユーザ/聴取者/頭部座標系114(x-軸114X、y-軸114Y、およびz-軸114Zを備える)は、その上に複合現実システム112が位置する、ユーザ/聴取者/頭部のための座標空間を定義し得る。ユーザ/聴取者/頭部座標系114の原点115は、複合現実システム112の1つまたはそれを上回るコンポーネントに対して定義されてもよい。例えば、ユーザ/聴取者/頭部座標系114の原点115は、複合現実システム112の初期較正等の間、複合現実システム112のディスプレイに対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現が、ユーザ/聴取者/頭部座標系114空間と環境/世界座標系108空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標116および右耳座標117が、ユーザ/聴取者/頭部座標系114の原点115に対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現が、左耳座標116および右耳座標117とユーザ/聴取者/頭部座標系114空間との間の変換を特性評価することができる。ユーザ/聴取者/頭部座標系114は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境/世界座標系108に対する場所の表現を簡略化することができる。同時位置特定およびマッピング(SLAM)、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系114と環境座標系108との間の変換が、リアルタイムで決定および更新されることができる。
【0075】
図1Bは、実環境100に対応する、例示的仮想環境130を図示する。示される仮想環境130は、実長方形部屋104Aに対応する仮想長方形部屋104Bと、実オブジェクト122Aに対応する仮想オブジェクト122Bと、実オブジェクト124Aに対応する仮想オブジェクト124Bと、実オブジェクト126Aに対応する仮想オブジェクト126Bとを含む。仮想オブジェクト122B、124B、126Bと関連付けられるメタデータは、対応する実オブジェクト122A、124A、126Aから導出される情報を含むことができる。仮想環境130は、加えて、仮想モンスタ132を含み、これは、実環境100内の任意の実オブジェクトに対応しない。実環境100内の実オブジェクト128Aは、仮想環境130内の任意の仮想オブジェクトに対応しない。その原点を点134(持続的座標)に伴う、持続的座標系133(x-軸133X、y-軸133Y、およびz-軸133Zを備える)は、仮想コンテンツのための座標空間を定義し得る。持続的座標系133の原点134は、実オブジェクト126A等の1つまたはそれを上回る実オブジェクトと相対的に/それに対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現は、持続的座標系133空間と環境/世界座標系108空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト122B、124B、126B、および132はそれぞれ、持続的座標系133の原点134に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト122B、124B、126B、および132はそれぞれ、1つまたはそれを上回る持続的座標系に対するその自身の持続的座標点を有してもよい。
【0076】
持続座標データは、物理的環境に対して存続する、座標データであってもよい。持続座標データは、MRシステム(例えば、MRシステム112、200)によって使用され、持続仮想コンテンツを設置してもよく、これは、その上に仮想オブジェクトが表示されている、ディスプレイの移動に結び付けられなくてもよい。例えば、2次元画面は、画面上の位置に対してのみ仮想オブジェクトを表示してもよい。2次元画面が移動するにつれて、仮想コンテンツは、画面とともに移動してもよい。いくつかの実施形態では、持続仮想コンテンツは、部屋の角に表示されてもよい。MRユーザが、角を見ると、仮想コンテンツが見え、角から眼を逸らし(仮想コンテンツは、仮想コンテンツが、ユーザの頭部の運動に起因して、ユーザの視野内からユーザの視野の外側の場所に移動している場合があるため、もはや可視ではなくなり得る)、視線を戻すと、仮想コンテンツが角に見え得る(実オブジェクトが挙動し得る方法に類似する)。
【0077】
いくつかの実施形態では、持続座標データ(例えば、持続座標系および/または持続座標フレーム)は、原点と、3つの軸とを含むことができる。例えば、持続座標系は、MRシステムによって、部屋の中心に割り当てられてもよい。いくつかの実施形態では、ユーザが、部屋を動き回り、部屋から出て、部屋に再進入する等し得るが、持続座標系は、部屋の中心に留まり得る(例えば、物理的環境に対して存続するため)。いくつかの実施形態では、仮想オブジェクトは、持続座標データへの変換を使用して、表示されてもよく、これは、持続仮想コンテンツを表示することを有効にし得る。いくつかの実施形態では、MRシステムは、同時位置特定およびマッピングを使用して、持続座標データを生成してもよい(例えば、MRシステムは、持続座標系を空間内の点に割り当ててもよい)。いくつかの実施形態では、MRシステムは、持続座標データを規則的インターバルで生成することによって、環境をマッピングしてもよい(例えば、MRシステムは、持続座標系を、持続座標系が少なくとも、別の持続座標系の5フィート以内にあり得る、グリッド内に割り当ててもよい)。
【0078】
いくつかの実施形態では、持続座標データは、MRシステムによって生成され、遠隔サーバに伝送されてもよい。いくつかの実施形態では、遠隔サーバは、持続座標データを受信するように構成されてもよい。いくつかの実施形態では、遠隔サーバは、複数の観察インスタンスからの持続座標データを同期させるように構成されてもよい。例えば、複数のMRシステムは、同一部屋と持続座標データをマッピングし、そのデータを遠隔サーバに伝送してもよい。いくつかの実施形態では、遠隔サーバは、本観察データを使用して、規準持続座標データを生成してもよく、これは、1つまたはそれを上回る観察に基づいてもよい。いくつかの実施形態では、規準持続座標データは、持続座標データの単一観察より正確および/または信頼性があり得る。いくつかの実施形態では、規準持続座標データは、1つまたはそれを上回るMRシステムに伝送されてもよい。例えば、MRシステムは、画像認識および/または場所データを使用して、対応する規準持続座標データを有する、部屋内に位置することを認識してもよい(例えば、他のMRシステムが、その部屋を以前にマッピングしているため)。いくつかの実施形態では、MRシステムは、その場所に対応する規準持続座標データを遠隔サーバから受信してもよい。
【0079】
図1Aおよび1Bに関して、環境/世界座標系108は、実環境100および仮想環境130の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点106に有する。さらに、座標空間は、同一の3つの直交軸(108X、108Y、108Z)によって定義される。故に、実環境100内の第1の場所および仮想環境130内の第2の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示することを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では(図示せず)、行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
【0080】
図1Cは、同時に、実環境100および仮想環境130の側面をユーザ110に複合現実システム112を介して提示する、例示的MRE150を図示する。示される実施例では、MRE150は、同時に、ユーザ110に、実環境100からの実オブジェクト122A、124A、126A、および128A(例えば、複合現実システム112のディスプレイの透過性部分を介して)と、仮想環境130からの仮想オブジェクト122B、124B、126B、および132(例えば、複合現実システム112のディスプレイのアクティブディスプレイ部分を介して)とを提示する。上記のように、原点106は、MRE150に対応する座標空間のための原点として作用し、座標系108は、座標空間のためのx-軸、y-軸、およびz-軸を定義する。
【0081】
示される実施例では、複合現実オブジェクトは、座標空間108内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト(すなわち、122A/122B、124A/124B、126A/126B)を含む。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ110に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る(仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等)。いくつかの実施例では、仮想オブジェクト(122B、124B、および/または126B)は、対応する実オブジェクト(122A、124A、および/または126A)をオクルードするように、表示されてもよい(例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して)。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る(無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等)。
【0082】
いくつかの実施例では、実オブジェクト(例えば、122A、124A、126A)は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの2次元表現、対応する実オブジェクトと関連付けられるカスタムアセットタイプ、または対応する実オブジェクトと関連付けられる統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
【0083】
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、MRE150では、仮想モンスタ132は、モンスタがMRE150の周囲を歩き回るにつれて生成される、足音効果等の1つまたはそれを上回るオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム112のプロセッサは、MRE150内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム112内に含まれる1つまたはそれを上回るスピーカおよび/または1つまたはそれを上回る外部スピーカを介して、オーディオ信号をユーザ110に提示することができる。
【0084】
例示的複合現実システム
【0085】
例示的複合現実システム112は、ディスプレイ(接眼ディスプレイであり得る、左および右透過型ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられるコンポーネントとを含み得る)と、左および右スピーカ(例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる)と、慣性測定ユニット(IMU)(例えば、頭部デバイスのつるのアームに搭載される)と、直交コイル電磁受信機(例えば、左つる部品に搭載される)と、ユーザから離れるように配向される、左および右カメラ(例えば、深度(飛行時間)カメラ)と、ユーザに向かって配向される、左および右眼カメラ(例えば、ユーザの眼移動を検出するため)とを備える、ウェアラブル頭部デバイス(例えば、ウェアラブル拡張現実または複合現実頭部デバイス)を含むことができる。しかしながら、複合現実システム112は、任意の好適なディスプレイ技術および任意の好適なセンサ(例えば、光学、赤外線、音響、LIDAR、EOG、GPS、磁気)を組み込むことができる。加えて、複合現実システム112は、ネットワーキング特徴(例えば、Wi-Fi能力)を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム112はさらに、バッテリ(ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい)と、プロセッサと、メモリとを含んでもよい。複合現実システム112のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、IMUまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング(SLAM)および/またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム112はまた、ハンドヘルドコントローラ300、および/または下記にさらに説明されるように、ウェアラブルベルトパックであり得る、補助ユニット320を含んでもよい。
【0086】
図2A-2Dは、MRE(MRE150に対応し得る)または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム200(複合現実システム112に対応し得る)のコンポーネントを図示する。図2Aは、例示的複合現実システム200内に含まれるウェアラブル頭部デバイス2102の斜視図を図示する。図2Bは、ユーザの頭部2202上に装着されるウェアラブル頭部デバイス2102の上面図を図示する。図2Cは、ウェアラブル頭部デバイス2102の正面図を図示する。図2Dは、ウェアラブル頭部デバイス2102の例示的接眼レンズ2110の縁視図を図示する。図2A-2Cに示されるように、例示的ウェアラブル頭部デバイス2102は、例示的左接眼レンズ(例えば、左透明導波管セット接眼レンズ)2108と、例示的右接眼レンズ(例えば、右透明導波管セット接眼レンズ)2110とを含む。各接眼レンズ2108および2110は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ(例えば、画像毎に変調された光を介して)を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ2108は、左内部結合格子セット2112と、左直交瞳拡張(OPE)格子セット2120と、左出射(出力)瞳拡張(EPE)格子セット2122とを含むことができる。同様に、右接眼レンズ2110は、右内部結合格子セット2118と、右OPE格子セット2114と、右EPE格子セット2116とを含むことができる。画像毎に変調された光は、内部結合格子2112および2118、OPE2114および2120、およびEPE2116および2122を介して、ユーザの眼に転送されることができる。各内部結合格子セット2112、2118は、光をその対応するOPE格子セット2120、2114に向かって偏向させるように構成されることができる。各OPE格子セット2120、2114は、光をその関連付けられるEPE2122、2116に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各EPE2122、2116は、その対応するOPE格子セット2120、2114から受信された光の少なくとも一部を、接眼レンズ2108、2110の背後に定義される、ユーザアイボックス位置(図示せず)に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット2112および2118、OPE格子セット2114および2120、およびEPE格子セット2116および2122の代わりに、接眼レンズ2108および2110は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および/または屈折および反射性特徴の他の配列を含むことができる。
【0087】
いくつかの実施例では、ウェアラブル頭部デバイス2102は、左つるのアーム2130と、右つるのアーム2132とを含むことができ、左つるのアーム2130は、左スピーカ2134を含み、右つるのアーム2132は、右スピーカ2136を含む。直交コイル電磁受信機2138は、左こめかみ部品またはウェアラブル頭部ユニット2102内の別の好適な場所に位置することができる。慣性測定ユニット(IMU)2140は、右つるのアーム2132またはウェアラブル頭部デバイス2102内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス2102はまた、左深度(例えば、飛行時間)カメラ2142と、右深度カメラ2144とを含むことができる。深度カメラ2142、2144は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
【0088】
図2A-2Dに示される実施例では、画像毎に変調された光の左源2124は、左内部結合格子セット2112を通して、左接眼レンズ2108の中に光学的に結合されることができ、画像毎に変調された光の右源2126は、右内部結合格子セット2118を通して、右接眼レンズ2110の中に光学的に結合されることができる。画像毎に変調された光の源2124、2126は、例えば、光ファイバスキャナ、デジタル光処理(DLP)チップまたはシリコン上液晶(LCoS)変調器等の電子光変調器を含む、プロジェクタ、または側面あたり1つまたはそれを上回るレンズを使用して、内部結合格子セット2112、2118の中に結合される、マイクロ発光ダイオード(μLED)またはマイクロ有機発光ダイオード(μOLED)パネル等の発光型ディスプレイを含むことができる。入力結合格子セット2112、2118は、画像毎に変調された光の源2124、2126からの光を、接眼レンズ2108、2110のための全内部反射(TIR)に関する臨界角を上回る角度に偏向させることができる。OPE格子セット2114、2120は、伝搬する光をTIRによってEPE格子セット2116、2122に向かって下方に漸次的に偏向させる。EPE格子セット2116、2122は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
【0089】
いくつかの実施例では、図2Dに示されるように、左接眼レンズ2108および右接眼レンズ2110はそれぞれ、複数の導波管2402を含む。例えば、各接眼レンズ2108、2110は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル(例えば、赤色、青色、および緑色)専用である。いくつかの実施例では、各接眼レンズ2108、2110は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離(例えば、波面曲率の逆数に対応する距離)に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、EPE格子セット2116、2122は、各EPEを横断して出射する光のPoyntingベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
【0090】
いくつかの実施例では、表示されるコンテンツが3次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器2124、2126および接眼レンズ2108、2110を通して、ユーザに提示されることができる。3次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管(したがって、対応する波面曲率)を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節(例えば、オブジェクト距離依存焦点)との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
【0091】
図2Dは、例示的ウェアラブル頭部デバイス2102の右接眼レンズ2110の上部からの縁視図を図示する。図2Dに示されるように、複数の導波管2402は、3つの導波管の第1のサブセット2404と、3つの導波管の第2のサブセット2406とを含むことができる。導波管の2つのサブセット2404、2406は、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるEPE格子によって区別されることができる。導波管のサブセット2404、2406のそれぞれ内において、各導波管は、異なるスペクトルチャネル(例えば、赤色、緑色、および青色スペクトルチャネルのうちの1つ)をユーザの右眼2206に結合するために使用されることができる。(図2Dには図示されないが、左接眼レンズ2108の構造は、右接眼レンズ2110の構造に類似する。)
【0092】
図3Aは、複合現実システム200の例示的ハンドヘルドコントローラコンポーネント300を図示する。いくつかの実施例では、ハンドヘルドコントローラ300は、把持部分346と、上部表面348に沿って配置される、1つまたはそれを上回るボタン350とを含む。いくつかの実施例では、ボタン350は、例えば、カメラまたは他の光学センサ(複合現実システム200の頭部ユニット(例えば、ウェアラブル頭部デバイス2102)内に搭載され得る)と併せて、ハンドヘルドコントローラ300の6自由度(6DOF)運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ300は、ウェアラブル頭部デバイス2102に対する位置または配向等の位置または配向を検出するための追跡コンポーネント(例えば、IMUまたは他の好適なセンサ)を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ300のハンドル内に位置付けられてもよく、および/またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ300は、ボタンの押下状態、またはハンドヘルドコントローラ300の位置、配向、および/または運動(例えば、IMUを介して)のうちの1つまたはそれを上回るものに対応する、1つまたはそれを上回る出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム200のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および/または移動(さらに言うと、コントローラを保持するユーザの手の位置、配向、および/または移動)に対応し得る。そのような入力はまた、ユーザがボタン350を押下したことに対応し得る。
【0093】
図3Bは、複合現実システム200の例示的補助ユニット320を図示する。補助ユニット320は、エネルギーを提供し、システム200を動作するためのバッテリを含むことができ、プログラムを実行し、システム200を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット320は、補助ユニット320をユーザのベルトに取り付ける等のためのクリップ2128を含む。他の形状因子も、補助ユニット320のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット320は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス2102に結合される。補助ユニット320とウェアラブル頭部デバイス2102との間の無線接続もまた、使用されることができる。
【0094】
いくつかの実施例では、複合現実システム200は、1つまたはそれを上回るマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス2102に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ300および/または補助ユニット320に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
【0095】
図4は、上記に説明される複合現実システム200(図1に関する複合現実システム112に対応し得る)等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図4に示されるように、例示的ハンドヘルドコントローラ400B(ハンドヘルドコントローラ300(「トーテム」)に対応し得る)は、トーテム/ウェアラブル頭部デバイス6自由度(6DOF)トーテムサブシステム404Aを含み、例示的ウェアラブル頭部デバイス400A(ウェアラブル頭部デバイス2102に対応し得る)は、トーテム/ウェアラブル頭部デバイス6DOFサブシステム404Bを含む。実施例では、6DOFトーテムサブシステム404Aおよび6DOFサブシステム404Bは、協働し、ウェアラブル頭部デバイス400Aに対するハンドヘルドコントローラ400Bの6つの座標(例えば、3つの平行移動方向におけるオフセットおよび3つの軸に沿った回転)を決定する。6自由度は、ウェアラブル頭部デバイス400Aの座標系に対して表されてもよい。3つの平行移動オフセットは、そのような座標系内におけるX、Y、およびZオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンスとして、回転行列として、四元数として、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス400A、ウェアラブル頭部デバイス400A内に含まれる、1つまたはそれを上回る深度カメラ444(および/または1つまたはそれを上回る非深度カメラ)、および/または1つまたはそれを上回る光学標的(例えば、上記に説明されるようなハンドヘルドコントローラ400Bのボタン350またはハンドヘルドコントローラ400B内に含まれる専用光学標的)は、6DOF追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ400Bは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス400Aは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス400Aおよびハンドヘルドコントローラ400Bはそれぞれ、3つの直交して配向されるソレノイドのセットを含み、これは、3つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される3つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ400Bに対するウェアラブル頭部デバイス400Aの6DOFが、決定され得る。加えて、6DOFトーテムサブシステム404Aは、改良された正確度および/またはハンドヘルドコントローラ400Bの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット(IMU)を含むことができる。
【0096】
いくつかの実施形態では、ウェアラブルシステム400は、マイクロホンアレイ407を含むことができ、これは、ヘッドギヤデバイス400A上に配列される、1つまたはそれを上回るマイクロホンを含むことができる。いくつかの実施形態では、マイクロホンアレイ407は、4つのマイクロホンを含むことができる。2つのマイクロホンは、ヘッドギヤ400Aの正面上に設置されることができ、2つのマイクロホンは、頭部ヘッドギヤ400Aの背面(例えば、1つを左後方および1つを右後方)に設置されることができる。いくつかの実施形態では、マイクロホンアレイ407によって受信された信号は、DSP408に伝送されることができる。DSP408は、信号処理をマイクロホンアレイ407から受信された信号に実施するように構成されることができる。例えば、DSP408は、雑音低減、音響エコーキャンセル、および/またはビーム形成をマイクロホンアレイ407から受信された信号に実施するように構成されることができる。DSP408は、信号をプロセッサ416に伝送するように構成されることができる。
【0097】
いくつかの実施例では、例えば、座標系108に対するウェアラブル頭部デバイス400Aの移動を補償するために、座標をローカル座標空間(例えば、ウェアラブル頭部デバイス400Aに対して固定される座標空間)から慣性座標空間(例えば、実環境に対して固定される座標空間)に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス400Aのディスプレイが、ディスプレイ上の固定位置および配向(例えば、ディスプレイの右下角における同一位置)ではなく仮想オブジェクトを実環境に対する期待される位置および配向に提示し(例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物)、仮想オブジェクトが実環境内に存在する(かつ、例えば、ウェアラブル頭部デバイス400Aが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない)という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系108に対するウェアラブル頭部デバイス400Aの変換を決定するために、SLAMおよび/またはビジュアルオドメトリプロシージャを使用して、深度カメラ444からの画像を処理することによって決定されることができる。図4に示される実施例では、深度カメラ444は、SLAM/ビジュアルオドメトリブロック406に結合され、画像をブロック406に提供することができる。SLAM/ビジュアルオドメトリブロック406実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間(例えば、慣性座標空間)との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、IMU409から取得される。IMU409からの情報は、SLAM/ビジュアルオドメトリブロック406からの情報と統合され、改良された正確度および/またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
【0098】
いくつかの実施例では、深度カメラ444は、ウェアラブル頭部デバイス400Aのプロセッサ内に実装され得る、手のジェスチャトラッカ411に、3D画像を供給することができる。手のジェスチャトラッカ411は、例えば、深度カメラ444から受信された3D画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
【0099】
いくつかの実施例では、1つまたはそれを上回るプロセッサ416は、ウェアラブル頭部デバイスの6DOFヘッドギヤサブシステム404B、IMU409、SLAM/ビジュアルオドメトリブロック406、深度カメラ444、および/または手のジェスチャトラッカ411からのデータを受信するように構成されてもよい。プロセッサ416はまた、制御信号を6DOFトーテムシステム404Aに送信し、そこから受信することができる。プロセッサ416は、ハンドヘルドコントローラ400Bがテザリングされない実施例等では、無線で、6DOFトーテムシステム404Aに結合されてもよい。プロセッサ416はさらに、オーディオ/視覚的コンテンツメモリ418、グラフィカル処理ユニット(GPU)420、および/またはデジタル信号プロセッサ(DSP)オーディオ空間化装置422等の付加的コンポーネントと通信してもよい。DSPオーディオ空間化装置422は、頭部関連伝達関数(HRTF)メモリ425に結合されてもよい。GPU420は、画像毎に変調された光の左源424に結合される、左チャネル出力と、画像毎に変調された光の右源426に結合される、右チャネル出力とを含むことができる。GPU420は、例えば、図2A-2Dに関して上記に説明されるように、立体視画像データを画像毎に変調された光の源424、426に出力することができる。DSPオーディオ空間化装置422は、オーディオを左スピーカ412および/または右スピーカ414に出力することができる。DSPオーディオ空間化装置422は、プロセッサ419から、ユーザから仮想音源(例えば、ハンドヘルドコントローラ320を介して、ユーザによって移動され得る)への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、DSPオーディオ空間化装置422は、対応するHRTFを決定することができる(例えば、HRTFにアクセスすることによって、または複数のHRTFを補間することによって)。DSPオーディオ空間化装置422は、次いで、決定されたHRTFを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの期待に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
【0100】
図4に示されるようないくつかの実施例では、プロセッサ416、GPU420、DSPオーディオ空間化装置422、HRTFメモリ425、およびオーディオ/視覚的コンテンツメモリ418のうちの1つまたはそれを上回るものは、補助ユニット400C(上記に説明される補助ユニット320に対応し得る)内に含まれてもよい。補助ユニット400Cは、バッテリ427を含み、そのコンポーネントを給電し、および/または電力をウェアラブル頭部デバイス400Aまたはハンドヘルドコントローラ400Bに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス400Aのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
【0101】
図4は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット400Cと関連付けられているような図4に提示される要素は、代わりに、ウェアラブル頭部デバイス400Aまたはハンドヘルドコントローラ400Bと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ400Bまたは補助ユニット400Cを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
【0102】
没入型のオーディオプラットフォーム
【0103】
XRシステムは、没入型のアプリケーションのために、仮想コンテンツをユーザの実環境内に表示するための一意の能力を活用し得る。例えば、単一XRシステムは、大テレビ画面および高価なマルチチャネルラウドスピーカ設定によって提供される体験に近似する、合致する、またはさらにそれを超え得る。XRシステムは、仮想画面をユーザに表示してもよく、仮想画面は、ユーザの所望に応じて、大きくまたは小さくされることができる。実環境に対する仮想オブジェクト持続性を利用することで、XRシステムは、仮想画面をソファの真向かいの空壁上の固定された場所にさえ提示し得、これは、物理的配設されたテレビを機能的にシミュレートし得る。ユーザは、ソファ上に着座し、エンターテインメントを50インチ画面、100インチ画面、200インチ画面、またはユーザが所望する任意のサイズ画面上で消費し得る。
【0104】
視覚的ディスプレイの一部として、XRシステムは、オーディオをユーザに提示することから利益を享受し得る。例えば、購入および/またはストリーミングされ得る、多くの映画は、マルチチャネルサラウンドサウンドオーディオ(トラック)を含み得る。そのようなオーディオトラックは、ステレオチャネルスピーカ、5.1チャネルスピーカ、7.1チャネルスピーカ、または任意の他の構成のスピーカ上で再生されるように構成され得る。仮想画面と同様に、XRシステムは、算出エンジニアリングを活用し、ユーザに、物理的体験/スピーカ設定によって提供される体験に近似する、合致する、またはさらにそれを超え得る、シミュレートされた体験/スピーカ設定を提示し得る。例えば、XRシステムは、仮想スピーカをユーザの実環境の周囲に配列し、物理的5.1チャネルスピーカ配列をシミュレートしてもよい。ユーザが、物理的配列をシミュレートすることを所望する場合、仮想スピーカは、ユーザの環境に対して固定された場所に留まってもよい(それらが物理的に配設されているかのように)。いくつかの実施形態では、ユーザは、XRシステムの柔軟性を利用して、仮想スピーカを異なる場所に再配列する、スピーカを追加する、スピーカを削減する、仮想スピーカに彼らを追従させること等を行ってもよい。
【0105】
したがって、オーディオコンテンツを処理するためのシステムおよび方法を開発することが望ましくあり得る。いくつかの実施形態では、オーディオコンテンツは、複数のスピーカチャネルを通して再生されるように構成される、複数の音トラックを含んでもよい。いくつかの実施形態では、オーディオコンテンツは、高忠実性(例えば、高ビットレート)であり得、これは、オーディオコンテンツを記憶するために要求されるデータの量および/またはオーディオコンテンツを処理(例えば、デコード、解凍等)するために要求される処理の量を増加させ得る。したがって、オーディオコンテンツを配信および/または記憶することが困難であり得る。例えば、オンラインストリーミングサービスが、ユーザが高精細ビデオおよび/または高精細オーディオを享受し得るように、大量のデータを単一ユーザに伝送するために要求され得る。数百万人の同時ユーザが、再生を始めると、そのようなデータ、すなわち、オリジナル品質では重いコンテンツを配信することが実行不可能となり得る。
【0106】
いくつかの実施形態では、コーデックが、メディア(例えば、ビデオおよび/またはオーディオ)コンテンツを効率的に配信および/または記憶することに役立てるために使用されることができる。コーデックは、データを特定の方法においてエンコードおよび/または圧縮するように構成され得る、コンピュータ命令を含むことができる。いくつかの実施形態では、解凍されたデータは、パルスコード変調(「PCM」)を含むことができ、これは、アナログ信号をデジタル的に表し得る(例えば、サンプリングを通して)。圧縮されたデータは、オリジナルの解凍されたデータよりサイズが有意に小さく、伝送するために有意に少ない帯域幅を要求し得る。いくつかの実施形態では、ある程度の忠実性は、圧縮の結果として喪失され得るが、そのようなトレードオフは、大量のデータを実行可能に配信および/または記憶するために必要であり得る。いくつかの実施形態では、コーデックは、データをデコードおよび/または解凍するように構成され得る、コンピュータ命令を含むことができる。いくつかの実施形態では、エンコードされたデータは、直接、デバイス上で再生可能ではあり得ず、エンコードされたメディアデータは、情報が可読フォーマットでデバイス上で起動するシステムおよび/またはアプリケーションプログラムに提示され得るように、デコードされ得る。デコードするステップは、データを元々エンコードするために使用されたエンコード規格に基づいて、オリジナルの解凍されたデータを再構築するステップを含み得る。オーディオコーデックの実施例は、MP3、WMA、WAV、AAC、AC3、FLAC、ALAC等を含むことができる。
【0107】
コーデックは、広く使用および採用され得るため、XRシステム(例えば、MRシステム112、200)がXRシステム上で起動するアプリケーションプログラムのためのオーディオプラットフォームを提供するためのシステムおよび方法を開発することが望ましくあり得る。いくつかの実施形態では、オーディオプラットフォームは、多大な努力を開発者の一部に課さずに、アプリケーション開発者が、オーディオ再生特徴を容易に実装する(例えば、エンコードされたオーディオストリームをハンドリングする)ことを可能にし得る。いくつかの実施形態では、プラットフォームレベルオーディオソリューションを提供することは、複数の開発者によって開発されている場合がある、複数のアプリケーションを横断して、一貫した再生を可能にし得る。プラットフォームレベルオーディオソリューションはまた、XRシステムの他のプラットフォームレベル特徴と接続することから利益を享受し得、これは、アプリケーションが、より複雑なXR機能を容易に活用することを可能にし得る。
【0108】
例えば、デコードされたオーディオストリームは、複数のチャネルを含み得、これは、空間化され得る。空間化オーディオは、ユーザの実および/または仮想環境の周囲の空間内の1つまたはそれを上回る点から生じているかのように提示される、オーディオを含むことができる。単純チャネルオーディオの代わりに、空間化オーディオは、環境内のユーザの位置付けと反応することができる。例えば、ステレオオーディオは、オーディオストリームによって決定付けられる音量において、音を左チャネルおよび右チャネルから再生し得、音量は、ユーザの移動を考慮し得ない。ユーザが、左に移動する場合、単純ステレオオーディオは、左スピーカにおいて再生される音量を増加させ得ない。しかしながら、空間化オーディオは、空間をユーザの左の空間内の点から生じるように、左チャネルを提示し得る(物理的左チャネルスピーカが、そこに配設されているかのように)。いくつかの実施形態では、ユーザは、空間内のその点に向かって移動し得、空間化左チャネル音は、音源とユーザとの間で減少される距離に従って、音量を増加させ得る。
【0109】
オーディオプラットフォームソリューションは、したがって、有意な利益を開発者およびユーザに提供し得る。開発者は、有意な特徴をアプリケーション空間内に組み込む必要なく、プラットフォーム機能に容易にアクセスし得る。代わりに、抽象化を使用することで、開発者は、アプリケーション空間と1つまたはそれを上回るプラットフォームサービスとの間のインターフェースを使用して、プラットフォームレベル機能を活用することができる。例えば、開発者によって実装されるアプリケーションは、本来のプラットフォームレベル機能を制御してもよい。ユーザは、付加的開発者柔軟性から利益を享受することができ、例えば、開発者は、空間化オーディオのような他のプラットフォーム特徴を活用し、没入型のオーディオ体験を効率的かつ容易に配信し得る。
【0110】
図5は、いくつかの実施形態による、没入型のオーディオコンテンツの例示的ディスプレイを図示する。いくつかの実施形態では、ユーザ502は、XRシステム504を通して、没入型のオーディオコンテンツを体験し得、これは、MRシステム112、200に対応し得る。いくつかの実施形態では、他のXRシステム(例えば、VRシステム)も、使用されてもよい。XRシステム504は、XR用途のために具体的に設計され得ない、メディアコンテンツを提示するために使用されてもよい。例えば、デジタル映画は、物理的スピーカ配列(例えば、5つのチャネルおよびサブウーファチャネル)を伴う、2次元画面上での再生のために設計されている場合がある。いくつかの実施形態では、デジタルコンテンツは、異なるデバイスを横断して再生を有効にし得る、1つまたはそれを上回る標準的構成において構成されてもよい。例えば、ビデオおよび/またはオーディオコンテンツは、データをより管理可能なサイズに圧縮し、記憶およびに伝送を促進し得る、コーデックを使用して、エンコードされてもよい。いくつかの実施形態では、ビデオおよび/またはオーディオコンテンツは、コンテナを含んでもよく、これは、コンテナ内に記憶されるデータに関連する、1つまたはそれを上回るデータ構造を含んでもよい。
【0111】
XRシステム504が、標準的フォーマットにおいてエンコードされたオーディオコンテンツを受信するためのシステムおよび方法を含むことが有益であり得る。例えば、ユーザ502は、XRシステム504を使用して、デジタル映画を1つまたはそれを上回る遠隔サーバからストリーミングすることを所望し得る。いくつかの実施形態では、1つまたはそれを上回る遠隔サーバは、デジタル映画と関連付けられる、オーディオコンテンツをエンコードし、エンコードされたオーディオコンテンツをXRシステム504に伝送してもよい(例えば、オーディオコンテンツが、エンコードされた後、より効率的に記憶および/または伝送され得るため)。XRシステム504は、エンコードされたオーディオコンテンツを1つまたはそれを上回るサーバから受信することができる。いくつかの実施形態では、XRシステム504は、受信されたエンコードされたオーディオコンテンツをデコードしてもよい。いくつかの実施形態では、オーディオコンテンツをデコードするステップは、オーディオコンテンツをPCMデータに変換するステップを含むことができる。いくつかの実施形態では、エンコードされたオーディオコンテンツは、複数の(例えば、6つの)チャネルのオーディオコンテンツを含むことができ、これは、異なるスピーカ場所に提示されるように構成されることができる。図5では、6つのチャネルは、その中でスピーカが、画面の左、画面の右、画面の下方、ユーザの左後方、およびユーザの右後方に設置され、サブウーファ(図示せず)が、例えば、画面の近くまたはユーザの近くに設置され得る、構成をとり得る。
【0112】
いくつかの実施形態では、XRシステム504は、オーディオコンテンツを解析し、オーディオコンテンツをユーザ502に提示すべき方法を決定してもよい。例えば、XRシステム504によって受信されたオーディオコンテンツは、スピーカ配列を示す、メタデータを含んでもよい。いくつかの実施形態では、XRシステム504は、オーディオコンテンツをデコードし、オーディオコンテンツを空間化し、スピーカ配列をシミュレートすることができる。例えば、XRシステム504は、再生のために、6つのオーディオチャネルをレンダリングしてもよく、これは、1つまたはそれを上回るオーディオチャネルを空間化するステップを含んでもよい。いくつかの実施形態では、左前方オーディオチャネルは、仮想画面506の左にあり得る、スピーカ位置508aに空間化されてもよい。いくつかの実施形態では、右前方オーディオチャネルは、仮想画面506の右にあり得る、スピーカ位置508bに空間化されることができる。いくつかの実施形態では、中心チャネルは、仮想画面506の下方にあり得る、スピーカ位置508cに空間化されることができる。いくつかの実施形態では、左後方チャネルは、ユーザ502の背後かつ左にあり得る、スピーカ位置508dに空間化されることができる。いくつかの実施形態では、右後方チャネルは、ユーザ502の背後かつ右にあり得る、スピーカ位置508eに空間化されることができる。
【0113】
XRシステム504は、持続座標データを使用して、実環境内のスピーカ位置(例えば、508a、508b、508c、508d、および/または508e)を決定してもよい。例えば、スピーカ位置508a、508b、508c、508d、および/または508eは、ユーザ502の居間内の物理的長椅子の周囲に位置付けられてもよい。ユーザ502の位置は、XRシステム504のセンサを使用して決定されてもよい(例えば、MRシステム112または200のセンサを使用して、実環境、IMU、カメラに関連する情報を決定する)。ユーザ502が、居間から退出する場合、それらのスピーカ位置から提示される空間化オーディオは、こもっておよび/またはオクルードされて現れ得、これは、同一物理的場所内に位置付けられる、物理的スピーカの挙動をシミュレートし得る。いくつかの実施形態では、スピーカ位置は、実環境に結び付けられなくてもよい。例えば、ユーザ502が、実環境を動き回るにつれて、スピーカ位置508a、508b、508c、508d、および/または508e(および/または仮想画面506)は、動的に再位置特定され、ユーザ502の位置に対して固定位置に留まり得る。6つのチャネル構成が、本明細書に説明され、5つのチャネル構成が、図5に示されるが、任意の好適なスピーカ配列が使用され得ることが検討される。例えば、より多いまたはより少ないスピーカチャネルが、使用されることができる。いくつかの実施形態では、スピーカ配列はまた、ユーザおよび/または画面に対する単純関係位置付けではなく、さらに詳細または具体的な位置付けを示してもよい(例えば、スピーカ位置508dは、正確に、ユーザ502の1フィート背後、ユーザ502の1フィート上方、およびユーザ502の1フィート左にあってもよい)。例えば、絶対位置が、スピーカ配列内のスピーカ位置に関して規定されてもよい。スピーカ配列は、XRシステム504のセンサ(例えば、MRシステム112または200のセンサ、IMU、カメラ)を使用して決定されてもよい。例えば、センサを使用して、実環境に関連する情報を決定することで、スピーカは、実環境の特徴に対応する場所、(例えば、壁上の場所、天井上の場所、柱上の場所)に位置付けられてもよい。いくつかの実施形態では、(例えば、スピーカを使用した)オーディオ提示は、XRシステム504のセンサ(例えば、MRシステム112または200のセンサ、IMU、カメラ)を使用して決定されてもよい。例えば、オーディオは、実環境の特徴に基づいて、提示されてもよい(例えば、付加的エコーまたは反響音が、センサからの情報を使用して決定された環境の音響に基づいて、オーディオに追加されてもよい)。
【0114】
図6は、いくつかの実施形態による、例示的没入型のオーディオプラットフォームを図示する。いくつかの実施形態では、XRシステム602(MRシステム112、200に対応し得る)は、コンピュータ命令を実行するように構成される、1つまたはそれを上回るコンピュータシステムを含むことができる。いくつかの実施形態では、XRシステム602は、1つまたはそれを上回るデータ構造を記憶するように構成される、1つまたはそれを上回るコンピュータシステムを含むことができる。いくつかの実施形態では、XRシステム602は、アプリケーションプログラム604を起動するように構成されることができる。アプリケーションプログラム604は、1つまたはそれを上回るアプリケーション開発フレームワーク(例えば、Unity、Unreal Engine等)内で構成および/または開発されてもよい。いくつかの実施形態では、アプリケーションプログラム604は、第三者によって(例えば、XRシステム602を開発したものではない、エンティティによって)開発されてもよい。いくつかの実施形態では、XRシステム602(MRシステム112、200に対応し得る)は、オーディオコンテンツがユーザに提示されている方法を決定するためのセンサ(例えば、MRシステム112または200のセンサ、IMU、カメラ)を含む。例えば、XRシステム602の要素(例えば、アプリケーションプログラム604、マルチメディアサービス606、オーディオレンダリングサービス608)は、情報(例えば、XRシステム602の環境についての情報)をセンサから受信してもよく、情報に基づいて、要素は、オーディオコンテンツが提示されている方法を更新する。
【0115】
いくつかの実施形態では、アプリケーションプログラム604は、デジタルコンテンツ(例えば、ビデオおよび/またはオーディオコンテンツ)を再生するように構成されてもよい。例えば、アプリケーションプログラム604は、デジタルストリーミングサービスのクライアントとして構成されてもよく、これは、コンテンツをエンドユーザデバイス(例えば、XRシステム602)にデジタル的にストリーリングしてもよい。いくつかの実施形態では、アプリケーションプログラム604は、1つまたはそれを上回る遠隔サーバと通信するように構成されてもよく、これは、エンドユーザデバイスにストリーミングされるためのデジタルコンテンツを記憶してもよい。アプリケーションプログラム604は、1つまたはそれを上回る遠隔サーバからストリーミングするための利用可能なコンテンツを参照してもよく、アプリケーションプログラム604は、本データをエンドユーザに提示してもよい。いくつかの実施形態では、アプリケーションプログラム604は、規定されたデジタルコンテンツをストリーミングするための要求を1つまたはそれを上回る遠隔サーバに伝送してもよく、アプリケーションプログラム604は、デジタルコンテンツを受信しなくてもよい(例えば、デジタルコンテンツは、直接、1つまたはそれを上回る遠隔サーバからマルチメディアサービス606に通過することができる)。バイパスアプリケーションプログラム604は、プラットフォームを横断して、またはアプリケーションプログラムを横断して、メディアコンテンツが提示される方法における一貫性を維持する利点を有することができる。バイパスアプリケーションプログラム604はまた、アプリケーションプログラム604が、デジタルコンテンツをハンドリングするために要求され得ない(代わりに、システムレベルプラットフォームは、デジタルコンテンツを直接ソースから管理し得る)ため、セキュリティおよび/またはプライバシの観点から望ましくあり得る。
【0116】
いくつかの実施形態では、XRシステム602は、エンコードされたデジタルコンテンツを受信してもよい(例えば、例えば、アプリケーションプログラム604による、規定されたデジタルコンテンツをストリーミングする要求の結果として)。いくつかの実施形態では、エンコードされたデジタルコンテンツは、マルチメディアサービス606によって受信されることができ(実線によって表される)、これは、エンコードされたコンテンツをデコードするように構成されてもよい。例えば、マルチメディアサービス606は、1つまたはそれを上回るコーデックを利用してもよく、これは、エンコードされたデータを解凍されたデータ(例えば、PCMデータ)に変換するように構成されてもよい。いくつかの実施形態では、マルチメディアサービス606は、アプリケーションプログラム604と通信してもよい。例えば、アプリケーションプログラム604は、制御データをマルチメディアサービス606に伝送してもよい(点線によって表される)。制御データは、マルチメディアサービス606において受信されたオーディオチャネル毎に、フォーマット化および/またはオーディオハンドルを含んでもよい。いくつかの実施形態では、制御データは、許諾および/またはデジタル権利管理情報を含むことができる。いくつかの実施形態では、マルチメディアサービス606は、フォーマットデータ、データコンテンツ、デジタル権利管理、適切なコーデック等を含む、制御データを1つまたはそれを上回る遠隔サーバから受信してもよい(点線によって表される)。いくつかの実施形態では、マルチメディアサービス606は、フォーマットデータをアプリケーションプログラム604に伝送してもよい。いくつかの実施形態では、マルチメディアサービス606は、オペレーティングシステムサービスとして構成されることができ、XRシステム602上で起動する1つまたはそれを上回るアプリケーションプログラム(例えば、アプリケーションプログラム604)に利用可能であり得る。いくつかの実施形態では、XRシステム602上で起動するアプリケーション(例えば、アプリケーションプログラム604)は、アプリケーションプログラミングインターフェース(「API」)および/またはソフトウェア開発キット(「SDK」)を使用して、マルチメディアサービス606と通信してもよい。
【0117】
いくつかの実施形態では、マルチメディアサービス606は、エンコードされたオーディオコンテンツを直接1つまたはそれを上回る遠隔サーバから受信し、エンコードされたオーディオコンテンツに基づいて、デコードされたオーディオコンテンツを生成するように構成されてもよい。例えば、マルチメディアサービス606は、1つまたはそれを上回るコーデックを含むことができ、これは、エンコードされたオーディオストリームをデコードされたオーディオストリームに変換してもよい。いくつかの実施形態では、マルチメディアサービス606は、種々の異なるコーデックを含むことができ、これは、種々の異なるメディアコンテンツをサポートしてもよい。いくつかの実施形態では、マルチメディアサービス606は、適応ビットレートストリーミング(例えば、MPEG-DASH)のためのサポートを含むことができる。いくつかの実施形態では、アプリケーションプログラム604は、ネットワーク情報(例えば、ネットワークポート)を含む、制御データを1つまたはそれを上回る遠隔サーバに伝送してもよく(点線によって表される)、1つまたはそれを上回る遠隔サーバは、提供されるポートを使用して、エンコードされたオーディオをマルチメディアサービス606に伝送してもよい(実線によって表される)。いくつかの実施形態では、マルチメディアサービス606は、エンコードされたオーディオを1つまたはそれを上回る遠隔サーバから受信するように構成されることができる。いくつかの実施形態では、マルチメディアサービス606は、エンコードされたオーディオをXRシステム602上で起動する1つまたはそれを上回るアプリケーションプログラム(例えば、アプリケーションプログラム604)から受信するように構成されることができ、これは、エンコードされたオーディオを1つまたはそれを上回る遠隔サーバまたは任意の形態のデジタル記憶装置(図6には描写されない)から受信していてもよい。
【0118】
マルチメディアサービス606および/またはオーディオレンダリングサービス608は、命令を実行し、および/または1つまたはそれを上回るデータ構造を記憶するように構成される、1つまたはそれを上回るコンピュータシステムを含むことができる。いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608は、プロセス、サブプロセス、スレッド、および/またはサービスを実行するように構成されることができ、これは、1つまたはそれを上回るコンピュータシステム上で起動されてもよい。いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608は、プロセスを含むことができ、これは、ランタイム環境内で起動されてもよい。いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608は、親プロセスのサブプロセスを含むことができる。マルチメディアサービス606および/またはオーディオレンダリングサービス608によって実行される命令は、1つまたはそれを上回るコンポーネントを含むことができる。いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608によって実行される命令は、汎用プロセッサ内で起動されることができ、いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608によって実行される命令は、オーディオ特有のプロセッサ(例えば、DSP)内で起動されてもよい。いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608によって実行される命令は、他のコンポーネントおよび/またはサービスと異なるプロセスアドレス空間および/またはメモリ空間内で起動されてもよい。いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608によって実行される命令は、1つまたはそれを上回るスレッドとして起動されてもよい。いくつかの実施形態では、マルチメディアサービス606および/またはオーディオレンダリングサービス608によって実行される命令は、他のコンポーネントおよび/またはサービスとプロセスアドレスおよび/またはメモリ空間を共有してもよい。
【0119】
いくつかの実施形態では、オーディオレンダリングサービス608は、デコードされたオーディオを受信し(実線によって表される)、デコードされたオーディオを空間化および/またはレンダリングするように構成されることができる。例えば、マルチメディアサービス606は、デコードされたオーディオをオーディオレンダリングサービス608に伝送するように構成されることができる。いくつかの実施形態では、オーディオレンダリングサービス608は、デコードされたオーディオをマルチメディアサービス606から受信することができる。例えば、マルチメディアサービス606は、受信されたオーディオデータをデコードしてもよく、デコードされたオーディオデータは、オーディオレンダリングサービス608に送信される。いくつかの実施形態では、オーディオレンダリングサービス608は、アプリケーションプログラム604と通信することができる。例えば、アプリケーションプログラム604は、制御データをオーディオレンダリングサービス608に伝送してもよい(点線によって表される)。制御データは、1つまたはそれを上回るオーディオチャネルに対応する、1つまたはそれを上回るハンドルを含むことができ、アプリケーションプログラム604は、1つまたはそれを上回るハンドルをオーディオレンダリングサービス608に通過させてもよい。オーディオレンダリングサービス608は、次いで、受信されたデコードされたオーディオを空間化してもよい。いくつかの実施形態では、オーディオレンダリングサービス608は、オーディオストリームとともに含まれ得る、データに従って、デコードされたオーディオを空間化することができる(例えば、オーディオストリームメタデータは、空間化のために使用されるべきチャネル配列を示してもよい)。いくつかの実施形態では、オーディオレンダリングサービス608は、オーディオ場面に従って、データを空間化するように構成されてもよい。例えば、アプリケーションプログラム604は、オーディオ場面データをオーディオレンダリングサービス608に伝送してもよい。いくつかの実施形態では、オーディオ場面データは、音源がユーザ、実/仮想環境、および/または実/仮想環境内のオブジェクトと関連して設置されるべき場所に関するデータを含むことができる。いくつかの実施形態では、オーディオレンダリングサービス608は、オペレーティングシステムサービスとして構成されることができる、XRシステム602上で起動する1つまたはそれを上回るアプリケーションプログラム(例えば、アプリケーションプログラム604)に利用可能であり得る。いくつかの実施形態では、XRシステム602上で起動するアプリケーション(例えば、アプリケーションプログラム604)は、アプリケーションプログラミングインターフェース(「API」)および/またはソフトウェア開発キット(「SDK」)を使用して、オーディオレンダリングサービス608と通信してもよい。いくつかの実施形態では、オーディオレンダリングサービス608は、解凍されたオーディオをXRシステム602および/またはプログラムXRシステム602上で起動する1つまたはそれを上回るアプリケーション(例えば、アプリケーションプログラム604)から受信するように構成されることができる。例えば、オーディオコンテンツは、XRシステム602および/またはXRシステム602上で起動する1つまたはそれを上回るアプリケーションプログラム上で、解凍されたフォーマットで生成されてもよく、解凍されたオーディオは、エンコード/デコードプロセスを要求せずに、直接、オーディオレンダリングサービス608に通過されてもよい(例えば、オーディオが、遠隔場所から伝送される必要がないため)。いくつかの実施形態では、オーディオレンダリングサービス608は、オーディオコンテンツを空間化および/またはレンダリングすることができ、これは、XRシステム602の1つまたはそれを上回るスピーカを介して、ユーザに提示されてもよい。例えば、オーディオレンダリングサービス608は、空間化オーディオをスピーカ610に伝送することができる。スピーカ610は、1つまたはそれを上回るオーディオ信号を受信し、オーディオをXRシステム602のユーザに出力するように構成されることができる。
【0120】
音を空間化する(例えば、ある場所から放出されるように知覚され得るように、音源を構成する)ことは、任意の好適な方法を使用して行われることができる。例えば、頭部関連伝達関数(「HRTF」)が、特定の場所から生じる音をシミュレートするために使用されることができる。いくつかの実施形態では、汎用HRTFが、使用されることができる。いくつかの実施形態では、ユーザの耳の周囲の1つまたはそれを上回るマイクロホン(例えば、XRシステムの1つまたはそれを上回るマイクロホン)が、1人またはそれを上回るユーザ特有のHRTFを決定するために使用されることができる。いくつかの実施形態では、ユーザと仮想音源との間の距離が、好適な方法(例えば、音圧減衰、高周波数減衰、直接および残響音の混合、運動視差等)を使用して、シミュレートされてもよい。音空間化の他の実施例は、下記に説明される。
【0121】
いくつかの実施形態では、スピーカ配列は、音が空間化される方法(例えば、仮想スピーカと聴取者との間の距離が知覚される方法)に影響を及ぼし、スピーカ配列は、XRシステム602のセンサ(例えば、MRシステム112または200のセンサ、XRシステム502のセンサ、IMU、カメラ)を使用して決定されてもよい。例えば、センサを使用して、実環境に関連する情報を決定することで、スピーカは、実環境の特徴(例えば、壁上の場所、天井上の場所、柱上の場所)に対応する場所に位置付けられてもよい。いくつかの実施形態では、(例えば、スピーカを使用した)オーディオ提示は、XRシステム602のセンサ(例えば、MRシステム112または200のセンサ、XRシステム502のセンサ、IMU、カメラ)を使用して決定されてもよい。例えば、オーディオは、実環境の特徴に基づいて提示されてもよく(例えば、付加的エコーまたは反響音が、センサからの情報を使用して決定された環境の音響に基づいて、オーディオに追加されてもよい)、有利なこととして、提示されているオーディオをさらに空間化し、聴取者により没入型の体験を提供する。
【0122】
アプリケーションプログラムが本来のOS機能性を活用/制御し得るように、没入型のオーディオプラットフォームを構築することが有益であり得る。例えば、アプリケーションプログラム604が、エンコードされたオーディオを、直接、マルチメディアサービス606に送信させ(または1つまたはそれを上回る遠隔サーバからマルチメディアサービス606への転送を促進し)、次いで、ユーザへの提示のために、オーディオを空間化および/またはレンダリングし得る、オーディオレンダリングサービス608へのオーディオ場面を規定することを可能にすることは、アプリケーションプログラム604にそのような機能自体を実行することを要求することより好ましくあり得る。アプリケーションプログラム604に種々のライブラリ(または他の方法)を組み込むことを要求することは、望ましくない労力をアプリケーションプログラム604の開発者の一部にもたらし得る。いくつかの実施形態では、複数のアプリケーションプログラムによって使用され得る、機能性(例えば、コーデック)をシステムレベルで一元化することはさらに、より効率的であり得る。一元化は、より算出上効率的であって、および/または電力を節約し得る。いくつかの実施形態では、オーディオプラットフォーム機能をXRシステム602のオペレーティングシステムの中に構築し、機能性をアプリケーションプログラムにエクスポーズすることはまた、融通の利く将来的開発を有効にし得る。例えば、XRシステム602は、マルチメディアサービス606および/またはオーディオレンダリングサービス608と関連付けられる、機能性を追加、変更、および/または除去してもよく(例えば、付加的コーデックサポートを追加する)、更新された機能性は、アプリケーションプログラムの任意の修正を要求せずに、XRシステム602上で起動されるように構成される、アプリケーションプログラム604等のアプリケーションプログラムに直ちに利用可能になり得る。
【0123】
図7は、いくつかの実施形態による、オーディオコンテンツを提示するための例示的プロセスを図示する。ステップ702では、メディアストリームが、初期化されてもよい。例えば、アプリケーションプログラム(例えば、XRシステム上で起動されるように構成される、アプリケーションプログラム604)が、1つまたはそれを上回る遠隔サーバと通信し、メディアコンテンツを要求してもよい。いくつかの実施形態では、メディアストリームは、アプリケーションプログラム(例えば、アプリケーションプログラム604)内で初期化されてもよく、これは、メディアコンテンツをローカルで記憶し得る(アプリケーションプログラム自体内またはアプリケーションプログラムを起動する1つまたはそれを上回るコンピュータシステム内のいずれかにおいて)。
【0124】
ステップ704では、エンコードされたオーディオストリームが、受信されることができる。いくつかの実施形態では、エンコードされたオーディオストリームは、XRシステム(例えば、XRシステム602)によって受信されることができる。エンコードされたオーディオストリームは、XRシステム上で起動されるように構成される、1つまたはそれを上回るアプリケーションプログラム(例えば、アプリケーションプログラム604)の指示で受信されてもよい。例えば、アプリケーションプログラム(例えば、アプリケーションプログラム604)は、ネットワーク情報を1つまたはそれを上回る遠隔サーバ(例えば、ネットワークポート)に伝送してもよく、アプリケーションプログラムは、XRシステム上の1つまたはそれを上回るサービスに、エンコードされたオーディオストリームが着信し得ることを示してもよい。いくつかの実施形態では、エンコードされたオーディオストリームは、XRシステムのオペレーティングシステム(例えば、マルチメディアサービス606)の一部として起動されるように構成される、1つまたはそれを上回るサービスによって受信されることができる。
【0125】
ステップ706では、デコードされたオーディオストリームが、エンコードされたオーディオストリームに基づいて、生成されることができる。いくつかの実施形態では、デコードされたオーディオストリームは、1つまたはそれを上回るコーデックを使用して生成されることができ、これは、エンコードされたオーディオストリームを解凍するように構成されることができる。いくつかの実施形態では、デコードされたオーディオストリームは、XRシステムのオペレーティングシステム(例えば、マルチメディアサービス606)の一部として起動されるように構成される、1つまたはそれを上回るサービスによって生成されることができる。いくつかの実施形態では、デコードされたオーディオストリームは、PCMデータを含むことができる。いくつかの実施形態では、デコードされたオーディオストリームは、XRシステムのオペレーティングシステムの一部として起動されるように構成される、1つまたはそれを上回るサービスによって受信されることができるように構成される。いくつかの実施形態では、デコードされたオーディオストリームは、XRシステムのオペレーティングシステム(例えば、オーディオレンダリングサービス608)の一部として起動されるように構成される、1つまたはそれを上回るサービスから受信されることができる。
【0126】
ステップ708では、オーディオ場面データが、(例えば、オーディオレンダリングサービス608によって)受信されることができる。オーディオ場面データは、音が提示されるべき方法に関するパラメータを含むことができる。例えば、オーディオ場面データは、提示されるべきチャネルの数、チャネルが位置すべき場所、チャネルがユーザ、実/仮想環境、および/または実/仮想環境内のオブジェクトに対して位置付けられる(例えば、位置および/または配向される)べき方法を規定することができる。いくつかの実施形態では、オーディオ場面データは、オーディオコンテンツとMRE内の1つまたはそれを上回る実および/または仮想オブジェクトを関連付けることができる。例えば、XRシステムの1つまたはそれを上回るセンサは、同時位置特定およびマッピング(SLAM)および/または持続座標データを使用して、オーディオチャネルと3次元空間内の位置を関連付けてもよい(例えば、オーディオチャネルは、ユーザのソファの左等、ユーザの実環境内の位置と関連付けられることができる)。いくつかの実施形態では、オーディオ場面データは、オーディオコンテンツ(例えば、オーディオチャネル)と実/仮想オブジェクトとの間の関連付けを含むことができる。例えば、オーディオチャネルは、実/仮想オブジェクトから放出されるように構成されてもよく、実/仮想オブジェクトが、移動する場合、オーディオチャネルもまた、対応して移動するように現れてもよい。いくつかの実施形態では、オーディオ場面データは、オーディオコンテンツが実および/または仮想オブジェクトと相互作用すべき方法に関するパラメータ等のパラメータを含むことができる。例えば、オーディオ場面データは、仮想音源が、実/仮想オブジェクトによってオクルードされるべきかどうか、実/仮想オブジェクトから反射すべきかどうか、および/または仮想音源が、実/仮想オブジェクトから反響すべきかどうかを統制し得る、パラメータを含むことができる。いくつかの実施形態では、オーディオ場面データは、XRシステム上で起動されるように構成される、1つまたはそれを上回るアプリケーションから受信されることができる。いくつかの実施形態では、オーディオ場面データは、1つまたはそれを上回る遠隔サーバから受信されることができる。いくつかの実施形態では、オーディオ場面データは、オーディオストリームに添付されることができる(例えば、メタデータの一部として)。
【0127】
いくつかの実施形態では、オーディオ場面データは、センサ(例えば、MRシステム112または200のセンサ、XRシステム502のセンサ、XRシステム602のセンサ、IMU、カメラ)を使用して決定される。例えば、センサを使用して、実環境に関連する情報を決定することで、スピーカまたはチャネルは、実環境の特徴(例えば、壁上の場所、天井上の場所、柱上の場所)に対応する場所に位置付けられてもよい。いくつかの実施形態では、場面データは、(例えば、スピーカを使用した)オーディオ提示と関連付けられるデータを含み、オーディオ提示と関連付けられるデータは、センサ(例えば、MRシステム112または200のセンサ、XRシステム502のセンサ、XRシステム602のセンサ、IMU、カメラ)を使用して決定されてもよい。例えば、オーディオは、実環境の特徴に基づいて提示されてもよく(例えば、付加的エコーまたは反響音は、センサからの情報を使用して決定された環境の音響に基づいて、オーディオに追加されてもよい)、有利なこととして、提示されているオーディオをさらに空間化し、聴取者により没入型の体験を提供する。
【0128】
いくつかの実施形態では、オーディオ場面データは、アプリケーションプログラムおよび/またはユーザによって調節可能であり得る、パラメータを含んでもよい。例えば、5.1チャネルオーディオシステムは、左後方および右後方チャネルを含んでもよい。いくつかの実施形態では、アプリケーションプログラムおよび/またはユーザは、左後方および右後方チャネルが位置付けられるべき場所および/または後方距離を示してもよい。いくつかの実施形態では、後方チャネルは、1つまたはそれを上回る所定のベクトルに沿って設置されてもよく、それらがベクトルに沿って位置付けられるべき距離は、スカラー乗算器によって調節されてもよい。いくつかの実施形態では、アプリケーションプログラムおよび/またはユーザが、同様に、他の仮想スピーカチャネル(例えば、左前方、右前方、および/または中心スピーカチャネル)配列を調節してもよい。いくつかの実施形態では、仮想スピーカチャネル配列は、コンテキストによってカスタマイズされることができる。例えば、ユーザは、第1のスピーカチャネル配列を映画を鑑賞するために、第2の配列をニュースのために、第2の配列をスポーツのために等と割り当ててもよい。いくつかの実施形態では、スピーカチャネル配列は、具体的アプリケーションプログラムと関連付けられることができる。
【0129】
いくつかの実施形態では、スピーカチャネル配列は、物理的環境と関連付けられることができる。例えば、ユーザは、スピーカチャネルを特定の部屋内の特定の位置に割り当ててもよい。別の実施例として、センサによって提供される情報は、本明細書に説明されるように、スピーカチャネルを特定の部屋内の特定の位置に割り当ててもよい。ユーザが、将来的にその部屋に進入すると、XRシステムは、部屋を認識し(例えば、画像認識および/または位置データを使用して、すなわち、本明細書に説明されるようなXRシステムのセンサを使用して)、所定のスピーカチャネル配列および/または他のオーディオ場面データに従って、オーディオを自動的に提示してもよい。いくつかの実施形態では、オーディオ場面データは、遠隔サーバに伝送され、XRシステムによって受信されてもよい(例えば、ユーザは、カスタマイズされたオーディオ場面データをXRシステムの他のユーザにエクスポートしてもよく、および/またはオーディオ場面データは、XRシステムによって、遠隔サーバ上に記憶され、後に、同一XRシステムによって受信されてもよい)。
【0130】
オーディオ場面データは、種々のオーディオチャネル構成(例えば、5.1チャネル、7.1チャネル、および7.1.4チャネル)をサポートすることができる。いくつかの実施形態では、オーディオ場面データは、少なくとも3つのオーディオ空間化シナリオ、すなわち、ユーザ空間化、画面毎空間化、および部屋毎空間化をサポートすることができる。これらの空間化シナリオは、相互に排他的である必要はない、すなわち、1つを上回る空間化シナリオが、ともに定義されてもよいことを理解されたい。具体的HRTFが、空間化設定と関連付けられ得る、すなわち、空間化設定を更新するステップは、前の空間化設定と関連付けられる、HRTFを更新するステップを含み得る。関連付けられるHRTFは、本明細書に開示される方法および/またはハードウェアを使用して決定されてもよい。開発者は、オーディオ空間化をその複合メディア空間体験に追加する能力を有し得、XRデバイス(例えば、XRシステム602)上で起動する1つまたはそれを上回るサービスは、ユーザが、利用可能なオプションに応じて、その体験のために所望する、オーディオ空間化を選定することを可能にし得る。いくつかの実施例では、アプリケーションの開発者は、アプリケーションがユーザの体験を最適化するための具体的オーディオ空間化設定を選定してもよい。種々の標準的フォーマット、コーデック、および/またはチャネル構成が、サポートされることができ、AC3コーデック、MPEG-DASH、Dolby Atmosフォーマットメディア等を含む。
【0131】
ユーザ空間化オーディオは、画面に対するユーザの位置に基づくことができる。例えば、仮想画面(例えば、仮想画面506)が、ユーザの左に向かってある場合、オーディオは、XRシステムの左側から生じることができる(例えば、音がスピーカ位置508aと関連付けられる仮想スピーカから生じるように現れる)。オーディオはまた、画面までのユーザの距離に応じて、調節されてもよい。例えば、オーディオは、ユーザが画面から離れるように移動するにつれて、より静音になってもよい。画面に対するユーザ空間化オーディオは、異なるアプリケーションプログラムを横断したオプションであってもよい(例えば、ビデオを鑑賞する間のブラウザ内でのオーディオ空間化)。画面に対するユーザの位置は、XRシステムのセンサ(例えば、MRシステム112または200のセンサ、XRシステム502のセンサ、XRシステム602のセンサ、IMU、カメラ)間で決定されてもよい。
【0132】
画面毎空間化オーディオもまた、サポートされることができる。例えば、5.1チャネルオーディオに対応する画面は、左、中心、右、左後方、および右後方チャネル、および中心バスを有することができる(類似する対応するチャネル配列もまた、7.X.Xチャネルサラウンド音サポートのために利用可能であり得る)。これらのチャネルは、より多いまたはより少ないそれらのチャネルが所望に応じて使用され得るように、カスタマイズされることができる(例えば、ユーザが、チャネルの数を定義してもよい、アプリケーションの開発者が、アプリケーションのためのチャネルの数を定義してもよい、チャネルの数は、XRデバイスのセンサ(例えば、特徴環境と関連付けられる感知される情報および/または環境内の特徴の数)によって決定されてもよい)。前方スピーカチャネルは、仮想画面(例えば、仮想画面506)に対して設置されることができる。後方スピーカチャネル(例えば、スピーカ位置508dおよび508eと関連付けられる、仮想スピーカ)は、静的または動的のいずれかであることができる。例えば、後方チャネルが、静的である場合、それらは、画面から後方の固定距離(例えば、仮想画面幅の倍数)にあることができ、その位置に留まることができる。例えば、後方チャネルが、動的である(例えば、ユーザに伴って、前方および/または後方に移動する)場合、それらは、ユーザの後方に対してある距離に留まることができる。動的後方スピーカの場合、ユーザは、乗算器を調節し、後方チャネル距離を調節するオプションを有してもよい。ユーザはまた、ユーザが鑑賞するコンテンツに応じて、カスタム空間モードを定義および選択することが可能であり得る。例えば、ユーザは、映画、ニュース、およびスポーツのために、異なるスピーカ構成および/または空間モードを有し得る。例えば、ユーザは、後方スピーカチャネルを、映画およびニュースのために静的に、スポーツのために動的に設定してもよい(例えば、XRシステムのグラフィカルインターフェースを使用して)。
【0133】
部屋毎空間化オーディオもまた、サポートされることができる。例えば、ユーザは、特定の部屋に関する仮想スピーカチャネル(例えば、5.X.Xチャネル、7.X.X.チャネルに関して)を定義し得る。XRシステムのグラフィカルユーザインターフェースは、入力をユーザから受信し、仮想スピーカチャネルを設定するように構成されてもよい。いったんユーザが、所与の部屋に関する仮想スピーカの構成を設定すると、構成は、保存され、部屋が既知の部屋として認識される(例えば、位置データおよび/または画像認識を介して)場合、自動的にロードされることができる。このように、ユーザは、その好ましい音のために、第1のサラウンド音/オーディオ空間化構成を居間に、第2の構成を台所に有することができる。いくつかの実施例では、本明細書に説明されるようなウェアラブル頭部デバイスのセンサ(例えば、カメラ、GPS、音響センサ、LIDAR)が、部屋を識別し、その部屋に特有の構成のロードをトリガするために使用されることができる。各部屋空間化は、対応する画面毎空間化を含んでもよい。例えば、ユーザは、ユーザが鑑賞するコンテンツに応じて、カスタム空間モードを定義および/または選択することができる。例えば、ユーザは、映画、ニュース、およびスポーツのために、異なるスピーカ構成を有し得る。例えば、ユーザは、後方スピーカチャネルを、台所でのスポーツのために静的に、居間でのスポーツのために動的に設定してもよい(例えば、XRシステムのグラフィカルインターフェースを使用して)。
【0134】
ステップ710では、空間化オーディオが、デコードされたオーディオストリームおよびオーディオ場面データに基づいて、生成されることができる(例えば、オーディオレンダリングサービス608を使用して)。例えば、デコードされたオーディオストリームは、6つのチャネルを含んでもよく、オーディオ場面データは、6つのチャネルが仮想画面に対して配列されるべき方法を規定してもよい。いくつかの実施形態では、各チャネルが仮想画面の周囲の空間内の点から生じるように現れるように、デコードされたオーディオは、空間化されてもよい。いくつかの実施形態では、空間化オーディオは、XRシステムのユーザにレンダリングおよび提示されることができる。
【0135】
いくつかの実施形態によると、方法は、第1の入力をアプリケーションプログラムから受信するステップと、第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信するステップと、第1のサービスを介して、エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成するステップと、第2のサービスを介して、デコードされたオーディオストリームを受信するステップと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信するステップと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信するステップであって、第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ステップと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示するステップとを含む。
【0136】
いくつかの実施形態によると、第2の入力は、ウェアラブル頭部デバイスの位置に対応する。
【0137】
いくつかの実施形態によると、1つまたはそれを上回る仮想スピーカの位置は、ウェアラブル頭部デバイスの位置に基づく。
【0138】
いくつかの実施形態によると、第2の入力は、実環境内の物理的オブジェクトの位置に対応する。
【0139】
いくつかの実施形態によると、1つまたはそれを上回る仮想スピーカの位置は、物理的オブジェクトの位置に基づく。
【0140】
いくつかの実施形態によると、エンコードされたオーディオストリームは、遠隔サーバから受信される。
【0141】
いくつかの実施形態によると、第1のサービスは、第2のサービスと異なるサービスである。
【0142】
いくつかの実施形態によると、空間化オーディオストリームは、6つのオーディオチャネルを備え、6つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0143】
いくつかの実施形態によると、空間化オーディオストリームは、8つのオーディオチャネルを備え、8つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0144】
いくつかの実施形態によると、空間化オーディオストリームを提示するステップは、ウェアラブル頭部デバイスのディスプレイ上に表示される仮想コンテンツを提示するように構成される、仮想画面に対するウェアラブル頭部デバイスの位置および距離に基づく。
【0145】
いくつかの実施形態によると、空間化オーディオストリームは、ユーザ空間化オーディオ、画面毎空間化オーディオ、および部屋毎空間化オーディオのうちの少なくとも1つに基づいて提示される。
【0146】
いくつかの実施形態によると、空間化オーディオストリームは、画面毎空間化オーディオに基づいて提示され、空間化オーディオストリームは、静的モードおよび動的モードのうちの1つと関連付けられ、ウェアラブル頭部デバイスは、第1の位置にある。本方法はさらに、ウェアラブル頭部デバイスを、第1の位置から、第1の位置と異なる、第2の位置に移動させるステップと、空間化オーディオストリームが静的モードと関連付けられることの決定に従って、第1の空間化オーディオを、第1の距離に基づいて、第1の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップと、空間化オーディオストリームが動的モードと関連付けられることの決定に従って、第2の空間化オーディオを、第2の距離に基づいて、第2の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップとを含む。
【0147】
いくつかの実施形態によると、空間化オーディオストリームは、部屋毎空間化オーディオに基づいて提示される。本方法ではさらに、ウェアラブル頭部デバイスの位置が第1の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第1の部屋と関連付けられる、第1の空間化オーディオを提示するステップを含み、ウェアラブル頭部デバイスの位置が第2の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第2の部屋と関連付けられる、第2の空間化オーディオを提示するステップを含む。第1の空間化オーディオは、第2の空間化オーディオと異なり、第1の部屋は、第2の部屋と異なる。
【0148】
いくつかの実施形態によると、空間化オーディオストリームの提示は、ユーザ設定に基づく。
【0149】
いくつかの実施形態によると、空間化オーディオストリームの提示は、アプリケーションプログラムの設定に基づく。
【0150】
いくつかの実施形態によると、第1の空間化オーディオストリームは、一元型設定と関連付けられる。本方法はさらに、第4の入力を第2のアプリケーションプログラムから受信するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、一元型設定と関連付けられる、第2の空間化オーディオストリームを提示するステップとを含む。
【0151】
いくつかの実施形態によると、システムは、1つまたはそれを上回るセンサおよび1つまたはそれを上回るスピーカを備える、ウェアラブル頭部デバイスと、第1の入力をアプリケーションプログラムから受信するステップと、第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信するステップと、第1のサービスを介して、エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成するステップと、第2のサービスを介して、デコードされたオーディオストリームを受信するステップと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信するステップと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信するステップであって、第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ステップと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示するステップとを含む、方法を実行するように構成される、1つまたはそれを上回るプロセッサとを備える。
【0152】
いくつかの実施形態によると、第2の入力は、ウェアラブル頭部デバイスの位置に対応する。
【0153】
いくつかの実施形態によると、1つまたはそれを上回る仮想スピーカの位置は、ウェアラブル頭部デバイスの位置に基づく。
【0154】
いくつかの実施形態によると、第2の入力は、実環境内の物理的オブジェクトの位置に対応する。
【0155】
いくつかの実施形態によると、1つまたはそれを上回る仮想スピーカの位置は、物理的オブジェクトの位置に基づく。
【0156】
いくつかの実施形態によると、エンコードされたオーディオストリームは、遠隔サーバから受信される。
【0157】
いくつかの実施形態によると、第1のサービスは、第2のサービスと異なるサービスである。
【0158】
いくつかの実施形態によると、空間化オーディオストリームは、6つのオーディオチャネルを備え、6つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0159】
いくつかの実施形態によると、空間化オーディオストリームは、8つのオーディオチャネルを備え、8つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0160】
いくつかの実施形態によると、空間化オーディオストリームを提示するステップは、ウェアラブル頭部デバイスのディスプレイ上に表示される仮想コンテンツを提示するように構成される、仮想画面に対するウェアラブル頭部デバイスの位置および距離に基づく。
【0161】
いくつかの実施形態によると、空間化オーディオストリームは、ユーザ空間化オーディオ、画面毎空間化オーディオ、および部屋毎空間化オーディオのうちの少なくとも1つに基づいて提示される。
【0162】
いくつかの実施形態によると、空間化オーディオストリームは、画面毎空間化オーディオに基づいて提示され、空間化オーディオストリームは、静的モードおよび動的モードのうちの1つと関連付けられ、ウェアラブル頭部デバイスは、第1の位置にあって、本方法はさらに、ウェアラブル頭部デバイスを、第1の位置から、第1の位置と異なる、第2の位置に移動させるステップと、空間化オーディオストリームが静的モードと関連付けられることの決定に従って、第1の空間化オーディオを、第1の距離に基づいて、第1の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップと、空間化オーディオストリームが動的モードと関連付けられることの決定に従って、第2の空間化オーディオを、第2の距離に基づいて、第2の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップとを含む。
【0163】
いくつかの実施形態によると、空間化オーディオストリームは、部屋毎空間化オーディオに基づいて提示され、本方法ではさらに、ウェアラブル頭部デバイスの位置が第1の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第1の部屋と関連付けられる、第1の空間化オーディオを提示するステップを含み、ウェアラブル頭部デバイスの位置が第2の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第2の部屋と関連付けられる、第2の空間化オーディオを提示するステップを含む。第1の空間化オーディオは、第2の空間化オーディオと異なり、第1の部屋は、第2の部屋と異なる。
【0164】
いくつかの実施形態によると、空間化オーディオストリームの提示は、ユーザ設定に基づく。
【0165】
いくつかの実施形態によると、空間化オーディオストリームの提示は、アプリケーションプログラムの設定に基づく。
【0166】
いくつかの実施形態によると、第1の空間化オーディオストリームは、一元型設定と関連付けられ、本方法はさらに、第4の入力を第2のアプリケーションプログラムから受信するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、一元型設定と関連付けられる、第2の空間化オーディオストリームを提示するステップとを含む。
【0167】
いくつかの実施形態によると、非一過性コンピュータ可読媒体は、1つまたはそれを上回るプロセッサによって実行されると、1つまたはそれを上回るプロセッサに、第1の入力をアプリケーションプログラムから受信するステップと、第1の入力の受信に応答して、第1のサービスを介して、エンコードされたオーディオストリームを受信するステップと、第1のサービスを介して、エンコードされたオーディオストリームに基づいて、デコードされたオーディオストリームを生成するステップと、第2のサービスを介して、デコードされたオーディオストリームを受信するステップと、第2の入力をウェアラブル頭部デバイスの1つまたはそれを上回るセンサから受信するステップと、第2のサービスを介して、第3の入力をアプリケーションプログラムから受信するステップであって、第3の入力は、1つまたはそれを上回る仮想スピーカの位置に対応する、ステップと、第2のサービスを介して、デコードされたオーディオストリーム、第2の入力、および第3の入力に基づいて、空間化オーディオストリームを生成するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、空間化オーディオストリームを提示するステップとを含む、方法を実行させる、命令を記憶する。
【0168】
いくつかの実施形態によると、第2の入力は、ウェアラブル頭部デバイスの位置に対応する。
【0169】
いくつかの実施形態によると、1つまたはそれを上回る仮想スピーカの位置は、ウェアラブル頭部デバイスの位置に基づく。
【0170】
いくつかの実施形態によると、第2の入力は、実環境内の物理的オブジェクトの位置に対応する。
【0171】
いくつかの実施形態によると、1つまたはそれを上回る仮想スピーカの位置は、物理的オブジェクトの位置に基づく。
【0172】
いくつかの実施形態によると、エンコードされたオーディオストリームは、遠隔サーバから受信される。
【0173】
いくつかの実施形態によると、第1のサービスは、第2のサービスと異なるサービスである。
【0174】
いくつかの実施形態によると、空間化オーディオストリームは、6つのオーディオチャネルを備え、6つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0175】
いくつかの実施形態によると、空間化オーディオストリームは、8つのオーディオチャネルを備え、8つのオーディオチャネルのうちの1つは、サブウーファチャネルを備える。
【0176】
いくつかの実施形態によると、空間化オーディオストリームを提示するステップは、ウェアラブル頭部デバイスのディスプレイ上に表示される仮想コンテンツを提示するように構成される、仮想画面に対するウェアラブル頭部デバイスの位置および距離に基づく。
【0177】
いくつかの実施形態によると、空間化オーディオストリームは、ユーザ空間化オーディオ、画面毎空間化オーディオ、および部屋毎空間化オーディオのうちの少なくとも1つに基づいて提示される。
【0178】
いくつかの実施形態によると、空間化オーディオストリームは、画面毎空間化オーディオに基づいて提示され、空間化オーディオストリームは、静的モードおよび動的モードのうちの1つと関連付けられ、ウェアラブル頭部デバイスは、第1の位置にあって、本方法はさらに、ウェアラブル頭部デバイスを、第1の位置から、第1の位置と異なる、第2の位置に移動させるステップと、空間化オーディオストリームが静的モードと関連付けられることの決定に従って、第1の空間化オーディオを、第1の距離に基づいて、第1の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップと、空間化オーディオストリームが動的モードと関連付けられることの決定に従って、第2の空間化オーディオを、第2の距離に基づいて、第2の位置から1つまたはそれを上回る仮想スピーカの位置のうちの少なくとも1つに提示するステップとを含む。
【0179】
いくつかの実施形態によると、空間化オーディオストリームは、部屋毎空間化オーディオに基づいて提示され、本方法ではさらに、ウェアラブル頭部デバイスの位置が第1の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第1の部屋と関連付けられる、第1の空間化オーディオを提示するステップを含み、ウェアラブル頭部デバイスの位置が第2の部屋内にあることの決定に従って、空間化オーディオを提示するステップは、第2の部屋と関連付けられる、第2の空間化オーディオを提示するステップを含む。第1の空間化オーディオは、第2の空間化オーディオと異なり、第1の部屋は、第2の部屋と異なる。
【0180】
いくつかの実施形態によると、空間化オーディオストリームの提示は、ユーザ設定に基づく。
【0181】
いくつかの実施形態によると、空間化オーディオストリームの提示は、アプリケーションプログラムの設定に基づく。
【0182】
いくつかの実施形態によると、第1の空間化オーディオストリームは、一元型設定と関連付けられ、本方法はさらに、第4の入力を第2のアプリケーションプログラムから受信するステップと、ウェアラブル頭部デバイスの1つまたはそれを上回るスピーカを介して、一元型設定と関連付けられる、第2の空間化オーディオストリームを提示するステップとを含む。
【0183】
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、1つまたはそれを上回る実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
図1A
図1B
図1C
図2A
図2B
図2C
図2D
図3A
図3B
図4
図5
図6
図7
【国際調査報告】