特許 7217713 バーチャル・リアリティ・データをカスタマイズするための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-01-26

(45)【発行日】2023-02-03

(54)【発明の名称】バーチャル・リアリティ・データをカスタマイズするための方法及びシステム

(51)【国際特許分類】

   H04N 21/236 20110101AFI20230127BHJP

   H04N 21/266 20110101ALI20230127BHJP

   H04N 21/4728 20110101ALI20230127BHJP

   G06T 19/00 20110101ALI20230127BHJP

【ＦＩ】

H04N21/236

H04N21/266

H04N21/4728

G06T19/00 300B

【請求項の数】 20

(21)【出願番号】P 2019566147

(86)(22)【出願日】2018-05-24

(65)【公表番号】

(43)【公表日】2020-07-27

(86)【国際出願番号】 US2018034436

(87)【国際公開番号】W WO2018222500

(87)【国際公開日】2018-12-06

【審査請求日】2021-05-18

(31)【優先権主張番号】15/610,593

(32)【優先日】2017-05-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】311006227

【氏名又は名称】ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッド

【氏名又は名称原語表記】ＶＥＲＩＺＯＮ ＰＡＴＥＮＴ ＡＮＤ ＬＩＣＥＮＳＩＮＧ ＩＮＣ．

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際弁理士法人

(72)【発明者】

【氏名】デニー・ブライテンフェルト

(72)【発明者】

【氏名】ルネ・セプルベダ

(72)【発明者】

【氏名】マイケル・ロダト

(72)【発明者】

【氏名】パイ・ムードラジリ

【審査官】鈴木 順三

(56)【参考文献】

【文献】欧州特許出願公開第０３１４７７５８（ＥＰ，Ａ１）

【文献】米国特許出願公開第２０１２／０２８１０５９（ＵＳ，Ａ１）

【文献】特開２０１７－０５５１７３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２６０１９６（ＵＳ，Ａ１）

【文献】特表２００５－５００７５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／００ － １９／２０

(57)【特許請求の範囲】

【請求項1】

以下を含む方法：
バーチャル・リアリティ・システムが体験選択データ構造を生成すること、ここで、前記体験選択データ構造は、複数のエントリを含み、各エントリは異なるバーチャル・リアリティ・データセットに対応し、各バーチャル・リアリティ・データセットは異なるバーチャル・リアリティ体験へとカスタマイズされ、異なるバーチャル・リアリティ体験は異なるバーチャル・ビューポイントに関連し、異なるバーチャル・ビューポイントは、三次元シーン（３Ｄシーン）に関して異なる場所に位置する；
前記バーチャル・リアリティ・システムがメディア・プレーヤ装置に前記体験選択データ構造を提供すること；
前記メディア・プレーヤ装置が前記体験選択データ構造の手段によりエントリを前記複数のエントリから選択することを、前記バーチャル・リアリティ・システムが検出すること、ここで、前記エントリは、特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；及び、
前記バーチャル・リアリティ・システムが、前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記エントリを選択した旨の前記検出に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを提供すること。

【請求項2】

請求項１の方法であって、更に、以下を含む、方法：
前記バーチャル・リアリティ・システムが前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを前記メディア・プレーヤ装置に提供している間、前記メディア・プレーヤ装置が前記体験選択データ構造の手段により、異なるエントリを前記複数のエントリから選択することを、前記バーチャル・リアリティ・システムが検出すること、ここで、前記異なるエントリは、異なる特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは異なる特定のバーチャル・リアリティ体験へとカスタマイズされる；及び、
前記バーチャル・リアリティ・システムが、前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記異なるエントリを選択する旨の検出に応答して、前記異なる特定のバーチャル・リアリティ体験へとカスタマイズされる前記異なる特定のバーチャル・リアリティ・データセットを提供すること。

【請求項3】

請求項２の方法であって、以下の特徴を有する方法：
前記特定のバーチャル・リアリティ体験が前記３Ｄシーンの第１の領域内の第１の場所に位置する第１のバーチャル・ビューポイントに関連する；
前記異なる特定のバーチャル・リアリティ体験が前記第１の領域とは異なる前記３Ｄシーンの第２の領域内の第２の場所に位置する第２のバーチャル・ビューポイントに関連する；及び、
前記メディア・プレーヤ装置が、前記異なる特定のバーチャル・リアリティ体験へとカスタマイズされる前記異なる特定のバーチャル・リアリティ・データセットに対応する前記異なるエントリを、前記第１の場所の前記第１のバーチャル・ビューポイントから前記第２の場所の前記第２のバーチャル・ビューポイントへのユーザのバーチャル・ビューポイントの動きを表すユーザ入力を受信することに応答して、選択する。

【請求項4】

請求項１の方法であって、以下の特徴を有する、方法：
前記３Ｄシーンは、現実世界シーンの要素を含み、前記現実世界シーンは、複数のキャプチャ・デバイスによってキャプチャされ、前記複数のキャプチャ・デバイスは、前記現実世界シーンに対して異なるロケーションに配置され、その結果、現実世界シーンの異なるビューをキャプチャし、前記異なるビュー各々は、前記複数のキャプチャ・デバイスにおける異なるキャプチャ・デバイスによってキャプチャされ、そして、前記異なるビュー各々は、複数の表面データ・フレーム・シーケンス内に含まれる異なる表面データ・フレーム・シーケンス内で描写される；
前記複数の表面データ・フレーム・シーケンスが仮想化される表面データ・フレーム・シーケンスを含み、前記仮想化される表面データ・フレーム・シーケンスは、前記現実世界シーンのビューを描写し、前記現実世界シーンのビューは、前記複数のキャプチャ・デバイスによってキャプチャされる前記現実世界シーンの異なるビューとは不揃いである；並びに、
前記方法が以下の工程を更に含む：
前記バーチャル・リアリティ・システムが、前記特定のバーチャル・リアリティ体験を記述するエクスペリエンス・パラメータのセットを特定すること、及び、
前記バーチャル・リアリティ・システムが、前記特定されるエクスペリエンス・パラメータのセットに基づいて、表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから選択すること、ここで、前記選択の目的は、フレーム・シーケンス・サブセット内に含めることであり、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎であり、前記フレーム・シーケンス・サブセットは前記仮想化される表面データ・フレーム・シーケンスを含む；並びに、
前記体験選択データ構造を生成することが、前記体験選択データ構造内に、前記特定のバーチャル・リアリティ・データセットの基礎となる前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの前記選択に基づいて、前記特定のバーチャル・リアリティ・データセットに対応する前記エントリを含めることを含むこと。

【請求項5】

請求項１の方法であって、更に、以下を含む、方法：
前記バーチャル・リアリティ・システム内に含まれる第１のサーバが、複数の表面データ・フレーム・シーケンス内に含まれる第１の表面データ・フレーム・シーケンスへアクセスすること、ここで、前記複数の表面データ・フレーム・シーケンスは、それぞれ、前記３Ｄシーンの異なるビューを描写する色彩フレーム及び深度フレームを含む；
前記第１のサーバとは別個であり、且つ、前記バーチャル・リアリティ・システム内に更に含まれる第２のサーバが、前記複数の表面データ・フレーム・シーケンス内に含まれる第２の表面データ・フレーム・シーケンスにアクセスすること；
前記第１のサーバが、前記バーチャル・リアリティ・システム内に含まれ、且つ前記第１のサーバ及び第２のサーバとネットワークの手段により通信可能に接続されるマネージメント・サーバへ、前記マネージメント・サーバから送信されるリクエストに応答して、第１の個別トランスポート・ストリームの手段により前記第１の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信すること；並びに、
前記第２のサーバが、前記マネージメント・サーバへ、前記リクエストに応答して、且つ、前記第１のサーバの前記送信に同期して、第２の個別トランスポート・ストリームの手段により前記第２の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信すること。

【請求項6】

請求項５の方法であって、更に、以下を含み：
前記マネージメント・サーバが、表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択すること、ここで、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎であり、前記表面データ・フレーム・シーケンスは、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンスを含む前記フレーム・シーケンス・サブセットに含める目的で選択される；
前記マネージメント・サーバが、前記第１のサーバ及び第２のサーバへ、前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの選択に応答して、前記リクエストを送信し、前記リクエストに応答して、前記第１のサーバ及び第２のサーバが前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内にそれぞれ含まれる前記色彩フレーム及び深度フレームを同期して送信すること；
前記マネージメント・サーバが、前記第１のサーバから、前記ネットワークの手段により、前記第１の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信すること；
前記マネージメント・サーバが、前記第２のサーバから、前記ネットワークの手段により、且つ、前記第１のサーバからの前記色彩フレーム及び深度フレームの受信と同期して、前記第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信すること；及び
前記マネージメント・サーバが、前記第１のサーバ及び第２のサーバから同期して受信される前記色彩フレーム及び深度フレームをパッケージ化し、追加のトランスポート・ストリームを生成すること、ここで、追加のトランスポート・ストリームは、ビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、前記フレーム・シーケンス・サブセット内に含める目的で選択される表面データ・フレーム・シーケンスに対応する；
ここで：
前記追加のトランスポート・ストリームは、前記メディア・プレーヤ装置へストリーミングを行う目的で構成され、そして、
前記特定のバーチャル・リアリティ体験へとカスタマイズされ、前記メディア・プレーヤ装置へ提供される前記特定のバーチャル・リアリティ・データセットは、前記追加のトランスポート・ストリームを含む。

【請求項7】

請求項５の方法であって、ここで、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを、前記第１の個別トランスポート・ストリーム及び第２の個別トランスポート・ストリームの手段によって、それぞれ同期送信することは、以下を含む：
前記第１のサーバが、同期サーバへデータを送信することであって、前記データが示すのは、前記第１の表面データ・フレーム・シーケンス内に含まれる第１の色彩フレーム及び深度フレームが前記第１のサーバによって受信されたことであり；
前記第２のサーバが、前記同期サーバへ、データを送信することであって、前記データが示すのは、前記第２の表面データ・フレーム・シーケンス内に含まれ、且つ前記第１の色彩フレーム及び深度フレームに対応する第２の色彩フレーム及び深度フレームが前記第２のサーバによって受信されたことである；
前記第１のサーバ及び第２のサーバが、前記同期サーバから、前記第１の及び第２の色彩フレーム及び深度フレームを受信したことを示す前記データの前記送信に応答して、以下を受信すること：第１の及び第２の色彩フレーム及び深度フレームが同期して送信されるべき範囲の指定のタイムフレームを示すデータ；並びに、
前記第１のサーバ及び第２のサーバが、前記マネージメント・サーバへ、前記第１の及び第２の色彩フレーム及び深度フレームを、それぞれ、指定のタイムフレーム内に送信すること。

【請求項8】

請求項１の方法であって、少なくとも１つの非一時的コンピュータ可読媒体上でコンピュータ可読インストラクションとして具現化される、該方法。

【請求項9】

以下を含む方法：
メディア・プレーヤ装置が、バーチャル・リアリティ・システムから、体験選択データ構造にアクセスすること、ここで、前記体験選択データ構造は、複数のエントリを含み、各エントリは異なるバーチャル・リアリティ・データセットに対応し、各バーチャル・リアリティ・データセットは異なるバーチャル・リアリティ体験へとカスタマイズされ、異なるバーチャル・リアリティ体験は異なるバーチャル・ビューポイントに関連し、異なるバーチャル・ビューポイントは、三次元シーン（３Ｄシーン）に関して異なる場所に位置する；
前記メディア・プレーヤ装置が、前記体験選択データ構造の手段により、エントリを前記複数のエントリから選択すること、前記エントリは特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；
前記メディア・プレーヤ装置が、前記バーチャル・リアリティ・システムへ、前記体験選択データ構造の手段により選択される前記エントリを表すデータを提供すること；
前記メディア・プレーヤ装置が、前記バーチャル・リアリティ・システムから、前記エントリを表す前記データの前記提供に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを受信すること；及び
前記メディア・プレーヤ装置が、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを処理して、前記特定のバーチャル・リアリティ体験をユーザに提供すること。

【請求項10】

請求項９の方法であって、ここで、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを受信することが以下を含む、方法：前記メディア・プレーヤ装置を前記バーチャル・リアリティ・システムと通信可能に接続するネットワークの手段により、トランスポート・ストリームを受信すること、ここで、前記トランスポート・ストリームは、複数のビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、表面データ・フレーム・シーケンスのフレーム・シーケンス・サブセットに対応し、表面データ・フレーム・シーケンスは、複数の表面データ・フレーム・シーケンスから選択され、前記複数の表面データ・フレーム・シーケンスは、それぞれ、前記３Ｄシーンの異なるビューを描写する。

【請求項11】

請求項９の方法であって、少なくとも１つの非一時的コンピュータ可読媒体上でコンピュータ可読インストラクションとして具現化される、方法。

【請求項12】

以下を含む、システム：
以下の動作を行う少なくとも１つの物理的なコンピューティング・デバイス：：
体験選択データ構造を生成すること、ここで、前記体験選択データ構造は、複数のエントリを含み、各エントリは異なるバーチャル・リアリティ・データセットに対応し、各バーチャル・リアリティ・データセットは異なるバーチャル・リアリティ体験へとカスタマイズされ、異なるバーチャル・リアリティ体験は異なるバーチャル・ビューポイントに関連し、異なるバーチャル・ビューポイントは、三次元シーン（３Ｄシーン）に関して異なる場所に位置する；
前記体験選択データ構造をメディア・プレーヤ装置に提供すること；
前記メディア・プレーヤ装置が、前記体験選択データ構造の手段により、エントリを前記複数のエントリから選択することを検出すること、ここで、前記エントリは特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；及び
前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記エントリを選択する旨の前記検出に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを提供すること。

【請求項13】

請求項１２のシステムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスが更に以下の動作を行う、システム：
前記少なくとも１つの物理的なコンピューティング・デバイスが前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを前記メディア・プレーヤ装置へ提供している間、前記メディア・プレーヤ装置が、前記体験選択データ構造の手段により、異なるエントリを前記複数のエントリから選択することを検出すること、ここで、前記異なるエントリは、異なる特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは異なる特定のバーチャル・リアリティ体験へとカスタマイズされる；及び
前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記異なるエントリを選択する旨の前記検出に応答して、前記異なるバーチャル・リアリティ体験へとカスタマイズされる前記異なるバーチャル・リアリティ・データセットを提供すること。

【請求項14】

請求項１３のシステムであって、以下の特徴を含む、システム：
前記特定のバーチャル・リアリティ体験が前記３Ｄシーンの第１の領域内の第１の場所に位置する第１のバーチャル・ビューポイントに関連する；
前記異なる特定のバーチャル・リアリティ体験が前記第１の領域とは異なる前記３Ｄシーンの第２の領域内の第２の場所に位置する第２のバーチャル・ビューポイントに関連する；及び
前記メディア・プレーヤ装置が、前記異なる特定のバーチャル・リアリティ体験へとカスタマイズされる前記異なる特定のバーチャル・リアリティ・データセットに対応する前記異なるエントリを、前記第１の場所の前記第１のバーチャル・ビューポイントから前記第２の場所の前記第２のバーチャル・ビューポイントへのユーザのバーチャル・ビューポイントの動きを表すユーザ入力を受信することに応答して、選択すること。

【請求項15】

請求項１２のシステムであって、以下の特徴を含む、システム：
前記３Ｄシーンは、現実世界シーンの要素を含み、前記現実世界シーンは、複数のキャプチャ・デバイスによってキャプチャされ、前記複数のキャプチャ・デバイスは、前記現実世界シーンに対して異なるロケーションに配置され、その結果、現実世界シーンの異なるビューをキャプチャし、前記異なるビュー各々は、前記複数のキャプチャ・デバイスにおける異なるキャプチャ・デバイスによってキャプチャされ、そして、前記異なるビュー各々は、複数の表面データ・フレーム・シーケンス内に含まれる異なる表面データ・フレーム・シーケンス内で描写される；
前記複数の表面データ・フレーム・シーケンスが仮想化される表面データ・フレーム・シーケンスを含み、前記仮想化される表面データ・フレーム・シーケンスは、前記現実世界シーンのビューを描写し、前記現実世界シーンのビューは、前記複数のキャプチャ・デバイスによってキャプチャされる前記現実世界シーンの異なるビューとは不揃いである；
前記少なくとも１つの物理的なコンピューティング・デバイスは、更に以下の動作を行う：
前記特定のバーチャル・リアリティ体験を記述するエクスペリエンス・パラメータのセットを特定すること、及び、
前記特定されるエクスペリエンス・パラメータのセットに基づいて、表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択すること、ここで、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎であり、前記フレーム・シーケンス・サブセットは前記仮想化される表面データ・フレーム・シーケンスを含む；及び
前記少なくとも１つの物理的なコンピューティング・デバイスは、前記体験選択データ構造を生成し、前記生成は、前記体験選択データ構造内に、前記特定のバーチャル・リアリティ・データセットの基礎となる前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの前記選択に基づいて、前記特定のバーチャル・リアリティ・データセットに対応する前記エントリを含めることによる。

【請求項16】

請求項１２のシステムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、以下を含む、システム：
第１のサーバであって、前記第１のサーバは、複数の表面データ・フレーム・シーケンス内に含まれる第１の表面データ・フレーム・シーケンスにアクセスし、前記複数の表面データ・フレーム・シーケンスは、それぞれ、前記３Ｄシーンの異なるビューを描写する色彩フレーム及び深度フレームを含む、サーバ；
第２のサーバであって、前記第１のサーバとは別個のサーバであり、前記複数の表面データ・フレーム・シーケンス内に含まれる第２の表面データ・フレーム・シーケンスにアクセスする、サーバ；及び
マネージメント・サーバであって、ネットワークの手段により、前記第１のサーバ及び第２のサーバと通信可能に接続される、サーバ；
ここで：
前記第１のサーバは、前記マネージメント・サーバへ、前記マネージメント・サーバから送信されるリクエストに応答して、第１の個別トランスポート・ストリームの手段により前記第１の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信し、並びに、
前記第２のサーバは、前記マネージメント・サーバへ、前記リクエストに応答して、且つ、前記第１のサーバによる送信に同期して、第２の個別トランスポート・ストリームの手段により前記第２の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信する。

【請求項17】

請求項１６のシステムであって、以下の特徴を含む、システム：
前記マネージメント・サーバが：
表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセットに含める目的で選択し、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎となり、前記表面データ・フレーム・シーケンスは、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンスを含む前記フレーム・シーケンス・サブセットに含める目的で選択される；
前記第１のサーバ及び第２のサーバに、前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの前記選択に応答して、前記リクエストを送信し、前記リクエストに応答して、前記第１のサーバ及び第２のサーバが同期して前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内にそれぞれ含まれる前記色彩フレーム及び深度フレームを送信し；
前記第１のサーバから、前記ネットワークの手段により、前記第１の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信し；
前記第２のサーバから、前記ネットワークの手段により、且つ、色彩フレーム及び深度フレームの前記第１のサーバからの受信に同期して、前記第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信し；並びに、
前記第１のサーバ及び第２のサーバから同期して受信される前記色彩フレーム及び深度フレームをパッケージ化して、追加のトランスポート・ストリームを形成し、前記追加のトランスポート・ストリームは、ビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、前記フレーム・シーケンス・サブセット内に含める目的で選択される前記表面データ・フレーム・シーケンスに対応し；
前記追加のトランスポート・ストリームは、前記メディア・プレーヤ装置へストリーミングを行う目的で構成され；及び
前記特定のバーチャル・リアリティ体験へとカスタマイズされ、前記メディア・プレーヤ装置へ提供される前記特定のバーチャル・リアリティ・データセットは、前記追加のトランスポート・ストリームを含む。

【請求項18】

請求項１６のシステムであって、ここで、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを、前記第１の個別トランスポート・ストリーム及び第２の個別トランスポート・ストリームの手段によりそれぞれ同期して送信することは、以下を含む：
前記第１のサーバが、同期サーバへデータを送信すること、ここで、前記データが示すのは、前記第１の表面データ・フレーム・シーケンス内に含まれる第１の色彩フレーム及び深度フレームが前記第１のサーバによって受信されたことである；
前記第２のサーバが、前記同期サーバへ、データを送信すること、ここで、前記データが示すのは、前記第２の表面データ・フレーム・シーケンス内に含まれ、且つ前記第１の色彩フレーム及び深度フレームに対応する第２の色彩フレーム及び深度フレームが前記第２のサーバによって受信されたことである；
前記第１のサーバ及び第２のサーバが、前記同期サーバから、第１の及び第２の色彩フレーム及び深度フレームが受信されたことを示す前記データの前記送信に応答して、第１の及び第２の色彩フレーム及び深度フレームが同期して送信されるべき範囲の指定のタイムフレームを示すデータを受信すること；並びに、
前記第１のサーバ及び第２のサーバが、前記マネージメント・サーバへ、前記第１の及び第２の色彩フレーム及び深度フレームを、それぞれ、指定のタイムフレーム内に送信すること。

【請求項19】

メディア・プレーヤ装置であって、少なくとも１つ物理的なコンピューティング構成要素を含み、前記コンピューティング構成要素は、以下の動作を行う、メディア・プレーヤ装置：
バーチャル・リアリティ・システムから体験選択データ構造にアクセスすること、ここで、前記体験選択データ構造は、複数のエントリを含み、各エントリは異なるバーチャル・リアリティ・データセットに対応し、各バーチャル・リアリティ・データセットは異なるバーチャル・リアリティ体験へとカスタマイズされ、異なるバーチャル・リアリティ体験は異なるバーチャル・ビューポイントに関連し、異なるバーチャル・ビューポイントは、三次元シーン（３Ｄシーン）に関して異なる場所に位置する；
前記体験選択データ構造の手段により、エントリを、前記複数のエントリから選択すること、ここで、前記エントリは特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；
前記バーチャル・リアリティ・システムに、前記体験選択データ構造の手段により選択される前記エントリを表すデータを提供すること；
前記バーチャル・リアリティ・システムから、前記エントリを表す前記データの前記提供に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを受信すること；及び
前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを処理して、前記特定のバーチャル・リアリティ体験を提供すること。

【請求項20】

請求項１９のメディア・プレーヤ装置であって、ここで、前記少なくとも１つ物理的なコンピューティング構成要素は、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを、前記メディア・プレーヤ装置を前記バーチャル・リアリティ・システムと通信可能に接続するネットワークの手段を通して、トランスポート・ストリームを受信することにより受信し、ここで、前記トランスポート・ストリームは、複数のビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、表面データ・フレーム・シーケンスのフレーム・シーケンス・サブセットに対応し、表面データ・フレーム・シーケンスは、複数の表面データ・フレーム・シーケンスから選択され、それぞれ、前記３Ｄシーンの異なるビューを描写する。

【発明の詳細な説明】

【背景技術】

【0001】

関連出願
本願は、２０１７年５月３１日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＣＵＳＴＯＭＩＺＩＮＧ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ ＤＡＴＡ」と題され、その全体が参照により本明細書に組み込まれている米国特許出願第１５／６１０，５９３号に対する優先権を主張する。

【0002】

バーチャル・リアリティ・メディア・プロバイダは、バーチャル・リアリティ・データを、メディア・プレーヤ装置に提供することができ、前記装置は、バーチャル・リアリティ・データを処理することができ、その目的は、バーチャル・リアリティ体験をメディア・プレーヤ装置のユーザに提供することであってもよい。例えば、特定のバーチャル・リアリティ体験の手段により、ユーザは、相互作用するバーチャル・リアリティ世界に没入することができ、前記世界を、ユーザは、体験することができ、当該体験は、ユーザーの注意を、バーチャル・リアリティ世界に同時に提示される任意の様々な物に注意を向けることによって行うことができる。例えば、ユーザはバーチャル・リアリティ世界を任意の方向に見回すことができ、これが、ユーザにある感覚をもたらすことができ、前記感覚とは、ユーザがバーチャル・リアリティ世界内に実際に存在し、そして、バーチャル・リアリティ世界を、バーチャル・リアリティ世界内の特定のロケーション及び視界（例えば、角度、ビューポイント等）から体験しているという感覚である。

【図面の簡単な説明】

【0003】

添付図面は様々な実施形態を示し、本明細書の一部である。示した実施形態は例示にすぎず、本開示の範囲を限定する物ではない。図面を通して、同一の又は類似の参照番号は、同一又は類似の要素を示す。

【0004】

【図1】本明細書に記載の原理に従ってバーチャル・リアリティ・データをカスタマイズするための例示的なバーチャル・リアリティ・システムを示す。

【0005】

【図2】本明細書に記載の原理に従ってユーザに提示されるバーチャル・リアリティ体験が関連する可能性がある例示的な３次元の（「３Ｄ」）シーンを示す。

【0006】

【図3A】本明細書に記載の原理に従って、ユーザに提供可能な異なるバーチャル・リアリティ体験にそれぞれ関連する図２の３Ｄシーンの複数の例示的な領域を示す。

【0007】

【図3B】本明細書に記載の原理に従って、例示的なバーチャル・リアリティ体験を記述する例示的なエクスペリエンス・パラメータのセットを示す。

【0008】

【図4】本明細書に記載の原理に従って、異なるキャプチャ・デバイスによってキャプチャすることができる図２の３Ｄシーンの複数のビューを示す。

【0009】

【図5A】本明細書に記載の原理に従って図２の３Ｄシーンの基礎となり得る現実世界シーンを表す表面データ・フレーム内・シーケンス内に含める目的で色彩フレーム及び深度フレームをキャプチャする例示的なキャプチャ・デバイスを示す。

【0010】

【図5B】本明細書に記載の原理に従って、図５Ａのキャプチャ・デバイスによってキャプチャされる色彩フレームにて表現される色彩データの例示的なグラフィカルな描写を示す。

【0011】

【図5C】本明細書に記載の原理に従って、図５Ａのキャプチャ・デバイスによってキャプチャされる深度フレームにて表現される深度データの例示的なグラフィカルな描写を示す。

【0012】

【図6A】本明細書に記載の原理に従って、図２の３Ｄシーンを表し、図５Ａのキャプチャ・デバイスによって生成される例示的な表面データ・フレーム・シーケンスの異なる表現を示す。

【図6B】本明細書に記載の原理に従って、図２の３Ｄシーンを表し、図５Ａのキャプチャ・デバイスによって生成される例示的な表面データ・フレーム・シーケンスの異なる表現を示す。

【0013】

【図7】本明細書に記載の原理に従った図２の３Ｄシーンの複数のビューを示し、前記ビューは、図４のビューを含み、更に、追加の例示的なビューを含み、前記追加の例示的なビューは、仮想化される表面データ・フレーム・シーケンスに対応する。

【0014】

【図8】本明細書に記載の原理に従った例示的なフレーム・シーケンス・サブセットを示し、前記フレーム・シーケンス・サブセットは、体験選択データ構造における異なるエントリに対応する異なるバーチャル・リアリティ・データセットの基礎となる。

【0015】

【図9】本明細書に記載の原理に従った例示的な体験選択データ構造を示し、前記体験選択データ構造は、前記体験選択データ構造内に含まれる複数のエントリからの異なるエントリの動的選択を促進するように構成される。

【0016】

【図10】本明細書に記載の原理に従った例示的な構成を示し、ここで、例示的なバーチャル・リアリティ・メディア・プロバイダ・システムはバーチャル・リアリティ・データをカスタマイズする。

【図11】本明細書に記載の原理に従った例示的な構成を示し、ここで、例示的なバーチャル・リアリティ・メディア・プロバイダ・システムはバーチャル・リアリティ・データをカスタマイズする。

【0017】

【図12】本明細書に記載の原理に従った表面データ・フレーム・シーケンスを示し、前記表面データ・フレーム・シーケンスは、個別のトランスポート・ストリームの手段により送信される。

【0018】

【図13】本明細書に記載の原理に従った例示的なタイムラインを示し、前記タイムラインは、タイムフレームを描写し、前記タイムフレーム内で、色彩フレーム及び深度フレームがゲートキーパ・サーバによって受信され、タイムフレームは、色彩フレーム及び深度フレームがゲートキーパ・サーバによって同期して送信されるように指定される。

【0019】

【図14】本明細書に記載の原理に従った例示的なバーチャル・リアリティ・データセットを示し、前記バーチャル・リアリティ・データセットは、トランスポート・ストリームとして実装され、前記トランスポート・ストリームは、複数のビデオ・データ・ストリームを含み、そして、メディア・プレーヤ装置へストリーミングする目的で構成される。

【0020】

【図15】本明細書に記載の原理に従った様々な例示的なタイプのメディア・プレーヤ装置を示し、当該装置は、バーチャル・リアリティ・メディア・コンテンツを体験するユーザによって使用することができる。

【0021】

【図16】本明細書に記載の原理に従った例示的なバーチャル・リアリティ体験を示し、ここで、ユーザには、例示的なバーチャル・リアリティ・メディア・コンテンツが提示され、前記バーチャル・リアリティ・メディア・コンテンツは、３Ｄシーンに対する例示的な任意の位置に対応する動的に選択可能なバーチャル・ビューポイントから体験される３Ｄシーンに基づく。

【0022】

【図17】本明細書に記載の原理に従ってバーチャル・リアリティ・データをカスタマイズするための例示的な方法を示す。

【図18】本明細書に記載の原理に従ってバーチャル・リアリティ・データをカスタマイズするための例示的な方法を示す。

【図19】本明細書に記載の原理に従ってバーチャル・リアリティ・データをカスタマイズするための例示的な方法を示す。

【0023】

【図20】本明細書に記載の原理に従った例示的なコンピューティング・デバイスを示す。

【発明を実施するための形態】

【0024】

特定のバーチャル・リアリティ体験において、複数の異なるメディア・プレーヤ装置に関連する複数のユーザは、同一のバーチャル・リアリティ世界を同時に体験することを望む可能性がある。例えば、バーチャル・リアリティ・メディア・プロバイダは、特定のバーチャル・リアリティ世界の特定の３次元の（「３Ｄ」）シーンを表すバーチャル・リアリティ・データを提供することができ、前記バーチャル・リアリティ世界は、複数の異なるユーザが各メディア・プレーヤ装置を使用して体験することを望む可能性がある。従って、バーチャル・リアリティ・メディア・プロバイダは、同一のバーチャル・リアリティ・データを各メディア・プレーヤ装置に提供することができ、前記装置は、バーチャル・リアリティ・データをリクエストし、これにより、全てのメディア・プレーヤ装置が、バーチャル・リアリティ・データを処理して、各バーチャル・リアリティ体験を各ユーザに提供することを可能にする。

【0025】

この目的のため、バーチャル・リアリティ・データカスタマイズするための方法及びシステムについて、本明細書にて説明する。例えば、より詳細に後述するが、例示的なバーチャル・リアリティ・システムは、メタデータにアクセスすることができ、前記メタデータは、複数の表面データ・フレーム・シーケンス（例えば、色彩フレーム及び深度フレームのシーケンス）を記述することができ、前記シーケンスは、それぞれ、３次元の（「３Ｄ」）シーンの異なるビューを描写することができる。メタデータに記述されるが、例えば、比較的膨大な数の表面データ・フレーム・シーケンスは、以下を含むことができる：３Ｄシーンに対して比較的膨大な数の異なるロケーション、角度、視野等からキャプチャされる３Ｄシーンを表すデータ。

【0026】

また、バーチャル・リアリティ・システムは、エクスペリエンス・パラメータのセットを特定することができ、前記エクスペリエンス・パラメータのセットは、３Ｄシーンに関連する複数のバーチャル・リアリティ体験内に含まれる特定のバーチャル・リアリティ体験を記述することができる。各複数のバーチャル・リアリティ体験（即ち、特定のバーチャル・リアリティ体験を含む）は、メディア・プレーヤ装置によって、ユーザに提供可能であってもよい。例えば、複数の提供可能なバーチャル・リアリティ体験内の異なるバーチャル・リアリティ体験は、それぞれ、３Ｄシーンの異なる領域に関連してもよく、前記領域から、バーチャル・リアリティ体験が各ユーザに提供され、又は、様々な他のパラメータに関連してもよく、前記パラメータは、バーチャル・リアリティ体験に関して定義されてもよく、これについては後述する。かくして、メディア・プレーヤ装置は、以下の動作を行うように構成されてもよい：は、バーチャル・リアリティ体験をユーザに提供することができ、前記提供は、各バーチャル・リアリティ・データセットを処理することによってもよく、前記バーチャル・リアリティ・データセットは、複数のバーチャル・リアリティ体験における各バーチャル・リアリティ体験へとカスタマイズされてもよい（例えば、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを含む）。例えば、３Ｄシーンの特定の領域に関連するバーチャル・リアリティ体験へカスタマイズされるバーチャル・リアリティ・データセットは、以下を含むことができる：３Ｄシーンの他の領域に関連するバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットに含まれるものと比べた、３Ｄシーンの特定の態様に関するより多くの詳細及び３Ｄシーンの他の態様に関するより少ない詳細。

【0027】

複数のデータフレーム・シーケンスに関連する前記特定されるエクスペリエンス・パラメータのセット及びメタデータに基づいて、バーチャル・リアリティ・システムは、表面データ・フレーム・シーケンスを、複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択することができ、前記フレーム・シーケンス・サブセットは、特定のバーチャル・リアリティ・データセットの基礎となることができる（例えば、バーチャル・リアリティ・データセットが生成される際に、特定のバーチャル・リアリティ・データセットの基礎となる）。例えば、比較的少数の表面データ・フレーム・シーケンスを含むフレーム・シーケンス・サブセットは、複数の表面データ・フレーム・シーケンス内の比較的膨大な数の利用可能な表面データ・フレーム・シーケンスから選択されてもよく、フレーム・シーケンス・サブセットに基づく特定のバーチャル・リアリティ・データセットが特定のバーチャル・リアリティ体験へとカスタマイズされることを可能にすることができる（例えば、他の関係の低い詳細を除外しつつも、特定のバーチャル・リアリティ体験に関連する３Ｄシーンの特定の詳細を含める）。

【0028】

フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの選択に基づいて、バーチャル・リアリティ・システムは、以下を含むことができる：体験選択データ構造内の特定のバーチャル・リアリティ・データセットに対応するエントリ。より具体的には、バーチャル・リアリティ・システムは、体験選択データ構造を生成することができ、前記体験選択データ構造は、メディア・プレーヤ装置が異なるバーチャル・リアリティ・データセットを処理して異なるバーチャル・リアリティ体験をユーザに提供する際に、メディア・プレーヤ装置による異なるエントリの動的選択（例えば、前記体験選択データ構造内に含まれる複数のエントリからの）を促進するように構成されてもよく、そして、バーチャル・リアリティ・システムは、以下を含むことができる：生成される体験選択データ構造内の特定のバーチャル・リアリティ・データセットに対応するエントリ。ちょうど、エントリが、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットへと対応するように、体験選択データ構造内の各複数のエントリは、異なるバーチャル・リアリティ・データセットと対応してもよく、前記異なるバーチャル・リアリティ・データセットは、複数の提供可能なバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験へとカスタマイズされてもよい。

【0029】

いったん、体験選択データ構造が生成されて、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットに対応するエントリを含むと、バーチャル・リアリティ・システムは、体験選択データ構造をメディア・プレーヤ装置に提供することができる。バーチャル・リアリティ・システムは、その後、以下を検出することができる：メディア・プレーヤ装置が（例えば、提供される体験選択データ構造の手段により、体験選択データ構造内に含まれる複数のエントリから）エントリを選択したこと、ここで、前記エントリは、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットに対応する。特定のバーチャル・リアリティ・データセットに対応するエントリをメディア・プレーヤ装置が選択する旨の検出に応答して、バーチャル・リアリティ・システムは、メディア・プレーヤ装置へ、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを提供することができる。結果として、メディア・プレーヤ装置は、特定のバーチャル・リアリティ・データセットを受信することができ、そして、特定のバーチャル・リアリティ・データセットを処理して、特定のバーチャル・リアリティ体験をユーザに提供することができる。

【0030】

バーチャル・リアリティ・データをカスタマイズするための本明細書に記載のシステム及び方法は、様々な長所及び利点を提供することができる。一例として、本明細書に記載のシステム及び方法は、バーチャル・リアリティ・メディア・プロバイダ・システムが効率的にバーチャル・リアリティ・データを配信することを可能にし、前記バーチャル・リアリティ・データは、特定のユーザに提供されている特定のエクスペリエンスへと動的にカスタマイズされてもよい。配信されるバーチャル・リアリティ・データをカスタマイズすることにより、任意の特定のメディア・プレーヤ装置へ配信される冗長な及び／又は無関係なデータは、著しく減らすことができる。かくして、本明細書に記載の方法及びシステムを採用するプロバイダ・システムは、より高いクオリティ及び／又はより没入性の高いエクスペリエンスを、ユーザーに提供することを可能にし（例えば、より高度なイメージ・クオリティ、更なる詳細によって特徴づけられるエクスペリエンス等）、前記提供は、本明細書に記載の方法及びシステムを採用しない従来のプロバイダ・システムと比較して、より少ないデータを、ユーザが使用するメディア・プレーヤ装置に提供している場合であっても可能である。

【0031】

これに加えて、又はこれに代えて、本明細書に記載のシステム及び方法は、現実的で、効率的で、高いクオリティで、バーチャル・リアリティ・データを、複数のユーザ（例えば、たとえ、非常に膨大な数のユーザを含んでいても）に同時に配信することを促進することができる。例えば、多くの表面データ・フレーム・シーケンス・オプション（例えば、仮想化される表面データ・フレーム・シーケンスを含む、これについては後述する）にアクセスするバーチャル・リアリティ・メディア・プロバイダ・システムは、システムが特定のメディア・プレーヤ装置に特定の時間で提供するデータの選択における柔軟性を向上させるという利点を享受することができる。例えば、３Ｄシーンの全ての態様を描写するのに利用可能となる可能性のある全てのデータ（例えば、高いボリュームの高分解能データ）を配信するのではなく、当該配信は、大量のデータが原因となって非現実的又は不可能となる可能性があるが、本明細書に記載の方法及びシステムは、カスタマイズされるデータのより選択的な且つ柔軟な配信を促進することができる。

【0032】

一例として、第１のバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセット（例えば、膨大な数の利用可能な表面データ・フレーム・シーケンスから選択される幾つかの（ａ ｆｅｗ）表面データ・フレーム・シーケンスを表すデータ）は、第１のメディア・プレーヤ装置に配信することができ、３Ｄシーンの一部分に関して高いレベルでの詳細を提供することができ、前記３Ｄシーンは、第１のメディア・プレーヤ装置を使用して第１のバーチャル・リアリティ体験を体験しているユーザに関連してもよい。同時に、第２のバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセット（例えば、異なる表面データ・フレーム・シーケンスを表すデータ）は、第２のメディア・プレーヤ装置に配信することができ、３Ｄシーンの異なる一部に関して高いレベルでの詳細を提供することができ、前記３Ｄシーンは、第２のメディア・プレーヤ装置を使用して第２のバーチャル・リアリティ体験を体験している異なるユーザに関連してもよい。かくして、バーチャル・リアリティ・メディア・プロバイダ・システムは、同時に、第１の及び第２のメディア・プレーヤ装置の両方に、個々にカスタマイズされるバーチャル・リアリティ・データセットを提供することができ、前記データセットは各ユーザに関連してもよく（例えば、ユーザが体験している３Ｄシーン各部分に関してカスタマイズされ、ローカライズされるデータを含む）、その一方で、メディア・プレーヤ装置、及びメディア・プレーヤ装置と通信するために使用されるいずれの配信チャンネルのいずれに対しても、各ユーザへの関連が薄い３Ｄシーンの部分に関する（例えば、いずれにしろユーザーが鑑賞できない詳細）過剰な量の冗長なデータ又は詳細データによる負荷をかけなくてもよい。かくして、ユーザ・エクスペリエンスが向上しつつも、データ配信を向上させることができる（例えば、クライアント・サイドメディア・プレーヤ装置へ配信されるデータの必要量を減らすことによって、より効率的で、より早く、そして、より効果的となる）（例えば、３Ｄシーンの最も関連する部分のみを高いクオリティで表現したものを動的に含むようにバーチャル・リアリティ・データセットをカスタマイズすることで、より現実的でより没入性を高くすることができる）。

【0033】

更には、後で明らかになるが、本明細書に記載のバーチャル・リアリティ・データをカスタマイズするための方法及びシステムは、本明細書に記載の体験選択データ構造を使用することによって、メディア・プレーヤ装置に対して、以下を促進することができる：メディア・プレーヤ装置のユーザが有する異なるバーチャル・リアリティ体験に関して、適切なバーチャル・リアリティ・データセットを動的にトラッキング及びリクエストすること。このようにして、メディア・プレーヤ装置は、カスタマイズされるデータを継続的に且つ効率的に受信することができ、その一方で、異なるメディア・プレーヤ装置によって提供されるユーザ・エクスペリエンスをトラッキングするタスクを、プロバイダ・システムに関して減少させることができる。更には、開示されるバーチャル・リアリティ・データカスタマイズするための方法及びシステムは、プロバイダ・システムが以下をサポートすることを可能にするべく高度なスケーラビリティを有してもよい：任意のサイズの３Ｄシーン（例えば、非常に巨大な３Ｄシーン）、任意のクオリティの３Ｄシーン（例えば、高度なキャプチャ・デバイスによってキャプチャされる３Ｄシーン等）、非常に動的且つアクティブな３Ｄシーン（例えば、膨大な数のオブジェクト、及びオブジェクト間の相互作用を含む３Ｄシーン等）、及び、他の没入性の３Ｄシーン。

【0034】

様々な実施形態について、図面に言及しながら、以下、更に説明する。開示の方法及びシステムは、上述した１以上の利点を提供することができ、並びに／又は、様々な追加の及び／若しくは代替の利点を提供することができ、これらについては、本明細書で明らかになるであろう。

【0035】

図１は、バーチャル・リアリティ・データをカスタマイズするための例示的なバーチャル・リアリティ・システム１００（「システム１００」）を示す。示しているが、システム１００は、限定されるものではないが、以下を含むことができる：体験（エクスペリエンス）選択データ構造管理設備１０２（「管理設備１０２」）、バーチャル・リアリティ・データセット管理設備１０４（「管理設備１０４」）及びストレージ設備１０６（互いに選択可能に且つ通信可能に接続される）。以下の点を理解されたい：設備１０２～１０６は、図１では別個の設備として示されているが、設備１０２～１０６は、より少ない数の設備（例えば、単独の設備に）に結合されてもよく、又は、特定の実施に寄与することができるより数多くの設備に分割されてもよい。幾つかの例において、設備１０２～１０６各々は、特定の実施に寄与することができる複数のコンピューティング・デバイス（例えば、複数のサーバ）及び／又は複数のロケーションの間で分散されてもよい。更には、システム１００の特定の実施において、図１に示す特定の設備（こうした設備に関連する関連機能）はシステム１００から省略してもよい。例えば、システム１００の特定の実装は、管理設備１０２及びストレージ設備１０６だけを含むことができ、システム１００の別の実装は、管理設備１０４及びストレージ設備１０６だけを含むことができ、以下同様であってもよい。設備１０２～１０６各々について以下説明する。

【0036】

管理設備１０２は、以下を含むことができる：１以上の物理的なコンピューティング・デバイス（例えば、ハードウェア及び／又はソフトウェア・コンポーネント（例えば、プロセッサ、メモリ、通信インターフェース、プロセッサが実行するためにメモリに記憶されるインストラクション等））、ここで、前記デバイスは、様々なオペレーションを実行することができ、前記オペレーションは、体験選択データ構造の設計、プランニング、生成及び管理に関連してもよく、前記体験選択データ構造の設計は、複数のエントリを含んでもよく、且つ、メディア・プレーヤ装置が異なるバーチャル・リアリティ体験をユーザに提供する際に、メディア・プレーヤ装置による複数のエントリからの異なるエントリの動的選択を促進するように構成されてもよい。この目的のため、管理設備１０２は、メタデータにアクセスすることができ、前記メタデータは、複数の表面データ・フレーム・シーケンスを記述することができ、前記シーケンスは、３Ｄシーンの異なるビューをそれぞれ描写することができる。

【0037】

管理設備１０２は、特定の実施に寄与することができる任意の態様で、メタデータにアクセスすることができる。例えば、特定の実施形態において、３Ｄシーンは、現実世界シーンであってもよく、そして、複数の表面データ・フレーム・シーケンスにおける１以上の表面データ・フレーム・シーケンスは、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスによってキャプチャ（例えば、生成）されてもよく、前記キャプチャ・デバイスは、現実世界シーンの異なるビューをキャプチャするように現実世界シーンに関しての異なるロケーションに配置されてもよい。かくして、管理設備１０２は、メタデータにアクセスすることができ、前記アクセスは、複数のキャプチャ・デバイスから直接キャプチャされる表面データ・フレーム・シーケンスにアクセス（例えば、受信すること、リクエストすること、及び獲得すること等）することによってもよい。他の例において、１以上の他のシステム（例えば、現実世界シーン・キャプチャ・システム）は、キャプチャ・デバイスとシステム１００との間を仲介することができ、その結果、管理設備１０２は、１以上の他のシステムの手段により、メタデータにアクセスすることができる。更には、キャプチャされる表面データ・フレーム・シーケンスを記述するメタデータと共に、管理設備１０２は、仮想化される表面データ・フレーム・シーケンス（即ち、１以上のキャプチャされる表面データ・フレーム・シーケンスから派生する又はこれに基づいてレンダリングされる表面データ・フレーム・シーケンス）を記述するメタデータにも同様の方法でアクセスすることができる。キャプチャされ且つ仮想化される表面データ・フレーム・シーケンスについては、後で更に詳細に説明する。

【0038】

また、管理設備１０２は、エクスペリエンス・パラメータのセットを特定することができ、前記パラメータのセットは、特定のバーチャル・リアリティ体験を記述することができ、前記特定のバーチャル・リアリティ体験は、３Ｄシーンに関連する複数のバーチャル・リアリティ体験内に含まれ、前記特定のバーチャル・リアリティ体験は、メディア・プレーヤ装置によってユーザに提供可能であってもよく、当該提供は、メディア・プレーヤ装置が、各バーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットを処理したときに可能であってもよい。管理設備１０２は、任意の適切な態様で、エクスペリエンス・パラメータのセットを特定することができる（複数のバーチャル・リアリティ体験内に含まれる他のバーチャル・リアリティ体験を記述するエクスペリエンス・パラメータの追加のセットを特定すること（ｉｄｅｎｔｉｆｙｉｎｇ）と共に）。例えば、管理設備１０２は、３Ｄシーンを異なる領域に分割することができ、前記分割は、３Ｄシーンの特定の属性に基づいてもよく、そして、前記管理設備１０２は、エクスペリエンス・パラメータの各セット内に含まれる各パラメータを用いて領域を指定してもよい。別の例として、管理設備１０２は、どのようなメディア・プレーヤ装置の技術的能力が、３Ｄシーンに関してサポートされるべきであるかを決定することができ、そして、エクスペリエンス・パラメータの各セット内に含まれるべきサポートされる技術的能力を表す各パラメータを指定することができる。エクスペリエンス・パラメータのセット内に含むことができるエクスペリエンス・パラメータの様々な例については後述する。

【0039】

複数のデータフレーム・シーケンスに関連する前記特定されるエクスペリエンス・パラメータのセット及びメタデータに基づいて、管理設備１０２は、表面データ・フレーム・シーケンスを、複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択することができ、前記フレーム・シーケンス・サブセットは、特定のバーチャル・リアリティ・データセット（例えば、特定のバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセット）の基礎となってもよい。換言すれば、管理設備１０２は、表面データ・フレーム・シーケンスを、フレーム・シーケンス・サブセット内に含める目的で選択することができ、前記フレーム・シーケンス・サブセットは、特定のバーチャル・リアリティ・データセットが生成されるときの、特定のバーチャル・リアリティ・データセットの基礎となってもよい（例えば、管理設備１０４によって、これについては後述する）。

【0040】

フレーム・シーケンス・サブセット（即ち、特定のバーチャル・リアリティ・データセットの基礎となるフレーム・シーケンス・サブセット）内に含める目的での表面データ・フレーム・シーケンスの選択に基づいて、管理設備１０２は、体験選択データ構造を生成することができ、そして、体験選択データ構造内に、特定のバーチャル・リアリティ・データセットに対応するエントリを含むことができる。例えば、上述したように、体験選択データ構造内に含まれる複数のエントリ（例えば、特定のバーチャル・リアリティ・データセットに対応するエントリを含む）は、各々、異なるバーチャル・リアリティ・データセットに対応してもよく、前記異なるバーチャル・リアリティ・データセットは、複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験にカスタマイズされてもよい。かくして、メディア・プレーヤ装置が異なるバーチャル・リアリティ体験をユーザに提供する際に、（例えば、メディア・プレーヤ装置のユーザがバーチャル・ビューポイントに関して３Ｄシーン内の領域から領域への移動を引き起こす際に）、管理設備１０２は、体験選択データ構造を生成して、メディア・プレーヤ装置による異なるエントリの動的選択を促進することができる。管理設備１０２は、更に以下を実行することができる：本明細書に記載の他のオペレーション、及び／又は、システム１００の特定の実施に寄与することができる他のオペレーション。

【0041】

管理設備１０４は、以下を含むことができる：１以上の物理的なコンピューティング・コンポーネント（例えば、管理設備１０２とは別個の、又は、管理設備１０２と共有されるハードウェア及び／又はソフトウェア・コンポーネント）、ここで、前記コンポーネントは、メディア・プレーヤ装置が異なるバーチャル・リアリティ体験を異なるユーザに提供する際に、メディア・プレーヤ装置と相互作用する、及び、異なるバーチャル・リアリティ・データセットをメディア・プレーヤ装置に提供することに関連する様々なオペレーションを実行することができる。具体的には、例えば、管理設備１０４は：管理設備１０２によって生成される体験選択データ構造をメディア・プレーヤ装置に提供することができ；メディア・プレーヤ装置が（例えば、前記体験選択データ構造の手段により、）特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットに対応するエントリを選択することを検出することができ；前記検出に応答して、記特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを提供することができる（即ち、メディア・プレーヤ装置へ）。管理設備１０４は、更に以下を実行することができる：本明細書に記載の他のオペレーション、及び／又は、システム１００の特定の実施に寄与することができる他のオペレーション。

【0042】

上述したように、管理設備１０２及び１０４は、様々なデータ（例えば、メタデータ、エクスペリエンス・パラメータのセット、体験選択データ構造、エントリ選択、バーチャル・リアリティ・データセット等）の通信を、バーチャル・リアリティ・メディア・プロバイダ・パイプライン内の様々なサーバ・、及び、クライアント・サイド・デバイス、並びに、システムと行うことができる。本明細書で使用するが、「サーバ・サイド」は、サーバ・クライアント間のトランザクション（例えば、コンテンツ提供システムがデータ（例えば、バーチャル・リアリティ・データ）をエンドユーザが使用するクライアント・デバイスに提供するトランザクション）のうちサーバ・サイド（例えば、プロバイダ・サイド）を意味してもよい。例えば、バーチャル・リアリティ・メディア・プロバイダ・システムは、バーチャル・リアリティ・データをユーザに関連するメディア・プレーヤ装置に提供することができる。かくして、サーバ・サイドシステム及びコンポーネントは、コンテンツ提供システムがデータ（例えば、バーチャル・リアリティ・データセット）をメディア・プレーヤ装置に提供（例えば、ネットワークの手段により）することに関連する（例えば、内包される、実装される、共同動作する等）システム及びコンポーネントを意味してもよい。一方で、「クライアント・サイド」デバイスは、クライアント・デバイス（例えば、メディア・プレーヤ装置）に関連することができ、クライアント・デバイスは、ネットワークの他方に位置するユーザによって使用することができ、「クライアント・サイド」デバイスは、以下を含むことができる：クライアント・デバイスがデータをコンテンツ提供システムから受信することを促進するデバイス（例えば、メディア・プレーヤ装置、及び／又は、ネットワークのユーザ・サイド上でユーザが操作する他のコンピュータ・コンポーネント）。これらの通信を行うべく、管理設備１０２及び１０４は、以下の動作を行うように構成されてもよい：特定の実施に寄与することができる任意の通信インターフェース、プロトコル、及び／又は技術を使用して、サーバ・サイド及び／又はクライアント・サイド・システムと通信すること。例えば、管理設備１０２及び１０４は、以下の手段の１以上によって通信するように構成されてもよい：ネットワーク（例えば、有線又はワイヤレスなローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、プロバイダ・ネットワーク、インターネット等）、有線の通信インターフェース（例えば、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ （「ＵＳＢ」））、ワイヤレス通信インターフェース、又は、任意の他の適切な通信インターフェース、プロトコル、及び／若しくは技術。

【0043】

ストレージ設備１０６は、以下を記憶、及び／又は、管理することができる：特定の実施において、管理設備１０２及び１０４によって、アクセスされる、受信される、生成される、管理される、トラッキングされる、維持される、使用される、提供される、及び／又は送信される任意の適切なデータ。例えば、示すように、ストレージ設備１０６は、以下を含むことができる：本明細書に記載の方法のいずれかで、受信、生成、マネージメント、トラッキング、管理、使用、及び／又は送信（例えば、他のシステムに提供）されてもよい管理データ１０８及び／又はバーチャル・リアリティ・データセット１１０。管理データ１０８は、以下を含むことができる：表面データ・フレーム・シーケンスを記述するメタデータを含む表面データ・フレーム・シーケンス・データ（例えば、表面データ・フレーム・シーケンスに関連するキャプチャ・パラメータのセット）、３Ｄシーンを表すデータ、エクスペリエンス・パラメータの異なるセットを表すデータ、若しくは、エクスペリエンス・パラメータのセットを生成するために使用されるデータ、フレーム・シーケンス・サブセット及び前記フレーム・シーケンス・サブセット内に含まれる選択される表面データ・フレーム・シーケンスを表すデータ、フレーム・シーケンス・サブセットの選択を実行するために使用されるデータ、体験選択データ構造を表すデータ、並びに／又は体験選択データ構造を生成（例えば、動的に生成）するために使用されるデータ等。バーチャル・リアリティ・データセット１１０は、データ・ストリーム（例えば、表面データ・フレーム・シーケンスに基づいてエンコードされるビデオ・データ・ストリーム）を含むことができ、前記データ・ストリームは、メディア・プレーヤ装置にトランスポートする目的で１以上のトランスポート・ストリームにパッケージ化されてもよく、及び／又は、バーチャル・リアリティ・データセット１１０は、メディア・プレーヤ装置に提供されてもよいバーチャル・リアリティ・データセットに関連する任意の他のデータを含むことができる。更には、ストレージ設備１０６は、以下を含むことができる：本明細書に記載のオペレーションを実行する目的でシステム１００の特定の実施によって使用される他のタイプのデータ（例えば、インストラクション（例えば、プログラミング・インストラクション））、及び／又は本明細書に記載のオペレーションを実行するために管理設備１０２及び１０４によって使用される他のデータ。

【0044】

幾つかの例において、３Ｄシーンは、現実世界シーンの要素を含むことができ、前記現実世界シーンは、複数のキャプチャ・デバイスによってキャプチャされてもよく、前記デバイスは、現実世界シーンに対して異なるロケーションに配置されてもよく、結果として、現実世界シーンの異なるビューをキャプチャすることができる。これらの例の幾つかにおいて、システム１００は、現実世界シーン内でイベントが発生したときに、１以上の本明細書に記載のオペレーションをリアルタイムで実行することができる。従って、他のシステムもリアルタイムで動作し、システム１００がバーチャル・リアリティ・メディア・プロバイダ・パイプライン内にで使用される実装において、バーチャル・リアリティ・データセットを、メディア・プレーヤ装置に提供することができ、その結果、メディア・プレーヤ装置の各ユーザは、現実世界シーンの近くに物理的に位置することができないが、現実世界シーン（例えば、現実世界シーン内で発生しているイベント）を体験することを望む可能性があり、メディア・プレーヤ装置の各ユーザは、ユーザの各メディア・プレーヤ装置を使用して、現実世界シーン、及び、現実世界シーン内で発生するイベントを、仮想的に、ライブ形式で（例えば、イベントが発生した時にリアルタイムで）体験することができる。データ処理及びデータ配信について、現実世界シーン内でイベントが発生した時にユーザが現実世界シーンを正確に体験することが不可能となるような有限量の時間がかかる可能性がある。その一方で、本明細書で使用するが、オペレーションが即時に且つ過度の遅延なく実行される場合には、オペレーションは、「リアルタイム」で実行されるものとする。従って、以下の場合であっても、ユーザが、現実世界シーンをリアルタイムで体験するといってもよい：ユーザが、現実世界シーン内にて、ある遅延の後（例えば、発生事象が実際に起こってから数秒後又は数分後（ａ ｆｅｗ ｓｅｃｏｎｄｓ ｏｒ ｍｉｎｕｔｅｓ））で特定のイベントを体験した場合。

【0045】

システム１００の様々な実装で、バーチャル・リアリティ・データをどのように操作してカスタマイズするかを更に示すべく、システム１００によって実行されるオペレーション、及び／又は、バーチャル・リアリティ体験をユーザに提供するためのメディア・プレーヤ装置によって実行されるオペレーションの様々な態様について以下説明する。

【0046】

図２は、例示的な３Ｄシーン２０２を示し、前記３Ｄシーンは、ユーザに提示されるバーチャル・リアリティ体験に関連してもよい。例えば、３Ｄシーン２０２は以下を表現することができる：現実世界オブジェクトを含む現実世界シーン、バーチャル・オブジェクトを含むバーチャル・シーン、現実世界オブジェクト及びバーチャル・オブジェクトの組み合わせを含む融合現実シーン、又は、特定の実施に寄与することができる別の適切な３Ｄシーン。

【0047】

本明細書で使用するが、現実世界シーンは、以下を表現することができる：任意の現実世界の景色、現実世界のロケーション、現実世界のイベント（例えば、ライブ・イベント等）、又は、特定の実施に寄与することができる現実世界に存在する他の対象物（例えば、バーチャル世界又は仮想世界にのみ存在するものとは対照的に）。幾つかの例において、現実世界シーンは、具体的には、線引きされたエリアであってもよい（例えば、ステージ、プレーする表面（例えば、バスケットボールのコート）、アリーナ等）。逆に、他の例において、現実世界シーンは、さほど、区画化又は線引きされなくてもよい。例えば、現実世界シーンは、以下を含むことができる：任意のインドア又はアウトドアの現実世界のロケーション（例えば、街の通り、ミュージアム、眺めの良い風景等）。特定の例において、現実世界シーンは、以下に関連してもよい：現実世界のイベント（例えば、スポーツ・イベント、ミュージカル・イベント、演劇又はシアターのプレゼン、大規模な祝事（例えば、タイムズ・スクエアでの大晦日、マルディ・グラ等）、政治的なイベント、又は、他の現実世界のイベント）。同一の又は他の例において、現実世界シーンは、以下に関連してもよい：フィクション化されるシーン（例えば、ライブ・アクションのバーチャル・リアリティのテレビ・ショー又は映画のセット）に関するセッティング、及び／又は特定の実施に寄与することができる任意の他のインドア又はアウトドアの現実世界のロケーションでの任意の他のシーンに関するセッティング。

【0048】

一方で、本明細書で使用するが、バーチャル・シーンは、同じタイプの対象物を現実世界シーンとして表現してもよいが、現実世界における類似物を有さなくてもよい。例えば、バーチャル・シーンは、完全にコンピュータで生成されたものであってもよく（例えば、物理的なキャプチャ・デバイスによってキャプチャされたものとは対照的に）、従って、バーチャル・シーンは、特定の実施に寄与することができる現実世界ロケーション又は仮想のロケーションをモデル化してもよい。幾つかの例において、バーチャル・シーンは、以下を含むことができる：現実世界に存在せず、又は、現実世界でキャプチャすることが困難であるエキゾチックな要素（例えば、ファンタジーな要素、他の惑星の風景等）。

【0049】

本明細書で使用するが、融合現実シーンは、以下を含むことができる：現実世界シーン及びバーチャル・シーンの両方の要素。例えば、融合現実シーンは、現実世界シーン（例えば、有名な建物の内部）からキャプチャされる景色を含むことができるが、バーチャル・オブジェクトを現実世界の景色に統合させてもよい。他の例において、融合現実シーンは、以下を含むことができる：物理的なキャプチャ・デバイスがキャプチャした現実世界オブジェクトと統合されるバーチャル（即ち、コンピュータで生成される）景色。

【0050】

３Ｄシーン２０２が現実世界シーンを表現するか、バーチャル・シーンを表現するか、又は融合現実シーンを表現（例えば、実装する、含む等）するかに関わらず、３Ｄシーン２０２は、以下を含むことができる：１以上のオブジェクト２０４（例えば、オブジェクト２０４－１及び２０４－２）。表現されるシーンのタイプに依存して、オブジェクト２０４は、任意の現実世界オブジェクト又はバーチャル・オブジェクトを、生物又は無生物に関わらず、表現することができ、これらのオブジェクトは、３Ｄシーン２０２（例えば、３Ｄシーン２０２内又はその周辺に位置する）に関連してもよく、そして、これらのオブジェクトは、３Ｄシーン２０２の少なくとも１つのビューから検出可能であってもよい（例えば、閲覧可能等）（後で、説明及び図示する）。簡潔性の目的から、オブジェクト２０４は比較的シンプルな幾何学的形状として描かれているが、以下の点を理解されたい：オブジェクト２０４は、様々なレベルの複雑さを有する様々なタイプのオブジェクトを表現することができる。幾何学的形状ではなく、例えば、オブジェクト２０４のいずれか又は両方は、以下を表現することができる：生物又は無生物のオブジェクト又は表面（例えば、人物又は別の生き物、非透明な固体、液体、若しくは気体、不連続性に欠けるオブジェクト（例えば、壁、天井、若しくは床））、又は、本明細書に記載の若しくは特定の実施に寄与することができる任意の他のタイプのオブジェクト。

【0051】

上述したように、システム１００は、エクスペリエンス・パラメータのセットを特定することができ、前記エクスペリエンス・パラメータのセットは、３Ｄシーンに関連する複数のバーチャル・リアリティ体験内に含まれる特定のバーチャル・リアリティ体験を記述することができる。本明細書で使用するが、「バーチャル・リアリティ体験」は、特定の文脈において、以下を意味してもよい：概して、バーチャル・リアリティ・データに基づいて、バーチャル・リアリティ・メディア・コンテンツを提示するメディア・プレーヤ装置を使用してユーザによってバーチャル・リアリティ世界（例えば、３Ｄシーン２０２のバーチャル表現）を体験すること。しかし、本明細書にて使用される他の文脈（例えば、具体的には、メディア・プレーヤ装置によってユーザに提示可能な複数のバーチャル・リアリティ体験内に含まれる特定のバーチャル・リアリティ体験を意味する文脈）において、「バーチャル・リアリティ体験」は、より技術的な概念を意味してもよい。具体的には、バーチャル・リアリティ体験は、メディア・プレーヤ装置がユーザに特定のバーチャル・リアリティ・データセットに基づいて提供することができる体験（エクスペリエンス）を意味してもよく、前記特定のバーチャル・リアリティ・データセットは、例えば、バーチャル・リアリティ・データを含んでもよく、前記データは、３Ｄシーンの特定の態様に関する高いレベルの詳細及び３Ｄシーンの他の態様に関する低いレベルの詳細を記述してもよく、特定のイメージ・クオリティ及び／又はデータ・レート等に関連する特定のフォーマットでエンコードされてもよい。こうしたより技術的な意味において、３Ｄシーンを体験するユーザは、以下の場合には、バーチャル・リアリティ体験からバーチャル・リアリティ体験へ「スイッチ」又は「移動」すると言ってもよい：ユーザがバーチャル・ビューポイント（例えば、ユーザが３Ｄシーンを見る際のヴァンテージ・ポイント）を方向づけして、３Ｄシーン内の領域から領域へ移動させる；３Ｄシーン内のオブジェクトが移動又は変化する；ユーザが使用するメディア・プレーヤ装置の帯域能力が変化する等。後述するが、特定のバーチャル・リアリティ体験（例えば、こうしたより技術的なタイプのバーチャル・リアリティ体験）は、各バーチャル・リアリティ体験を記述する各エクスペリエンス・パラメータのセットにおける１以上の「エクスペリエンス・パラメータ」によって定義されてもよい。

【0052】

ユーザに提供されてもよいバーチャル・リアリティ体験及びバーチャル・リアリティ体験を記述するエクスペリエンス・パラメータのセットを示すべく、図３Ａ及び図３Ｂは、３Ｄシーン２０２に関連するバーチャル・リアリティ体験及びエクスペリエンス・パラメータ様々な態様を示す。

【0053】

具体的には、示すように、図３Ａは、３Ｄシーン２０２の複数の例示的な領域３０２（例えば、領域３０２－１～３０２－１８）を示しており、各々は、ユーザに提供可能な異なるバーチャル・リアリティ体験に関連する。例えば、領域３０２－１は、第１のバーチャル・リアリティ体験に関連してもよく、領域３０２－２は、第２の異なるバーチャル・リアリティ体験に関連してもよく、以下同様であってもよい。以下の点を理解されたい：領域３０２は、バーチャル・リアリティ体験（例えば、３Ｄシーン２０２内のユーザのバーチャル・ビューポイントの位置）のただ１つの特定の態様を示しており、様々な他の態様についてもバーチャル・リアリティ体験をプレイすることができる。例えば、領域３０２－１に関連する第１のバーチャル・リアリティ体験も、特定のイメージ・クオリティ（例えば、比較的高い解像度のイメージ）に関連してもよく、一方で、領域３０２－１にも関連する第２のバーチャル・リアリティ体験は、異なるイメージ・クオリティ（例えば、比較的低い解像度のイメージ）に関連してもよい。同一の又は他の例において、イメージ・クオリティエクスペリエンス・パラメータは、イメージ解像度（即ち、ピクセル解像度）以外のイメージ・クオリティの態様に関連してもよい（例えば、キャプチャされるイメージのフレーム・レート、キャプチャされるイメージのアスペクト比、キャプチャされるイメージの色彩解像度、及びキャプチャされるイメージに関して使用されるエンコーディング方法等）。従って、ユーザに提供可能であってもよい複数のバーチャル・リアリティ体験は、様々な異なる一連のエクスペリエンス・パラメータによって定義されてもよく、前記パラメータは、以下を含むことができる：位置に関するエクスペリエンス・パラメータ（例えば、バーチャル・リアリティ体験に関連する特定の領域３０２を定義するエクスペリエンス・パラメータ）、イメージ・クオリティエクスペリエンス・パラメータ、及び、特定の実施に寄与することができる任意の他のエクスペリエンス・パラメータ。

【0054】

図３Ａに示すように、ユーザのバーチャル・ビューポイント３０４（即ち、ユーザが３Ｄシーン２０２を体験しており、且つ、特定の実施において、ユーザの意図により３Ｄシーン２０２を任意で動き回ることができる現時点でのヴァンテージ・ポイント）は、特定の時間ポイントで領域３０２－８内に位置してもよい。示しているが、また、オブジェクト２０４－１は、領域３０２－８内のバーチャル・ビューポイント３０４の近くに位置することができるが、オブジェクト２０４－２は、領域３０２－１１におけるバーチャル・ビューポイント３０４から遠く離れて位置してもよい。かくして、また、より詳細に後述するが、システム１００にとって、ユーザのメディア・プレーヤ装置に対しては、領域３０２－８に関連するバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットを提供することが望まれる可能性がある。こうしたバーチャル・リアリティ・データセットは、例えば、オブジェクト２０４－１に関して比較的高いレベルの詳細を含んでもよく（即ち、オブジェクト２０４－１がバーチャル・ビューポイント３０４に対して比較的距離が近いことが原因となって）、そして、ユーザがオブジェクト２０４－１の高いクオリティのレンダリングを体験することを可能にしてもよく、一方で、オブジェクト２０４－２に関して低いレベルの詳細を含んでもよい（即ち、原因となる事実として、オブジェクト２０４－２がバーチャル・ビューポイント３０４から更に離れており、従って、オブジェクト２０４－２に関する複雑な詳細については、バーチャル・ビューポイント３０４から鑑賞不可能である可能性があるため）。

【0055】

逆に、バーチャル・ビューポイント３０４が、のちに、オブジェクト２０４－２のより近くへ動く場合（例えば、領域３０２－１１へ）、システム１００にとっては、メディア・プレーヤ装置に対して、領域３０２－１１に関連するバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットを提供するすることが望まれる可能性がある。例えば、上述したバーチャル・リアリティ・データセットとは対照的に、こうしたバーチャル・リアリティ・データセットは、オブジェクト２０４－２を記述する比較的高いレベルの詳細を含むことができ、ユーザに対して、オブジェクト２０４－２の高いクオリティのレンダリングを体験することを可能にすることができ、一方で、オブジェクト２０４－１を記述する低いレベルの詳細を含むことができる。

【0056】

図３Ｂは、例示的なエクスペリエンス・パラメータのセットを図示し、エクスペリエンス・パラメータのセットは、例示的なバーチャル・リアリティ体験を記述する。より具体的には、エクスペリエンス・パラメータのセット３０６は、特定のバーチャル・リアリティ体験（例えば、領域３０２－８に関連してもよく、バーチャル・ビューポイント３０４を選択したユーザへバーチャル・リアリティ体験を提供するメディア・プレーヤ装置に提供されてもよいバーチャル・リアリティ体験等）を記述するのに使用することができる様々な例示的なエクスペリエンス・パラメータを示す。

【0057】

エクスペリエンス・パラメータのセット３０６は、以下を含むことができる：特定の実施に寄与することができるバーチャル・リアリティ体験の任意の態様を記述することができる任意のタイプのエクスペリエンス・パラメータ。例えば、示すように、エクスペリエンス・パラメータのセット３０６は、以下を含むことができる：バーチャル・リアリティ体験をユーザに提供する３Ｄシーン２０２内の位置（例えば、領域３０２の１つ）を表すエクスペリエンス・パラメータ（即ち、「Ｅｘｐｅｒｉｅｎｃｅ ｌｏｃａｔｉｏｎ ｃｏｏｒｄｉｎａｔｅｓ」）。また、エクスペリエンス・パラメータのセット３０６は、以下を表すエクスペリエンス・パラメータを含むことができる：バーチャル・リアリティ体験をユーザに提供する３Ｄシーン２０２内の位置の軌道（例えば、ある領域３０２から別の領域へのバーチャル・ビューポイント３０４の軌道）（即ち、「Ｅｘｐｅｒｉｅｎｃｅ ｔｒａｊｅｃｔｏｒｙ」）。エクスペリエンス・パラメータのセット３０６は、更に以下を表すエクスペリエンス・パラメータを含むことができる：バーチャル・リアリティ体験をユーザに提供するメディア・プレーヤ装置の技術的能力（即ち、「Ｄｅｖｉｃｅ ｐａｒａｍｅｔｅｒｓ」（例えば、メディア・プレーヤ装置によってサポートされる「Ｓｃｒｅｅｎ ｒｅｓｏｌｕｔｉｏｎ」又は「Ｒｅｆｒｅｓｈ ｒａｔｅ」等の「Ｉｍａｇｅ ｑｕａｌｉｔｙ」パラメータ、メディア・プレーヤ装置によってサポートされる「Ｂａｎｄｗｉｄｔｈ ｃａｐａｂｉｌｉｔｉｅｓ」、メディア・プレーヤ装置によってサポートされる「Ｃｏｄｅｃ ｃａｐａｂｉｌｉｔｉｅｓ」等））。更には、エクスペリエンス・パラメータのセット３０６は、以下を表すエクスペリエンス・パラメータ含むことができる：ユーザに提供するバーチャル・リアリティ体験に関連する３Ｄシーン２０２の幾何学的特性（即ち、「Ｓｃｅｎｅ ｇｅｏｍｅｔｒｙ ｐａｒａｍｅｔｅｒｓ」（例えば、「Ｓｃｅｎｅ ｓｈａｐｅ」、「Ｓｃｅｎｅ ｓｉｚｅ」等））。更には、エクスペリエンス・パラメータのセット３０６は、以下を表すエクスペリエンス・パラメータ含むことができる：３Ｄシーン２０２内に含まれる１以上のオブジェクト２０４のプロパティ（即ち、「Ｏｂｊｅｃｔ ｇｅｏｍｅｔｒｉｅｓ」、「Ｏｂｊｅｃｔ ｌｏｃａｔｉｏｎ ｃｏｏｒｄｉｎａｔｅｓ」、「Ｏｂｊｅｃｔ ｔｒａｊｅｃｔｏｒｉｅｓ」等を含む「Ｏｂｊｅｃｔ ｐａｒａｍｅｔｅｒｓ」）。エクスペリエンス・パラメータのセット３０６は、以下を含むことができる：これらのエクスペリエンス・パラメータのうち任意の若しくはすべてのパラメータ、及び／又は、特定の実施に寄与することができる任意の他の適切なエクスペリエンス・パラメータ。

【0058】

エクスペリエンス・パラメータのセット３０６は、ここで示される各異なるエクスペリエンス・パラメータに関連する具体的な値を示していない（例えば、座標の値、軌道の値、デバイス・パラメータの値、シーン又はオブジェクトの幾何学的な記述子等）ものの、以下の点を理解されたい：エクスペリエンス・パラメータのセット３０６内に表現される各エクスペリエンス・パラメータは、以下を含むことができ、又は以下に関連してもよい：特定の実施に寄与することができる特定のエクスペリエンス・パラメータを定義する任意の適切な値。例えば、ｅｘｐｅｒｉｅｎｃｅ ｌｏｃａｔｉｏｎ ｃｏｏｒｄｉｎａｔｅ パラメータは、以下を含むことができる：３Ｄシーン２０２の特定の領域（例えば、領域３０２－８）を定義する数値的な座標の値。ｅｘｐｅｒｉｅｎｃｅ ｔｒａｊｅｃｔｏｒｙ パラメータは、以下を含むことができる：バーチャル・ビューポイント３０４又はオブジェクト２０４が動くことができる各軌道を定義する数値的なベクトルの値、以下同様であってもよい。

【0059】

システム１００は、エクスペリエンス・パラメータの様々なセット（即ち、エクスペリエンス・パラメータのセット３０６を含む）を特定することができ、前記セットは、以下による異なるユーザに提供可能な様々なバーチャル・リアリティ体験を記述してもよい：３Ｄシーンの異なる領域２０２において異なるバーチャル・ビューポイントを使用して；３Ｄシーン２０２を体験するために異なる能力を有する異なるメディア・プレーヤ装置を使用して；これらのバーチャル・ビューポイントを異なる軌道に向ける；、及び／又は３Ｄシーン２０２の異なるオブジェクト２０４又は幾何学的特徴（例えば、角、端等）からの異なる近似性を有すること等。従って、各特定されるエクスペリエンス・パラメータのセットに関して（即ち、各提供可能なバーチャル・リアリティ体験に関して）、システム１００は、エクスペリエンス・パラメータのセットによって記述されるバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットを各々準備及び生成することができる。また、システム１００は、体験選択データ構造内においてこれらのバーチャル・リアリティ・データセット各々に関するエントリを含むことができ、異なるユーザによって使用されるメディア・プレーヤ装置が適切なバーチャル・リアリティ・データセットをユーザ・エクスペリエンス３Ｄシーン２０２として選択することを促進することができる

【0060】

バーチャル・リアリティ・データセットを特定のバーチャル・リアリティ体験（即ち、特定のエクスペリエンス・パラメータのセットを有する）へとカスタマイズする目的で、システム１００は、３Ｄシーン２０２の様々な異なるビューを描写するより大きな数の複数の利用可能な表面データ・フレーム・シーケンスから、幾つか（ａ ｆｅｗ）の表面データ・フレーム・シーケンスを選択することができ、そして、システム１００は、カスタマイズされるバーチャル・リアリティ・データセットの基礎となるフレーム・シーケンス・サブセット内に選択される表面データ・フレーム・シーケンスを含めることができる。システム１００は、特定の実施に寄与することができる任意の態様で、３Ｄシーン２０２の異なるビューを描写する複数の利用可能な表面データ・フレーム・シーケンス内の表面データ・フレーム・シーケンスを生成することができ、及び／又はこれにアクセスすることができる。例えば、３Ｄシーン２０２がバーチャル・オブジェクトのみを有するバーチャル・シーンを純粋に表現する場合、表面データ・フレーム・シーケンスを、システム１００又はバーチャル・シーンを表すデータをシステム１００に提供する別のシステムが、生成又はアニメーション化することができる（例えば、バーチャル・モデルに基づいて）。逆に、３Ｄシーン２０２が、少なくとも幾つかの現実世界要素（例えば、現実世界オブジェクト）を含む現実世界シーン又は融合現実シーンを表現する場合、システム１００又はシステム１００に関連するシステムは、物理的な現実世界キャプチャ・デバイスを使用して、現実世界シーンのビューを描写する表面データ・フレーム・シーケンスをキャプチャすることができる。

【0061】

図示する目的で、図４は、３Ｄシーン２０２を表現する現実世界シーンの実施における３Ｄシーン２０２の複数のビュー４０２（例えば、ビュー４０２－１～４０２－６）を図示し、前記３Ｄシーンは、異なるキャプチャ・デバイスによってキャプチャされてもよい。各ビュー４０２は、現実世界シーンに関して３Ｄシーン２０２の基礎となる現実世界シーンをキャプチャするために使用されるキャプチャ・デバイスのそれぞれの場所を表現することができる。更には、ビュー４０２は、現実世界シーンが、キャプチャ・デバイスのロケーション以外の各キャプチャ・デバイスによってどのようにキャプチャされるかに関する追加の態様を更に表現することができる。例えば、各ビュー４０２から出ているドット線によって示されるように、また、ビュー４０２は以下に関連してもよい：特定のキャプチャ角度（例えば、ビュー４０２に対応するキャプチャ・デバイスが向かう特定の方向）、キャプチャの特定の視野（例えば、例えば、キャプチャ・デバイスのレンズがどれほど狭角又は広角なのか、キャプチャ・デバイスのズーム・レベル等に基づいて、キャプチャ・デバイスによってキャプチャされている３Ｄシーン２０２によって表現される現実世界シーンの領域）等。各ビュー４０２は、図４に明示していないキャプチャの態様に更に関連してもよい。例えば、各ビュー４０２は以下に関連してもよい：表面データ・フレーム・シーケンスがビュー４０２に関連するキャプチャ・デバイスによってキャプチャされる際の特定のクオリティ・レベル（例えば、イメージ解像度、フレーム・レート等）、キャプチャ・デバイスがキャプチャするデータがエンコードされる特定のフォーマット及び／又は特定の実施に寄与することができるデータ・キャプチャの任意の他の態様。

【0062】

示しているが、３Ｄシーン２０２のビュー４０２は、異なる視界、ヴァンテージ・ポイント等を提供することができ、これらから、３Ｄシーン２０２（例えば、オブジェクト２０４を含む）を閲覧することができる。例えば、ビュー４０２は、３Ｄシーン２０２に対してそれぞれ固定されてもよい（例えば、現実世界シーン及びキャプチャ・デバイスが静的であってもよく、又は共に動いてもよい）。更には、幾つかの例において、（例えば、図４に示す）、ビュー４０２は、３Ｄシーン２０２を少なくとも２次元に沿って（例えば、平面に沿って（例えば、地面））囲ってもよい。特定の例において、ビュー４０２は、更に、３Ｄシーン２０２を、３次元に沿って囲ってもよい（例えば、３Ｄシーン２０２の上下のビュー４０２も含めることによって）。

【0063】

後で更に説明及び図示するが、様々な異なるビュー４０２（例えば、様々な視界から現実世界シーンをキャプチャする目的で、３Ｄシーン２０２の基礎となる現実世界シーンを囲むビュー４０２）からキャプチャされるデータを使用して、システム１００は、現実世界シーンの他の任意のビューの１以上の仮想化プロジェクションを生成することができる。換言すれば、１以上のビュー４０２からキャプチャされるデータを使用して、システム１００は、現実世界シーンのカスタマイズされるビューの仮想化プロジェクションをレンダリングすることができ、前記ビューは、他のロケーション、角度、視野等に関連してもよく、そして、ビュー４０２と揃ってもよく、又は揃っていなくてもよい。従って、後で示すが、特定のフレーム・シーケンス・サブセットを選択する際にシステム１００が選択する元となる複数の利用可能な表面データ・フレーム・シーケンスは、以下を含むことができる：物理的なキャプチャ・デバイスによってキャプチャされるビュー４０２とは不揃いの（即ち、独立してる、異なる）現実世界シーンのビューを描写する１以上の仮想化される表面データ・フレーム・シーケンス。

【0064】

各ビュー４０２の視界から現実世界シーンをキャプチャする目的で、複数のキャプチャ・デバイス内の異なるキャプチャ・デバイスは、ビュー４０２の各異なるロケーションに配置されてもよい。図示する目的で、図５Ａは、例示的なキャプチャ・デバイス５０２を示し、前記デバイスは、色彩フレーム及び深度フレームを、ビュー４０２－１のロケーションから、特定の表面データ・フレーム・シーケンス内に含める目的でキャプチャし、前記シーケンスは、３Ｄシーン２０２の基礎となり得る現実世界シーンを表すことができる。

【0065】

図５Ａに示すように、キャプチャ・デバイス５０２は、ビュー４０２－１に関連してもよく、従って、現実世界シーン及び現実世界オブジェクト２０４に関して、ビュー４０２－１に対応するロケーションに配置されてもよい。図５Ａが示すこととして、キャプチャ・デバイス５０２は、以下を含むことができる：２次元（「２Ｄ」）色彩キャプチャ・デバイス５０４、ここで、当該デバイスは、色彩データ（例えば、フル・カラー又はグレースケール・イメージを表す２Ｄビデオ・データ）をキャプチャするように構成され、前記色彩データは、現実世界シーンを表すことができる（例えば、ビュー４０２－１の視界から見ることができ、現実世界シーン内に含まれる現実世界オブジェクト２０４－１及び／又は他のオブジェクトを含む）；並びに、深度キャプチャ・デバイス５０６、ここで当該デバイスは、現実世界シーンを表す深度データをキャプチャするように構成されてもよい。

【0066】

２Ｄ色彩キャプチャ・デバイス５０４は、任意の適切な２Ｄ色彩キャプチャ・デバイス（例えば、カメラ、ビデオ・カメラ等）によって実装することができ、そして、特定の実施に寄与することができる任意の態様で、２Ｄ色彩データをキャプチャすることができる。幾つかの例において、２Ｄ色彩キャプチャ・デバイス５０４は、深度キャプチャ・デバイス５０６とは別個のデバイスであってもよい。総称すると、こうした別個のデバイス（例えば、並びに、機能的にデバイスを融合するために使用される任意の通信インターフェース及び／又は他のハードウェア若しくはソフトウェアのメカニズム）は、キャプチャ・デバイス（例えば、キャプチャ・デバイス５０２）と称することができる。他の例において、図５Ａに示すように、２Ｄ色彩キャプチャ・デバイス５０４及び深度キャプチャ・デバイス５０６は、単独のデバイス（即ち、キャプチャ・デバイス５０２）に統合されてもよく、当該デバイスは、色彩及び深度データの両方をキャプチャすることができ、これについては、後述する。

【0067】

別個のデバイスとして実装されるか、又は、２Ｄ色彩キャプチャ・デバイス５０４に統合されるかに関わらず、深度データ・キャプチャ・デバイス５０６は、特定の実施に寄与することができる任意の態様で、現実世界シーンを表す深度データをキャプチャすることができる。例えば、深度データ・キャプチャ・デバイス５０６は、１以上の深度マップ・キャプチャ技術を採用することができる（例えば、構造化光深度マップ・キャプチャ技術、立体視深度マップ・キャプチャ技術、タイム・オブ・フライト深度キャプチャ技術、別の適切な深度マップ・キャプチャ技術、又は、特定の実施に寄与することができる深度マップ・キャプチャ技術の任意の組み合わせ）。

【0068】

深度データをキャプチャするのに使用される深度マップ・キャプチャ技術のタイプ及び数に関わらず、キャプチャ・デバイス５０２は、色彩データ（例えば、色彩フレーム）と深度データ（例えば、深度フレーム）の両方をキャプチャすることができ、これらは、以下を表すことができる：現実世界シーン内に含まれ、且つビュー４０２－１の視界から見える現実世界オブジェクト２０４－１の表面及び／又は他のオブジェクト。本明細書で使用するが、キャプチャ・デバイス５０２によってほぼ同じ時間にキャプチャされる色彩フレーム及び深度フレームは、総称的に、「表面データ・フレーム」又は「色彩フレーム及び深度フレーム」と称してもよく、この理由として、これらのフレームに含まれるデータは、現実世界シーン内に含まれる現実世界オブジェクトの表面（即ち、表面の見える外観、並びに、表面の深度の幾何学の両方）を記述するデータを表現しているからである。

【0069】

従って、本明細書で使用するが、表面データ・フレーム又は色彩フレーム及び深度フレームは、データセットを意味してもよく、前記データセットは、現実世界オブジェクトの表面に関連する様々なタイプのデータを表してもよく、前記現実世界オブジェクトの表面は、現実世界シーンの特定のビューから特定の時間のポイントにおいて現実世界シーン内で見ることができるものであってもよい。例えば、表面データ・フレームは、以下を含むことができる：現実世界シーンに関して特定のビューから見ることができるオブジェクトを表す色彩データ（即ち、イメージ・データ）並びに深度データ。かくして、複数の関連表面データ・フレームは、ともにシーケンス化されてもよく、特定のビューからみた現実世界シーンのビデオのような表現（色彩データのみならず深度データも表現）を生成してもよい。特定の例において、表面データ・フレームは、更に以下に関連してもよい：他のタイプのデータ（例えば、オーディオ・データ、メタデータ（例えば、表面データ・フレームがキャプチャされるビューを記述するキャプチャ・パラメータのセットを含むメタデータ、表面データ・フレームにおいて表現される特定の現実世界オブジェクトに関する情報等））、及び／又は特定の実施に寄与することができる他のタイプのデータ。後で説明及び図示するが、表面データ・フレームのこうしたシーケンスは、本明細書において「表面データ・フレーム・シーケンス」と称してもよい。

【0070】

本明細書で使用するが、「色彩データ」は、広義には任意のイメージ・データビデオ・データ等を含むことができ、カラーでの表現又はグレースケール（即ち「白黒」）での表現に関わらず、これらのデータは、特定の時間ポイントで又は特定の期間にわたっての特定のビューの視界からの対象物（例えば、シーン内に含まれるオブジェクト）の外観を表現してもよい。色彩データは、以下に限定されない：任意の特定の形式、ファイル・タイプ、フレーム・レート、解像度、品質レベル、又は、様々な定義、並びに／若しくは当分野でイメージ・データ及び／若しくはビデオ・データを定義する規格に関連する他の特性。同様に、本明細書で使用するが、「深度データ」は、以下を含むことができる：空間内の対象物の位置及び／又は幾何学を表す任意のデータ。例えば、オブジェクトを表す深度データは、以下を含むことができる：オブジェクトの表面上の異なるポイントに関する座標系（例えば、特定のキャプチャ・デバイスに関連する座標系、３Ｄシーンに関連するグローバル座標系等）についての座標。

【0071】

キャプチャ・デバイス５０２に関して、前記デバイスは、色彩フレーム及び深度フレームをビュー４０２－１からキャプチャするが、以下の点を理解されたい：他のキャプチャ・デバイスは、同様に、色彩フレーム及び深度フレームを、他のビュー４０２に関連する各ヴァンテージ・ポイントからキャプチャするための他のビュー４０２（例えば、図４におけるビュー４０２－２～４０２－６）に関連してもよい。幾つかの例において、表面データ・フレームは、同一の特定の時間ポイントで、異なるビュー４０２に関連する異なるキャプチャ・デバイスでキャプチャされてもよく、これによって、互いに同期をとることができる。本明細書で使用するが、表面データ・フレームは、以下の場合には、特定の時間ポイントで「同期して」又は「同時に」キャプチャされるということができる：表面データ・フレームが、ある時間の瞬間に（即ち、ある時間範囲にわたって対象物を表すのとは対照的に）対象物（例えば、現実世界シーン内の現実世界オブジェクト）を効果的に表現できるのに十分なほど近い時間内でキャプチャされる場合（たとえ、表面データ・フレームが正確に同一の瞬間にキャプチャされなかったとしても）。例えば、特定の対象物がどれだけ動的であるか（例えば、１以上の現実世界オブジェクトが現実世界シーン内をどれだけ早く動くか等）に依存して、表面データ・フレームは、以下の場合に、同一の特定の時間ポイントでキャプチャされると考えてもよい：例えば、互いに数十又は数百ミリ秒（ｓｅｖｅｒａｌ ｔｅｎｓ ｏｒ ｈｕｎｄｒｅｄｓ ｏｆ ｍｉｌｌｉｓｅｃｏｎｄ）内でキャプチャされる場合、又は、特定の実施に寄与することができる別の適切なタイムフレーム内（例えば、マイクロ秒内、ミリ秒内、秒内等）でキャプチャされる場合。かくして、各表面データ・フレームは、特定の時間ポイントで、各キャプチャ・デバイスが関連するビュー４０２の各ヴァンテージ・ポイントからの現実世界シーン内に含まれる現実世界オブジェクトの表面の色彩及び深度データを、表面の外観として表すことができる。

【0072】

図５Ｂ～５Ｃは、キャプチャ・デバイス５０２によってキャプチャされ、且つ、色彩フレーム及び深度フレーム内（即ち、表面データ・フレーム内）に含まれるデータの例示的なグラフィカルな描写を示す。具体的には、示すように、表面データ・フレームに組み込まれる色彩フレームは、以下を含むことができる：色彩データ５０８（図５Ｂに示す）。一方で、表面データ・フレームに組み込まれる深度フレームは、以下を含むことができる：深度データ５１０（図５Ｃに示す）。

【0073】

図５Ｂにおいて、色彩データ５０８は、ビュー４０２－１の視界から見たときの、キャプチャ・デバイス５０２内の２Ｄ色彩キャプチャ・デバイス５０４による現実世界シーン（例えば、オブジェクト２０４－１を含む）を描写する。色彩データ５０８は、ビデオ・フレームのシーケンスにおいて、単独のビデオ・フレームを表すことができるため、色彩データ５０８によって表現されるオブジェクト２０４－１の描写は、以下を表すことができる：特定の時間ポイントでビュー４０２－１のヴァンテージ・ポイントから見えるオブジェクト２０４－１（例えば、並びに現実世界シーンに関連する他のオブジェクト）。図５Ｂにおいてイメージとして図示しているが、以下の点を理解されたい：色彩データ５０８は、任意の適切な形態で、キャプチャ、エンコード、フォーマット、送信、及び表現されてもよい。例えば、色彩データ５０８は、標準ビデオ・エンコーディング・プロトコル、標準イメージ・フォーマット等に従ってフォーマットされるデジタル・データであってもよい。幾つかの例において、色彩データ５０８は、現実世界シーンにおけるオブジェクトの色彩イメージ（例えば、カラー写真に類する物）を表現してもよい。或いは、他の例において、色彩データ５０８は、オブジェクト（例えば、白黒写真に類するもの）を表すグレースケール・イメージであってもよい。

【0074】

図５Ｃにおいて、深度データ５１０も（色彩データ５０８と同様に）ビュー４０２－１の視界からの現実世界シーン（オブジェクト２０４－１を含む）を描写する。しかし、現実世界シーン内のオブジェクトの目に見える外観を表現する（例えば、光がオブジェクト２０４－１の表面とどのように相互作用するかについてカラー又はグレースケールで表現する）のではなく、深度データ５１０は以下を表現したものであってもよい：例えば、キャプチャ・デバイス５０２における深度キャプチャ・デバイス５０６に対するオブジェクト（例えば、ビュー４０２－１から見えるオブジェクト２０４－１並びに他のオブジェクト）の表面上の各ポイントの深度（即ち、距離又は位置）。色彩データ５０８とともに、深度データ５１０は、任意の適切な形態で、キャプチャ、エンコード、フォーマット、送信、及び表現されてもよい。例えば、示すように、深度データ５１０は、グレースケール・イメージ・データによって表現されてもよい（例えば、深度キャプチャ・デバイス５０６によってキャプチャされる各ピクセルに関して６ビット又は８ビット）。しかし、光がどのようにして、オブジェクト２０４－１の表面から反射するかについて表現（即ち、色彩データ５０８として表現）するのではなく、深度データ５１０のグレースケール・イメージは以下を表現したものであってもよい：イメージ中の各ピクセルに関して、そのピクセルによって表現されるポイントが、深度キャプチャ・デバイス５０６からどれほど離れているか。例えば、深度キャプチャ・デバイス５０６に、より近いポイントは、より暗いグレーの影を表現する値で表されてもよい（例えば、６ビット実装のケースで０ｂ１１１１１１がブラックを表現している場合において、０ｂ１１１１１１に近いバイナリな値）。逆に、深度キャプチャ・デバイス５０６から、より離れているポイントは、より明るいグレーの影を表現する値で表されてもよい（例えば、６ビット実装のケースで０ｂ００００００がホワイトを表現している場合において、０ｂ００００００に近いバイナリな値）。

【0075】

図６Ａ～６Ｂは、例示的な表面データ・フレーム・シーケンス６００－１ｃを示し、前記シーケンスは、以下を表す：キャプチャ・デバイス５０２によって生成される３Ｄシーン２０２（例えば、ビュー４０２－１の視界から）。具体的には、図６Ａは、表面データ・フレーム・シーケンス６００－１ｃ内に含めることができるある特定のデータを描写する表面データ・フレーム・シーケンス６００－１ｃの詳細且つグラフィカルな表現を示す。一方で、図６Ｂは、表面データ・フレーム・シーケンス６００－１ｃの統合されるグラフィカルな表現を示し、前記表現は、表面データ・フレーム・シーケンス６００－１ｃのコンテンツの多くの詳細を具体的に表現しているわけではない。表面データ・フレーム・シーケンス６００－１ｃは、３Ｄシーン２０２の基礎となる現実世界シーンのビュー４０２－１からキャプチャされる表面データ・フレーム・シーケンスを具体的に描写しているものの、以下の点を理解されたい：本明細書に記載の他の表面データ・フレーム・シーケンス（例えば、他のキャプチャされる表面データ・フレーム・シーケンス並びに仮想化される表面データ・フレーム・シーケンス）は、図６Ａに示すものと類似のコンポーネントを含むことができる。

【0076】

また、以下の点も理解されたい：図６に明示されない表面データ・フレーム・シーケンス（しかし、表面データ・フレーム・シーケンス６００－１ｃに関して示される同様のタイプのデータを含む）も、本明細書では、表面データ・フレーム・シーケンス６００として言及してもよい。この目的のため、以下のとおり記号を使用する：表面データ・フレーム・シーケンス「６００－Ｎｃ」は、ビュー４０２－Ｎから表面データ・フレーム・シーケンスをキャプチャ（「ｃ」ａｐｔｕｒｅｄ）することを示し；及び、表面データ・フレーム・シーケンス「６００－Ｎｖ」は、ビュー７０２－Ｎに関連する仮想化（「ｖ」ｉｒｔｕａｌｉｚｅｄ）される表面データ・フレーム・シーケンスを示す（後述する）。かくして、例えば、図６Ａに明示される表面データ・フレーム・シーケンス６００－１ｃは、ビュー４０２－１に関連する（即ち、ここからキャプチャされる）キャプチャされる表面データ・フレーム・シーケンスである。

【0077】

図６Ａに示すように、表面データ・フレーム・シーケンス６００－１ｃは、色彩データ、深度データ、及びメタデータを含む様々なタイプのデータを含むことができる。具体的には、表面データ・フレーム・シーケンス６００－１ｃは、色彩フレーム・シーケンス６０２、深度フレーム・シーケンス６０４、及びキャプチャ・パラメータ６０６のセットを含むように示される。以下の点を理解されたい：表面データ・フレーム・シーケンス６００－１ｃは、更に以下を含むことができる：図６Ａに明示しない他のタイプのデータ（例えば、キャプチャ・パラメータ６０６のセットのほかに、キャプチャされるオーディオ・データ、他のメタデータ等）。更には、以下の点を理解されたい：表面データ・フレーム・シーケンス６００－１ｃ内に含まれるデータは、任意の適切な方法で、アレンジしたり、又はフォーマットしたりすることができる。例えば、示すように、表面データ・フレーム・シーケンス６００－１ｃ内に含まれるデータは、１つの色彩フレーム・シーケンス、及び１つの深度フレーム・シーケンスとしてアレンジされてもよい。他の例において、単独のキャプチャ・デバイスは、複数の色彩フレーム・シーケンス、及び／又は、複数の深度フレーム・シーケンスを出力することができる（例えば、キャプチャされる現実世界シーンの視野の異なる部分をカバーするために）。更なる他の例において、表面データ・フレーム・シーケンス６００－１ｃのデータは、各々特定の色彩フレーム、特定の深度フレーム、及び特定のメタデータ（例えば、キャプチャ・パラメータ６０６のセットを表すデータ）を含む統合される表面データ・フレームのシーケンスとして、又は、特定の実施に寄与することができる他の方法でアレンジされてもよい。

【0078】

色彩フレーム・シーケンス６０２の各色彩フレーム内に含まれるデータは、図５に関連して上述した色彩データ５０８と類似してもよい。しかし、色彩フレーム・シーケンス６０２内の各色彩フレームは、少々異なる時間でキャプチャされてもよく、その結果、色彩フレーム・シーケンス６０２は、ビュー４０２－１からの現実世界シーンのビデオのような表現を形成してもよい。同様に、深度フレーム・シーケンス６０４の各深度フレーム内に含まれるデータは、以下の点を除いて、深度データ５１０と同様であってもよい：深度フレーム・シーケンス６０４内の各深度フレームは、少々異なる時間で（例えば、色彩フレーム・シーケンス６０２の色彩フレームがキャプチャされる時間と同期をとる時間）キャプチャされてもよく、その結果、深度フレーム・シーケンス６０４は、ビュー４０２－１からの現実世界シーンの別のビデオのような表現を形成することができる。

【0079】

表面データ・フレーム・シーケンス６００－１ｃ内に含まれるキャプチャ・パラメータ６０６のセットは、以下を含むことができる：表面データ・フレーム・シーケンス６００－１ｃがキャプチャされるビュー（即ち、このビュー４０２－１のケースにおいて）を記述するメタデータ。上述したように、システム１００は、フレーム・シーケンス・サブセット及び／又はバーチャル・リアリティ・データセットの生成の際に、メタデータにアクセス及びこれを使用することができる。例えば、システム１００は、メタデータに基づいて、どの表面データ・フレーム・シーケンスが異なるフレーム・シーケンス・サブセットに含まれるべきかについて選択を行うことができ、そして、システム１００は、順番に、これらのフレーム・シーケンス・サブセットに基づいて、異なるバーチャル・リアリティ・データセットを生成することができる。キャプチャ・パラメータ６０６のセット内に含まれるメタデータは、以下を示す任意の様々なパラメータを含むことができる：どこで及び／又はどのようにして表面データ・フレーム・シーケンス６００－１ｃ内に含まれる表面データ・フレームがキャプチャされたかに関する様々な態様。キャプチャ・パラメータ６０６のセット内に含まれるキャプチャ・パラメータは、以下を含むことができる：特定の実施に寄与することができる現実世界シーンの各ビューに関連する任意の適切なキャプチャ・パラメータ。

【0080】

例えば、キャプチャ・パラメータ６０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：３Ｄシーン２０２のビュー４０２－１に対応する色彩フレーム及び深度フレームがキャプチャされる３Ｄシーン２０２に関するロケーション。別の例として、キャプチャ・パラメータ６０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：３Ｄシーン２０２のビュー４０２－１に対応する色彩フレーム及び深度フレームがキャプチャされる角度（例えば、キャプチャ角度）。同様に、別の例として、キャプチャ・パラメータ６０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：３Ｄシーン２０２のビュー４０２－１に対応する色彩フレーム及び深度フレームがキャプチャされる視野。更には、更なる別の例として、キャプチャ・パラメータ６０６のセットは、以下を表すキャプチャ・パラメータを含むことができる：３Ｄシーン２０２のビュー４０２－１に対応する色彩フレーム及び深度フレームがキャプチャされるイメージ・クオリティ。更なる他の例において、キャプチャ・パラメータ６０６のセットは、以下を含むことができる：３Ｄシーン２０２のビュー４０２－１に対応する色彩フレーム及び深度フレームをキャプチャすることができる他の態様を表す任意の他の適切なキャプチャ・パラメータ。例えば、キャプチャ・パラメータ６０６のセットは、以下を表すパラメータを含むことができる：ビュー４０２－１に対応する色彩フレーム及び深度フレームがキャプチャされる特定のエンコーディング、フォーマット、フレーム・レート等。

【0081】

キャプチャ・パラメータ６０６のセットは、特定の実施に寄与することができる任意の態様で、表面データ・フレーム・シーケンス６００－１ｃ内に含まれる他のデータと統合されてもよい。例えば、幾つかの例において、キャプチャ・パラメータ６０６のセットは、色彩フレーム・シーケンス６０２及び深度フレーム・シーケンス６０４内にそれぞれ含まれる各色彩フレーム及び／又は深度フレームに統合されてもよい（例えば、これらに関して繰り返されてもよい）。他の例において、キャプチャ・パラメータ６０６のセットは、個々の表面データ・フレームとそれぞれ統合されてもよい。こうした方法において、キャプチャ・パラメータ６０６のセットは、各々及び全てのフレームに関するキャプチャ・パラメータを柔軟に記述することができ、前記記述は、たとえ、ビュー４０２が表面データ・フレーム・シーケンス６００－１ｃによって表現される期間の間に動的に変化しても記述することができる。他の例において、キャプチャ・パラメータ６０６のセットは、表面データ・フレーム・シーケンス６００－１ｃによって表現される期間の間、静的であってもよい。これらの例において、キャプチャ・パラメータ６０６のセットは、フレーム・シーケンス６０２及び６０４のフレームとは別に送信されてもよい。例えば、キャプチャ・パラメータ６０６のセットは、色彩フレーム及び深度フレームの送信とは別に送信されてもよい（例えば、色彩フレーム及び深度フレームの送信の前に、色彩フレーム及び深度フレームの送信開始時に、色彩フレーム及び深度フレームの送信後に、及び／又は別の適切な時間に）。

【0082】

上述したように、図６Ｂは、表面データ・フレーム・シーケンス６００－１ｃの統合されるグラフィカルな表現を示す。具体的には、図６Ｂにおける表面データ・フレーム・シーケンス６００－１ｃの表現は、特定のビュー（即ち、ビュー４０２－１）から見えるものとしてのブロックの前面上に、３Ｄシーン２０２のセクション（即ち、現実世界オブジェクト２０４－１を含むセクション）の描写を有するブロックとして、表面データ・フレーム・シーケンス６００－１ｃを示す。このタイプの表面データ・フレーム・シーケンスの表現は、後述する図における追加の表面データ・フレーム・シーケンスを示すのに有用となるであろう。しかし、以下の点を理解されたい：図６Ｂに示すような統合されるグラフィカルな表現を使用して表現される任意の表面データ・フレーム・シーケンスは、以下を含むことができる：上述した任意の配置における図６Ａに関連して示した、及び／又は、説明した、全ての同一のタイプのデータ。

【0083】

上述したように、３Ｄシーン２０２が現実世界シーンの要素を含み、前記現実世界シーンが、複数のキャプチャ・デバイスによってキャプチャされ、前記デバイスが、現実世界シーンに対して異なるロケーション（例えば、図４のビュー４０２に関連するロケーション）に配置される実施において、システム１００は、メタデータにアクセスすることができ、前記メタデータは、キャプチャ・デバイスがキャプチャする表面データ・フレーム・シーケンス（例えば、表面データ・フレーム・シーケンス６００－１ｃ等）を記述することができる。従って、こうしたメタデータに基づいて、１以上のこれらのキャプチャされる表面データ・フレーム・シーケンスは、バーチャル・リアリティ・データセットの基礎となるフレーム・シーケンス・サブセット内に含まれてもよい。しかし、ビュー４０２からキャプチャされる表面データ・フレーム・シーケンスは、３Ｄシーン２０２の全ての態様を十分にカバーできるものの、これらのキャプチャされる表面データ・フレーム・シーケンス内に含まれるすべてのデータを含むバーチャル・リアリティ・データセットを提供することは、システム１００にとって、非効率的であるか、非現実的であるが、又は、望ましくない可能性がある。例えば、各ビュー４０２に関連するキャプチャ・デバイス（例えば、上述したキャプチャ・デバイス５０２等）は、非常に膨大な量の非常に詳細で高いクオリティのデータをキャプチャする動作を行うように構成される可能性があり、その結果、全てのキャプチャされるデータについて、任意の特定のメディア・プレーヤ装置に提供することは不可能であるか、又は現実的ではない可能性がある（例えば、原因として、ネットワークの帯域幅の制限、データ使用コスト、メディア・プレーヤ装置の能力等）。

【0084】

従って、上述したように、キャプチャされる表面データ・フレーム・シーケンスで表現される膨大な量のデータを、３Ｄシーン２０２の異なるビューの仮想化された表現（例えば、１以上の仮想化される表面データ・フレーム・シーケンス）を生成するために使用することができ、これは、メディア・プレーヤ装置に提供するにあたって、より現実的である可能性がある（例えば、含まれる冗長な及び／又は無関係なデータが少ないことによって）。従って、幾つかの例において、複数の利用可能な表面データ・フレーム・シーケンス（即ち、フレーム・シーケンス・サブセット内に含まれる表面データ・フレーム・シーケンスが選択される源）は、以下を含むことができる：１以上の仮想化される表面データ・フレーム・シーケンス、ここで、前記シーケンスは、現実世界シーンのビューを描写してもよく、前記ビューは、物理的なキャプチャ・デバイスによってキャプチャされる現実世界シーンのビュー４０２とは不揃い（ｕｎａｌｉｇｎｅｄ）であってもよい。同様に、現実世界シーンの要素を含まない３Ｄシーン２０２の実装において、全ての表面データ・フレーム・シーケンスは、バーチャルであってもよい（即ち、コンピュータ-が生成するバーチャル・オブジェクト及びシーンに基づく）。

【0085】

図７は、３Ｄシーン２０２の複数のビューを示し、前記ビューは、ビュー４０２（即ち、上述したキャプチャされる表面データ・フレーム・シーケンスに対応する）を含み、そして、前記ビューは、更に、追加の例示的なビュー７０２（例えば、ビュー７０２－１～７０２－３８）を含み、前記ビューは、仮想化される表面データ・フレーム・シーケンスに対応してもよく、前記シーケンスは、システム１００がバーチャル・リアリティ・データを、本明細書に記載の異なるバーチャル・リアリティ体験に関してカスタマイズする際に、システム１００にとって利用可能であってもよい。便宜上、図７は、更に、３Ｄシーン２０２の領域３０２（図３に関連して上述した）を示しており、どのようにして、ビュー７０２からキャプチャされる仮想化される表面データ・フレーム・シーケンスが、異なる領域３０２に関連する様々なバーチャル・リアリティ体験へとカスタマイズすることができるかについて示すことを補助する。

【0086】

図７において、ビュー７０２は、上述したビュー４０２と同様の外観及び機能を有する。しかし、ビュー４０２（物理的なキャプチャ・デバイスに関連してもよい）を、ビュー７０２（仮想化される表面データ・フレーム・シーケンスに関連してもよく、前記シーケンスは、キャプチャされる表面データ・フレーム・シーケンスに基づいてシステム１００が生成することができる（即ち、物理的なキャプチャ・デバイスによって直接キャプチャされるのとは対照的に））と異ならせるため、ビュー４０２は、円で描き、一方で、ビュー７０２は、正方形で描いている。更には、各ビュー４０２はこのように個別でラベル付けされているが、ビュー７０２は、省略した標記を用いて図７でラベル付けされる。具体的には、幾つかのビュー７０２（即ち、ビュー７０２－１及び７０２－２）を用いて挿入的に示しているが、各ビュー７０２－Ｎは、対応する番号（「Ｎ」）のみを用いてラベル付けされており、根元の番号である「７０２-」を用いていない。従って、ビュー７０２－１は、「１」でラベルされる正方形で表現され、ビュー７０２－２は、「２」でラベルされる正方形で表現され、以下同様であってもよい。本明細書で使用するが、仮想化される表面データ・フレーム・シーケンスは、表面データ・フレーム・シーケンスが関連するビュー７０２から「キャプチャされる」又は「仮想化される」と言ってもよい。以下の点を理解されたい：ビュー４０２から物理的なキャプチャ・デバイスによってキャプチャされる表面データ・フレーム・シーケンス（即ち、「キャプチャされる表面データ・フレーム・シーケンス」）とは対照的に、ビュー７０２から「キャプチャされる」と言われる表面データ・フレーム・シーケンスは、物理的なキャプチャ・デバイス（例えば、キャプチャ・デバイス５０２等）によって直接キャプチャされなくともよいが、むしろ、他の表面データ・フレーム・シーケンス（例えば、キャプチャされる表面データ・フレーム・シーケンス）内に含まれるデータに基づいて、仮想化（例えば、レンダリング）されてもよい。

【0087】

ビュー４０２と同様に、各ビュー７０２は以下に関連してもよい：異なるキャプチャ・パラメータの各セット、ここで各セットは、表面データ・フレーム・シーケンスの態様を定義しており、各シーケンスは、各ビュー７０２からキャプチャされる（例えば、各表面データ・フレーム・シーケンスがキャプチャされるロケーション、角度、視野、イメージ・クオリティ等）（即ち、仮想化される）。上述したように、各ビュー７０２に関連する特定のキャプチャ・パラメータ（例えば、キャプチャする角度及び視野パラメータ）は、各ビュー７０２から出ているドット線によって示すことができる。従って、図７によって明らかにされているが、３Ｄシーンが、物理的なデータのキャプチャによるビュー４０２のみからではなく、仮想化によるビュー７０２からもキャプチャされる場合には、システム１００は、比較的膨大な複数の表面データ・フレーム・シーケンスにアクセスすることができ、そこから、異なるバーチャル・リアリティ体験に関してカスタマイズされるフレーム・シーケンス・サブセットを選択することができる。

【0088】

この目的のため、図８は、例示的なフレーム・シーケンス・サブセット８００（例えば、フレーム・シーケンス・サブセット８００－１～８００－１８）を示し、前記サブセットは、体験選択データ構造における異なるエントリに対応する異なるバーチャル・リアリティ・データセットの基礎となる。図８に示すように、各フレーム・シーケンス・サブセット８００（即ち、チャートにおける各行）は、以下に関連してもよい：特定のエントリ番号（例えば、エントリ番号１～１８）、特定のエクスペリエンス・パラメータのセット（即ち、「エクスペリエンス・パラメータ」列の下で要約されるパラメータ）、及び、表面データ・フレーム・シーケンスのサブセット（即ち、「表面データ・フレーム・シーケンス」列でリストされる）。この例において、エントリ１～１８は、それぞれ、３Ｄシーン２０２の領域３０２－１～３０２－１８に関連するバーチャル・リアリティ体験に対応する。具体的には、エントリ１は、領域３０２－１に対応してもよく（エクスペリエンス・パラメータ列において、「Ｌｏｃ １」としてリスト）、エントリ２は、領域３０２－２に対応してもよく（エクスペリエンス・パラメータ列において「Ｌｏｃ ２」としてリスト）、以下同様であってもよい。

【0089】

図８の例において、最も潜在的なエクスペリエンス・パラメータ（例えば、デバイスが使用されてバーチャル・リアリティ体験を提供することに関連するパラメータ、シーンの幾何学に関連するパラメータ等）は、フレーム・シーケンス・サブセット８００ごとに一定である（例えば、各フレーム・シーケンス・サブセット８００は「ｓｔｄ ｄｅｖｉｃｅ」、「ｓｔｄ ｓｃｅｎｅ」を含む等）。しかし、以下の点を理解されたい：特定の実施において、より多くの違いを有するエクスペリエンス・パラメータの異なるセットを各々含む多くの体験可能なバーチャル・リアリティ体験をサポートしてもよい。更には、以下の点を理解されたい：図８に示すエクスペリエンス・パラメータは、例示的なものにすぎず、そして、図８に示すものよりも追加の又は数が少ないエクスペリエンス・パラメータが様々な実施において含まれてもよい。例えば、特定の実施において、３Ｄシーン２０２内の表面は、３Ｄシーン内の特定のオブジェクトで必ずしも異なることなく表現されてなくてもよい。かくして、こうした実施において、３Ｄシーン２０２内に含まれるオブジェクトのプロパティを表すエクスペリエンス・パラメータを使用しなくてもよい。

【0090】

図８において、各フレーム・シーケンス・サブセット８００に関して選択されるように示される表面データ・フレーム・シーケンスは、ビュー７０２に関連する仮想化される表面データ・フレーム・シーケンスを意味してもよい。従って、例えば、フレーム・シーケンス・サブセット８００－１は、領域３０２－１に関連するバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットの基礎となるが、フレーム・シーケンス・サブセット８００－１は、領域３０２－１へとカスタマイズされる詳細を提供するビュー７０２からの表面データ・フレーム・シーケンスを含むように示される。具体的には、フレーム・シーケンス・サブセット８００－１は、以下のビューからキャプチャされる表面データ・フレーム・シーケンスを含む：ビュー７０２－１、７０２－２、７０２－９、７０２－１０、７０２－１６、及び７０２－３２。上述したように、これらの表面データ・フレーム・シーケンスは、本明細書において、それぞれ以下の通り意味することができる：表面データ・フレーム・シーケンス６００－１ｖ、６００－２ｖ、６００－９ｖ、６００－１０ｖ、６００－１６ｖ、及び６００－３２ｖ。

【0091】

フレーム・シーケンス・サブセット８００－１に関してキャプチャされる表面データ・フレーム・シーケンス６００は、集合的にデータを含むことができ、前記データは、領域３０２－１に関連するバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットの基礎となり得る。例えば、領域３０２－１内及びその周辺における３Ｄシーン２０２の態様に関するユーザ・エクスペリエンス（例えば、そこから見る、又は相互作用する等）として、これらの態様に関連する高いレベルの詳細については、表面データ・フレーム・シーケンス６００－１ｖ、６００－２ｖ、６００－９ｖ、及び６００－１０ｖによって表現されてもよい。また、こうした表面データ・フレーム・シーケンスは、ユーザが領域３０２－１から３Ｄシーンの他の領域２０２方向を見たときに、適切なレベルの詳細を提供する（即ち、領域３０２－１におけるバーチャル・ビューポイントから鑑賞可能なレベルの詳細であって、それを超えるものではないものを表現するデータ）。また、他の角度をキャプチャする幾つか（ａ ｆｅｗ）の表面データ・フレーム・シーケンスは、フレーム・シーケンス・サブセット８００－１内に含まれ、ユーザが、３Ｄシーン２０２の外部の領域を見ることを可能にする（例えば、表面データ・フレーム・シーケンス６００－３２ｖの場合においてページのトップに向かって、又は、表面データ・フレーム・シーケンス６００－１６ｖの場合においてページの左に向かって）。同時に、フレーム・シーケンス・サブセット８００－１は、領域３０２－１から離れている３Ｄシーン２０２の領域の高いレベルの詳細を表現したデータを、比較的少なく含む。例えば、表面データ・フレーム・シーケンス６００－２９ｖ（ビュー７０２－２９に関連する）は、領域３０２－１８に関連するバーチャル・リアリティ体験についてのオブジェクト２０４－２に関する適切な量の詳細を提供することができ、そして、表面データ・フレーム・シーケンス６００－２９ｖにおけるデータは、領域３０２－１に関連するバーチャル・リアリティ体験とは比較的無関係であってもよい。従って、図８に示すように、表面データ・フレーム・シーケンス６００－２９ｖは、フレーム・シーケンス・サブセット８００－１から除外されるものの、フレーム・シーケンス・サブセット８００－１８内に含まれる。

【0092】

フレーム・シーケンス・サブセット８００－１において表面データ・フレーム・シーケンスのみを詳細に説明してきたが、以下の点を理解されたい：様々な他のフレーム・シーケンス・サブセット８００（即ち、図８に示す及び図８に明示しないフレーム・シーケンス・サブセット８００）に関する表面データ・フレーム・シーケンスは、同様の方法で選択されてもよく、そして、同様に、領域３０２－１のほかに３Ｄシーン２０２の他の領域３０２におけるバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットを提供することができる。図８において、各フレーム・シーケンス・サブセット８００に関して選択されるように示される表面データ・フレーム・シーケンスは例示的なものにすぎない。以下の点を理解されたい：特定の実施において、異なる数の表面データ・フレーム・シーケンスは、フレーム・シーケンス・サブセットに関連するバーチャル・リアリティ体験の特性に依存して、各フレーム・シーケンス・サブセット８００関して選択されてもよい。例えば、特定のバーチャル・リアリティ体験に関して選択される表面データ・フレーム・シーケンスの数は、部分的に、３Ｄシーンの幾何学によって決定されてもよく、その結果、より少ない表面データ・フレーム・シーケンスが、バーチャル・リアリティ体験に関して、３Ｄシーンのエッジにそって、及び／又は、角部において、選択され、一方で、多くの数のオブジェクトが集中している等の場合に、より多くの表面データ・フレーム・シーケンスが、３Ｄシーンの内部にて、バーチャル・リアリティ体験に関して選択される。

【0093】

フレーム・シーケンス・サブセット８００は、生成されてもよく（即ち、フレーム・シーケンス・サブセット内に含める目的で表面データ・フレーム・シーケンスを選択することによって）、及び／又は、フレーム・シーケンス・サブセット８００は、特定の実施に寄与することができる任意の態様で、異なるバーチャル・リアリティ体験を提供しているメディア・プレーヤ装置へ提供されてもよい。例えば、特定の実施において、複数の提供可能なバーチャル・リアリティ体験に関連するエクスペリエンス・パラメータの複数のセットは、ユーザに関連するメディア・プレーヤ装置にバーチャル・リアリティ・データセットが提供される前に、特定されてもよく、及び予め決定されてもよい。これらの例において、メディア・プレーヤ装置は、ユーザが３Ｄシーン２０２内においてバーチャル・ビューポイントを動かす際に、予め決定されるバーチャル・リアリティ体験へとカスタマイズされる予め決定されるバーチャル・リアリティ・データセットへアクセスしてもよい。これに加えて、又はこれに代えて、特定のバーチャル・リアリティ体験に関連するエクスペリエンス・パラメータのうち少なくとも幾つかのセットは、３Ｄシーン２０２として動的に特定されてもよく、そして、３Ｄシーン内に含まれるオブジェクト２０４は、ユーザのバーチャル・ビューポイントに沿って変化する。これらの例において、システム１００は、以下を決定することができる（例えば、人工知能又は他の適切な技術を使用して）：３Ｄシーン２０２の追加のビューに関連する表面データ・フレーム・シーケンスは、仮想化されるべきであること；予め決定されないバーチャル・リアリティ体験に関連する追加のフレーム・シーケンス・サブセットを生成すべきであること等。特定の例において、システム１００は、予測として以下を予想してもよい：新たな表面データ・フレーム・シーケンス又はフレーム・シーケンス・サブセットを、これらが実際に必要となる前に生成するべきであること。

【0094】

システム１００の１つのこうした動的な実装を示すものとして、フレーム・シーケンス・サブセット８００－８は、カスタム・ロケーションに関連するものとして示される（即ち、「Ｌｏｃ ８ （ｃｕｓｔｏｍ）」、これは、領域３０２－８の全体を表現することができる「Ｌｏｃ ８」とは対照的である）。この理由として、領域３０２－８内のオブジェクト２０４－１の存在に関して、領域３０２－８の異なる部分に位置するバーチャル・ビューポイントは、異なる詳細（例えば、オブジェクト２０４－１の異なる面の詳細）が鑑賞可能となり得る異なるヴァンテージ・ポイントに関連してもよいからである。実際、オブジェクト２０４－１は、領域３０２－８内に位置するという理由から（従って、領域３０２－８内の任意のバーチャル・ビューポイントに非常に近い）、システム１００は以下を決定することができる：フレーム・シーケンス・サブセット８００－８は、ビュー４０２又は７０２のいずれかとは異なるカスタマイズされるビューからの追加のカスタマイズされる表面データ・フレーム・シーケンスを含むべきである。例えば、システム１００は、オブジェクト２０４－１に向かって角度付けされるバーチャル・ビューポイント３０４のロケーションでのカスタム・ビューを生成することができ、そして、このカスタム・ビューからの仮想化される表面データ・フレーム・シーケンス（即ち、表面データ・フレーム・シーケンス６００－ｃｕｓｔｏｍと称される）を、フレーム・シーケンス・サブセット８００－８に関して選択される表面データ・フレーム・シーケンス内に含めることができる（示すように）。

【0095】

いったん、システム１００が、特定のバーチャル・リアリティ・データセットの基礎となるフレーム・シーケンス・サブセット８００内に含める目的で、表面データ・フレーム・シーケンス６００を選択すると、システム１００は、任意の適切な態様で、選択される表面データ・フレーム・シーケンスにアクセスすることができる。例えば、システム１００（例えば、管理設備１０４）自体は、表面データ・フレーム・シーケンスを、キャプチャ及び／又は仮想化することとができ、システム１００は、表面データ・フレーム・シーケンスをキャプチャするキャプチャ・デバイスから直接表面データ・フレーム・シーケンスにアクセスすることができ、システム１００は、現実世界シーン・キャプチャ・システム、又は、バーチャル生成キャプチャ・システム（仮想化される又はバーチャル表面データ・フレーム・シーケンスを生成する）から、表面データ・フレーム・シーケンスにアクセスすることができ、又は、システム１００は、特定の実施に寄与することができる任意の態様で、表面データ・フレーム・シーケンスにアクセスすることができる。選択される表面データ・フレーム・シーケンスにアクセスした後、システム１００（例えば、管理設備１０４）は、アクセスされる表面データ・フレーム・シーケンスに基づいて、特定のバーチャル・リアリティ・データセットを生成することができる。例えば、より詳細に後述するが、システム１００は、表面データ・フレーム・シーケンスを処理することができ、１以上のトランスポート・ストリームを形成することができ、前記トランスポート・ストリームは、１以上のビデオ・データ・ストリームを含むことができ、前記ビデオ・データ・ストリームは、色彩データ及び深度データを表すことができ、色彩データ及び深度データは、選択される表面データ・フレーム・シーケンス内に含まれてもよい。

【0096】

幾つかの例において、特定のバーチャル・リアリティ体験に関してカスタマイズされる特定の表面データ・フレーム・シーケンスの選択及びアクセス、並びに、特定のバーチャル・リアリティ体験を提供するメディア・プレーヤ装置による使用の目的で表面データ・フレーム・シーケンスに基づいて特定のバーチャル・リアリティ・データセットを生成することに関するこうした処理は、特定の３Ｄシーンに関連する数多くの異なる提供可能なバーチャル・リアリティ体験を目的として実行されてもよい。例えば、システム１００は、以下を生成してもよい：図３～７に示す各領域３０２に関連する各バーチャル・リアリティ体験に関するカスタマイズされるバーチャル・リアリティ・データセット；並びに他のバーチャル・リアリティ・データセット（例えば、オブジェクト２０４（例えば、フレーム・シーケンス・サブセット８００－８に関連して説明したもの）の近くのバーチャル・リアリティ体験に関連する異なるバーチャル・リアリティ・データセット、ロケーション以外でエクスペリエンス・パラメータに関して変化する異なるバーチャル・リアリティ・データセット等）。上述したように、幾つかの例において、これらのバーチャル・リアリティ・データセットの多く又は全ては、メディア・プレーヤ装置によってリクエストされる前に、予め定義されてもよく、及び予め生成されてもよく、一方で、他の例において、これらのバーチャル・リアリティ・データセットの幾つか又は全ては、システム１００が決定するように異なるメディア・プレーヤ装置のニーズに基づいて、動的に生成されてもよい。

【0097】

とにかく、システム１００がバーチャル・リアリティ・データを提供する様々なメディア・プレーヤ装置にとって、異なるバーチャル・リアリティ体験関して利用可能な様々なバーチャル・リアリティ・データセットに関する情報を知られるようにすることがシステム１００にとって望ましい可能性がある。この目的のため、上述したように、システム１００は、異なるバーチャル・リアリティ・データセットにそれぞれ対応する複数のエントリを有する体験選択データ構造を生成することができる。体験選択データ構造は、以下の動作を行うように構成されてもよい：メディア・プレーヤ装置が異なるバーチャル・リアリティ体験を異なるユーザに提供する際に、メディア・プレーヤ装置による異なるエントリの動的選択を促進すること。

【0098】

図示する目的で、図９が示すのは、例示的な体験選択データ構造９００であり、前記構造は、システム１００によって生成されてもよい体験選択データ構造内に含まれる複数のエントリから異なるエントリの動的選択を促進するように構成される。示しているが、体験選択データ構造９００は、ツリー構造において、幾つか（ｓｅｖｅｒａｌ）のレベルの決定ノード９０２を含む（例えば、トップ・レベルでのノード９０２－１、中間レベルでのノード９０２－２～９０２－４、更に低いレベルでのノード９０２－５～９０２－１３、図７のビュー７０２に関連して上述した標記と類似の省略されたラベリング標記を使用している）。ツリー構造における「リーフ・ノード」において、体験選択データ構造９００は、複数のエントリ９０４を含む（例えば、エントリ９０４－１～９０４－１８、類似の省略標記を使用してラベルされる）。

【0099】

体験選択データ構造９００は、空間的なパーティションのスキームとして示されるが、これは、３Ｄシーン２０２内のロケーション（例えば、ユーザの特定のバーチャル・ビューポイントの現時点のロケーション）に基づくエントリの選択を促進する。例えば、領域３０２－８内のバーチャル・ビューポイント３０４を選択する（従って、領域３０２－８に関連するバーチャル・リアリティ体験へとカスタマイズされるバーチャル・リアリティ・データセットを理想的には受信する）ユーザに関連するメディア・プレーヤ装置は、以下の様に体験選択データ構造９００を使用することができる。まず最初に、メディア・プレーヤ装置は、ノード９０２－１において、バーチャル・ビューポイント３０４が３Ｄシーン２０２の左側であること（即ち、真ん中でもなく右側でもない）を決定し、従って、「Ｌｅｆｔ」を指示する矢印に従って、ノード９０２－２へと分岐することができる。次に、メディア・プレーヤ装置は、バーチャル・ビューポイント３０４は、３Ｄシーン２０２の左側の中間のセクション（即ち、トップ・セクションでもなく、ボトム・セクションでもなく）に位置することを決定することができ、従って、「Ｍｉｄｄｌｅ」を指示する矢印に従って、ノード９０２－６へと分岐することができる。最後に、メディア・プレーヤ装置は、バーチャル・ビューポイント３０４が、３Ｄシーン２０２の左側の中間セクションの右側よりにある（即ち、左側よりとは反対側）ことを決定することができ、従って、「Ｒｉｇｈｔ」を指示する矢印に従って、エントリ９０４－８へと分岐することができる。エントリ９０４－８は、メディア・プレーヤ装置がユーザに提供するバーチャル・リアリティ体験（即ち、バーチャル・ビューポイント３０４に関連するバーチャル・リアリティ体験）へとカスタマイズされるバーチャル・リアリティ・データセットに対応してもよい。例えば、エントリ９０４－８は、フレーム・シーケンス・サブセット８００－８に基づくバーチャル・リアリティ・データセットに対応してもよい。

【0100】

異なるメディア・プレーヤ装置が異なるバーチャル・リアリティ体験をユーザに提供する際に（例えば、ユーザがバーチャル・ビューポイント３０４を３Ｄシーン２０２周辺に移動させ、そして、他のメディア・プレーヤ装置を使用して３Ｄシーン２０２を体験している他のユーザが他の各バーチャル・ビューポイントを３Ｄシーン２０２周辺に移動させる際に）、メディア・プレーヤ装置は、エントリ９０４－８の選択に関して具体的に上述した同様の態様で、体験選択データ構造９００の手段により、各々異なるエントリ９０４を選択することができる。

【0101】

体験選択データ構造９００は、メディア・プレーヤ装置によるエントリの選択を促進するための１つの例示的な構造を示す。具体的には、体験選択データ構造９００は、空間的なパーティションのスキームに基づくツリー構造を採用し、バーチャル・ビューポイントの空間的な位置づけのみに基づくエントリの選択を促進する。体験選択データ構造９００の例において、３Ｄシーン２０２は、３Ｄシーン２０２が描かれるページに基づく配向システムに従って分割され、そして、参照される（即ち、記述子による３Ｄシーン２０２の部分の参照（例えば「ｌｅｆｔ」、 「ｒｉｇｈｔ」、 「ｕｐｐｅｒ」、及び「ｌｏｗｅｒ」））。しかし、以下の点を理解されたい：３Ｄシーンは、任意の適切な配向システムに従って、且つ、特定の実施に寄与することができる任意の適切な記述子（例えば、数字の記述子、デカルト座標の記述子等）を使用して、分割及び参照されてもよい。

【0102】

更には、以下の点を理解されたい：図９の例は、平面が３回分割されている３Ｄシーン２０２を示すが、効率的な選択アルゴリズムを特定の実施において使用してもよく、前記実施では、３Ｄシーン２０２を、２回にわたって、ある部分へと分割することを必要してもよい。例えば、体験選択データ構造９００に類似した体験選択データ構造を実装するツリー構造は、以下を使用することにより実施されてもよい：バイナリな空間のパーティション・ツリー、八分木、ｋｄ木、及び／又は特定の実施に寄与することができる任意の他の適切な構造。更には、全てのエントリ９０４が、体験選択データ構造９００のツリー構造内で同一の深度レベルとなるように図示されているが、以下の点を理解されたい：エントリ９０４は、体験選択データ構造９００内で任意の深度レベルであってもよく、そして、特定の実施に寄与することができる異なる深度レベルであってもよい。例えば、より低い深度レベルのエントリ９０４（即ち、下により少ないノード９０２）は、３Ｄシーンのより大きなエリアをカバーすることができ、一方で、より高い深度レベルのエントリ９０４（即ち、下により多くのノード９０２）は、３Ｄシーンのより小さなエリアをカバーすることができる。特定の例において、ツリー構造及び空間的なパーティションのスキーム以外の他の構造及び／又は他のスキームに基づく体験選択データ構造を、同様に、特定の実施に寄与することができるように使用することができる。

【0103】

いったん、メディア・プレーヤ装置が、体験選択データ構造９００の手段によりエントリを選択すると（例えば、上述したエントリ９０４－８）、システム１００は、メディア・プレーヤ装置がエントリを選択したことを検出することができ、そして、任意の適切な方法で、選択されたエントリに対応する特定のバーチャル・リアリティ・データセットを、メディア・プレーヤ装置に提供することができる。例えば、特定のバーチャル・リアリティ・データセットに対応する選択されたエントリは、以下を含むことができる：メディア・プレーヤ装置による特定のバーチャル・リアリティ・データセットへのアクセスを可能にするデータリンク。かくして、システム１００は、選択されるエントリ（例えば、エントリ９０４－８）内に含まれるデータリンクに基づいて、リクエストを受信（例えば、メディア・プレーヤ装置から）することができ、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセット（例えば、領域３０２－８に関連するカスタムバーチャル・リアリティ体験へとカスタマイズされ、且つ、フレーム・シーケンス・サブセット８００－８に基づくバーチャル・リアリティ・データセット）にアクセスすることができる。リクエストを受信することに応答して、システム１００は、メディア・プレーヤ装置へ、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを提供することができる。

【0104】

幾つかの実施において、体験選択データ構造９００は、大半又は全てのエントリ９０４がある1つの時間ポイントで決定される（例えば、空間的なパーティションに基づいて、人工知能に基づいて、別の適切な技術等に基づいて）という意味で、比較的静的であってもよく、その後、各エントリ９０４に関するバーチャル・リアリティ・データセットは、特定のエントリ９０４をリクエストするメディア・プレーヤ装置へのストリーミングを準備するべく、メンテナンスされる。更には、上述したように、特定の例において、異なるバーチャル・リアリティ・データセットの基礎となるフレーム・シーケンス・サブセット（例えば、フレーム・シーケンス・サブセット８００）内に含める目的での表面データ・フレーム・シーケンスの選択は、動的に行うことができる。かくして、こうした例において、体験選択データ構造９００は、同様に動的な体験選択データ構造であってもよい。例えば、動的な体験選択データ構造９００内に含まれるエントリ９０４は、３Ｄシーン２０２に関して発生するイベントに応答して、変更されてもよい（例えば、エントリは追加又は削除されてもよいし、エントリ内に含まれるデータリンクは、変更されて、異なるバーチャル・リアリティ・データセットへリンクされてもよい等）。

【0105】

体験選択データ構造９００は、特定の実施に寄与することができる任意の方法で、エンコードされてもよく、データで表現されてもよく、そして、提供（即ち、送信）されてもよい。例えば、体験選択データ構造９００が動的に変化している場合、体験選択データ構造９００は、メディア・プレーヤ装置に提供されるバーチャル・リアリティ・データセットの一部として含まれる（例えば、バーチャル・リアリティ・データセットを配信することができるトランスポート・ストリーム内に含まれる）ことが望ましい可能性がありその結果、メディア・プレーヤ装置は、継続的に、体験選択データ構造９００のアップーデートされるコピーを受信する。他の例において、体験選択データ構造９００は、メディア・プレーヤ装置へ、バーチャル・リアリティ・データセットとは別個に送信されてもよく、又は、他の適切な方法で、メディア・プレーヤ装置へのアクセスのために利用可能にしてもよい。

【0106】

更には、体験選択データ構造９００は、任意の適切なシステム又はデバイスへ提供してもよく、そして、これらによって使用されてもよい。例えば、上記説明の多くは、クライアント・サイドメディア・プレーヤ装置による体験選択データ構造９００の使用に焦点を当てているが、以下の点を理解されたい：特定の実施において、体験選択データ構造９００は、サーバ・サイド・システム及び／又はプロセスに提供されてもよく、そして、これらによって使用されてもよい。一例として、システム１００は、体験選択データ構造９００を、バーチャル・リアリティ・データ・プロバイダ・パイプライン内のシステム１００の下流にあるバーチャル・リアリティ・データセット多重化システム（即ち、後続の処理ステージにおいて）に提供してもよく、ここで、バーチャル・リアリティ・データは、後続の処理ステージにて、引き続き処理される。バーチャル・リアリティ・データセット多重化システムは、システム１００は通信可能に接続されてもよく、そして、以下の動作を行うように構成されてもよい：異なるバーチャル・リアリティ体験へとカスタマイズされる１以上の異なるバーチャル・リアリティ・データセットを動的に提供すること（例えば、バーチャル・リアリティ・データセット多重化システムの下流となる１以上のメディア・プレーヤ装置へ）。例えば、バーチャル・リアリティ・データセット多重化システムは、メディア・プレーヤ装置から受信され、且つメディア・プレーヤ装置が各ユーザにそれぞれ提供している現時点でのバーチャル・リアリティ体験を表す動的なデータに基づいて、バーチャル・リアリティ・データセットを提供することができる。

【0107】

図示する目的で、図１０は、例示的な構成１０００を示し、ここで、例示的なバーチャル・リアリティ・メディア・プロバイダ・システムは、バーチャル・リアリティ・データセット多重化システムを使用することによって、異なるバーチャル・リアリティ体験のために、バーチャル・リアリティ・データをカスタマイズする。具体的には、図１０に示すように、サーバ・サイドのバーチャル・リアリティ・メディア・プロバイダ・システム１００２（「プロバイダ・システム１００２」）は、キャプチャ管理システム１００４、システム１００の実装、及び、バーチャル・リアリティ・データセット多重化システム１００６（「多重化システム１００６」）を含み、これらは、機能的に及び通信可能に共に接続される。プロバイダ・システム１００２は、バーチャル・リアリティ・データ（例えば、特定のバーチャル・リアリティ・データセット）を、ネットワーク１００８の手段により、ユーザ１０１２によって使用されるメディア・プレーヤ装置１０１０を含む１以上のクライアント・サイドメディア・プレーヤ装置へ提供（例えば、送信、ストリーミング等）することができる。

【0108】

プロバイダ・システム１００２内で、システム１００は、キャプチャ管理システム１００４と共同で動作することができ、以下を行うことができる：異なるフレーム・シーケンス・サブセット内に含まれるように利用可能な複数の表面データ・フレーム・シーケンスを記述するメタデータにアクセスすること；ユーザに提供可能な異なるバーチャル・リアリティ体験を記述するエクスペリエンス・パラメータの異なるセットを特定すること；表面データ・フレーム・シーケンスにアクセスし、その結果、表面データ・フレーム・シーケンスがバーチャル・リアリティ・データセットへパッケージ化できる等。この目的のため、キャプチャ管理システム１００４は、以下を生成し、そして、システム１００に提供することができる：キャプチャされる表面データ・フレーム・シーケンス（即ち、現実世界シーンの異なるビューから物理的なキャプチャ・デバイスによってキャプチャされる表面データ・フレーム・シーケンス）を含む表面データ・フレーム・シーケンス（表面データ・フレーム・シーケンスを記述するメタデータを含む）；仮想化される表面データ・フレーム・シーケンス（即ち、現実世界シーンのカスタム・ビューに対応し、そして、キャプチャされる表面データ・フレーム・シーケンスに基づいて仮想化される表面データ・フレーム・シーケンス）；バーチャル表面データ・フレーム・シーケンス（即ち、融合現実シーンのバーチャル・シーン又はバーチャル要素を表す表面データ・フレーム・シーケンス）等。

【0109】

その後、いったん、システム１００が、様々なフレーム・シーケンス・サブセット８００及び生成される体験選択データ構造９００に関する表面データ・フレーム・シーケンスを分析及び選択をすると、システム１００は、体験選択データ構造９００を多重化システム１００６に提供することができる。多重化システム１００６は、システム１００の特定の実装の内に含まれてもよく、又は、構成１０００に示すように、多重化システム１００６は、システム１００とメディア・プレーヤ装置１０１０との間の仲介として作用してもよい。いずれかの状況において、多重化システム１００６は、体験選択データ構造９００（即ち、システム１００から）と、提供されている現時点でのバーチャル・リアリティ体験を表す動的なデータ（即ち、メディア・プレーヤ装置から１０１０）との両方を受信することができ、そして、多重化システム１００６は、極力効率的な形で、最も関連の高いバーチャル・リアリティ・データを、可能性としてメディア・プレーヤ装置１０１０に提供することを補助するための仲介として作用することができる。この目的のため、多重化システム１００６は、以下を行うように構成される人工知能を含むことができる：ユーザ１０１２の動きと、メディア・プレーヤ装置１０１０に既に提供されたバーチャル・リアリティ・データの使用とを監視及びトラッキングして、パターンを決定しようと試みること；メディア・プレーヤ装置１０１０がデータをリクエストする前に、メディア・プレーヤ装置１０１０がどんなデータを要求するかを予想すること；又は、関連し、効率的で、高度にカスタマイズされるデータをメディア・プレーヤ装置１０１０に提供する際に知性をもって提供すること。

【0110】

一例として、多重化システム１００６は以下を決定することができる：複数のバーチャル・リアリティ・データセット（即ち、体験選択データ構造９００における複数のエントリ９０４に対応する）がメディア・プレーヤ装置１０１０に提供されるべきであること（ユーザが行う可能性の高いアクション、又は、３Ｄシーン２０２内で発生する可能性が高いイベントの予想のもとで）。例えば、ある提供されるバーチャル・リアリティ・データセットを現時点で使用することができるものの、一方で、別のバーチャル・リアリティ・データセットについて、短期間の予想される使用の目的でバッファー及び準備を行ってもよい。別の例として、多重化システム１００６は以下のことを確実にするよう補助することができる：体験選択データ構造９００で表現される及び体験選択データ構造９００内に含まれ、並びに／又は、メディア・プレーヤ装置１０１０に提供される各フレーム・シーケンス・サブセットは、堅固（ｒｏｂｕｓｔ）で且つ完全な特徴を備えるフレーム・シーケンス・サブセットであること。その結果、メディア・プレーヤ装置１０１０は、ユーザ１０１２がどのようにふるまうかに関わらず、フレーム・シーケンス・サブセット中の表面データ・フレーム・シーケンスに基づいて、バーチャル・リアリティ・メディア・コンテンツをユーザ１０１２に提示することができる。例えば、多重化システム１００６は以下を確実なものにすることができる：メディア・プレーヤ装置１０１０に提供される任意のバーチャル・リアリティ・データセットは、ユーザ１０１２が、ブラック・スクリーン又は低いクオリティ・イメージを探すことなく任意の方向を見ることを可能にする。

【0111】

ネットワーク１００８は、以下を含むことができる：プロバイダに特化した有線の又はワイヤレスなネットワーク（例えば、ケーブル、又は衛星キャリア・ネットワーク又はモバイル電話ネットワーク）、インターネット、ワイド・エリア・ネットワーク、コンテンツ・デリバリ・ネットワーク、又は任意の他の適切なネットワーク。データは、特定の実施に寄与することができる任意の通信技術、デバイス、メディア、及びプロトコルを使用して、プロバイダ・システム１００８とメディア・プレーヤ装置１０１０（並びに明示しない他のメディア・プレーヤ装置）との間を流れることができる。

【0112】

メディア・プレーヤ装置１０１０はユーザ１０１２によって使用されてもよく、プロバイダ・システム１００２によって提供されるバーチャル・リアリティ・メディア・コンテンツにアクセスしてもよく、そして、前記コンテンツを体験してもよい。例えば、メディア・プレーヤ装置１０１０は、以下を生成する動作を行うように構成されてもよい：任意のバーチャル・ビューポイント（例えば、ユーザによって選択され、且つ、３Ｄシーン２０２内の任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイント）からのユーザ１０１２によって体験される３Ｄシーン２０２の３Ｄ表現。この目的のため、メディア・プレーヤ装置１０１０は、以下を行うことができる任意のデバイス含んでもよく、又は、当該デバイスによって実装されてもよい：ユーザ１０１２が３Ｄシーン２０２のバーチャル表現を体験する際に、３Ｄシーン２０２の視野を提示し、そして、ユーザ１０１２からのユーザ入力を検出して、視野内に提示される３Ｄシーン２０２の部分を動的にアップデートすること。メディア・プレーヤ装置のタイプの具体例は、後で更に説明する。

【0113】

構成１０００は、幾分一般的な構成となっており、ここで、システム１００は、他のシステム及びデバイスと共同で動作することができ、バーチャル・リアリティ・データをカスタマイズすることができる。しかし、以下の点を理解されたい：特定の実施において、システム１００及びこれが使用される構成は、特定のシステム要件に従って動作するように構成されてもよい。特に、システム１００の特定の構成を使用して、任意の膨大な集合のデータから生じるバーチャル・リアリティ・データをカスタマイズし、及び／又は、カスタマイズされるバーチャル・リアリティ・データを、任意の膨大な数の異なるメディア・プレーヤ装置に提供することができる。結果として、特定の例においてシステム１００によって処理されるデータの量は、極端に大きくなる可能性があり、従って、本明細書に記載の機能を実行するために巨大なコンピューティング能力（例えば、ネットワーク化され共に共同動作する多くのサーバからのコンピューティング能力）を必要とする可能性がある。これが特に当てはまるのは、バーチャル・リアリティ・データをリアルタイムで（例えば、現実世界シーン内でイベントが発生したとき）多くの異なるメディア・プレーヤ装置に提供するシステム１００の実装（例えば、及び、プロバイダ・システム１００２の実装）においてである。

【0114】

図１１～１４は、システム１００の特定の態様を示し、前記システムは、本明細書に記載のバーチャル・リアリティ・データのカスタマイズを取り扱うことができるように、システム１００をスケールアップすることを促進することができ、その目的として、任意のサイズの３Ｄシーン、任意の数の利用可能な表面データ・フレーム・シーケンス、任意のレベルの詳細、及び／又は、ピクチャ・クオリティ等が挙げられる。具体的には、後述する原理に従ってシステム１００を実装することによって、本明細書に記載の方法及びシステムを、非常に柔軟且つスケーラビリティの高い方法で実行及び実装することができ、バーチャル・リアリティコンテンツのプロバイダ及びユーザに様々な利点を同様にもたらすことができる。例えば、プロバイダは、更なるハードウェア（例えば、追加のサーバ、追加のプロセッサ等）をシステム１００に追加することによって、システム１００を拡張することができ、仮想的に任意のシステム要件を充足させることができ、一方で、ユーザは、鮮明な詳細レベルでもって、無節操にデータを使用することなく、膨大且つ興味深い３Ｄシーンを体験することができる。

【0115】

図１１は、例示的な構成１１００を示し、ここで、別の例示的なバーチャル・リアリティ・メディア・プロバイダ・システムはバーチャル・リアリティ・データをカスタマイズする。構成１１００は、上述した構成１０００と特定の類似性を有する。例えば、構成１１００は、構成１０００と同様に、バーチャル・リアリティ・メディア・プロバイダ・システム（この場合、バーチャル・リアリティ・メディア・プロバイダ・システム１１０２（「プロバイダ・システム１１０２」））を含み、前記システムは、キャプチャ管理システム１００４（上述した）及びシステム１００の実装を含む。更には、構成１１００は、ネットワーク１００８及びユーザ１０１２に関連するメディア・プレーヤ装置１０１０（更に上述したように）を含む。構成１１００は、プロバイダ・システム１１０２の任意の追加の要素（例えば、プロバイダ・システム１１０２が実施するバーチャル・リアリティ・メディア・プロバイダ・パイプライン内に含まれる多重化システム１００６及び／又は他のシステム等）を示していないものの、以下の点を理解されたい：特定の実施において、多重化システム１００６及び／又は他の適切な要素も、特定の実施に寄与することができる構成１１００において、存在してもよい。

【0116】

プロバイダ・システム１１０２と、上述したプロバイダ・システム１００２との主要な違いとして、プロバイダ・システム１１０２が以下をより明確に示すシステム１００の実装を含む点にある：どのようにして、異なるコンピューティング・リソース（例えば、システム１００の処理要件が実施ごとに異なる場合において、システム１００に追加又は除去されるべく構成されてもよい異なるサーバ）が、共同で動作して本明細書に記載のシステム１００の機能を実行するか。具体的には、図１１に示すように、システム１００は、以下を含むことができる：複数のゲートキーパ・サーバ１１０４（例えば、ゲートキーパ・サーバ１１０４－１～１１０４－Ｎ）、１以上のマネージメント・サーバ１１０６（図１１において１つだけ図示）、及び、同期サーバ１１０８。サーバ１１０４～１１０８は、特定の実施に寄与することができる任意のタイプの分離したコンピューティング・リソースとして表現することができる。例えば、各サーバ１１０４～１１０８は、以下の手段により実施されてもよい：別々のコンピュータ（例えば、別々のサーバ・コンピュータ）によって、ブレード・サーバ内の別々のブレードによって、単独のコンピュータに関連する別々のプロセッサによって、及び／又は任意の他のタイプの分離したコンピューティング・リソースによって。特定の実施において、サーバ１１０４～１１０８によって表現される特定のサーバも、単独のコンピューティング・リソースに組み合わされてもよい。例えば、システム１００は、以下を含むことができる：複数のゲートキーパ・サーバ、並びに、マネージメント・サーバ１１０６及び同期サーバ１１０８の両方の機能を実行する１つの追加のサーバ。

【0117】

各ゲートキーパ・サーバ１１０４は、１以上の表面データ・フレーム・シーケンス（例えば、キャプチャ管理システム１００４から受信される）の処理を担うことができる。例えば、表面データ・フレーム・シーケンスが比較的高いレベルの詳細なデータ、及び膨大な量のデータを含む場合、各ゲートキーパ・サーバ１１０４は、より少ない表面データ・フレーム・シーケンスを担ってもよい（各ゲートキーパ・サーバの全てが取り扱うことができる程度に表面データ・フレーム・シーケンスを少なくする）。逆に、表面データ・フレーム・シーケンスが、より低いレベルの詳細、及び／又は、より少ない量のデータを含む場合には、（例えば、又は、ゲートキーパ・サーバ１１０４が比較的強力なコンピューティング・リソースを含む場合）、各ゲートキーパ・サーバ１１０４は幾つか（ｓｅｖｅｒａｌ）の表面データ・フレーム・シーケンスを担ってもよく、又は、幾つかの実施形態において、単独のゲートキーパ・サーバ１１０４が、全ての利用可能な表面データ・フレーム・シーケンスを担ってもよい（そのゲートキーパ・サーバ１１０４が全てを取り扱うことができる場合）。

【0118】

オペレーションにおいて、第１のゲートキーパ・サーバは、第１の表面データ・フレーム・シーケンスにアクセスすることができ、前記シーケンスは、色彩フレーム及び深度フレームを含むことができ、前記フレームは、３Ｄシーンの特定のビューを描写することができ、一方で、第２のゲートキーパ・サーバは、第２の表面データ・フレーム・シーケンスにアクセスすることができ、前記シーケンスは、色彩フレーム及び深度フレームを含むことができ、前記フレームは、３Ｄシーンの異なるビューを描写することができる。例えば、上述したフレーム・シーケンス・サブセット８００－８の例を参照されたい。ゲートキーパ・サーバ１１０４－１は以下にアクセスすることができる：フレーム・シーケンス・サブセット８００－８に含める目的で選択される特定の表面データ・フレーム・シーケンス（例えば、表面データ・フレーム・シーケンス６００－１０ｖ、６００－１１ｖ、及び、６００－１８ｖ）（即ち、ビュー７０２－１０、７０２－１１、及び、７０２－１８にそれぞれ関連する表面データ・フレーム・シーケンス）。一方で、別個のゲートキーパ・サーバ、ゲートキーパ・サーバ１１０４－２は以下にアクセスすることができる：フレーム・シーケンス・サブセット８００－８に含める目的で選択される他の表面データ・フレーム・シーケンス（例えば、表面データ・フレーム・シーケンス６００－１９ｖ、６００－２４ｖ、６００－２５ｖ、及び、６００－ｃｕｓｔｏｍ）（即ち、それぞれ、ビュー７０２－１９、７０２－２４、７０２－２５、及び、バーチャル・ビューポイント３０４に関連するカスタム・ビューに関連する表面データ・フレーム・シーケンス、）。

【0119】

第１のゲートキーパ・サーバ（即ち、この例においてゲートキーパ・サーバ１１０４－１）は、マネージメント・サーバ１１０６へ（例えば、ネットワーク１００８又は他の適切な通信接続の手段により）、マネージメント・サーバ１１０６から送信されるリクエストに応答して（後述する）、以下を送信することができる：色彩フレーム及び深度フレーム、ここで、これらのフレームは、表面データ・フレーム・シーケンス内に含まれ、前記シーケンスは、各個別のトランスポート・ストリームの手段により第１のゲートキーパ・サーバが担っている（即ち、表面データ・フレーム・シーケンス６００－１０ｖ、６００－１１ｖ及び６００－１８ｖ）。第１のゲートキーパ・サーバの送信に同期して、第２のゲートキーパ・サーバ（即ち、この例において、ゲートキーパ・サーバ１１０４－２）は、同様に、マネージメント・サーバ１１０６へ（例えば、ネットワーク１１０８又は他の適切な通信接続の手段により）、前記リクエストに応答して、以下を送信することができる：色彩フレーム及び深度フレームであって、これらのフレームは、第２の表面データ・フレーム・シーケンス内に含まれ、前記シーケンスは、他の各個別のトランスポート・ストリームの手段により第２のゲートキーパ・サーバが担う（即ち、表面データ・フレーム・シーケンス６００－１９ｖ、６００－２４ｖ、６００－２５ｖ及び６００－ｃｕｓｔｏｍ）。

【0120】

図示する目的で、図１２は、個々のトランスポート・ストリームの手段により送信される表面データ・フレーム・シーケンスを示す。具体的には、示すように、表面データ・フレーム・シーケンス６００は、上述したように、フレーム・シーケンス・サブセット８００－８（即ち、表面データ・フレーム・シーケンス６００－１０ｖ、６００－１１ｖ、６００－１８ｖ、６００－１９ｖ、６００－２４ｖ、６００－２５ｖ、６００－ｃｕｓｔｏｍ）に関して選択されるが、各々個々のトランスポート・ストリーム１２０２（即ち、それぞれ、トランスポート・ストリーム１２０２－１０、１２０２－１１、１２０２－１８、１２０２－１９、１２０２－２４、１２０２－２５、及び、１２０２－ｃｕｓｔｏｍ）内に送信される。

【0121】

本明細書で使用するが、「トランスポート・ストリーム」は、以下を目的として、データをパッケージ化するために使用されるデータ構造を意味してもよい：データを、あるデバイス又はシステムから別の所へ送信（即ち、伝送）することを促進すること、データをレンダリングする、若しくは、処理する、若しくは分析すること、及び／又は特定の実施に寄与することができる他の目的。幾つかの例において、トランスポート・ストリームは、１以上のデータ・ストリーム（例えば、１以上のビデオ・データ・ストリーム）、及び／又は、他のデータ（例えば、メタデータ等）を組み込むことができる。トランスポート・ストリームは、特定の実施に寄与することができる任意のタイプのトランスポート・ストリームとして実装されてもよい。例えば、本明細書に記載の特定のトランスポート・ストリーム（例えば、トランスポート・ストリーム１２０２）は、以下の手段により実装されてもよい：ＭＰＥＧトランスポート・ストリーム、ＭＰＥＧ－２トランスポート・ストリーム、又は、データの伝送を促進する別の適切なデータ構造（例えば、表面データ・フレーム・シーケンス、ビデオ・データ・ストリーム）等。

【0122】

図１１に戻ると、ゲートキーパ・サーバ１１０４は、マネージメント・サーバ１１０６及び／又は同期サーバ１１０８と共同で動作することができ、各表面データ・フレーム・シーケンスの個々のフレーム（例えば、色彩フレーム及び深度フレーム）を、マネージメント・サーバ１１０６へ、同期して送信することができる。マネージメント・サーバ１１０６は、その後、バーチャル・リアリティ・データセットを生成し、前記データセットは、メディア・プレーヤ装置１０１０へ送信されるように構成される。例えば、上述の例に続いて、マネージメント・サーバ１１０６は、フレーム・シーケンス・サブセット８００－８に含める目的で、図１２に示す表面データ・フレーム・シーケンス６００を選択することができる。マネージメント・サーバ１１０６は、その後、リクエスト（即ち、上述のリクエストであり、これに応答して、ゲートキーパ・サーバ１１０４－１及び１１０４－２が同期してこれらのサーバの各色彩フレーム及び深度フレームを送信する）を、ゲートキーパ・サーバ１１０４－１及び１１０４－２へ送信することができる。これに応答して、マネージメント・サーバ１１０６は、ゲートキーパ１１０４－１が担う表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを（例えば、ゲートキーパ・サーバ１１０４－１から、ネットワーク１００８の手段により）受信することができる（例えば、個別のトランスポート・ストリームの手段により）。同様に、そして、ゲートキーパ・サーバ１１０４－１からの色彩フレーム及び深度フレームの受信と同期して、マネージメント・サーバ１１０６は、ゲートキーパ１１０４－２が担う表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを（例えば、ゲートキーパ・サーバ１１０４－２から、ネットワーク１００８の手段により）受信することができる（例えば、追加の個別のトランスポート・ストリームの手段により）。

【0123】

異なる個別のトランスポート・ストリームの手段による、異なる表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームの同期送信は、特定の実施に寄与することができる任意の態様で実行することができる。例えば、特定の実施において、ゲートキーパ・サーバ１１０４及び／又はマネージメント・サーバ１１０６は、同期サーバ１１０８と通信及び／又は共同で動作して、ゲートキーパ・サーバ１１０４からマネージメント・サーバ１１０６へ色彩フレーム及び深度フレームを同期をとって送信することを促進することができる。

【0124】

具体的には、フレーム・シーケンス・サブセット８００－８に関して上述した例を続けると、ゲートキーパ・サーバ１１０４－１は、同期サーバ１１０８に以下を示すデータを送信することができる：表面データ・フレーム・シーケンスの１つ内に含まれる第１の色彩フレーム及び深度フレーム（例えば、例えば、表面データ・フレーム・シーケンス６００－１０ｖ内に含まれる色彩フレーム及び深度フレーム）がゲートキーパ・サーバ１１０４－１によって受信されたこと。ゲートキーパ・サーバ１１０４－２は、同様に、同期サーバ１１０８へ、以下を示すデータを送信することができる：表面データ・フレーム・シーケンスの１つ内に含まれる第２の色彩フレーム及び深度フレームがゲートキーパ・サーバ１１０４－２によって受信されたこと（例えば、例えば、表面データ・フレーム・シーケンス６００－１９ｖ内に含まれ、第１の色彩フレーム及び深度フレームに対応する色彩フレーム及び深度フレーム）。第１の及び第２の色彩フレーム及び深度フレームが受信されたことを示すデータの送信に応答して、ゲートキーパ・サーバ１１０４－１及び１１０４－２は、第１の及び第２の色彩フレーム及び深度フレームが同期して送信されるべき範囲の指定のタイムフレームを示すデータを、同期サーバ１１０８から、受信することができ、そして、ゲートキーパ・サーバ１１０４－１及び１１０４－２は、指定されたタイムフレーム内で、マネージメント・サーバ１１０６に、第１の及び第２の色彩フレーム及び深度フレームを送信することができる（フレーム・シーケンス・サブセット８００－８内に含まれる他の表面データ・フレーム・シーケンスからの他の色彩フレーム及び深度フレームと共に）。

【0125】

図示する目的で、図１３は、例示的なタイムライン１３００を示し、前記タイムラインは、タイムフレーム１３０２（例えば、タイムフレーム１３０２－１～１３０２－７）を含み、前記タイムフレーム内で、色彩フレーム及び深度フレームは、ゲートキーパ・サーバ１１０４によって受信されてもよく、そして、前記タイムラインは、タイムフレーム１３０４（例えば、タイムフレーム１３０４－１～１３０４－４）を含み、前記タイムフレームは、上述したように、色彩フレーム及び深度フレームが、同期をとって、ゲートキーパ・サーバ１１０４によって送信されることが指定されている。具体的には、各タイムフレーム１３０２内で描かれる各垂直線は、時間におけるある瞬間をマークすることができ、その瞬間とは、特定のゲートキーパ・サーバ１１０４が、ゲートキーパ・サーバが担う特定の表面データ・フレーム・シーケンスの特定の色彩フレーム及び深度フレームを受信したことであってもよい。例えば、タイムフレーム１３０２－１内の水平線１３０６は、ゲートキーパ・サーバ１１０４－１が表面データ・フレーム・シーケンス６００－１０ｖ内に含まれる第１の色彩フレーム及び深度フレームを受信した瞬間をマークしてもよく、一方で、別のタイムフレーム１３０２－１内の水平線１３０８は、ゲートキーパ・サーバ１１０４－２が表面データ・フレーム・シーケンス６００－１９ｖ内に含まれる第２の色彩フレーム及び深度フレームを受信した瞬間（第１の色彩フレーム及び深度フレームが受信された瞬間と比較的近い）をマークしてもよい。同様の態様で、タイムフレーム１３０２－１内に含まれる他の垂直線は、ゲートキーパ・サーバ１１０４（例えば、ゲートキーパ・サーバ１１０４－１、１１０４－２、又は、他のゲートキーパ・サーバ１１０４）が他の表面データ・フレーム・シーケンス（例えば、フレーム・シーケンス・サブセット８００－８内に含まれる他の表面データ・フレーム・シーケンス又は、他のフレーム・シーケンス・サブセット８００で使用される表面データ・フレーム・シーケンス）内に含まれる他の色彩フレーム及び深度フレームを受信する他の瞬間をマークすることができる。

【0126】

任意の長さの遅延１３１０（例えば、数(ａ ｆｅｗ)ミリ秒、数(ａ ｆｅｗ)秒、数(ａ ｆｅｗ)分等）が、任意の特定のタイムフレーム１３０２で受信される色彩フレーム及び深度フレームの送信をゲートキーパ・サーバ１１０４が開始する前に、含まれてもよい。しかし、いったん全ての対応する色彩フレーム及び深度フレームが、全てのゲートキーパ・サーバ１１０４によって、全ての表面データ・フレーム・シーケンス関して受信されると、同期サーバ１１０８は、タイムフレーム１３０４の指定（例えば、スケジュール化）を行うことができ、この間に、色彩フレーム及び深度フレームが送信される。例えば、タイムフレーム１３０２－１内に受信される全ての色彩フレーム及び深度フレームに関して、同期サーバ１１０８は、タイムフレーム１３０４－１を指定することができ（即ち、遅延１３１０の後で）、前記タイムフレームの間に、各それぞれのゲートキーパ・サーバ１１０４は、要求された任意の表面データ・フレーム・シーケンス（例えば、少なくとも１つフレーム・シーケンス・サブセット８００内に含まれる全ての表面データ・フレーム・シーケンス）に関する色彩フレーム及び深度フレームを送信する。

【0127】

従って、例えば、上述したように、マネージメント・サーバ１１０６が、ゲートキーパ・サーバ１１０４－１及び１１０４－２から、フレーム・シーケンス・サブセット８００－８内に含まれる表面データ・フレーム・シーケンスを要求する場合、タイムフレーム１３０２－１期間中に受信され、且つ、これらの表面データ・フレーム・シーケンスに関連する各色彩フレーム及び深度フレームは、タイムフレーム１３０４－１期間中に同期をとって、マネージメント・サーバ１１０６に送信することができる。具体的には、例えば、第１の色彩フレーム及び深度フレーム（即ち、表面データ・フレーム・シーケンス６００－１０ｖから）は、垂直線１３１２によってマークされる時間にて送信されてもよい。一方で、第２の色彩フレーム及び深度フレーム（即ち、表面データ・フレーム・シーケンス６００－１９ｖから）は、垂直線１３１４によってマークされる時間にて送信されてもよい。

【0128】

色彩フレーム及び深度フレームは、任意の適切な方法で、ゲートキーパ・サーバ１１０４によって、マネージメント・サーバ１１０６へ送信されてもよい。例えば、特定の実施において、各タイムフレーム１３０４の期間中、マネージメント・サーバ１１０６によってリクエストされる表面データ・フレーム・シーケンスを担う全てのゲートキーパ・サーバ１１０４は、ポイント・トゥ・マルチポイント・プロトコルの手段により（例えば、ユーザ・ダイアグラム・プロトコル（「ＵＤＰ」）等を使用して）、特定の色彩フレーム及び深度フレームを、要求される表面データ・フレーム・シーケンスから送信することができ、その結果、マネージメント・サーバ１１０６は、要求された特定の色彩フレーム及び深度フレームを受信することができる。このようにして、互いに並行して動作して複数の異なるバーチャル・リアリティ・データセットを準備及びパッケージ化している複数のマネージメント・サーバ１１０６（図１１に明示しない）は、他の色彩フレーム及び深度フレームを無視しながら、各バーチャル・リアリティ・データセットの基礎となる色彩フレーム及び深度フレームをリクエスト及び受信することができる。従って、十分な数のゲートキーパ・サーバ１１０４及びマネージメント・サーバ１１０６を用いて、任意の数の表面データ・フレーム・シーケンスは、任意の数のバーチャル・リアリティ・データセットの基礎となる任意の数のフレーム・シーケンス・サブセットへと再結合されてもよい。

【0129】

選択される表面データ・フレーム・シーケンスに関する色彩フレーム及び深度フレームを含む同期送信を受信すると、マネージメント・サーバ１１０６は、ゲートキーパ・サーバ１１０４から同期をとって受信される色彩フレーム及び深度フレームをパッケージ化することができ、追加のトランスポート・ストリーム（例えば、マネージメント・サーバ１１０６へフレームを送信するためにゲートキーパ・サーバ１１０４によって使用されるものからの別個のトランスポート・ストリーム）を生成することができ、前記追加のトランスポート・ストリームは、フレーム・シーケンス・サブセット８００－８内に含める目的で選択される表面データ・フレーム・シーケンスに対応するビデオ・データ・ストリームを含むことができる。具体的には、追加のトランスポート・ストリームは、以下を含むことができる：各表面データ・フレーム・シーケンス６００－１０ｖ、６００－１１ｖ、６００－１８ｖ、６００－１９ｖ、６００－２４ｖ、６００－２５ｖ、及び、６００－ｃｕｓｔｏｍに関連する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム。

【0130】

幾つかの例において、追加のトランスポート・ストリームは、メディア・プレーヤ装置へストリーミングする目的で構成されてもよい。かくして、これらのビデオ・データ・ストリームを含む追加のトランスポート・ストリームは、バーチャル・リアリティ・データセットを実装することができ、前記データセットは、フレーム・シーケンス・サブセットに関連するバーチャル・リアリティ体験８００－８へとカスタマイズされてもよい。換言すれば、フレーム・シーケンス・サブセットに関連するバーチャル・リアリティ体験８００－８へとカスタマイズされるバーチャル・リアリティ・データセット（即ち、及び、バーチャル・ビューポイント３０４に関連する）は、こうした追加のトランスポート・ストリームを含んでもよく、又は、こうした追加のトランスポート・ストリームによって実装されてもよい。

【0131】

図示する目的で、図１４は、例示的なバーチャル・リアリティ・データセット１４００を示し、前記データセットは、複数のビデオ・データ・ストリーム１４０４を含むトランスポート・ストリーム１４０２（即ち、ビデオ・データ・ストリーム１４０４－１０、１４０４－１１、１４０４－１８、１４０４－１９、１４０４－２４、１４０４－２５、及び、１４０４－ｃｕｓｔｏｍ）として実装される（例えば、パッケージ化される）。トランスポート・ストリーム１４０２は、ネットワーク１００８の手段により、メディア・プレーヤ装置１０１０へストリーミングする目的で構成されてもよく、従って、体験選択データ構造９００のエントリ９０４－８に関連してもよい（例えば、これに含まれるデータリンクによって表現される）。

【0132】

バーチャル・リアリティ・データセット１４００は、任意の適切な方法で、生成されてもよい。例えば、システム１００は、フレーム・シーケンス・サブセット８００－８内に含める目的で選択される表面データ・フレーム・シーケンス６００にアクセスすることができ、そして、システム１００は、アクセスされる表面データ・フレーム・シーケンスに基づいて、バーチャル・リアリティ・データセット１４００を生成することができる。より具体的には、システム１００は、バーチャル・リアリティ・データセット１４００を以下によって生成することができる：異なるアクセスされる表面データ・フレーム・シーケンスに各々関連する複数のビデオ・データ・ストリームを生成すること（例えば、各表面データ・フレーム・シーケンスを色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームへエンコーディングする）、そして、その後に、トランスポート・ストリーム１４０２を生成し、複数のビデオ・データ・ストリームを含むこと。特定の例において、各表面データ・フレーム・シーケンスを色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームへエンコーディングすることは、予め実行されてもよい（例えば、キャプチャ管理システム１００４、ゲートキーパ・サーバ１１０４、又は、システム１００又はプロバイダ・システム１１０２内の他の箇所によって）。例えば、ゲートキーパ・サーバ１１０４によって送信される表面データ・フレーム・シーケンス６００は、既に、ビデオ・データ・ストリーム１４０４へとエンコーディングされてもよい。

【0133】

上述したように、バーチャル・リアリティ・データセット（例えば、バーチャル・リアリティ・データセット１４００）は、動的に生成されてもよく（例えば、メディア・プレーヤ装置１０１０が要求するもの、又は、必要と決定したものに基づいて、「オンデマンド」、及び／又は「ｔｏ ｏｒｄｅｒ」で生成）、又は、バーチャル・リアリティ・データセットは、システム１００が提供可能と決定したバーチャル・リアリティ体験に基づいて、予め前倒しでパッケージ化されてもよい。更には、トランスポート・ストリーム１４０２は、１つの例示的な態様を示し、ここで、バーチャル・リアリティ・データセット１４００がパッケージ化されてもよいが、以下の点を理解されたい：バーチャル・リアリティ・データセット１４００は、特定の実施に寄与することができる様々な他の適切な態様でパッケージ化されてもよい。例えば、特定の例において、バーチャル・リアリティ・データセット１４００は、複数のトランスポート・ストリームの一部として送信されてもよく、又は、バーチャル・リアリティ・データセット１４００は、テクスチャ・アトラス技術、又は、他のデータパッケージング技術、又は、データ・トランスポート技術、及び／又はプロトコルを使用することができ、これらは、以下を促進することができる：ビデオ・データ・ストリーム１４０４内のデータを、メディア・プレーヤ装置１０１０、及び／又は、他のメディア・プレーヤ装置へ、効率的且つ効果的に提供すること。

【0134】

いったん、バーチャル・リアリティ・データセット１４００が生成され（例えば、同様の態様で生成されるが、他のバーチャル・リアリティ体験に関してカスタマイズされる複数の他のバーチャル・リアリティ・データセットのオプションと一緒に）、そして、バーチャル・リアリティ・データセットがリクエストされると（例えば、メディア・プレーヤ装置１０１０に提供される体験選択データ構造内のエントリの選択によって）、バーチャル・リアリティ・データセット１４００を、メディア・プレーヤ装置１０１０に提供することができる。この目的のため、メディア・プレーヤ装置１０１０、及び、プロバイダ・システム１１０２（例えば、システム１００）は、任意の適切な方法で、相互作用できる。例えば、メディア・プレーヤ装置１０１０は、体験選択データ構造９００へアクセス（例えば、システム１００から）することができ、そして、特定のエントリ（例えば、上記例のエントリ９０４－８）を選択（例えば、体験選択データ構造９００の手段により）することができ、前記エントリは、特定のバーチャル・リアリティ・データセット（例えば、バーチャル・リアリティ・データセット１４００）に対応してもよく、前記データセットは、特定のバーチャル・リアリティ体験（例えば、バーチャル・ビューポイント３０４を３Ｄシーン２０２領域３０２－８へと向けるユーザ１０１２のバーチャル・リアリティ体験）へとカスタマイズされてもよい。メディア・プレーヤ装置１０１０は、その後、選択されるエントリ（例えば、エントリ９０４－８）を表すデータを、システム１００に提供することができ、そして、これに応答して、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセット（例えば、バーチャル・リアリティ・データセット１４００）を受信することができる。例えば、メディア・プレーヤ装置１０１０は、ネットワーク１００８の手段により、複数のビデオ・データ・ストリームを含むトランスポート・ストリーム（例えば、ビデオ・データ・ストリーム１４０４を含むトランスポート・ストリーム１４０２）を受信することができる。

【0135】

特定のバーチャル・リアリティ・データセットを受信すると、メディア・プレーヤ装置１０１０は、特定のバーチャル・リアリティ・データセットを処理して、特定のバーチャル・リアリティ体験をユーザ１０１２に提供することができる。例えば、バーチャル・リアリティ・データセット１４００を使用して、メディア・プレーヤ装置１０１０は、比較的高いレベルの詳細で、領域３０２－８の近くにあるオブジェクト２０４－１及び他のオブジェクトを含むバーチャル・リアリティ・メディア・コンテンツを提示することができる、一方で、ユーザ１０１２がバーチャル・ビューポイント３０４から鑑賞することができる場合と比べて、３Ｄシーンの他の領域２０２に関する更なる詳細について帯域幅を浪費しない。

【0136】

システム１００が、バーチャル・リアリティ・データセット１４００をメディア・プレーヤ装置１０１０へ提供している（例えば、ストリーミングしている）間、システム１００は、以下を検出することができる：メディア・プレーヤ装置１０１０が、（例えば、体験選択データ構造９００の手段により）異なるエントリ（例えば、以前選択されたエントリ９０４－８以外のエントリ）を選択すること、ここで、前記異なるエントリは、異なるバーチャル・リアリティ・データセットに対応し、前記データセットは、異なるバーチャル・リアリティ体験へとカスタマイズされる。かくして、メディア・プレーヤ装置１０１０が異なるエントリを選択することに応答して、システム１００は、異なるバーチャル・リアリティ体験へとカスタマイズされる異なるバーチャル・リアリティ・データセットを、メディア・プレーヤ装置１０１０へ提供することができる。例えば、元々のバーチャル・リアリティ体験が３Ｄシーン２０２の領域３０２－８に関連していた場合、新たな、異なるバーチャル・リアリティ体験は、以下に関連してもよい：領域３０２－８（例えば、領域３０２－９）とは異なる３Ｄシーン２０２の領域３０２。従って、メディア・プレーヤ装置１０１０は、異なるバーチャル・リアリティ体験へとカスタマイズされる異なるバーチャル・リアリティ・データセットに対応する異なるエントリを選択することができ、前記選択は、以下に応答して行うことができる：領域３０２－８内の第１の位置から、３Ｄシーン２０２の領域３０２－９内の第２の位置へのバーチャル・ビューポイント３０４の移動を表すユーザ入力を受信すること（例えば、ユーザ１０１２から）。

【0137】

メディア・プレーヤ装置１０１０へ提供されるバーチャル・リアリティ・データセットは、メディア・プレーヤ装置１０１０がレンダリングを行うように構成されるバーチャル・リアリティ・メディア・コンテンツを表現することができる。例えば、上述したように、バーチャル・リアリティ・データセットは、以下を含むことができ、又は以下を表すことができる：複数の２Ｄビデオ・データ・ストリーム（例えば、各ビュー及び仮想化プロジェクションに関連する色彩及び深度データに関連する２Ｄビデオ・データ・ストリーム）、ここで、前記２Ｄビデオ・データ・ストリームは、メディア・プレーヤ装置１０１０によってレンダリングすることができ、結果として、３Ｄシーン２０２内の任意のバーチャル・ビューポイントからの仮想的な３Ｄシーン２０２のビューを提示することができる（例えば、任意のキャプチャ・デバイス・ビュー又はカスタマイズされるビューとは不揃いであるが、ユーザ１０１２の興味の対象となる可能性のあるバーチャル・ビューポイント（例えば、バーチャル・ビューポイント３０４）を含む）。バーチャル・リアリティ・データセットは、ネットワーク１１０８の手段により、１以上のメディア・プレーヤ装置（例えば、ユーザ１０１２に関連するメディア・プレーヤ装置１０１０）に配信されてもよい。例えば、プロバイダ・システム（例えば、プロバイダ・システム１００２又は１１０２）は、異なるバーチャル・リアリティ・データセットをメディア・プレーヤ装置１０１０に提供することができ、その結果、ユーザ１０１２は、メディア・プレーヤ装置１０１０を使用して、３Ｄシーン２０２を仮想的に体験することができる。

【0138】

幾つかの例において、ユーザ１０１２にとっては、３Ｄシーン２０２内の１以上の不連続な位置に限定されることは、望ましくない可能性がある。かくして、プロバイダ・システムは、メディア・プレーヤ装置１０１０へ提供される各バーチャル・リアリティ・データセット内に十分なデータを提供することができ、３Ｄシーン２０２を、ビュー４０２及び／又は７０２から表現するだけでなく、３Ｄシーン２０２内の任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから表現することを可能にする。例えば、ユーザ１０１２が、メディア・プレーヤ装置１０１０を使用して、３Ｄシーン２０２を体験している間、動的に選択可能なバーチャル・ビューポイントは、ユーザ１０１２によって選択されてもよい。

【0139】

本明細書で使用するが、「任意のバーチャル・ロケーション」は、３Ｄシーンの表現に関連する空間における任意のバーチャル・ポイントを意味してもよい。例えば、任意のバーチャル・ロケーションは、３Ｄシーンを囲む固定位置（例えば、ビュー４０２及び／又はカスタマイズされるビュー７０２に関連する固定位置）に限定されるものではなく、ビュー４０２及びビュー７０２に関連する位置の間の全ての位置も含むことができる。幾つかの例において、こうした任意のバーチャル・ロケーションは、３Ｄシーン２０２内の最も望ましいバーチャル・ビューポイントに対応してもよい。例えば、３Ｄシーン２０２がバスケットボールのゲームを含む場合、ユーザ１０１２は、動的にバーチャル・ビューポイント（例えば、バーチャル・ビューポイント３０４等）を選択することができ、そこから、バスケットボールのコートの任意のバーチャル・ロケーションにあるゲームを体験することができる。例えば、ユーザは、動的にユーザのバーチャル・ビューポイントを選択することができ、バスケットボールのコートの上下にバスケットボールを追従することができ、そして、ゲームの進行中のバスケットボールのコートに立っているかのごとく、バスケットボールのゲームを体験することができる。

【0140】

図１５が示すのは、様々な例示的なタイプのメディア・プレーヤ装置１０１０であり、前記装置は、バーチャル・リアリティ・メディア・コンテンツを体験するユーザ１０１２によって使用されてもよい。具体的には、示すように、メディア・プレーヤ装置１０１０は、幾つかの異なる形態要素のうち１つをとることができる（例えば、ヘッドマウント・バーチャル・リアリティ・デバイス１５０２（例えば、バーチャル・リアリティ・ゲーム・デバイス）（ヘッドマウント・ディスプレイ・スクリーンを含む））、個人用コンピュータ・デバイス１５０４（例えば、デスクトップ・コンピュータ、ラップトップ・コンピュータ等）、モバイル・デバイス若しくはワイヤレス・デバイス１５０６（例えば、スマートフォン、タブレット・デバイス等、これらは、ヘッドマウント装置の手段によりユーザ１０１２の頭部に取り付けることが可能）、又は特定の実施に寄与して、バーチャル・リアリティ・メディア・コンテンツの受信及び／若しくは提示を促進することができる任意の他のデバイス若しくはデバイスの構成。異なるタイプのメディア・プレーヤ装置（例えば、ヘッドマウント・バーチャル・リアリティ・デバイス、個人用コンピュータ・デバイス、モバイル・デバイス等）は、異なるレベルの没入性を有する異なるタイプのバーチャル・リアリティ体験を、ユーザ１０１２に提供することができる。

【0141】

図１６は、例示的なバーチャル・リアリティ体験１６００を示し、ここで、ユーザ１０１２には、例示的なバーチャル・リアリティ・メディア・コンテンツが提示され、前記コンテンツは、３Ｄシーンを表し、前記３Ｄシーンは、現実世界シーンに関する例示的な任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから体験される。具体的には、バーチャル・リアリティ・メディア・コンテンツ１６０２は、視野１６０４内に提示され、前記コンテンツが示すのは、シュートが行われている３Ｄシーン１６０６の表現内のバスケットボールのゴールの直下にある任意のバーチャル・ロケーションに対応するバーチャル・ビューポイントからの３Ｄシーン１６０６である。ユーザ１０１２は、以下によって、３Ｄシーン１６０６を体験する：ユーザ入力（例えば、頭部の動き、キーボード・インプット等）を行い、３Ｄシーン１６０６を見回す、及び／又は、動き回ること（即ち、体験する箇所からバーチャル・ビューポイントを動的に選択する）。

【0142】

例えば、視野１６０４は、ウィンドウを提供し、前記ウィンドウを通して、ユーザ１０１２は、容易に且つ自然に、３Ｄシーン１６０６のバーチャル表現を見回ることができる。視野１６０４は、メディア・プレーヤ装置１０１０（例えば、メディア・プレーヤ装置１０１０のディスプレイ・スクリーン上に）によって提示されてもよく、そして、前記視野１６０４は、以下を含むことができる：３Ｄシーン１６０６内のユーザ１０１２を囲むオブジェクトを描写するビデオ。更には、視野１６０４は、ユーザ１０１２が３Ｄシーン１６０６を体験する際に、ユーザ１０１２が提供するユーザ入力に応答して、動的に変化することができる。例えば、メディア・プレーヤ装置１０１０は、ユーザ入力を検出することができる（例えば、視野１６０４が提示されるディスプレイ・スクリーンを移動又は回転する）。これに応答して、視野１６０４は、以下を提示することができる：異なるオブジェクト及び／又は以前のバーチャル・ビューポイント若しくはバーチャル・ロケーションから見えるオブジェクトの場所において、異なるバーチャル・ビューポイント若しくはバーチャル・ロケーションから見えるオブジェクト。

【0143】

図１６において、３Ｄシーン１６０６は半球で示されており、このことは、ユーザ１０１２が３Ｄシーン１６０６が任意の方向を見ることができることを示し、前記任意の方向とは、実質的には、ユーザ１０１２が現在選択したバスケットボールのゴール下のロケーションにおけるバーチャル・ビューポイントから見て、前方向、後方向、左方向、右方向、及び／又は上方向である。他の例において、３Ｄシーン１６０６は、さらに１８０°分の球体を追加した全体３６０°を含むことができ、その結果、ユーザ１０１２は、下方向も見ることができる。更には、ユーザ１０１２は、３Ｄシーン１６０６内の他のロケーションへと動き回ることができる（即ち、異なる動的に選択可能なバーチャル・ビューポイントを動的に選択する）。例えば、ユーザ１０１２は以下を選択することができる：ハーフ・コートにおけるバーチャル・ビューポイント、バスケットボールのゴールに向かいあうフリー・スロー・ラインからのバーチャル・ビューポイント、バスケットボールのゴール上部で停止したバーチャル・ビューポイント等。

【0144】

図１７が示すのはバーチャル・リアリティ・データをカスタマイズするための例示的な方法１７００である。図１７は、１つの実施形態に従った例示的なオペレーションを示すが、他の実施形態では、図１７に示す任意のオペレーションに対して、省略、追加、並べ替え、及び／又は変更してもよい。図１７に示す１以上のオペレーションは、以下によって実行されてもよい：システム１００、前記システムの実装、及び／又は、システム１００に関連する（例えば、通信可能に接続される、共同で動作ように構成される等）上述した別のシステム。

【0145】

オペレーション１７０２において、バーチャル・リアリティ・システムは、メタデータにアクセスすることができ、前記メタデータは、複数の表面データ・フレーム・シーケンスを記述することができ、前記シーケンスは、３Ｄシーンの異なるビューをそれぞれ描写することができる。オペレーション１７０２は、本明細書に記載の方法のいずれかで実行されてもよい。

【0146】

オペレーション１７０４において、バーチャル・リアリティ・システムは、エクスペリエンス・パラメータのセットを特定することができ、前記パラメータのセットは、特定のバーチャル・リアリティ体験を表してもよい。例えば、特定のバーチャル・リアリティ体験は、複数のバーチャル・リアリティ体験内に含まれてもよく、前記複数のバーチャル・リアリティ体験は、３Ｄシーンに関連してもよく、そして、それぞれ、メディア・プレーヤ装置によって、ユーザに提供可能であってもよい。幾つかの例において、メディア・プレーヤ装置は、以下の動作を行うように構成されてもよい：特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを処理することによって、ユーザに特定のバーチャル・リアリティ体験を提供すること。オペレーション１７０４は、本明細書に記載の方法のいずれかで実行されてもよい。

【0147】

オペレーション１７０６において、バーチャル・リアリティ・システムは、表面データ・フレーム・シーケンスを、複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択することができ、前記フレーム・シーケンス・サブセットは、特定のバーチャル・リアリティ・データセットの基礎となる。例えば、表面データ・フレーム・シーケンスは、オペレーション１７０４にて特定されたエクスペリエンス・パラメータのセットに基づいて、及び／又は、オペレーション１７０２にてアクセスされた複数のデータフレーム・シーケンスに関連するメタデータに基づいて、フレーム・シーケンス・サブセット内に含める目的で選択されてもよい。オペレーション１７０６は、本明細書に記載の方法のいずれかで実行されてもよい。

【0148】

オペレーション１７０８において、バーチャル・リアリティ・システムは、体験選択データ構造を生成することができ、前記体験選択データ構造は、異なるエントリの動的選択を促進するように構成されてもよい。より具体的には、メディア・プレーヤ装置が異なるバーチャル・リアリティ・データセットを処理することによって異なるバーチャル・リアリティ体験をユーザに提供する際に、体験選択データ構造は、メディア・プレーヤ装置が、異なるエントリを体験選択データ構造内に含まれる複数のエントリから動的に選択することを促進することができる。幾つかの例において、複数のエントリは、それぞれ異なるバーチャル・リアリティ・データセットに対応してもよく、前記データセットは、３Ｄシーンに関連する複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験へとカスタマイズされてもよい。オペレーション１７０８は、本明細書に記載の方法のいずれかで実行されてもよい。

【0149】

オペレーション１７１０において、バーチャル・リアリティ・システムは、以下を含むことができる：オペレーション１７０８にて生成された体験選択データ構造内の特定のバーチャル・リアリティ・データセットに対応するエントリ。例えば、バーチャル・リアリティ・システムは、以下に基づいて、特定のバーチャル・リアリティ・データセットに対応するエントリを含むことができる：オペレーション１７０６にて、特定のバーチャル・リアリティ・データセットの基礎となるフレーム・シーケンス・サブセット内に含める目的で表面データ・フレーム・シーケンスを選択すること。オペレーション１７１０は、本明細書に記載の方法のいずれかで実行されてもよい。

【0150】

オペレーション１７１２において、バーチャル・リアリティ・システムは、体験選択データ構造をメディア・プレーヤ装置に提供することができる。オペレーション１７１２は、本明細書に記載の方法のいずれかで実行されてもよい。

【0151】

オペレーション１７１４において、バーチャル・リアリティ・システムは以下を検出することができる：メディア・プレーヤ装置が、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットに対応するエントリを選択すること。例えば、バーチャル・リアリティ・システムは、オペレーション１７０８において生成された体験選択データ構造の手段により、以下を検出することができる：メディア・プレーヤ装置が、オペレーション１７１０にて体験選択データ構造内に含まれる特定のバーチャル・リアリティ・データセットに対応するエントリを選択すること。オペレーション１７１４は、本明細書に記載の方法のいずれかで実行されてもよい。

【0152】

オペレーション１７１６において、バーチャル・リアリティ・システムは、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを、メディア・プレーヤ装置へ提供することができる。例えば、オペレーション１７１４にてメディア・プレーヤ装置が特定のバーチャル・リアリティ・データセットに対応するエントリを選択することを検出することに応答して、バーチャル・リアリティ・システムは、特定のバーチャル・リアリティ・データセットを、メディア・プレーヤ装置に提供することができる。オペレーション１７１６は、本明細書に記載の方法のいずれかで実行されてもよい。

【0153】

図１８が示すのはバーチャル・リアリティ・データをカスタマイズするための例示的な方法１８００である。図１８は、１つの実施形態に従った例示的なオペレーションを示すが、他の実施形態では、図１８に示す任意のオペレーションに対して、省略、追加、並べ替え、及び／又は変更してもよい。図１８に示す１以上のオペレーションは、以下によって実行されてもよい：システム１００、前記システムの実装、及び／又は、システム１００に関連する（例えば、通信可能に接続される、共同で動作ように構成される等）上述した別のシステム。

【0154】

オペレーション１８０２において、バーチャル・リアリティ・システムは、メタデータにアクセスすることができ、前記メタデータは、現実世界シーンの異なるビューをそれぞれ描写する複数の表面データ・フレーム・シーケンスを記述することができる。例えば、複数の表面データ・フレーム・シーケンスは、以下を含むことができる：仮想化される表面データ・フレーム・シーケンス、ここで、前記表面データ・フレーム・シーケンスは、現実世界シーンのビューを描写するが、前記ビューは、現実世界シーンに対して異なるロケーションに配置される複数のキャプチャ・デバイスによってキャプチャされる現実世界シーンのビューと不揃いであってもよい。幾つかの実施において、オペレーション１８０２は、現実世界シーンでイベントが発生する間、リアルタイムで実行されてもよい。オペレーション１８０２は、本明細書に記載の方法のいずれかで実行されてもよい。

【0155】

オペレーション１８０４において、バーチャル・リアリティ・システムは、現実世界シーン内の位置を特定することができ、そこから、特定のバーチャル・リアリティ体験がメディア・プレーヤ装置によってユーザに提供可能となってもよい。メディア・プレーヤ装置は、以下の動作を行うように構成されてもよい：特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを処理することによって、ユーザに特定のバーチャル・リアリティ体験を提供すること。オペレーション１８０２に関して、特定の実施において、オペレーション１８０４は、現実世界シーンでイベントが発生する間、リアルタイムで実行されてもい。オペレーション１８０４は、本明細書に記載の方法のいずれかで実行されてもよい。

【0156】

オペレーション１８０６において、バーチャル・リアリティ・システムは、表面データ・フレーム・シーケンスを、複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択することができ、前記フレーム・シーケンス・サブセットは、特定のバーチャル・リアリティ・データセットの基礎となってもよい。幾つかの例において、バーチャル・リアリティ・システムは、表面データ・フレーム・シーケンスを、フレーム・シーケンス・サブセット内に含める目的で選択してもよく、前記選択は、オペレーション１８０４で特定される位置に基づいてもよく、及び／又はオペレーション１８０２でアクセスされる複数のデータフレーム・シーケンスに関連するメタデータに基づいてもよい。オペレーション１８０２及び１８０４に関して、特定の実施において、オペレーション１８０６は、現実世界シーンでイベントが発生する間、リアルタイムで実行されてもい。オペレーション１８０６は、本明細書に記載の方法のいずれかで実行されてもよい。

【0157】

オペレーション１８０８において、バーチャル・リアリティ・システムは、体験選択データ構造内の特定のバーチャル・リアリティ・データセットに対応するエントリを動的に含むことができる。例えば、バーチャル・リアリティ・システムは、以下に基づいて、特定のバーチャル・リアリティ・データセットに対応するエントリを動的に含むことができる：オペレーション１８０６にて、特定のバーチャル・リアリティ・データセットの基礎となるフレーム・シーケンス・サブセット内に含める目的で表面データ・フレーム・シーケンスを選択すること。体験選択データ構造は、以下の動作を行うように構成されてもよい：体験選択データ構造内に含まれる複数のエントリからの異なるエントリの動的選択を促進すること。例えば、体験選択データ構造は、以下の動作を行うように構成されてもよい：メディア・プレーヤ装置が現実世界シーン内の異なる位置からの異なるバーチャル・リアリティ体験をユーザに提供する際に、メディア・プレーヤ装置によって異なるエントリを動的に選択することを促進すること。複数のエントリは、各々、異なるバーチャル・リアリティ・データセットに対応してもよく、前記異なるバーチャル・リアリティ・データセットは、現実世界シーン内の異なる位置からの複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験にカスタマイズされてもよい。オペレーション１８０２～１８０６に関して、特定の実施において、オペレーション１８０８は、現実世界シーンでイベントが発生する間、リアルタイムで実行されてもい。オペレーション１８０８は、本明細書に記載の方法のいずれかで実行されてもよい。

【0158】

図１９が示すのはバーチャル・リアリティ・データをカスタマイズするための例示的な方法１９００である。図１９は、１つの実施形態に従った例示的なオペレーションを示すが、他の実施形態では、図１９に示す任意のオペレーションに対して、省略、追加、並べ替え、及び／又は変更してもよい。図１９に示す１以上のオペレーションは、以下によって実行されてもよい：メディア・プレーヤ装置１０１０、前記メディア・プレーヤ装置の実装、及び／又は本明細書に記載の若しくは特定の実施に寄与することができる別のメディア・プレーヤ装置。

【0159】

オペレーション１９０２において、メディア・プレーヤ装置は、バーチャル・リアリティ・システムから、バーチャル・リアリティ・システムが生成する体験選択データ構造にアクセスすることができる。例えば、体験選択データ構造は、以下の動作を行うように構成されてもよい：メディア・プレーヤ装置が、異なるバーチャル・リアリティ・データセットを処理することによって、異なるバーチャル・リアリティ体験をユーザに提供する際に、メディア・プレーヤ装置による体験選択データ構造内に含まれる複数のエントリからの異なるエントリの動的選択を促進すること。幾つかの例において、体験選択データ構造内に含まれる複数のエントリは、それぞれ、異なるバーチャル・リアリティ・データセットに対応してもよく、前記データセットは、３Ｄシーンに関連する複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験へとカスタマイズされてもよい。オペレーション１９０２は、本明細書に記載の方法のいずれかで実行されてもよい。

【0160】

オペレーション１９０４において、メディア・プレーヤ装置は、体験選択データ構造の手段により、エントリを複数のエントリから選択することができる。例えば、エントリは、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットと対応してもよい。オペレーション１９０４は、本明細書に記載の方法のいずれかで実行されてもよい。

【0161】

オペレーション１９０６において、メディア・プレーヤ装置は、体験選択データ構造の手段により選択されるエントリを表すデータを、バーチャル・リアリティ・システムに提供することができる。オペレーション１９０６は、本明細書に記載の方法のいずれかで実行されてもよい。

【0162】

オペレーション１９０８において、メディア・プレーヤ装置は、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを受信することができる。例えば、メディア・プレーヤ装置は、オペレーション１９０６におけるエントリを表すデータの提供に応答して、特定のバーチャル・リアリティ・データセットを、バーチャル・リアリティ・システムから受信することできる。オペレーション１９０８は、本明細書に記載の方法のいずれかで実行されてもよい。

【0163】

オペレーション１９１０において、メディア・プレーヤ装置は、オペレーション１９０８にて受信され、特定のバーチャル・リアリティ体験へとカスタマイズされる特定のバーチャル・リアリティ・データセットを処理することができる。特定のバーチャル・リアリティ・データセットを処理することによって、メディア・プレーヤ装置は、特定のバーチャル・リアリティ体験をユーザに提供することができる。オペレーション１９１０は、本明細書に記載の方法のいずれかで実行されてもよい。

【0164】

特定の実施形態において、本明細書に記載の１以上のシステム、コンポーネント、及び／又はプロセスは、１以上の適切に構成されたコンピューティング・デバイスによって実施及び／又は実行されてもよい。この目的のため、上述した１以上のシステム及び／又はコンポーネントは、以下を含んでもよく、又は、以下によって実装されてもよい：任意のコンピュータ・ハードウェア、及び／又は本明細書に記載の１以上のプロセスを実行するように構成される少なくとも１つの非一時的コンピュータ可読媒体に記録される、コンピュータで実装されるインストラクション（例えば、ソフトウェア）。特に、システム・コンポーネントは、１つの物理的なコンピューティング・デバイスによって実装されてもよいし、又は、複数の物理的なコンピューティング・デバイスで実装されてもよい。従って、システム・コンポーネントは、任意の数のコンピューティング・デバイスを含むことができ、そして、任意の数のコンピュータオペレーティングシステムを採用することができる。

【0165】

特定の実施形態において、本明細書に記載の１以上のプロセスは、非一時的コンピュータ可読媒体に記録され、１以上のコンピューティング・デバイスによって実行可能なインストラクションとして、少なくとも部分的に実施されてもよい。一般的に、プロセッサ（例えば、マイクロプロセッサ）は、インストラクションを、非一時的コンピュータ可読媒体（例えば、メモリ等）から受け取り、そして、これらのインストラクションを実行し、これにより、本明細書に記載の１以上のプロセスを含む１以上のプロセスを実行する。こうしたインストラクションは、任意の様々な既知のコンピュータ可読媒体を使用して記憶することができ、及び／又は送ることができる。

【0166】

コンピュータ可読媒体（プロセッサ可読媒体とも言う）は、任意の非一時的媒体を含み、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取ることができるデータ（例えば、インストラクション）を提供することに寄与する。こうした媒体は、多くの形態をとることができ、限定されるものではないが、以下を含む：不揮発性メディア及び／又は揮発性メディア。不揮発性メディアは、以下を含むことができる：例えば、光学ディスク又は磁気ディスク及び他の固定メモリ。揮発性メディアは、以下を含むことができる：例えば、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）であって、典型的にはメインメモリを構成する物。コンピュータ可読媒体の通常の形態として以下を含む：例えば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、コンパクト・ディスク・リード・オンリ・メモリ（「ＣＤ-ＲＯＭ」）、デジタル・ビデオ・ディスク（「ＤＶＤ」）、任意の他の光学媒体、ランダム・アクセス・メモリ（「ＲＡＭ」）、プログラマブル・リード・オンリ・メモリ（「ＰＲＯＭ」）、電気的に消去可能なプログラマブル・リード・オンリ・メモリ（「ＥＰＲＯＭ」）、ＦＬＡＳＨ-ＥＥＰＲＯＭ、任意の他のメモリチップ、若しくはカートリッジ、又はコンピュータが読み取り可能な任意の他の有形の媒体。

【0167】

図２０は、例示的なコンピューティング・デバイス２０００を示し、当該デバイスは、特に、本明細書に記載の１以上のプロセスを実行するように構成されてもよい。図２０に示すように、コンピューティング・デバイス２０００は、以下を含むことができる：通信インターフェース２００２、プロセッサ２００４、ストレージ・デバイス２００６、及び通信インフラ２０１０を介して通信可能に接続される入力／出力（「Ｉ／Ｏ」）モジュール２００８。例示的なコンピューティング・デバイス２０００を、図２０に示すものの、図２０に示すコンポーネントは、限定することを意図するものではない。追加又は代替のコンポーネントを、他の実施形態において使用してもよい。図２０に示すコンピューティング・デバイス２０００のコンポーネントを、以下で、更に詳細に説明する。

【0168】

通信インターフェース２００２は、１以上のコンピューティング・デバイスと通信するように構成されてもよい。通信インターフェース２００２の例は、限定されるものではないが、以下を含む：有線ネットワーク・インターフェース（例えば、ネットワーク・インターフェース・カード）、ワイヤレス・ネットワーク・インターフェース（例えば、ワイヤレス・ネットワーク・インターフェース・カード）、モデム、オーディオ／ビデオ接続、及び任意の他の適切なインターフェース）。

【0169】

プロセッサ２００４は、概して、任意のタイプ又は形態の処理ユニット（例えば、中央演算装置及び／又はグラフィックス・プロセッシング・ユニット）を表し、データを処理することができ、又は、本明細書に記載の１以上のインストラクション、プロセス、及び／若しくはオペレーションの実行を解釈し、実行し、及び／若しくは指示することができる。プロセッサ２００４は、１以上のアプリケーション２０１２又は他のコンピュータ可読インストラクション（例えば、ストレージ・デバイス２００６又は別のコンピュータ可読媒体に記憶されてもよい）に従って、オペレーションの実行を指示することができる。

【0170】

ストレージ・デバイス２００６は、１以上のデータ・ストレージ・メディア、デバイス、又は構成を含むことができ、そして、データストレージ・メディア及び／又はデバイスを任意のタイプ、任意の形態、及び任意の組み合わせで採用することができる。例えば、ストレージ・デバイス２００６は、以下を含むことができるが、これらに限定されない：ハード・ドライブ、ネットワーク・ドライブ、フラッシュ・ドライブ、磁気ディスク、光学ディスク、ＲＡＭ、ダイナミックＲＡＭ、他の不揮発性及び／又は揮発性のデータ・ストレージ・ユニット、又はこれらのコンビネーション若しくはサブコンビネーション。電子データは、本明細書に記載のデータを含むが、一時的に及び／又は永続的に、ストレージ・デバイス２００６に記憶されてもよい。例えば、１以上の実行可能なアプリケーション２０１２を表すデータであって、プロセッサ２００４に指示して本明細書に記載の任意のオペレーションを実行するように構成されるデータは、ストレージ・デバイス２００６内に記憶されてもよい。幾つかの例において、データは、ストレージ・デバイス２００６内に存在する１以上のデータベースに配置することができる。

【0171】

Ｉ／Ｏモジュール２００８は、１以上のＩ／Ｏモジュールを含むことができ、当該モジュールは、ユーザ入力を受け取り、そして、ユーザ出力を提供するように構成されてもよい。１以上のＩ／Ｏモジュールを用いて、単独のバーチャル・リアリティ・エクスペリエンスのためのインプットを受け取ってもよい。Ｉ／Ｏモジュール２００８は、インプット及びアウトプット能力をサポートする任意のハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。例えば、Ｉ／Ｏモジュール２００８は、ユーザ入力をキャプチャするハードウェア及び／又はソフトウェアを含むことができ、限定されるものではないが、以下を含むことができる：キーボード若しくはキーパッド、タッチスクリーン・コンポーネント（例えば、タッチスクリーン・ディスプレイ）、レシーバー（例えば、ＲＦ又は赤外線受信機）、モーション・センサ、及び／又は１以上のインプットボタン。

【0172】

Ｉ／Ｏモジュール２００８は、アウトプットをユーザに提示するために１以上のデバイスを含むことができ、限定されるものではないが、以下を含むことができる：グラフィックス・エンジン、ディスプレイ（例えば、ディスプレイ・スクリーン）、１以上のアウトプット・ドライバ（例えば、ディスプレイ・ドライバ）、１以上のオーディオ・スピーカ、及び１以上のオーディオ・ドライバ。特定の実施形態において、Ｉ／Ｏモジュール２００８は、ユーザに提示するためのディスプレイにグラフィカルなデータを提供するように構成される。このグラフィカルなデータは、特定の実施に寄与することができる１以上のグラフィカル・ユーザ・インターフェース、及び／又は任意の他のグラフィカルなコンテンツを表すものであってもよい。

【0173】

幾つかの例において、本明細書に記載の任意の設備は、コンピューティング・デバイス２０００の１以上のコンポーネントによって実装されてもよく、又は当該コンポーネント内で実装されてもよい。例えば、ストレージ・デバイス２００６内に存在する１以上のアプリケーション２０１２は、システム１００（図１参照）の体験選択データ構造管理設備１０２又はバーチャル・リアリティ・データセット管理設備１０４に関連する１以上のオペレーション又は機能を実行するようにプロセッサ２００４に命令するように構成されてもよい。同様に、システム１００のストレージ設備１０６は、ストレージ・デバイス２００６によって実装されてもよく、又は該デバイス内で実装されてもよい。

【0174】

上述の実施形態が、個人によって提供される個人情報を収集、記憶、及び／又は採用する限度において、以下のように理解されたい：こうした情報は、個人情報の保護に関する全ての適用可能な法律に従って、使用することができる。更には、こうした情報の収集、記憶、及び使用は、こうした活動に対する個人の同意を得てもよい（例えば、情報の状況及びタイプに適した良く知られた「オプトイン」又は「オプトアウト」プロセスを通して）。個人情報の記憶及び使用について、適切に安全な態様で、例えば、特にセンシティブな情報に対して様々な暗号化及び匿名化を通した情報のタイプを反映したものであってもよい。

【0175】

上記説明において、様々な例示的実施形態について、添付図面に言及しながら説明してきた。しかし、以下の点は明白であろう：これらに対して様々な改変及び変更を行うことができ、そして、更なる実施形態を実施することができ、こうした、改変及び変更、並びに実施は、下記の特許請求の範囲に記載された発明の範囲から逸脱することなく、可能である。例えば、本明細書に記載の１つの実施形態の特定の特徴は、本明細書に記載の別の実施形態の特徴と組み合わせることができ、又は置き換えることができる。従って、上記説明及び図面は、限定的な意味ではなく、例示的な意味で理解すべきものである。
なお、一側面において、本開示は以下の発明を包含する。
（発明１）
以下を含む方法：
バーチャル・リアリティ・システムが体験選択データ構造を生成すること、ここで、前記体験選択データ構造は、メディア・プレーヤ装置が、異なるバーチャル・リアリティ・データセットを処理することによって異なるバーチャル・リアリティ体験をユーザに提供する際に、前記体験選択データ構造内に含まれる複数のエントリからの前記メディア・プレーヤ装置による異なるエントリの動的選択を促進するように構成され、前記複数のエントリ各々は異なるバーチャル・リアリティ・データセットに対応し、前記バーチャル・リアリティ・データセットは、３Ｄ（３次元）シーンに関連する複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験へとカスタマイズされる；
前記バーチャル・リアリティ・システムが前記メディア・プレーヤ装置に前記体験選択データ構造を提供すること；
前記メディア・プレーヤ装置が前記体験選択データ構造の手段によりエントリを前記複数のエントリから選択することを、前記バーチャル・リアリティ・システムが検出すること、ここで、前記エントリは、特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；及び、
前記バーチャル・リアリティ・システムが、前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記エントリを選択した旨の前記検出に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを提供すること。
（発明２）
発明１の方法であって、更に、以下を含む、方法：
前記バーチャル・リアリティ・システムが前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを前記メディア・プレーヤ装置に提供している間、前記メディア・プレーヤ装置が前記体験選択データ構造の手段により、異なるエントリを前記複数のエントリから選択することを、前記バーチャル・リアリティ・システムが検出すること、ここで、前記異なるエントリは、異なる特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは異なる特定のバーチャル・リアリティ体験へとカスタマイズされる；及び、
前記バーチャル・リアリティ・システムが、前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記異なるエントリを選択する旨の検出に応答して、前記異なる特定のバーチャル・リアリティ体験へとカスタマイズされる前記異なる特定のバーチャル・リアリティ・データセットを提供すること。
（発明３）
発明２の方法であって、以下の特徴を有する方法：
前記特定のバーチャル・リアリティ体験が前記３Ｄシーンの第１の領域に関連する；
前記異なる特定のバーチャル・リアリティ体験が前記第１の領域とは異なる前記３Ｄシーンの第２の領域に関連する；及び、
前記メディア・プレーヤ装置が、前記異なる特定のバーチャル・リアリティ体験へとカスタマイズされる前記異なる特定のバーチャル・リアリティ・データセットに対応する前記異なるエントリを、前記３Ｄシーンの前記第１の領域内の第１の位置から前記３Ｄシーンの前記第２の領域内の第２の位置への前記ユーザのバーチャル・ビューポイントの動きを表すユーザ入力を受信することに応答して、選択する。
（発明４）
発明１の方法であって、以下の特徴を有する、方法：
前記３Ｄシーンは、現実世界シーンの要素を含み、前記現実世界シーンは、複数のキャプチャ・デバイスによってキャプチャされ、前記複数のキャプチャ・デバイスは、前記現実世界シーンに対して異なるロケーションに配置され、その結果、現実世界シーンの異なるビューをキャプチャし、前記異なるビュー各々は、前記複数のキャプチャ・デバイスにおける異なるキャプチャ・デバイスによってキャプチャされ、そして、前記異なるビュー各々は、複数の表面データ・フレーム・シーケンス内に含まれる異なる表面データ・フレーム・シーケンス内で描写される；
前記複数の表面データ・フレーム・シーケンスが仮想化される表面データ・フレーム・シーケンスを含み、前記仮想化される表面データ・フレーム・シーケンスは、前記現実世界シーンのビューを描写し、前記現実世界シーンのビューは、前記複数のキャプチャ・デバイスによってキャプチャされる前記現実世界シーンの異なるビューとは不揃いである；並びに、
前記方法が以下の工程を更に含む：
前記バーチャル・リアリティ・システムが、前記特定のバーチャル・リアリティ体験を記述するエクスペリエンス・パラメータのセットを特定すること、及び、
前記バーチャル・リアリティ・システムが、前記特定されるエクスペリエンス・パラメータのセットに基づいて、表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから選択すること、ここで、前記選択の目的は、フレーム・シーケンス・サブセット内に含めることであり、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎であり、前記フレーム・シーケンス・サブセットは前記仮想化される表面データ・フレーム・シーケンスを含む；並びに、
前記体験選択データ構造を生成することが、前記体験選択データ構造内に、前記特定のバーチャル・リアリティ・データセットの基礎となる前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの前記選択に基づいて、前記特定のバーチャル・リアリティ・データセットに対応する前記エントリを含めることを含むこと。
（発明５）
発明１の方法であって、更に、以下を含む、方法：
前記バーチャル・リアリティ・システム内に含まれる第１のサーバが、複数の表面データ・フレーム・シーケンス内に含まれる第１の表面データ・フレーム・シーケンスへアクセスすること、ここで、前記複数の表面データ・フレーム・シーケンスは、それぞれ、前記３Ｄシーンの異なるビューを描写する色彩フレーム及び深度フレームを含む；
前記第１のサーバとは別個であり、且つ、前記バーチャル・リアリティ・システム内に更に含まれる第２のサーバが、前記複数の表面データ・フレーム・シーケンス内に含まれる第２の表面データ・フレーム・シーケンスにアクセスすること；
前記第１のサーバが、前記バーチャル・リアリティ・システム内に含まれ、且つ前記第１のサーバ及び第２のサーバとネットワークの手段により通信可能に接続されるマネージメント・サーバへ、前記マネージメント・サーバから送信されるリクエストに応答して、第１の個別トランスポート・ストリームの手段により前記第１の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信すること；並びに、
前記第２のサーバが、前記マネージメント・サーバへ、前記リクエストに応答して、且つ、前記第１のサーバの前記送信に同期して、第２の個別トランスポート・ストリームの手段により前記第２の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信すること。
（発明６）
発明５の方法であって、更に、以下を含み：
前記マネージメント・サーバが、表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択すること、ここで、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎であり、前記表面データ・フレーム・シーケンスは、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンスを含む前記フレーム・シーケンス・サブセットに含める目的で選択される；
前記マネージメント・サーバが、前記第１のサーバ及び第２のサーバへ、前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの選択に応答して、前記リクエストを送信し、前記リクエストに応答して、前記第１のサーバ及び第２のサーバが前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内にそれぞれ含まれる前記色彩フレーム及び深度フレームを同期して送信すること；
前記マネージメント・サーバが、前記第１のサーバから、前記ネットワークの手段により、前記第１の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信すること；
前記マネージメント・サーバが、前記第２のサーバから、前記ネットワークの手段により、且つ、前記第１のサーバからの前記色彩フレーム及び深度フレームの受信と同期して、前記第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信すること；及び
前記マネージメント・サーバが、前記第１のサーバ及び第２のサーバから同期して受信される前記色彩フレーム及び深度フレームをパッケージ化し、追加のトランスポート・ストリームを生成すること、ここで、追加のトランスポート・ストリームは、ビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、前記フレーム・シーケンス・サブセット内に含める目的で選択される表面データ・フレーム・シーケンスに対応する；
ここで：
前記追加のトランスポート・ストリームは、前記メディア・プレーヤ装置へストリーミングを行う目的で構成され、そして、
前記特定のバーチャル・リアリティ体験へとカスタマイズされ、前記メディア・プレーヤ装置へ提供される前記特定のバーチャル・リアリティ・データセットは、前記追加のトランスポート・ストリームを含む。
（発明７）
発明５の方法であって、ここで、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを、前記第１の個別トランスポート・ストリーム及び第２の個別トランスポート・ストリームの手段によって、それぞれ同期送信することは、以下を含む：
前記第１のサーバが、同期サーバへデータを送信することであって、前記データが示すのは、前記第１の表面データ・フレーム・シーケンス内に含まれる第１の色彩フレーム及び深度フレームが前記第１のサーバによって受信されたことであり；
前記第２のサーバが、前記同期サーバへ、データを送信することであって、前記データが示すのは、前記第２の表面データ・フレーム・シーケンス内に含まれ、且つ前記第１の色彩フレーム及び深度フレームに対応する第２の色彩フレーム及び深度フレームが前記第２のサーバによって受信されたことである；
前記第１のサーバ及び第２のサーバが、前記同期サーバから、前記第１の及び第２の色彩フレーム及び深度フレームを受信したことを示す前記データの前記送信に応答して、以下を受信すること：第１の及び第２の色彩フレーム及び深度フレームが同期して送信されるべき範囲の指定のタイムフレームを示すデータ；並びに、
前記第１のサーバ及び第２のサーバが、前記マネージメント・サーバへ、前記第１の及び第２の色彩フレーム及び深度フレームを、それぞれ、指定のタイムフレーム内に送信すること。
（発明８）
発明１の方法であって、少なくとも１つの非一時的コンピュータ可読媒体上でコンピュータ可読インストラクションとして具現化される、該方法。
（発明９）
以下を含む方法：
メディア・プレーヤ装置が、バーチャル・リアリティ・システムから、体験選択データ構造にアクセスすること、ここで、前記体験選択データ構造は、前記バーチャル・リアリティ・システムによって生成され、前記メディア・プレーヤ装置が、異なるバーチャル・リアリティ・データセットを処理することによって異なるバーチャル・リアリティ体験をユーザに提供する際に、前記体験選択データ構造内に含まれる複数のエントリからの前記メディア・プレーヤ装置による異なるエントリの動的選択を促進し、前記複数のエントリ各々は異なるバーチャル・リアリティ・データセットに対応し、前記バーチャル・リアリティ・データセットは、３次元の（３Ｄ）シーンに関連する複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験へとカスタマイズされる；
前記メディア・プレーヤ装置が、前記体験選択データ構造の手段により、エントリを前記複数のエントリから選択すること、前記エントリは特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；
前記メディア・プレーヤ装置が、前記バーチャル・リアリティ・システムへ、前記体験選択データ構造の手段により選択される前記エントリを表すデータを提供すること；
前記メディア・プレーヤ装置が、前記バーチャル・リアリティ・システムから、前記エントリを表す前記データの前記提供に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを受信すること；及び
前記メディア・プレーヤ装置が、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを処理して、前記特定のバーチャル・リアリティ体験を前記ユーザに提供すること。
（発明１０）
発明９の方法であって、ここで、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを受信することが以下を含む、方法：前記メディア・プレーヤ装置を前記バーチャル・リアリティ・システムと通信可能に接続するネットワークの手段により、トランスポート・ストリームを受信すること、ここで、前記トランスポート・ストリームは、複数のビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、表面データ・フレーム・シーケンスのフレーム・シーケンス・サブセットに対応し、表面データ・フレーム・シーケンスは、複数の表面データ・フレーム・シーケンスから選択され、前記複数の表面データ・フレーム・シーケンスは、それぞれ、前記３Ｄシーンの異なるビューを描写する。
（発明１１）
発明９の方法であって、少なくとも１つの非一時的コンピュータ可読媒体上でコンピュータ可読インストラクションとして具現化される、方法。
（発明１２）
以下を含む、システム：
以下の動作を行う少なくとも１つの物理的なコンピューティング・デバイス：：
体験選択データ構造を生成すること、ここで、前記体験選択データ構造は、メディア・プレーヤ装置が、異なるバーチャル・リアリティ・データセットを処理することによって異なるバーチャル・リアリティ体験をユーザに提供する際に、前記体験選択データ構造内に含まれる複数のエントリからの前記メディア・プレーヤ装置による異なるエントリの動的選択を促進するように構成され、前記複数のエントリ各々は異なるバーチャル・リアリティ・データセットに対応し、前記バーチャル・リアリティ・データセットは、３次元の（３Ｄ）シーンに関連する複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験へとカスタマイズされる；
前記体験選択データ構造を前記メディア・プレーヤ装置に提供すること；
前記メディア・プレーヤ装置が、前記体験選択データ構造の手段により、エントリを前記複数のエントリから選択することを検出すること、ここで、前記エントリは特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；及び
前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記エントリを選択する旨の前記検出に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを提供すること。
（発明１３）
発明１２のシステムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスが更に以下の動作を行う、システム：
前記少なくとも１つの物理的なコンピューティング・デバイスが前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを前記メディア・プレーヤ装置へ提供している間、前記メディア・プレーヤ装置が、前記体験選択データ構造の手段により、異なるエントリを前記複数のエントリから選択することを検出すること、ここで、前記異なるエントリは、異なる特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは異なる特定のバーチャル・リアリティ体験へとカスタマイズされる；及び
前記メディア・プレーヤ装置へ、前記メディア・プレーヤ装置が前記異なるエントリを選択する旨の前記検出に応答して、前記異なるバーチャル・リアリティ体験へとカスタマイズされる前記異なるバーチャル・リアリティ・データセットを提供すること。
（発明１４）
発明１３のシステムであって、以下の特徴を含む、システム：
前記特定のバーチャル・リアリティ体験が前記３Ｄシーンの第１の領域に関連する；
前記異なる特定のバーチャル・リアリティ体験が前記第１の領域とは異なる前記３Ｄシーンの第２の領域に関連する；及び
前記メディア・プレーヤ装置が、前記異なる特定のバーチャル・リアリティ体験へとカスタマイズされる前記異なる特定のバーチャル・リアリティ・データセットに対応する前記異なるエントリを、前記３Ｄシーンの前記第１の領域内の第１の位置から前記３Ｄシーンの前記第２の領域内の第２の位置への前記ユーザのバーチャル・ビューポイントの動きを表すユーザ入力を受信することに応答して、選択すること。
（発明１５）
発明１２のシステムであって、以下の特徴を含む、システム：
前記３Ｄシーンは、現実世界シーンの要素を含み、前記現実世界シーンは、複数のキャプチャ・デバイスによってキャプチャされ、前記複数のキャプチャ・デバイスは、前記現実世界シーンに対して異なるロケーションに配置され、その結果、現実世界シーンの異なるビューをキャプチャし、前記異なるビュー各々は、前記複数のキャプチャ・デバイスにおける異なるキャプチャ・デバイスによってキャプチャされ、そして、前記異なるビュー各々は、複数の表面データ・フレーム・シーケンス内に含まれる異なる表面データ・フレーム・シーケンス内で描写される；
前記複数の表面データ・フレーム・シーケンスが仮想化される表面データ・フレーム・シーケンスを含み、前記仮想化される表面データ・フレーム・シーケンスは、前記現実世界シーンのビューを描写し、前記現実世界シーンのビューは、前記複数のキャプチャ・デバイスによってキャプチャされる前記現実世界シーンの異なるビューとは不揃いである；
前記少なくとも１つの物理的なコンピューティング・デバイスは、更に以下の動作を行う：
前記特定のバーチャル・リアリティ体験を記述するエクスペリエンス・パラメータのセットを特定すること、及び、
前記特定されるエクスペリエンス・パラメータのセットに基づいて、表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセット内に含める目的で選択すること、ここで、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎であり、前記フレーム・シーケンス・サブセットは前記仮想化される表面データ・フレーム・シーケンスを含む；及び
前記少なくとも１つの物理的なコンピューティング・デバイスは、前記体験選択データ構造を生成し、前記生成は、前記体験選択データ構造内に、前記特定のバーチャル・リアリティ・データセットの基礎となる前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの前記選択に基づいて、前記特定のバーチャル・リアリティ・データセットに対応する前記エントリを含めることによる。
（発明１６）
発明１２のシステムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、以下を含む、システム：
第１のサーバであって、前記第１のサーバは、複数の表面データ・フレーム・シーケンス内に含まれる第１の表面データ・フレーム・シーケンスにアクセスし、前記複数の表面データ・フレーム・シーケンスは、それぞれ、前記３Ｄシーンの異なるビューを描写する色彩フレーム及び深度フレームを含む、サーバ；
第２のサーバであって、前記第１のサーバとは別個のサーバであり、前記複数の表面データ・フレーム・シーケンス内に含まれる第２の表面データ・フレーム・シーケンスにアクセスする、サーバ；及び
マネージメント・サーバであって、ネットワークの手段により、前記第１のサーバ及び第２のサーバと通信可能に接続される、サーバ；
ここで：
前記第１のサーバは、前記マネージメント・サーバへ、前記マネージメント・サーバから送信されるリクエストに応答して、第１の個別トランスポート・ストリームの手段により前記第１の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信し、並びに、
前記第２のサーバは、前記マネージメント・サーバへ、前記リクエストに応答して、且つ、前記第１のサーバによる送信に同期して、第２の個別トランスポート・ストリームの手段により前記第２の表面データ・フレーム・シーケンス内に含まれる色彩フレーム及び深度フレームを送信する。
（発明１７）
発明１６のシステムであって、以下の特徴を含む、システム：
前記マネージメント・サーバが：
表面データ・フレーム・シーケンスを、前記複数の表面データ・フレーム・シーケンスから、フレーム・シーケンス・サブセットに含める目的で選択し、前記フレーム・シーケンス・サブセットは、前記特定のバーチャル・リアリティ・データセットの基礎となり、前記表面データ・フレーム・シーケンスは、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンスを含む前記フレーム・シーケンス・サブセットに含める目的で選択される；
前記第１のサーバ及び第２のサーバに、前記フレーム・シーケンス・サブセット内に含める目的での表面データ・フレーム・シーケンスの前記選択に応答して、前記リクエストを送信し、前記リクエストに応答して、前記第１のサーバ及び第２のサーバが同期して前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内にそれぞれ含まれる前記色彩フレーム及び深度フレームを送信し；
前記第１のサーバから、前記ネットワークの手段により、前記第１の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信し；
前記第２のサーバから、前記ネットワークの手段により、且つ、色彩フレーム及び深度フレームの前記第１のサーバからの受信に同期して、前記第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを受信し；並びに、
前記第１のサーバ及び第２のサーバから同期して受信される前記色彩フレーム及び深度フレームをパッケージ化して、追加のトランスポート・ストリームを形成し、前記追加のトランスポート・ストリームは、ビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、前記フレーム・シーケンス・サブセット内に含める目的で選択される前記表面データ・フレーム・シーケンスに対応し；
前記追加のトランスポート・ストリームは、前記メディア・プレーヤ装置へストリーミングを行う目的で構成され；及び
前記特定のバーチャル・リアリティ体験へとカスタマイズされ、前記メディア・プレーヤ装置へ提供される前記特定のバーチャル・リアリティ・データセットは、前記追加のトランスポート・ストリームを含む。
（発明１８）
発明１６のシステムであって、ここで、前記第１の表面データ・フレーム・シーケンス及び第２の表面データ・フレーム・シーケンス内に含まれる前記色彩フレーム及び深度フレームを、前記第１の個別トランスポート・ストリーム及び第２の個別トランスポート・ストリームの手段によりそれぞれ同期して送信することは、以下を含む：
前記第１のサーバが、同期サーバへデータを送信すること、ここで、前記データが示すのは、前記第１の表面データ・フレーム・シーケンス内に含まれる第１の色彩フレーム及び深度フレームが前記第１のサーバによって受信されたことである；
前記第２のサーバが、前記同期サーバへ、データを送信すること、ここで、前記データが示すのは、前記第２の表面データ・フレーム・シーケンス内に含まれ、且つ前記第１の色彩フレーム及び深度フレームに対応する第２の色彩フレーム及び深度フレームが前記第２のサーバによって受信されたことである；
前記第１のサーバ及び第２のサーバが、前記同期サーバから、第１の及び第２の色彩フレーム及び深度フレームが受信されたことを示す前記データの前記送信に応答して、第１の及び第２の色彩フレーム及び深度フレームが同期して送信されるべき範囲の指定のタイムフレームを示すデータを受信すること；並びに、
前記第１のサーバ及び第２のサーバが、前記マネージメント・サーバへ、前記第１の及び第２の色彩フレーム及び深度フレームを、それぞれ、指定のタイムフレーム内に送信すること。
（発明１９）
メディア・プレーヤ装置であって、少なくとも１つ物理的なコンピューティング構成要素を含み、前記コンピューティング構成要素は、以下の動作を行う、メディア・プレーヤ装置：
バーチャル・リアリティ・システムから体験選択データ構造にアクセスすること、ここで、前記体験選択データ構造は前記バーチャル・リアリティ・システムによって生成され、前記メディア・プレーヤ装置が、異なるバーチャル・リアリティ・データセットを処理することによって異なるバーチャル・リアリティ体験をユーザに提供する際に、前記体験選択データ構造内に含まれる複数のエントリからの前記メディア・プレーヤ装置による異なるエントリの動的選択を促進し、前記複数のエントリ各々は異なるバーチャル・リアリティ・データセットに対応し、前記バーチャル・リアリティ・データセットは、３次元の（３Ｄ）シーンに関連する複数のバーチャル・リアリティ体験内に含まれる異なるバーチャル・リアリティ体験へとカスタマイズされる；
前記体験選択データ構造の手段により、エントリを、前記複数のエントリから選択すること、ここで、前記エントリは特定のバーチャル・リアリティ・データセットに対応し、前記特定のバーチャル・リアリティ・データセットは、特定のバーチャル・リアリティ体験へとカスタマイズされる；
前記バーチャル・リアリティ・システムに、前記体験選択データ構造の手段により選択される前記エントリを表すデータを提供すること；
前記バーチャル・リアリティ・システムから、前記エントリを表す前記データの前記提供に応答して、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを受信すること；及び
前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを処理して、前記特定のバーチャル・リアリティ体験を前記ユーザに提供すること。
（発明２０）
発明１９のメディア・プレーヤ装置であって、ここで、前記少なくとも１つ物理的なコンピューティング構成要素は、前記特定のバーチャル・リアリティ体験へとカスタマイズされる前記特定のバーチャル・リアリティ・データセットを、前記メディア・プレーヤ装置を前記バーチャル・リアリティ・システムと通信可能に接続するネットワークの手段を通して、トランスポート・ストリームを受信することにより受信し、ここで、前記トランスポート・ストリームは、複数のビデオ・データ・ストリームを含み、前記ビデオ・データ・ストリームは、表面データ・フレーム・シーケンスのフレーム・シーケンス・サブセットに対応し、表面データ・フレーム・シーケンスは、複数の表面データ・フレーム・シーケンスから選択され、それぞれ、前記３Ｄシーンの異なるビューを描写する。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】