特許 7189895 異なるビデオ・データ・ストリームにおいて、異なる複数のヴァンテージ（Ｖａｎｔａｇｅ）・ポイントから表現されるバーチャル・オブジェクト及び現実世界オブジェクトに基づいて融合現実シーンを生成するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-06

(45)【発行日】2022-12-14

(54)【発明の名称】異なるビデオ・データ・ストリームにおいて、異なる複数のヴァンテージ（Ｖａｎｔａｇｅ）・ポイントから表現されるバーチャル・オブジェクト及び現実世界オブジェクトに基づいて融合現実シーンを生成するための方法及びシステム

(51)【国際特許分類】

   H04N 21/266 20110101AFI20221207BHJP

   H04N 21/2365 20110101ALI20221207BHJP

   H04N 21/235 20110101ALI20221207BHJP

   G06T 15/20 20110101ALI20221207BHJP

   G06T 19/00 20110101ALI20221207BHJP

【ＦＩ】

H04N21/266

H04N21/2365

H04N21/235

G06T15/20 500

G06T19/00 A

【請求項の数】 20

(21)【出願番号】P 2019566170

(86)(22)【出願日】2018-05-24

(65)【公表番号】

(43)【公表日】2020-07-27

(86)【国際出願番号】 US2018034431

(87)【国際公開番号】W WO2018222499

(87)【国際公開日】2018-12-06

【審査請求日】2021-05-18

(31)【優先権主張番号】15/610,573

(32)【優先日】2017-05-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】311006227

【氏名又は名称】ベライゾン・パテント・アンド・ライセンシング・インコーポレイテッド

【氏名又は名称原語表記】ＶＥＲＩＺＯＮ ＰＡＴＥＮＴ ＡＮＤ ＬＩＣＥＮＳＩＮＧ ＩＮＣ．

(74)【代理人】

【識別番号】110000523

【氏名又は名称】アクシス国際弁理士法人

(72)【発明者】

【氏名】ウイリアム・パトリック・ゲルバシオ

(72)【発明者】

【氏名】オリバー・エス・カスタネダ

(72)【発明者】

【氏名】デニー・ブライテンフェルト

【審査官】大西 宏

(56)【参考文献】

【文献】特開平１１－１７７９４６（ＪＰ，Ａ）

【文献】特開２０１１－０８７２６８（ＪＰ，Ａ）

【文献】特開２０１３－０３０８９８（ＪＰ，Ａ）

【文献】特表２０１６－５４０４０１（ＪＰ，Ａ）

【文献】特開２０１７－０７３７９９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０１４０７６１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０１７２６３４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１４８３３９（ＵＳ，Ａ１）

【文献】稲本 奈穂，多視点スポーツ映像からの自由視点映像合成と提示，電子情報通信学会論文誌 （Ｊ８８－Ｄ－ＩＩ） 第８号，日本，社団法人電子情報通信学会，2005年08月01日，第J88-D-II巻，pp.1693-1701

【文献】EDOUARD LAMBORARY et.al.，Real-time streaming of point-based 3D video，IEEE Virtual Reality 2004，米国，IEEE，2004年03月27日，pp.91-98,281，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1310060

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ７／２０ － ７／５６

Ｈ０４Ｎ ２１／００ －２１／８５８

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／６０ －１３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ －１９／２０

Ｇ０６Ｔ １１／００ －１１／４０

Ｇ０６Ｔ １５／００ －１７／００

Ｇ０６Ｔ １７／１０ －１７／３０

(57)【特許請求の範囲】

【請求項1】

以下を含む方法：
融合現実シーン・キャプチャ・システムが、複数の３次元の（３Ｄ）キャプチャ・デバイスから、第１のフレームセットを受信する工程であって、ここで、前記複数の３次元の（３Ｄ）キャプチャ・デバイスは、現実世界シーンの複数の異なるヴァンテージ・ポイントを有するように前記現実世界シーンに対して配置され、前記第１のフレームセットは、第１の複数の表面データ・フレームを含み、各第１の複数の表面データ・フレームは：
同一の特定の時間ポイントで、前記複数の３Ｄキャプチャ・デバイスにおける各３Ｄキャプチャ・デバイスによって、且つ前記複数の異なるヴァンテージ・ポイントにおける各ヴァンテージ・ポイントからキャプチャされ、並びに、
前記各３Ｄキャプチャ・デバイスの前記各ヴァンテージ・ポイントから前記特定の時間ポイントで表面が見えるときの前記現実世界シーン内に含まれる現実世界オブジェクトの前記表面の色彩データ及び深度データを表し；
前記融合現実シーン・キャプチャ・システムが、前記複数の３Ｄキャプチャ・デバイスから受信される前記第１のフレームセットと他の時間ポイントにおいてキャプチャされる複数の他のフレームセットとに基づいて、トランスポート・ストリームを生成する工程であって、前記トランスポート・ストリームは、以下を含む：前記複数の３Ｄキャプチャ・デバイスにおける前記３Ｄキャプチャ・デバイス各々に関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム；並びに、
前記融合現実シーン・キャプチャ・システムが、前記トランスポート・ストリームに基づいて、エンティティ記述データを生成する工程であって、前記エンティティ記述データは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティを表し、前記複数のエンティティは以下を含む：
バーチャル・オブジェクトであって、前記バーチャル・オブジェクトの表面の色彩データ及び深度データへのリンクによって、前記エンティティ記述データにおいて少なくとも部分的に定義されるバーチャル・オブジェクト、ここで、前記バーチャル・オブジェクトの前記表面の前記色彩データ及び深度データは、前記融合現実シーン・キャプチャ・システムと通信可能に接続される資産ストレージ・システム内に記憶される；
前記現実世界オブジェクトであって、前記複数の３Ｄキャプチャ・デバイスから受信される前記第１のフレームセットと前記複数の他のフレームセットとに基づいて生成される前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリーム内に含まれる前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データへのリンクによって、前記エンティティ記述データにおいて少なくとも部分的に定義される前記現実世界オブジェクト、並びに、
第２の複数の表面データ・フレームを含む第２のフレームセットがレンダリングされる前記３Ｄ空間への複数のバーチャル・ビューポイント、ここで、前記第２の複数の表面データ・フレームは、前記融合現実シーンの前記３Ｄ空間内に含まれる前記バーチャル・オブジェクト及び前記現実世界オブジェクトの両方の前記表面の前記色彩データ及び前記深度データを表す。

【請求項2】

請求項１の方法であって、更に、以下を含む、方法：
前記融合現実シーン・キャプチャ・システムが、前記複数のエンティティを表す前記エンティティ記述データに基づいて、エンティティ記述フレームを生成する工程であって、前記エンティティ記述フレームは、特定の時系列ポイントで前記融合現実シーンの前記３Ｄ空間内に含まれる前記複数のエンティティにおけるエンティティの状態を表す；並びに、
前記融合現実シーン・キャプチャ・システムが、前記エンティティ記述フレームを、コンテンツ提供システムに関連する複数の３Ｄレンダリング・エンジンに提供する工程であって、前記複数の３Ｄレンダリング・エンジンにおける各３Ｄレンダリング・エンジンは、前記３Ｄ空間への前記複数のバーチャル・ビューポイントからの異なるバーチャル・ビューポイントに関連し、且つ、前記エンティティ記述フレームに基づいて、前記第２の複数の表面データ・フレーム内に含まれる異なる表面データ・フレームをレンダリングするように構成される。

【請求項3】

請求項２の方法であって、更に、以下を含む、方法：
前記複数の３Ｄレンダリング・エンジンと通信可能に接続されるビデオ・データ・パッケージング・システムが、前記第２の複数の表面データ・フレームを含む前記第２のフレームセットと、追加の複数の表面データ・フレームをそれぞれ含む追加のフレームセットとに基づいて、別のトランスポート・ストリームを生成する工程であって、前記別のトランスポート・ストリームは、前記複数のバーチャル・ビューポイントにおける各バーチャル・ビューポイントに関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含む；並びに、
前記ビデオ・データ・パッケージング・システムが、ストリーミング目的で、前記別のトランスポート・ストリームを、ユーザに関連するクライアント・サイド・メディア・プレーヤ装置に提供する工程であって、前記クライアント・サイド・メディア・プレーヤ装置は、以下の動作を行うように構成される：前記別のトランスポート・ストリーム内に含まれる前記各バーチャル・ビューポイントに関する前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリームに基づいて、前記融合現実シーンの前記３Ｄ空間の３Ｄ表現を生成すること、ここで、前記３Ｄ表現は、前記ユーザが選択する動的に選択可能なバーチャル・ビューポイントから前記ユーザによって体験され、且つ、前記融合現実シーンの前記３Ｄ空間内の任意のバーチャル・ロケーションに対応する。

【請求項4】

請求項１の方法であって、ここで、前記現実世界オブジェクトを表す前記エンティティ記述データの前記生成は、以下を含む、方法：
前記第１のフレームセットと前記複数の他のフレームセットとに基づいて生成される前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリームに基づいて、前記現実世界シーン内に含まれる前記現実世界オブジェクトの３Ｄ表現を生成すること、；並びに、
前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データへの前記リンクを、前記現実世界オブジェクトの前記３Ｄ表現へのポインタとして生成すること、ここで、前記リンクは、前記エンティティ記述データにおいて前記現実世界オブジェクトを少なくとも部分的に定義する。

【請求項5】

請求項１の方法であって、更に、以下を含む、方法：
前記融合現実シーン・キャプチャ・システムが、シーン制御システムからコマンドを受信する工程、ここで、前記コマンドは前記複数のエンティティを表す前記エンティティ記述データを変更するためのコマンドである；及び、
前記融合現実シーン・キャプチャ・システムが、前記コマンドの前記受信に応答して、前記コマンドに従って、前記複数のエンティティを表す前記エンティティ記述データを変更する工程。

【請求項6】

請求項１の方法であって、ここで、前記複数のエンティティを表す前記エンティティ記述データの前記生成は、以下を生成することを含む：前記融合現実シーンの前記３Ｄ空間内に含まれる前記バーチャル・オブジェクトと前記融合現実シーンの前記３Ｄ空間内に含まれる前記現実世界オブジェクトとの間のバーチャル相互作用、ここで、前記バーチャル相互作用は、物理ベースのオブジェクト行動及び人工知能ベース（ＡＩベース）のオブジェクト行動のうち少なくとも１つに基づく。

【請求項7】

請求項１の方法であって、更に、以下を含む、方法：
前記融合現実シーン・キャプチャ・システムが前記第１のフレームセットに関連するメタデータを受信する工程、前記メタデータは、前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データを、前記特定の時間ポイントでの前記現実世界シーン内に含まれる追加の現実世界オブジェクトの他の表面を表す他の色彩データ及び他の深度データとは異ならせるものである；
ここで、
前記エンティティ記述データが生成される前記融合現実シーンの前記３Ｄ空間内に含まれる前記複数のエンティティは、更に、前記追加の現実世界オブジェクトを含み、
前記追加の現実世界オブジェクトは、前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリーム内に含まれる前記追加の現実世界オブジェクトの前記他の表面を表す前記他の色彩データ及び前記他の深度データへのリンクによって、前記エンティティ記述データにおいて少なくとも部分的に定義され、並びに、
前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データへの前記リンク、並びに、前記追加の現実世界オブジェクトの前記他の表面を表す前記他の色彩データ及び前記他の深度データへの前記リンクは、前記メタデータに基づき、前記メタデータは、前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データを、前記追加の現実世界オブジェクトの前記他の表面を表す前記他の色彩データ及び前記他の深度データとは異ならせる。

【請求項8】

請求項１の方法であって、ここで、前記現実世界シーンの前記複数の前記異なるヴァンテージ・ポイントの第１の空間構成は、前記融合現実シーンの前記３Ｄ空間への前記複数の前記バーチャル・ビューポイントの第２の空間構成から独立している、方法。

【請求項9】

請求項１の方法であって、ここで、前記第１のフレームセットの前記受信、前記トランスポート・ストリームの前記生成、及び、前記エンティティ記述データの前記生成は、前記現実世界シーン内でイベントが発生したときに、前記融合現実シーン・キャプチャ・システムによって、リアルタイムでそれぞれ実行される。

【請求項10】

請求項１の方法であって、少なくとも１つの非一時的コンピュータ可読媒体上にコンピュータ実行可能インストラクションとして記憶される、該方法。

【請求項11】

融合現実シーン・キャプチャ・システムであって、以下を含む、システム：
複数の３次元の（３Ｄ）キャプチャ・デバイス、ここで、前記複数の３次元の（３Ｄ）キャプチャ・デバイスは、現実世界シーンの複数の異なるヴァンテージ・ポイントを有するように前記現実世界シーンに対して配置され、前記複数の３次元の（３Ｄ）キャプチャ・デバイスにより、前記現実世界シーン内に含まれる現実世界オブジェクトを表すデータをキャプチャする；
バーチャル・オブジェクトの表面を表す色彩データ及び深度データを記憶する資産ストレージ・システム；
前記資産ストレージ・システムと通信可能に接続される複数のサーバ・サイド３Ｄレンダリング・エンジン；並びに、
前記複数の３Ｄキャプチャ・デバイス、前記資産ストレージ・システム、及び、前記複数のサーバ・サイド３Ｄレンダリング・エンジンと通信可能に接続されるエンティティ・ステート・トラッキング・システム、ここで、前記エンティティ・ステート・トラッキング・システムは、前記現実世界シーン内でイベントが発生したときにリアルタイムで、以下の動作を行うように構成される：
前記複数の３Ｄキャプチャ・デバイスから、第１のフレームセットを受信すること、ここで、前記第１のフレームセットは、第１の複数の表面データ・フレームを含み、前記第１の複数の表面データ・フレームは、前記現実世界オブジェクトの表面を表す；
前記複数の３Ｄキャプチャ・デバイスから受信される前記第１のフレームセットと、複数の他のフレームセットとに基づいて、トランスポート・ストリームを生成すること、ここで、前記トランスポート・ストリームは、前記複数の３Ｄキャプチャ・デバイスにおける前記３Ｄキャプチャ・デバイス各々に関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含む；
前記トランスポート・ストリームと前記資産ストレージ・システムに記憶される前記色彩データ及び深度データとに基づいて、エンティティ記述データを生成すること、ここで、前記エンティティ記述データは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティを表し、前記複数のエンティティは以下を含む：
前記資産ストレージ・システムに記憶される前記色彩データ及び前記深度データによって表される前記バーチャル・オブジェクト；
前記現実世界オブジェクトの前記表面を表し、且つ前記第１のフレームセット内に含まれる前記第１の複数の表面データ・フレームによって表される前記現実世界オブジェクト、並びに、
前記融合現実シーンの前記３Ｄ空間への複数のバーチャル・ビューポイント、
前記複数のエンティティを表す前記エンティティ記述データに基づいて、エンティティ記述フレームを生成すること、ここで、前記エンティティ記述フレームは、時系列での特定のポイントでの、前記融合現実シーンの前記３Ｄ空間内に含まれる前記複数のエンティティにおけるエンティティの状態を表す；並びに、
前記エンティティ記述フレームを前記複数のサーバ・サイド３Ｄレンダリング・エンジンに提供すること、ここで、前記複数のサーバ・サイド３Ｄレンダリング・エンジンにおける各３Ｄレンダリング・エンジンは、前記３Ｄ空間への前記複数のバーチャル・ビューポイントからの異なるバーチャル・ビューポイントに関連し、そして、各３Ｄレンダリング・エンジンは、前記エンティティ記述フレームに基づいて、異なる表面データ・フレームをレンダリングするように構成され、前記異なる表面データ・フレームは、第２のフレームセットの第２の複数の表面データ・フレーム内に含まれ、そして、前記時系列で前記特定のポイントでの前記異なるバーチャル・ビューポイントからの前記融合現実シーンの前記３Ｄ空間のビューを表す。

【請求項12】

融合現実シーン・キャプチャ・システムであって、以下を含む、システム：
以下の動作を行う少なくとも１つの物理的なコンピューティング・デバイス：
現実世界シーンの複数の異なるヴァンテージ・ポイントを有するように前記現実世界シーンに対して配置される複数の３次元の（３Ｄ）キャプチャ・デバイスから、第１のフレームセットを受信すること、ここで、前記第１のフレームセットは、第１の複数の表面データ・フレームを含み、前記第１の複数の表面データ・フレームは、それぞれ：
同一の特定の時間ポイントで、前記複数の３Ｄキャプチャ・デバイスにおける各３Ｄキャプチャ・デバイスによって、且つ前記複数の異なるヴァンテージ・ポイントにおける各ヴァンテージ・ポイントからキャプチャされ；並びに、
前記各３Ｄキャプチャ・デバイスの前記各ヴァンテージ・ポイントから前記特定の時間ポイントで表面が見えるときの前記現実世界シーン内に含まれる現実世界オブジェクトの前記表面の色彩データ及び深度データを表し；
前記複数の３Ｄキャプチャ・デバイスから受信される前記第１のフレームセットと他の時間ポイントにおいてキャプチャされる複数の他のフレームセットとに基づいて、トランスポート・ストリームを生成すること、ここで、前記トランスポート・ストリームは、前記複数の３Ｄキャプチャ・デバイスにおける前記３Ｄキャプチャ・デバイス各々に関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含む；並びに、
前記トランスポート・ストリームに基づいて、エンティティ記述データを生成すること、ここで、前記エンティティ記述データは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティを表し、前記複数のエンティティは以下を含む：
バーチャル・オブジェクトであって、前記バーチャル・オブジェクトの表面の色彩データ及び深度データへのリンクによって前記エンティティ記述データにおいて少なくとも部分的に定義されるバーチャル・オブジェクト、ここで、前記バーチャル・オブジェクトの前記表面の前記色彩データ及び深度データは、前記融合現実シーン・キャプチャ・システムと通信可能に接続される資産ストレージ・システム内に記憶される；
前記現実世界オブジェクトであって、前記複数の３Ｄキャプチャ・デバイスから受信される前記第１のフレームセットと前記複数の他のフレームセットとに基づいて生成される前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリーム内に含まれる前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データへのリンクによって、エンティティ記述データにおいて少なくとも部分的に定義される、現実世界オブジェクト；
第２の複数の表面データ・フレームを含む第２のフレームセットがレンダリングされる前記３Ｄ空間への複数のバーチャル・ビューポイント、ここで、前記第２の複数の表面データ・フレームは、前記融合現実シーンの前記３Ｄ空間内に含まれる前記バーチャル・オブジェクト及び前記現実世界オブジェクトの両方の前記表面の前記色彩データ及び前記深度データを表す。

【請求項13】

請求項１２の融合現実シーン・キャプチャ・システムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、更に以下の動作を行う、システム：
前記複数のエンティティを表す前記エンティティ記述データに基づいて、エンティティ記述フレームを生成すること、ここで、前記エンティティ記述フレームは、時系列での特定のポイントでの、前記融合現実シーンの前記３Ｄ空間内に含まれる前記複数のエンティティにおけるエンティティの状態を表す；並びに、
前記エンティティ記述フレームを、コンテンツ提供システムに関連する複数の３Ｄレンダリング・エンジンに提供すること、ここで、前記複数の３Ｄレンダリング・エンジンにおける各３Ｄレンダリング・エンジンは、前記３Ｄ空間への前記複数のバーチャル・ビューポイントからの異なるバーチャル・ビューポイントに関連し、且つ、前記エンティティ記述フレームに基づいて、前記第２の複数の表面データ・フレーム内に含まれる異なる表面データ・フレームをレンダリングするように構成される。

【請求項14】

請求項１３の融合現実シーン・キャプチャ・システムであって、ここで、前記複数の３Ｄレンダリング・エンジンは、ビデオ・データ・パッケージング・システムと通信可能に接続され、前記ビデオ・データ・パッケージング・システムは、以下の動作を行う、システム：
前記第２の複数の表面データ・フレームを含む前記第２のフレームセットと、追加の複数の表面データ・フレームをそれぞれ含む追加のフレームセットとに基づいて、別のトランスポート・ストリームを生成すること、ここで、前記別のトランスポート・ストリームは、前記複数のバーチャル・ビューポイントにおける各バーチャル・ビューポイントに関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含む；並びに、
ストリーミング目的で、前記別のトランスポート・ストリームを、ユーザに関連するクライアント・サイド・メディア・プレーヤ装置に提供すること、ここで、前記クライアント・サイド・メディア・プレーヤ装置は、以下の動作を行うように構成される：前記別のトランスポート・ストリーム内に含まれる前記各バーチャル・ビューポイントに関する前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリームに基づいて、前記融合現実シーンの前記３Ｄ空間の３Ｄ表現を生成し、ここで、前記３Ｄ表現は、前記ユーザが選択する動的に選択可能なバーチャル・ビューポイントから前記ユーザによって体験され、且つ、前記融合現実シーンの前記３Ｄ空間内の任意のバーチャル・ロケーションに対応する。

【請求項15】

請求項１２の融合現実シーン・キャプチャ・システムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、前記現実世界オブジェクトを表す前記エンティティ記述データを、以下によって生成する、システム：
前記第１のフレームセットと前記複数の他のフレームセットとに基づいて生成される前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリームに基づいて、前記現実世界シーン内に含まれる前記現実世界オブジェクトの３Ｄ表現を生成すること；並びに、
前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データへの前記リンクを、前記現実世界オブジェクトの前記３Ｄ表現へのポインタとして生成することであって、前記リンクは、前記エンティティ記述データにおいて前記現実世界オブジェクトを少なくとも部分的に定義する。

【請求項16】

請求項１２の融合現実シーン・キャプチャ・システムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、更に以下の動作を行う、システム：
シーン制御システムからコマンドを受信すること、ここで、前記コマンドは前記複数のエンティティを表す前記エンティティ記述データを変更するためのコマンドである；及び、
前記コマンドの前記受信に応答して、前記複数のエンティティを表す前記エンティティ記述データを、前記コマンドに従って変更すること。

【請求項17】

請求項１２の融合現実シーン・キャプチャ・システムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、前記複数のエンティティを表す前記エンティティ記述データを生成し、前記生成は、前記融合現実シーンの前記３Ｄ空間内に含まれる前記バーチャル・オブジェクトと前記融合現実シーンの前記３Ｄ空間内に含まれる前記現実世界オブジェクトとの間のバーチャル相互作用の生成によるものであり、前記バーチャル相互作用は、物理ベースのオブジェクト行動及び人工知能ベース（ＡＩベース）のオブジェクト行動のうち少なくとも１つに基づく、システム。

【請求項18】

請求項１２の融合現実シーン・キャプチャ・システムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、更に以下の動作を行う、システム：
前記第１のフレームセットに関連するメタデータを受信すること、ここで、前記メタデータは、前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データを、前記特定の時間ポイントでの前記現実世界シーン内に含まれる追加の現実世界オブジェクトの他の表面を表す他の色彩データ及び他の深度データとは異ならせるものである；
ここで：
前記エンティティ記述データが生成される前記融合現実シーンの前記３Ｄ空間内に含まれる前記複数のエンティティは、更に、前記追加の現実世界オブジェクトを含み；
前記追加の現実世界オブジェクトは、前記色彩ビデオ・データ・ストリーム及び前記深度ビデオ・データ・ストリーム内に含まれる前記追加の現実世界オブジェクトの前記他の表面を表す前記他の色彩データ及び前記他の深度データへのリンクによって、前記エンティティ記述データにおいて少なくとも部分的に定義され；並びに、
前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データへの前記リンク、並びに、前記追加の現実世界オブジェクトの前記他の表面を表す前記他の色彩データ及び前記他の深度データへの前記リンクは、前記メタデータに基づき、前記メタデータは、前記現実世界オブジェクトの前記表面の前記色彩データ及び前記深度データを、前記追加の現実世界オブジェクトの前記他の表面を表す前記他の色彩データ及び前記他の深度データとは異ならせる。

【請求項19】

請求項１２の融合現実シーン・キャプチャ・システムであって、ここで、前記現実世界シーンの前記複数の前記異なるヴァンテージ・ポイントの第１の空間構成は、前記融合現実シーンの前記３Ｄ空間への前記複数の前記バーチャル・ビューポイントの第２の空間構成から独立している、システム。

【請求項20】

請求項１２の融合現実シーン・キャプチャ・システムであって、ここで、前記少なくとも１つの物理的なコンピューティング・デバイスは、前記現実世界シーン内でイベントが発生したときにリアルタイムで、前記第１のフレームセットを受信し、前記トランスポート・ストリームを生成し、及び、前記エンティティ記述データを生成する、システム。

【発明の詳細な説明】

【背景技術】

【0001】

関連出願
本願は、２０１７年５月３１日に出願され、「ＭＥＴＨＯＤＳ ＡＮＤ ＳＹＳＴＥＭＳ ＦＯＲ ＧＥＮＥＲＡＴＩＮＧ Ａ ＭＥＲＧＥＤ ＲＥＡＬＩＴＹ ＳＣＥＮＥ ＢＡＳＥＤ ＯＮ Ａ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴ ＡＮＤ ＯＮ Ａ ＲＥＡＬ－ＷＯＲＬＤ ＯＢＪＥＣＴ ＲＥＰＲＥＳＥＮＴＥＤ ＦＲＯＭ ＤＩＦＦＥＲＥＮＴ ＶＡＮＴＡＧＥ ＰＯＩＮＴＳ ＩＮ ＤＩＦＦＥＲＥＮＴ ＶＩＤＥＯ ＤＡＴＡ ＳＴＲＥＡＭＳ」と題され、その全体が参照により本明細書に組み込まれている米国特許出願第１５／６１０，５７３号に対する優先権を主張する。

【0002】

人々は、バーチャル３次元（「３Ｄ」）空間（例えば、以下に基づいて：バーチャル・オブジェクトを含むバーチャル・シーン、現実世界オブジェクトを含む現実世界シーン、バーチャル・オブジェクト及び現実世界オブジェクトの両方を含む融合現実シーン等）を、様々な理由で、様々なタイプの応用に関連して、体験することができる。例えば、バーチャル３Ｄ空間の表現を提示するように構成されるメディア・プレーヤ装置のユーザは、娯楽目的、教育目的、長距離通信目的、他人に置き換えたような体験／旅行目的、又は、様々な他の目的及び／若しくは応用に関連して、バーチャル３Ｄ空間を体験することができる。

【0003】

バーチャル・リアリティは、ユーザがバーチャル３Ｄ空間を体験する応用の一例である。バーチャル・リアリティ・メディア・コンテンツは、ユーザ（即ち、バーチャル・リアリティ・メディア・コンテンツの閲覧者）を相互的なバーチャル・リアリティ世界に没入させるために使用することができ、ユーザーは、同時に、没入型バーチャル・リアリティ世界に提示される任意の様々な物に注意を向けることによって、当該世界を体験することができる。例えば、バーチャル・リアリティ・メディア・コンテンツを提示する最中の任意の時間において、バーチャル・リアリティ・メディア・コンテンツを体験するユーザは、任意の方向に没入型バーチャル・リアリティ世界の周囲を見渡すことができ、ユーザにある感覚をもたらし、その感覚とは、ユーザが、没入型バーチャル・リアリティ世界内の特定のロケーション及び視界（例えば、角度、ビュー・ポイント等）からの没入型バーチャル・リアリティ世界に実際に存在し、そして、体験するという感覚である。

【0004】

幾つかの例において、没入型バーチャル・リアリティ世界は、以下を含むことができる：バーチャル要素及び現実世界要素の両方。こうしたバーチャル３Ｄ空間は、融合現実シーンを意味することができ、そして、様々な利点をユーザにもたらすことができる（例えば、ユーザが、現実世界には存在しないバーチャル要素によって増強される現実世界要素（例えば、ライブ・イベントに関連する要素）を体験することを可能にする等）。

【発明の概要】

【発明が解決しようとする課題】

【0005】

最大限柔軟に融合現実シーンをユーザに体験させるために、従来のメディア・プレーヤ装置は、典型的には、融合現実シーンを表すデータ（例えば、バーチャル・オブジェクト及び現実世界オブジェクトの３Ｄモデル）を受信し、その後、ユーザが融合現実シーンを体験する。残念ながら、データをストリーミングするのではなく、プレロードすることの要求は、ユーザに提供することができる特定のタイプの体験について、除外するか、又は著しい制限を課す可能性がある。例えば、ライブ・イベントを表すデータについていえば、以下の点が不可能になるであろう：イベントが開始するよりも前に受信及びプレロードされるべきものをユーザがリアルタイムで体験すること（例えば、ライブの現実世界のスポーツイベント、共有バーチャル・リアリティ・イベント等）。

【0006】

更には、メディア・プレーヤ装置及び／又はデータをストリーミングする他のシステム・コンポーネントは、より大きな又は更に詳細な融合現実シーンを提示するようにスケール調整を行うことができないような負荷を処理するようにタスクが付与される可能性がある。例えば、著しい量の追加データ（例えば、約２倍の量のデータ）が、融合現実シーンに関する３Ｄモデルを表現するのに必要となる可能性がある（例えば、５オブジェクトの融合現実シーンと比較して、例えば、１０オブジェクト）。従って、例えば、プロバイダ・システムが、５オブジェクトに関する３Ｄモデルをメディア・プレーヤ装置にリアルタイムでストリーミングできる能力があったとしても、プロバイダ・システムは、１０オブジェクト、１００オブジェクト、又はそれ以上に関する３Ｄモデルをストリーミングするようにスケールアップすることができない可能性がある（特に、融合現実シーン内の現実世界オブジェクト及びバーチャル・オブジェクトが互いに相互作用する場合）。

【図面の簡単な説明】

【0007】

添付図面は様々な実施形態を示し、本明細書の一部である。示した実施形態は例示にすぎず、本開示の範囲を限定する物ではない。図面を通して、同一の又は類似の参照番号は、同一又は類似の要素を示す。

【0008】

【図1】図１は、例示的な融合現実シーン・キャプチャ・システムを示し、前記システムは、融合現実シーンを生成するための物であり、前記生成は、本明細書に記載の原理に従い、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づく。

【0009】

【図2】図２は、例示的な構成を示し、ここで、図１の融合現実シーン・キャプチャ・システムは、本明細書に記載の原理に従って、複数の３次元の（「３Ｄ」）キャプチャ・デバイスと共同で動作し、例示的な現実世界シーンを表すデータをキャプチャし、前記現実世界シーンは、例示的な現実世界オブジェクトを含む。

【0010】

【図3A】図３Ａは、本明細書に記載の原理に従った例示的な３Ｄキャプチャ・デバイスを示し、前記３Ｄキャプチャ・デバイスは、図２の現実世界オブジェクトを表す表面データ・フレームを、キャプチャする。

【0011】

【図3B】図３Ｂは、本明細書に記載の原理に従った色彩データの例示的なグラフィカルな描写を示し、前記色彩データは、表面データ・フレームにおいて表現され、前記表面データ・フレームは、図３Ａの３Ｄキャプチャ・デバイスによって、キャプチャされる。

【0012】

【図3C】図３Ｃは、本明細書に記載の原理に従った深度データの例示的なグラフィカルな描写を示し、前記深度データは、表面データ・フレームにおいて表現され、前記表面データ・フレームは、図３Ａの３Ｄキャプチャ・デバイスによって、キャプチャされる。

【0013】

【図4】図４は、本明細書に記載の原理に従った例示的な複数のフレームセットを示し、各フレームセットは、複数の例示的な表面データ・フレームをそれぞれ含み、前記表面データ・フレームは、図２の３Ｄキャプチャ・デバイスによってキャプチャされ、異なるヴァンテージ・ポイントからの図２の現実世界シーンを表現する。

【0014】

【図5】図５は、本明細書に記載の原理に従った例示的な色彩ビデオ・データ・ストリーム及び例示的な深度ビデオ・データ・ストリームを表し、両方とも、表面データ・フレームに基づき、前記表面データ・フレームは、図２の特定の３Ｄキャプチャ・デバイスによってキャプチャされ、特定のヴァンテージ・ポイントからの図２の現実世界シーンを表現する。

【0015】

【図6】図６は、本明細書に記載の原理に従った例示的なトランスポート・ストリームを示し、前記トランスポート・ストリームは、図４からの色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを、他の色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームと共に含む。

【0016】

【図7】図７は、例示的な構成を示し、ここで、図１の融合現実シーン・キャプチャ・システムは、本明細書に記載の原理に従って、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて、融合現実シーンの生成を促進する。

【0017】

【図8】図８は、本明細書に記載の原理に従った例示的な融合現実シーンを示し、前記融合現実シーンは、以下を含む：例示的な複数のエンティティ（例えば、バーチャル・オブジェクト、現実世界オブジェクト、及び、融合現実シーンの例示的な３Ｄ空間への複数のバーチャル・ビューポイント）。

【0018】

【図9】図９は、本明細書に記載の原理に従った例示的なエンティティ記述フレームを示し、前記エンティティ記述フレームは、図１の融合現実シーン・キャプチャ・システムによって生成されてもよい。

【0019】

【図10】図１０は、本明細書に記載の原理に従った複数の例示的な３次元の（「３Ｄ」）レンダリング・エンジンを示し、前記レンダリング・エンジンは、は、表面データ・フレームをレンダリングし、前記表面データ・フレームは、以下を表す：図８の融合現実シーンの３Ｄ空間内に含まれるバーチャル・オブジェクト及び現実世界オブジェクトの表面の色彩データ及び深度データ。

【0020】

【図11】図１１は、本明細書に記載の原理に従った例示的な複数のフレームセットを示し、各フレームセットは、複数の例示的な表面データ・フレームをそれぞれ含み、前記表面データ・フレームは、図１０の３Ｄレンダリング・エンジンによってレンダリングされる。

【0021】

【図12】図１２は、本明細書に記載の原理に従った例示的な構成を示し、ここで、例示的なバーチャル・リアリティ・メディア・コンテンツ提供システムは、バーチャル・リアリティ・メディア・コンテンツを生成し、前記コンテンツは、ネットワークの手段により、例示的なクライアント・サイド・メディア・プレーヤ装置に提供され、前記装置は、融合現実シーンを体験するユーザによって使用される。

【0022】

【図13】図１３は、本明細書に記載の原理に従った様々な例示的なタイプのメディア・プレーヤ装置を示し、当該装置は、バーチャル・リアリティ・メディア・コンテンツを体験するユーザによって使用することができる。

【0023】

【図14】図１４は、本明細書に記載の原理に従った例示的なバーチャル・リアリティ体験を示し、ここで、ユーザには、例示的なバーチャル・リアリティ・メディア・コンテンツが提示され、当該コンテンツは、融合現実シーンを表し、前記融合現実シーンは、融合現実シーンに関する例示的な任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから体験される。

【0024】

【図15】図１５は、本明細書に記載の原理に従った例示的な方法を示し、前記方法は、融合現実シーンを、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて生成するためのものである。

【0025】

【図16】図１６は、本明細書に記載の原理に従った例示的なコンピューティング・デバイスを示す。

【発明を実施するための形態】

【0026】

異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて、融合現実シーンを生成するための方法及びシステムについて、本明細書にて説明する。例えば、より詳細に後述するが、融合現実シーン・キャプチャ・システムは、第１のフレームセットを受信することができ、前記第１のフレームセットは、第１の複数の表面データ・フレームを含むことができ、前記第１の複数の表面データ・フレームは、複数の３次元の（「３Ｄ」）キャプチャ・デバイスからのものであってもよく、前記キャプチャ・デバイスは、現実世界シーンの複数の異なるヴァンテージ・ポイントを有するように現実世界シーンに対して配置されてもよい。第１の複数の表面データ・フレームにおける各表面データ・フレームは、同一の特定の時間ポイントで、複数の３Ｄキャプチャ・デバイスにおける各３Ｄキャプチャ・デバイスによってキャプチャされてもよい。更には、各表面データ・フレームは、複数の異なるヴァンテージ・ポイントにおける異なる各ヴァンテージ・ポイントからキャプチャされてもよい。従って、各表面データ・フレームは、現実世界シーン内に含まれる１以上の現実世界オブジェクトの表面の色彩データ及び深度データを表現してもよく、前記表現は、各３Ｄキャプチャ・デバイスの各ヴァンテージ・ポイントから特定の時間ポイントで見えるときの表面に関するものであってもよい。

【0027】

複数の３Ｄキャプチャ・デバイスから受信される第１のフレームセットに基づいて、並びに、他の時間ポイント（例えば、連続的な時系列における以前のポイント及び／又は以降のポイント）においてキャプチャされる複数の他のフレームセットに基づいて、融合現実シーン・キャプチャ・システムは、トランスポート・ストリームを生成してもよい。例えば、トランスポート・ストリームは、以下を含むことができる：複数の３Ｄキャプチャ・デバイスにおける３Ｄキャプチャ・デバイス各々に関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム（例えば、色彩ビデオ・データ及び深度ビデオ・データを表現し、それぞれ、３Ｄキャプチャ・デバイスの各ヴァンテージ・ポイントから、連続的な時系列にわたって見える）。

【0028】

トランスポート・ストリームに基づいて、融合現実シーン・キャプチャ・システムは、エンティティ記述データを生成（例えば、生成（クリエイト）、アップデート等）することができ、前記エンティティ記述データは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティを表すことができる。例えば、複数のエンティティは、以下を含むことができる：バーチャル・オブジェクトであって、前記バーチャル・オブジェクトは、エンティティ記述データにおいて、バーチャル・オブジェクトの表面の色彩データ及び深度データへのリンクによって少なくとも部分的に定義されてもよく、前記色彩データ及び深度データは、融合現実シーン・キャプチャ・システムと通信可能に接続される資産ストレージ・システム内に記憶されてもよい。複数のエンティティは、更に以下を含むことができる：現実世界オブジェクトであって、前記現実世界オブジェクトは、エンティティ記述データにおいて、現実世界オブジェクトの表面の色彩データ及び深度データへのリンクによって、順番に少なくとも部分的に定義されてもよく、前記色彩データ及び深度データは、色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム（即ち、複数の３Ｄキャプチャ・デバイスから受信される第１のフレームセットと、複数の他のフレームセットとに基づいて生成されるビデオ・データ・ストリーム）内に含まれてもよい。更には、複数のエンティティは、以下を含むことができる：第２の複数の表面データ・フレームを含む第２のフレームセットがレンダリングされる前記３Ｄ空間への複数のバーチャル・ビューポイント。例えば、第２のフレームセット内に含まれる第２の複数の表面データ・フレームは、融合現実シーン・キャプチャ・システムと通信可能に接続される複数のサーバ・サイド３Ｄレンダリング・エンジンによってレンダリングされてもよく、前記第２の複数の表面データ・フレームは、融合現実シーンの３Ｄ空間内に含まれるバーチャル・オブジェクト及び現実世界オブジェクトの両方の表面の色彩データ及び深度データを表してもよい。

【0029】

異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて、融合現実シーンを生成するための本明細書に記載のシステム及び方法は、様々な長所及び利点を提供することができる。一例として、本明細書に記載のシステム及び方法は、バーチャル３Ｄ空間の表現を提示するように構成されるメディア・プレーヤ装置のユーザに対して、メディア・プレーヤ装置を使用したバーチャル３Ｄ空間の体験を促進することができる。本明細書で使用するが、「３Ｄ空間」は、環境又は世界の３Ｄ表現（例えば、完全に仮想化された表現、又は、現実世界要素の再現に少なくとも部分的に基づく表現）を意味してもよく、前記環境又は世界は、ユーザが現実世界を体験するのと同様の方法でユーザが体験することができる。例えば、バーチャル・シーン又は融合現実シーンを体験するユーザは、３Ｄ空間内の周辺を動き回ることができ、並びに、３Ｄ空間内に含まれるオブジェクトを見たり、及び／又は、３Ｄ空間内に含まれるオブジェクトと相互作用することができる。幾つかの例において、３Ｄ空間は、完全に仮想化されてもよく（例えば、コンピュータで生成される）、及び、現実世界シーンを表現するのと同様の方法で表現されてもよい。他の例において、３Ｄ空間は、現実世界シーンからキャプチャされる１以上の現実世界オブジェクトに少なくとも部分的に基づいてもよい。

【0030】

いずれのケースにおいても、本明細書に記載のシステム及び方法は、全体として、プロバイダ・システムからの、融合現実シーン（即ち、現実世界オブジェクト及びバーチャル・オブジェクトの両方を含むシーンのバーチャル３Ｄ空間）の３Ｄ空間のストリーミングを促進することができ、その結果、３Ｄ空間並びに前記３Ｄ空間内に含まれるバーチャル・オブジェクト及び現実世界オブジェクトを表すデータは、メディア・プレーヤ装置のユーザによって３Ｄ空間を体験するよりも前に、メディア・プレーヤ装置にプレロード又は記憶する必要がない。メディア・プレーヤ装置にとって融合現実シーンを提示するのに必要となる全てのデータはメディア・プレーヤ装置にストリーミングされてもよく、その結果、融合現実シーン・コンテンツを表すデータは、融合現実シーンをユーザに提示するよりも前に、ダウンロード、記憶、又はアクセス（例えば、ローカルな物理的なストレージの手段により）する必要がない。幾つかの例において、こうしたストリーミング能力は、融合現実シーンにおいてイベントが発生したときに、リアルタイムで、ユーザが、時間にセンシティブなコンテンツに関連する融合現実シーン（例えば、リアルタイムで発生する現実世界イベント又はバーチャル・イベント）を体験することを可能にすることができる。

【0031】

更には、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて、融合現実シーンを生成するための本明細書に記載のシステム及び方法は、融合現実シーンを表すバーチャル・リアリティ・メディア・コンテンツを、メディア・プレーヤ装置に提供することを促進し、その結果、バーチャル・リアリティ・メディア・コンテンツを、３Ｄ空間内の任意のバーチャル・ロケーション及び動的に選択可能なバーチャル・ビューポイントからレンダリングすることができる。具体的には、より詳細に後述するが、異なるバーチャル・ビューポイントからの融合現実シーンのフレームをレンダリングすることによって、融合現実シーン・キャプチャ・システム、及び／又は、前記融合現実シーン・キャプチャ・システムに関連する他のサーバ・サイド・システムは、データ・パイプライン内にフレームを含むことができ、当該データは、メディア・プレーヤ装置に対して以下を可能にするように構成されてもよい：３次元において、複数の２次元（「２Ｄ」）ビデオ・ストリームに基づいて、任意の且つ動的に選択可能なバーチャル・ビューポイントからの融合現実シーンの３Ｄ空間をレンダリングすること。例えば、２Ｄビデオ・データ・ストリーム（例えば、本明細書に記載の色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム）は、データ・パイプライン（例えば、１以上のトランスポート・ストリーム内でパッケージ化されて）内に含まれてもよい。しかし、２Ｄビデオ・データ・ストリームは、相対的に固定されたビューポイント（例えば、融合現実シーン・キャプチャ・システムによって生成され且つ管理されるエンティティ記述データにて表現される複数のエンティティに含まれる複数のバーチャル・ビューポイント）に関連してもよく、その一方で、メディア・プレーヤ装置は、メディア・プレーヤ装置のユーザに対して、３次元における融合現実シーンの３Ｄ空間を、任意のバーチャル・ビューポイント（例えば、２Ｄビデオ・データ・ストリームが関連する相対的に固定されるビューポイントとは不揃い（ｎｏｔ ａｌｉｇｎｅｄ）の又はこれと関連しない固定されないビューポイント）から体験することを可能にすることができる。

【0032】

結果として、メディア・プレーヤ装置は、３Ｄ空間を、任意のバーチャル・ビューポイントからレンダリングすることができ、その際に、３Ｄ空間に関連する可変で且つ潜在的に無限数の３Ｄモデルを表す３Ｄモデル・データをストリーミングする必要がない。例えば、バーチャル３Ｄ空間内に含まれる全てのオブジェクトの３Ｄモデルを表すデータを提供するのではなく、データ・パイプラインは、２Ｄビデオ・データ（例えば、色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム）を提供することができ、前記データは、幾つか（ａ ｆｅｗ）のバーチャル・ビューポイントからの３Ｄ空間内の全ての現実世界オブジェクト及びバーチャル・オブジェクトを表すことができる。かくして、無限の数のオブジェクトを、融合現実シーンのレンダリングの際に再提示することができ、その際に、メディア・プレーヤ装置は、更なるデータ若しくは追加量のデータを受信する必要がなく、又は、追加のレンダリング作業を実行する必要がない（例えば、たった１つ又は２つのオブジェクトを有する融合現実シーンのレンダリングするのに必要な場合と比べて）。

【0033】

更には、メディア・プレーヤ装置に既に記憶され、プレロードされたコンテンツに依拠することなく、融合現実シーンを表す全てのデータを、生成し、管理し、及び、メディア・プレーヤ装置に提供することにより、本明細書に記載のシステム及び方法は、以下のことを可能にすることができる：メディア・プレーヤ装置に記憶され、プレロードされるデータを変更することなく、プロバイダが、３Ｄ空間を生成又は変更すること（例えば、イベントが現実世界シーンで発生したときに、リアルタイムで又はほぼリアルタイムで）。結果として、融合現実シーンの生成を担うコンテンツ・クリエータ、又は、融合現実シーンを体験する１以上のユーザは、コマンドを融合現実シーン・キャプチャ・システムに提供することができ、融合現実シーンの態様を変更することができる（例えば、エンティティ（例えば、バーチャル・オブジェクト又は現実世界オブジェクト）を変更、置換、又は除去すること等）。そして、こうした変更は、瞬時に、ユーザにストリーミングされているデータに反映することができ、その結果、融合現実シーンは、リアルタイムで又はほぼリアルタイムで変更される。

【0034】

同様に、コンピュータ的に高度な（例えば、特定のメディア・プレーヤ装置に関して法外に高い）様々なオペレーションは、融合現実シーン・キャプチャ・システムに関連する強力なコンピューティング・リソースによって実行されてもよいが、前記コンピューティング・リソースは、バーチャル・リアリティ・メディア・プロバイダによって操作されてもよく、そして、例えば、ユーザに関連するメディア・プレーヤ装置よりもさらに強力なコンピューティング・リソース（例えば、巨大サーバ等）に関連してもよい。例えば、融合現実シーン・キャプチャ・システムは、コンピュータ的に高度なオペレーションを実行して以下の動作を行ってもよい：バーチャル・オブジェクトを、融合現実シーン内の現実世界オブジェクトに統合すること、融合現実シーン内のオブジェクトに関する物理的なオペレーションを実行すること、オブジェクトに関する人工知能オペレーションを実行すること等。こうしたオペレーションは、クライアント・サイドではなく、サーバ・サイドで実行されるという理由から、ユーザが操作するメディア・プレーヤ装置は、特に、強力なコンピューティング・リソースに関連する必要性が無くてもよく、これにより、ユーザ・デバイス・リソースを維持し、送信帯域を最小化し、ユーザに利便性をもたらし（例えば、携行性、冷却の観点から等）、そして、ユーザがクライアント・サイド・メディア・プレーヤを所持する限り、様々なタイプのメディア・プレーヤ装置（例えば、様々な形態要素、様々な価格ポイントを伴う等）が、融合現実シーンをユーザに体験させることを可能にする。

【0035】

様々な実施形態について、図面に言及しながら、以下、更に説明する。開示の方法及びシステムは、上述した１以上の利点を提供することができ、並びに／又は、様々な追加の若しくは／又は代替の利点を提供することができ、これらについては、本明細書で明らかになるであろう。

【0036】

図１は、例示的な融合現実シーン・キャプチャ・システム１００（「システム１００」）を示し、前記システムは、融合現実シーンを生成するための物であり、前記生成は、少なくとも以下に基づく：異なるビデオ・データ・ストリームにおいて異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクト及び現実世界オブジェクト。示しているが、システム１００は、限定されるものではないが、以下を含むことができる：、現実世界シーン・キャプチャ設備１０２、融合現実エンティティ・ステート・トラッキング設備１０４、及び、ストレージ設備１０６（互いに選択可能に且つ通信可能に接続される）。以下の点を理解されたい：設備１０２～１０６は、図１では別個の設備として示されているが、設備１０２～１０６は、より少ない数の設備（例えば、単独の設備に）に結合されてもよく、又は、特定の実施に寄与することができるより数多くの設備に分割されてもよい。幾つかの例において、設備１０２～１０６各々は、特定の実施に寄与することができるものとして、複数の装置間、及び／又は複数のロケーション間に分散してもよい。設備１０２～１０６各々については、本明細書に含まれる他の特定の図に言及しながら、以下、更に詳細に説明する。

【0037】

現実世界シーン・キャプチャ設備１０２は、以下を含むことができる：１以上の物理的なコンピューティング・デバイス（例えば、ハードウェア及び／又はソフトウェア・コンポーネント（例えば、プロセッサ、メモリ、通信インターフェース、プロセッサが実行するためにメモリに記憶されるインストラクション等））。前記物理的なコンピューティング・デバイスは、データのキャプチャ及び獲得に関連する様々なオペレーションを実行することができ、そして、前記データを、融合現実シーンを生成するために使用することができ、前記生成は、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいてもよい。具体的には、例えば、現実世界シーン・キャプチャ設備１０２は、第１のフレームセットを受信することができ、前記第１のフレームセットは、複数の３次元の（３Ｄ）キャプチャ・デバイスからの第１の複数の表面データ・フレームを含むことができ、前記キャプチャ・デバイスは、現実世界シーンの複数の異なるヴァンテージ・ポイントを有するように現実世界シーンに対して配置されてもよい。

【0038】

第１の複数の表面データ・フレーム内の各表面データ・フレームは、第１の複数の表面データ・フレーム内の他の表面データ・フレームと同一の特定の時間ポイントでキャプチャされてもよく、そして、前記第１の複数の表面データ・フレーム内の各表面データ・フレームは、複数の３Ｄキャプチャ・デバイスにおける各３Ｄキャプチャ・デバイスによって、複数の異なるヴァンテージ・ポイントにおける各ヴァンテージ・ポイントからキャプチャされてもよい。本明細書で使用するが、表面データ・フレームは、以下の場合には、「同一の特定の時間ポイントで」キャプチャされると言ってもよい：表面データ・フレームが、ある時間の瞬間に（即ち、ある時間範囲にわたって対象物を表すのとは対照的に）対象物（例えば、現実世界シーン内の現実世界オブジェクト）を効果的に表現できるのに十分なほど近い時間内でキャプチャされる場合（たとえ、表面データ・フレームが正確に同一の瞬間にキャプチャされなかったとしても）。例えば、特定の対象物がどれだけ動的であるか（例えば、１以上の現実世界オブジェクトが現実世界シーン内をどれだけ早く動くか等）に依存して、表面データ・フレームは、以下の場合に、同一の特定の時間ポイントでキャプチャされると考えてもよい：例えば、互いに数十又は数百ミリ秒（ｓｅｖｅｒａｌ ｔｅｎｓ ｏｒ ｈｕｎｄｒｅｄｓ ｏｆ ｍｉｌｌｉｓｅｃｏｎｄｓ）内でキャプチャされる場合、又は、特定の実施に寄与することができる別の適切なタイムフレーム内（例えば、マイクロ秒内、ミリ秒内、秒内等）でキャプチャされる場合。かくして、各表面データ・フレームは、各３Ｄキャプチャ・デバイスの各ヴァンテージ・ポイントから特定の時間ポイントで表面が見えるときの現実世界シーン内に含まれる現実世界オブジェクトの表面の色彩データ及び深度データを表してもよい。

【0039】

図示する目的で、図２は、例示的な構成２００を示し、ここで、システム１００（例えば、現実世界シーン・キャプチャ設備１０２）は、複数の３Ｄキャプチャ・デバイスと共同で動作し、例示的な現実世界シーンを表すデータをキャプチャし、前記現実世界シーンは、例示的な現実世界オブジェクトを含む。具体的には、図２に示すように、構成２００は、現実世界シーン２０２を含み、前記現実世界シーン２０２は、現実世界オブジェクト２０４を含み、且つ、複数の３Ｄキャプチャ・デバイス２０６（例えば、３Ｄキャプチャ・デバイス２０６－１～２０６－８）によって囲まれ、各々は、各ヴァンテージ・ポイント２０８（例えば、３Ｄキャプチャ・デバイス２０６－１に関連するヴァンテージ・ポイント２０８－１～３Ｄキャプチャ・デバイス２０６－８に関連するヴァンテージ・ポイント２０８－８）に関連する。３Ｄキャプチャ・デバイス２０６は、システム１００（例えば、上述したようにシステム１００内の現実世界シーン・キャプチャ設備１０２）と通信可能に接続されてもよく、前記システム１００は、は、各フレームセットを３Ｄキャプチャ・デバイス２０６から受信することができ、各フレームセットは、それぞれ、複数の表面データ・フレームを含むことができる。

【0040】

本明細書で使用するが、「表面データ・フレーム」は、様々なタイプのデータを表現するデータセットを意味してもよく、前記様々なタイプのデータは、オブジェクト（例えば、現実世界オブジェクト、バーチャル・オブジェクト等）の表面に関連してもよく、前記表面は、３Ｄ空間にて、特定のヴァンテージ・ポイント又はバーチャル・ビューポイントから、特定の時間ポイントで又は３Ｄ空間に関連する別の時系列のポイントで見える物であってもよい。例えば、表面データ・フレームは、以下を含むことができる：３Ｄ空間に関する特定のヴァンテージ・ポイントから見たときのオブジェクトを表す色彩データ（即ち、イメージ・データ）並びに深度データ。かくして、複数の関連表面データ・フレームは、ともに連続してもよく、そして、特定のヴァンテージ・ポイントからあるシーンを閲覧又は体験したときの、そのシーン（例えば、バーチャル・シーン、現実世界シーン、融合現実シーン等）のビデオのような表現（色彩データのみならず深度データも表現する）を生成してもよい。特定の例において、表面データ・フレームは、更に以下に関連してもよい：他のタイプのデータ（例えば、オーディオ・データ、メタデータ（例えば、以下を含むメタデータ：表面データ・フレームに表現される特定のオブジェクトに関する情報、及び／又は、シーンに関連するヴァンテージ・ポイントに関する情報））、及び／又は、特定の実施に寄与することができる他のタイプのデータ。異なるヴァンテージ・ポイントに関連する表面データ・フレーム並びに関連する表面データ・フレームのシーケンスの例については、後で説明及び図示する。

【0041】

本明細書で使用するが、「色彩データ」は、広義には任意のイメージ・データ、ビデオ・データ等を含むことができ、カラーでの表現又はグレースケール（即ち「白黒」）での表現に関わらず、これらのデータは、対象物（例えば、バーチャル・シーン、現実世界シーン、又は融合現実シーンの３Ｄ空間内に含まれる現実世界オブジェクト又はバーチャル・オブジェクト）が、特定の時間ポイントで又は特定の期間にわたって、特定のヴァンテージ・ポイントの視界からどのような外観を擁するかを表現することができる。色彩データは、以下に限定されない：任意の特定の形式、ファイル・タイプ、フレーム・レート、解像度、品質レベル、又は、様々な定義、並びに／若しくは当分野でイメージ・データ及び／若しくはビデオ・データを定義する規格に関連する他の特性。同様に、本明細書で使用するが、「深度データ」は、空間内の対象物の位置を表す任意のデータを含むことができる。例えば、現実世界オブジェクト又はバーチャル・オブジェクトを表す深度データは、以下を含むことができる：バーチャル・オブジェクトの表面上の異なるポイントについての、グローバル座標系（例えば、３Ｄ空間に関連する現実世界シーン、バーチャル・シーン、又は混合現実シーン３Ｄ空間に関連するグローバル座標系）に関する座標。

【0042】

構成２００の各要素については、以下詳細に説明する。

【0043】

現実世界シーン２０２は、以下を表現することができる：任意の現実世界の景色、現実世界のロケーション、現実世界のイベント（例えば、ライブ・イベント等）、又は、特定の実施に寄与することができる現実世界に存在する他の対象物（例えば、バーチャル世界又は仮想世界にのみ存在するものとは対照的に）。図２の現実世界シーン２０２を表現する円によって示されるように、現実世界シーン２０２は、具体的には、線引きされたエリアであってもよい（例えば、ステージ、アリーナ等）。逆に、他の例において、現実世界シーン２０２は、さほど、区画化又は線引きされなくてもよい。例えば、現実世界シーン２０２は、以下を含むことができる：任意のインドア又はアウトドアの現実世界のロケーション（例えば、街の通り、ミュージアム、眺めの良い風景等）。特定の例において、現実世界シーン２０２は、現実世界のイベントに関連してもよい（例えば、スポーツ・イベント、ミュージカル・イベント、演劇又はシアターのプレゼン、大規模な祝事（例えば、タイムズ・スクエアでの大晦日、マルディ・グラ等）、政治的なイベント、又は任意の他の現実世界イベント）。同一の又は他の例において、現実世界シーン２０２は、以下に関連してもよい：フィクション化されるシーン（例えば、ライブ・アクションのバーチャル・リアリティのテレビ・ショー又は映画のセット）に関するセッティング、及び／又は特定の実施に寄与することができる任意の他のインドア又はアウトドアの現実世界のロケーションでの任意の他のシーンに関するセッティング。

【0044】

従って、現実世界オブジェクト２０４は、生物又は無生物に関わらず、任意の現実世界オブジェクトを表現することができ、前記オブジェクトは、現実世界シーン２０２に関連（例えば、現実世界シーン２０２内又はその周辺に位置する）してもよく、そして、前記オブジェクトは、ヴァンテージ・ポイント２０８のうち少なくとも１つから検出可能（例えば、閲覧可能等）であってもよい。例えば、現実世界オブジェクト２０４は、明確性の目的から、比較的シンプルな幾何学的形状で描かれているが、以下の点を理解されたい：現実世界オブジェクト２０４は、様々なレベルの複雑さを有する様々なタイプのオブジェクトを表現することができる。例えば、幾何学的な形ではなく、現実世界オブジェクト２０４は、以下を表現することができる：任意のアニメーション若しくは非アニメーション・オブジェクト若しくは表面（例えば、人物又は別の生き物）、非透明な固体、液体、若しくは気体、不連続性に欠けるオブジェクト（例えば、壁、天井、若しくは床）、又は、本明細書に記載の若しくは特定の実施に寄与することができる任意の他のタイプのオブジェクト。

【0045】

示しているが、現実世界オブジェクト２０４は、様々な表面を含むことができ、前記表面は、それぞれ光を反射することができ（例えば、現実世界シーン２０２における環境光、深度キャプチャ・デバイスによって発光される構造化光パターン内の赤外線等）、前記光は、３Ｄキャプチャ・デバイス２０６によって検出することができる。現実世界オブジェクト２０４を比較的シンプルに描写しているもの、現実世界オブジェクト２０４の表面の深度は、どの位置２０６及びどのヴァンテージ・ポイント２０８から表面を検出するかに基づいて、異なった外観を擁してもよく、これについては後で示す。換言すれば、現実世界オブジェクト２０４は、現実世界オブジェクト２０４が閲覧される視界（例えば、位置、ヴァンテージ・ポイント等）に基づいて、異なって見えてもよい。

【0046】

３Ｄキャプチャ・デバイス２０６は、現実世界シーン２０２に関して、それぞれ固定されてもよい。例えば、現実世界シーン２０２及び３Ｄキャプチャ・デバイス２０６の両方は、静的であってもよく、又は、現実世界シーン２０２及び３Ｄキャプチャ・デバイス２０６は共に動いてもよい。幾つかの例において、例えば、構成２００に示すように、３Ｄキャプチャ・デバイス２０６は、現実世界シーン２０２に関連して少なくとも２次元に沿って（例えば、平面に沿って（例えば、地面））現実世界シーン２０２を囲ってもよい。特定の例において、３Ｄキャプチャ・デバイス２０６は、３次元に沿って現実世界シーン２０２を囲ってもよい（例えば、現実世界シーン２０２の上下にも３Ｄキャプチャ・デバイス２０６を含めることによって）。３Ｄキャプチャ・デバイスの例については、後で更に詳細に説明する。

【0047】

ヴァンテージ・ポイント２０８は、各３Ｄキャプチャ・デバイス２０６について、３Ｄキャプチャ・デバイス２０６から出ているドット線によって示されてもよい。幾つかの例において、構成２００に示すように、ヴァンテージ・ポイント２０８は、現実世界シーン２０２に対して内向きに角度付けされてもよく、その結果、任意のバーチャル・ビューポイントから現実世界シーン２０２を後にレンダリングすることができるのに十分な視界から現実世界シーン２０２をキャプチャすることができる。更には、同一の又は他の例において、１以上のヴァンテージ・ポイント２０８は、外向きに（即ち、現実世界シーン２０２から離れるように）角度付けされてもよく、現実世界シーン２０２を囲むオブジェクト等をキャプチャすることができる。例えば、球状の３６０度キャプチャ・デバイス（外側に向かうヴァンテージ・ポイント）は、現実世界シーン２０２内の位置（明示しない）に配置してもよく、現実世界シーン２０２内に含まれるオブジェクトを追加の視界からキャプチャすることができ、及び／又は、現実世界シーン２０２外部のデバイスをキャプチャすることができる。これに加えて、又はこれに代えて、特定の例において、複数の外側に向かうヴァンテージ・ポイントは、現実世界シーンに対して、パノラマの、広角の、又は３６０度のビューのキャプチャを可能にすることができる。

【0048】

特定の例において、システム１００（例えば、現実世界シーン・キャプチャ設備１０２）は、１以上のネットワーク及び／又は任意の他の適切な通信インターフェース、プロトコル、及び技術により、３Ｄキャプチャ・デバイス２０６と通信可能に接続されてもよい。従って、こうした例において、現実世界シーン・キャプチャ設備１０２は、１以上のネットワーク並びに／又は他の通信インターフェース、プロトコル、及び技術の手段により、３Ｄキャプチャ・デバイス２０６から、第１の複数の表面データ・フレームを含む第１のフレームセット（並びに後述する他の複数の表面データ・フレームを含む他のフレームセット）を受信することができる。例えば、示すように、構成２００中の様々な矢印は、３Ｄキャプチャ・デバイス２０６とシステム１００との間の通信を表す。こうした通信は、以下の手段により実施されてもよい：ネットワークの手段により（例えば、有線又はワイヤレスなローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク、プロバイダ・ネットワーク、インターネット等）、有線の通信インターフェース（例えば、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（「ＵＳＢ」））の手段により、ワイヤレス通信インターフェースの手段により、又は、特定の実施に寄与することができる任意の他の通信インターフェース、プロトコル、及び／若しくはテクノロジーの手段により。

【0049】

他の例において、複数の３Ｄキャプチャ・デバイスは、システム１００内に統合されてもよく、又は、前記システム１００の一部として含まれてもよい（例えば、現実世界シーン・キャプチャ設備１０２の一部として）。かくして、こうした例において、現実世界シーン・キャプチャ設備１０２は、統合される３Ｄキャプチャ・デバイス２０６を使用して第１のフレームセットをキャプチャすることによって、第１のフレームセット（並びに他のフレームセット）を受信することができる。

【0050】

構成２００中の３Ｄキャプチャ・デバイス２０６が、どのようにして、現実世界シーン２０２を表す表面データ・フレーム（例えば、上述したように現実世界シーン・キャプチャ設備１０２が受信する第１のフレームセット内の第１の複数の表面データ・フレーム）をキャプチャするのかを示すべく、図３Ａは、３Ｄキャプチャ・デバイス２０６－１を示し、前記デバイスは、図３Ｂ～３Ｃにおいてグラフィカルに描写される表面データ・フレームをキャプチャする。

【0051】

図３Ａに示すように、（そして、図２にて同様に描写されるが）、３Ｄキャプチャ・デバイス２０６－１は、現実世界シーン２０２内の現実世界オブジェクト２０４に対して配置されてもよく、その結果、現実世界オブジェクト２０４のヴァンテージ・ポイント２０８－１を有してもよい。更には、図３Ａが示すこととして（図２に示す他の３Ｄキャプチャ・デバイス２０６と同様に）、３Ｄキャプチャ・デバイス２０６－１は、以下を含むことができる：２Ｄビデオ・キャプチャ・デバイス３０２であって、前記デバイスは、色彩データ（例えば、フルカラー・イメージ又はグレースケール・イメージを表す２Ｄビデオ・データ）をキャプチャするように構成され、前記色彩データは、現実世界オブジェクト２０４及び／又は現実世界シーン２０２内に含まれる他のオブジェクトを表す、２Ｄビデオ・キャプチャ・デバイス３０２、；並びに、深度キャプチャ・デバイス３０４であって、深度データをキャプチャするように構成され、前記深度データは、現実世界オブジェクト２０４及び／又は現実世界シーン２０２内に含まれる他のオブジェクトを表す、深度キャプチャ・デバイス３０４。

【0052】

２Ｄビデオ・キャプチャ・デバイス３０２は、任意の適切な２Ｄビデオ・キャプチャ・デバイス（例えば、ビデオ・カメラ等）により実装されてもよく、そして、２Ｄビデオ・キャプチャ・デバイス３０２は、２Ｄビデオ・データを、特定の実施に寄与することができる任意の態様でキャプチャすることができる。幾つかの例において、２Ｄビデオ・キャプチャ・デバイス３０２は、深度キャプチャ・デバイス３０４とは別個のデバイスであってもよい。総称すると、こうした別個のデバイス（例えば、並びに、機能的にデバイスを融合するために使用される任意の通信インターフェース及び／又は他のハードウェア若しくはソフトウェアのメカニズム）を、３Ｄキャプチャ・デバイス（例えば、３Ｄキャプチャ・デバイス２０６－１）と称してもよい。他の例において、図３Ａに示すように、２Ｄビデオ・キャプチャ・デバイス３０２及び深度キャプチャ・デバイス３０４は、単独のデバイス（即ち、３Ｄキャプチャ・デバイス２０６－１）に統合されてもよく、前記単独のデバイスは、２Ｄビデオ・データ及び深度データの両方をキャプチャすることができ、これについては後述する。

【0053】

別個のデバイスとして実装されるか、それとも２Ｄビデオ・キャプチャ・デバイス３０２に統合されるかに関わらず、深度データ・キャプチャ・デバイス３０６は、現実世界シーン２０２を表す深度データを、特定の実施に寄与することができる任意の態様でキャプチャすることができる。例えば、深度データ・キャプチャ・デバイス３０６は、１以上の深度マップ・キャプチャ技術を採用することができる（例えば、構造化光深度マップ・キャプチャ技術、立体視深度マップ・キャプチャ技術、タイム・オブ・フライト深度マップ・キャプチャ技術、別の適切な深度マップ・キャプチャ技術、又は、特定の実施に寄与することができる深度マップ・キャプチャ技術の任意の組み合わせ）。

【0054】

深度データをキャプチャするのに使用される深度マップ・キャプチャ技術のタイプ及び数に関わらず、３Ｄキャプチャ・デバイス２０６－１が生成する各表面データ・フレームは、以下を含むことができる：ヴァンテージ・ポイント２０８－１からの現実世界オブジェクト２０４の表面を表す色彩データ及び深度データの両方。同様に、他の３Ｄキャプチャ・デバイス２０６がキャプチャする他の表面データ・フレームは、以下を含むことができる：他の３Ｄキャプチャ・デバイス２０６に関連する各ヴァンテージ・ポイント２０８からの現実世界オブジェクト２０４の表面を表す色彩データ及び深度データ。

【0055】

図３Ｂ～３Ｃは、３Ｄキャプチャ・デバイス２０６－１がキャプチャする表面データ・フレームを表すデータの例示的なグラフィカルな描写を示す。具体的には、示すように、表面データ・フレームは、以下の少なくとも２種類の固有のデータセットを含むことができる：色彩データ３０６（図３Ｂに示す）及び深度データ３０８（図３Ｃに示す）。

【0056】

図３Ｂにおいて、色彩データ３０６は、現実世界シーン２０２内の現実世界オブジェクト２０４を描写し、前記現実世界シーンは、３Ｄキャプチャ・デバイス２０６－１内の２Ｄビデオ・キャプチャ・デバイス３０２によって、ヴァンテージ・ポイント２０８－１の視界から見たときのものである。色彩データ３０６は、ビデオ・フレームのシーケンスにおいて、単独のビデオ・フレームを表すことができるため、色彩データ３０６によって表現される現実世界オブジェクト２０４の描写は、以下を表すことができる：特定の時間ポイントでヴァンテージ・ポイント２０８－１から現実世界オブジェクト２０４（例えば、並びに現実世界シーン２０２に関連する他のオブジェクト）がどのように見えるか。図３Ｂにおいてイメージとして示されるが、以下の点を理解されたい：色彩データ３０６は、任意の適切な形態で、キャプチャ、エンコード、フォーマット、送信、及び表現されてもよい。例えば、色彩データ３０６は、標準ビデオ・エンコーディング・プロトコル、標準イメージ・フォーマット等に従ってフォーマットされるデジタル・データであってもよい。幾つかの例において、色彩データ３０６は、現実世界シーン２０２におけるオブジェクトの色彩イメージ（例えば、カラー写真に類する物）を表現したものであってもよい。或いは、他の例において、色彩データ３０６は、オブジェクトを表すグレースケール・イメージ（例えば、白黒写真に類するもの）であってもよい。

【0057】

図３Ｃにおいて、深度データ３０８も（色彩データ３０６と同様に）、ヴァンテージ・ポイント２０８－１の視界からの現実世界シーン２０２内の現実世界オブジェクト２０４を描写する。しかし、現実世界オブジェクト２０４の目に見える外観を表現する（即ち、どのように光が現実世界オブジェクト２０４の表面と相互作用するかについてカラー又はグレースケールで表す）のではなく、深度データ３０８は以下を表現したものであってもよい：例えば、３Ｄキャプチャ・デバイス２０６－１内の深度キャプチャ・デバイス３０４に対する、現実世界オブジェクト２０４（例えば、並びに現実世界シーン２０２内の他のオブジェクト）の表面の各ポイントの深度（即ち、距離又は位置）。色彩データ３０６と同様に、深度データ３０８は、任意の適切な形態で、キャプチャ、エンコード、フォーマット、送信、及び表現されてもよい。例えば、示すように、深度データ３０８は、グレースケール・イメージ・データによって表現されてもよい（例えば、深度キャプチャ・デバイス３０４によってキャプチャされる各ピクセルに関して６ビット又は８ビット）。しかし、光が現実世界オブジェクト２０４の表面からどのように反射するかについて表現（即ち、色彩データ３０６で表現）するのではなく、深度データ３０８のグレースケール・イメージは以下を表現したものであってもよい：イメージ中の各ピクセルに関して、そのピクセルによって表現されるポイントが、深度キャプチャ・デバイス３０４からどれほど離れているか。例えば、深度キャプチャ・デバイス３０４に、より近いポイントは、より暗いグレーの影を表現する値で表されてもよい（例えば、６ビット実装のケースで０ｂ１１１１１１がブラックを表現している場合において、０ｂ１１１１１１に近いバイナリな値）。逆に、深度キャプチャ・デバイス３０４から、より離れているポイントは、より明るいグレーの影を表現する値で表されてもよい（例えば、６ビット実装のケースで０ｂ００００００がホワイトを表現している場合において、０ｂ００００００に近いバイナリな値）。

【0058】

上述したように、現実世界シーン・キャプチャ設備１０２は、以下を受信してもよい（例えば、図２及び３Ａ～３Ｃに関連して説明したように、３Ｄキャプチャ・デバイス２０６から）：第１の複数の表面データ・フレームを含む第１のフレームセット、並びに、複数の他の表面データ・フレームをそれぞれ含む１以上の他のフレーム・セット。図示する目的で、図４は、例示的な複数のフレームセット４０２（例えば、フレームセット４０２－１～４０２－Ｎ）を示し、各フレームセットは、それぞれ複数の例示的な表面データ・フレームを含み、前記表面データ・フレームは、３Ｄキャプチャ・デバイス２０６によってキャプチャされ、異なるヴァンテージ・ポイント２０８からの現実世界シーン２０２を表現する。図４に示す表面データ・フレームの現実世界オブジェクト２０４の描写は、外観上、色彩データ３０６における現実世界オブジェクト２０４の描写と類似のものであってもよいが、各表面データ・フレームは、以下を含むことができる点を理解されたい：色彩データ（例えば、色彩データ３０６と類似のもの）、深度データ（例えば、深度データ３０８と類似のもの）、並びに／又は、現実世界オブジェクト２０４の表面、及び／若しくは、現実世界シーン２０２内に含まれる他のオブジェクトを表現するために使用することができる任意の他の適切なデータ。

【0059】

図４は、更に、フレーム・シーケンス４０４（例えば、フレーム・シーケンス４０４－１～４０４－８）を示し、上述したように、ビデオ・フレームの各シーケンスを、各個々の３Ｄキャプチャ・デバイス２０６によってどのようにキャプチャすることができるかを示す。具体的には、例えば、フレーム・シーケンス４０４－１は、３Ｄキャプチャ・デバイス２０６－１によって、ある時間のシーケンシャル・ポイントにてキャプチャされる表面データ・フレームのシーケンスを表現することができ、フレーム・シーケンス４０４－２は、３Ｄキャプチャ・デバイス２０６－２によって、ある時間の同一のシーケンシャルポイントにてキャプチャされる表面データ・フレームのシーケンスを表現することができ、以下同様であってもよい。従って、フレームセット４０２－１と、前記フレームセット４０２－１内に描写される現実世界オブジェクト２０４の異なる視界とによって示されるが、現実世界シーン２０２は、特定のフレームセット（例えば、フレームセット４０２－１）に含まれる異なる表面データ・フレームにおいて、異なるヴァンテージ・ポイント２０８から見たものとして表現されてもよい。例えば、フレームセット４０２－１に含まれる第１の表面データ・フレーム（即ち、トップに示され、フレーム・シーケンス４０４－１内に含まれる表面データ・フレーム）は、ヴァンテージ・ポイント２０８－１からキャプチャされる色彩データ及び深度データを表してもよく、フレームセット４０２－１に含まれる第２の表面データ・フレーム（即ち、フレーム・シーケンス４０４－２内に含まれる表面データ・フレーム）は、ヴァンテージ・ポイント２０８－２からキャプチャされる色彩データ及び深度データを表してもよく、以下同様であってもよい。フレームセット４０２－１の後に続く、他のフレームセット４０２（即ち、「４０２－２．．．Ｎ」としてラベルされるフレームセット４０２－２～４０２－Ｎ）それぞれのケースについても同様であってもよい。

【0060】

図１に戻ると、融合現実エンティティ・ステート・トラッキング設備１０４は、以下を含むことができる：１以上の物理的なコンピューティング・コンポーネント（例えば、現実世界シーン・キャプチャ設備１０２の物とは別個のハードウェア及び／若しくはソフトウェア・コンポーネント、又は、現実世界シーン・キャプチャ設備１０２と共有されるハードウェア及び／若しくはソフトウェア・コンポーネント）、ここで、前記コンピューティング・コンポーネントは、様々なオペレーションを実行することができ、前記様々なオペレーションは、エンティティ記述データを準備、生成、及び／又は、管理することに関連してもよく、前記エンティティ記述データは、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて、融合現実シーンを生成するために使用されるものであってもよい。例えば、融合現実エンティティ・ステート・トラッキング設備１０４は、以下に基づいて、トランスポート・ストリームを生成してもよい：複数の３Ｄキャプチャ・デバイス（例えば、３Ｄキャプチャ・デバイス２０６）から現実世界シーン・キャプチャ設備１０２が受信した第１のフレームセット（例えば、フレームセット４０２－１）；並びに、現実世界シーン・キャプチャ設備１０２が受信し、他の時間ポイント（例えば、ある期間にわたって現実世界シーン２０２を表現できるように、第１のフレームセットのキャプチャの直前及び／又は直後）でキャプチャされた複数の他のフレームセット（例えば、フレームセット４０２－１～４０２－Ｎ）。

【0061】

本明細書で使用するが、「データ・ストリーム」及び「トランスポート・ストリーム」は、以下を目的として、データをパッケージ化するために使用されるデータ構造を意味してもよい。データを、あるデバイス又はシステムから別の所へ送信（即ち、伝送）することを促進すること、データをレンダリングする、若しくは、処理する、若しくは分析すること、又は、特定の実施に寄与することができる他の目的。幾つかの例において、本明細書で使用するが、「トランスポート・ストリーム」は、単独のトランスポート・ストリームを意味してもよく、前記トランスポート・ストリームは、１以上の他のデータ・ストリーム（例えば、１以上のビデオ・データ・ストリーム）を含むことができ、及び／又は、他のデータ（例えば、メタデータ等）を含むことができる。例えば、融合現実エンティティ・ステート・トラッキング設備１０４が生成するトランスポート・ストリームは、以下を含むことができる：複数の３Ｄキャプチャ・デバイスにおける３Ｄキャプチャ・デバイス（例えば、３Ｄキャプチャ・デバイス２０６）各々に関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム。換言すれば、単独のトランスポート・ストリームを用いて、以下を伝送することができる：全てのビデオ・データ・ストリーム（例えば、各３Ｄキャプチャ・デバイスに関する１つの色彩ビデオ・データ・ストリーム、及び、各３Ｄキャプチャ・デバイスに関する１つの深度ビデオ・データ・ストリーム）；並びに、特定の実施において伝送目的でシステム１００が含む任意のメタデータ又は他の適切なデータ。他の例において、本明細書で使用するが、「トランスポート・ストリーム」は、集合的にすべてのビデオ・データ・ストリームを伝送する複数のトランスポート・ストリームを意味してもよい。例えば、「トランスポート・ストリーム」は、個々のトランスポート・ストリームの集合を意味してもよく、各々は、異なる特定の３Ｄキャプチャ・デバイスの色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含むことができ、又は、各々は、特定の実施に寄与することができる複数の色彩ビデオ・データ・ストリーム及び／又は深度ビデオ・データ・ストリームを含むことができる。

【0062】

図示する目的で、図５は、例示的な色彩ビデオ・データ・ストリーム５００－１－Ｃ、及び、例示的な深度ビデオ・データ・ストリーム５００－１－Ｄを示し、両者とも、特定の３Ｄキャプチャ・デバイス２０６がキャプチャする表面データ・フレームに基づいており、特定のヴァンテージ・ポイント２０８からの現実世界シーン２０２を表現する。具体的には、示すように、色彩ビデオ・データ・ストリーム５００－１－Ｃは、以下を含むことができる：フレーム・シーケンス４０４－１内に含まれる表面データ・フレームの色彩データ部分（フレーム・シーケンスの深度部分とは対照的に、フレーム・シーケンスの色彩（「Ｃ」）部分を示すべくフレーム・シーケンス４０４－１－Ｃとしてラベルされる）。一方で、深度ビデオ・データ・ストリーム５００－１－Ｄは、以下を含むことができる：フレーム・シーケンス４０４－１内に含まれる表面データ・フレームの深度データ部分（フレーム・シーケンスの色彩部分とは対照的に、フレーム・シーケンスの深度（「Ｄ」）部分を示すべく、フレーム・シーケンス４０４－１－Ｄとしてラベルされる）。

【0063】

色彩ビデオ・データ・ストリーム５００－１－Ｃは、以下を示すようにラベル付けされる：ビデオ・データ・ストリームが、現実世界シーン２０２の第１の（「１」）視界に関連すること（即ち、３Ｄキャプチャ・デバイス２０６－１、ヴァンテージ・ポイント２０８－１、フレーム・シーケンス４０４－１等に関連する）；及び、ビデオ・データ・ストリームが、深度データではなく色彩（「Ｃ」）データに関連すること。同様に、深度ビデオ・データ・ストリーム５００－１－Ｄは、以下を示すようにラベル付けされる：ビデオ・データ・ストリームが、現実世界シーン２０２上の第１の（「１」）視界にも関連するが、しかし、色彩データではなく、深度（「Ｄ」）データに関連すること。以下の点を理解されたい：追加のビデオ・データ・ストリーム５００（即ち、図５には示さないが本明細書の他の図に示されるビデオ・データ・ストリーム５００）は、同様にラベル付けされ、そして、参照されてもよい。ビデオ・データ・ストリーム５００（例えば、ビデオ・データ・ストリーム５００－１－Ｃ、５００－１－Ｄ、本明細書で言及する他のビデオ・データ・ストリーム５００）は、特定の実施に寄与することができる任意のプロトコル、フォーマット等を使用して、生成、記憶、送信、及び／又は実装されてもよい。例えば、特定の実施において、フレーム・シーケンス４０４－１－Ｃ及び４０４－１－Ｄからの色彩データ及び深度データ（例えば、並びに１以上の追加のフレーム・シーケンスからの色彩データ及び／又は深度データ）は、タイル・マップ・ピング技術又はテクスチャ・アトラシング技術を使用して、単独のビデオ・データ・ストリームの各フレームの個別の部分（例えば、個別のタイル、スプライト等）内で表現されてもよい。

【0064】

図６は、例示的なトランスポート・ストリーム６００を示し、前記トランスポート・ストリーム６００は、色彩ビデオ・データ・ストリーム５００－１－Ｃ及び深度ビデオ・データ・ストリーム５００－１－Ｄを、他の色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームと共に含む。具体的には、示すように、図６は、単独のトランスポート・ストリーム６００を示し、前記トランスポート・ストリーム６００は、以下を含む：図２に示す３Ｄキャプチャ・デバイス２０６及びヴァンテージ・ポイント２０８それぞれに関連する色彩ビデオ・データ・ストリーム（即ち、色彩ビデオ・データ・ストリーム５００－１－Ｃ～５００－８－Ｃ）；並びに、３Ｄキャプチャ・デバイス及びヴァンテージ・ポイントそれぞれに関連する深度ビデオ・データ・ストリーム（即ち、深度ビデオ・データ・ストリーム５００－１－Ｄ～５００－８－Ｄ）。他の例において、トランスポート・ストリーム６００は、特定の実施に寄与することができる他のプロトコル、フォーマット等を使用して、生成、記憶、送信、及び／又は、実装されてもよい。例えば、上述したように、様々なフレーム・シーケンスからのデータは、タイル・マップ・ピング技術等を使用して、１つのビデオ・データ・ストリーム（又は、図６に示す場合よりも少ないビデオ・データ・ストリームを有する複数のビデオ・データ・ストリーム）へパックされてもよい。又は、別個のトランスポート・ストリームを使用して、色彩ビデオ・データ・ストリーム、及び、深度ビデオ・データ・ストリームの各セットを含んでもよい（例えば、１つのトランスポート・ストリームがビデオ・データ・ストリーム５００－１－Ｃ及び５００－１－Ｄを含み、別のトランスポート・ストリームがビデオ・データ・ストリーム５００－２－Ｃ及び５００－２－Ｄを含み、以下同様）。

【0065】

図１に戻ると、融合現実エンティティ・ステート・トラッキング設備１０４が生成するトランスポート・ストリーム（例えば、トランスポート・ストリーム６００内に含まれる色彩データ、深度データ、及び他のデータ）に基づいて、融合現実エンティティ・ステート・トラッキング設備１０４は、エンティティ記述データを生成してもよく、前記エンティティ記述データは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティを表してもよい。融合現実エンティティ・ステート・トラッキング設備１０４は、エンティティ記述データを、任意の適切な方法で生成することができる。例えば、融合現実エンティティ・ステート・トラッキング設備１０４は、融合現実シーンの複数のエンティティを表すエンティティ記述データを、生成、アップデート、受信、トラッキング、管理、分析、オーガナイズ、及び／又は、処理することができる。後で更に詳述するが、融合現実エンティティ・ステート・トラッキング設備１０４も、コマンドを受信することができ、エンティティ記述データを変更することができ（例えば、１以上のエンティティを変更する（例えば、エンティティを追加、削除、置換、移動、回転、拡大、又は変更することによって））、そして、エンティティ記述データを変更することによって、コマンドを実行することができる。融合現実エンティティ・ステート・トラッキング設備１０４は、ストレージ設備１０６と共同で動作することにより、更に、データを生成することができ、前記ストレージ設備１０６は、各エンティティに対する動的な変更を表す生成されるデータへのアップデートを記憶及び管理することができる。

【0066】

本明細書で使用するが、エンティティ記述データが生成される「エンティティ」は、バーチャル３Ｄ空間（例えば、融合現実シーンの３Ｄ空間）に関連する可能性がある任意の現実世界アイテム又はバーチャル・アイテムを意味してもよい。例えば、融合現実エンティティ・ステート・トラッキング設備１０４がデータを生成するエンティティのなかで、融合現実シーンの３Ｄ空間は、以下を含むことができる：バーチャル・エンティティ（例えば、１以上のバーチャル・オブジェクト、及び／又は、３Ｄ空間への複数のバーチャル・ビューポイント（例えば、様々な異なる視界から３Ｄ空間をキャプチャするように、３Ｄ空間に関して特定の方法で位置及び角度づけされるバーチャル・キャプチャ・デバイスと同様であってもよい））；上述したように、３Ｄキャプチャ・デバイスがデータをキャプチャした現実世界エンティティ（例えば、３Ｄキャプチャ・デバイス２０６がデータをキャプチャした現実世界オブジェクト２０４）；及び／又は、特定の実施に寄与することができる任意の他の現実世界エンティティ若しくはバーチャル・エンティティ。

【0067】

後で更に詳述するが、エンティティ記述データが生成される３Ｄ空間内に含まれる各エンティティは、エンティティ記述データにおいて、特定の実施に寄与することができる任意の方法で定義されてもよい。例えば、エンティティ記述データ自体（例えば、後述するように、ストレージ設備１０６に記憶されてもよい）は、以下を含むことができる：３Ｄ空間内の特定のエンティティの状態を定義するデータ（例えば、３Ｄ空間内のエンティティの位置に関連する座標情報、３Ｄ空間内のエンティティの配向に関連する配向情報、３Ｄ空間内でエンティティをどれだけ大きく見えるようにするかに関連するサイズ情報等）。しかし、幾つかの例において、特定のエンティティに関連する特定の情報（例えば、３Ｄモデル、テクスチャを表すバイナリ情報等）は、エンティティ記述データの一部として直接管理されなくてもよく、むしろ、エンティティ記述データとは別に管理されてもよく、エンティティ記述データからのリンクが形成されてもよい。

【0068】

例えば、融合現実エンティティ・ステート・トラッキング設備１０４がエンティティ記述データを生成する複数のエンティティは、以下を含むことができる：バーチャル・オブジェクトの表面の色彩データ及び深度データへのリンクによってエンティティ記述データにおいて少なくとも部分的に定義されるバーチャル・オブジェクト（ここで、色彩データ及び深度データは、資産ストレージ・システム内に記憶することができ、前記資産ストレージ・システムは、システム１００と通信可能に接続され、及び／又は、システム１００内に統合されてもよい）。複数のエンティティは、更に以下を含むことができる：例えば、上述した３Ｄキャプチャ・デバイス２０６によってキャプチャされる現実世界オブジェクト２０４。かくして、現実世界オブジェクト２０４は、エンティティ記述データにおいて少なくとも部分的に定義されてもよく、前記定義は、現実世界オブジェクト２０４の表面の色彩データ及び深度データへのリンクによってもよく、前記色彩データ及び深度データは、色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム内に含まれてもよく、色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームは、トランスポート・ストリーム内に含まれてもよい（例えば、トランスポート・ストリーム６００内に含まれる色彩ビデオ・データ・ストリーム５００－１－Ｃ～５００－８－Ｃ及び深度ビデオ・データ・ストリーム５００－１－Ｄ～５００－８－Ｄ）。更には、複数のエンティティは、以下を含むことができる：第２の複数の表面データ・フレームを含む第２のフレームセットがレンダリングされる３Ｄ空間への複数のバーチャル・ビューポイント。例えば、第１のフレームセット（即ち、フレームセット４０２－１）及び上述した他のフレームセット（即ち、フレームセット４０２－２～４０２－Ｎ）内に含まれる表面データ・フレーム（ここで、表面データ・フレームは、現実世界シーン２０２における現実世界オブジェクト２０４の色彩データ及び深度データを表す）とは対照的に、第２のフレームセット内に含まれる第２の複数の表面データ・フレームをレンダリングして、以下を表現してもよい：融合現実シーンの３Ｄ空間内に含まれる現実世界オブジェクト２０４及び１以上のバーチャル・オブジェクトの両方の表面の色彩データ及び深度データ。現実世界オブジェクト及びバーチャル・オブジェクトの両方を表す第２のフレームセット及び追加のフレームセットについては、後で、更に詳しく、図示及び説明を行う。

【0069】

幾つかの例において、システム１００（例えば、システム１００の融合現実エンティティ・ステート・トラッキング設備１０４又は別の設備）は、少なくとも１つのエンティティの状態を表すエンティティ記述フレームを生成することができる。例えば、システム１００は、エンティティ記述フレームを、以下に基づいて生成することができる：融合現実エンティティ・ステート・トラッキング設備１０４が生成する複数のエンティティを表すエンティティ記述データ。エンティティ記述フレームは、１つ又は数個（ａ ｆｅｗ）のエンティティを表現してもよく、幾つかの例において、複数のエンティティにおいて、全ての現実世界エンティティ及びバーチャル・エンティティを表現してもよく、前記表現は、融合現実シーンの３Ｄ空間内で、時系列での特定のポイントでのものであってもよい（例えば、リアルタイムでの特定の瞬間、リアルタイムとは無関係なバーチャル・タイムライン上の瞬間を表す特定のポイント等）。

【0070】

本明細書で使用するが、「エンティティ記述フレーム」は、データセット（例えば、言語（例えば、Ｊａｖａ Ｓｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（「ＪＳＯＮ」）等）において表現されるオブジェクト記述データを含む）を意味してもよく、前記データセットは、は、融合現実シーンの３Ｄ空間内に含まれる１以上のエンティティの状態を記述する。例えば、エンティティ記述フレームは、以下を含むことができる：時系列での特定のポイントでの３Ｄ空間内に含まれる幾つか（ｓｅｖｅｒａｌ）のエンティティそれぞれを記述するデータ。例えば、エンティティ記述フレームは、以下を含むことができる：状態データ（例えば、座標情報、配向情報、サイズ情報、及び上述した他のタイプの状態データ）、並びに、１以上の各エンティティに関する移動ベクトル、各エンティティの様々な表面に関する色彩及び／若しくはテクスチャ、並びに／又は特定の実施に寄与することができ、時系列で特定のポイントで特定のエンティティを記述するのに使用することができる任意の他の状態データ。幾つかの例において、エンティティ記述フレームは、以下を含むことができる：上述したエンティティ記述データに含まれるリンク（例えば、バーチャル・オブジェクトに関して資産ストレージ・システムへの、現実世界オブジェクトに関してトランスポート・ストリームへの等）。例示的なエンティティ記述フレームについては、後で更に詳しく、説明し、及び図示する。

【0071】

いったん、システム１００がエンティティ記述フレームを生成すると、システム１００は、エンティティ記述フレームを、複数のサーバ・サイド３Ｄレンダリング・エンジンに提供することができ、前記複数のサーバ・サイド３Ｄレンダリング・エンジンは、コンテンツ提供システム（例えば、システム１００、３Ｄレンダリング・エンジン、並びに、本明細書に記載のサーバ・サイドシステム、及びコンポーネントを組み込むバーチャル・リアリティ・メディア・コンテンツ・システム）に関連することができる。本明細書で使用するが、「サーバ・サイド」は、サーバとクライアントとの間のトランザクション（例えば、コンテンツ提供システムがコンテンツ（例えば、バーチャル・リアリティ・メディア・コンテンツ）をエンドユーザが使用するクライアント・デバイスに提供するトランザクション）のサーバ・サイド（例えば、プロバイダ・サイド）を指してもよい。例えば、より詳細に後述するが、バーチャル・リアリティ・メディア・コンテンツ提供システムは、バーチャル・リアリティ・メディア・コンテンツを、ユーザに関連するメディア・プレーヤ装置に提供することができる。かくして、サーバ・サイドシステム及びコンポーネントは、あるシステム及びコンポーネントを指すことができ、当該システム及びコンポーネントは、コンテンツ提供システムに関連することができ（例えば、内包される、実装される、相互運用される等）、当該コンテンツ提供システムは、データ（例えば、バーチャル・リアリティ・メディア・コンテンツ）を、メディア・プレーヤ装置に提供することできる（例えば、ネットワークの手段により）。一方で、「クライアント・サイド」デバイスは、クライアント・デバイス（例えば、メディア・プレーヤ装置）に関連することができ、クライアント・デバイスは、ネットワークの他方に位置するユーザによって使用することができ、「クライアント・サイド」デバイスは、以下を含むことができる：クライアント・デバイスがデータをコンテンツ提供システムから受信することを促進するデバイス（例えば、メディア・プレーヤ装置、及び／又は、ネットワークのユーザ・サイド上でユーザが操作する他のコンピュータ・コンポーネント）。

【0072】

従って、後で図示及び説明を行うが、３Ｄレンダリング・エンジンは、ネットワークのサーバ・サイド上で実装されてもよく（即ち、システム１００及び／又はコンテンツ提供システムの他の要素に関連してもよい）、当該実装は、システム１００のハードウェア及び／又はソフトウェアのリソースと統合されてもよいハードウェア及び／若しくはソフトウェアのリソースによってもよく、又はこれらとは別個で且つこれらと通信可能に接続されるハードウェア及び／若しくはソフトウェアのリソースによってもよい。３Ｄレンダリング・エンジンは、それぞれ、３Ｄ空間への複数のバーチャル・ビューポイントからの異なるバーチャル・ビューポイントに関連してもよく、そして、前記３Ｄレンダリング・エンジンは、以下の動作を行うように構成されてもよい：（例えば、システム１００が提供する同一のエンティティ記述フレームにそれぞれ基づいて）、第２のフレームセット（即ち、融合現実シーンの３Ｄ空間の現実世界オブジェクト及びバーチャル・オブジェクトの両方を表す第２のフレームセット）における第２の複数の表面データ・フレームに含まれる異なる各表面データ・フレームをレンダリングすること。

【0073】

ストレージ設備１０６は、以下を記憶、及び／又は、管理することができる：任意の適切なデータであって、特定の実施において、設備１０２又は１０４によって、受信、生成、マネージメント、トラッキング、管理、使用、及び／又は送信されるデータ。例えば、示すように、ストレージ設備１０６は、現実世界オブジェクト・データ１０８並びにバーチャル・エンティティ・データ１１０を含むことができる。現実世界オブジェクト・データは、以下を含むことができる：融合現実シーンの３Ｄ空間内に含まれる１以上の現実世界オブジェクト（例えば、現実世界オブジェクト２０４）に関連するデータ（例えば、キャプチャされる色彩データ及び／又は深度データ、状態データ、エンティティ記述データ等）。並びに、バーチャル・エンティティ・データ１１０は、以下を含むことができる：１以上のバーチャル・オブジェクト又は３Ｄ空間へのバーチャル・ビューポイントに関連するデータ（例えば、色彩データ及び／又は深度データ、状態データ、エンティティ記述データ等）。更には、ストレージ設備１０６は、以下を含むことができる：融合現実シーンの３Ｄ空間内に含まれる他のタイプのエンティティに関連するデータ、本明細書に記載のオペレーションを実行するためのインストラクション（例えば、プログラミング・インストラクション）、及び／又は、本明細書に記載のオペレーションを実行する際に設備１０２及び１０４によって使用するのに適切な任意の他のデータ。例えば、ストレージ設備１０６は更に以下を含むことができる：表面データ・フレーム、エンティティ記述フレーム等に関連するデータ（例えば、オブジェクト記述データ、色彩データ、深度データ、オーディオ・データ、メタデータ等）。また、ストレージ設備１０６は、特定の実施に寄与することができる追加又は代替のデータを管理することができる。

【0074】

幾つかの例において、システム１００は、現実世界シーン内でイベントが発生しているときに、リアルタイムで又はほぼリアルタイムで、１以上の本明細書に記載のオペレーションを実行することができる。従って、システム１００がバーチャル・リアリティ・メディア・コンテンツ・プロバイダ・パイプライン内で使用される（ここで、他のシステムもリアルタイムで動作する）実施において、バーチャル・リアリティ・メディア・コンテンツ（例えば、システム１００がリアルタイムで生成する仮想化される表面データ・フレーム・シーケンスを含むバーチャル・リアリティ・メディア・コンテンツ）を、メディア・プレーヤ装置に提供することができ、その結果、メディア・プレーヤ装置の各ユーザは、現実世界シーンの近くに物理的に位置することができないが、現実世界シーン（例えば、現実世界シーン内で発生しているイベント）を体験することを望む可能性があり、ユーザは、各ユーザのメディア・プレーヤ装置を使用して、現実世界シーン、及び現実世界シーン内で発生しているイベントをライブ形式で（例えば、イベントが発生したときにリアルタイムで又はほぼリアルタイムで）仮想的に体験することができる。データ処理及びデータ配信について、現実世界シーン内でイベントが発生した時にユーザが現実世界シーンを正確に体験することが不可能となるような有限量の時間がかかる可能性がある。その一方で、本明細書で使用するが、オペレーションがすぐに且つ過度の遅延なく実行される場合、オペレーションは、「リアルタイム」又は「ほぼリアルタイム」で実行されると考えられる。従って、以下の場合であっても、ユーザが、現実世界シーンをリアルタイムで体験するといってもよい：ユーザが、現実世界シーン内にて、ある遅延の後（例えば、発生事象が実際に起こってから数秒後又は数分後（ａ ｆｅｗ ｓｅｃｏｎｄｓ ｏｒ ｍｉｎｕｔｅｓ））で特定のイベントを体験した場合。

【0075】

特定の例において、システム１００は、以下に関連してもよい：様々な他のサーバ・サイドシステム（例えば、３Ｄキャプチャ・デバイス、シーン制御システム、資産ストレージ・システム、ビデオ・データ・パッケージング・システム、３Ｄレンダリング・エンジン等）、これらは、コンテンツ提供システム（例えば、バーチャル・リアリティ・メディア・コンテンツ提供システム）内の様々な構成においてともに含まれてもよく、その目的としては、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて融合現実シーンを生成するという目的、及び、ユーザに提示すべき融合現実シーンを表すデータ（例えば、バーチャル・リアリティ・メディア・コンテンツの一部として）を提供してユーザが融合現実シーンを体験することを可能にするという目的がある。

【0076】

幾つかの実施において、以下の点を理解されたい：１以上のこの他のサーバ・サイド・システムは、システム１００に統合されてもよく（例えば、内包されてもよい）、又は、システム１００に密接に関連してもよい（例えば、システム１００に通信可能に接続され、同一の又は関連するバーチャル・リアリティ・メディア・プロバイダ・エンティティによって操作される等）。例えば、特定の実施において、システム１００は、以下を含むことができる：複数の３Ｄキャプチャ・デバイス（ここで、前記デバイスは、現実世界シーンの複数の異なるヴァンテージ・ポイントを有するように現実世界シーンに対して配置され、前記デバイスによって、現実世界シーン内に含まれる現実世界オブジェクトを表すデータをキャプチャする）；バーチャル・オブジェクトの表面を表す色彩データ及び深度データを記憶する資産ストレージ・システム；資産ストレージ・システムと通信可能に接続される複数のサーバ・サイド３Ｄレンダリング・エンジン；並びに、複数の３Ｄキャプチャ・デバイス、資産ストレージ・システム、及び／又は、複数のサーバ・サイド３Ｄレンダリング・エンジンと通信可能に接続されるエンティティ・ステート・トラッキング・システム。エンティティ・ステート・トラッキング・システムは、設備１０２～１０６に関連して上述した１以上のオペレーションを実行するように構成されてもよい。他の実施において、システム１００は、これら他のサーバ・サイド・システムと統合されない別個の、スタンドアロンのシステムとして実装することができるが、しかし、むしろ、他のサーバ・サイド・システムと通信可能に接続されてもよく、及び／又は、特定の実施に寄与することができる他のサーバ・サイド・システムと相互運用するように構成されてもよい。

【0077】

図示的な意味合いで、図７は、例示的な構成７００を示し、ここで、システム１００は、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて、融合現実シーンを生成することを促進する。図７に示すように、システム１００の実装については、以下と通信可能に接続されてもよい：複数のシーン制御システム７０２（例えば、シーン制御システム７０２－１～７０２－Ｍ）、並びに、複数のサーバ・サイド３Ｄレンダリング・エンジン７０４（例えば、３Ｄレンダリング・エンジン７０４－１～７０４－Ｎ）。例えば、システム１００は、シーン制御システム７０２及び／又は３Ｄレンダリング・エンジン７０４と通信可能に接続されてもよく、前記接続は、１以上のネットワーク（例えば、本明細書に記載の任意のネットワーク又はネットワーク技術を含む）によってもよく、又は、特定の実施に寄与することができる他の通信モードによってもよい。構成７００に示すように、設備１０２～１０６に関連して上述したオペレーションを実行するエンティティ・ステート・トラッキング・システムは、システム１００によって実装されてもよい。上述したように、他の実施において、システム１００は、これらのオペレーションを実行するように構成されるエンティティ・トラッキング・システムと、構成７００に示す１以上の他のシステム及び装置との両方を実現することができる。

【0078】

複数のエンティティを表すエンティティ記述データ（例えば、以下を表すデータ：バーチャル・オブジェクト、現実世界オブジェクト、複数のバーチャル・ビューポイント、及び、上述したように、エンティティ記述データをシステム１００によって生成する目的となる他のエンティティ）に基づいて、システム１００は、時系列での特定のポイントで、融合現実空間の３Ｄ空間内に含まれる複数のエンティティにおける少なくとも１つのエンティティの状態を表すエンティティ記述フレームを生成することができる。システム１００は、また、生成されるエンティティ記述フレームを、３Ｄレンダリング・エンジン７０４へ、エンティティ記述フレーム７０６として提供することができる（例えば、３Ｄレンダリング・エンジン７０４との通信接続を介して）。資産ストレージ・システム７０８（３Ｄレンダリング・エンジン７０４と通信可能に接続されてもよい）及びトランスポート・ストリーム６００からリクエストされ及び受信されるエンティティ記述フレーム７０６並びにデータ（システム１００又は別の適切なシステムのストレージ設備内に記憶されてもよい）に基づいて、３Ｄレンダリング・エンジン７０４は、複数の表面データ・フレーム７１０－１～７１０－Ｎをレンダリングすることができる。具体的には、表面データ・フレーム７１０－１～７１０－Ｎは、上述した第２の複数の表面データ・フレームを含む第２のフレームセットを実装することができ、そして、以降では、集合的にフレームセット７１０と称することができる。かくして、フレームセット７１０中の表面データ・フレーム７１０－１～７１０－Ｎは、バーチャル・オブジェクト（例えば、図８に関連して後述するバーチャル・オブジェクト８０４）と現実世界オブジェクト（例えば、現実世界オブジェクト２０４）との両方の表面の色彩データ及び深度データを表すことができ、そして、表面データ・フレーム７１０－１～７１０－Ｎは、ビデオ・データ・パッケージング・システム７１２に提供されてもよい。システム１００及びトランスポート・ストリーム６００は、上記にて詳細にしてきた。構成７００に示す他のシステム及びアイテム各々については、以下詳細に説明する。

【0079】

シーン制御システム７０２は、任意のコンピューティング・システムを表してもよく、以下の動作を行うように構成されてもよい：融合現実シーンの３Ｄ空間内に含まれる１以上のエンティティ（例えば、システム１００が生成するデータに関連するエンティティ）に対する変更を要求すること、及び／又は、変更を実施すること。例えば、１以上のシーン制御システム７０２（例えば、シーン制御システム７０２－１）は、以下に関連（例えば、生成される、操作される等）してもよい：融合現実シーンの３Ｄ空間内に含まれるエンティティを表すデータを元々生成することを担うコンテンツ・クリエータ。更には、特定の実施において、１以上の他のシーン制御システム７０２（例えば、シーン制御システム７０２－２）は、以下に関連してもよい：融合現実シーンの３Ｄ空間を体験しているエンド・ユーザ。例えば、シーン制御システム７０２－２は、メディア・プレーヤ装置による手段により実装されてもよく、前記メディア・プレーヤ装置は、現時点でエンティティをレンダリングしており、メディア・プレーヤ装置のユーザに対して、融合現実シーンの３Ｄ空間内のエンティティを体験及び相互作用することを可能にすることができる。

【0080】

システム１００は、３Ｄ空間内に含まれる全ての現実世界エンティティ及びバーチャル・エンティティを表すデータの１つの統一なセットを生成することができる（例えば、各ーン制御システム７０２に関するエンティティを表すデータの別個のセットとは対照的に）という理由から、各シーン制御システム７０２がこうした変更を行うと、エンティティに対する変更を、データの統一なセットに反映させることができる。従って、複数のユーザ（即ち、異なるシーン制御システム７０２に関連する異なるユーザ）は、同じ融合現実シーンの同じ３Ｄ空間に対する変更を全て実効化できる。結果として、全てのシーン制御システム７０２が行った変更を、システム１００が出力するエンティティ記述フレーム（例えば、エンティティ記述フレーム７０６）に反映させることができ、そして、前記変更は、３Ｄレンダリング・エンジン７０４によってレンダリングされる各表面データ・フレーム（例えば、フレームセット７１０内に含まれる表面データ・フレーム７１０－１～７１０－Ｎ）に順番に反映させることができる。

【0081】

シーン制御システム７０２が、３Ｄ空間内のエンティティをどのように変更することができるかを示すべく、図８は、複数のエンティティを含む例示的な融合現実シーン８００を示す。示しているが、融合現実シーン８００は、現実世界オブジェクト２０４（上述したように）並びにバーチャル・オブジェクト８０４を含む３Ｄ空間８０２に関連する。オブジェクト２０４及び８０４は、複数のバーチャル・ビューポイント８０６（例えば、バーチャル・ビューポイント８０６－１～８０６－８）によって囲まれる。

【0082】

上述した現実世界シーン２０２と同様に、融合現実シーン８００は、任意の適切なサイズ、形、又はタイプのシーンを表現することができ、前記シーンは、融合現実要素を含むことができる（即ち、少なくとも１つのバーチャル・オブジェクト及び少なくとも１つの現実世界オブジェクトの表現を含むことができる）。例えば、図８において、３Ｄ空間８０２は円形状で示されるが、３Ｄ空間８０２は、具体的に線引きされたエリアを表してもよい（例えば、ステージ、アリーナ等）。逆に、他の例において、３Ｄ空間８０２は、さほど、区画化又は線引きされなくてもよい。例えば、３Ｄ空間８０２は、任意のインドア又はアウトドアのロケーションを表現してもよく、前記表現は、世界に基づいてもよく（例えば、現実世界シーン、イベント、風景、構造物等）、又は、仮想世界若しくは他のバーチャルな世界、イベント、風景、構造物等に基づいてもよい。

【0083】

上述したように、現実世界オブジェクト２０４は、現実世界シーン（例えば、現実世界シーン２０２）からキャプチャされ、融合現実シーン８００の３Ｄ空間８０２に投影される任意のオブジェクトを表現することができる。同様に、バーチャル・オブジェクト８０４は、現実世界オブジェクト２０４と共に３Ｄ空間８０２に投影されるバーチャル・オブジェクトを表現することができ、融合現実シーン８００を生成することができる。かくして、バーチャル・オブジェクト８０４は、生物又は無生物に関係なく、任意のバーチャル・オブジェクトであってよく、前記バーチャル・オブジェクトは、バーチャル・ビューポイント８０６のうち少なくとも１つから検出可能（例えば、閲覧可能等）であってもよい。現実世界オブジェクト２０４と同様に、バーチャル・オブジェクト８０４について、明確性の目的から、比較的シンプルな幾何学的形状として描写しているが、以下の点を理解されたい：バーチャル・オブジェクト８０４は、様々なレベルの複雑さを有する様々なタイプのオブジェクトを表現することができる。例えば、幾何学的な形ではなく、バーチャル・オブジェクト８０４は以下を表現することができる：任意のアニメーション若しくは非アニメーション・オブジェクト若しくは表面（例えば、人物又は別の生き物）、非透明な固体、液体、若しくは気体、不連続性に欠けるオブジェクト（例えば、壁、天井、若しくは床）、又は、本明細書に記載の若しくは特定の実施に寄与することができる任意の他のタイプのオブジェクト。また、現実世界オブジェクト２０４と同様に、バーチャル・オブジェクト８０４は、様々な表面を含むことができ、その結果、バーチャル・オブジェクト８０４は、各異なるバーチャル・ビューポイント８０６から見たときに、異なって見える可能性があり、これについては後で示す。

【0084】

また、３Ｄ空間８０２へのバーチャル・ビューポイント８０６は、融合現実シーン８００内に示される。本明細書で使用するが、３Ｄ空間「への」バーチャル・ビューポイントは、任意の適切な方法で、３Ｄ空間に関して位置している、角度付けされている、配向を有する等のバーチャル・ビューポイントを意味してもよい。例えば、３Ｄ空間へのバーチャル・ビューポイントは、以下の特徴を有するバーチャル・ビューポイントであってもよい：３Ｄ空間内に含まれる；３Ｄ空間を見る視界を伴って３Ｄ空間の外側に位置する；他のバーチャル・ビューポイントと共に３Ｄ空間を囲む；及び／又は、任意の適切な方法で３Ｄ空間に関連する。その結果、その結果、３Ｄ空間の少なくとも一部のビューをもたらすことができる。

【0085】

本明細書で使用するが、「バーチャル・ビューポイント」（例えば、バーチャル・ビューポイント８０６）は、現実世界シーンをキャプチャする３Ｄキャプチャ・デバイスに関連して説明した「ヴァンテージ・ポイント」（例えば、現実世界シーン２０２が上記図２に関連してキャプチャされるものとして説明した３Ｄキャプチャ・デバイス２０６のヴァンテージ・ポイント２０８等）とは異なるものの、類似してもよい。具体的には、バーチャル・ビューポイントは、以下の点でヴァンテージ・ポイントと類似してもよい：両方とも特定のタイプのシーン又は３Ｄ空間を閲覧する際の特定のロケーション、角度、及び／又は視界に関連する。このようにして、バーチャル・ビューポイントは、本明細書に記載の現実の、物理的な３Ｄキャプチャ・デバイスに類似したバーチャル３Ｄキャプチャ・デバイスと考えてもよい。しかし、ヴァンテージ・ポイントは、現実世界ロケーションに配置される物理的な３Ｄキャプチャ・デバイスに関係することができるものの、バーチャル・ビューポイントは、バーチャルな概念としてのみ存在することができる。

【0086】

例えば、融合現実シーンの３Ｄ空間が現実世界シーンに基づく例において、バーチャル・ビューポイントは、現実世界シーンに関連するバーチャル・ロケーションに関連してもよい（例えば、現実世界シーンをキャプチャするヴァンテージ・ポイントのロケーション等のバーチャル・ロケーション）。しかし、３Ｄ空間が現実世界シーンに基づくか、又は、バーチャル・シーンに基づくかに関わらず、バーチャル・ビューポイントは、バーチャルなものにすぎず、従って、必ずしも、現実世界ロケーションに配置される任意の物理的な３Ｄキャプチャ・デバイスに対応しなくてもよい。結果として、現実世界シーンの複数の異なるヴァンテージ・ポイント（例えば、現実世界シーン２０２のヴァンテージ・ポイント２０８）の第１の空間構成は、融合現実シーンの３Ｄ空間への複数のバーチャル・ビューポイントの第２の空間構成（例えば、３Ｄ空間８０２へのバーチャル・ビューポイント８０６）から独立してもよい。例えば、たとえ、３Ｄ空間８０２が現実世界シーン２０２に基づくとしても（ここで、前記現実世界シーン２０２は、ヴァンテージ・ポイント２０８に配置される３Ｄキャプチャ・デバイス２０６によってキャプチャされている）、バーチャル・ビューポイント８０６は、特定の例において、ヴァンテージ・ポイント２０８と必ずしも列をそろえる必要はなく、むしろ、ヴァンテージ・ポイント２０８から独立してもよい（即ち、そのシーンにおいて、それぞれ、異なるロケーションに位置される、並びに／又は、それぞれ異なる角度及び視界を持つ）。他の例において、バーチャル・ビューポイント８０６は、各ヴァンテージ・ポイント２０８と列をそろえてもよく、及び／又はこれらと関連してもよい（例えば、依存してもよい）。

【0087】

示しているが、各バーチャル・ビューポイント８０６は、図８にて表現されてもよく、その際に、円形でラベル付けされてもよく、前記円は、３Ｄ空間８０２に関して特定のロケーションに配置されてもよい。各バーチャル・ビューポイントは、前記バーチャル・ビューポイントからでるドット線とともに描写されるが、バーチャル・ビューポイント８０６に関連する視野を示す。バーチャル・ビューポイント８０６に関連する位置は、３Ｄ空間８０２に関して固定されてもよいが、しかし、後述するが、固定位置は、シーン制御システム７０２の１つによって変更することが可能である。更には、幾つかの例において、以下の点を理解されたい：３Ｄ空間８０２及びバーチャル・ビューポイントの両方８０６は、ともに融合現実シーン８００内を動くものであってもよい（例えば、宇宙船、熱気球等のような乗物の３Ｄ空間等）。示しているが、バーチャル・ビューポイント８０６が配置される固定位置は、幾つかの例において、３Ｄ空間８０２を、前記３Ｄ空間８０２に関連する少なくとも２次元に沿って（例えば、平面に沿って（例えば、地面））囲むことができる。他の例において、ポジション８０６は、更に、３Ｄ空間８０２を、３次元に沿って囲むことができる（例えば、上下のポジション８０６及び８０２も含めることによって）。

【0088】

図８に示す各バーチャル・ビューポイント８０６は、３Ｄ空間８０２に向かって内向きに角度付けされており、その結果、３Ｄ空間８０２を様々な角度からキャプチャすることができ、３Ｄ空間８０２を後で任意のバーチャル・ビューポイントからレンダリングすることを可能にすることができる。しかし、以下の点を理解されたい：特定の例において、１以上のバーチャル・ビューポイント８０６は、外向きに角度付けされてもよく（即ち、３Ｄ空間８０２から離れるように）、３Ｄ空間８０２を囲むオブジェクトに対する視界を獲得することができる。例えば、３６０度バーチャル・ビューポイントは、３Ｄ空間８０２の内部（明示しない）に位置して、以下を提供してもよい：追加の視界からの３Ｄ空間８０２内に含まれる現実世界オブジェクト、及び／若しくは、バーチャル・オブジェクトを表すデータ、並びに／又は、３Ｄ空間８０２の外にあるバーチャル・オブジェクトを表すデータ。

【0089】

図８は、融合現実シーン８００に対して行うことができる例示的な変更を更に示す。幾つかの例において、システム１００は、コマンドを受信して、複数のエンティティを表すエンティティ記述データ（即ち、現実世界オブジェクト２０４、バーチャル・オブジェクト８０４、バーチャル・ビューポイント８０６、及び／又は３Ｄ空間８０２内に含まれる任意の他のエンティティを表すデータ）を変更することができ、そして、コマンドの受信に応答して、コマンドに従って、複数のエンティティを表すエンティティ記述データを変更することができる。例えば、コマンドは、（例えば、ウェブ・ソケット又は別の適切なタイプの通信の手段により）シーン制御システム７０２のいずれかにより送信されてもよく、行われる変更を記述したＪＳＯＮコード又は別の適切なオブジェクト記述コードを使用してもよい。

【0090】

融合現実シーン８００内に含まれるエンティティは、任意の適切な態様で変更することができ、変更されるエンティティのタイプによって部分的に決定されてもよい。例えば、変更されるエンティティがバーチャル・オブジェクトである場合、コマンドに従った複数のエンティティを表すエンティティ記述データの変更は、以下を含むことができる：追加のバーチャル・オブジェクトを複数のエンティティに追加すること。これに加えて、又はこれに代えて、前記変更は、以下を含むことができる：複数のエンティティ内に含まれるバーチャル・オブジェクトを追加のバーチャル・オブジェクトに置換すること、バーチャル・オブジェクトを複数のエンティティから削除すること、複数のエンティティに含まれるバーチャル・オブジェクトの少なくとも１つのプロパティを変更すること、並びに／又は他のエンティティに関して、及び／若しくは、融合現実シーンの３Ｄ空間に関して、バーチャル・オブジェクトを変更すること。

【0091】

変更されるエンティティが現実世界オブジェクト（例えば、現実世界オブジェクト２０４）である場合、エンティティ記述データの変更については、バーチャル・オブジェクトに関して上述したのと同じ又は類似の方法で実行することができる。しかし、以下の点を理解されたい：現実世界シーンに関連するデータをキャプチャする態様を原因として、現実世界シーン内のある現実世界オブジェクトを別の現実世界オブジェクトと異ならせるメタデータが、現実世界シーンを表すキャプチャされるデータに関連する限りは、全体の現実世界シーン（例えば、様々な固有の現実世界オブジェクトを含む）を単独の現実世界オブジェクトとして扱ってもよい。例えば、システム１００は、以下を受信するように構成されてもよい：第１のフレームセット（例えば、現実世界シーン２０２内のオブジェクトを表すフレームセット４０２－１）に関連するメタデータ、ここで、前記メタデータは、同一の特定の時間ポイントで、現実世界オブジェクト２０４の表面の色彩データ及び深度データを、他の色彩データ及び他の深度データと異ならせるものであり、前記他の色彩データ及び他の深度データは、現実世界シーン２０２内に含まれる他の追加の現実世界オブジェクト（即ち、図２又は図８に明示しない現実世界シーン２０２内に含まれる現実世界オブジェクト）の他の表面を表す。かくして、エンティティ記述データが生成される融合現実シーン８００の３Ｄ空間８０２内に含まれる複数のエンティティは、更に１以上の他の追加の現実世界オブジェクトを含むことができる。追加の現実世界オブジェクトは、以下へのリンクによって、エンティティ記述データにおいて少なくとも部分的に定義されてもよい：色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム（即ち、トランスポート・ストリーム６００内の色彩ビデオ・データ・ストリーム５００－１－Ｃ及び深度ビデオ・データ・ストリーム５００－１－Ｄ）内に含まれる追加の現実世界オブジェクトの他の表面を表す他の色彩データ及び他の深度データ。更には、現実世界オブジェクト２０４の表面の色彩データ及び深度データへのリンク、並びに、追加の現実世界オブジェクトの他の表面を表す他の色彩データ及び他の深度データへのリンクは、メタデータに基づいてもよく、前記メタデータは、現実世界オブジェクト２０４の表面の色彩データ及び深度データを、追加の現実世界オブジェクトの他の表面を表す他の色彩データ及び他の深度データとは異ならせてもよい。

【0092】

変更されるエンティティがバーチャル・ビューポイント（例えば、バーチャル・ビューポイント８０６の１つ）である場合、コマンドに従った複数のエンティティを表すエンティティ記述データの変更は、以下を含むことができる：追加のバーチャル・ビューポイントを複数のエンティティに追加すること。これに加えて、又はこれに代えて、前記変更は、以下を含むことができる：複数のエンティティ内に含まれる複数のバーチャル・ビューポイントのうち少なくとも１つを変更すること；複数のバーチャル・ビューポイントのうち少なくとも１つを複数のエンティティから削除すること等。例えば、バーチャル・ビューポイント８０６の１つ（例えば、バーチャル・ビューポイント８０６－１）に関連する視野を変更又はターンして、３Ｄ空間８０２の異なる角度に関する視界を獲得することができる。他の例において、バーチャル・ビューポイント８０６は内向き又は外向きに動かすことができ（例えば、３Ｄ空間８０２内の特定のバーチャル・オブジェクトに関してズーム・イン又はズーム・アウトの効果を生じさせるため）、複数のバーチャル・ビューポイント８０６から削除することができ、又は、変更することができる。別の例として、追加のバーチャル・ビューポイントを複数のバーチャル・ビューポイント８０６に追加することができ、オブジェクト２０４及び／又は８０４についての別の視界（例えば、バーチャル・ビューポイント８０６－１～８０６－８の１つによって良好にカバーできない視界）を獲得することができる。

【0093】

上述したように、幾つかの例において、バーチャル・オブジェクト（例えば、バーチャル・オブジェクト８０４）は、変更されてもよく（例えば、３Ｄ空間８０２に関して移動及び／又は回転）、前記変更は、バーチャル・オブジェクトを変更するためのシーン制御システム７０２の１つからの直接コマンドに基づいてもよい。しかし、他の例において、バーチャル・オブジェクトは、自動的に変更してもよく（即ち、シーン制御システム７０２からの明示的なコマンドに基づくことなく、同一の又は異なる方法で変更）、前記変更は、３Ｄ空間８０２内に含まれる他のエンティティとの相互作用に基づいてもよい。より具体的には、例えば、複数のエンティティを表すエンティティ記述データのシステム１００による生成は、オブジェクト間のバーチャル相互作用を生成することを含むことができる（例えば、バーチャル・オブジェクト間、異なった現実世界オブジェクト間、バーチャル・オブジェクトと現実世界オブジェクトとの間等）。例えば、システム１００は、バーチャル・オブジェクト８０４と現実世界オブジェクト２０４との間のバーチャル相互作用を生成（例えば、生成、トラッキング、シミュレート等）することができる。そして、バーチャル相互作用は、物理ベースのオブジェクト行動及びＡＩベースのオブジェクト行動のうち少なくとも１つに基づいてもよい。

【0094】

例えば、物理ベースのオブジェクト行動８０８を図８に示す。システム１００は以下を決定することができる：バーチャル・オブジェクト８０４及び現実世界オブジェクト２０４それぞれが、固体のバーチャル・オブジェクトを表現しており、同一のバーチャル空間に存在できないこと。従って、物理ベースのオブジェクト行動８０８に示されるように、バーチャル・オブジェクト８０４のロケーション及び配向のプロパティを物理的なルールに従って変更することができ、その結果、バーチャル・オブジェクト８０４は、外観上、現実世界オブジェクト２０４と相互作用する（例えば、駆け上がる、「押し出す」等）。他の物理ベースのオブジェクト行動は他の物理的なルールを模倣してもよく（例えば、現実世界の物理、又は、バーチャル世界でのみ適用される仮想上の物理）、オブジェクトが互いにどのように相互作用し、そして、物理的な力及び原理とどのように相互作用するかを規定してもよい（例えば、重力、運動量、摩擦、浮力、光反射等）。また、これらの物理ベースのオブジェクト行動は、システム１００によって、３Ｄ空間８０２内に含まれる複数のエンティティを表すエンティティ記述データに適用されてもよい。更には、ＡＩベースのオブジェクト行動も、以下を定義することを補助してもよい：現実世界オブジェクト及び／又はバーチャル・オブジェクトが、互いにどのように相互作用するか、並びに、オブジェクトが配置される環境とどのように相互作用するか。例えば、ＡＩベースのオブジェクト行動は、特に、生き物を表すエンティティ（例えば、アバター、人々、動物等）に適用可能であってもよく、前記エンティティは、人工知能を使用して「選択」を行うことができる（例えば、３Ｄ空間８０２内のどこを歩くか、誰と話すか、及び何を話すか、いつ危険から逃げるか等）。

【0095】

図７に戻ると、システム１００は、エンティティ記述フレームを生成し、前記エンティティ記述フレームは、時系列で特定のポイント（例えば、リアルタイム・シーケンス、バーチャル世界の時間に関連するバーチャル・タイムライン等）での複数のエンティティにおけるエンティティの状態を表す。例えば、示すように、システム１００は、特定のエンティティ記述フレーム（即ち、エンティティ記述フレーム７０６）を生成することができ、そして、エンティティ記述フレーム７０６を各３Ｄレンダリング・エンジン７０４に提供することができる。３Ｄレンダリング・エンジン７０４は、サーバ・サイド３Ｄレンダリング・エンジンであってもよい（例えば、３Ｄレンダリング・エンジンであって、ネットワークをまたぐ、及び／又は、クライアント・サイド・デバイス（例えば、ユーザが使用するメディア・プレーヤ装置）とは別個の物）。幾つかの例において、３Ｄレンダリング・エンジン７０４は、別個のデバイス（例えば、別個のサーバ、サーバ内の別個のプロセッサ等）、又は別個のソフトウェアのプロセス（例えば、別個のインストラクション・スレッド等）によって実装されてもよい。一方で、他の例において、３Ｄレンダリング・エンジン７０４は、特定の実施に寄与することができる通常のハードウェア及び／又はソフトウェアのデバイス又はプロセスに共に統合されてもよい。幾つかの実施において、３Ｄレンダリング・エンジンは、融合現実シーン・キャプチャ・システム（例えば、システム１００）と結合して動作してもよく、又は、完全にこれらに統合されてもよく、一方、他の実施において、３Ｄレンダリング・エンジンは、別個に動作してもよい（例えば、クラウドベースの処理サービスを提供する異なるエンティティによって等）。

【0096】

３Ｄレンダリング・エンジン７０４に提供される特定のエンティティ記述フレームは、キー記述フレームであってもよく、前記キー記述フレームは、以下を含むことができる：時系列での特定のポイントでの融合現実シーン（即ち、融合現実シーン８００）に関連するすべてのエンティティを表す状態データ。一方で、他のエンティティ記述フレームは、アップデート記述フレームであってもよく、前記アップデート記述フレームは、融合現実シーンに関連するこれらのみのエンティティの状態（例えば、時系列での特定のポイントで）を表してもよく、前記融合現実シーンは、時系列で以前のポイントでのすべてのエンティティの状態を表現する以前のキー記述フレームが生成されて以来変更されている。

【0097】

図示的な意味合いで、図９は、複数の例示的なエンティティ記述フレーム９００（例えば、エンティティ記述フレーム９００－１～９００－１２）を示し、前記エンティティ記述フレーム９００は、システム１００によって生成されてもよい。１つのエンティティ記述フレーム９００から別のエンティティ記述フレームへを指す矢印によって示されるように、エンティティ記述フレーム９００は、時系列で並べられてもよく、エンティティ記述フレーム９００－１で開始し、そして、エンティティ記述フレーム９００－１２へと進み、その後、時系列は、図９に明示しない追加のエンティティ記述フレーム９００へと進んでもよい。各エンティティ記述フレーム９００の底部に沿って、エンティティ記述フレームのタイプ（例えば、キー記述フレーム又はアップデート記述フレーム）が示される。具体的には、エンティティ記述フレーム９００－１、９００－５及び９００－９がキー記述フレームとして示され、一方で、エンティティ記述フレーム９００－２～９００－４、９００－６～９００－８、及び９００－１０～９００－１２は、アップデート記述フレームとして示される。

【0098】

従って、こうした例において、各キー記述フレームは、時系列で複数（例えば、３つ）のアップデート記述フレームよりも先行し、当該アップデート記述フレームは、その代わり、時系列で別のキー記述フレームよりも先行する。しかし、以下の点を理解されたい：図９に示すキー記述フレーム及びアップデート記述フレームの配置は、例示的なものにすぎず、キー記述フレーム及びアップデート記述フレームの配置については、特定の実施に寄与することができる任意の方法で実施できる。例えば、特段動的ではない（即ち、エンティティに対する膨大な数の変更によって影響を受けない）融合現実シーンは、比較的少ないキー記述フレームによって表現されてもよく、その後比較的膨大な数のアップデート記述フレームによって表現されてもよい。逆に、より動的な融合現実シーンについては、より多くの割合のキー記述フレーム（最大で、キー記述フレームだけを含む）、及びより少ない割合のアップデート記述フレーム（最小で、アップデート記述フレームを含まない）によって、表現されてもよい。

【0099】

更に図９に示すように、各エンティティ記述フレーム９００は、エンティティ記述コードを含んでもよく、又は、エンティティ記述コードによって実装されてもよい（例えば、ＪＳＯＮコード、ＸＭＬコード、又は、エンティティ記述データがシステム１００によって生成されるエンティティに関連する状態データを記述するのに適切な別のタイプのコード）。そして、各エンティティ記述フレーム９００は、シーケンス番号（例えば、ＩＤ番号又は「ＩＤ」）に関連してもよく、シーケンス番号は、以下を表してもよい：時系列での他のエンティティ記述フレーム９００に対する各エンティティ記述フレーム９００の位置。例えば、示すように、エンティティ記述フレーム９００－１は、整数であるシーケンス番号を有してもよく（即ち、「１．０」）、これは、以下を示す：エンティティ記述フレーム９００－１がキー記述フレームであること、そして、他のキー記述フレームに対するフレームの相対位置（例えば、「１．０」が「２．０」の前に来る）。エンティティ記述フレーム９００－２～９００－４は、その後、それぞれ、１から始まるシーケンス番号に関連してもよく（即ち、これらのフレームが、キー記述フレーム１．０に対するアップデートであることを示す）、そして、サブ識別子を含んでもよく（即ち、「．１」、「．２」、及び「．３」）、当該サブ識別子が、他のアップデート記述フレームに対する時系列でのアップデート記述フレームの相対的な位置を示してもよい（例えば、「１．１」が「１．２」の前にくる）。こうしたエンティティ記述フレーム付番スキームは、例示的なものにすぎず、そして、特定の実施に寄与することができる任意の適切なフレーム付番スキームを採用することができる。

【0100】

図７に戻ると、エンティティ記述フレーム７０６がキー記述フレーム（例えば、エンティティ記述フレーム９００－１、９００－５、又は９００－９等）であるか、又は、アップデート記述フレーム（例えば、図９における他のエンティティ記述フレーム９００等）であるかに関わらず、エンティティ記述フレーム７０６を含むエンティティ記述フレームのシーケンスは、３Ｄレンダリング・エンジン７０４が必要とする全ての情報を提供することができ、各３Ｄレンダリング・エンジン７０４が関連する各バーチャル・ビューポイントからの融合現実シーン８００の３Ｄ空間８０２を描写する表面データ・フレームをレンダリングすることができる。かくして、３Ｄレンダリング・エンジン７０４が順番通りにエンティティ記述フレームを受信又は処理することは必須でなくてもよい。むしろ、３Ｄレンダリング・エンジン７０４は、各表面データ・フレーム７１０（例えば、シーケンス中の単独のエンティティ記述フレームからそれぞれ生成されてもよい）を特定の３Ｄレンダリング・エンジン７０４にとって便利又は効率的となる可能性のある任意の順序でレンダリングすることができ、そして、表面データ・フレーム７１０に対して、（例えば、ビデオ・データ・パッケージング・システム７１２によって）のちに並べ替え及び同期を行ってもよい。

【0101】

上述したように、バーチャル・オブジェクトを表す特定の詳細な情報（例えば、バーチャル・オブジェクトの幾何学、テクスチャを表すバイナリ・データ等）は、資産ストレージ・システム７０８に記憶されてもよく（例えば、エンティティ記述フレーム７０６内に明示的に含まれるのではなく）、そして、エンティティ記述フレーム７０６内に含まれるデータへのリンクを介してアクセスされてもよい。資産ストレージ・システム７０８は、システム１００及び／又は３Ｄレンダリング・エンジン７０４とは別個のデバイス（例えば、別個のサーバ、別個のプロセッサ、サーバー内のストレージ設備等）によって実装されてもよく、若しくは、別個のソフトウェア・プロセス（例えば、別個のインストラクション・スレッド等）によって実装されてもよく、又は、資産ストレージ・システム７０８は、特定の実施に寄与することができるシステム１００及び／若しくは３Ｄレンダリング・エンジン７０４とともに、通常のハードウェア及び／若しくはソフトウェア・デバイス若しくはプロセスに一緒に統合されもよい。幾つかの実施において、資産ストレージ・システム７０８は、融合現実シーン・キャプチャ・システム（例えば、システム１００）、及び／又は、３Ｄレンダリング・エンジン７０４も含むシステムと結合して動作してもよく、又は完全にこれらに統合されてもよく、一方で、他の実施において、資産ストレージ・システム７０８は、別個に動作してもよい（例えば、クラウドベースの処理サーバを提供する異なるエンティティによって等）。

【0102】

同様に、特定の例において、現実世界オブジェクトを表すエンティティ記述データの生成は、以下を含むことができる：現実世界シーン２０２内に含まれる現実世界オブジェクト２０４の３Ｄ表現を生成すること、並びに、現実世界オブジェクト２０４の表面の色彩データ及び深度データへのリンクを生成すること、ここで、前記リンクは、現実世界オブジェクト２０４の３Ｄ表現へのポインタとして、システム１００が生成するエンティティ記述データ内の現実世界オブジェクトを少なくとも部分的に定義することができる。例えば、システム１００は、現実世界オブジェクト２０４の３Ｄ表現を、色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームをレンダリングすることによって生成することができ（例えば、ユーザが使用するメディア・プレーヤ装置がレンダリングするのと同様の方法で）、これらのストリームは、以下に基づいて、生成されてもよい：第１のフレームセット及び複数の他のフレームセット（即ち、フレームセット４０２－１～４０２－Ｎに基づき、そして、トランスポート・ストリーム６００内に記憶されるビデオ・データ・ストリーム５００－１～５００－８）。システム１００は、その後、色彩データ及び深度データへのリンク（即ち、トランスポート・ストリーム６００内のデータへのポインタであり、前記ポインタは、システム１００内又は別の適切なサーバ・サイド・システム内で管理することができる）を生成することができ、そして、エンティティ記述フレーム７０６内にリンクを含むことができる。

【0103】

従って、エンティティ記述フレーム７０６は、他の箇所（例えば、バーチャル・オブジェクトの場合には資産ストレージ・システム７０８、現実世界オブジェクトの場合には、トランスポート・ストリーム６００内等）で記憶される詳細情報へのリンクとともにエンティティを表す状態情報を含むことができる。そして、エンティティ記述フレーム７０６は、必要に応じて、各３Ｄレンダリング・エンジン７０４によって、エンティティ記述フレーム７０６内のリンクに基づいてアクセスされてもよい。以下の点を留意されたい：詳細情報は別個で管理されてもよいが（例えば、現実世界オブジェクト・データに関してはトランスポート・ストリーム６００内、バーチャル・オブジェクト・データに関しては、資産ストレージ・システム７０８内）、構成７００に示すシステム１００、エンティティ記述フレーム７０６、３Ｄレンダリング・エンジン７０４、及び／又は他のシステムは、同様の方法で、現実世界オブジェクト及びバーチャル・オブジェクトを扱う（例えば、レンダリング、表現等）ことができる。幾つかの例において、例えば、構成７００の特定の要素（例えば、ビデオ・データ・パッケージング・システム７１２）は、現実世界オブジェクト（例えば、現実世界オブジェクト２０４）とバーチャル・オブジェクト（例えば、バーチャル・オブジェクト８０４）との間の識別をする必要すらなく、又は識別できなくてもよい。他の例において、考慮される現実世界オブジェクト及びバーチャル・オブジェクトの間の識別があってもよい。例えば、バーチャル・オブジェクトに関するモデルは比較的静的であってもよく、現実世界オブジェクトを表すデータは、時間とともに動的に変化してもよく、時間の特定の瞬間に関連するデータに３Ｄレンダリング・エンジン７０４がアクセスすることを必要としてもよい。

【0104】

いずれのケースにおいても、エンティティ記述フレーム７０６内に含まれるデータ、及び、資産ストレージ・システム７０８からアクセスされるデータ、及び／又はエンティティ記述フレーム７０６内に提供されるリンクを使用するトランスポート・ストリーム６００の間で、３Ｄレンダリング・エンジン７０４は、３Ｄレンダリング・エンジン７０４がローカルで管理する情報に依存することを必要とすることなく、各バーチャル・ビューポイントからの３Ｄ空間８０２を表す表面データ・フレーム７１０をレンダリングするためのすべての必要な情報にアクセスすることができる。

【0105】

各３Ｄレンダリング・エンジン７０４は、以下に関連してもよい：システム１００がエンティティ記述データを生成する複数のエンティティにおいて表現されるバーチャル・ビューポイントの１つ。例えば、３Ｄレンダリング・エンジン７０４－１～７０４－８（これらのなかで、図７に明示しているのは、３Ｄレンダリング・エンジン７０４－１及び７０４－２のみであるが）は、それぞれ以下に関連してもよい：バーチャル・ビューポイント８０６－１～８０６－８（図８に示す）。かくして、各３Ｄレンダリング・エンジン７０４は、各表面データ・フレーム７１０を、バーチャル・ビューポイント８０６の視界（即ち、位置、角度、視野等）から見えるものとしてレンダリングすることができ、前記バーチャル・ビューポイントは、特定の３Ｄレンダリング・エンジン７０４が関連してもよい。更には、上述したように、各表面データ・フレーム７１０は、各バーチャル・ビューポイントからのバーチャル・オブジェクトの外観を表す色彩データ（即ち、イメージ・データ）を含むことができるだけでなく、深度データも含むことができる。

【0106】

図示する目的で、図７は、表面データ・フレーム７１０－１を表すイメージを示し、前記表面データ・フレーム７１０－１は、３Ｄレンダリング・エンジン７０４－１がレンダリングする表面データ・フレームであってもよく、３Ｄレンダリング・エンジンは、バーチャル・ビューポイント８０６－１に関連してもよい（図８参照）。示しているが、表面データ・フレーム７１０－１は、以下を含むことができる：色彩データ７１４及び深度データ７１６の両方、これらは、色彩データ３０６及び深度データ３０８（図３参照）に関して上述したのと同様のタイプのデータを表現してもよい。しかし、色彩データ３０６及び深度データ３０８に関連する表面データ・フレームとは対照的に、表面データ・フレーム７１０－１は、以下を含むことができる：現実世界オブジェクト２０４及びバーチャル・オブジェクト８０４の両方、並びに、融合現実シーン８００の３Ｄ空間８０２内に含まれてもよい任意の他のオブジェクトを表現したもの。具体的には、示すように、バーチャル・オブジェクト８０４は外観上現実世界オブジェクト２０４の頂部に静置されている（例えば、システム１００によって実装されるオブジェクト間の物理ベースのバーチャル相互作用の手段によって）。

【0107】

表面データ・フレームの各フレームセット（例えば、表面データ・フレーム７１０－１～７１０－Ｎを含むフレームセット７１０）は、３Ｄレンダリング・エンジン７０４によって生成されてもよく、その結果、システム１００が提供する各エンティティ記述フレーム（例えば、エンティティ記述フレーム７０６）は、各フレームセットに関連してもよく、前記各フレームセットは、３Ｄ空間への異なるバーチャル・ビューポイント８０２からの融合現実シーン８００の３Ｄ空間８０２のレンダリングを表現することができる。図７に示すように、各フレームセットにおける各表面データ・フレーム（例えば、表面データ・フレーム７１０－１～７１０－Ｎを含む）は、その後、ビデオ・データ・パッケージング・システム７１２に提供されてもよく、当該システムは、表面データ・フレームを、オーガナイズ、同期、エンコード、圧縮、結合、及び／又は処理することができ、各バーチャル・ビューポイント８０６に関連する各色彩ビデオ・データ・ストリーム及び各深度ビデオ・データ・ストリームを生成することができる。

【0108】

図示する目的で、図１０は、構成７００の特定のコンポーネントの更に詳細なビューを示す。具体的には、図１０は、８つの３Ｄレンダリング・エンジン７０４（即ち、３Ｄレンダリング・エンジン７０４－１～７０４－８）を示し、これらは、表面データ・フレームの完全なセット（即ち、表面データ・フレーム７１０－１～７１０－８を含むフレームセット７１０）をレンダリングする。表面データ・フレーム７１０－１～７１０－８は、以下を表してもよい：融合現実シーンの３Ｄ空間内に含まれる現実世界オブジェクト及びバーチャル・オブジェクトの表面の色彩データ及び深度データ。示しているが、例えば、フレームセット７１０は、３Ｄ空間８０２内の現実世界オブジェクト２０４及びバーチャル・オブジェクト８０４の表面を表すデータを含み、前記表面の外観は、３Ｄ空間８０２に関して異なるバーチャル・ビューポイント（例えば、バーチャル・ビューポイント８０６－１～８０６－８）からのものである。以下の点を理解されたい：表面データ・フレームは、図１０において、図７に示す色彩データ・イメージ（即ち、色彩データ７１４を示すイメージ）と類似のイメージによって表現されるように示しているが、フレームセット７１０中の各表面データ・フレームは、深度データを表すデータも含むことができ、深度データは、は、図７に示す深度データ・イメージ（即ち、深度データ７１６を示すイメージ）と類似のイメージによって表現されてもよい。

【0109】

３Ｄレンダリング・エンジン７０４は、それぞれ、表面データ・フレーム７１０－１～７１０－Ｎを、関連するバーチャル・ビューポイント８０６から生成することができ、前記生成は、以下に基づいてもよい：エンティティ記述フレーム７０６、並びに、資産ストレージ・システム７０８及び／又はトランスポート・ストリーム６００からアクセスされるデータ（上述したように）。例えば、融合現実シーン８００に関連する複数のエンティティを表すエンティティ記述データは、以下を含むことができる：資産ストレージ・システム７０８に記憶されるバーチャル・オブジェクト８０４を表す色彩データ及び深度データへのリンク、並びに／又は、トランスポート・ストリーム６００内に含まれる現実世界オブジェクト２０４を表す色彩データ及び深度データへのリンク。かくして、エンティティ記述フレーム７０６（上述したように、システム１００によって生成されてもよく、３Ｄレンダリング・エンジン７０４に提供されてもよい）を生成して、以下へのリンクをそれぞれ含んでもよい：トランスポート・ストリーム６００及び資産ストレージ・システム７０８にてそれぞれ管理されるオブジェクト２０４及び８０４を表す色彩データ及び深度データ。各３Ｄレンダリング・エンジン７０４は、以下によって、各バーチャル・ビューポイント８０６からの各表面データ・フレーム７１０をレンダリングするように構成されてもよい：システム１００からエンティティ記述フレーム７０６を受信することを含むオペレーションを実行すること、並びに、トランスポート・ストリーム６００及び資産ストレージ・システム７０８にてそれぞれ維持されるオブジェクト２０４及び８０４を表す色彩データ及び深度データへ、エンティティ記述フレーム７０６内に含まれるリンクを使用してアクセスすること。エンティティ記述フレーム７０６内に含まれるデータ、並びにリンクの手段によってアクセスされる色彩データ及び深度データの両方を用いて、３Ｄレンダリング・エンジン７０４は、表面データ・フレーム７１０をレンダリングすることができ、図示するように、３Ｄ空間８０２を囲むバーチャル・ビューポイントからの３Ｄ空間８０２（例えば、現実世界オブジェクト２０４及びバーチャル・オブジェクト８０４の両方を含む）のビューを提供することができる。

【0110】

上述した現実世界シーン２０２を表すフレーム・シーケンス４０４と同様に、各表面データ・フレーム７１０－１～７１０－Ｎは、表面データ・フレームの別個のフレーム・シーケンス内に含まれてもよく、前記表面データ・フレームは以下を表してもよい：時系列中の各バーチャル・ビューポイント８０６からの融合現実シーン８００の色彩データ及び深度データ。例えば、表面データ・フレーム７１０－１は、時系列中バーチャル・ビューポイント８０６－１から見えるオブジェクト２０４及び８０４の表面の色彩データ及び深度データを表す表面データ・フレームの第１のフレーム・シーケンス内に含まれてもよく、表面データ・フレーム７１０－２は、時系列中バーチャル・ビューポイント８０６－２から見えるオブジェクト２０４及び８０４の表面の色彩データ及び深度データを表す表面データ・フレームの第２のフレーム・シーケンス内に含まれてもよく、以下同様であってもよい。換言すれば、いったん、表面データ・フレーム７１０がレンダリングされると、各３Ｄレンダリング・エンジン７０４は、続いて、表面データ・フレームの異なる各シーケンス内の他の表面データ・フレームをレンダリングしてもよい。例えば、３Ｄレンダリング・エンジン７０４は追加のエンティティ記述フレームをエンティティ記述フレーム７０６（例えば、図９に示すエンティティ記述フレーム９００のシーケンス等）の後に受信してもよく、更に表面データ・フレームを、追加のエンティティ記述フレームに基づいて生成してもよい。

【0111】

図示する目的で、図１１は、表面データ・フレームの複数の例示的なフレーム・シーケンス１１０２（例えば、フレーム・シーケンス１１０２－１～１１０２－８）を示し、前記表面データ・フレームは、以下を表す：ヴァンテージ・ポイント８０６－１～８０６－８からそれぞれ見えるバーチャル・オブジェクト８０４及び現実世界オブジェクト２０４の両方の表面の色彩データ及び深度データ。例えば、示すように、各フレーム・シーケンス１１０２に示す第１の表面データ・フレーム（即ち、図１１にてオブジェクト２０４及び８０４の異なるビューが見えるようにカバーされない表面データ・フレーム）は、表面データ・フレーム７１０－１（フレーム・シーケンス１１０２－１内に含まれる）～７１０－８（フレーム・シーケンス１１０２－８内に含まれる）に対応してもよい。従って、フレーム・シーケンス１１０２－１～１１０２－８は、それぞれ、３Ｄレンダリング・エンジン７０４－１～７０４－８と関連してもよく、従って、バーチャル・ビューポイント８０６－１～８０６－８と関連してもよい。例えば、フレーム・シーケンス１１０２－１は、以下を表してもよい：特定の時系列１１０４中にバーチャル・ビューポイント８０６－１から見たときの融合現実シーン８００の３Ｄ空間８０２内に含まれる現実世界オブジェクト及びバーチャル・オブジェクトの色彩及び深度の両方（例えば、没入型バーチャル・リアリティ世界に関連する特定のリアルタイムの期間、特定のバーチャル・タイムライン等）。同様に、フレーム・シーケンス１１０２－２は、以下を表してもよい：時系列１１０４中にバーチャル・ビューポイント８０６－２から見える３Ｄ空間８０２内に含まれる現実世界オブジェクト及びバーチャル・オブジェクトの色彩及び深度。フレーム・シーケンス１１０２－３～１１０２－８についても同様である。

【0112】

上記で説明及び図示したが、３Ｄレンダリング・エンジン７０４によって生成され、及びフレーム・シーケンス１１０２内に含まれる各表面データ・フレームは、ビデオ・データ・パッケージング・システム７１２に送信されてもよく、又は、渡されてもよく、当該システムは、３Ｄレンダリング・エンジン７０４と通信可能に接続されてもよい。表面データ・フレームの各異なるフレーム・シーケンス１１０２に基づいて（例えば、フレームセット７１０に基づいて、及び、示すように追加の複数の表面データ・フレームをそれぞれ含むフレームセット７１０に続く追加のフレームセットに基づいて）、ビデオ・データ・パッケージング・システム７１２は、少なくとも１つの追加のトランスポート・ストリーム（即ち、以前に生成されたトランスポート・ストリーム６００に加えて）を生成することができ、前記追加のトランスポート・ストリームは、各バーチャル・ビューポイント８０６に関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含むことができる。例えば、ビデオ・データ・パッケージング・システム７１２は、単独のトランスポート・ストリームを生成することができ、当該ストリームは、各フレーム・シーケンス１１０２に関連する（即ち、各３Ｄレンダリング・エンジン７０４及びバーチャル・ビューポイント８０６に関連する）個々の色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含むことができる、又は、ビデオ・データ・パッケージング・システム７１２は、各フレーム・シーケンス１１０２に関連する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームのための異なるトランスポート・ストリームを生成することができる。少なくとも１つの追加のトランスポート・ストリームは、本明細書に記載の任意の態様で（例えば、トランスポート・ストリーム６００と同様の態様で）、又は、特定の実施に寄与することができる任意の他の適切な態様で、生成することができる。

【0113】

いったん、少なくとも１つの追加のトランスポート・ストリームが生成されると、ビデオ・データ・パッケージング・システム７１２は、少なくとも１つの追加のトランスポート・ストリームを、ストリーミング目的で、ユーザに関連するクライアント・サイド・メディア・プレーヤ装置へ提供することができる。例えば、ビデオ・データ・パッケージング・システム７１２は、トランスポート・ストリームを、メディア・プレーヤ装置自体にストリーミングすることができる（例えば、送信ネットワークの手段により）。又は、ビデオ・データ・パッケージング・システム７１２は、データ・パイプライン中にトランスポート・ストリームを含むことができ、ここで、トランスポート・ストリームは、別のシステムによって、更に処理され、そして、メディア・プレーヤ装置にストリーミングされるであろう（例えば、パイプラインに関連する他のデバイス、プロセス、及び／又はシステムによって処理され、及び／又は再パッケージされた後）。後述するが、クライアント・サイド・メディア・プレーヤ装置は、以下を生成する動作を行うように構成されてもよい：（例えば、少なくとも１つの追加のトランスポート・ストリーム内に含まれる各バーチャル・ビューポイントに関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームに基づいて）動的に選択可能なバーチャル・ビューポイントからユーザによって体験されるべき融合現実シーンの３Ｄ空間の３Ｄ表現、ここで、前記バーチャル・ビューポイントはユーザによって選択されてもよく、そして、融合現実シーン８００の３Ｄ空間８０２内の任意のバーチャル・ロケーションに対応してもよい。

【0114】

上述したように、幾つかの例において、システム１００並びに／又は本明細書に記載の他のシステム（例えば、他のサーバ・サイド・システム）及びデバイスを使用して、ユーザの体験対象であるバーチャル・リアリティ・メディア・コンテンツを生成することができる。例えば、上述したオペレーションのほか、バーチャル・リアリティ・メディア・コンテンツ提供システム（例えば、システム１００、ビデオ・データ・パッケージング・システム７１２、並びに／又は本明細書に記載の他のデバイス及びシステムが包含されてもよい物、又は、これらのシステムと関連してもよい物）は、更に、以下に基づいてバーチャル・リアリティ・メディア・コンテンツを生成及び提供することができる：ビデオ・データ・パッケージング・システム７１２が生成及び提供する少なくとも１つの追加のトランスポート・ストリーム。バーチャル・リアリティ・メディア・コンテンツは、融合現実シーン（例えば、融合現実シーン８００）を表してもよく、そして、ユーザに提示可能なものであってもよく、その結果、融合現実シーンに関する任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから体験されてもよい。例えば、動的に選択可能なバーチャル・ビューポイントは、メディア・プレーヤ装置のユーザによって選択されてもよく、当該選択は、ユーザがメディア・プレーヤ装置を使用して融合現実シーンを体験している間に行われてもよい。更には、バーチャル・リアリティ・メディア・コンテンツは、（例えば、システム１００を含む又は当該システムに関連するバーチャル・リアリティ・メディア・コンテンツ提供システムによって）メディア・プレーヤ装置に提供されてもよく、そして、融合現実シーン内の任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントからの融合現実シーンをユーザに体験させることを可能にしてもよい。

【0115】

図示する目的で、図１２は、例示的な構成１２００を示し、ここで、システム１００及びビデオ・データ・パッケージング・システム７１２を含む例示的なバーチャル・リアリティ・メディア・コンテンツ提供システム１２０２（「プロバイダ・システム１２０２」）は、バーチャル・リアリティ・メディア・コンテンツを生成し、前記コンテンツは、ネットワーク１２０４の手段により、例示的なクライアント・サイド・メディア・プレーヤ装置１２０６（「メディア・プレーヤ装置１２０６」）に提供され、前記装置は、融合現実シーンを体験するユーザ１２０８によって使用される。

【0116】

少なくとも１つの追加のトランスポート・ストリームが、上述したように、フレーム・シーケンス１１０２に基づいて生成された後、プロバイダ・システム１２０２は、更に、１以上のトランスポート・ストリームを、エンコード、パッケージ化、暗号化、又は処理することができ、バーチャル・リアリティ・メディア・コンテンツを形成することができ、当該コンテンツは、メディア・プレーヤ装置１２０６がレンダリングするように構成されてもよい。例えば、バーチャル・リアリティ・メディア・コンテンツは、以下を含むことができる、又は以下を表すことができる：複数の２Ｄビデオ・データ・ストリーム（例えば、各バーチャル・ビューポイント８０６に関する色彩データ及び深度データに関連する２Ｄビデオ・データ・ストリーム）、ここで、前記２Ｄビデオ・データ・ストリームは、メディア・プレーヤ装置１２０６によってレンダリングされてもよく、その結果、融合現実シーン８００内の任意のバーチャル・ビューポイント（例えば、ユーザ１２０８が興味を抱く可能性があるバーチャル・ビューポイント８０６以外のバーチャル・ビューポイントを含む）からの融合現実シーン８００のビューを提示することができる（これについては後述する）。これに加えて、又はこれに代えて、バーチャル・リアリティ・メディア・コンテンツは、以下を含むことができる：融合現実シーン８００内に含まれるバーチャル・オブジェクトの１以上のボルメトリック・モデル（例えば、３Ｄ又は４Ｄモデル）を表すデータ、ここで、当該データも、任意のバーチャル・ビューポイントから閲覧可能なようにレンダリングされてもよい。バーチャル・リアリティ・メディア・コンテンツは、その後、ネットワーク１２０４の手段により、１以上のメディア・プレーヤ装置（例えば、ユーザ１２０８に関連するメディア・プレーヤ装置１２０６）に配信されてもよい。例えば、プロバイダ・システム１２０２は、バーチャル・リアリティ・メディア・コンテンツを、メディア・プレーヤ装置１２０６に提供することができ、その結果、ユーザ１２０８は、メディア・プレーヤ装置１２０６を使用して仮想的に融合現実シーン８００を体験することができる。

【0117】

幾つかの例において、以下の点はユーザ１２０８にとって望ましくない可能性がある：バーチャル・リアリティ・メディア・コンテンツ（例えば、融合現実シーン８００を表す）によって表現される没入型バーチャル・リアリティ世界内の１以上の不連続な位置に制限されること。かくして、プロバイダ・システム１２０２は、融合現実シーン８００を表すバーチャル・リアリティ・メディア・コンテンツ内に十分なデータを提供することができ、バーチャル・ビューポイント８０６からの融合現実シーン８００のレンダリングを可能にするだけでなく、融合現実シーン８００内の任意のバーチャル・ロケーションに対応する任意の動的に選択可能なバーチャル・ビューポイント（例えば、３Ｄ空間８０２内又はその周辺）からのレンダリングを可能にすることができる。例えば、ユーザ１２０８がメディア・プレーヤ装置１２０６を使用して融合現実シーン８００を体験している間、動的に選択可能なバーチャル・ビューポイントは、ユーザ１２０８によって選択されてもよい。

【0118】

本明細書で使用するが、「任意のバーチャル・ロケーション」は、融合現実シーンに関連する空間中の任意のバーチャル・ポイント（例えば、融合現実シーンの３Ｄ空間内又はその周辺）を意味することができる。例えば、任意のバーチャル・ロケーションは、融合現実シーンを囲む固定位置（例えば、バーチャル・ビューポイント８０６に関連する固定位置）に限定されないが、バーチャル・ビューポイント８０６に関連する位置と３Ｄ空間８０２内部の位置との間のすべての位置も含む。更には、任意のバーチャル・ロケーションは、以下に関連してもよい：バーチャル・ビューポイント８０６のいずれかと揃ったものに限定されない任意のバーチャル・ビューポイント。幾つかの例において、こうした任意のバーチャル・ロケーションは、融合現実シーン８００内で最も望ましいバーチャル・ビューポイントに対応してもよい。例えば、もしも、融合現実シーン８００がバスケットボールのゲームを含む場合、ユーザ１２０８は、バーチャル・ビューポイントを動的に選択することができ、そこから、バスケットボールのコート上の任意のバーチャル・ロケーションのゲームを体験することができる。例えば、ユーザは、ユーザのバーチャル・ビューポイントを動的に選択することができ、バスケットボールのコートを上下に追従することができ、そして、ゲームの進行中のバスケットボールのコートに立っているかのごとく、バスケットボールのゲームを体験することができる。換言すれば、例えば、バーチャル・ビューポイント８０６は、バスケットボールのコート周辺の固定位置にあってもよく、その一方で、ユーザ１２０８は、バスケットボールのコート上の任意の位置に関連し、ゲームをそこから体験するための任意のバーチャル・ビューポイントを動的に選択することができる。

【0119】

ネットワーク１２０４は、以下を含むことができる：プロバイダに特化した有線の又はワイヤレスなネットワーク（例えば、ケーブル、又は衛星キャリア・ネットワーク又はモバイル電話ネットワーク）、インターネット、ワイド・エリア・ネットワーク、コンテンツ・デリバリ・ネットワーク、又は任意の他の適切なネットワーク。データは、プロバイダ・システム１２０２とメディア・プレーヤ装置１２０６（並びに、明示しない他のメディア・プレーヤ装置）との間を流れることができ、その際に、特定の実施に寄与することができる任意の通信技術、デバイス、メディア、及びプロトコルを使用してもよい。

【0120】

メディア・プレーヤ装置１２０６をユーザ１２０８が使用して、プロバイダ・システム１２０２から受信するバーチャル・リアリティ・メディア・コンテンツにアクセスし、体験することができる。例えば、メディア・プレーヤ装置１２０６は、以下を生成する動作を行うように構成されてもよい：（例えば、２Ｄビデオ・データ・ストリームであってもよい少なくとも１つの追加のトランスポート・ストリーム内に含まれる各バーチャル・ビューポイントに関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームに基づいて）任意のバーチャル・ビューポイント（例えば、ユーザによって選択され、３Ｄ空間８０２内の任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイント）からユーザ１２０８によって体験されるべき融合現実シーン８００の３Ｄ空間８０２の３Ｄ表現。この目的のため、メディア・プレーヤ装置１２０６は、以下を行うことができる任意のデバイスを含んでもよく、又は、当該デバイスによって実装されてもよい：没入型バーチャル・リアリティ世界の視野を提示すること（例えば、融合現実シーン８００を表す没入型バーチャル・リアリティ世界）、及び、ユーザ１２０８が没入型バーチャル・リアリティ世界を体験する際に、ユーザ１２０８からのユーザ入力を検出して、視野内に提示される没入型バーチャル・リアリティ世界を動的にアップデートすること。

【0121】

例えば、図１３が示すのは、様々な例示的なタイプのメディア・プレーヤ装置１２０６であり、前記装置は、バーチャル・リアリティ・メディア・コンテンツを体験するユーザ１２０８によって使用されてもよい。具体的には、示すように、メディア・プレーヤ装置１２０６は、幾つかの異なる形態要素のうち１つをとることができる（例えば、ヘッドマウント・バーチャル・リアリティ・デバイス１３０２（例えば、バーチャル・リアリティ・ゲーム・デバイス）（ヘッドマウント・ディスプレイ・スクリーンを含む））、個人用コンピュータ・デバイス１３０４（例えば、デスクトップ・コンピュータ、ラップトップ・コンピュータ等）、モバイル・デバイス若しくはワイヤレス・デバイス１３０６（例えば、スマートフォン、タブレット・デバイス等、これらは、ヘッドマウント装置の手段によりユーザ１２０８の頭部に取り付けることが可能）、特定の実施に寄与して、バーチャル・リアリティ・メディア・コンテンツの受信及び／又は提示を促進することができる任意の他のデバイス又はデバイスの構成。異なるタイプのメディア・プレーヤ装置（例えば、ヘッドマウント・バーチャル・リアリティ・デバイス、個人用コンピュータ・デバイス、モバイル・デバイス等）は、異なるレベルの没入性を有する異なるタイプのバーチャル・リアリティ体験を、ユーザ１２０８に提供することができる。

【0122】

図１４は、例示的なバーチャル・リアリティ体験１４００を示し、ここで、ユーザ１２０８には、例示的なバーチャル・リアリティ・メディア・コンテンツが提示され、当該コンテンツは、融合現実シーンを表し、前記融合現実シーンは、融合現実シーンに関する例示的な任意のバーチャル・ロケーションに対応する動的に選択可能なバーチャル・ビューポイントから体験される。具体的には、バーチャル・リアリティ・メディア・コンテンツ１４０２は、視野１４０４内に提示され、当該コンテンツが示すのは、バーチャル・ビューポイントからの融合現実シーンであり、前記バーチャル・ビューポイントは、任意のバーチャル・ロケーションに対応し、前記バーチャル・ロケーションは、シュートが行われている融合現実シーンの３Ｄ空間内のバスケットボールのゴールの真下である。融合現実シーンに基づく没入型バーチャル・リアリティ世界１４０６は、閲覧者にとって利用可能であってもよく、ユーザ入力（例えば、頭部の動き、キーボード・インプット等）を提供することで体験でき（即ち、体験する箇所からバーチャル・ビューポイントを動的に選択する）、没入型バーチャル・リアリティ世界１４０６を見回す、及び／又は動き回ることができる。

【0123】

例えば、視野１４０４は、ウィンドウを提供することができ、当該ウィンドウを通して、ユーザ１２０８は、容易に且つ自然に、没入型バーチャル・リアリティ世界１４０６を見回すことができる。視野１４０４は、メディア・プレーヤ装置１２０６（例えば、メディア・プレーヤ装置１２０６のディスプレイ・スクリーン上に）によって提示されてもよく、そして、当該視野１４０４は、以下を含むことができる：没入型バーチャル・リアリティ世界１４０６内のユーザの周辺のオブジェクトを描写したビデオ。更には、視野１４０４を、ユーザ１２０８が没入型バーチャル・リアリティ世界１４０６を体験する際に、ユーザ１２０８が提供するユーザ入力に応答して、動的に変更することができる。例えば、メディア・プレーヤ装置１２０６は、ユーザ入力を検出することができる（例えば、視野１４０４が提示されるディスプレイ・スクリーンを移動又は回転する）。これに応答して、視野１４０４は、以下を提示することができる：異なるオブジェクト及び／又は以前のバーチャル・ビューポイント若しくはバーチャル・ロケーションから見えるオブジェクトの場所において、異なるバーチャル・ビューポイント若しくはバーチャル・ロケーションから見えるオブジェクト。

【0124】

図１４において、没入型バーチャル・リアリティ世界１４０６は、半球として示されているが、このことは、以下を示す：ユーザ１２０８は、没入型バーチャル・リアリティ世界１４０６内の任意の方向へ視線を向けることができ、当該方向として、実質的には、ユーザ１２０８が現在選択したバスケットボールのゴール下のロケーションにおけるバーチャル・ビューポイントから見て、前方向、後方向、左方向、右方向、及び／又は上方向である。他の例において、没入型バーチャル・リアリティ世界１４０６は、さらに１８０°分の球体を追加した全体３６０°を含むことができ、その結果、ユーザ１２０８は、下方向も見ることができる。更には、ユーザ１２０８は、没入型バーチャル・リアリティ世界１４０６内の他のロケーションへ動き回ることができる。（即ち、３Ｄ空間内の異なる動的に選択可能なバーチャル・ビューポイントを動的に選択する）。例えば、ユーザ１２０８は以下を選択することができる：ハーフ・コートにおけるバーチャル・ビューポイント、バスケットボールのゴールに向かいあうフリー・スロー・ラインからのバーチャル・ビューポイント、バスケットボールのゴール上部で停止したバーチャル・ビューポイント等。

【0125】

図１５が示すのは例示的な方法１５００であり、異なるビデオ・データ・ストリームにおける異なるヴァンテージ・ポイントから表現されるバーチャル・オブジェクトと現実世界オブジェクトとに基づいて融合現実シーンを生成するための方法である。図１５は、１つの実施形態に従った例示的なオペレーションを示すが、他の実施形態では、図１５に示す任意のオペレーションに対して、省略、追加、並べ替え、及び／又は変更してもよい。図１５に示す１以上のオペレーションは、以下によって実行されてもよい：システム１００、前記システムの実装、及び／又は、システム１００に関連する（例えば、通信可能に接続される、共同で動作ように構成される等）上述した別のシステム。

【0126】

オペレーション１５０２において、融合現実シーン・キャプチャ・システムは、第１の複数の表面データ・フレームを含む第１のフレームセットを、複数の３Ｄキャプチャ・デバイスから受信することができ、前記３Ｄキャプチャ・デバイスは、現実世界シーンの複数の異なるヴァンテージ・ポイントを有するように前記現実世界シーンに対して配置されてもよい。幾つかの例において、第１の複数の表面データ・フレーム中の各表面データ・フレームは、同一の特定の時間ポイントで、複数の３Ｄキャプチャ・デバイスにおける各３Ｄキャプチャ・デバイスによってキャプチャされてもよい。かくして、これらの表面データ・フレームは、それぞれ、複数の異なるヴァンテージ・ポイントにおける各ヴァンテージ・ポイントによってキャプチャされてもよい。第１の複数の表面データ・フレーム中の表面データ・フレームは、各３Ｄキャプチャ・デバイスの各ヴァンテージ・ポイントから特定の時間ポイントで表面が見えるときの現実世界シーン内に含まれる現実世界オブジェクトの表面の色彩データ及び深度データを表してもよい。オペレーション１５０２は、本明細書に記載の方法のいずれかで実行されてもよい。

【0127】

オペレーション１５０４において、融合現実シーン・キャプチャ・システムは、トランスポート・ストリームを生成してもよく、前記トランスポート・ストリームは、前記複数の３Ｄキャプチャ・デバイスにおける前記３Ｄキャプチャ・デバイス各々に関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームを含むことができる。幾つかの例において、トランスポート・ストリームは以下に基づいて生成されてもよい：複数の３Ｄキャプチャ・デバイスから受信される第１のフレームセットに基づいて（例えば、オペレーション１５０２において）、及び／又は、他の時間ポイントにおいてキャプチャされる複数の他のフレームセットに基づいて。オペレーション１５０４は、本明細書に記載の方法のいずれかで実行されてもよい。

【0128】

オペレーション１５０６において、融合現実シーン・キャプチャ・システムは、エンティティ記述データを生成してもよく、前記エンティティ記述データは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティを表してもよい。例えば、エンティティ記述データは、トランスポート・ストリームに基づいて生成されてもよい。様々なタイプのエンティティは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティ内に含まれてもよい。例えば、エンティティは、以下を含むことができる：バーチャル・オブジェクトの表面の色彩データ及び深度データへのリンクによってエンティティ記述データにおいて少なくとも部分的に定義されるバーチャル・オブジェクト、ここで、色彩データ及び深度データは、融合現実シーン・キャプチャ・システムと通信可能に接続される資産ストレージ・システム内に記憶されてもよい。別の例として、エンティティは、以下を含むことができる：オペレーション１５０２においてデータがキャプチャされた現実世界オブジェクト。例えば、現実世界オブジェクトは、エンティティ記述データにおいて、色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム内に含まれる現実世界オブジェクトの表面の色彩データ及び深度データへのリンクによって少なくとも部分的に定義されてもよく、前記色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームは、複数の３Ｄキャプチャ・デバイスから受信される第１のフレームセットと複数の他のフレームセットとに基づいて生成されてもよい（即ち、オペレーション１５０４において生成されるトランスポート・ストリーム内に含まれるビデオ・データ・ストリーム）。更には、オペレーション１５０６にてエンティティ記述データが生成されるエンティティは、以下を含むことができる：第２の複数の表面データ・フレームを含む第２のフレームセットがレンダリングされる３Ｄ空間への複数のバーチャル・ビューポイント。例えば、第２の複数の表面データ・フレームは、融合現実シーンの３Ｄ空間内に含まれるバーチャル・オブジェクト及び現実世界オブジェクトの両方の表面の色彩データ及び深度データを表してもよい。オペレーション１５０６は、本明細書に記載の方法のいずれかで実行されてもよい。

【0129】

オペレーション１５０８において、融合現実シーン・キャプチャ・システムは、融合現実シーンの３Ｄ空間内に含まれる複数のエンティティにおける少なくとも１つのエンティティの状態を表すエンティティ記述フレームを生成することができる。幾つかの例において、エンティティ記述フレームは、時系列での特定のポイントでの少なくとも１つエンティティの状態を表してもよい。オペレーション１５０８は、オペレーション１５０６にて生成される複数のエンティティを表すエンティティ記述データに基づいて実行されてもよい。オペレーション１５０８は、本明細書に記載の方法のいずれかで実行されてもよい。

【0130】

オペレーション１５１０において、融合現実シーン・キャプチャ・システムは、エンティティ記述フレームを、コンテンツ提供システムに関連する複数のサーバ・サイド３Ｄレンダリング・エンジンに提供することができる。例えば、複数のサーバ・サイド３Ｄレンダリング・エンジンにおける各３Ｄレンダリング・エンジンは、以下に関連してもよい：エンティティ記述フレームデータがオペレーション１５０６にて生成される際の３Ｄ空間への複数のバーチャル・ビューポイントからの異なるバーチャル・ビューポイント。幾つかの実施において、複数のサーバ・サイド３Ｄレンダリング・エンジン中の各３Ｄレンダリング・エンジンは、以下の動作を行うように構成されてもよい：第２の複数の表面データ・フレーム内に含まれる異なる表面データ・フレームを、エンティティ記述フレームに基づいてレンダリングすること。オペレーション１５１０は、本明細書に記載の方法のいずれかで実行されてもよい。

【0131】

オペレーション１５１２において、複数のサーバ・サイド３Ｄレンダリング・エンジンと通信可能に接続される、及び／又は、融合現実シーン・キャプチャ・システムに関連するビデオ・データ・パッケージング・システムは、少なくとも１つの追加のトランスポート・ストリームを生成することができる。例えば、ビデオ・データ・パッケージング・システムは、以下に基づいて少なくとも１つの追加のトランスポート・ストリームを生成することができる：第２の複数の表面データ・フレームを含む第２のフレームセット、及び／又は、追加の複数の表面データ・フレームをそれぞれ含む追加のフレームセット。幾つかの例において、少なくとも１つの追加のトランスポート・ストリームは、以下を含むことができる：複数のバーチャル・ビューポイントにおける各バーチャル・ビューポイントに関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリーム、ここで、前記色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームは、エンティティ記述データがオペレーション１５０６にて生成される際のものであってもよい。オペレーション１５１２は、本明細書に記載の方法のいずれかで実行されてもよい。

【0132】

オペレーション１５１４において、融合現実シーン・キャプチャ・システムに関連するビデオ・データ・パッケージング・システムは、少なくとも１つの追加のトランスポート・ストリームを、ストリーミング目的で、ユーザに関連するクライアント・サイド・メディア・プレーヤ装置へ提供することができる。例えば、クライアント・サイド・メディア・プレーヤ装置は、少なくとも１つの追加のトランスポート・ストリーム内に含まれる各バーチャル・ビューポイントに関する色彩ビデオ・データ・ストリーム及び深度ビデオ・データ・ストリームに基づいて、ユーザによって体験されるべき融合現実シーンの３Ｄ空間の３Ｄ表現を生成する動作を行うように構成されてもよい。幾つかの例において、３Ｄ空間の３Ｄ表現は、ユーザが選択する動的に選択可能なバーチャル・ビューポイントからユーザによって体験されてもよく、且つ、融合現実シーンの３Ｄ空間内の任意のバーチャル・ロケーションに対応してもよい。オペレーション１５１４は、本明細書に記載の方法のいずれかで実行されてもよい。

【0133】

特定の実施形態において、本明細書に記載の１以上のシステム、コンポーネント、及び／又はプロセスは、１以上の適切に構成されたコンピューティング・デバイスによって実施及び／又は実行されてもよい。この目的のため、上述した１以上のシステム及び／又はコンポーネントは、以下を含んでもよく、又は、以下によって実装されてもよい：任意のコンピュータ・ハードウェア、及び／又は本明細書に記載の１以上のプロセスを実行するように構成される少なくとも１つの非一時的コンピュータ可読媒体に記録される、コンピュータで実装されるインストラクション（例えば、ソフトウェア）。特に、システム・コンポーネントは、１つの物理的なコンピューティング・デバイスによって実装されてもよいし、又は、複数の物理的なコンピューティング・デバイスで実装されてもよい。従って、システム・コンポーネントは、任意の数のコンピューティング・デバイスを含むことができ、そして、任意の数のコンピュータオペレーティングシステムを採用することができる。

【0134】

特定の実施形態において、本明細書に記載の１以上のプロセスは、非一時的コンピュータ可読媒体に記録され、１以上のコンピューティング・デバイスによって実行可能なインストラクションとして、少なくとも部分的に実施されてもよい。一般的に、プロセッサ（例えば、マイクロプロセッサ）は、インストラクションを、非一時的コンピュータ可読媒体（例えば、メモリ等）から受け取り、そして、これらのインストラクションを実行し、これにより、本明細書に記載の１以上のプロセスを含む１以上のプロセスを実行する。こうしたインストラクションは、任意の様々な既知のコンピュータ可読媒体を使用して記憶することができ、及び／又は送ることができる。

【0135】

コンピュータ可読媒体（プロセッサ可読媒体とも言う）は、任意の非一時的媒体を含み、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取ることができるデータ（例えば、インストラクション）を提供することに寄与する。こうした媒体は、多くの形態をとることができ、限定されるものではないが、以下を含む：不揮発性メディア及び／又は揮発性メディア。不揮発性メディアは、以下を含むことができる：例えば、光学ディスク又は磁気ディスク及び他の固定メモリ。揮発性メディアは、以下を含むことができる：例えば、ダイナミック・ランダム・アクセス・メモリ（「ＤＲＡＭ」）であって、典型的にはメインメモリを構成する物。コンピュータ可読媒体の通常の形態として以下を含む：例えば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、コンパクト・ディスク・リード・オンリ・メモリ（「ＣＤ－ＲＯＭ」）、デジタル・ビデオ・ディスク（「ＤＶＤ」）、任意の他の光学媒体、ランダム・アクセス・メモリ（「ＲＡＭ」）、プログラマブル・リード・オンリ・メモリ（「ＰＲＯＭ」）、電気的に消去可能なプログラマブル・リード・オンリ・メモリ（「ＥＰＲＯＭ」）、ＦＬＡＳＨ－ＥＥＰＲＯＭ、任意の他のメモリチップ、若しくはカートリッジ、又はコンピュータが読み取り可能な任意の他の有形の媒体。

【0136】

図１６は、例示的なコンピューティング・デバイス１６００を示し、当該デバイスは、特に、本明細書に記載の１以上のプロセスを実行するように構成されてもよい。図１６に示すように、コンピューティング・デバイス１６００は、以下を含むことができる：通信インターフェース１６０２、プロセッサ１６０４、ストレージ・デバイス１６０６、及び通信インフラ１６１０を介して通信可能に接続される入力／出力（「Ｉ／Ｏ」）モジュール１６０８。例示的なコンピューティング・デバイス１６００を、図１６に示すもの、図１６に示すコンポーネントは、限定することを意図するものではない。追加又は代替のコンポーネントを、他の実施形態において使用してもよい。図１６に示すコンピューティング・デバイス１６００のコンポーネントを、以下で、更に詳細に説明する。

【0137】

通信インターフェース１６０２は、１以上のコンピューティング・デバイスと通信するように構成されてもよい。通信インターフェース１６０２の例は、限定されるものではないが、以下を含む：有線ネットワーク・インターフェース（例えば、ネットワーク・インターフェース・カード）、ワイヤレス・ネットワーク・インターフェース（例えば、ワイヤレス・ネットワーク・インターフェース・カード）、モデム、オーディオ／ビデオ接続、及び任意の他の適切なインターフェース。

【0138】

プロセッサ１６０４は、概して、任意のタイプ又は形態の処理ユニット（例えば、中央演算装置及び／又はグラフィックス・プロセッシング・ユニット）を表し、データを処理することができ、又は、本明細書に記載の１以上のインストラクション、プロセス、及び／若しくはオペレーションの実行を解釈し、実行し、及び／若しくは指示することができる。プロセッサ１６０４は、１以上のアプリケーション１６１２又は他のコンピュータ実行可能インストラクション（例えば、ストレージ・デバイス１６０６又は別のコンピュータ可読媒体に記憶されてもよい）に従って、オペレーションの実行を指示することができる。

【0139】

ストレージ・デバイス１６０６は、１以上のデータ・ストレージ・メディア、デバイス、又は構成を含むことができ、そして、データストレージ・メディア及び／又はデバイスを任意のタイプ、任意の形態、及び任意の組み合わせで採用することができる。例えば、ストレージ・デバイス１６０６は、以下を含むことができるが、これらに限定されない：ハード・ドライブ、ネットワーク・ドライブ、フラッシュ・ドライブ、磁気ディスク、光学ディスク、ＲＡＭ、ダイナミックＲＡＭ、他の不揮発性及び／又は揮発性のデータ・ストレージ・ユニット、又はこれらのコンビネーション若しくはサブコンビネーション。電子データは、本明細書に記載のデータを含むが、一時的に及び／又は永続的に、ストレージ・デバイス１６０６に記憶されてもよい。例えば、１以上の実行可能なアプリケーション１６１２を表すデータであって、プロセッサ１６０４に指示して本明細書に記載の任意のオペレーションを実行するように構成されるデータは、ストレージ・デバイス１６０６内に記憶されてもよい。幾つかの例において、データは、ストレージ・デバイス１６０６内に存在する１以上のデータベースに配置することができる。

【0140】

Ｉ／Ｏモジュール１６０８は、１以上のＩ／Ｏモジュールを含むことができ、当該モジュールは、ユーザ入力を受け取り、そして、ユーザ出力を提供するように構成されてもよい。１以上のＩ／Ｏモジュールを用いて、単独のバーチャル・リアリティ・エクスペリエンスのためのインプットを受け取ってもよい。Ｉ／Ｏモジュール１６０８は、インプット及びアウトプット能力をサポートする任意のハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせを含むことができる。例えば、Ｉ／Ｏモジュール１６０８は、ユーザ入力をキャプチャするハードウェア及び／又はソフトウェアを含むことができ、限定されるものではないが、以下を含むことができる：キーボード若しくはキーパッド、タッチスクリーン・コンポーネント（例えば、タッチスクリーン・ディスプレイ）、レシーバー（例えば、ＲＦ又は赤外線受信機）、モーション・センサ、及び／又は１以上のインプットボタン。

【0141】

Ｉ／Ｏモジュール１６０８は、アウトプットをユーザに提示するために１以上のデバイスを含むことができ、限定されるものではないが、以下を含むことができる：グラフィックス・エンジン、ディスプレイ（例えば、ディスプレイ・スクリーン）、１以上のアウトプット・ドライバ（例えば、ディスプレイ・ドライバ）、１以上のオーディオ・スピーカ、及び１以上のオーディオ・ドライバ。特定の実施形態において、Ｉ／Ｏモジュール１６０８は、ユーザに提示するためのディスプレイにグラフィカルなデータを提供するように構成される。このグラフィカルなデータは、特定の実施に寄与することができる１以上のグラフィカル・ユーザ・インターフェース、及び／又は任意の他のグラフィカルなコンテンツを表すものであってもよい。

【0142】

幾つかの例において、本明細書に記載の任意の設備は、コンピューティング・デバイス１６００の１以上のコンポーネントによって実装されてもよく、又は当該コンポーネント内で実装されてもよい。例えば、ストレージ・デバイス１６０６内に存在する１以上のアプリケーション１６１２は、システム１００（図１参照）の現実世界シーン・キャプチャ設備１０２又は融合現実エンティティ・ステート・トラッキング設備１０４に関連する１以上のオペレーション又は機能実行するようにプロセッサ１６０４に命令するように構成されてもよい。同様に、システム１００のストレージ設備１０６は、ストレージ・デバイス１６０６によって実装されてもよく、又は該デバイス内で実装されてもよい。

【0143】

上述の実施形態が、個人によって提供される個人情報を収集、記憶、及び／又は採用する限度において、以下のように理解されたい：こうした情報は、個人情報の保護に関する全ての適用可能な法律に従って、使用することができる。更には、こうした情報の収集、記憶、及び使用は、こうした活動に対する個人の同意を得てもよい（例えば、情報の状況及びタイプに適した良く知られた「オプトイン」又は「オプトアウト」プロセスを通して）。個人情報の記憶及び使用について、適切に安全な態様で、例えば、特にセンシティブな情報に対して様々な暗号化及び匿名化を通した情報のタイプを反映したものであってもよい。

【0144】

上記説明において、様々な例示的実施形態について、添付図面に言及しながら説明してきた。しかし、以下の点は明白であろう：これらに対して様々な改変及び変更を行うことができ、そして、更なる実施形態を実施することができ、こうした、改変及び変更、並びに実施は、下記の特許請求の範囲に記載された発明の範囲から逸脱することなく、可能である。例えば、本明細書に記載の１つの実施形態の特定の特徴は、本明細書に記載の別の実施形態の特徴と組み合わせることができ、又は置き換えることができる。従って、上記説明及び図面は、限定的な意味ではなく、例示的な意味で理解すべきものである。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】