特許 6976424 実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6976424

(24)【登録日】2021年11月11日

(45)【発行日】2021年12月8日

(54)【発明の名称】実世界会場で開催されたライブイベントで見せられるインタラクティブなゲーム世界の観客ビュー

(51)【国際特許分類】

   A63F 13/86 20140101AFI20211125BHJP

   A63F 13/35 20140101ALI20211125BHJP

   A63F 13/25 20140101ALI20211125BHJP

   A63F 13/52 20140101ALI20211125BHJP

   A63F 13/65 20140101ALI20211125BHJP

   G06F 3/01 20060101ALI20211125BHJP

   G06F 3/0482 20130101ALI20211125BHJP

   G06T 19/00 20110101ALI20211125BHJP

【ＦＩ】

   A63F13/86

   A63F13/35

   A63F13/25

   A63F13/52

   A63F13/65

   G06F3/01 510

   G06F3/01 560

   G06F3/0482

   G06T19/00 A

【請求項の数】20

【全頁数】53

(21)【出願番号】特願2020-517884(P2020-517884)

(86)(22)【出願日】2018年8月22日

(65)【公表番号】特表2020-534952(P2020-534952A)

(43)【公表日】2020年12月3日

(86)【国際出願番号】US2018047606

(87)【国際公開番号】WO2019067112

(87)【国際公開日】20190404

【審査請求日】2020年5月11日

(31)【優先権主張番号】62/566,203

(32)【優先日】2017年9月29日

(33)【優先権主張国】US

(31)【優先権主張番号】15/727,137

(32)【優先日】2017年10月6日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100099324

【弁理士】

【氏名又は名称】鈴木 正剛

(72)【発明者】

【氏名】バスワー サーカー

【審査官】 宇佐田 健二

(56)【参考文献】

【文献】 国際公開第２００９／１０９７８４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１７／０２６９６８５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１７／０１５７５１２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１７／０２６４９３６（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１７／０００１１１１（ＵＳ，Ａ１）

【文献】 国際公開第２０１７／０６５０６５（ＷＯ，Ａ１）

【文献】 国際公開第２０１７／０６８８２４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／００−１３／９８，９／２４

Ｇ０６Ｑ ５０／１０

Ｇ０６Ｆ ３／０１，３／０４８−３／０４８９

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ライブイベントへの参加を可能にする方法であって、
ゲームアプリケーションの実行を通じて、複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立し、前記マルチプレイヤゲームセッションは、その中にプレイヤが参加できるインタラクティブなゲーム世界を生成し、前記ライブイベントは、前記複数のプレイヤが存在する実世界の会場で、かつ、前記ライブイベントで前記実世界内に設けられたスクリーンに表示されている前記マルチプレイヤゲームセッションの前記インタラクティブなゲーム世界に関するものであり、
１つまたは複数の撮影されたビデオストリームからの画像をつなぎ合わせることで、前記サーバで、前記実世界の会場の三次元ライブビューを生成し、前記三次元ライブビューは、前記ライブイベントの物理的視点に対して生成され、前記物理的視点は、前記実世界の会場の物理的位置に固定されるものであり、
前記サーバからネットワークを介して第１のリモートユーザのヘッドマウントディスプレイに前記三次元ライブビューをストリーミングし、前記第１のリモートユーザは、前記実世界の会場の外におり、前記三次元ライブビューは、前記ヘッドマウントディスプレイを通じて前記第１のリモートユーザに、前記スクリーンを含む前記ライブイベントの拡張現実ビューを提示するものであり、
前記三次元ライブビューから、前記インタラクティブなゲーム世界の観客としての、前記インタラクティブなゲーム世界の仮想位置によって規定されるとともに第１の仮想物理的視点からの前記スクリーンに表示された前記マルチプレイヤゲームセッションの第１の観客ビューを見るための要求を、前記第１のリモートユーザから前記サーバで受信し、
前記第１の仮想物理的視点に関連付けられた前記第１の観客ビューを前記サーバが生成し、前記第１の観客ビューは、前記ライブイベントで前記スクリーンに表示されている前記マルチプレイヤゲームセッションのために生成されたものであり、
前記第１のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記第１の観客ビューを配信し、前記第１の観客ビューは、前記第１のリモートユーザに前記ヘッドマウントディスプレイを通じて前記インタラクティブなゲーム世界の仮想現実ビューをリアルタイムで提示するものである、
方法。

【請求項2】

更に、前記第１の観客ビューを終了する要求を前記第１のリモートユーザから前記サーバで受信し、
前記サーバから前記ネットワークを介して前記第１のリモートユーザの前記ヘッドマウントディスプレイに前記三次元ライブビューの配信を開始する、
請求項１に記載の方法。

【請求項3】

更に、前記第１の観客ビューの配信を行う前に、前記三次元ライブビューの配信を停止する、
請求項１に記載の方法。

【請求項4】

更に、前記第１の観客ビューを含む、前記インタラクティブなゲーム世界の複数の観客ビューを生成し、前記観客ビューはそれぞれ、前記インタラクティブなゲーム世界の対応する仮想物理的視点から撮影されるものであり、
前記複数の観客ビューを提示する複数のプレビューウィンドウを含むインタフェースを生成し、
前記第１のリモートユーザの前記ヘッドマウントディスプレイに表示するために、前記ネットワークを介して前記インタフェースを配信し、
前記第１のリモートユーザの前記ヘッドマウントディスプレイへの前記第１の観客ビューの配信をトリガするために、前記第１の観客ビューに対応する第１のプレビューウィンドウの選択を前記第１のリモートユーザから前記サーバで受信する、
請求項１に記載の方法。

【請求項5】

更に、前記三次元ライブビュー内に前記インタフェースを挿入し、
前記インタフェースにメインウィンドウを生成し、
前記対応する観客ビューをプレビューするための前記複数のプレビューウィンドウの１つの選択を受信し、
前記対応する観客ビューを前記メインウィンドウに提示する、
請求項４に記載の方法。

【請求項6】

更に、前記第１の観客ビューは、前記第１のリモートユーザを表す第１のアバタに関連付けられ、前記第１のアバタは、前記インタラクティブなゲーム世界の前記第１の仮想物理的視点に対応する前記仮想位置におり、
前記インタラクティブなゲーム世界で観戦している第２のリモートユーザを表す第２のアバタが前記第１のアバタに近接していると決定し、前記第２のリモートユーザは、前記インタラクティブなゲーム世界の第２の観客ビューを受信するものであり、
交信を可能にするように通信チャネルを介して前記第１のリモートユーザと前記第２のリモートユーザとをペアにする、
請求項１に記載の方法。

【請求項7】

更に、前記インタラクティブなゲーム世界の人間の観客に対応する物理的視点と矛盾しないように、前記第１の観客ビューの物体のスケールを合わせる、
請求項１に記載の方法。

【請求項8】

ライブイベントへの参加を可能にするコンピュータプログラムを記憶するコンピュータ可読媒体であって、
ゲームアプリケーションの実行を通じて複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立するプログラム命令が記録され、前記マルチプレイヤゲームセッションは、その中にプレイヤが参加できるインタラクティブなゲーム世界を生成し、前記ライブイベントは、前記複数のプレイヤが存在する実世界の会場で、かつ、前記ライブイベントで前記実世界内に設けられたスクリーンに表示されている前記マルチプレイヤゲームセッションの前記インタラクティブなゲーム世界に関するものであり、
１つまたは複数の撮影されたビデオストリームからの画像をつなぎ合わせることで、前記サーバで前記実世界の会場の三次元ライブビューを生成するプログラム命令が記録され、前記三次元ライブビューは、前記ライブイベントの物理的視点に対して生成され、前記物理的視点は、前記実世界の会場の物理的位置に固定されるものであり、
前記サーバからネットワークを介して第１のリモートユーザのヘッドマウントディスプレイに前記三次元ライブビューをストリーミングするプログラム命令が記録され、前記第１のリモートユーザは、前記実世界の会場の外におり、前記三次元ライブビューは、前記スクリーンを含む前記ライブイベントの拡張現実ビューを、前記ヘッドマウントディスプレイを通じて前記第１のリモートユーザに提示するものであり、
前記三次元ライブビューから、前記インタラクティブなゲーム世界の観客としての、前記インタラクティブなゲーム世界の仮想位置によって規定されるとともに第１の仮想物理的視点からの前記スクリーンに表示された前記マルチプレイヤゲームセッションの第１の観客ビューを見るための要求を、前記第１のリモートユーザから前記サーバで受信するプログラム命令が記録され、
前記第１の仮想物理的視点に関連付けられた前記第１の観客ビューを前記サーバが生成するプログラム命令が記録され、前記第１の観客ビューは、前記ライブイベントで前記スクリーンに表示されている前記マルチプレイヤゲームセッションのために生成されたものであり、
前記第１のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記第１の観客ビューを配信するプログラム命令が記録され、前記第１の観客ビューは、前記インタラクティブなゲーム世界の仮想現実ビューを、前記ヘッドマウントディスプレイを通じて前記第１のリモートユーザにリアルタイムで提示するものである、
コンピュータ可読媒体。

【請求項9】

更に、前記第１の観客ビューを終了する要求を前記第１のリモートユーザから前記サーバで受信するプログラム命令と、
前記サーバから前記第１のリモートユーザの前記ヘッドマウントディスプレイに前記ネットワークを介した前記三次元ライブビューの配信を開始するプログラム命令と、が記録された、
請求項８に記載のコンピュータ可読媒体。

【請求項10】

前記第１の観客ビューの配信を行う前に、前記ライブビューの配信を停止するプログラム命令が更に記録された、
請求項８に記載のコンピュータ可読媒体。

【請求項11】

更に、前記第１の観客ビューを含む、前記インタラクティブなゲーム世界の複数の観客ビューを生成するプログラム命令が記録され、前記観客ビューはそれぞれ、前記インタラクティブなゲーム世界の対応する仮想物理的視点から撮影されるものであり、
前記複数の観客ビューを提示する複数のプレビューウィンドウを含むインタフェースを生成するプログラム命令が記録され、
前記第１のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記インタフェースを配信するプログラム命令が記録され、
前記第１のリモートユーザの前記ヘッドマウントディスプレイへの前記第１の観客ビューの配信をトリガするために、前記第１の観客ビューに対応する第１のプレビューウィンドウの選択を前記第１のリモートユーザから前記サーバで受信するプログラム命令が記録された、
請求項８に記載のコンピュータ可読媒体。

【請求項12】

前記三次元ライブビュー内に前記インタフェースを挿入するプログラム命令と、
前記インタフェースにメインウィンドウを生成するプログラム命令と、
前記対応する観客ビューをプレビューするための前記複数のプレビューウィンドウの１つの選択を受信するプログラム命令と、
前記対応する観客ビューを前記メインウィンドウに提示するプログラム命令と、が更に記録された、
請求項１１に記載のコンピュータ可読媒体。

【請求項13】

前記第１の観客ビューは、前記第１のリモートユーザを表す第１のアバタに関連付けられ、前記第１のアバタは、前記インタラクティブなゲーム世界の前記第１の仮想物理的視点に対応する前記仮想位置に置かれ、
更に、前記インタラクティブなゲーム世界で観戦している第２のリモートユーザを表す第２のアバタが前記第１のアバタに近接していることを決定するプログラム命令が記録され、前記第２のリモートユーザは、前記インタラクティブなゲーム世界の第２の観客ビューを受信するものであり、
交信を可能にするために通信チャネルを介して前記第１のリモートユーザと前記第２のリモートユーザとをペアにするプログラム命令が記録された、
請求項８に記載のコンピュータ可読媒体。

【請求項14】

前記インタラクティブなゲーム世界の人間の観客に対応する物理的視点と矛盾しないように、前記第１の観客ビューの物体のスケールを合わせるプログラム命令が更に記録された、
請求項８に記載のコンピュータ可読媒体。

【請求項15】

プロセッサと、
前記プロセッサに結合され、命令を記憶したメモリと、を有するコンピュータシステムであって、前記命令は、前記コンピュータシステムによって実行されると、前記コンピュータシステムに、ライブイベントへの参加を可能にする方法を実行させるものであり、前記方法は、
ゲームアプリケーションの実行を通じて、複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立し、前記マルチプレイヤゲームセッションは、その中にプレイヤが参加できるインタラクティブなゲーム世界を生成し、前記ライブイベントは前記複数のプレイヤが存在する実世界の会場で、かつ、前記ライブイベントで前記実世界内に設けられたスクリーンに表示されている前記マルチプレイヤゲームセッションの前記インタラクティブなゲーム世界に関するものであり、
１つまたは複数の撮影されたビデオストリームからの画像をつなぎ合わせることで、前記サーバで前記実世界の会場の三次元ライブビューを生成し、前記三次元ライブビューは、前記ライブイベントの物理的視点に対して生成され、前記物理的視点は、前記実世界の会場の物理的位置に固定されるものであり、
前記サーバからネットワークを介して第１のリモートユーザのヘッドマウントディスプレイに前記三次元ライブビューをストリーミングし、前記第１のリモートユーザは、前記実世界の会場の外におり、前記三次元ライブビューは、前記ヘッドマウントディスプレイを通じて前記第１のリモートユーザに、前記スクリーンを含む前記ライブイベントの拡張現実ビューを提示するものであり、
前記三次元ライブビューから、前記インタラクティブなゲーム世界の観客としての、前記インタラクティブなゲーム世界の仮想位置によって規定されるとともに第１の仮想物理的視点からの前記スクリーンに表示された前記マルチプレイヤゲームセッションの第１の観客ビューを見るための要求を、前記第１のリモートユーザから前記サーバで受信し、
前記第１の仮想物理的視点に関連付けられた前記第１の観客ビューを前記サーバで生成し、前記第１の観客ビューは、前記ライブイベントで前記スクリーンに表示されている前記マルチプレイヤゲームセッションのために生成されたものであり、
前記第１のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記第１の観客ビューを配信し、前記第１の観客ビューは、前記インタラクティブなゲーム世界の仮想現実ビューを、前記ヘッドマウントディスプレイを通じて前記第１のリモートユーザにリアルタイムで提示するものである、
コンピュータシステム。

【請求項16】

前記方法は、更に、
前記第１の観客ビューを終了する要求を前記第１のリモートユーザから前記サーバで受信し、
前記サーバから前記ネットワークを介して前記第１のリモートユーザの前記ヘッドマウントディスプレイへの前記三次元ライブビューの配信を開始する、
請求項１５に記載のコンピュータシステム。

【請求項17】

前記方法は、更に、
前記第１の観客ビューを含む前記インタラクティブなゲーム世界の複数の観客ビューを生成し、前記観客ビューはそれぞれ、前記インタラクティブなゲーム世界の対応する仮想物理的視点から撮影されるものであり、
前記複数の観客ビューを提示する複数のプレビューウィンドウを含むインタフェースを生成し、
前記第１のリモートユーザの前記ヘッドマウントディスプレイに表示するために前記ネットワークを介して前記インタフェースを配信し、
前記第１のリモートユーザの前記ヘッドマウントディスプレイへの前記第１の観客ビューの配信をトリガするために、前記第１の観客ビューに対応する第１のプレビューウィンドウの選択を前記第１のリモートユーザから前記サーバで受信する、
請求項１５に記載のコンピュータシステム。

【請求項18】

前記方法は、更に、
前記三次元ライブビュー内に前記インタフェースを挿入し、
前記インタフェースにメインウィンドウを生成し、
前記対応する観客ビューをプレビューするための前記複数のプレビューウィンドウの１つの選択を受信し、
前記対応する観客ビューを前記メインウィンドウに提示する、
請求項１７に記載のコンピュータシステム。

【請求項19】

前記方法は、更に、
前記第１の観客ビューは、前記第１のリモートユーザを表す第１のアバタに関連付けられ、前記第１のアバタは、前記インタラクティブなゲーム世界の前記第１の仮想物理的視点に対応する前記仮想位置に置かれ、
前記インタラクティブなゲーム世界で観戦している第２のリモートユーザを表す第２のアバタが前記第１のアバタに近接していると決定し、前記第２のリモートユーザは、前記インタラクティブなゲーム世界の第２の観客ビューを受信するものであり、
交信を可能にするために通信チャネルを介して前記第１のリモートユーザと前記第２のリモートユーザとをペアにする、
請求項１７に記載のコンピュータシステム。

【請求項20】

前記方法は、更に、前記インタラクティブなゲーム世界の人間の観客に対応する物理的視点と矛盾しないように、前記第１の観客ビューの物体のスケールを合わせる、
請求項１７に記載のコンピュータシステム。

【発明の詳細な説明】

【背景技術】

【0001】

ビデオゲーム及びビデオゲームの関連産業（例えばビデオゲーミング）は、世界のエンターテイメント市場で大きな割合を占めており、近い将来、ビデオゲームの世界的な収入は、映画業界の収入を超えると予測されている。ビデオゲームをプレイしながら成長した子供たちは、今、ビデオゲームエンターテイメントの世界においてそのエンターテイメントのお金の消費先を左右する成人（若者及び老人）となっている。

【0002】

ビデオゲームは、ゲーム機、デスクトップコンピュータ、ラップトップコンピュータ及び携帯電話等を含む、様々な種類のプラットフォームを用いて、いつでもどこでもプレイされる。ビデオゲームは、かつては少数の子供や若者を対象としたニッチな市場であったが、様々な世代で人気が上昇し、時代を経て大衆文化の重要な部分になった。

【0003】

ビデオゲームの新しい夜明けが、競技ビデオゲームまたはプロフェッショナルビデオゲームとしても言われ、知られている、ｅスポーツの形で出現している。ｅスポーツの世界では、プロのゲーマーが、アリーナに集まって、典型的には、ローカルエリアネットワークまたはインターネットを通じて支援されるマルチプレイヤオンラインゲーム（ＭＯＧ）形式でビデオゲームをプレイする。個人または個人から成るチームが、ｅスポーツアリーナでライブの聴衆の前においてライブで戦い、放送チームが、ＭＯＧ内のアクションの実況放送をしながら、エネルギーと興奮を吹き込む。ビデオ制作チームは、舞台裏で必死に働いて、アリーナサイズのビデオディスプレイパネル上にＭＯＧのゲーム環境のビューを投影し、その結果、聴衆は、プロのビデオゲーマーが見て体験するように、ＭＯＧ内のアクションを見ることができる。また、聴衆もしくはプロのゲーマーに焦点を当てた実況カメラが、ビデオ制作チームが指示するように、アリーナのビデオディスプレイパネル上に投影されて、聴衆をさらに興奮させてもよい。ライブの聴衆は、従来のプロスポーツイベント（例えば、バスケットボール、野球、フットボール、ボクシング、総合格闘技等）に行く聴衆とあまり違わずに、ライブイベントに参加する。

【0004】

さらに、ビデオ制作チームによって生成されるビデオディスプレイパネル上に提示されるビューは、放送、インターネット、モバイル等の任意のネットワークを介してより広い視聴者にライブストリーミングされ得る。ライブの聴衆は、何万の（３万を超える）数となり得るが、ストリーミングの聴衆は、何千万の（例えば、３千万を超える）数となり得る。９千万を超えるカジュアルゲーマーーを有するビデオゲームに関しては、そのビデオゲームにフィーチャーした世界選手権は、ライブ形式と、イベント後の視聴との両方で何百万ものストリーミング視聴者を引き付ける。ｅスポーツイベントの人気を分かってもらうには、２０１６年に開催された世界選手権は、約４万人のライブの聴衆を動員し、ライブストリーミングの視聴者は、２千５百万人を超えた。プロのゲーマーのゲームプレイは、ライブイベント終了後でさえ、引き続き視聴された。

【0005】

ｅスポーツを支援する様々な技術が、最高の視聴体験をライブ及びリモートの視聴者に与えるために開発されている。

【0006】

本開示の実施形態は、このような背景の下になされたものである。

【発明の概要】

【0007】

本開示の実施形態は、ゲームアプリケーションをプレイする１人または複数のユーザの１つまたは複数のゲームプレイに関連して、ゲーム世界の１つまたは複数の観客ビューを提供するシステム及び方法に関する。本開示の幾つかの発明の実施形態を以下に記載する。

【0008】

一実施形態においては、ライブイベントへの参加を可能にする方法を記載する。方法は、サーバでのゲームアプリケーションの実行を通じて、複数のプレイヤによって制御されるマルチプレイヤゲームセッションを確立することを含み、マルチプレイヤゲームセッションは、プレイヤがゲーム世界の中に参加できるインタラクティブなゲーム世界を生成し、ライブイベントは、複数のプレイヤが存在する実世界の会場である。この方法は、１つまたは複数の撮影されたビデオストリームに基づいて、実世界の会場の三次元（３Ｄ）ライブビューをサーバで生成することを含み、３Ｄライブビューは、ライブイベントの物理的視点（ＰＯＶ）に対して生成され、物理的ＰＯＶは、実世界の会場の物理的位置に固定される。この方法では、サーバから第１のリモートユーザのＨＭＤにネットワークを介して３Ｄライブビューをストリーミングがなされ、第１のリモートユーザは、実世界の会場の外におり、３Ｄライブビューは、ヘッドマウントディスプレイ（ＨＭＤ）を通じて第１のリモートユーザにライブイベントの拡張現実ビューを提示される。この方法は、インタラクティブなゲーム世界の仮想位置によって規定された第１の仮想ＰＯＶからインタラクティブなゲーム世界の観客としてゲームセッションに飛び込む要求を、第１のリモートユーザからサーバで受信する。この方法では、第１の仮想ＰＯＶに関連付けられた第１の観客ビューをサーバが生成することを含む。この方法では、第１のリモートユーザのＨＭＤに表示するためにネットワークを介して第１の観客ビューを配信し、第１の観客ビューは、ＨＭＤを通じて第１のリモートユーザにインタラクティブなゲーム世界の仮想現実ビューを提示する。

【0009】

他の実施形態においては、ライブイベントの参加を可能にするコンピュータプログラムを記憶する非一時的コンピュータ可読媒体を記載する。コンピュータ可読媒体は、ゲームアプリケーションの実行を通じて複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立するプログラム命令を含み、マルチプレイヤゲームセッションは、プレイヤがゲーム世界の中に参加できるインタラクティブなゲーム世界を生成し、ライブイベントは、複数のプレイヤが存在する実世界の会場である。コンピュータ可読媒体は、１つまたは複数の撮影されたビデオストリームに基づいて、実世界の会場の三次元（３Ｄ）ライブビューを生成するプログラム命令を含み、３Ｄライブビューは、ライブイベントの物理的視点（ＰＯＶ）に対して生成され、物理的ＰＯＶは、実世界の会場の物理的位置に固定される。
コンピュータ可読媒体は、サーバから第１のリモートユーザのＨＭＤにネットワークを介して３Ｄライブビューをストリーミングするプログラム命令を含み、第１のリモートユーザは、実世界の会場の外におり、３Ｄライブビューは、ヘッドマウントディスプレイ（ＨＭＤ）を通じて第１のリモートユーザにライブイベントの拡張現実ビューを提示する。コンピュータ可読媒体は、インタラクティブなゲーム世界の仮想位置によって規定された第１の仮想ＰＯＶからインタラクティブなゲーム世界の観客としてゲームセッションに飛び込む要求を、第１のリモートユーザからサーバで受信するプログラム命令を含む。
コンピュータ可読媒体は、第１の仮想ＰＯＶに関連付けられた第１の観客ビューをサーバが生成するプログラム命令を含む。コンピュータ可読媒体は、第１のリモートユーザのＨＭＤに表示するために、ネットワークを介して第１の観客ビューを配信するプログラム命令を含み、第１の観客ビューは、ＨＭＤを通じてインタラクティブなゲーム世界の仮想現実ビューを第１のリモートユーザに提示する。

【0010】

さらに他の実施形態においては、コンピュータシステムが記載され、コンピュータシステムは、プロセッサと、プロセッサに結合され、命令を記憶したメモリとを含み、命令は、コンピュータシステムによって実行されると、ライブイベントへの参加を可能にする方法をコンピュータシステムに実行させる。この方法では、ゲームアプリケーションの実行を通じて複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立し、マルチプレイヤゲームセッションは、プレイヤがゲーム世界の中に参加できるインタラクティブなゲーム世界を生成し、ライブイベントは、複数のプレイヤが存在する実世界の会場である。
この方法では、１つまたは複数の撮影されたビデオストリームに基づいて、実世界の会場の三次元（３Ｄ）ライブビューをサーバで生成し、３Ｄライブビューは、ライブイベントの物理的視点（ＰＯＶ）に対して生成され、物理的ＰＯＶは、実世界の会場の物理的位置に固定される。この方法では、サーバから第１のリモートユーザのＨＭＤにネットワークを介して３Ｄライブビューをストリーミングすることを含み、第１のリモートユーザは、実世界の会場の外におり、３Ｄライブビューは、ヘッドマウントディスプレイ（ＨＭＤ）を通じて第１のリモートユーザにライブイベントの拡張現実ビューを提示する。この方法では、インタラクティブなゲーム世界の仮想位置によって規定された第１の仮想ＰＯＶからインタラクティブなゲーム世界の観客として、ゲームセッションに飛び込む要求を第１のリモートユーザからサーバで受信することを含む。
この方法は、第１の仮想ＰＯＶに関連付けられた第１の観客ビューをサーバが生成することを含む。この方法は、第１のリモートユーザのＨＭＤに表示するためにネットワークを介して第１の観客ビューを配信することを含み、第１の観客ビューは、ＨＭＤを通じて第１のリモートユーザにインタラクティブなゲーム世界の仮想現実ビューを提示する。

【0011】

本開示の他の態様は、例を挙げて本開示の趣旨を説明した以下の詳細な記載と添付の図面とを参照して明らかとされる。

【0012】

本開示は、添付の図面と共に以下の記載を参照することによって最もよく理解できる。

【図面の簡単な説明】

【0013】

【図1A】本開示の一実施形態による、ライブのビデオゲーム競技を見せる電子スポーツ（ｅスポーツ）アリーナを示す図である。

【図1B】本開示の一実施形態による、ビデオ及び音声データ収集装置の位置を含むｅスポーツアリーナの平面図である。

【図2A】本開示の一実施形態による、ｅスポーツライブイベント（例えば、ビデオゲーム競技）等、ＶＲコンテンツとのインタラクティブ体験を提供するように構成されたシステムを示す図である。

【図2B】本発明の実施形態による、ｅスポーツライブイベント（例えば、ビデオゲーム競技）等、ＶＲコンテンツの表示と共に、ＨＭＤの機能を概念的に示す図である。

【図3A】本開示の一実施形態による、図１Ｂで紹介されたｅスポーツアリーナの平面図であり、ｅスポーツアリーナの２つの座席から生成された２つの視点（ＰＯＶ）を含む。

【図3B】本開示の一実施形態による、ｅスポーツアリーナの後部座席から生成されたＰＯＶを示す図である。

【図3C】本開示の一実施形態による、ｅスポーツアリーナの前列のＶＩＰ席から生成されたＰＯＶを示す図である。

【図4A】本開示の一実施形態による、選択された座席の視点から撮影されたｅスポーツライブイベントのプレビューを生成するために、ｅスポーツアリーナの１つまたは複数の座席を一度に一席選択する選択プロセスを示す図である。

【図4B】本開示の一実施形態による、ｅスポーツアリーナの座席マップに関して示されるｅスポーツアリーナの前列のＶＩＰ席から生成された図３Ｃで紹介されたＰＯＶのプレビューを示す図である。

【図4C】本開示の一実施形態による、ｅスポーツアリーナの座席マップに関して示されるｅスポーツアリーナの後部座席から生成された図３Ｂで紹介されたＰＯＶのプレビューを示す図である。

【図5A】本開示の一実施形態による、ｅスポーツライブイベント（例えば、ビデオゲーム競技）に参加し、ｅスポーツアリーナの物理的座席の１つに仮想で座っているリモートユーザＵ１のＰＯＶを示す図で、リモートユーザが左を見ると、リモートユーザＵ１のＰＯＶは、ライブ参加者（ＬＰ）の聴衆のビューを含む。

【図5B】本開示の一実施形態による、ｅスポーツライブイベント（例えば、ビデオゲーム競技）に参加し、ｅスポーツアリーナの物理的座席の１つに仮想で座っているリモートユーザＵ１のＰＯＶを示す図で、リモートユーザが左を見ると、リモートユーザＵ１のＰＯＶは、仮想参加者としてライブイベントに参加するリモートユーザ観客Ｕ２（例えば、リモートユーザＵ２は仮想の聴衆である）のビューを含む。

【図6】本開示の一実施形態による、アリーナ席に置かれた個人用座席パックと、ｅスポーツイベントを生で見ている関連付けられたライブ参加者に関するデータを収集するように構成された個人用機器ボードとを示す図である。

【図7A】本開示の様々な実施形態の態様を行うために使用できるデバイスの例の構成要素を示す。

【図7B】本開示の一実施形態による、図７Ａで紹介されたリモート観客マネージャ７５０の構成要素を示す図で、生成部７５０は、ライブイベントの仮想体験をリモートユーザに提供するように構成される。

【図8】本開示の一実施形態による、ＳＯＮＹ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ社発行のゴッド・オブ・ウォーのゲームアプリケーションの１つまたは複数のゲームプレイ内で、ゼウスの息子クレイトスと敵の戦闘員との間の戦いが生成されているゲーム世界を示す図である。

【図9】本開示の一実施形態による、リモートユーザがインタラクションするためのインタフェースの図で、インタフェースは、リモートユーザが選択可能な、ゲーム世界の１つまたは複数の観客ビューのウィンドウを含む。

【図10】本開示の一実施形態による、ゲーム世界内の所与の位置に対して生成される観客者視点のスケール合わせを示す図である。

【図11】本開示の一実施形態による、ゲーム世界内で２つの観客アバタ間のインタラクションの図で、２人のリモートユーザに対応する観客アバタが近接していると、２人のリモートユーザ間に通信チャネルが確立される。

【図12】本開示の一実施形態による、ライブイベント（例えば、ｅスポーツイベント）のリモートユーザによる観戦の方法を示すフロー図である。

【図13】開示の実施形態による、ヘッドマウントディスプレイの構成要素を示す図である。

【図14】開示の様々な実施形態による、ゲームシステムのブロック図である。

【発明を実施するための形態】

【0014】

以下の詳細な記載は、説明のために多くの具体的な詳細を含むが、当業者であれば、以下の詳細に対する多くの変形及び修正は本開示の範囲内にあることが理解されよう。従って、以下に記載の本開示の態様は、この記載に続く請求項に対して一般性を失うことなく、制限を課すことなく、記載される。

【0015】

一般的に、本開示の様々な実施形態は、本開示の実施形態による、リモートユーザが仮想の聴衆として、ライブイベント（例えば、競技ビデオゲームを含むライブｅスポーツイベント）に参加する方法及びシステムを記載する。実世界の会場の選択された座席から取得されたＰＯＶに対して仮想で生成されたｅスポーツイベントのライブビューを提示することを含む、実世界の会場（例えば、ｅスポーツアリーナ）内の完全に没入型の体験をリモートユーザに与える様々な技術を記載する。
プレビューモードにおいて、リモートユーザは、ｅスポーツアリーナの１つまたは複数の選択された座席からＰＯＶをプレビューすることができ、プレビューは、ｅスポーツイベントのライブビュー、または、ｅスポーツアリーナで開催された以前のイベントの一般的ビューを含む。ｅスポーツイベントの拡張現実ビューが、提示されてもよく、拡張ビューは、実世界の会場の選択された座席から取得されたＰＯＶに対して仮想で生成され、デジタルデータで拡張されたｅスポーツイベントのライブビューを含む（例えば、別の仮想の聴衆としてユーザの友達のデジタル化表現を挿入する）。

【0016】

さらに、仮想の聴衆としてライブｅスポーツイベントに参加するリモートユーザは、イベントのゲーム世界の１つまたは複数の飛び込みビュー（Jump in view:ジャンプインビュー）にアクセスしてもよい。例えば、ｅスポーツイベントは、個人またはチームで配置された複数のプロのゲーマー間のビデオゲーム競技を含んでよく、ゲーマーは、互いに同時にビデオゲームをプレイしている。リモートユーザは、ライブイベントを視聴者として視聴していてよく、仮想化されたＰＯＶが、視聴者が実世界会場のどの座席を選択するかに基づいて、リモートユーザに対して生成される。完全に没入型のビューのためには、リモートユーザは、ｅスポーツライブイベントのプロのゲーマーによってプレイされているビデオゲームのゲーム世界内の観客ビューまたは飛び込みビューを提示され得る。
すなわち、ｅスポーツイベントのライブビュー及び／または拡張現実ビューを見るのではなく、リモートユーザは、任意の位置でゲーム世界に飛び込んで、アクションを見てもよい。この飛び込みビューは、必ずしも、プロのゲーマーの１人のＰＯＶから生成される必要はなく、鳥瞰図、プロのゲーマーの１人がプレイしているキャラクタの側から生成された側面図等、リモートユーザが選択可能な位置から生成されたＰＯＶを含んでもよい。このように、リモートユーザは、２人以上のプロのゲーマー間のアクションの中心にあり得るアクションへのクローズアップを提供するビューを選択し得る。

【0017】

様々な実施形態の上記一般的な理解と共に、実施形態の詳細な例を様々な図面を参照して記載する。明瞭且つ簡潔にするために、ライブｅスポーツのビデオゲームイベントに仮想で参加するリモートユーザの没入型体験を支援する様々な技術に関して本発明の実施形態を記載する。しかしながら、ＶＲコンテンツは、現実のイベント及び／または仮想のイベントを含む、任意の種類のイベントに対して生成され得ることを理解されたい。

【0018】

図１Ａは、本開示の一実施形態による、実世界の会場の例として、ビデオゲーム競技等のライブｅスポーツイベントを見せる電子スポーツ（ｅスポーツ）アリーナ１００を示す。ライブｅスポーツイベントは、互いに競い合う複数のプロのゲーマーが同時にプレイしているビデオゲームに基づいてもよい。前述のように、ライブｅスポーツイベントは、それぞれ、ゲーム世界でビデオゲームをプレイしているプロのゲーマーと、ゲーム世界のアクションを追って聴衆（例えば、ライブ参加者、リモート参加者、及び／または、仮想参加者）に推進する１人または複数の放送者またはアナウンサと、ライブの聴衆とを含むように制作され得る。

【0019】

例えば、ｅスポーツアリーナ１００は、アリーナ席１４０を含み、ライブの聴衆は、アリーナ席１４０内に座ってよく、ライブの聴衆としてライブイベントに参加してもよい。図１Ａに示すように、アリーナ席１４０は、ライブの聴衆でいっぱいである。さらに記載するように、リモートユーザもアリーナ席１４０内に座る仮想の聴衆としてライブイベントに参加してもよい。

【0020】

アリーナ席１４０は、ステージ１９０の正面１９１を向いている。ステージは、プロのゲーマーの第１のチーム１７１を含む第１の演壇を含む。ステージは、プロのゲーマーの第２のチーム１７２を含む第２の演壇も含む。図に示すように、各チームは、３人のチームメンバを含む。各チームメンバは、マルチプレイヤビデオゲーム（例えば、ＭＯＢ）を同時にプレイしている。説明のためだけに、ビデオゲームは、オートバイレースゲームであり、プロのゲーマーはそれぞれ、ビデオゲーム内のコースを走るオートバイレーサである。チームメンバは、全体として勝利するために互いに助け合ってもよい。例えば、全体として最高の最終結果を達成したチームがイベントに勝利する。

【0021】

１つまたは複数のアリーナサイズのディスプレイ及び／またはモニタが、ステージ１９０にまたはステージ１９０の近くに存在する。ディスプレイに表示されるコンテンツは、ｅスポーツアリーナ内、及び、ストリーミングの視聴者の両方へのライブｅスポーツイベントの提示を指示する舞台裏のビデオ制作チームによって制作される。例えば、メインディスプレイ１０１は、その瞬間に特に関心があり得るゲーム世界のビューを示す。説明のために、メインディスプレイ１０１は、プロのゲーマーの１人のキャラクタの視点からオートバイレースの先導者を示してもよい。詳細には、メインディスプレイ１０１に示される視点を持つレーサの目の前に３人のレーサがいる。別の実施態様においては、メインディスプレイ１０１は、ゲーム世界のビューを提供し、そのビューは、プロのゲーマーのキャラクタのいずれとも一致しない場合があるが、代わりに、ゲーム世界内でプロのゲーマー間のアクションの最適なビューを提供する。

【0022】

図に示すように、サイドディスプレイ１０７は、第２のチーム１７２の真上に配置され、第２のチーム１７２のゲーマーの１人のゲームプレイに関連付けられたビューを提示してもよい。例えば、オートバイレーサ１８０は、第２のチーム１７２のプロのゲーマー１７２ａによって制御されているキャラクタであってよく、オートバイレーサ１８０の視点は、サイドディスプレイ１０７に示されている。詳細には、オートバイレーサ１８０の視点は、オートバイレーサ１８１の背中を含む、コース上のレーサ１８０の前の他のライダのビューを含み、レーサ１８１は、レースコースでオートバイレーサ１８０の前にいる。レーサ１８１は、第１のチーム１７１または第２のチーム１７２の対応可能なプロのゲーマーの１人によって制御され得る。

【0023】

サイドディスプレイ１０５は、第１のチーム１７１の真上に配置され、第１のチーム１７１のゲーマーの１人のゲームプレイに関連付けられたビューを提示してもよい。さらに、サイドディスプレイ１０５及び１０７のいずれに提示される画像も、プロのゲーマーの１人のゲームプレイに制限されない追加のコンテンツを提供してもよい。例えば、サイドディスプレイ１０５は、ＳＯＮＹ ＰｌａｙＳｔａｔｉｏｎが支援するｅスポーツリーグ（例えば、ＰｌａｙＳｔａｔｉｏｎ Ｐｌｕｓ Ｌｅａｇｕｅ）を表すシンボル１８５の画像を含む。説明のために、第１のチーム１７１及び第２のチーム１７２のプロのゲーマーのオートバイレースゲームプレイを生成するビデオゲームは、ｅスポーツリーグによって推進される。

【0024】

ステージは、イベントの間中、実況のアナウンスとエンターテイメントを提供する１人または複数の放送者１６０の位置を高くするタワー１６１も含む。放送者１６０は、ｅスポーツアリーナ内のライブイベントと、ストリーミングの視聴者、及び、仮想の聴衆を促進するにあたって、極めて重要な役割を果たす。例えば、プロのゲーマーの１人のゲームプレイ内でエキサイティングな瞬間が生じると、アナウンサは、メインディスプレイ１０１に提示されているように、アナウンスを通じてそのゲームプレイを強調してもよい。聴衆は、典型的に、放送者１６０によるアナウンスに好意的に反応する。

【0025】

図１Ｂは、本開示の一実施形態による、図１Ａで紹介したｅスポーツアリーナ１００の平面図１００Ｂを示し、ビデオ及び音声データ収集装置の位置を含む。ステージ１９０の正面１９１は、アリーナ席１４０の正面に提示される。ステージ１９０は第１のチーム１７１が座っている第１の演壇と、第２のチーム１７２が座っている第２の演壇とを含む。ステージ１９０の近くの位置に、前述のようにサイドディスプレイ１０５が、チーム１７１の上に配置され、サイドディスプレイ１０７は、チーム１７２の上に配置される。メインディスプレイ１０１は、ステージ１９０の中心の位置に示される。さらに、ステージ１９０は、放送者１６０がいるタワー１６１を支持する。

【0026】

複数のデータ収集装置が示されている。例えば、１つまたは複数の音声収集装置１２０（例えば、レコーダ）は、マップ１００Ｂに示すように、ｅスポーツアリーナ１００のあらゆる場所に置かれている。このようにして、プロのゲーマーからの音声が録音されてもよく、聴衆全体からの、または、個々の聴衆からの音声も録音され得る。すなわち、音声収集装置１２０は、所望の対象からの音を最もよく捕捉するように配置される。収集された音声は、聴衆への投射を大きくするために、スピーカ１７５に戻されてもよい。スピーカ１７５は、ディスプレイ１０１、１０５及び１０７に提示された画像と共に音声を提供する。さらに、収集された音声は、ｅスポーツイベントのライブビュー内で使用されてもよい。さらに、収集された音声を使用して、ライブｅスポーツイベントの仮想ビュー、または、ライブｅスポーツイベントの拡張ビューを支援してもよい。

【0027】

さらに、１つまたは複数のビデオ収集装置１３０（例えば、ビデオカメラ）が、マップ１００Ｂに示すように、ｅスポーツアリーナ１００のあらゆる場所に配置される。このようにして、ライブｅスポーツイベントからのビデオが記録されてもよい。これは、聴衆、個々の聴衆、チーム１７１及び１７２、チーム１７１及び１７２の個々のゲーマー、ステージ１９０、ステージ１９０の画面１０１、１０５及び１０７等の、広角ビューとクローズアップビューとを含んでもよい。
詳細には、ビデオ収集装置から記録した画像を使用して、ｅスポーツアリーナのどこの位置からでも（例えば、アリーナ席１４０の選択された座席から）提示されるように、ライブｅスポーツイベントの仮想ビューを生成してもよい。ライブｅスポーツイベントの仮想ビューは、１つまたは複数のビデオ収集装置１３０から取得されたビデオ記録からつなぎ合わされてもよい。
ＶＩＰセクション１５０に対して生成されたライブｅスポーツイベントの仮想体験は、より没入型であることを意図しているので、追加のビデオ収集装置１３０が、ＶＩＰセクション１５０またはＶＩＰセクション１５０の周囲の位置からの画像を記録するために割り当てられてもよい。このようにして、より詳細なＰＯＶが、最少の数のビデオ収集装置１３０からつなぎ合わされたＶＩＰセクション１５０の座席に割り当てられた１つまたは２つのビューではなく、多数のビデオ収集装置からのビデオに基づいて、ＶＩＰセクション１５０の各座席に対して生成されてもよい。

【0028】

図２Ａは、発明の実施形態による、ビデオゲーム競技等のライブｅスポーツイベントにリモートで参加するシステムを示す。ヘッドマウントディスプレイ（ＨＭＤ）１０２を装着しているユーザＵ１が示されている。ＨＭＤ１０２は、眼鏡、ゴーグル、または、ヘルメットと同じように装着され、インタラクティブビデオゲームからのビデオゲーム、または、インタラクティブアプリケーションからの他のコンテンツをユーザ１００に表示するように構成される。ＨＭＤ１０２は、ユーザの眼のごく近くにディスプレイ機構を設けることによって、高度に没入型の体験をユーザに提供する。従って、ＨＭＤ１０２は、ユーザの各眼に、ユーザの視界の大部分または全体さえ占める表示領域を提供することができる。

【0029】

一実施形態においては、ＨＭＤ１０２は、ｅスポーツイベントのライブビューを提示するように構成可能である。ライブビューは、実世界会場のサーバ２３５によって管理されるように、実世界会場１００（例えば、ｅスポーツアリーナ）に配置された実世界の会場のデータ収集装置２３１から生成されてもよい。サーバ２３５は、会場にローカルであってもよく、または、会場とリモートであってもよい。完全なライブビューまたはライブに近いビューにおいては、ライブビューは、収集されたデータに最小限の修正で、または、全く修正無しに生成される。
すなわち、ライブに近いビューは、ライブに近いビューが実世界の会場内で収集されたビューを投影している以外は、ライブの従来のスポーツイベント（例えば、バスケットボール、野球、ボクシング、フットボール、テニス等）を、ネットワークを介して視聴するのとよく似ている。収集データは、ＨＭＤを用いて表示できるフォーマットで収集してもよく、または、ＨＭＤ内に表示するようにフォーマットされてもよい。
他の実施形態においては、ＨＭＤによって提示されるビューは、アリーナ１００の特定の位置からのライブビューを提示するように修正されたライブイベントのハイブリッド及び／または拡張現実ビューであり、デジタルデータまたは変換を用いて拡張されてもよい。すなわち、ハイブリッドビューは、アリーナ１００のあらゆる場所にあるデータ（例えば、ビデオ）収集装置２３１（例えば、ビデオ収集、カメラ、音声レコーダ、スピーカ、温度モニタ、圧力モニタ等）から収集されたライブビューから生成される。ハイブリッドビューは、ライブビューからつぎ合わされてもよく、より従来的なビデオまたは画像をユーザＵ１に提示してもよい。すなわち、ハイブリッドビューは、仮想とはみなされなくてもよい。
ある実施形態においては、ハイブリッドビューは、データ収集装置２３１から収集されたライブビューから一部、生成された拡張現実ビューであってもよい。すなわち、拡張現実ビューは、前述のようにデータ収集装置から収集され、最小限、修正されたライブビューにデジタルコンテンツを挿入する。さらに他の実施形態においては、ＨＭＤによって提示されるハイブリッドビューは、データ収集装置２３１から収集されたライブビューから生成されたライブイベントの仮想ビューである。すなわち、仮想ビューは、ライブｅスポーツイベントのデジタル表現である。

【0030】

一実施形態においては、データ収集装置２３１及び実世界の会場のサーバ２３５から集められた情報は、ネットワーク１１０等を介して、バックエンドエンターテイメントサーバ２５０に伝えられる。一実施形態においては、エンターテイメントサーバは、様々な位置（例えば、アリーナ１００の座席位置に対応するＰＯＶ）に対して、前述のように、ライブビュー及びハイブリッドビューを生成するように構成される。詳細には、エンターテイメントサーバは、ｅスポーツアリーナで行われているライブイベントのライブビューを生成するように構成された座席ライブビュー生成部２６０を含む。
ライブビュー生成部２６０は、複数のソースから収集されたデータ（例えば、音声及び／またはビデオ）をつなぎ合わせるステッチング技術等を用いて、アリーナ内の任意の位置に対してライブビューを生成してもよい。さらに、エンターテイメントサーバは、ライブｅスポーツイベントのライブビューにデジタルコンテンツをオーバーレイするように構成された拡張現実ライブビュー生成部２７０を含む。例えば、ライブｅスポーツイベントに仮想の聴衆として参加しているリモートユーザは、ｅスポーツライブイベントの拡張ライブビューを通じて見るように、隣の席に座っている別のリモートユーザ（例えば、ユーザＵ１のソーシャルネットワークの友達）のデジタルアバタ表現を見てもよい。また、エンターテイメントサーバは、アリーナ１００の１つまたは複数の選択された席のＰＯＶに関連してユーザＵ１が体験し得るライブビュー及び／またはハイブリッドビューのプレビューを提示するように構成された座席プレビュー生成部２８０を含む。
具体的には、ユーザＵ１がプレビューインタフェースをナビゲートして、アリーナ席１４０の座席を選択すると、その座席に対して生成されたライブビュー及び／またはハイブリッドビューのプレビューを示すオプションが与えられてもよい。ユーザＵ１は、同じインタフェースから所与の座席を選択してもよい。さらに、エンターテイメントサーバは、リモート参加者が視聴位置を変更する（例えば、実世界の会場の仮想または拡張表現で座席を変更する）時、実世界の会場のライブビュー及び／または拡張現実ビューの生成に使用される構成要素及び装置のマッピングスケジュールを変更するように構成された再マッピングモジュール２８１を含む。すなわち、視聴位置が変更されると、キャプチャ装置の異なるセットを使用して、ライブビュー、ハイブリッドビュー、及び／または、拡張ビューを生成してもよい。
例えば、実世界の会場内の第１の位置及び第２の位置のビューを生成する時、ビデオキャプチャ装置、音声キャプチャ装置、スピーカ等の異なるセットを用いてもよい。従って、再マッピングモジュール２８１は、特定の位置のビューを生成するために使用される適切なキャプチャ装置を決定するように構成され、適切なライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューを生成する目的のための再マッピング中にこれらの装置を新しい位置に割り当てる。ある実施形態においては、エンターテイメントサーバ２６０及び実世界の会場のサーバ２３５で提供された機能及び特徴は、実世界の会場のサーバ（複数可）またはエンターテイメントサーバ（複数可）等、１つの位置で行われてもよい。

【0031】

一実施形態においては、ＨＭＤ１０２は、コンピュータ１０６に接続されてもよい。コンピュータ１０６への接続は、接続２１１を介して有線であってもよく、または、接続２１２を介して無線であってもよい。コンピュータ１０６は、ゲーム機、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、セルラーフォン、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、これらに限らない、当分野で既知の任意の汎用または特定用途コンピュータであってもよい。従来の意味では、コンピュータ１０６は、ビデオゲームを実行するように、且つ、ＨＭＤ１０２によるレンダリングのためにビデオゲームからビデオ及び音声を出力するように構成されてもよい。
ビデオゲームの実行は、ＭＯＧ、または、多人数同時参加型オンラインゲーム（ＭＭＯＧ）等、１人または複数のユーザによってプレイされるビデオゲームを維持及び実行するために構成されたクラウドゲームネットワーク２００によってさらに支援されてもよい。例えば、クラウドゲームネットワーク２００は、ライブｅスポーツイベント内でプレイされているビデオゲームを支援してもよい。ある実施形態においては、エンターテイメントサーバ２６０及びクラウドゲームネットワーク２００で提供される機能及び特徴は、クラウドゲームネットワーク２００またはエンターテイメントサーバ（複数可）２６０等、１つの位置で行われてもよい。
さらに、コンピュータ１０６は、リモートユーザＵ１に配信されるｅスポーツライブイベントのライブビュー及び／またはハイブリッドビューを受信するように構成されてもよい。すなわち、コンピュータ１０６は、ビデオゲームを実行することに制限されず、ＨＭＤ１０２によるレンダリングのためにＶＲコンテンツ（例えば、ｅスポーツライブイベントのライブビュー及び／またはハイブリッドビュー）を出力するインタラクティブアプリケーションを実行するように構成されてもよい。

【0032】

ユーザ１００は、ライブｅスポーツイベントのライブビュー及び／またはハイブリッドビューに参加する時、コントローラ１０４を操作して、インタラクティブ体験を制御する入力を提供してもよい。例えば、コントローラを使用して、アリーナ席１４０内の座席を選択してもよく、または、選択された座席に対応するライブビュー及び／またはハイブリッドビューのプレビューを選択してもよい。さらに、コントローラ１０４を使用して、実行中のビデオゲームに入力を行ってもよい。さらに、カメラ１０８は、ユーザ１００がいるインタラクティブ環境の画像を撮影するように構成されてもよい。
これらの撮影された画像を分析して、ユーザ１００、ＨＭＤ１０２、及び、コントローラ１０４の位置及び動きを決定してもよい。一実施形態においては、コントローラ１０４は、コントローラの位置及び向きを決定するために追跡できるライトまたは他のマーカ要素を含む。カメラ１０８は、インタラクティブ環境からの音を捕捉する１つまたは複数のマイクロフォンを含み得る。マイクロフォンアレイが捕捉した音を処理して、音源の位置を特定してもよい。特定された位置からの音は、選択的に利用または処理されて、特定された位置からではない他の音を除去してもよい。さらに、カメラ１０８は、複数の画像撮影装置（例えば、立体写真カメラ）、ＩＲカメラ、デプスカメラ、及び、これらの組み合わせを含むように規定されてもよい。

【0033】

他の実施形態においては、コンピュータ１０６は、エンターテイメントサーバ２５０とネットワークを介して通信するシンクライアントとして機能する。すなわち、サーバ２５０は、ＨＭＤ１０２によって示されるライブビュー及び／またはハイブリッドビューを生成し、コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８からサーバ２５０に入力を送信する。ビデオデータ、音声データ、デジタルデータ等のエンターテイメントサーバからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、送信前にさらにデータを処理してもよく、または、関連デバイスにデータを直接送信してもよい。例えば、ビデオストリーム及び音声ストリームは、ＨＭＤ１０２に提供され、触覚フィードバックデータは、振動フィードバックコマンドの生成に使用され、振動フィードバックコマンドが、コントローラ１０４に提供される。

【0034】

より従来的な意味では、コンピュータ１０６は、クラウドゲームプロバイダ１１２とネットワーク１１０を介して通信するシンクライアントとして機能してもよい。クラウドゲームプロバイダ１１２は、ユーザＵ１によってプレイされているビデオゲームを維持及び実行する。コンピュータ１０６は、ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８からの入力をクラウドゲームプロバイダに送信し、クラウドゲームプロバイダは、入力を処理して、実行中のビデオゲームのゲーム状態に影響を及ぼす。ビデオデータ、音声データ、及び、触覚フィードバックデータ等、実行中のビデオゲームからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、送信前にさらにデータを処理してもよい、または、関連デバイスにデータを直接、送信してもよい。例えば、ビデオストリーム及び音声ストリームは、ＨＭＤ１０２に提供され、触覚フィードバックデータは、振動フィードバックコマンドの生成に使用され、振動フィードバックコマンドが、コントローラ１０４に提供される。

【0035】

一実施形態においては、ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８は、それ自体、ネットワークデバイスであってよく、ネットワーク１１０に接続して、エンターテイメントサーバ２５０及び／またはクラウドゲームプロバイダ１１２と通信する。例えば、コンピュータ１０６は、ビデオゲーム処理を行わず経路のネットワークトラフィックを促進するルータ等のローカルネットワークデバイスであってもよい。ＨＭＤ１０２、コントローラ１０４、及び、カメラ（すなわち、画像撮影装置）１０８によるネットワークへの接続は、有線または無線であってもよい。クラウドゲームプロバイダ１１２は、入力を処理して、実行中のビデオゲームのゲーム状態に影響を及ぼす。ビデオデータ、音声データ、及び、触覚フィードバックデータ等、実行中のビデオゲームからの出力は、各デバイスへの前方送信のためにコンピュータ１０６に送信される。
他の実施形態においては、コンピュータ１０６は、ダウンロードされたビデオゲームを実行するように構成されてもよい。コンピュータ１０６は、クラウドゲームプロバイダ１１２と協働して、ビデオゲームを実行してもよい。例えば、ビデオゲームの実行は、クラウドゲームプロバイダ１１２で開始してよく、ビデオゲームがコンピュータ１０６に完全にダウンロードされると、コンピュータ１０６は、ビデオゲームを実行してよく、クラウドゲームプロバイダ１１２で中断した所からビデオゲームのゲームプレイを再開してもよい。ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８からの入力は、コンピュータ１０６によって処理され、ビデオゲームのゲーム状態は、ＨＭＤ１０２、コントローラ１０４、及び、カメラ１０８から受信した入力に応答して、調整される。

【0036】

一実施形態においては、複数のライブイベントが、１人または複数のリモートユーザに利用可能であってもよい。例えば、ライブイベントは、実世界の会場１００'で行われてもよい。実世界の会場１００'は、会場１００と同様の構成であり、実世界の会場のサーバ２３５'と、１つまたは複数のデータ収集装置２３１'とを含む。従って、リモートユーザＵ１は、１つのイベントから次のイベントへと次から次に移動することによって、複数のライブイベントに参加できてもよい。すなわち、リモートユーザＵ１は、実世界の会場１００で行われているライブイベントのライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューを会場の選択された座席から体験でき、その後、実世界の会場１００'で行われている別のライブイベントに移動して、そのライブイベントの別の異なった体験をすることができる。例として、任意の日曜日に、複数のライブイベント（例えば、フットボール、サッカー等）が行われている場合があり、リモートユーザは、１つのライブイベントから他のライブイベントに次々に移動して、選択したイベントの異なるライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューを体験してもよい。

【0037】

さらに他の実施形態においては、リモートユーザＵ１は、記録されたイベントを体験してもよい。すなわち、リモートユーザは、上記と同じように、記録済みのイベントを視聴したい場合がある。このように、リモートユーザは、記録済みのイベントのライブ（以前に記録された、視聴者にとってライブの）ビュー、ハイブリッドビュー、及び／または、拡張現実ビューに依然としてアクセスし得る。データがキャプチャ及び記憶されているので、イベントが行われて、リモートユーザにストリーミングされた後、これらのビューは再生できる。
前述のように、リモートユーザは、実世界の会場の特定の位置（例えば、座席）を選択してよく、異なる位置に移動して、現在は記録されているイベントのビューを取得してもよい。他の実施形態においては、リモートユーザのグループが、記録セッションを通じて記録されたイベントを体験したい場合がある。すなわち、リモートユーザのグループは、異なる物理的位置にいる場合がある。記録セッションは、グループの全てのユーザにとって共通のタイムラインを用いて、記録されたイベントの新しいプレイを生成する。従って、ユーザのグループの各ユーザは、グループの他のユーザと時間的に一致した記録済みのイベントの自分達自身の（記録済みの、視聴者にとってはライブの）ライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューを有してもよい。例えば、ユーザのグループは、仮想または拡張の現実空間で一緒に音楽コンサートを体験してもよい。そのようにして、ユーザのグループは、実世界の会場の仮想表現の１つのエリアの座席を選択してよく、記録されたイベントの自分たちのビュー内にグループの他のユーザの表現を見ることができてもよい。さらに、グループのユーザは、記録されたイベントを視聴しながら、実世界で会話を行う等、実世界で互いにインタラクトもできる。

【0038】

図２Ｂは、発明の実施形態による、ＶＲコンテンツの生成（例えば、ライブｅスポーツイベント及び／またはビデオゲーム等のライブビュー及び／またはハイブリッドビューを生成するアプリケーションの実行）と関連してＨＭＤ１０２の機能を概念的に示す。ある実施態様においては、ＶＲコンテンツエンジン２２０は、コンピュータ１０６（図示せず）を介してＨＭＤ１０２に通信可能に結合されたバックエンドエンターテイメントサーバ２５０で実行及び／または生成されている。ある実施形態においては、コンピュータ１０６は、ＶＲコンテンツの一部を実行及び／または生成する。コンピュータは、ＨＭＤにローカル（例えば、ローカルエリアネットワークの一部）であってもよく、または、リモートに位置して（例えば、広域ネットワーク、クラウドネットワーク等の一部）よく、ネットワークを介してアクセスされてもよい。
ＨＭＤ１０２とコンピュータ１０６の間の通信は、有線または無線接続プロトコルに従ってもよい。例えば、アプリケーションを実行するＶＲコンテンツエンジン２２０は、ライブビュー及び／またはハイブリッドビュー選択及び／または生成エンジンであってよく、ライブビュー及び／またはハイブリッドビューは、ｅスポーツライブイベントに関連する。より従来的な意味では、ＶＲコンテンツエンジンは、ビデオゲームを実行するビデオゲームエンジンであってよく、入力を受信して、ビデオゲームのゲーム状態を更新するように構成されてもよい。図１Ｂの以下の記載は、簡潔で明瞭にするために、ビデオゲームを実行するＶＲコンテンツエンジン２２０の文脈内で記載され、ＶＲコンテンツを生成できる任意のアプリケーションの実行を表すことを意図している。ビデオゲームのゲーム状態は、物体の存在及び位置、仮想環境の条件、イベントのトリガ、ユーザプロフィール、透視図等、現在のゲームプレイの様々な態様を規定するビデオゲームの様々なパラメータの値によって、少なくとも部分的に規定されてもよい。

【0039】

図示の実施形態において、ＶＲコンテンツエンジン２２０は、例として、コントローラ入力１６１、音声入力１６２、及び、動作入力１６３を受信する。コントローラ入力１６１は、ハンドヘルドゲームコントローラ１０４（例えば、Ｓｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４ワイヤレスコントローラ、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅモーションコントローラ）、または、ウェアラブル手袋型インタフェースコントローラ等のウェアラブルコントローラなど、ＨＭＤ１０２とは別個のゲームコントローラの操作から規定されてもよい。例として、コントローラ入力１６１は、方向入力、ボタン押し下げ、トリガ起動、動き、ジェスチャ、または、ゲームコントローラの操作から処理される他の種類の入力を含んでもよい。
音声入力１６２は、ＨＭＤ１０２のマイクロフォン１５１から、または、ローカルシステム環境内の画像撮影装置１０８もしくは他の場所に含まれるマイクロフォンから、処理されてもよい。動作入力１６３は、ＨＭＤ１０２に含まれるモーションセンサ１５９から、または、画像撮影装置１０８がＨＭＤ１０２の画像を撮影するので、画像撮影装置１０８から処理されてもよい。（例えば、ゲームアプリケーションを実行する）ＶＲコンテンツエンジン２２０は、入力を受信し、入力は、ゲームエンジンの設定に従って処理されて、ビデオゲームのゲーム状態を更新する。エンジン２２０は、ゲーム状態データを様々なレンダリングモジュールに出力し、様々なレンダリングモジュールは、ゲーム状態データを処理して、ユーザに提示するコンテンツを規定する。

【0040】

図示の実施形態において、ビデオレンダリングモジュール１８３は、ＨＭＤ１０２に提示するためのビデオストリームをレンダリングするように規定される。ＨＭＤ１０２の光学素子１７０のレンズは、ＶＲコンテンツを見るように構成される。表示画面２７５は、ＨＭＤ１０２がユーザによって装着される時、光学素子１７０のレンズが表示画面２７５とユーザの眼の間になるように、光学素子１７０のレンズの後ろに配置される。このようにして、ビデオストリームは、表示画面／プロジェクタ機構２７５によって提示されてもよく、ユーザの眼２９０は光学素子１７０を通じて見てもよい。ＨＭＤユーザは、ＨＭＤを装着して、例えば、ｅスポーツライブイベントのライブビュー及び／またはハイブリッドビュー、または、ゲームプレイのビデオゲームを選択することによって、インタラクティブなＶＲコンテンツ（例えば、ＶＲビデオソース、ビデオゲームコンテンツ等）とインタラクトすることを選択してもよい。インタラクティブな仮想現実（ＶＲ）シーンは、ＨＭＤの表示画面１７５にレンダリングされる。
このようにして、ユーザの眼のすぐ近くにＨＭＤの表示機構を備えることによって、ＨＭＤは、ユーザがｅスポーツライブイベントのライブビュー及び／またはハイブリッドビュー、または、ゲームアプリケーションのゲームプレイに完全に没入することを可能にする。コンテンツをレンダリングするためにＨＭＤの表示画面に規定される表示領域は、ユーザの視野の広い部分または全体さえ占める場合がある。一実施形態においては、光学素子１７０のレンズ及び表示画面は、ＨＭＤ１０２の支持構造内に配置され、支持構造を装着すると、ユーザ１０２等のユーザの頭にぴったり合うように構成される。さらに、光学素子１７０のレンズと表示画面１７５とは、支持構造内に配置され、ＨＭＤ１０２を装着した時、表示画面１７５がユーザの両眼または片眼の正面に位置する。典型的に、各眼は、１つまたは複数の表示画面を見ている光学素子１７０の関連するレンズによって支援される。

【0041】

音声レンダリングモジュール１８２は、ユーザが聴くために音声ストリームをレンダリングするように構成される。一実施形態においては、音声ストリームは、ＨＭＤ１０２に関連付けられたスピーカ１５２を通じて出力される。スピーカ１５２は、オープンエア型のスピーカ、ヘッドフォン、または、音声を出せる任意の他の種類のスピーカの形をとってもよいことは理解されたい。

【0042】

一実施形態においては、視線追跡カメラ１９２が、ユーザの視線追跡を可能にするためにＨＭＤ１０２に含まれる。視線追跡カメラ１９２は１つだけ含まれているが、複数の視線追跡カメラを使用してユーザの視線を追跡してもよいことに注意されたい。視線追跡カメラは、ユーザの眼の画像を撮影し、その画像が分析されて、ユーザの視線方向が決定される。一実施形態においては、ユーザの視線方向に関する情報を利用して、ビデオレンダリングに影響を及ぼすことができる。例えば、ユーザの眼が特定の方向を見ていると決定される場合、その方向に対するビデオレンダリングが、ユーザが見ている領域でより多くの詳細を提供するように、または、より速く更新されるように等、優先または強調されてもよい。ユーザの視線方向は、ヘッドマウントディスプレイに対して、ユーザがいる現実環境に対して、及び／または、ヘッドマウントディスプレイ上にレンダリングされている仮想環境に対して、規定されてもよいことを理解されたい。

【0043】

大まかに言うと、視線追跡カメラ１９２が撮影した画像の分析は、それだけを考慮すると、ＨＭＤ１０２に対するユーザの視線の方向を提供する。しかしながら、ＨＭＤ１０２の追跡された位置及び向きと共に考慮すると、ＨＭＤ１０２の位置及び向きは、ユーザの頭の位置及び向きと同じなので、ユーザの実世界の視線方向が決定できる。すなわち、ユーザの実世界の視線方向は、ユーザの目の位置の移動を追跡し、ＨＭＤ１０２の位置及び向きを追跡することとから決定できる。仮想環境のビューが、ＨＭＤ１０２上にレンダリングされると、ユーザの実世界の視線方向は、仮想環境のユーザの仮想世界の視線方向の決定に適用できる。

【0044】

さらに、触覚フィードバックモジュール１８１は、ＨＭＤ１０２、または、コントローラ１０４等、ＨＭＤユーザによって操作される他のデバイスに含まれる触覚フィードバックハードウェアに信号を提供するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバック等、様々な種類の触感の形をとってもよい。

【0045】

一実施形態においては、ビデオレンダリング１８３及び音声レンダリング１８２は、ＨＭＤ１０３内に表示するようにライブｅスポーツイベントのライブビュー及び／またはハイブリッドビューを提示するように構成されてもよい。例えば、ライブビュー及び／またはハイブリッドビューは、図１Ａのｅスポーツアリーナ１００のアリーナ席１４０の特定の座席のＰＯＶから生成されてもよい。前述のように、ライブビューは、ｅスポーツアリーナの１つまたは複数の撮影されたビューから記録されてもよく、選択された座席のＰＯＶとして最少の修正で提示されてもよい。
他の実施形態においては、ハイブリッドビューは、ｅスポーツアリーナの１つまたは複数の撮影されたビューをつなぎ合わせることによって生成されてもよい。別のハイブリッドビューは、拡張現実ビューを提供する形態等において、デジタルコンテンツをつなぎ合わされたライブビューに組み込むことによって生成されてもよい。例えば、ユーザＵ１に対して友達のデジタル化された形が、Ｕ１の拡張現実ビューに提示される。さらに他の実施形態においては、ライブｅスポーツイベントの完全な仮想ビューが、ＨＭＤ１０２に提示される。

【0046】

図３Ａは、本開示の一実施形態による、図１Ｂで紹介されたｅスポーツアリーナ１００の平面図３００Ａを示し、ｅスポーツアリーナの２つの座席から生成された２つの視点（ＰＯＶ）を含む。図に示し、簡単に述べるように、平面図３００Ａは、ステージ１９０の正面１９１、ＶＩＰセクション１５０を含むアリーナ席１４０、メインディスプレイ１０１、サイドディスプレイ１０５、サイドディスプレイ１０７、第１のチーム１７１の演壇、第２のチーム１７２の演壇、及び、放送者１６０が座るためのタワー１６１を含む。複数のビデオデータ収集装置１３０も、ライブｅスポーツイベントのビデオを収集するためにアリーナ１００のあらゆる場所に配置されているのが示されている。さらに、音声収集装置（図示せず）が、ｅスポーツイベントに関する音声記録を収集するためにアリーナ１００のあらゆる場所に配置されてもよい。

【0047】

ＰＯＶ３２１は、アリーナ席１４０の座席３０１に関連付けられる。ＰＯＶ３２１は、１つまたは複数のライブビデオ記録から生成されてもよい。例えば、ＰＯＶ３２１は、座席３０１からのライブビューの再生に使用できる３〜６台のビデオ収集装置のビデオ記録から生成されてもよい。すなわち、ライブｅスポーツイベントのライブビュー及び／またはハイブリッドビュー（例えば、現実、拡張現実、仮想のビュー）は、１つまたは複数のビデオ収集装置１３０から取得されたビデオ記録からつなぎ合わされてもよい。座席３０１は、ＶＩＰセクション１５０内に位置するので、そのセクション内の各座席に対して、高品質のレンダリングのライブビューを提供するために入手可能なより多くのビデオ記録があってもよい。
すなわち、ＶＩＰセクション１５０において、各座席は、ライブｅスポーツイベントの一意に生成されたビューを有してもよい。ＶＩＰセクション１５０の外側では、同一場所に配置された座席（例えば、１０〜２０席）のグループは、ライブｅスポーツイベントの一意に生成されたビューを共有してもよい。図に示すように、ＰＯＶ３２１は、ステージ１９０のクローズアップビューを含み、両方のチーム及び３つの全てのディスプレイのクローズビューを含む。座席３０１は、ステージ１９０の正面に近いので、ＰＯＶ３２１は、ステージ１９０の遮られていない、大きい、鮮明なビューを提供するために、より望ましい。

【0048】

ＰＯＶ３２２は、座席３０２に関連付けられ、ＰＯＶ３２２も、１つまたは複数のライブビデオ記録から生成されてもよい。例えば、ＰＯＶ３２２は、座席３０２からのライブビューの再生に使用できる１〜２台のビデオ収集装置のビデオ記録から生成されてもよい。すなわち、ライブｅスポーツイベントのライブビュー及び／またはハイブリッドビュー（例えば、現実、拡張現実、仮想のビュー）は、１つまたは複数のビデオ収集装置１３０から取得されたビデオ記録からつなぎ合わされてもよい。座席３０２はアリーナ１００の後部の近くに位置するので、そのセクション内の各座席に対してはライブビューのレンダリングを提供するのに入手可能なビデオ記録は限られている場合がある。レンダリングされたライブビューは、高品質であるが、アリーナの後部の座席間のビューの解像度には限界がある。
すなわち、アリーナ１００の後部、及び、ＶＩＰセクション１５０の外側に位置する座席に関しては、座席３０２の近くの同一場所に配置された座席（例えば、１０〜２０席）のグループは、ライブｅスポーツイベントの一意に生成されたビューを共有してもよい。図に示すように、ＰＯＶ３２２は、ステージ１９０の遠いビューを含み、両方のチーム、３つのディスプレイ、及び、放送ブースの遠くのビューを含む。座席３０２は、アリーナ１００の後部に近いので、ビューは少し遮られ、ステージ１９０から離れている場合があるので、ＰＯＶ３２２は、あまり望ましくない。

【0049】

図３Ａは、ｅスポーツライブイベントのライブビュー及び／またはハイブリッドビューにビデオ画像を提供することに関して記載するが、他の実施形態は、ｅスポーツアリーナ１００の選択された座席に基づいたライブｅスポーツイベントにライブ音声及び／またはハイブリッド音声を提供することにも適している。さらに、ライブ音声及び／またはハイブリッド音声は、ｅスポーツライブイベントに関して、ライブビデオ及び／またはハイブリッドビデオと組み合わされてもよく、例えば、仮想の聴衆として、ライブｅスポーツイベントに参加しているリモートユーザに提示されてもよい。

【0050】

図３Ｂは、本開示の一実施形態による、仮想の聴衆として、ｅスポーツライブイベントに参加しているリモートユーザ（例えば、Ｕｌ）のＨＭＤに示されるビデオシーケンスの画像を示し、画像は、ｅスポーツアリーナで（リモートユーザによって選択された）後部座席に関連付けられたＰＯＶ３２２から生成される。例えば、選択された座席は、図３Ａの平面図３００Ａに少なくとも示されるように、ｅスポーツアリーナ１００のアリーナ席１４０の座席３０２である。

【0051】

前述のように、リモートユーザのＨＭＤに示されるＰＯＶ３２２のビデオ部分は、１つまたは複数のビデオ収集装置が撮影した１つまたは複数のライブビデオ記録から生成される。例えば、ライブビデオ記録をつなぎ合わせて、座席３０２に関連付けられた視点を有する画像のビデオシーケンスを生成してもよい。例えば、座席３０２は、ｅスポーツアリーナ１００の後部に近いので、ＰＯＶ３２２は、ステージ１９０の遠いビューを有する。従って、プロのゲーマーの第１のチーム１７１のメンバと、プロのゲーマーの第２のチーム１７２のメンバとは、小さく遠くに見える。さらに、ＨＭＤに示されるＰＯＶ３２２内の他の聴衆（例えば、ライブ参加者、または、デジタルで挿入された）は、ステージ１９０のビューの少なくとも一部を遮る場合がある。
図３Ｂに示すように、複数の聴衆の頭部が、ＰＯＶ３２２に示される。さらに、ＰＯＶ３２２において、リモートユーザは、ステージ１９０に、または、ステージ１９０の近くに位置するディスプレイの遮られていないビューを有する。例えば、ＰＯＶ３２２は、オートバイコース上のレーサ（例えば、少なくともレーサ１８０及びレーサ１８１）を示すメインディスプレイ１０１のビューを含む。ＰＯＶ３２２は、第１のチーム１７１の上にある（例えば、ＰｌａｙＳｔａｔｉｏｎ Ｐｌｕｓ ＬＥＡＧＵＥロゴを示す）サイドディスプレイ１０５のビューを含む。また、ＰＯＶ３２２は、オートバイレーサ１８０を制御するチームメンバ１７２ａのゲームプレイビューを示すサイドディスプレイ１０７のビューを含む。前述のように、サイドディスプレイは、オートバイレーサ１８１の背中のビューを含むオートバイレーサ１８０の視点を示し、レーサ１８１は、レースコースでオートバイレーサ１８０の前にいる。

【0052】

図３Ｃは、本開示の一実施形態による、仮想の聴衆としてｅスポーツライブイベントに参加しているリモートユーザ（例えば、Ｕ１）のＨＭＤに示されているビデオシーケンスの画像を示し、画像は、ｅスポーツアリーナの（リモートユーザによって選択された）前列の席に関連付けられたＰＯＶ３２１から生成される。例えば、選択された座席は、図３Ａの平面図３００Ａに少なくとも示されるようにｅスポーツアリーナ１００のアリーナ席１４０のＶＩＰセクション１５０の座席３０１である。

【0053】

前述のように、リモートユーザのＨＭＤに示されるＰＯＶ３２１のビデオ部分は、１つまたは複数のビデオ収集装置が撮影した１つまたは複数のライブビデオ記録から生成される。例えば、ライブビデオ記録は、つなぎ合わされて、座席３０１に関連付けられた視点を有する画像のビデオシーケンスを生成してもよい。座席３０１は、ＶＩＰセクション１５０に位置するので、ＶＩＰセクションの外側の座席のＰＯＶを生成するために撮影された記録の数と比較して、ＰＯＶ３２１を生成するためにより多くのライブビデオ記録が撮影されてもよい。
詳細には、座席３０１は、ｅスポーツアリーナ１００の正面、または、正面に近いので、ＰＯＶ３２１は、ステージ１９０のクローズアップビューを有する。すなわち、座席３０１からのユーザのビューは、（例えば、ライブまたはデジタルで拡張された）他の聴衆に遮られず、ステージとステージ上の物体とが、視聴者にとって大きく鮮明に見える。例えば、プロのゲーマーの第１のチーム１７１のメンバは、ＰＯＶ３２１に鮮明に示され、散切り頭の男性ゲーマー１７１ａ、短い髪の女性ゲーマー１７１ｂ、及び、長い髪の女性ゲーマー１７１ｃを含むメンバの顔が鮮明に識別できる。また、プロのゲーマーの第２のチーム１７２のメンバが、ＰＯＶ３２１に鮮明に示され、短い髪の男性ゲーマー１７２ａ、短い髪の女性ゲーマー１７２ｂ、及び、短い髪の男性ゲーマー１７２ｃを含むメンバの顔は、鮮明に識別可能である。
さらに、ＰＯＶ３２１において、リモートユーザは、ステージ１９０にまたはステージ１９０の近くに位置するディスプレイの鮮明で大きなビューを有する。例えば、ＰＯＶ３２１は、少なくともレーサ１８０及びレーサ１８１を示すメインディスプレイ１０１の大きいビューを含む。ＰＯＶ３２２は、第１のチーム１７１の上に位置するサイドディスプレイ１０５の（例えば、ＰｌａｙＳｔａｔｉｏｎ Ｐｌｕｓ ＬＥＡＧＵＥロゴを示す）鮮明で大きなビューを含む。ＰＯＶ３２２は、（オートバイレーサ１８１の背中のビューを含む）オートバイレーサ１８０を制御するチームメンバ１７２ａのゲームプレイビューを示すサイドディスプレイ１０７の鮮明で大きなビューも含む。

【0054】

図３Ｂと図３Ｃを比較すると、前列の座席３０１のＰＯＶ３２１は、後部座席３０２のＰＯＶ３２２より鮮明なステージ１９０のビューを有する。これは、コンサートアリーナのコンサートに出席している聴衆、または、映画館で映画を見ている聴衆、または、劇場でブロードウェイショーを見ている聴衆、または、任意の種類のアリーナの任意の種類のイベントに出席している聴衆の体験と類似している。従って、座席３０１を選択しているリモートユーザの体験は、座席３０２を選択しているユーザより生き生きとしていてもよい。

【0055】

図４Ａは、本開示の一実施形態による、選択された座席の視点から取得したｅスポーツライブイベントのプレビューを生成するために、一度に一席、ｅスポーツアリーナの１つまたは複数の座席を選択する選択プロセスを示す。例えば、図２ＡのリモートユーザＵ１は、ライブｅスポーツイベントに仮想の聴衆として参加するために、バックエンドエンターテイメントサーバ２５０と通信する。詳細には、ユーザＵ１は、前述のｅスポーツアリーナ１００のアリーナ席１４０の１つまたは複数の座席からＰＯＶをプレビューするために、座席プレビュー生成部２８０とインタフェースする。図４Ａに示すプレビュー及び座席選択プロセスは、例示的なもので、アリーナ席１４０の座席のＰＯＶをプレビューする能力を示すことを意図している。

【0056】

図４Ａに示すように、ユーザＵ１は、コントローラ５を使用して、座席プレビュー生成部２８０によって生成され得るインタフェース４００とインタラクトしてもよい。例えば、インタフェース４００は、ｅスポーツアリーナ１００のステージ１９０及び座席１４０の平面図を示す。コントローラ５の方向ボタン４１０を使用して、ユーザＵ１は、アリーナ席１４０をナビゲートして、各ＰＯＶのプレビューを取得するために、１つまたは複数の座席を選択してもよい。アナログスティック、タッチスクリーン等を用いる等、アリーナの座席を示す平面図をナビゲートする他の手段が企図される。例えば、経路４２０は、インタフェース４００に提示されるように、ユーザＵ１によるアリーナ席１４０のナビゲーションを示す。経路４２０は、座席の一番目の列を左から右に横切り、ＶＩＰセクション１５０の座席３０１で最初に落ち着いて、図４Ｂに示すようなＰＯＶプレビューを取得する。経路４２０は、座席３０２に続き、図４Ｃに示すようなＰＯＶプレビューを取得する。

【0057】

図４Ｂは、本開示の一実施形態による、ｅスポーツアリーナ１００のＶＩＰセクション１５０の前列の座席３０１から生成される図３Ｃで紹介されたＰＯＶ３２１のプレビューを示す。ＰＯＶ３２１のプレビューを、インタフェース４００'に提供されたｅスポーツアリーナの平面図に関して示す。詳細には、ユーザＵ１は、図４Ａのインタフェース４００で座席３０１を選択し、その座席からのＰＯＶのプレビューを所望する。従って、図４Ｂのインタフェース４００'は、座席３０１に対して生成されたＰＯＶ３２１を示すプレビューウィンドウ４３０を提供し、ＰＯＶ３２１に示される画像は、少なくとも図３Ｃで前述した。すなわち、ユーザが座席３０１を選択すると、ユーザが装着したＨＭＤで最終的にＰＯＶ３２１を受信、見ることになる。すなわち、プレビューウィンドウ４３０は、座席３０１に座っているユーザが体験するＰＯＶ３２１のサンプリングを示す。

【0058】

図４Ｃは、本開示の一実施形態による、ｅスポーツアリーナ１００の後部座席３０２から生成された図３Ｂに紹介されたＰＯＶ３２２のプレビューを示す。ＰＯＶ３２２のプレビューを、インタフェース４００’’に提供されたｅスポーツアリーナの平面図に関して示す。詳細には、ユーザＵ１は、図４Ａのインタフェース４００で座席３０２を選択し、その座席からのＰＯＶのプレビューを所望する。従って、図４Ｃのインタフェース４００’’は座席３０２に対して生成されたＰＯＶ３２２を示すプレビューウィンドウ４３５を提供し、ＰＯＶ３２２に示される画像は、少なくとも図３Ｂで前述した。すなわち、ユーザが座席３０２を選択すると、最終的に、ユーザが装着したＨＭＤでＰＯＶ３２２を受信し、見ることになる。すなわち、プレビューウィンドウ４３５は、座席３０２に座っているユーザが体験するＰＯＶ３２２のサンプリングを示す。

【0059】

図５Ａは、本開示の一実施形態による、ｅスポーツライブイベント（例えば、ビデオゲーム競技）に参加し、ｅスポーツアリーナの物理的座席の１つに仮想で座っているリモートユーザＵ１のＰＯＶを示し、リモートユーザが左側を見ると、リモートユーザＵ１のＰＯＶは、ライブ参加者（ＬＰ）の聴衆のビューを含む。詳細には、リモートユーザＵ１は、Ｕ１の家のリビングルームでくつろいで等、ライブｅスポーツイベントに参加できる。従って、ｅスポーツアリーナの座席を選択後、ユーザＵ１は、ＨＭＤ１０２を通じて見る選択された座席から取得されたライブイベントのＰＯＶを提示される。このようにして、ユーザＵ１は、選択された座席で実際にｅスポーツアリーナに座っているかのように、ライブｅスポーツイベントに参加できる。

【0060】

前述のようにライブｅスポーツイベントのライブビュー及び／またはハイブリッドビューは、生成されてもよく、ＨＭＤを通じてユーザＵ１に提示されてもよい。例えば、ライブビューまたはライブに近いビューは、１つまたは複数のデータ収集装置の記録等、ライブイベントの処理されていないまたは最小限に処理された音声及びビデオ記録を取得してもよい。すなわち、ライブに近いまたはライブのビューは、複数のテレビ記録カメラを通じて従来のライブのスポーツイベントを見る時等、収集されたデータに最小限の修正または修正無しに生成される。
さらに、ライブｅスポーツイベントのハイブリッドビューは、ｅスポーツアリーナのあらゆる場所に配置されたデータ収集装置から収集されたライブビュー（例えば、音声、ビデオ等）から生成されてもよい。一実施態様においては、ハイブリッドビューは、１つまたは複数のライブビデオ記録をつなぎ合わせ、また、１つまたは複数の音声記録をつなぎ合わせてもよい。他の実施形態においては、ハイブリッドビューは、１つまたは複数のデータ収集装置から収集されたライブビューから部分的に生成され、ライブビューに挿入されたデジタルコンテンツを含む拡張現実として提示され、ライブビューは、データ収集装置から収集された１つまたは複数のライブビューをつなぎ合わせることによって生成されてもよい。さらに他の実施形態においては、ＨＭＤは、ライブｅスポーツイベントを完全に仮想化したビューを提示してよく、仮想ビューは、ライブｅスポーツイベントのデジタル表現である。

【0061】

詳細には、図５Ａは、ユーザＵ１がｅスポーツアリーナ１００のＶＩＰセクション１５０の座席５１０を選択したことを示す。座席５１０のすぐ左が、座席５２０である。ライブ参加者（例えば、聴衆）が、座席５２０に実際に座っている。図５Ａは、ユーザＵ１の没入型体験を示し、ＨＭＤ１０２に示されるＰＯＶ５３０は、ユーザＵ１がｅスポーツアリーナ１００の左側を見る時のビューを表す。ユーザＵ１は、ｅスポーツアリーナ１００に仮想でトランスポートされ、ユーザＵ１が実際に座席５１０に座っているのとあまり変わらない体験を有する。従って、ＨＭＤ１０２に示されるＰＯＶ５３０は、座席５２０に実際に座っているライブ参加者（ＬＰ）のビューを含むことになる。

【0062】

図５Ｂは、本開示の一実施形態による、ｅスポーツライブイベント（例えば、ビデオゲーム競技）に参加し、ｅスポーツアリーナの物理的座席の１つに仮想で座っているリモートユーザＵ１のＰＯＶを示し、リモートユーザが左側を見ると、リモートユーザＵ１のＰＯＶは、同様に仮想参加者としてライブイベントに参加しているリモートユーザ観客Ｕ２（すなわち、リモートユーザＵ２は仮想の聴衆である）のビューを含む。

【0063】

詳細には、リモートユーザＵ１は、Ｕ１の家のリビングルームでくつろいで等、ＨＭＤ１０２を通じてライブｅスポーツイベントに参加できる。従って、ｅスポーツアリーナの座席５１０を選択後、ユーザＵ１は、ＨＭＤ１０２を通じて視聴される選択された座席から取得されたライブイベントのＰＯＶを提示される。このようにして、ユーザＵ１は、選択された座席でｅスポーツアリーナに実際に座っているかのように、ライブｅスポーツイベントに参加できる。

【0064】

さらに、リモートユーザＵ２も、ＨＭＤ１０２'を通じて等、ライブｅスポーツイベントに参加できる。例えば、ユーザＵ１及びユーザＵ２は、ソーシャルネットワークを通した友達であってよく、（例えば、図２のエンターテイメントサーバ２５０を通じて提示される）ライブｅスポーツイベントに一緒に参加することに同意していてもよい。従って、ユーザＵ１及びＵ２は、スポーツアリーナ１００のＶＩＰセクション１５０に両方とも、座席５１０及び５２０等の隣り合う座席を協力して選択してもよい。図に示すように、ユーザＵ１は、座席５１０に仮想で座っており、ユーザＵ２は、座席５２０に仮想で座っている。すなわち、ユーザＵ２は、ユーザＵ１の左に座っている。従って、ユーザＵ２が座席５２０を選択後、ユーザＵ２は、ＨＭＤ１０２'を通じて視聴される選択された座席から取得されたライブｅスポーツイベントのＰＯＶを提示される。

【0065】

ユーザＵ１とユーザＵ２の両方は、ｅスポーツアリーナの自分たちが選択した座席に実際に座っているかのように、ライブｅスポーツイベントに参加できる。図５Ｂは、ライブｅスポーツイベントに参加している時、２人のリモートユーザＵ１とＵ２の間のインタラクティブ体験を示す。詳細には、ユーザＵ１及びＵ２の両方に提示されるＰＯＶは、拡張現実ビューであってもよい。すなわち、拡張現実ビューは、１つまたは複数のデータ収集装置から収集されたライブビューから部分的に生成されてもよく、ライブビューに挿入されたデジタルコンテンツを含み、ライブビューは、データ収集装置から収集された１つまたは複数のライブビューをつなぎ合わせることによって生成されてもよい。例えば、デジタルコンテンツは、ユーザＵ１またはＵ２のいずれかを表すアバタであってもよい。

【0066】

詳細には、図５Ｂは、ユーザＵ１が、ｅスポーツアリーナ１００のＶＩＰセクション１５０の座席５１０を選択したことを示す。座席５２０の左側の座席５２０は、リモートユーザＵ２（例えば、ユーザＵ１の友達）が占める。すなわち、座席５２０は、仮想参加者であるリモートユーザＵ２が占める。図５Ｂは、ユーザＵ１の没入型体験を示し、ＨＭＤ１０２に示されるＰＯＶ５４０は、ユーザＵ１がｅスポーツアリーナ１００で左側を見る時のビューを表す。
前述のように、ユーザＵ１は、ｅスポーツアリーナ１００に仮想でトランスポートされ、何らかの拡張を用いて、座席５１０に実際に座席に座っているのとあまり変わらない体験をする。例えば、リモートユーザＵ２を表現するアバタ５３５は、座席５２０に座るアバタ５３５を示すようにＰＯＶ５４０に挿入できる。この拡張現実効果は、ライブ参加者（ＬＰ）が座席５２０に実際に座っていたとしても、デジタルで挿入されてもよい（その場合、ＬＰは、ＰＯＶ５４０からフィルタリングして除かれる）。従って、ＨＭＤ１０２に示されるＰＯＶ５４０は、座席５２０に仮想で座っているアバタ５３５のビューを含むことになる。

【0067】

同様に、ＨＭＤ１０２'に表示されるようにリモートユーザＵ２に対して生成されたＰＯＶは、ユーザＵ２がｅスポーツアリーナ１００を見回しているビューを表現する。ユーザＵ２もｅスポーツアリーナ１００に仮想でトランスポートされ、何らかの拡張を用いて、ユーザＵ２が実際に座席５２０に座っているのと大して変わらない体験をする。例えば、リモートユーザＵ１を表すアバタが、ＰＯＶに挿入されて、そのアバタが座席５１０に座っているのを示すことができる。すなわち、リモートユーザＵ２が右を見る場合、ＰＯＶは、座席５１０に仮想で座っているユーザＵ１を表すアバタのビューを含む。

【0068】

図６は、本開示の一実施形態による、アリーナ席６１０に置かれた個人用座席パック６２０と、ｅスポーツイベントを生で見ている関連するライブ参加者に関するデータを収集するように構成された個人用機器ボードとを示す。複数のアリーナ席６１０が、ｅスポーツアリーナ１００に配置されてもよい。例えば、アリーナ席は、ある列が他の列の前後に位置するように、列で配置されてもよい。このようにして、第１列の席は、第１列の後ろの第２列の少なくとも１つの座席の正面に位置してもよい。

【0069】

座席パック６２０は、１つまたは複数のアリーナ席６１０に置かれてもよい。座席パックは、１人または複数のライブ参加者からデータを収集するように置かれてもよい。図に示すように、座席パックは、アリーナ席の背もたれ６１５の背面上部に置かれ、その座席パックの後ろの列に座るライブ参加者からデータを収集するように構成される。例えば、座席６１０ａは、背もたれ６１５の背面に座席パック６２０を含む。座席６１０ａの座席パック６２０は、座席６１０ａの後ろの列の座席６１０ｂにいるライブ参加者からデータを収集、及び／または、そのライブ参加者にデータを提供するように置かれる。

【0070】

座席パック６２０は、少なくとも１人のライブ参加者からデータを収集するように構成される１つまたは複数のデータ収集装置を含む。例えば、座席６１０ａの座席パック６２０は、アリーナ席６１０ｂに座っているライブ参加者からデータを収集するように構成される。例えば、座席パックは、画像及び／またはビデオデータを収集するように構成されたカメラ６６０を含んでもよい。このようにして、ライブ参加者の行動及び顔が収集されてもよい。
１つの例示の使用例においては、画像及び／またはビデオデータを使用して、リモートユーザに対するｅスポーツイベントのライブビューを構築する。座席パックは、ライブ参加者がいるか否かを決定するように構成された人感センサ６４０を含んでもよい。例えば、座席６１０ａの座席パック６２０の人感センサ６４０は、座席６１０ｂにライブ参加者が座っているか否かを決定するように構成されてもよい。人感センサ６４０は、赤外線検出、ソーナー検出、音波検出、超音波検出、磁気波検出、視覚検出等、任意の適切な検出技術を実施してもよい。
さらに、座席パック６２０は、アリーナ席６１０ａに座っているライブ参加者が生成する音等、音声データを収集するように構成されたマイクロフォンアレイ６３０を含んでもよい。アレイ６３０は、ビーム操縦能力及びビーム形成能力に適したパターンで構成された複数の音声収集装置を含んでもよい。例えば、アリーナ席６１０ａにある座席パックのアレイ６３０は、アリーナ席６１０ｂにいるライブ参加者から発生した音を決定でき、それらの音を近くの環境の他の音からフィルタリングできる。すなわち、アレイ６３０は、アリーナ席６１０ｂのライブ参加者からの音を拾うことができる。追加のセンサが、座席パック６２０に含まれてもよい。

【0071】

座席パック６２０は、１つまたは複数のデータ提供装置を含むように構成されてもよい。例えば、アリーナ席６１０ｂに座っているライブ参加者は、アリーナ席６１０ａの背面にある座席パックからデータを受け取るような位置にいる。説明のために、データ提供装置は、モニタ、スピーカ６５０、振動装置、香り生成装置等を含んでもよい。詳細には、スピーカ６５０は、アリーナ席６１０ｂに座っているライブ参加者、または、直ぐ近くの任意の参加者に音声を提供するように構成されてもよい。例えば、アリーナ席６１０ａの座席パックにあるスピーカ６５０は、ｅスポーツイベントに仮想で参加しているリモートユーザから生成された音と関連付けられてもよい。リモートユーザからの音（例えば、声）は、座席６１０ａに座っているライブ参加者を含む、座席６１０ａの近くにいる座席の１つに座っている特定のライブ参加者に向けられてもよい。従って、スピーカ６５０を通じて、リモートユーザは、一般の１人または複数のライブ参加者に話しかけてもよく、または、座席６１０ａに座っているライブ参加者を含む特定のライブ参加者に話しかけてもよい。

【0072】

一実施態様においては、座席パック６２０のセンサ及びデバイスは、アリーナ席６１０から取り外せる座席パックの形で構成されてもよい。さらに他の実施態様においては、センサ及びデバイスは、アリーナ席６１０から取り外せるシート付属品の形で構成されてもよい。例えば、シート付属品は、座席６１０の少なくとも正面を囲むカバーであってもよい。説明として、人感センサは、圧力センサ等、座席クッションの隣の座席付属品の一部に位置してよく、各座席６１０に座っているライブ参加者の存在を検出してもよい。

【0073】

図７Ａは、本開示の様々な実施形態の態様を行うために使用できるデバイス７００の例の構成要素を示す。例えば、図７Ａは、本開示の一実施形態による、ライブｅスポーツイベントに参加しているユーザを支援するサービスを提供するデバイスを実施するのに適切な例示のハードウェアシステムを示す。このブロック図は、デバイス７００を示す。デバイス７００は、開示の実施形態を実践するのに適したサーバコンピュータ、パーソナルコンピュータ、ビデオゲームコンソール、パーソナルデジタルアシスタント、または、他のデジタルデバイスを組み込むことができ、または、それらであってもよい。
デバイス７００は、ソフトウェアアプリケーションと、任意で、オペレーティングシステムを実行する中央処理装置（ＣＰＵ）７０２を含む。ＣＰＵ７０２は、１つまたは複数の同種または異種の処理コアから構成されてもよい。例えば、デバイス７００は、バックエンドサーバを支援しているクライアント側デバイスであってよく、バックエンドサーバ及びクライアント側デバイスの両方とも、ライブｅスポーツイベントに参加しているユーザを支援するように構成される。他の例においては、デバイス７００は、クライアント側デバイス（例えば、ゲーム機）を介してライブｅスポーツイベントに参加しているユーザを支援するように構成されたサーバ側デバイスであってもよい。

【0074】

様々な実施形態によると、ＣＰＵ７０２は、１つまたは複数の処理コアを有する１つまたは複数の汎用マイクロプロセッサである。さらなる実施形態は、リモートユーザによるライブｅスポーツイベントへの参加を支援するように構成されたアプリケーション等の、メディアアプリケーション及びインタラクティブエンターテイメントアプリケーション等、高度に並行で計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つまたは複数のＣＰＵを用いて実施されてもよい。

【0075】

詳細には、ＣＰＵ７０２は、ｅスポーツイベント等のライブイベントのビューを生成するように構成された座席ライブビュー生成部７２０を含む。ライブビューは、ライブイベントの収集された１つまたは複数のライブ記録（例えば、ビデオ、音声）に基づいて、アリーナ（例えば、ｅスポーツアリーナ）の１つまたは複数の位置に対して生成される。例えば、ライブ記録は、ライブイベントの画像及び／またはビデオを収集するように構成されたビデオ収集部７２１と、アリーナの環境から音声を収集するように構成された音声収集部７２２とによって行われてもよい。
ＰＯＶ生成部７２３は、アリーナの特定の座席等、アリーナの特定の位置のライブビューを生成するように構成される。例えば、ＰＯＶ生成部は、アリーナの所定の位置から取得したライブイベントの１つまたは複数のビデオをつなぎ合わせて、アリーナの特定の位置からのイベントのライブビューを生成するように構成されたステッチング技術を実施してもよい。従って、特定の位置からライブ記録が収集されなかった場合でさえ、ライブビューは、ライブイベントの１つまたは複数のライブ記録に基づいて、その特定の位置に対して生成されてもよい。
ＣＰＵ７０２は、（例えば、生成部７２０によって）アリーナの特定の位置に対して生成されたライブビューの拡張現実ビューを提示するように構成された拡張現実ライブビュー生成部７３０も含む。例えば、デジタルコンテンツが、その特定の位置に対して生成されたライブビューに挿入されてもよい。詳細には、アバタ挿入モジュール７３１は、アバタをライブビューに挿入するように構成される。
アバタは、ライブイベントに参加して、近くに座っている第２のリモートユーザを表してもよい。すなわち、座席ライブビュー生成部７２０及び拡張現実ライブビュー生成部７３０が生成したビューに対応するユーザは、ライブイベントに参加している第１のリモートユーザであってよく、さらに、第２のリモートユーザが占める座席の隣または近くに仮想で座っていてもよい。従って、第１のリモートユーザの拡張現実ビューは、第２のリモートユーザのアバタを含む。他のデジタルコンテンツも挿入されてもよい。ＣＰＵ７０２は、アリーナ（例えば、ｅスポーツアリーナ１００）の特定の位置に対応するライブイベントのビューのプレビューを生成するように構成された座席プレビュー生成部７４０も含む。
例えば、アリーナマップ生成部７４１は、座席チャートを含むようにアリーナの平面図を生成するように構成され、平面図は、プレビューが示されたアリーナ内の位置（例えば、座席）を選択するために使用できる。詳細には、座席選択エンジン７４２は、平面図を介して、アリーナ内の位置（例えば、座席）をユーザが選択するのを可能にするインタフェースを生成及び管理するように構成される。さらに、インタフェースに備えられた、ＰＯＶウィンドウ生成部７４３は、選択された位置（例えば、座席）の視点から生成されたライブイベント（例えば、ｅスポーツイベント）のビューを含み得るプレビューを生成するように構成される。

【0076】

ＣＰＵ７０２は、ライブイベントのリモートユーザへの提示に関する追加の機能も備えてもよい。例えば、ライブイベントは、仮想の聴衆としてライブｅスポーツイベントに仮想で参加したいリモートユーザに放送されているｅスポーツイベントであってもよい。詳細には、リモート観客マネージャ７５０は、ｅスポーツイベント等、ライブイベントの仮想体験をリモートユーザに提供するように構成される。リモート観客マネージャ７５０のより詳細な記載を図７Ｂに示す。

【0077】

メモリ７０４は、ＣＰＵ７０２が使用するアプリケーション及びデータを記憶する。記憶装置７０６は、アプリケーション及びデータに不揮発性記憶装置及び他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及び、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ−ＤＶＤ、もしくは、他の光学記憶装置、並びに、信号伝送及び記憶媒体を含んでもよい。ユーザ入力デバイス７０８は、１人または複数のユーザからのユーザ入力をデバイス７００に通信し、ユーザ入力デバイス７０８の例は、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、静止画もしくはビデオレコーダ／カメラ、及び／または、マイクロフォンを含んでもよい。
ネットワークインタフェース７１４は、デバイス７００が電子通信ネットワークを介して他のコンピュータシステムと通信するのを可能にし、ローカルエリアネットワーク、及び、インターネット等の広域ネットワークを介した有線または無線の通信を含んでもよい。音声プロセッサ７１２は、ＣＰＵ７０２、メモリ７０４、及び／または、記憶装置７０６によって提供された命令及び／またはデータからのアナログまたはデジタルの音声出力を生成するように適合される。ＣＰＵ７０２、メモリ７０４、データ記憶装置７０６、ユーザ入力デバイス７０８、ネットワークインタフェース７１０、及び、音声プロセッサ７１２を含む、デバイス７００の構成要素は、１つまたは複数のデータバス７２２を介して接続される。

【0078】

グラフィックスサブシステム７１４は、データバス７２２とデバイス７００の構成要素とにさらに接続される。グラフィックスサブシステム７１４は、グラフィックス処理ユニット（ＧＰＵ）７１６及びグラフィックスメモリ７１８を含む。グラフィックスメモリ７１８は、出力画像の各画素の画素データの記憶に使用される表示メモリ（例えば、フレームバッファ）を含む。グラフィックスメモリ７１８は、ＧＰＵ７１６と同じデバイスに一体化されてもよい、ＧＰＵ７１６とは別個のデバイスとして接続されてもよい、及び／または、メモリ７０４内に実装されてもよい。
画素データは、ＣＰＵ７０２から直接、グラフィックスメモリ７１８に提供されてもよい。あるいは、ＣＰＵ７０２は、所望の出力画像を規定するデータ及び／または命令をＧＰＵ７１６に提供し、そのデータ及び／または命令から、ＧＰＵ７１６は、１つまたは複数の出力画像の画素データを生成する。所望の出力画像を規定するデータ及び／または命令は、メモリ７０４及び／またはグラフィックスメモリ７１８に記憶されてもよい。ある実施形態においては、ＧＰＵ７１６は、シーンの形状、光、テクスチャ、動き、及び／または、カメラパラメータを規定する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング能力を含む。ＧＰＵ７１６は、シェーダプログラムを実行できる１つまたは複数のプログラム可能な実行ユニットをさらに含み得る。

【0079】

グラフィックスサブシステム７１４は、表示装置７１０に表示、または、投影システム７４０によって投影するために、グラフィックスメモリ７１８から画像の画素データを定期的に出力する。表示装置７１０は、ＣＲＴディスプレイ、ＬＣＤディスプレイ、プラズマディスプレイ、及び、ＯＬＥＤディスプレイを含むデバイス７００からの信号に応答して、視覚情報を表示できる任意のデバイスであってもよい。デバイス７００は、例えば、アナログまたはデジタルの信号を表示装置７１０に提供できる。

【0080】

本明細書に記載の実施形態は、任意の種類のクライアントデバイスで実行されてもよいことは理解されたい。ある実施形態においては、クライアントデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）または投影システムである。

【0081】

図７Ｂは、本開示の一実施形態による、図７Ａで紹介したリモート観客マネージャ７５０の構成要素を示し、生成部７５０は、ライブイベントの仮想体験をリモートユーザに提供するように構成される。詳細には、観客ビュー生成部７５０は、１人または複数のユーザによってプレイされているマルチプレイヤゲームアプリケーションのゲーム世界のメインビューを生成するように構成された観客及びメインビュー生成部７５１を含む。
例えば、ゲームアプリケーションのマルチプレイヤゲームセッションは、ライブｅスポーツイベントの１人または複数のゲーム競技者によってライブで行われてもよい。ゲームセッションは、ＣＰＵ７０２の構成要素のいずれか、図２のクラウドゲームプロバイダ１１２、または、これらの任意の組み合わせによって確立及び管理されてもよい。メインビューは、１人または複数のユーザのゲームプレイに関連付けられたゲームアプリケーションのゲーム世界のビューに対応する。メインビューは、ゲーム世界内の視点（ＰＯＶ）に対応する。
例えば、メインビューは、ユーザの１人によって制御されているキャラクタの１つのＰＯＶから生成されてもよい。他の実施形態においては、メインビューは、ゲームアプリケーションをプレイしている複数のプレイヤのゲームプレイを中心にｅスポーツイベントを見せるｅスポーツアリーナのライブビューであってもよい。メインビューは、リモートユーザに表示のために提供されてもよい。さらに、ゲーム世界の１つまたは複数の観客ビューが生成されてもよい。観客ビューは、ゲーム世界内の異なるＰＯＶから取得される。すなわち、１人または複数のユーザのゲームプレイが、１人または複数のユーザによって制御されるゲームアプリケーションの実行を通じて生成されている間、観客ビューも生成されてもよい。
例えば、クラウドゲームプロバイダ１１２及び／またはバックエンドエンターテイメントサーバ２５０は、１つまたは複数のゲームプレイを生成するゲームアプリケーションの実行に関連して、観客ビューを生成してもよい。観客ビューは、ゲーム世界内の１つまたは複数の所定の位置に対応してもよい。さらに、観客ビューは、リモートユーザが選択したゲーム世界内の選択位置に対応してもよい。このようにして、リモートユーザは、１人または複数のユーザのゲームプレイによって生成されているライブアクションを見るために、ゲーム世界内の様々な視点を選ぶことができる。例えば、ユーザは、観客ビューの１つから取得されるように、ゲーム世界内のアクションの異なる透視図を取得したい。

【0082】

ゲームセッションは、ゲームアプリケーションをプレイしている１人または複数のユーザ（例えば、マルチプレイヤゲームアプリケーションの同時ゲームプレイを特徴とするｅスポーツイベントに参加しているプロのゲーマー）の１つまたは複数のゲームプレイに関連して、ゲームセッションマネージャ７５９によって確立及び管理されてもよい。セッションマネージャ２８５は、ゲームセッションのゲーム状態にアクセス及び／または管理するように構成される。セッションマネージャは、ゲームアプリケーションのゲームコードを実行してもよく、または、ゲーム実行エンジンにゲームコードを実行するように命令してもよい。
ゲームセッションマネージャ７５９及び／またはゲーム実行エンジンは、図２のクラウドゲームプロバイダ１１２に置かれてもよい。詳細には、ゲームセッションマネージャ７５９は、ゲーム実行エンジンと通信して、対応するゲームプレイの結果に影響を及ぼすように使用されるユーザ入力コマンドを伝え、取得してもよい。入力コマンドは、ユーザデバイスからゲームセッションマネージャ７５９に送信されてもよく、ゲームプレイの駆動に使用される。ゲームプレイは、ゲームセッションマネージャ７５９によって実行及び管理されるので、これらのゲームプレイから生成及び記憶される情報は、要求を行った任意のユーザが他のユーザのゲームプレイを体験するのを可能にする。例えば、ゲームプレイのゲーム世界の観客ビューが、ゲームセッションに対して生成された情報に基づいて、観客ビュー生成部７５１によって生成されてもよい。

【0083】

リモート観客マネージャ７５０は、メインビュー及び観客ビューの少なくとも１つを表示するインタフェースを生成するように構成されたインタフェース生成部７５２を含む。一実施形態においては、インタフェースは、メインビューを表示するように、また、リモートユーザが選択するために１つまたは複数の観客ビューも表示するように、構成される。さらに、観客ビューセレクタ７５３は、インタフェースを通じて観客ビューの選択を管理するように構成される。従って、観客ビューが選択され、選択されたと認識されると、そのビューがすぐに、インタフェース内でリモートユーザに対して表示されてもよい。

【0084】

リモート観客マネージャは、リモートユーザへのデータの配信を管理するように構成されたライブ及び観客ビューコーディネータ７５８も含む。詳細には、コーディネータ７５８は、実世界の会場のビュー及び／またはインタラクティブなゲーム世界の観客ビューのリモートユーザのＨＭＤへの配信を管理する。従って、リモートユーザは、一度、実世界の会場を視聴して、拡張現実体験をしてよく、別の時に、観客ビューのインタラクティブなゲーム世界を視聴して、仮想現実体験をしてもよい。

【0085】

リモート観客マネージャ７５０は、音声ローカリゼーションモジュール７５４を含み、音声ローカリゼーションモジュール７５４は、ゲームアプリケーションによって実行されるゲーム世界内で行われているゲームプレイに関連付けられた音声を生成するように構成される。詳細には、一意の音声信号が、メインビュー及び観客ビューのそれぞれに対して生成されてもよく、各音声信号は、対応するビューが生成された位置に基づいて生成される。例えば、メインビューが、特定のＰＯＶから生成され、ゲームプレイ全てからの音声が、そのＰＯＶでメインビューに対して生成された音声内に反映される。同様に、各観客ビューに対する音声が、各ＰＯＶに対してローカライズされてもよい。例えば、クラウドゲームプロバイダ１１２及び／またはバックエンドエンターテイメントサーバ２５０は、ゲームプレイから音声を生成してよく、ローカリゼーションモジュール７５４は、ゲーム世界内の特定の位置に固有のローカリゼーションを通じて音声を修正できる。

【0086】

リモート観客マネージャ７５０は、ゲーム世界内に位置する観客アバタの動きを追跡するように構成された近接性決定モジュール７５５を含む。例えば、１人または複数のリモートユーザは、１つまたは複数のＰＯＶからゲームプレイを動的に観戦してもよい。各ＰＯＶは、ゲーム世界内に置かれ、観客ビューを通じてライブイベントに参加している他のリモートユーザに見える観客アバタに対応してもよい。観客アバタは、ゲーム世界内で動くように制御可能であってもよい。従って、近接性決定モジュール７５５は、２つの観客アバタがゲーム世界内で近接している時を決定できる。例えば、２つの観客アバタは、会話できるほど十分に近い場合がある。従って、通信ペアリングモジュール７５６は、観客アバタを制御するリモートユーザに関連付けられたデバイス間に通信チャネルを作成するように構成される。例えば、デバイスは、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。このようにして、リモートユーザは、マルチプレイヤゲームアプリケーションをプレイしている１人または複数のユーザのゲームプレイから生成されている音声とは別に会話を行ってもよい。

【0087】

図８は、本開示の一実施形態による、ゲーム世界の１つまたは複数の観客ビューを含むインタラクティブなゲーム世界８００の図である。インタラクティブなゲーム世界への（例えば、ゲームプレイを通した）プレイヤの参加が可能になる。本開示の一実施形態による、ゲーム世界８００は、例示的であり、説明だけのために、ゼウスの息子クレイトスと敵の戦闘員との戦闘シーンを示し、戦闘シーンは、ＳＯＮＹ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ発行のゴッド・オブ・ウォー・ゲームアプリケーションの１つまたは複数のゲームプレイ内で生成されている。詳細には、ゲーム世界８００は、１人または複数のユーザの１つまたは複数のゲームプレイを通じて生成されてもよい。例えば、ゲームプレイは、ライブｅスポーツイベントでゲームアプリケーションをプレイしている１人または複数のプロのゲーマーに関連して生成されてもよい。前述のように、ゲームプレイは、聴衆が見て楽しむために、ｅスポーツアリーナ内に表示されてもよい。

【0088】

純粋に説明だけのために、ゲーム世界８００は、クレイトス８３０と敵の戦闘員８２０との戦いを含み得る。ゴッド・オブ・ウォー・ゲームアプリケーションにおいて、クレイトスは、ギリシャ神話のスパルタの戦士であり、ゴッド・オブ・ウォーであるアレスを殺す任務を負っている。ゲーム世界において、プレイヤは、クレイトスを制御してもよい。図８に示すゲーム世界８００は、ゴッド・オブ・ウォーのゲームプレイに関連した１つの戦闘のみを含み得るが、他のゲーム世界は、複数のプレイヤによって制御される複数のゲームプレイを含んでもよい。

【0089】

ゲーム世界８００の複数のビューが生成されてもよい。例えば、クラウドゲームプロバイダ１１２、エンターテイメントサーバ２５０、または、ゲーム機は、１つまたは複数のゲームプレイの生成に関連して、複数のビューを生成してもよい。他の実施形態においては、リモートプレイヤマネージャ７５０の観客ビュー生成部７５１は、独立して、または、クラウドゲームプロバイダ１１２、エンターテイメントサーバ２５０、実世界会場のサーバ２３５、及び／または、ゲーム機と共に、ビューを生成するように構成される。詳細には、ゲーム世界８００の第１の観客ビューは、第１の位置から生成されてもよい。
例えば、ＰＯＶ８１０ａは、第１の観客ビューに対応してよく、クレイトス８３０と敵８２０との戦闘の正面ビューとして示されてもよい。第１の観客ビューは、クレイトス８３０等のキャラクタのＰＯＶに関連付けられてもよい。すなわち、第１の観客ビューは、クレイトス８３０のビューの視点から取得されてもよい。一実施形態においては、第１の観客ビューは、主なコンテンツとして、リモートユーザのＨＭＤのディスプレイに投影されてもよい。第１の観客ビューは、ゲームアプリケーションをプレイしている複数のプロのゲーマーのゲームプレイを見せるｅスポーツアリーナのビュー等、ライブイベントを開催している実世界の会場のライブビューと対照的であってもよい。ＨＭＤは、実世界会場のライブビュー、ハイブリッドビュー、もしくは、拡張現実ビュー、または、観客ビューの１つを表示するように選択可能であってもよい。

【0090】

インタラクティブなゲーム世界の追加の観客ビューも生成されてもよい。ゲーム世界のこれらの観客ビューは、１人または複数のユーザ（例えば、プロのゲーマー）によって制御されるように、ゲームアプリケーションの実行を通じて生成されているゲームプレイのビューである。図に示すように、観客ビューは、１つまたは複数のＰＯＶ（例えば、ＰＯＶ８１０ａ、８１０ｂ、８１０ｃ、８１０ｄ、８１０ｅ、８１０ｆ、８１０ｇ、及び、８１０ｈ）の視点から生成される。すなわち、観客ビューは、インタラクティブなゲーム世界の任意のビューであってもよい。これらのＰＯＶの位置は、予め指定されてもよい、または、リモートユーザによって選択可能であってもよい。様々な位置は、ゲーム世界内に生成されている戦闘を囲んでもよい。例えば、ＰＯＶ８１０ｃは、クレイトス８３０の背後から取得され、ＰＯＶ８１０ｆは、敵８２０の背後から取得され、ＰＯＶ８１０ｈは、戦闘の側面から取得される。このようにして、複数の異なる観客ビューが、リモートユーザが見るために提示されてもよい。

【0091】

さらに、各位置で、対応するビューが、その位置から上方に延びる垂直な線に沿った任意の数の点から取得されてもよい。例えば、ビューは、戦闘を見上げているように、地面の近くから取得されてもよい。ビューは、通常の人間（または、ゲームアプリケーション内のキャラクタ）の目の高さの近くで取得されて、クレイトス８３０と敵８２０との戦闘のゲーム世界の通常のビューを提供してもよい。さらに、ビューは、クレイトス８３０と敵８２０との戦闘を見下ろす上からのビューを提供するように上方から取得されてもよい。

【0092】

図９は、本開示の一実施形態による、リモートユーザによるインタラクションのためのインタフェース９００の図であり、インタフェースは、リモートユーザが選択可能なゲーム世界の１つまたは複数の観客ビューのウィンドウを含む。詳細には、インタフェースは、前述のインタフェース生成部７５０によって生成されてもよく、インタラクションのためにリモートユーザに配信されてもよい。例えば、インタフェースは、リモートユーザが装着しているＨＭＤに送られてもよい。このようにして、インタフェースは、ＨＭＤ内に表示されているメインコンテンツに挿入されてもよく、メインコンテンツは、ライブイベント（例えば、ｅスポーツイベント）を開催している実世界の会場のライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューであってもよい。一実施態様においては、インタフェースは、メインコンテンツ上に重ね合わされてもよい。別の実施態様においては、インタフェースは、ＨＭＤに目立つように表示されているメインコンテンツであってもよい。

【0093】

インタフェース９００は、１人または複数のユーザ（例えば、ｅスポーツイベントに参加しているプロのゲーマー）によって制御されるように、対応するゲームアプリケーションの実行を通じて生成されているゲームプレイに関連付けられたゲーム世界の選択されたビューを表示するウィンドウ９２０を含む。選択されたビューは、図８で前述したように、ゲーム世界のＰＯＶ８１０ａから取得されてもよい。具体的には、選択されたビューは、クレイトス８３０と敵８２０との戦闘の正面ビューを含む。ウィンドウ９２０は、前述した観客ビューのいずれか（例えば、ＰＯＶ８１０ｂ〜８１０ｈの１つ）を表示してもよい。視聴者に関心のあるビューの選択を以下に記載する。

【0094】

詳細には、インタフェース９００は、リモートユーザとインタラクションするために構成された選択ウィンドウ９１０を含む。すなわち、選択ウィンドウ９１０は、１つまたは複数のプレビューウィンドウ（例えば、９１０ａ、９１０ｂ、９１０ｃ、９１０ｄ、９１０ｅ、９１０ｆ、９１０ｇ、及び、９１０ｈ）を含む。各プレビューウィンドウは、図８に前述した観客ビュー等、ゲーム世界８００の観客ビューの１つを含む。例えば、ウィンドウ９１０ａは、ＰＯＶ８１０ａから取得した観客ビューを含み、ウィンドウ９１０ｂは、ＰＯＶ８１０ｂから取得した観客ビューを含み、ウィンドウ９１０ｃは、ＰＯＶ８１０ｃから取得した観客ビューを含み、ウィンドウ９１０ｄは、ＰＯＶ８１０ｄから取得した観客ビューを含み、ウィンドウ９１０ｅは、ＰＯＶ８１０ｅから取得した観客ビューを含み、ウィンドウ９１０ｆは、ＰＯＶ８１０ｆから取得した観客ビューを含み、ウィンドウ９１０ｇは、ＰＯＶ８１０ｇから取得した観客ビューを含み、ウィンドウ９１０ｈは、ＰＯＶ８１０ｈから取得した観客ビューを含む。プレビューウィンドウ９２０は、１つまたは複数のプレビューウィンドウを含んでもよい。

【0095】

対応するプレビューウィンドウのシーンは、一実施形態においては、定期的に更新される静止画像であってもよい。他の実施形態においては、対応するプレビューウィンドウは、（例えば、ゲームアプリケーションのゲームプレイ内で生成されている）ライブ、または、頻繁に更新されるので、（例えば、第２の更新まで）ライブに見える。他の実施形態においては、更新期間は、リアルタイムより遅くてもよい（例えば、１秒毎、５秒毎、１０秒毎、２０秒毎等）。プレビューウィンドウに提示される画像の解像度は、メインウィンドウ９２０に対して生成される解像度より低い解像度、または、等しい解像度であってもよい。

【0096】

図９に示すように、プレビューウィンドウ９１０ａが、視聴者によって選択される。従って、観客ビュー８１０ａがインタフェース９００で視聴するためにメインウィンドウ９２０に表示される。プレビューウィンドウの選択は、任意の数の方法で実施されてもよい。例えば、手認識制御が、実施されてもよく、または、コントローラ操作を介してもよい。
例えば、１つのボタンが、プレビューウィンドウのスクロールに使用でき、第２のボタンが特定のプレビューウィンドウの選択に使用できるコントローラ方法が実施されてもよい。プレビューウィンドウが選択されると、対応する観客ビューが、大きいウィンドウ９２０内に表示されてもよい。第３のボタンは、選択解除に使用されてもよく、第３のボタンを複数回、作動させて、大きいウィンドウのビューをＰＯＶ８１０ａに対応するメインビューに戻してもよい。さらに他の実施態様は、クリック、または、物体（例えば、眼、手等）の動きを通じて移動及び／または選択されてもよいポインタを含む。

【0097】

インタフェースは、トリガイベントで、ＨＭＤの表示から取り除かれ、そうすると、ＨＭＤは、再び、メインコンテンツに占められる。トリガイベントは、メインコンテンツ（例えば、実世界の会場のライブビュー、ハイブリッドビュー、及び／または、拡張現実ビュー）に戻す役割の複数回の戻るボタンの連続であってもよい。トリガイベントは、メインコンテンツに戻ることを示す任意の他の信号（例えば、手の動き）であってもよい。
トリガイベントは、実世界の会場内のイベントであってもよい。例えば、実世界の会場内のメインディスプレイは、インタラクティブなゲーム世界のビューを示していてよく、放送アナウンサは、メインディスプレイに示されているゲームプレイの実況放送を行っている。観客ビューが（例えば、インタフェースを通じて、または、メインコンテンツとして）ＨＭＤに示されている時、ゲームプレイ間の切り替えがあると、ＨＭＤの表示は、聴衆及び放送者にとって矛盾がないように、実世界会場のビューに戻ってもよい。

【0098】

図１０は、本開示の一実施形態による、ゲーム世界１０００内の所与の位置に対して生成されている観客者視点のスケール合わせの図である。前述のように、ゲーム世界は、１人または複数のユーザによって制御されるように、ゲームアプリケーションに対して実行されているゲームプレイに関連して生成される。例えば、ゲーム世界は、ライブｅスポーツイベントに関連して生成されてもよく、ゲームアプリケーションは、１人または複数のプロのゲーマーによってプレイされている。

【0099】

図１０に示すように、ゲーム世界１０００は、ピラミッド１０１０を含む。例えば、ゲームアプリケーションは、ゲーム世界内に１つまたは複数の物理的なまたは仮想の位置の三次元（３Ｄ）ビューを提供してもよい。３Ｄビューは、実際のビューまたは仮想ビューとして生成されてもよい。さらに、ゲーム世界１０００は、ゲームアプリケーションによって生成されるように、完全に架空であってもよい。

【0100】

一実施形態においては、１つまたは複数の観客のビューが、ゲーム世界１０００に対して生成されてもよい。これらの観客ビューは、対応する観客アバタの視点から生成されてもよい。例えば、観客ビューは、アバタ１０５０に対して生成されてもよい。観客ビューは、線１０３０ａ、１０３０ｂ、１０３０ｃ、及び、１０３０ｄによって区切られる。観客ビューは、アバタ１０５０の位置から異なる距離にあるビューイングボックスによってさらに規定されてもよい。例えば、近くのビューイングボックス１０２０ａと遠くのビューイングボックス１０２０ｂは、それぞれ、境界線１０３０ａ〜１０３０ｄによって規定される。詳細には、ビューイングボックス１０２０ａ及び１０２０ｂは、アバタ１０５０の特定の向きに対して、ゲーム世界の観客ビューを規定してもよい。例として、観客ビューは、図８のビュー８１０ｂ〜８１０ｈの１つであってもよい。

【0101】

図に示すように、境界線１０３０ａ〜１０３０ｄによって規定された観客ビューは、ピラミッド１０１０のビューを含む。例えば、アバタ１０５０は、遠くに（例えば、ピラミッド１０１０から１〜２マイル）に位置してよく、境界線１０３０ａ〜１０３０ｄによって規定された観客ビューは、ピラミッド１０１０の遠くのビューである。アバタ１０５０は、地面１０６０（例えば、エジプトの砂漠）に立っている。

【0102】

詳細には、観客ビューは、観客ビュー内の物体が、視聴者（例えば、リモートユーザ）の所与の大きさに適切にスケールを合わせられるように、生成される。例えば、アバタは、適切な大きさの人間（例えば、子供、大人等）に合わせて生成される観客ビューを生成してもよい。すなわち、アバタのＰＯＶは人間の大きさである。従って、観客ビューの物体は、そのＰＯＶに適するようにスケールを合わせられる。従って、物体は、小さすぎず、大きすぎない。それに応じて、観客ビューのＰＯＶに関連付けられたアバタ１０５０の大きさも、大きすぎず、小さすぎず、例えば、人間の適切な大きさになる。このようにして、観客ビュー内の物体が適切な大きさなので、観客ビューは、リモートユーザにとって最もなじみやすい。例えば、エジプトのピラミッドの観客ビューを示すアプリケーションは、巨大な巨人または小さいねずみの視点からではなく、典型的な人間の視点から取得される。

【0103】

さらに、観客ビューの物体のスケール合わせは、アバタ１０５０がゲーム世界を通じて移動するので、矛盾のないままである。従って、アバタ１０５０がゲーム世界１０００を移動すると、ピラミッド１０１０は、適切にスケールが合ったままである。

【0104】

図１１は、本開示の一実施形態による、図１０に最初に紹介されたゲーム世界１０００内の２つの観客アバタ間のインタラクションの図であり、２人のリモートユーザ間の通信チャネルは、対応する観客アバタ同士が近接している時、確立される。例えば、ゲーム世界１０００は、世界の１つまたは複数の物理的または仮想の位置の３Ｄビューを提供してよく、３Ｄビューは、実際のビューまたは仮想ビューとして生成されてもよい。図に示すように、ゲーム世界１０００は、ピラミッド１０１０ａ、１０１０ｂ、及び、１０１０ｃを含んでもよい。

【0105】

ゲーム世界１０１０において、地面１０６０が示される。アバタ１０５０も、図１０に前述したように、地面１０６０に示される。例えば、図１０の観客１０５０に対して生成されたビューと矛盾しないように、アバタ１０５０は、ピラミッドから約１〜２マイルに位置してもよい。

【0106】

さらに、複数の観客アバタも、ゲーム世界１０００内に置かれる。例えば、アバタのグループ１１２０は、アバタ１０５０よりピラミッドｌ０１０ａ〜１０１０ｃの近くに置かれる。すなわち、グループ１１２０は、ピラミッドから半マイル内にいてもよい。他の観客アバタもゲーム世界１０００に示される。観客アバタの１つまたは複数は、対応するリモートユーザによって制御されてもよい。

【0107】

観客アバタ１１１０もゲーム世界１０００に示される。アバタ１１１０は、観客アバタ１０５０を制御するリモートユーザ（例えば、第１のリモートユーザ）とは別の他のリモートユーザ（例えば、第２のリモートユーザ）によって制御される。詳細には、アバタ１０５０は、第１のリモートユーザによって制御され、アバタ１０５０は、ゲーム世界１０００の特定の位置１０５１に置かれる。観客ビューは、第１のリモートユーザに対して、アバタ１０５０に関連付けられたＰＯＶから生成される。

【0108】

同様に、アバタ１１１０は、第２のリモートユーザによって制御され、アバタ１１１０は、ゲーム世界１０００の他の位置に置かれる。アバタ１１１０は最初に、ゲーム世界１０００の点１１１１に置かれ、第２のユーザによる制御を通じて、経路１１１９に沿ってゲーム世界の位置１１１５に動かされる。観客ビューは、アバタ１１１０に関連付けられたＰＯＶから経路１１１９に沿った様々な位置に生成される。

【0109】

一実施形態においては、２人のリモートユーザは、ゲーム世界１０００を通じて互いにインタラクトできる。すなわち、各アバタ１１１０及び１０５０の観客ビューは、それぞれ、おそらく、他のアバタを含み得る。例えば、アバタ１１１０の観客ビューは、アバタ１０５０を含んでよく、アバタ１０５０の観客ビューは、アバタ１１１０を含んでもよい。詳細には、近接性決定モジュール７５５は、アバタ１１１０が（第１のリモートユーザによって制御される）アバタ１０５０に近接している時を決定するように構成される。
観客ビューは、ゲーム世界の特定の位置から生成されているので、これらのＰＯＶ位置は、追跡されてもよい。従って、２つの異なる観客ビューに関連付けられた２つのアバタ１０５０及び１１１０が近接している時、通信ペアリングモジュール７５６は、交信を可能にするために、第１のリモートユーザと第２のリモートユーザとをペアにする通信チャネルを確立してもよい。例えば、バックエンドエンターテイメントサーバ２５０は、通信チャネルを確立するように構成されてもよい。このようにして、アバタ１１１０とアバタ１０５０が近接している（例えば、２人の人間が無理なく会話し得る距離の）時、通信チャネルは、確立され、自動的に有効にされる。実世界と同様に、２人の人の間の会話は、大掛かりな準備なく生じ得る。

【0110】

一実施形態においては、観客ビューは、ゲームアプリケーションによって実行されるようにゲームプレイの結果に影響を与えることを意図していない。しかしながら、他の観客の参加者とさらにインタラクトするために、観客ビューを見ているリモートユーザは、対応するゲームプレイを制御しているユーザ（例えば、ｅスポーツイベントのプロのゲーマー）の１人とインタラクトしてもよい。例えば、ｅスポーツイベントは、ライブゴルフトーナメントであってよく、プロのゲーマーは、ゴルフゲームアプリケーションをプレイしている。リモートユーザは、ゲームアプリケーションのゲーム世界の１つまたは複数のアバタに対応する１つまたは複数の観客のビューを通じてｅスポーツイベントに仮想で参加してもよい。一実施態様においては、対応するリモートユーザの観客アバタが、ゲームプロフェッショナルが制御するキャラクタに接近すると、２人が通信し得るように、ペアリングされた通信チャネルを通じてペアリングが確立されてもよい。例えば、リモートユーザは、ゲームプロフェッショナルに対してグリーンの傾斜に関する助言またはヒントを与えてもよい。

【0111】

本開示の一実施形態による、マルチプレイヤゲームアプリケーションをプレイするユーザの１つまたは複数のゲームプレイに関連付けられたゲーム世界の１つまたは複数のビューを提供するように構成されたリモート観客マネージャの様々なモジュールの詳細な記載と共に、観戦の方法を、図１２のフロー図１２００に関して記載する。フロー図１２００におおまかに記載した方法は、実施形態において、図２Ａ、２Ｂ、及び、７Ａの１つまたは複数のシステム及び／または構成要素によって実施される。

【0112】

例えば、ゲームアプリケーションは、実世界の会場で開催されたライブイベント（例えば、ｅスポーツイベント）に関連するゲームアプリケーションの実行を通じてマルチプレイヤゲームセッションを促進するように実行されてもよく、１人または複数のプロのゲーマーは、ゲームセッション内のゲームアプリケーションをプレイしてもよい。ライブの聴衆は、実世界の会場のライブイベントに出席しており、より多くのリモートユーザも、前述のように、仮想の出席者または参加者としてライブイベントに参加できる。

【0113】

方法は、操作１２１０で始まり、ゲームアプリケーションの実行を通じて複数のプレイヤによって制御されるマルチプレイヤゲームセッションをサーバで確立することを含む。すなわち、プレイヤは、ゲームセッションを通じてゲームアプリケーションをプレイしている。マルチプレイヤゲームセッションは、プレイヤの参加を可能にするインタラクティブなゲーム世界を生成する。ライブイベントは、複数のプレイヤが存在する実世界の会場である。例えば、ライブイベントは、アリーナで開催されるｅスポーツイベントであってもよい。他の例においては、ライブイベントは、アリーナまたはスタジアムで開催されるスポーツイベントであってもよい。劇場のショー、音楽コンサート等、他のライブイベントが企図される。ゲームセッションは、ゲームセッションを示す実世界の会場のライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューを生成するように構成されたクラウドベースゲームサーバまたはエンターテイメントサーバ等、サーバで作成及び管理されてもよい。

【0114】

１２２０において、方法は、１つまたは複数の撮影されたビデオストリームに基づいて、サーバで、実世界の会場の三次元（３Ｄ）ライブビューを生成することを含む。３Ｄライブビューは、ライブイベントの物理的視点（ＰＯＶ）に対して生成され、物理的ＰＯＶは、実世界の会場の物理的位置に固定される。詳細には、撮影されたビデオストリームは、実世界の会場内の１つまたは複数のビデオキャプチャ装置から撮影される。撮影されたビデオストリームの１つまたは複数に基づいて、実世界の会場のライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューも生成されてもよい。すなわち、実世界の会場のあらゆる位置に対して、会場のビューが、撮影されているビデオストリームのサブセットを用いて生成されてもよい。
従って、ビデオストリームの第１のサブセットを使用して、第１の座席からの会場の第１のビューを生成してよく、ビデオストリームの第２のサブセットを使用して、第２の座席から会場の第２のビューを生成してもよい。ビューは、実世界の会場のライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューであってもよい。例えば、第１のビューに関して、ビューは、撮影されたビデオストリームの第１のサブセットからのビデオフレームをつなぎ合わせることによって生成されてもよい。

【0115】

同様に、実世界の会場のライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューは、ローカライズされた音声を用いて強調されてもよい。すなわち、音声は、会場の各位置に対して捕捉された音声ストリームの一意のサブセットを用いて生成される。

【0116】

１２３０において、方法は、サーバから第１のリモートユーザのＨＭＤにネットワークを介して３Ｄライブビューをストリーミングすることを含む。第１のリモートユーザは、ユーザの家のリビングルーム内等、実世界の会場の外にいる。ユーザは、異なるブロック、市、郡、州、及び／または、国にいる場合さえあり得る。すなわち、第１のリモートユーザは、実世界の会場のライブイベントに物理的に参加していないが、本発明の実施形態を通じて、実世界の会場のライブビュー、ハイブリッドビュー、及び／または、拡張現実ビューを通じてライブイベントに仮想で出席してもよい。詳細には、３Ｄライブビューは、ヘッドマウントディスプレイ（ＨＭＤ）を通じて第１のリモートユーザにライブイベントの拡張現実ビューを提示する。前述のように、ライブビューは、ライブイベントを開催している実世界の会場の特定の位置に対して生成され、会場の１つまたは複数の位置から収集された１つまたは複数のビデオ記録及び音声記録に基づいている。

【0117】

一実施形態においては、方法は、実世界の会場の物理的ＰＯＶに対してローカライズされた３Ｄライブビューの音声を生成することを含む。一般に、音は、実世界の会場全体から生成されている。従って、実世界の会場の特定の物理的位置で収集または体験されている音声は、他の位置で体験されている音声と異なって聞こえる。例えば、会場のステージと多くのステージスピーカに近い第１の位置は、ステージから離れた位置と異なって聞こえる。従って、ライブビューに対して生成される音声は、物理的ＰＯＶに対して（すなわち、実世界の会場内の物理的ＰＯＶの位置に基づいて）ローカライズされる。すなわち、物理的ＰＯＶに対して、遠くの音は弱められ、会場内の近くの音は増幅される。さらに、ライブビューは、ローカライズされた音声と合致している。このようにして、ライブビューを見ている第１のリモートユーザは、拡張現実空間のゲーム世界に参加できる。

【0118】

１２４０において、方法は、インタラクティブなゲーム世界の観客としてゲームセッションに飛び込む要求を第１のリモートユーザから（例えば、ユーザに関連付けられたデバイスから）サーバで受信することを含む。第１のリモートユーザは、インタラクティブなゲーム世界の仮想位置によって規定される第１の仮想ＰＯＶからインタラクティブなゲーム世界を観戦することになる。

【0119】

１２５０において、方法は、第１のリモートユーザのＨＭＤに表示するためにネットワークを介して第１の観客ビューを配信することを含む。第１の観客ビューは、インタラクティブなゲーム世界の仮想現実ビューを、ＨＭＤを通じて第１のリモートユーザに提示する。従って、リモートユーザは、（ライブイベントを見せる）実世界の会場の拡張現実ビューと、ＨＭＤ内のマルチプレイヤゲームセッションの仮想現実ビューとを切り替えることができる。一実施形態においては、ライブビューの配信は、第１の観客ビューをＨＭＤに伝える前に、停止または一時停止される。

【0120】

他の実施形態においては、第１の観客ビューから飛び出るための要求が、第１のリモートユーザ（例えば、ユーザのデバイス）から生じ、サーバで受信される。このようにして、第１の観客ビューの配信は、一時停止及び／または終了され、ライブビューの配信が開始される。すなわち、サーバからネットワークを介して第１のリモートユーザのＨＭＤへの３Ｄライブビューの配信が開始される。

【0121】

一実施形態においては、インタラクティブなゲーム世界の複数の観客ビューが生成される。観客ビューは、ゲーム世界内を見て、それぞれ、インタラクティブなゲーム世界の対応するＰＯＶから取得される。複数の観客ビューは、第１の仮想ＰＯＶから生成された第１の観客ビューを含む。さらに、方法は、複数の観客ビューを提示する複数のプレビューウィンドウを含むインタフェースを生成することを含む。プレビューウィンドウが、インタラクト（例えば、スクロール）されると、第１の観客ビューの画像は、動画になってもよく、または、拡大されてもよく、そして、音声が、リモートユーザに聞こえるように起動されてもよい。この時点で、プレビューウィンドウは、以下に記載するように、追加の視聴のために選択されていなくてもよい。

【0122】

さらに、インタフェースが、第１のリモートユーザのＨＭＤに表示するためにネットワークを介して配信される。一実施形態においては、インタフェースは、ライブビューの一部にオーバーレイされるように、３Ｄライブビューに挿入される。さらに、音声は、観客ビューに関連付けて提供されてもよい。従って、第１のリモートユーザは、特定のプレビューウィンドウの観客ビューを選択してよく、この場合、メインウィンドウは、選択された観客ビューを表示してもよい。例えば、第１のリモートユーザによる第１のプレビューウィンドウの選択が、サーバで受信される。第１のプレビューウィンドウは、第１の観客ビューに対応する。選択、及び、サーバが選択を受信すると、第１の観客ビューが、第１のリモートユーザのＨＭＤに配信され、音声が、リモートユーザが聴くために起動される。詳細には、インタフェースの配信は、一時停止及び／または終了され、サーバから第１のリモートユーザのＨＭＤへの第１の観客ビューの配信が開始される。従って、第１の観客ビューは、実世界の会場のライブビューの代わりに、メインコンテンツとして表示される。

【0123】

一実施形態においては、インタフェースは、プレビューウィンドウの観客ビューの１つを表示するように構成されたメインウィンドウを含み、メインウィンドウは、プレビューウィンドウより大きい。前述のように、対応するプレビューウィンドウは、ゲーム世界内で視聴するために用意された観客ビューのプレビューを表示し、音声と共に静止画または更新された画像を含み得る。このようにして、リモートユーザは、１つまたは複数の観客ビューをプレビューできる。
さらに、インタフェースは、リモートユーザによるインタラクションのためにリモートユーザのシステムに配信される。例えば、リモートユーザは、特定のプレビューウィンドウの観客ビューを選択してよく、この場合、メインウィンドウは、選択された観客ビューを表示してもよい。詳細には、方法は、インタフェースで第１のプレビューウィンドウの選択を受信することを含み、第１のプレビューウィンドウは、観客ビューまたは選択された観客ビューに関連付けられる。方法は、一実施態様においては、インタフェースのメインウィンドウに選択された観客ビューを提示することを含む。別の実施態様においては、選択された観客ビューは、前述のように、第１のリモートユーザのＨＭＤに表示するために、メインコンテンツに拡大されてもよい。

【0124】

一実施形態においては、第１の観客ビューは、ゲームサーバによって、ゲーム世界の第１の仮想ＰＯＶから生成される。例えば、前述のように、第１の観客ビューは、対応するユーザ（例えば、ｅスポーツイベントのプロのゲーマー）によって制御されるキャラクタに関連付けられたＰＯＶであってもよい。第１の観客ビューは、予め指定されたＰＯＶから取得されてもよい。さらに、第１の観客ビューは、ゲーム世界内で生じている多くのゲームプレイの１つにフォーカスしてよく、各ゲームプレイは特定のプレイヤ（例えば、マルチプレイヤゲームセッションをプレイするプロのゲーマー）に関連付けられる。
このようにして、ゲーム世界の第１の観客ビューは、ＨＭＤを通じて見ている第１のリモートユーザにとって身近で個人的なものであり、ゲーム世界のアクションの遠くのビューを通した限定されたものではない。すなわち、アクションへのビューが近ければ近いほど、ゲーム世界を仮想で視聴している第１のリモートユーザにとって、より良くなる。さらに他の実施形態においては、第１の観客ビューは、マルチプレイヤゲームセッション（例えば、ｅスポーツイベント）を見せる実世界の会場のライブビューであってもよい。

【0125】

前述のように、第１の観客ビューは、視聴者と一致した視点に対して適切にスケールを合わせられた物体を含む。例えば、物体は、対応する観客アバタを通じて表現されるゲーム世界の人間の観客に対応するＰＯＶと矛盾しないように、スケールを合わせられる。このようにして、ゲーム世界の体験は、リモートユーザがゲーム世界内に実際に物理的にいるかのように一致する。これは、ゲーム世界が、博物館ツアー、または、世界の休暇地にいる時等、実世界の体験を提供する時、特に有益である。
例えば、方法は、第１のリモートユーザを表す第１のアバタと、第２のリモートユーザを表す第２のアバタとを含むインタラクティブなゲーム世界を含んでもよい。第２のリモートアバタは、ゲーム世界を観戦しており、第１のアバタに近接してもよい。例えば、第２のリモートユーザは、インタラクティブなゲーム世界の第２の観客ビューを受信し、第１のリモートユーザは、（例えば、第１の仮想ＰＯＶで）ゲーム世界の第１の観客ビューを受信する。２つのアバタ同士が近接していると決定されると、第１のリモートユーザと第２のリモートユーザは、通信チャネルを２人のユーザ間に確立して、その通信チャネルを介して２人のユーザ間で交信できるように、ペアにされる。

【0126】

一実施形態においては、方法は、第１の仮想ＰＯＶに対してローカライズされる観客ビューに対する音声を生成することを含む。一般に、ゲーム世界は、１つまたは複数のゲームプレイからの音声を含む。説明として、ゲーム世界は、戦場で行われている大刀での戦いとして記載されてもよく、ここでは、競技者は、互いに接近戦を戦っている。音は、戦場全体から生成されている。従って、ゲーム世界内の特定の位置で収集または体験されている音声は、他の位置で体験されている音声とは異なって聞こえる。
例えば、２つのキャラクタの戦いに近い第１の位置は、戦場で行われている全ての接近戦から離れた位置（例えば、指揮官がいる見晴らしの良い位置）とは異なって聞こえる。従って、観客ビューに対して生成されている音声は、第１の仮想ＰＯＶに対して（すなわち、ゲーム世界内の第１の仮想ＰＯＶの位置に基づいて）ローカライズされる。すなわち、第１の仮想ＰＯＶに対して、遠くの音は弱められ、ゲーム世界内の近くの音は増幅される。さらに、第１の観客ビューは、ローカライズされた音声と合致している。このようにして、第１の観客ビューを視聴している第１のリモートユーザは、仮想でゲーム世界に参加できる。

【0127】

本発明の実施形態は、シングルプレイヤモード（例えば、プレイヤがゲームアプリケーションをプレイしている）またはマルチプレイヤモード（複数のプレイヤが、ゲームセッション内で一緒にゲームアプリケーションをプレイしている）のどちらかで、オンラインまたはネットワークゲームの実施態様にも適用できる。オンラインまたはネットワークゲームの実施態様は、必ずしもライブイベントに関連付けられなくてもよい。例えば、クラウドゲームプロバイダ１１２は、ゲーマーがプレイしているゲームアプリケーションを維持及び実行してもよい。さらに、クラウドゲームプロバイダ１１２は、１人または複数のゲーマーを支援するゲームアプリケーションのマルチプレイヤゲームセッションを確立及び管理してもよい。
シングルプレイヤモードまたはマルチプレイヤモードにおいて、クラウドゲームプロバイダは、１人または複数のゲーマーからのゲーマー入力を処理して、実行しているゲームアプリケーションのゲーム状態（複数可）に影響を及ぼす。さらに、ゲームシステム１４００は、シングルプレイヤモードまたはマルチプレイヤモード及び／またはゲームセッションを支援するオンラインまたはネットワークゲームを実施するように構成されてもよい。

【0128】

さらに、ゲーマーは、プレイヤの視点と、１つまたは複数の飛び込みビューもしくは観客ビューとの両方から、自分のアクションのビューに参加及び受信するオプションを有してもよい。このオプションは、シングルプレイヤモード及び／またはマルチプレイヤモード内で実施可能である。すなわち、ゲーマーは、インタラクティブなゲーム世界内の複数の視点から自分のアクションを見ることができる。さらに、ゲーマーは、前述のように、ゲーマーのアクションを必ずしも含まなくてもよい追加の観客ビューを見ることができる。すなわち、ゲーマーは、観客ビューを通じて他のゲーマーのアクションのビューを選択してもよい、または、インタラクティブなゲーム世界の任意の部分を見ることを選んでもよい。
例として、マルチプレイヤゲームセッションが、サッカーの試合に対して確立されてもよく、各サイド１１人のプレイヤからなる２つのチームが、（例えば、トーナメントモードで）オンラインサッカーゲームをプレイするために署名した。１人のゲーマーが最初に一方のチームのゴールキーパとして開始する。そのゲーマーに関して、ゲームがプレイされていると、ボールがゴールキーパのゴールの方に来ない限り、アクションが持続しなくてもよい。ゲーマーは、ペナルティキックの状況では非常に忙しく、ゲーマーが、アクションの中心にいて、ホイッスルでボールを止めることに集中している。その瞬間、ゲーマーは、各ＨＭＤの内の主なビューを受信して、実際のゴールキーパの体験をシミュレーションする。完全に没入して、ゲーマーは、ペナルティキックが行われるとすぐに、ボールを止める反応をする。
このようにして、ゲーマーは、非常に没入型の現実に近い体験をして、プレイヤのビューでネットワークゲームをプレイする。他方、ゴールキーパとしてのゲーマーは、ゴールキーパが絶えずフィールドを走っているわけではないので、始終、集中してアクションに関与しなくてもよく、ゴールを囲む１８ヤードのボックス内に主にいる。これも、ゴールキーパの没入型で現実に近い体験に一致する。
しかしながら、本発明の実施形態は、ゴールキーパをプレイしているゲーマーに、ゴールキーパが見ているものを超えたインタラクティブなゲーム世界（サッカーのピッチ）の１つまたは複数の観客ビュー等、１つまたは複数のビューを提供するように構成されてもよい。さらに、ゴールキーパをプレイしているゲーマーが、他のゲーマーと交代することを可能にしてもよい。すなわち、本発明の実施形態は、ゴールキーパをプレイしているゲーマーが他のゲーマーと交代して、（例えば、同じチームまたは反対チームの）センターフォワードになる等、ゲーマーに役割を切り替える追加の柔軟性を提供する。このようにして、マルチプレイヤゲームセッションをプレイしているプレイヤにより多くの興奮を与える。

【0129】

図１３は、開示の実施形態による、ヘッドマウントディスプレイ１０２の構成要素を示す図である。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ１３００を含む。メモリ１３０２は、記憶のために備えられ、揮発性及び不揮発性の両方のメモリを含み得る。ユーザが見ることができる視覚インタフェースを提供するディスプレイ１３０４が含まれる。電池１３０６は、ヘッドマウントディスプレイ１０２の電源として備えられる。動作検出モジュール１３０８は、磁力計１３１０、加速度計１３１２、及び、ジャイロスコープ１３１４等、様々な種類の動作感知ハードウェアのいずれかを含んでもよい。

【0130】

加速度計は、加速度及び重力により誘発される反力を測定するデバイスである。単軸及び多軸のモデルは、異なる方向の加速度の大きさ及び方向を検出できる。加速度計は、傾斜、振動、及び衝撃を感知するために使用される。一実施形態においては、３つの加速度計１３１２を使用して重力の方向を提供し、重力の方向は、２つの角度（世界空間ピッチ及び世界空間ロール）の絶対基準を与える。

【0131】

磁力計は、ヘッドマウントディスプレイの近傍で磁場の強さと方向とを測定する。一実施形態においては、３つの磁力計１３１０はヘッドマウントディスプレイ内で使用され、世界空間ヨー角度の絶対基準を保証する。一実施形態においては、磁力計は、±８０マイクロテスラである地球磁場にわたるように設計される。磁力計は、金属の影響を受け、実際のヨーと単調であるヨー測定値を提供する。磁場は、環境の中の金属のために歪められ、このことがヨー測定の歪みを生じさせる。必要に応じて、この歪みは、ジャイロスコープまたはカメラ等の他のセンサからの情報を使用して、較正されてもよい。一実施形態においては、加速度計１３１２は、磁力計１３１０と共に使用されて、ヘッドマウントディスプレイ１０２の傾斜とアジマスとを取得する。

【0132】

ジャイロスコープは、角運動量の原理に基づいて向きを測定または維持するデバイスである。一実施形態においては、３つのジャイロスコープ１３１４が慣性感知に基づいて各軸（ｘ、ｙ、ｚ）に対する移動に関する情報を提供する。ジャイロスコープは高速回転を検出するのに役立つ。しかしながら、ジャイロスコープは、絶対基準が存在しなければ、経時的にドリフトし得る。このことは、ジャイロスコープの定期的なリセットを必要とし、リセットは、物体の視覚的追跡、加速度計、磁力計等に基づいた位置／向きの決定等、他の入手可能な情報を使用して行ってもよい。

【0133】

カメラ１３１６は、実環境の画像及び画像ストリームを撮影するために備えられる。後ろを向いている（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時にユーザから離れる方に向けられた）カメラと、前を向いている（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時にユーザの方に向けられた）カメラとを含む複数のカメラがヘッドマウントディスプレイ１０２に含まれてもよい。さらに、デプスカメラ１３１８が、実環境の物体の奥行情報を感知するためにヘッドマウントディスプレイ１０２に含まれてもよい。

【0134】

一実施形態においては、ＨＭＤの前面に一体化されたカメラを使用して、安全に関する警告を提供してもよい。例えば、ユーザは、壁または物体に接近している場合、警告を受けてもよい。一実施形態においては、ユーザは、部屋の中の物理的物体の存在をユーザに警告するために、物理的物体の輪郭を提供されてもよい。輪郭は、例えば、仮想環境のオーバーレイであってもよい。ある実施形態においては、ＨＭＤユーザは、例えば、床にオーバーレイされた基準マーカのビューを提供されてもよい。例えば、マーカは、ユーザがゲームをプレイしている部屋の中央がどこであるかの基準をユーザに提供してもよい。これは、例えば、ユーザが部屋の壁または部屋の中の他の物体にぶつかるのを避けるためにどこに動くべきかの視覚情報をユーザに提供してもよい。触覚警告もユーザに提供されてもよい、及び／または、ユーザがＨＭＤを装着し、ＨＭＤを用いてゲームをプレイし、コンテンツをナビゲートしている時、より安全なように音声警告も提供されてもよい。

【0135】

ヘッドマウントディスプレイ１０２は、音声出力を提供するためのスピーカ１３２０を含む。また、マイクロフォン１３２２が、周囲環境からの音、ユーザが行う発話等を含む、実環境からの音声を捕捉するために含まれてもよい。ヘッドマウントディスプレイ１０２は、ユーザに触覚フィードバックを提供する触覚フィードバックモジュール１３２４を含む。一実施形態においては、触覚フィードバックモジュール１３２４は、ユーザに触覚フィードバックを提供するようにヘッドマウントディスプレイ１０２の動き及び／または振動を起こすことができる。

【0136】

ＬＥＤ１３２６は、ヘッドマウントディスプレイ１０２のステータスの視覚インジケータとして備えられる。例えば、ＬＥＤは、電池レベル、電源オン等を示してもよい。カードリーダ１３２８は、ヘッドマウントディスプレイ１０２が、メモリカードから情報を読み出し、メモリカードに情報を書き込むのを可能にするために備えられる。ＵＳＢインタフェース１３３０は、周辺装置の接続、または、他のポータブルデバイス、コンピュータ等、他のデバイスへの接続を可能にするためのインタフェースの一例として含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態において、様々な種類のインタフェースのいずれかが、ヘッドマウントディスプレイ１０２の接続性の向上を可能にするために含まれてもよい。

【0137】

ＷｉＦｉモジュール１３３２は、無線ネットワーク技術を介してインターネットへの接続を可能にするために含まれる。また、ヘッドマウントディスプレイ１０２は、他のデバイスへの無線接続を可能にするブルートゥース（登録商標）モジュール１３３４を含む。通信リンク１３３６も、他のデバイスへの接続のために含まれてもよい。一実施形態においては、通信リンク１３３６は、無線通信のために赤外線送信を利用する。他の実施形態においては、通信リンク１３３６は、他のデバイスとの通信のために、様々な無線または有線の送信プロトコルのいずれかを利用してもよい。

【0138】

入力ボタン／センサ１３３８は、入力インタフェースをユーザに提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボール等の様々な種類の入力インタフェースのいずれかが含まれてもよい。超音波技術を介した他のデバイスとの通信を促進するために、超音波通信モジュール１３４０が、ヘッドマウントディスプレイ１０２に含まれてもよい。

【0139】

バイオセンサ１３４２が、ユーザから生理学的データの検出を可能にするために含まれる。一実施形態においては、バイオセンサ１３４２は、ユーザの皮膚を通じてユーザの生体電気信号を検出するための１つまたは複数のドライ電極を含む。

【0140】

三次元の物理的環境に置かれたエミッタ（例えば、赤外線ベースステーション）からの信号に応答するフォトセンサ１３４４が含まれる。ゲーム機は、フォトセンサ１３４４及びエミッタからの情報を分析して、ヘッドマウントディスプレイ１０２に関する位置及び向き情報を決定する。

【0141】

さらに、視線追跡システム１３６５が、ユーザの視線の追跡を可能にするように含まれ、構成される。例えば、システム１３６５は、ユーザの眼の画像を撮影する視線追跡カメラを含んでよく、次に、ユーザの眼の画像が分析されて、ユーザの視線方向を決定する。一実施形態においては、ユーザの視線方向に関する情報を利用して、ビデオレンダリングに影響を及ぼしてもよい。視線方向のビデオレンダリングは、フォービエイテッドレンダリングを通じて、より詳細で、より高い解像度を与える等によって、優先または強調されてもよく、高い解像度の粒子系効果が中心窩領域（Foveal Region）に表示され、低い解像度の粒子系効果が中心窩領域の外側に表示される、または、ユーザが見ている領域はより速く更新される。

【0142】

ヘッドマウントディスプレイ１０２の前述の構成要素は、ヘッドマウントディスプレイ１０２に含まれ得る例示の構成要素として記載したに過ぎない。開示の様々な実施形態において、ヘッドマウントディスプレイ１０２は、様々な上記構成要素の一部を含んでもよく、含まなくてもよい。ヘッドマウントディスプレイ１０２の実施形態は、本明細書に記載する本開示の態様を容易にするために、ここに記載はしないが、当技術分野で既知の他の構成要素をさらに含んでもよい。

【0143】

開示の様々な実施形態において、上記ハンドヘルドデバイスは、ディスプレイに表示されたインタラクティブアプリケーションと共に利用されて、様々なインタラクティブ機能を提供してもよいことを、当業者は理解する。本明細書に記載の例示の実施形態は、制限ではなく、例としてのみ提供される。

【0144】

図１４は、開示の様々な実施形態による、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、シングルプレイヤモードまたはマルチプレイヤモード等で、ネットワーク１４１５を介して１つまたは複数のクライアント１４１０にビデオストリームを提供するように構成される。ゲームシステム１４００は、実施形態において、クラウドゲームプロバイダ１１２に類似している。ゲームシステム１４００は、典型的に、ビデオサーバシステム１４２０及びオプションのゲームサーバ１４２５を含む。
ビデオサーバシステム１４２０は、ビデオストリームを最小限のサービス品質で１つまたは複数のクライアント１４１０に提供するように構成される。例えば、ビデオサーバシステム１４２０は、ビデオゲームの状態またはビデオゲーム内の視点を変えるゲームコマンドを受信してよく、この状態の変化を反映する更新されたビデオストリームを最小限の遅延時間でクライアント１４１０に提供してもよい。ビデオサーバシステム１４２０は、今後、規定されるフォーマットを含む、様々な他のビデオフォーマットでビデオストリームを提供するように構成されてもよい。さらに、ビデオストリームは、広範なフレームレートでユーザに提示すように構成されたビデオフレームを含み得る。典型的なフレームレートは、３０フレーム毎秒、８０フレーム毎秒、及び、８２０フレーム毎秒である。しかしながら、より高いまたは低いフレームレートが、開示された他の実施形態に含まれる。

【0145】

１４１０Ａ、１４１０Ｂ等として本明細書で個々に呼ばれるクライアント１４１０は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んでもよい。典型的に、クライアント１４１０は、エンコードされた（すなわち、圧縮された）ビデオストリームを受信し、そのビデオストリームをデコードし、生じるビデオをユーザ、例えば、ゲームのプレイヤに提示するように構成される。
エンコードされたビデオストリームを受信するプロセス及び／またはビデオストリームをデコードするプロセスは、典型的に、クライアントの受信バッファに個々のビデオフレームを記憶することを含む。ビデオストリームは、クライアント１４１０に一体化されたディスプレイで、または、モニタまたはテレビ等の別個のデバイスで、ユーザに提示されてもよい。クライアント１４１０は、任意で、複数のゲームプレイヤを支援するように構成される。
例えば、ゲームコンソールは、２人、３人、４人、または、それを超える同時プレイヤを支援するように構成されてもよい。これらの同時プレイヤはそれぞれ、別個のビデオストリームを受信してもよい、または、１つのビデオストリームは、各プレイヤに向けて特に生成されたフレームの領域、例えば、各プレイヤの視点に基づいて生成されたフレームの領域を含んでもよい。クライアント１４１０は、任意で、地理的に分散している。
ゲームシステム１４００に含まれるクライアントの数は、１もしくは２から、何千、何万、または、それより多くまで、広範囲にわたってもよい。本明細書で使用される場合、「ゲームプレイヤ」という用語は、ゲームをプレイする人を指して使用され、「ゲームプレイデバイス」という用語は、ゲームのプレイに使用されるデバイスを指して使用される。ある実施形態においては、ゲームプレイデバイスは、協働してゲーム体験をユーザに伝える複数のコンピュータ装置を指してもよい。例えば、ゲームコンソール及びＨＭＤは、ビデオサーバシステム１４２０と協働して、ＨＭＤを通じて視聴されるゲームを配信してもよい。一実施形態においては、ゲームコンソールは、ビデオサーバシステム１４２０からビデオストリームを受信し、ゲームコンソールは、ビデオストリームまたはビデオストリームへの更新をレンダリングのためにＨＭＤに転送する。

【0146】

クライアント１４１０は、ネットワーク１４１５を介してビデオストリームを受信するように構成される。ネットワーク１４１５は、電話網、インターネット、無線ネットワーク、送電線網、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワーク等を含む、任意の種類の通信ネットワークであってもよい。典型的な実施形態においては、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準的なプロトコルを介して通信される。あるいは、ビデオストリームは、独自基準を介して通信される。

【0147】

クライアント１４１０の典型的な例は、プロセッサ、不揮発メモリ、ディスプレイ、デコード論理、ネットワーク通信能力、及び、入力装置を含むパーソナルコンピュータである。デコード論理は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含んでもよい。ビデオストリームをデコード（エンコード）するシステムは、当分野で周知であり、使用される特定のエンコードスキームに応じて変わる。

【0148】

クライアント１４１０は、受信したビデオを修正するために構成されたシステムをさらに含んでよいが、含むことは要求されない。例えば、クライアントは、あるビデオ画像を他のビデオ画像にオーバーレイするために、ビデオ画像をクロップするために等、更なるレンダリングを行うように構成されてもよい。例えば、クライアント１４１０は、Ｉフレーム、Ｐフレーム及びＢフレーム等、様々な種類のビデオフレームを受信するように、また、これらのフレームをユーザに表示する画像に処理するように構成されてもよい。ある実施形態においては、クライアント１４１０のメンバは、更なるレンダリング、シェーディング、３Ｄへの変換、または、同様の操作をビデオストリームに対して行うように構成される。クライアント１４１０のメンバは、任意で、複数の音声またはビデオストリームを受信するように構成される。クライアント１４１０の入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または位置検出デバイス、マウス、タッチスクリーン、神経インタフェース、カメラ、今後開発される入力装置等を含んでもよい。

【0149】

クライアント１４１０が受信したビデオストリーム（及び、任意で、音声ストリーム）は、ビデオサーバシステム１４２０によって生成、提供される。本明細書の他の箇所にさらに記載するように、このビデオストリームは、ビデオフレームを含む（また、音声ストリームは、音声フレームを含む）。ビデオフレームは、ユーザに表示される画像に意味のある寄与をするように構成される（例えば、ビデオフレームは、適切なデータ構造の画素情報を含む）。本明細書で使用される場合、「ビデオフレーム」という用語はユーザに示す画像に寄与するように、例えば、影響を与えるように構成された情報を主に含むフレームを指して使用される。「ビデオフレーム」に関する本明細書の教示の大半は、「音声フレーム」にも適用できる。

【0150】

クライアント１４１０は、典型的にユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更するように、または、他の点でゲームプレイに影響を与えるように構成されたゲームコマンドを含み得る。ゲームコマンドは、入力装置を用いて受信されてもよく、及び／または、クライアント１４１０で実行するコンピュータ命令によって自動的に生成されてもよい。受信したゲームコマンドは、クライアント１４１０からネットワーク１４１５を介してビデオサーバシステム１４２０及び／またはゲームサーバ１４２５に通信される。
例えば、ある実施形態においては、ゲームコマンドは、ビデオサーバシステム１４２０を介してゲームサーバ１４２５に通信される。ある実施形態においては、ゲームコマンドの別個のコピーは、クライアント１４１０からゲームサーバ１４２５及びビデオサーバシステム１４２０に通信される。ゲームコマンドの通信は、任意で、コマンドのＩＤに依存する。ゲームコマンドは、任意で、音声またはビデオストリームをクライアント１４１０Ａに提供するために使用されるのとは異なるルートまたは通信チャネルを通じてクライアント１４１０Ａから通信される。

【0151】

ゲームサーバ１４２５は、任意で、ビデオサーバシステム１４２０とは異なるエンティティによって操作される。例えば、ゲームサーバ１４２５は、マルチプレイヤゲームの発行者によって操作されてもよい。この例においては、ビデオサーバシステム１４２０は、任意でゲームサーバ１４２５によってクライアントとして視聴され、任意で、ゲームサーバ１４２５の視点から、先行技術のゲームエンジンを実行する先行技術のクライアントに見えるように構成される。
ビデオサーバシステム１４２０とゲームサーバ１４２５の間の通信は、任意で、ネットワーク１４１５を介して行われる。従って、ゲームサーバ１４２５は、ゲーム状態情報を複数のクライアントに送信する先行技術のマルチプレイヤゲームサーバであってもよく、クライアントの１つは、ゲームサーバシステム１４２０である。ビデオサーバシステム１４２０は、ゲームサーバ１４２５の複数のインスタンスと同時に通信するように構成されてもよい。例えば、ビデオサーバシステム１４２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成されてもよい。
これらの異なるビデオゲームは、それぞれ、異なるゲームサーバ１４２５によって支援されてもよく、及び／または、異なるエンティティによって発行されてもよい。ある実施形態においては、ビデオサーバシステム１４２０の幾つかの地理的に分散したインスタンスは、複数の異なるユーザにゲームビデオを提供するように構成される。ビデオサーバシステム１４２０のこれらのインスタンスは、それぞれ、ゲームサーバ１４２５の同じインスタンスと通信してもよい。ビデオサーバシステム１４２０と１つまたは複数のゲームサーバ１４２５の間の通信は、任意で専用通信チャネルを介して生じる。例えば、ビデオサーバシステム１４２０は、これら２つのシステム間の通信専用の広帯域チャネルを介して、ゲームサーバ１４２５に接続されてもよい。

【0152】

ビデオサーバシステム１４２０は、少なくともビデオソース１４３０、Ｉ／Ｏ装置１４４５、プロセッサ１４５０、及び、非一時的記憶装置１４５５を含む。ビデオサーバシステム１４２０は、１つのコンピュータ装置を含んでよい、または、複数のコンピュータ装置間に分散されてもよい。これらのコンピュータ装置は、任意で、ローカルエリアネットワーク等の通信システムを介して接続される。

【0153】

ビデオソース１４３０は、ビデオストリーム、例えば、ストリーミングビデオ、または、動画を形成する一連のビデオフレームを提供するように構成される。ある実施形態においては、ビデオソース１４３０は、ビデオゲームエンジン及びレンダリング論理を含む。ビデオゲームエンジンは、プレイヤからゲームコマンドを受信するように、また、受信したコマンドに基づいて、ビデオゲーム状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境における物体の位置と、典型的に、視点とを含む。ゲーム状態は、物体の特性、画像、色、及び／または、テクスチャも含んでもよい。

【0154】

ゲーム状態は、典型的に、ゲーム規則と、移動、回転、攻撃、焦点を定める、対話、使用等のゲームコマンドとに基づいて維持される。ゲームエンジンの一部は、任意でゲームサーバ１４２５内に配置される。ゲームサーバ１４２５は、地理的に分散したクライアントを用いて、複数のプレイヤから受信したゲームコマンドに基づいて、ゲームの状態のコピーを維持してもよい。これらの場合、ゲーム状態は、ゲームサーバ１４２５によってビデオソース１４３０に提供され、ゲーム状態のコピーは記憶され、レンダリングが行われる。ゲームサーバ１４２５は、ネットワーク１４１５を介してクライアント１４１０から直接、ゲームコマンドを受信してもよく、及び／または、ビデオサーバシステム１４２０を介してゲームコマンドを受信してもよい。

【0155】

ビデオソース１４３０は、典型的に、レンダリング論理、例えば、ハードウェア、ファームウェア、及び／または、記憶装置１４５５等のコンピュータ可読媒体に記憶されたソフトウェアを含む。このレンダリング論理は、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成するように構成される。レンダリング論理の全てまたは一部は、任意で、グラフィックス処理ユニット（ＧＰＵ）内に配置される。レンダリング論理は、典型的に、ゲーム状態及び視点に基づいて、物体間の三次元空間関係を決定するために、及び／または、適切なテクスチャ等を適用するために構成された処理ステージを含む。
レンダリング論理は、未加工ビデオを生成し、未加工ビデオは、通常、クライアント１４１０に通信する前にエンコードされる。例えば、未加工ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．、Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、リアルビデオ、ｍｐ３等に従ってエンコードされてもよい。エンコードプロセスは、ビデオストリームを生成し、ビデオストリームは、任意で、リモートデバイスのデコーダに送るためにパッケージ化される。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。
典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８を含むが、任意の他のフレームサイズが使用されてもよい。フレームレートは、ビデオフレーム数毎秒である。ビデオストリームは、異なる種類のビデオフレームを含んでもよい。例えば、Ｈ.２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、表示装置上の全てのマクロブロック／画素をリフレッシュする情報を含み、Ｐフレームは、マクロブロック／画素のサブセットをリフレッシュする情報を含む。Ｐフレームは、典型的に、Ｉフレームよりデータサイズが小さい。本明細書で使用する場合、「フレームサイズ」という用語は、フレーム内の画素の数を指す。「フレームデータサイズ」という用語は、フレームの記憶に必要なバイト数を指して使用される。

【0156】

他の実施形態において、ビデオソース１４３０は、カメラ等のビデオ記録装置を含む。このカメラを使用して、コンピュータゲームのビデオストリームに含まれ得る表示されたまたはライブのビデオを生成してもよい。生じたビデオストリームは、任意で、レンダリングされた画像と、スチルカメラまたはビデオカメラを用いて記録された画像との両方を含む。ビデオソース１４３０は、記録済みのビデオがビデオストリームに含まれるように記憶するように構成された記憶装置も含んでもよい。ビデオソース１４３０は、また、物体、例えば、人の動きまたは位置を検出するように構成された動きまたは位置検出装置と、検出された動き及び／または位置に基づいてゲーム状態を決定するように、または、ビデオを生成するように構成された論理とを含んでもよい。

【0157】

ビデオソース１４３０は、任意で、他のビデオ上に配置するように構成されたオーバーレイを提供するように構成される。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤのビデオフィード（例えば、ウェブカムビデオ）を含んでもよい。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント１４１０Ａの実施形態において、オーバーレイは、仮想のキーボード、ジョイスティック、タッチパッド等を含んでもよい。オーバーレイの一例において、プレイヤの音声が、音声ストリームにオーバーレイされる。ビデオソース１４３０は、任意で、１つまたは複数の音源をさらに含む。

【0158】

ビデオサーバシステム１４２０が複数のプレイヤからの入力に基づいてゲーム状態を維持するように構成された実施形態において、各プレイヤは、ビューの位置及び方向を含む異なる視点を有し得る。ビデオソース１４３０は、任意で、各プレイヤに対して、そのプレイヤの視点に基づいた別個のビデオストリームを提供するように構成される。さらに、ビデオソース１４３０は、異なるフレームサイズ、フレームデータサイズ、及び／または、エンコードを各クライアント１４１０に提供するように構成されてもよい。ビデオソース１４３０は、任意で、３Ｄビデオを提供するように構成される。

【0159】

Ｉ／Ｏ装置１４４５は、ビデオサーバシステム１４２０が、ビデオ、コマンド、情報の要求、ゲーム状態、視線情報、デバイスの動き、デバイスの位置、ユーザの動き、クライアントＩＤ、プレイヤＩＤ、ゲームコマンド、セキュリティ情報、音声等の情報を送信及び／または受信するように構成される。Ｉ／Ｏ装置１４４５は、典型的に、ネットワークカードまたはモデム等の通信ハードウェアを含む。Ｉ／Ｏ装置１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／または、クライアント１４１０に通信するように構成される。

【0160】

プロセッサ１４５０は、本明細書に記載のビデオサーバシステム１４２０の様々な構成要素内に含まれた論理、例えば、ソフトウェアを実行するように構成される。例えば、プロセッサ１４５０は、ビデオソース１４３０、ゲームサーバ１４２５、及び／または、クライアントクオリファイア１４６０の機能を行うためにソフトウェア命令を用いてプログラムされてもよい。ビデオサーバシステム１４２０は、任意で、プロセッサ１４５０の複数のインスタンスを含む。プロセッサ１４５０は、ビデオサーバシステム１４２０が受信したコマンドを実行するために、または、本明細書に記載のゲームシステム１４００の様々な要素の操作を調整するために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ１４５０は、１つまたは複数のハードウェアデバイスを含んでもよい。プロセッサ１４５０は、電子プロセッサである。

【0161】

記憶装置１４５５は、非一時的なアナログ及び／またはデジタル記憶装置を含む。例えば、記憶装置１４５５は、ビデオフレームを記憶するように構成されたアナログ記憶装置を含んでもよい。記憶装置１４５５は、コンピュータ可読デジタル記憶装置、例えば、ハードドライブ、光学ドライブ、または、ソリッドステート記憶装置を含んでもよい。記憶装置１４５５は、（例えば、適切なデータ構造またはファイルシステムによって）ビデオフレーム、人工フレーム、ビデオフレームと人工フレームの両方を含むビデオストリーム、音声フレーム、音声ストリーム等を記憶するように構成される。記憶装置１４５５は、任意で、複数のデバイス間に分散される。ある実施形態においては、記憶装置１４５５は、本明細書の他の箇所に記載したビデオソース１４３０のソフトウェア構成要素を記憶するように構成される。これらの構成要素は、必要に応じてプロビジョニングされるように用意されたフォーマットで記憶されてもよい。

【0162】

ビデオサーバシステム１４２０は、任意で、クライアントクオリファイア１４６０をさらに含む。クライアントクオリファイア１４６０は、クライアント１４１０Ａまたは１４１０Ｂ等、クライアントの能力をリモートで決定するように構成される。これらの能力は、クライアント１４１０Ａ自体の能力と、クライアント１４１０Ａとビデオサーバシステム１４２０の間の１つまたは複数の通信チャネルの能力との両方を含み得る。例えば、クライアントクオリファイア１４６０は、ネットワーク１４１５を通じて通信チャネルをテストするように構成されてもよい。

【0163】

クライアントクオリファイア１４６０は、クライアント１４１０Ａの能力を手動または自動で決定（例えば、発見）できる。手動の決定は、クライアント１４１０Ａのユーザと通信し、ユーザに能力を提供するように求めることとを含む。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０Ａのブラウザ内に、画像、テキスト等を表示するように構成される。一実施形態においては、クライアント１４１０Ａは、ブラウザを含むＨＭＤである。他の実施形態においては、クライアント１４１０Ａは、ブラウザを有するゲームコンソールであり、ブラウザは、ＨＭＤに表示されてもよい。表示された物体は、クライアント１４１０Ａの、オペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、表示解像度等の情報を入力するようにユーザに要求する。ユーザが入力した情報は、クライアントクオリファイア１４６０に返信される。

【0164】

自動決定は、例えば、クライアント１４１０Ａでエージェントを実行することによって、及び／または、テストビデオをクライアント１４１０Ａに送信することによって行われてもよい。エージェントは、ウェブページに組み込まれた、または、アドオンとしてインストールされた、ｊａｖａスクリプト等のコンピュータ命令を含んでもよい。エージェントは、任意で、クライアントクオリファイア１４６０によって提供される。様々な実施形態において、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａのデコード及び表示能力、クライアント１４１０Ａとビデオサーバシステム１４２０の間の通信チャネルの遅延時間信頼性及び帯域幅、クライアント１４１０Ａのディスプレイの種類、クライアント１４１０Ａに存在するファイヤウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａで実行しているソフトウェア、クライアント１４１０Ａ内のレジストリエントリ等を発見できる。

【0165】

クライアントクオリファイア１４６０は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクオリファイア１４６０は、任意で、ビデオサーバシステム１４２０の１つまたは複数の他の要素とは別に、コンピュータ装置に配置される。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０とビデオサーバシステム１４２０の複数のインスタンスとの間の通信チャネルの特徴を決定するように構成される。これらの実施形態において、クライアントクオリファイアによって発見された情報を使用して、ビデオサーバシステム１４２０のどのインスタンスがクライアント１４１０の１つにストリーミングビデオを配信するのに最も適しているかを決定できる。

【0166】

１人または複数のユーザによって制御されるマルチプレイヤゲームアプリケーションの実行を通じて生成される１つまたは複数のゲームプレイに関連付けられたゲーム世界の観客ビューを提供する特定の実施形態を記載したが、これらは、例として記載したものであり、制限ではない。本開示を読んだ当業者は、本開示の趣旨及び範囲内にある追加の実施形態を実現される。

【0167】

本明細書に規定された様々な実施形態は、本明細書に開示の様々な特徴を用いて、特定の実施態様に組み合わせられてもよく、または、集めてもよいことを理解されたい。従って、提供した例は、可能な例の一部に過ぎず、様々な要素を組み合わせてより多くの実施態様を規定することによって可能な様々な実施態様を制限するものではない。ある例においては、ある実施態様は、開示のまたは同等の実施態様の趣旨を逸脱せずに、より少ない要素を含んでもよい。

【0168】

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な消費家電、ミニコンピュータ、メインフレームコンピュータ等を含む、様々なコンピュータシステム構成を用いて実践されてもよい。本開示の実施形態は、タスクが有線または無線ネットワークを通じてリンクされたリモート処理装置によって行われる分散コンピュータ環境でも実践されてもよい。

【0169】

上記実施形態に留意して、本開示の実施形態は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施操作を使用できることを理解されたい。これらの操作は、物理量の物理的操作を必要とする操作である。本開示の実施形態の一部を形成する本明細書に記載の操作はいずれも、有用な機械操作である。発明の実施形態は、これらの操作を行うデバイスまたは装置にも関する。装置は、必要な目的のために特に構築できる、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または構成される汎用コンピュータであってもよい。詳細には、様々な汎用機械が、本明細書の教示に従って書かれたコンピュータプログラムと共に使用できる、または、必要な操作を行うためにより専門化された装置を構築するとより便利な場合がある。

【0170】

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとしても実現できる。コンピュータ可読媒体は、データを記憶できる任意のデータ記憶装置で、データは、その後、コンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続型記憶装置（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに、他の光学式及び非光学式のデータ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散して記憶、実行されるように、ネットワーク結合コンピュータシステムを介して分散されたコンピュータ可読有形媒体を含み得る。

【0171】

本方法の操作を特定の順序で記載したが、他のハウスキーピング操作が、操作間に行われてもよく、または、操作は、わずかに異なる時点に生じるように調整されてもよい、または、オーバーレイ操作の処理が所望のように行われる限り、処理と関連付けられた様々な間隔で処理操作の発生を可能にするシステムに分散されてもよいことを理解すべきである。

【0172】

上記開示は、理解を明確にするためにある程度、詳細に記載したが、一定の変更及び修正が添付の特許請求の範囲内で実施できることは明らかである。従って、本実施形態は制限的ではなく説明的なものとみなされるべきであり、本開示の実施形態は、本明細書に示される詳細に限定されず、添付の特許請求の範囲及び同等物の範囲内で修正され得る。

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図4C】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】