特許 7258864 エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-07

(45)【発行日】2023-04-17

(54)【発明の名称】エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピング

(51)【国際特許分類】

   A63F 13/86 20140101AFI20230410BHJP

   A63F 13/52 20140101ALI20230410BHJP

   A63F 13/54 20140101ALI20230410BHJP

   A63F 13/215 20140101ALI20230410BHJP

   A63F 13/25 20140101ALI20230410BHJP

   G06T 15/20 20110101ALI20230410BHJP

   H04N 21/234 20110101ALI20230410BHJP

   H04N 21/258 20110101ALI20230410BHJP

   H04N 21/2187 20110101ALI20230410BHJP

【ＦＩ】

A63F13/86

A63F13/52

A63F13/54

A63F13/215

A63F13/25

G06T15/20 500

H04N21/234

H04N21/258

H04N21/2187

【請求項の数】 21

(21)【出願番号】P 2020518439

(86)(22)【出願日】2018-09-25

(65)【公表番号】

(43)【公表日】2020-12-10

(86)【国際出願番号】 US2018052744

(87)【国際公開番号】W WO2019067480

(87)【国際公開日】2019-04-04

【審査請求日】2020-06-01

(31)【優先権主張番号】15/721,656

(32)【優先日】2017-09-29

(33)【優先権主張国・地域又は機関】US

【前置審査】

(73)【特許権者】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】カーン、モハメッド

(72)【発明者】

【氏名】サルカール、バスワー

【審査官】早川 貴之

(56)【参考文献】

【文献】特開２００９－０６５６２７（ＪＰ，Ａ）

【文献】特開平１１－２６１８８４（ＪＰ，Ａ）

【文献】特開２０１３－０３００４９（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００３３０７８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００１４４３５（ＵＳ，Ａ１）

【文献】最前列のスポーツ観戦をVRで。NFLが考える、未来のアメフト観戦を紹介する動画が公開，Mogura VR [online]，2015年11月02日，ＵＲＬ：https://www.moguravr.com/nfl-future-vr/，[2021年6月3日検索]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｆ ９／２４，１３／００－１３／９８

Ｈ０４Ｎ ７／１０，７／１４－７／１７３，

７／２０－７／５６，２１／００－２１／８５８

Ｇ０６Ｑ １０／００－１０／１０，３０／００－３０／０８，

５０／００－５０／２０，５０／２６－９９／００

(57)【特許請求の範囲】

【請求項1】

クライアントデバイスからネットワークを介して、バーチャルリアリティ観戦者によるヘッドマウントディスプレイを通してライブイベントを観戦する要求を受信することと、
前記バーチャルリアリティ観戦者を前記ライブイベントが開催される会場のシートに割り当てることと、
前記会場の前記シートがキャプチャされて前記会場内のディスプレイに映写される場合、前記シートに割り当てられた前記バーチャルリアリティ観戦者または前記バーチャルリアリティ観戦者に関連付けられたアバターの画像が前記シートを占有する位置に含まれるように前記会場内の前記ディスプレイにレンダリングされるビデオを変更することと、
前記会場内に位置付けられた複数のカメラから複数のビデオフィードを受信することと、
前記シートに関連付けて保存されたビデオ処理パラメータにアクセスすることと、
前記バーチャルリアリティ観戦者の視界が、前記複数のカメラからの前記複数のビデオフィードに基づいて提供できるカバー領域によって定義され、会場空間のリアルタイムライブビューを提供できるライブビュー領域と、前記リアルタイムライブビューがもたらされない残りのビュー領域との両方の部分を含むとき、前記ライブビュー領域については、前記ビデオ処理パラメータを使用して前記ビデオフィードを選択し、前記選択したビデオフィードをつぎ合わせてライブビデオを生成し、前記残りのビュー領域については、前記複数のカメラによって予め記録されたビデオをつぎ合わせて非ライブビデオを生成し、前記ライブビデオと前記非ライブビデオを組み合わせて、前記会場内の前記シートの３次元位置によって実質的に定義される視点からの前記会場のビューを提供するコンポジットビデオを生成することと、
前記ヘッドマウントディスプレイにレンダリングするために、前記ネットワークを介して前記コンポジットビデオを前記クライアントデバイスに送信することと
を含む、方法。

【請求項2】

前記ビデオ処理パラメータが、つぎ合わせのためにどの前記ビデオフィードを選択するか識別し、
前記ビデオ処理パラメータが、前記ビデオ処理パラメータが関連付けられた前記シートの前記３次元位置と、前記ビデオフィードを提供する前記カメラの３次元位置とに基づいて定義される、請求項１に記載の方法。

【請求項3】

前記バーチャルリアリティ観戦者を前記シートに割り当てることが、前記会場内のシートの占有ステータスを識別することを含み、
与えられたシートの前記占有ステータスが、前記与えられたシートが前記会場内で実際の観戦者によって占有されているかどうかを示し、
前記バーチャルリアリティ観戦者が割り当てられる前記シートが、実際の観戦者によって占有されていないシートである、請求項１に記載の方法。

【請求項4】

前記与えられたシートの前記占有ステータスが、前記与えられたシートが別のバーチャルリアリティ観戦者によって占有されているかどうかをさらに示し、
前記バーチャルリアリティ観戦者が割り当てられる前記シートが、別のバーチャルリアリティ観戦者によって占有されていないシートである、請求項３に記載の方法。

【請求項5】

前記バーチャルリアリティ観戦者を前記シートに割り当てることが、
前記バーチャルリアリティ観戦者のソーシャルグラフにアクセスすることと、
前記ソーシャルグラフのメンバーである別のバーチャルリアリティ観戦者に割り当てられたシートへの近さに基づいて前記シートを選択することと
を含む、請求項１に記載の方法。

【請求項6】

前記シートに関連付けて保存されたオーディオ処理パラメータにアクセスすることと、
前記オーディオ処理パラメータを使用して、前記会場内の前記シートの前記３次元位置によって実質的に定義される視点から聞こえることをシミュレートするオーディオデータを生成することと、
前記オーディオデータを前記ネットワークを介して前記クライアントデバイスに送信することと
をさらに含む、請求項１に記載の方法。

【請求項7】

前記オーディオ処理パラメータが、前記会場内の１つまたは複数のマイクロフォンによってキャプチャされたオーディオを識別して、それから前記オーディオデータを生成し、
前記オーディオ処理パラメータが、前記オーディオ処理パラメータが関連付けられた前記シートの前記３次元位置と、前記マイクロフォンの３次元位置とに基づいて定義される、請求項６に記載の方法。

【請求項8】

非一時的コンピュータ可読媒体であって、少なくとも１つのコンピュータで実行されるとき、前記少なくとも１つのコンピュータに、以下の操作、
クライアントデバイスからネットワークを介して、バーチャルリアリティ観戦者によるヘッドマウントディスプレイを通してライブイベントを観戦する要求を受信することと、
前記バーチャルリアリティ観戦者を前記ライブイベントが開催される会場のシートに割り当てることと、
前記会場の前記シートがキャプチャされて前記会場内のディスプレイに映写される場合、前記シートに割り当てられた前記バーチャルリアリティ観戦者または前記バーチャルリアリティ観戦者に関連付けられたアバターの画像が前記シートを占有する位置に含まれるように前記会場内の前記ディスプレイにレンダリングされるビデオを変更することと、
前記会場内に位置付けられた複数のカメラから複数のビデオフィードを受信することと、
前記シートに関連付けて保存されたビデオ処理パラメータにアクセスすることと、
前記バーチャルリアリティ観戦者の視界が、前記複数のカメラからの前記複数のビデオフィードに基づいて提供できるカバー領域によって定義され、会場空間のリアルタイムライブビューを提供できるライブビュー領域と、前記リアルタイムライブビューがもたらされない残りのビュー領域との両方の部分を含むとき、前記ライブビュー領域については、前記ビデオ処理パラメータを使用して前記ビデオフィードを選択し、前記選択したビデオフィードをつぎ合わせてライブビデオを生成し、前記残りのビュー領域については、前記複数のカメラによって予め記録されたビデオをつぎ合わせて非ライブビデオを生成し、前記ライブビデオと前記非ライブビデオを組み合わせて、前記会場内の前記シートの３次元位置によって実質的に定義される視点からの前記会場のビューを提供するコンポジットビデオを生成することと、
前記ヘッドマウントディスプレイにレンダリングするために、前記ネットワークを介して前記コンポジットビデオを前記クライアントデバイスに送信することと
を含む方法を実行させる、前記非一時的コンピュータ可読媒体上に具現化されたプログラム命令を有する、非一時的コンピュータ可読媒体。

【請求項9】

前記ビデオ処理パラメータが、つぎ合わせのためにどの前記ビデオフィードを選択するか識別し、
前記ビデオ処理パラメータが、前記ビデオ処理パラメータが関連付けられた前記シートの前記３次元位置と、前記ビデオフィードを提供する前記カメラの３次元位置とに基づいて定義される、請求項８に記載の非一時的コンピュータ可読媒体。

【請求項10】

前記バーチャルリアリティ観戦者を前記シートに割り当てることが、前記会場内のシートの占有ステータスを識別することを含み、
与えられたシートの前記占有ステータスが、前記与えられたシートが前記会場内で実際の観戦者によって占有されているかどうかを示し、
前記バーチャルリアリティ観戦者が割り当てられる前記シートが、実際の観戦者によって占有されていないシートである、請求項８に記載の非一時的コンピュータ可読媒体。

【請求項11】

前記与えられたシートの前記占有ステータスが、前記与えられたシートが別のバーチャルリアリティ観戦者によって占有されているかどうかをさらに示し、
前記バーチャルリアリティ観戦者が割り当てられる前記シートが、別のバーチャルリアリティ観戦者によって占有されていないシートである、請求項１０に記載の非一時的コンピュータ可読媒体。

【請求項12】

前記バーチャルリアリティ観戦者を前記シートに割り当てることが、
前記バーチャルリアリティ観戦者のソーシャルグラフにアクセスすることと、
前記ソーシャルグラフのメンバーである別のバーチャルリアリティ観戦者に割り当てられたシートへの近さに基づいて前記シートを選択することと
を含む、請求項８に記載の非一時的コンピュータ可読媒体。

【請求項13】

前記シートに関連付けて保存されたオーディオ処理パラメータにアクセスすることと、
前記オーディオ処理パラメータを使用して、前記会場内の前記シートの前記３次元位置によって実質的に定義される視点から聞こえることをシミュレートするオーディオデータを生成することと、
前記オーディオデータを前記ネットワークを介して前記クライアントデバイスに送信することと
をさらに含む、請求項８に記載の非一時的コンピュータ可読媒体。

【請求項14】

前記オーディオ処理パラメータが、前記会場内の１つまたは複数のマイクロフォンによってキャプチャされたオーディオを識別して、それから前記オーディオデータを生成し、
前記オーディオ処理パラメータが、前記オーディオ処理パラメータが関連付けられた前記シートの前記３次元位置と、前記マイクロフォンの３次元位置とに基づいて定義される、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

少なくとも１つのコンピューティングデバイスを備え、
前記少なくとも１つのコンピューティングデバイスが、少なくとも１つのプロセッサと、少なくとも１つのメモリとを有し、
前記少なくとも１つのコンピューティングデバイスが、
クライアントデバイスからネットワークを介して、バーチャルリアリティ観戦者によるヘッドマウントディスプレイを通してライブイベントを観戦する要求を受信することと、
前記バーチャルリアリティ観戦者を前記ライブイベントが開催される会場のシートに割り当てることと、
前記会場の前記シートがキャプチャされて前記会場内のディスプレイに映写される場合、前記シートに割り当てられた前記バーチャルリアリティ観戦者または前記バーチャルリアリティ観戦者に関連付けられたアバターの画像が前記シートを占有する位置に含まれるように前記会場内の前記ディスプレイにレンダリングされるビデオを変更することと、
前記会場内に位置付けられた複数のカメラから複数のビデオフィードを受信することと、
前記シートに関連付けて保存されたビデオ処理パラメータにアクセスすることと、
前記バーチャルリアリティ観戦者の視界が、前記複数のカメラからの前記複数のビデオフィードに基づいて提供できるカバー領域によって定義され、会場空間のリアルタイムライブビューを提供できるライブビュー領域と、前記リアルタイムライブビューがもたらされない残りのビュー領域との両方の部分を含むとき、前記ライブビュー領域については、前記ビデオ処理パラメータを使用して前記ビデオフィードを選択し、前記選択したビデオフィードをつぎ合わせてライブビデオを生成し、前記残りのビュー領域については、前記複数のカメラによって予め記録されたビデオをつぎ合わせて非ライブビデオを生成し、前記ライブビデオと前記非ライブビデオを組み合わせて、前記会場内の前記シートの３次元位置によって実質的に定義される視点からの前記会場のビューを提供するコンポジットビデオを生成することと、
前記ヘッドマウントディスプレイにレンダリングするために、前記ネットワークを介して前記コンポジットビデオを前記クライアントデバイスに送信することと
を実行するように構成された、システム。

【請求項16】

前記ビデオ処理パラメータが、つぎ合わせのためにどの前記ビデオフィードを選択するか識別し、
前記ビデオ処理パラメータが、前記ビデオ処理パラメータが関連付けられた前記シートの前記３次元位置と、前記ビデオフィードを提供する前記カメラの３次元位置とに基づいて定義される、請求項１５に記載のシステム。

【請求項17】

前記バーチャルリアリティ観戦者を前記シートに割り当てることが、前記会場内のシートの占有ステータスを識別することを含み、
与えられたシートの前記占有ステータスが、前記与えられたシートが前記会場内で実際の観戦者によって占有されているかどうかを示し、
前記バーチャルリアリティ観戦者が割り当てられる前記シートが、実際の観戦者によって占有されていないシートである、請求項１５に記載のシステム。

【請求項18】

前記与えられたシートの前記占有ステータスが、前記与えられたシートが別のバーチャルリアリティ観戦者によって占有されているかどうかをさらに示し、
前記バーチャルリアリティ観戦者が割り当てられる前記シートが、別のバーチャルリアリティ観戦者によって占有されていないシートである、請求項１７に記載のシステム。

【請求項19】

前記バーチャルリアリティ観戦者を前記シートに割り当てることが、
前記バーチャルリアリティ観戦者のソーシャルグラフにアクセスすることと、
前記ソーシャルグラフのメンバーである別のバーチャルリアリティ観戦者に割り当てられたシートへの近さに基づいて前記シートを選択することと
を含む、請求項１５に記載のシステム。

【請求項20】

前記シートに関連付けて保存されたオーディオ処理パラメータにアクセスすることと、
前記オーディオ処理パラメータを使用して、前記会場内の前記シートの前記３次元位置によって実質的に定義される視点から聞こえることをシミュレートするオーディオデータを生成することと、
前記オーディオデータを前記ネットワークを介して前記クライアントデバイスに送信することと
をさらに含む、請求項１５に記載のシステム。

【請求項21】

前記オーディオ処理パラメータが、前記会場内の１つまたは複数のマイクロフォンによってキャプチャされたオーディオを識別して、それから前記オーディオデータを生成し、
前記オーディオ処理パラメータが、前記オーディオ処理パラメータが関連付けられた前記シートの前記３次元位置と、前記マイクロフォンの３次元位置とに基づいて定義される、請求項２０に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピングに関する。

【背景技術】

【0002】

エレクトロニックスポーツ（ｅスポーツ）は一般に、スポーツの主要な態様がエレクトロニックシステムによって容易にされたスポーツの形態を表し、プレイヤー及びチームの入力ならびにｅスポーツシステムの出力が、人間コンピュータインタフェースで仲介される。（たとえば、参照により本明細書に組み込まれる、Ｊｕｈｏ Ｈａｍａｒｉ，Ｍａｘ Ｓｊｏｂｌｏｍ，（２０１７）“Ｗｈａｔ ｉｓ ｅＳｐｏｒｔｓ ａｎｄ ｗｈｙ ｄｏ ｐｅｏｐｌｅ ｗａｔｃｈ ｉｔ？”， Ｉｎｔｅｒｎｅｔ Ｒｅｓｅａｒｃｈ，Ｖｏｌ．２７ Ｉｓｓｕｅ：２，ｐｐ．２１１－２３２を参照のこと）。実質的に、ｅスポーツは、観戦される競争的かつプロフェッショナルなビデオゲームイベントを含む。ｅスポーツは、例として限定することなしに、オンライン放送またはオンラインストリーミングを介した、かつ、テレビ放送を介した、（たとえば、トーナメント会場における）生で観戦されるライブとすることができる。多くのｅスポーツイベントは、組織化されたトーナメントの形態をとり、特に、アマチュアプレイヤー及びプロフェッショナルプレイヤーの両方を含んでもよいプレイヤーのチームの間での、マルチプレイヤーによるビデオゲーム対戦を特徴とする。ｅスポーツに関連する一般的なビデオゲームのジャンルは、リアルタイムストラテジー（ＲＴＳ）、ファイティング、ファーストパーソンシューター（ＦＰＳ）、及びマルチプレイヤーオンラインバトルアリーナ（ＭＯＢＡ）を含む。

【0003】

ビデオゲームは、パーソナルコンピュータ、ゲームコンソール、携帯機器などのコンピューティングデバイスによって実行される。ゲームプラットフォームの１つの例はＳｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ４（登録商標）（ＰＳ４）であり、これはゲームコンソールの形態で販売されている。よく知られているように、ゲームコンソールは、ディスプレイ（通常、テレビ受像機）に接続し、ユーザがハンドヘルドコントローラを介してインタラクションができるように設計されている。ゲームコンソールは、ＣＰＵ、重いグラフィック演算を処理するためのグラフィックスシンセサイザ、ジオメトリ変換を実行するためのベクトル演算ユニット、ならびに、その他のグルーハードウェア、ファームウェア、及びソフトウェアを含む、専用の処理ハードウェアで設計されている。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためのゲームのディスクを収容するための光学ディスク読取装置を備えるようにさらに設計されてもよい。また、ユーザがインターネットを介して他のユーザとインタラクティブに対戦したり、他のユーザと一緒にインタラクティブにプレイしたりすることができるオンラインゲームも可能である。ゲームを複雑にしてプレイヤーの興味を引き付けるために、ゲーム及びハードウェアの製造業者らは、新しい手法を取り入れて、さらなるインタラクティビティを可能にしようとしてきた。

【0004】

コンピュータゲーム業界においては、ユーザとゲームシステムとの間のインタラクションを高めるゲームを開発する傾向が広がっている。より質の高いインタラクティブな体験を実現する１つの方法として、ゲームシステムによってその動作がトラッキングされる無線ゲームコントローラによってプレイヤーの動作をトラッキングし、この動作をゲームの入力として使用するようにする方法がある。一般的に言うと、ジェスチャ入力とは、コンピューティングシステム、ビデオゲームコンソール、スマート家電などの電子デバイスを、プレイヤーによって行われて、電子デバイスによってキャプチャされる何らかのジェスチャに反応させることを指す。

【0005】

より没入できるインタラクティブな体験を実現する別の方法は、ヘッドマウントディスプレイ（ＨＭＤ）を使用することである。ヘッドマウントディスプレイはユーザが着用し、仮想空間のビューなどのさまざまなグラフィックスを提示するように構成することができる。ヘッドマウントディスプレイ上で提示されるグラフィックスは、ユーザの視界の大部分またはすべてをカバーすることができる。よって、ヘッドマウントディスプレイは、ユーザの動作に応答するように、仮想環境の３次元リアルタイムビューをレンダリングするので、ＨＭＤは、視覚的に没入できるバーチャルリアリティ体験をユーザに提供することができる。ＨＭＤを着用しているユーザは、全方向への動作の自由がもたらされ、したがって、ＨＭＤを介して仮想環境の全方向へのビューを得ることができる。

【0006】

本開示の実施態様は、この状況においてなされたものである。

【発明の概要】

【0007】

本開示の実施態様は、エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピングに関するデバイス、方法、及びシステムを含む。

【0008】

いくつかの実施態様では、以下の操作、クライアントデバイスからネットワークを介して、バーチャルリアリティ観戦者によるヘッドマウントディスプレイを通してライブイベントを観戦する要求を受信することと、バーチャルリアリティ観戦者をライブイベントが開催される会場のシートに割り当てることと、会場内に位置付けられた複数のカメラから複数のビデオフィードを受信することと、シートに関連付けて保存されたビデオ処理パラメータにアクセスすることと、ビデオ処理パラメータを使用してビデオフィードを選択し、選択したビデオフィードをつぎ合わせて、会場内のシートの３次元位置によって実質的に定義される視点からの会場のビューを提供するコンポジットビデオを生成することと、ヘッドマウントディスプレイにレンダリングするために、ネットワークを介してコンポジットビデオをクライアントデバイスに送信することとを含む方法が提供される。

【0009】

いくつかの実施態様では、ビデオ処理パラメータは、つぎ合わせのためにどのビデオフィードを選択するか識別し、ビデオ処理パラメータは、ビデオ処理パラメータが関連付けられたシートの３次元位置と、ビデオフィードを提供するカメラの３次元位置とに基づいて定義される。

【0010】

いくつかの実施態様では、バーチャルリアリティ観戦者をシートに割り当てることは、会場内のシートの占有ステータスを識別することを含み、与えられたシートの占有ステータスは、与えられたシートが会場内で実際の観戦者によって占有されているかどうかを示し、バーチャルリアリティ観戦者が割り当てられるシートは、実際の観戦者によって占有されていないシートである。

【0011】

いくつかの実施態様では、与えられたシートの占有ステータスは、与えられたシートが別のバーチャルリアリティ観戦者によって占有されているかどうかをさらに示し、バーチャルリアリティ観戦者が割り当てられるシートは、別のバーチャルリアリティ観戦者によって占有されていないシートである。

【0012】

いくつかの実施態様では、バーチャルリアリティ観戦者をシートに割り当てることは、バーチャルリアリティ観戦者のソーシャルグラフにアクセスすることと、ソーシャルグラフのメンバーである別のバーチャルリアリティ観戦者に割り当てられたシートへの近さに基づいてシートを選択することとを含む。

【0013】

いくつかの実施態様では、方法は、シートに関連付けて保存されたオーディオ処理パラメータにアクセスすることと、オーディオ処理パラメータを使用して、会場内のシートの３次元位置によって実質的に定義される視点から聞こえることをシミュレートするオーディオデータを生成することと、オーディオデータをネットワークを介してクライアントデバイスに送信することとをさらに含む。

【0014】

いくつかの実施態様では、オーディオ処理パラメータは、会場内の１つまたは複数のマイクロフォンによってキャプチャされたオーディオを識別して、それからオーディオデータを生成し、オーディオ処理パラメータは、オーディオ処理パラメータが関連付けられたシートの３次元位置と、マイクロフォンの３次元位置とに基づいて定義される。

【0015】

いくつかの実施態様では、少なくとも１つのコンピュータで実行されるとき、前記少なくとも１つのコンピュータに、以下の操作、クライアントデバイスからネットワークを介して、バーチャルリアリティ観戦者によるヘッドマウントディスプレイを通してライブイベントを観戦する要求を受信することと、バーチャルリアリティ観戦者をライブイベントが開催される会場のシートに割り当てることと、会場内に位置付けられた複数のカメラから複数のビデオフィードを受信することと、シートに関連付けて保存されたビデオ処理パラメータにアクセスすることと、ビデオ処理パラメータを使用してビデオフィードを選択し、選択したビデオフィードをつぎ合わせて、会場内のシートの３次元位置によって実質的に定義される視点からの会場のビューを提供するコンポジットビデオを生成することと、ヘッドマウントディスプレイにレンダリングするために、ネットワークを介してコンポジットビデオをクライアントデバイスに送信することとを含む方法を実行させる、非一時的コンピュータ可読媒体上に具現化されたプログラム命令を有する非一時的コンピュータ可読媒体が提供される。

【0016】

いくつかの実施態様では、少なくとも１つのコンピューティングデバイスを含み、前記少なくとも１つのコンピューティングデバイスが、少なくとも１つのプロセッサと、少なくとも１つのメモリとを有し、前記少なくとも１つのコンピューティングデバイスが、クライアントデバイスからネットワークを介して、バーチャルリアリティ観戦者によるヘッドマウントディスプレイを通してライブイベントを観戦する要求を受信することと、バーチャルリアリティ観戦者をライブイベントが開催される会場のシートに割り当てることと、会場内に位置付けられた複数のカメラから複数のビデオフィードを受信することと、シートに関連付けて保存されたビデオ処理パラメータにアクセスすることと、ビデオ処理パラメータを使用してビデオフィードを選択し、選択したビデオフィードをつぎ合わせて、会場内のシートの３次元位置によって実質的に定義される視点からの会場のビューを提供するコンポジットビデオを生成することと、ヘッドマウントディスプレイにレンダリングするために、ネットワークを介してコンポジットビデオをクライアントデバイスに送信することとを実行するように構成された、システムが提供される。

【0017】

本開示の他の態様及び利点は、本開示の原理を例示する手段として図示する添付の図面を併用して、以下の課題を解決するための手段から明らかとなる。

【図面の簡単な説明】

【0018】

本開示は、添付の図面を併用して以下の記述を参照することによって、より良好に理解される場合がある。

【0019】

【図1A】本開示の実施態様による、エレクトロニックスポーツ（ｅスポーツ）会場の眺めを図示する。

【0020】

【図1B】本開示の実施態様による、会場の概念俯瞰図である。

【0021】

【図1C】本開示の実施態様による、ｅスポーツのライブイベントが開催されている会場のシートの一部を概念的に図示する。

【0022】

【図2】本開示の実施態様による、バーチャルリアリティ観戦のためのシート固有パラメータを決定するためにｅスポーツ会場の３次元空間をマッピングするためのプロセスを概念的に図示する。

【0023】

【図3】本開示の実施態様による、バーチャルリアリティ観戦者の視界を概念的に図示する。

【0024】

【図4】本開示の実施態様による、ｅスポーツイベントのバーチャルリアリティ観戦を提供するためのシステムを概念的に図示する。

【0025】

【図5】本開示の実施態様による、会場のシートが実際の観戦者によって占有されているかどうかを判定するための技術を図示する。

【0026】

【図6】本開示の実施態様による、バーチャルリアリティ観戦者が実際の会場内の状況において自分自身を見るための方法を図示する。

【0027】

【図7】本開示の実施態様による、実際の観戦者を検知して、バーチャルリアリティ観戦者のインタラクティビティを可能にするためのさらなる機能を有する会場内のシートを図示する。

【0028】

【図8】本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を介した仮想環境とのインタラクションのためのシステムを図示する。

【0029】

【図9A-1】本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を図示する。

【図9A-2】本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を図示する。

【0030】

【図9B】１つの実施態様による、クライアントシステムとインタフェースするＨＭＤユーザと、第２のスクリーンと呼ばれる第２のスクリーンディスプレイにコンテンツを提供するクライアントシステムとの１つの例を図示する。

【0031】

【図10】本開示の実施態様による、実行するビデオゲームと連動するＨＭＤの機能を概念的に図示する。

【0032】

【図11】本開示の実施態様による、ヘッドマウントディスプレイの構成要素を図示する。

【0033】

【図12】本開示のさまざまな実施態様による、ゲームシステム１２００のブロック図である。

【発明を実施するための形態】

【0034】

本開示の以下の実施態様は、エレクトロニックスポーツのバーチャルリアリティ観戦のための会場マッピングに関するデバイス、方法、及びシステムを提供する。しかしながら、本開示は、本明細書に記載の特定の詳細の一部またはすべてがなくても実施されてもよいことは当業者には明らかである。他の例では、本開示を不要に曖昧にしないように、よく知られているプロセスオペレーションは詳細に記載されていない。

【0035】

さまざまな実施態様では、方法、システム、画像キャプチャオブジェクト、センサ、及び関連するインタフェースオブジェクト（たとえば、コントローラ、手袋、周辺機器など）は、ディスプレイスクリーン上に略リアルタイムにレンダリングされるように構成されたデータを処理するように構成される。大まかに言うと、実施態様は、ヘッドマウントディスプレイ（ＨＭＤ）であるディスプレイに関して記載される。しかしながら、他の実施態様では、ディスプレイは、第２のスクリーン、携帯装置のディスプレイ、コンピュータのディスプレイ、ディスプレイパネル、（たとえば、コンテンツを見ているまたはインタラクティブな体験を共有している）１人または複数人のリモート接続されたユーザのディスプレイなどであってもよい。

【0036】

図１Ａは、本開示の実施態様による、エレクトロニックスポーツ（ｅスポーツ）会場の眺めを図示する。ｅスポーツは一般に、さまざまな観戦者またはユーザによって観戦される、競争的なまたはプロフェッショナルなゲーム、特に、マルチプレイヤービデオゲームを指す。近年、ｅスポーツの人気が高まるにつれて、同様に、実際の会場でのｅスポーツイベントのライブ観戦に対する関心も高まっており、その多くの会場では数千人が座ることが可能である。適切な会場は、観戦者がライブ観戦するためのｅスポーツイベントを開催可能である、例として限定することなしに、アリーナ、スタジアム、劇場、コンベンションセンター、体育館、コミュニティセンターなどを含む、任意の場所とすることができる。

【0037】

しかしながら、控えめな実際の会場でのトーナメントなどのｅスポーツイベントの開催及び制作は、直接の観戦を望むすべての人々が直接観戦できるというわけではないことを意味する。したがって、リモート観戦者がｅスポーツイベントが行われている会場に直接居るようにｅスポーツイベントを体験することができるようなライブ体験を、リモート観戦者に提供することが望ましい。

【0038】

引き続き図１Ａを参照すると、ｅスポーツイベントを開催している会場１００の眺めが示されている。典型的なｅスポーツイベントは、プレイヤーのチームがマルチプレイヤービデオゲームにおいて互いに競い合うトーナメントである。示された実施態様では、第１のチームはプレイヤー１０２ａ、１０２ｂ、１０２ｃ、及び１０２ｄからなり、第２のチームはプレイヤー１０４ａ、１０４ｂ、１０４ｃ、及び１０４ｄからなる。第１のチーム及び第２のチームは、アナウンサー／司会者１１０とともにステージ１０６上に位置する。第１のチーム及び第２のチームは、会場１００で、マルチプレイヤービデオゲームの競争的なゲームプレイにおいて互いに交戦しており、観戦者１１３は、そのイベントを見るために居る。

【0039】

大きなディスプレイ１０８ａ、１０８ｂ、及び１０８ｃは、ゲームプレイのビューを観戦者１１３に提供する。ディスプレイ１０８ａ、１０８ｂ、及び１０８ｃは、ゲームプレイコンテンツを観戦者に提示することが可能である、例として限定することなしに、ＬＥＤディスプレイ、液晶ディスプレイ、ＤＬＰなどを含む、当該技術分野で知られている任意の種類のディスプレイであってもよいことが理解される。いくつかの実施態様では、ディスプレイ１０８ａ、１０８ｂ、及び１０８ｃは、ゲームプレイビデオ／画像が１つまたは複数のプロジェクタ（図示せず）によって映写されるディスプレイスクリーンである。ディスプレイ１０８ａ、１０８ｂ、及び１０８ｃは、例として限定することなしに、ゲームプレイコンテンツ、ビデオゲームのプレイヤービュー、ゲームマップ、ビデオゲーム観戦者のビュー、解説者のビュー、プレイヤー／チーム成績及びスコア、広告などを含む、あらゆる種類のコンテンツを提示するように構成することができることは認識されるべきである。

【0040】

さらに、解説者１１２ａ及び１１２ｂは、ゲームプレイが発生したときのリアルタイムでのゲームプレイの説明、ゲームプレイの分析の提供、特定の動作のハイライトなどの、ゲームプレイについての解説を提供する。

【0041】

図１Ｂは、本開示の実施態様による、会場１００の概念俯瞰図である。先に説明したように、プレイヤーの第１のチーム及び第２のチームは、ステージ上に位置し、マルチプレイヤービデオゲームのゲームプレイにおいて交戦している。複数のシート１１４は、概念的に示されており、それらのシートは、観戦者が直接ｅスポーツイベントに参加して観戦するときに利用可能である。前述のように、観戦者１１３にゲームプレイ及び他のコンテンツのビューを提供する大きなディスプレイ１０８ａ、１０８ｂ、及び１０８ｃが存在している。さらに、ディスプレイ１０８ａ、１０８ｂ、及び１０８ｃ上でレンダリングされる任意のコンテンツに関連付けられたまたはそれらに関するオーディオを含む、観戦者が聞くためのオーディオを提供するために、会場の至る所に分散されてもよい複数のスピーカ１１８が存在している。

【0042】

さらにまた、本開示の実施態様による、処理、配布、ストリーミング、ならびに／または観戦者による直接ライブ及び／もしくはリモートでの観戦のためにｅスポーツイベントのビデオをキャプチャするように構成された、会場１００の至る所に分散された任意の数のカメラ１１６が存在している。カメラ１１６のいくつかは、位置及び／または方向を固定してもよく、一方、カメラ１１６のいくつかは、位置及び／または方向を変えることができ、新しい位置への移動及び／または新しい方向への変更が可能であってもよいことが理解される。カメラ１１６はさまざまな視界を有してもよいことが理解される。さらに、カメラのいくつかは、３６０度の視界をキャプチャすることが可能な３６０度カメラであってもよい（たとえば、３６０度の水平視界を１８０度の垂直視界と組み合わせて、完全な球面視界を提供することができる）。このような３６０度のカメラは通常、単数のデバイスパッケージに複数の画像キャプチャデバイスを含む。いくつかの実施態様では、複数のカメラは、実質的にまたはほぼ同じ位置に構成されており、それらのフィードをつぎ合わせると、その位置の視点からの３６０度の視界が可能になる。

【0043】

本開示の実施態様により、ｅスポーツイベントの「ライブ」ビュー体験を、バーチャルリアリティ観戦者１２０に提供することができる。すなわち、バーチャルリアリティ観戦者１２０には、ｅスポーツイベントに直接参加して、会場１００の特定のシート１２２（または、指定された位置）を占有する体験をシミュレートする、ヘッドマウントディスプレイ（ＨＭＤ）（または、バーチャルリアリティヘッドセット）を通してのビューが提供される。大まかに言うと、バーチャルリアリティ観戦者のシート１２２の３次元（３Ｄ）位置を決定することができ、さまざまなカメラ１１６のうちの特定のカメラからのビデオフィードは、シート１２２（または、バーチャルリアリティ観戦者が割り振られた指定された位置）の視点からの会場１００のバーチャルリアリティビューを提供するようにつぎ合わせることができる。

【0044】

さらにまた、詳細には示されていないが、各カメラは、会場１００からのオーディオをキャプチャするための少なくとも１つのマイクロフォンを含んでもよい。また、会場１００の至る所に分散されたさらなるマイクロフォンがあってもよい。これらのマイクロフォンのうちの少なくともいくつかからのオーディオも、シート１２２を占有する観戦者の視点から聞こえるものをシミュレートするオーディオを提供するように、バーチャルリアリティ観戦者のシート１２２の３次元位置に基づいて処理することができる。

【0045】

図１Ｃは、本開示の実施態様による、ｅスポーツのライブイベントが開催されている会場１００のシートの一部１２４を概念的に図示する。示されるように、バーチャルリアリティ観戦者１２０には、会場１００内のシート１２２の占有をシミュレートする、ＨＭＤ１５０を通してのビューが提示される。いくつかの実施態様では、バーチャルリアリティ観戦者１２０に提供されるｅスポーツイベントのビューは、ネットワーク１４４を介したストリーミングサービス１４２から提供される。すなわち、ストリーミングサービス１４２は、ＨＭＤ１５０上でレンダリングするためにビデオをストリーミングするように構成された１つまたは複数のサーバコンピュータを含み、レンダリングされたビデオは、ｅスポーツイベントのビューをバーチャルリアリティ観戦者１２０に提供する。図示された実施態様に特に示されていないが、ストリーミングサービス１４２は最初に、バーチャルリアリティ観戦者１２０のローカルにあるコンピューティングデバイスに、ネットワーク１４４を介して、データの形態でビデオを送信してもよく、コンピューティングデバイスが、ＨＭＤ１５０にレンダリングするためにデータを処理してもよいことは認識されるべきである。

【0046】

ストリーミングサービス１４２は、ＨＭＤ１５０上でレンダリングするためにストリーミングされる１つまたは複数のビューをバーチャルリアリティ観戦者１２０が選択または申込みすることができるインタフェースを、バーチャルリアリティ観戦者１２０に提供してもよい。前述のように、これらのビューは、バーチャルリアリティ観戦者１２０に没入できる観戦体験を提供するイベント／会場の３６０度ビューとすることができ、そのビューは会場内の特定のシートまたは位置の視点からのものである。

【0047】

提供されるビューがバーチャルリアリティ観戦者１２０の動作にリアルタイムに反応することは認識されるべきであり、そのため、たとえば、バーチャルリアリティ観戦者１２０が左を向いた場合、バーチャルリアリティ観戦者１２０は（ＨＭＤ１５０を通して）シート１２２の左のビューを見て、バーチャルリアリティ観戦者１２０が右を向いた場合、バーチャルリアリティ観戦者１２０は（ＨＭＤ１５０を通して）シート１２２の右のビューを見るなどする。いくつかの実施態様では、バーチャルリアリティ観戦者１２０に、３６０度の水平視界を含む全方向へのｅスポーツ会場１００の可能なビューが提供される。いくつかの実施態様では、バーチャルリアリティ観戦者１２０に、いくつかの実施態様における約２７０度の水平視界、または、いくつかの実施態様における約１８０度の水平視界などの全方向のサブセットへのｅスポーツ会場１００の可能なビューが提供される。いくつかの実施態様では、提供される視界から真上または真下の領域を除外してもよい。いくつかの実施態様では、ｅスポーツ会場の視界から除外される領域には、たとえば、広告、スプラッシュ画面、ロゴコンテンツ、ゲーム関連画像またはビデオなどの他のコンテンツが提供されてもよい。

【0048】

いくつかの実施態様では、バーチャルリアリティ観戦者１２０は、インタフェースを通してシートを選択することができ、バーチャルリアリティ観戦者は、自身が選択した視点からｅスポーツイベントを見てもよい。いくつかの実施態様では、選択可能なシートは、ｅスポーツイベントで直接存在する観戦者によって物理的に占有されていないシートである。他の実施態様では、占有されていないシート及び占有されているシートはどちらも、バーチャルリアリティ観戦のために選択可能である。

【0049】

いくつかの実施態様では、ストリーミングサービス１４２は、バーチャルリアリティ観戦者を特定のシートに自動的に割り当ててもよい。いくつかの実施態様では、これは、（たとえば、利用可能なシートの既定の順位またはランキングによる）利用可能な最高のシートであってもよい。

【0050】

いくつかの実施態様では、バーチャルリアリティ観戦者は、観戦者のさまざまな特性に基づいて、他の観戦者の近くのシートに割り当てられてもよい。いくつかの実施態様では、バーチャルリアリティ観戦者は、ソーシャルネットワーク／グラフにおけるそのメンバーシップに少なくとも部分的に基づいて、シートに割り当てられる。たとえば、引き続き図１Ｃを参照すると、別のバーチャルリアリティ観戦者１３２は、（たとえば、ソーシャルグラフにおけるメンバーシップによって定義される）ソーシャルネットワーク１３０上のバーチャルリアリティ観戦者１２０の友人であってもよい。ストリーミングサービス１４２は、この情報を使用して、バーチャルリアリティ観戦者１２０が割り当てられたシート１２２の隣にあるシート１３４などの、バーチャルリアリティ観戦者１２０に近いシートにバーチャルリアリティ観戦者１３２を割り当ててもよい。示された実施態様では、これによって、仮想的に「座り」、バーチャルリアリティ観戦者１２０が右を向いたとき、バーチャルリアリティ観戦者１２０は、自身の隣に座るバーチャルリアリティ観戦者１３２のアバターを見ることができる。

【0051】

いくつかの実施態様では、シート選択及び／または割当のためのインタフェースにより、ソーシャルネットワーク１３０上の友人のうちの１人または複数人もｅスポーツイベントに仮想的に参加していることを所定のユーザに知らせてもよく、友人のうちの１人または複数人の近くのシートに自動的に割り当てられる選択肢を提供してもよい。このようにして、バーチャルリアリティ観戦者と同じイベントに参加している友人は、イベントを一緒に楽しむことができる。

【0052】

さまざまな実施態様では、バーチャルリアリティ観戦者は、ユーザプロファイル、年齢、ジオロケーション、主要言語、所定のビデオゲームの経験、関心事、性別などの、さまざまな要因のうちの任意のものに基づいて、互いに近くのシートに割り当てることができる。

【0053】

いくつかの実施態様では、これらの概念は、このような実際の観戦者についての情報を知ると、（バーチャルリアリティ観戦者とは対照的に、物理的に存在する）直接の「実際の」観戦者を含むように拡張することができる。たとえば、シート１３６に座っている実際の観戦者１３８がバーチャルリアリティ観戦者１２０の友人であると判定されてもよく、その結果、バーチャルリアリティ観戦者１２０は、実際の観戦者１３８のシート１３６の隣にあるシート１２２に割り当てられてもよい（または、割り当てられるように申し出てものよい）。

【0054】

ＨＭＤを通してコンテンツを見ながら、入力を提供するために、バーチャルリアリティ観戦者は、１つまたは複数のコントローラデバイスを使用してもよいことが理解される。示された実施態様では、バーチャルリアリティ観戦者１２０、１３２、及び１４０はそれぞれ、コントローラデバイス１５２、１５６、及び１６０を操作して、入力を提供し、たとえば、バーチャルリアリティ観戦のためのビデオのストリーミングの開始及び停止、観戦のためのｅスポーツ会場１００内のシートの選択などを行う。

【0055】

いくつかの実施態様では、観戦者は、仮想または現実にかかわらず、ｅスポーツ会場１００内で互いに近くにいるかどうか互いに聞いてもよいことが理解される。たとえば、バーチャルリアリティ観戦者１２０及び１３２は、バーチャルリアリティ観戦者のそれぞれのローカル環境から（たとえば、ＨＭＤ１５０及び１５４のマイクロフォン、コントローラ１５２及び１５６、または、観戦者１２０及び１３２のローカル環境の他の場所を介して）キャプチャされたオーディオが他のオーディオストリームに提供されるので、互いに聞くことができる。いくつかの実施態様では、バーチャルリアリティ観戦者１２０は、ローカルのマイクロフォンによってキャプチャされた実際の観戦者１３８からの音を聞いてもよい。

【0056】

いくつかの実施態様では、バーチャルリアリティ観戦者は、実際の観戦者によって物理的に占有されたシートを占有してもよい。たとえば、示された実施態様では、バーチャルリアリティ観戦者は、実際の観戦者１３８によって物理的に占有されたシート１３６を占有してもよい。バーチャルリアリティ観戦者１４０には、シート１３６の位置にいることをシミュレートするビューが提供されてもよい。バーチャルリアリティ観戦者１４０が右を向くと、観戦者１２０のアバターを見てもよく、同様に、観戦者１２０が自身の左を向くと、実際の観戦者１３８の代わりに観戦者１４０のアバターを見てもよい。

【0057】

図２は、本開示の実施態様による、バーチャルリアリティ観戦のためのシート固有パラメータを決定するためにｅスポーツ会場の３次元空間をマッピングするためのプロセスを概念的に図示する。会場１００の３次元（３Ｄ）空間２００が、図示された実施態様の左に示されている。本開示の実施態様により、参照番号２１０で示されるように、会場空間２００の３次元空間マップは、バーチャルリアリティ観戦のためのシート固有パラメータの決定を容易にするために生成することができる。

【0058】

会場１００の空間２００の３次元空間マップを生成するためにさまざまな技術が利用されてもよい。いくつかの実施態様では、１つまたは複数のセンサデバイス２０２からのデータが、３次元空間マップを生成するために処理される。さまざまな実施態様では、センサデバイス２０２は、画像キャプチャデバイス（たとえば、カメラ）、深さ検知カメラ、超音波センサ、ＩＲカメラなどのうちのいずれかを含むことができる。会場空間２００の３次元空間マップにより、会場１００内のそれぞれのシート１１４の３Ｄ座標を決定することができる。いくつかの実施態様では、会場の各シートは、独自の割り当てられた識別子を有する。参照番号２１２で示されるように、各シートについて、対応する３次元座標を、シートの識別子にマッピングすることができる。いくつかの実施態様では、３次元空間マップの生成を容易にするために、例として限定することなしに、Ｗｉ－Ｆｉベースの位置決め、磁気的な位置決め、視覚的マーカ及び／または視覚的特徴の視覚認識などを含む、さまざまなローカライゼーション／位置決め技術が利用されてもよい。このようなローカライゼーション／位置決め技術を利用するセンサは、空間におけるシート位置の３次元位置を決定するために、シート位置に置かれてもよい。

【0059】

いくつかの実施態様では、３Ｄ空間マップは、会場１００の３Ｄ空間２００におけるカメラ１１６の３次元位置及び方向も含む。この情報を使用して、次に、参照番号２１４で、各シートのためのビデオ処理パラメータが生成される。与えられたシートのために、ビデオ処理パラメータは、３次元空間におけるビュー方向に基づいて、与えられたシートの視点から（むしろ、与えられたシートに対応する３次元座標の視点から）の会場空間のビューを生成するために、どのカメラのビデオフィードをつぎ合わせるか、及び、それらをどのようにつぎ合わせるかを定義する。方向を変えることができる（たとえば、オペレータによって制御される）カメラについては、与えられたシートに関連する場合、ビデオ処理パラメータは、カメラの方向に応じて、可能なビデオフィードソースとしてそのようなカメラを識別してもよく、ビデオフィードの空間投影、整列、混合、アンカポイントなどに関するパラメータなど、そのようなカメラからのビデオを（バーチャルリアリティ観戦者のビュー方向に基づいて）どのようにつぎ合わせるかをさらに定義してもよい。ビデオつぎ合わせプロセスは、さまざまな実施態様では、３次元または２次元ビデオを生成するように構成されてもよいことが理解される。３次元ビデオの生成には、各目のための個別のビデオの生成を伴うことができる。

【0060】

参照番号２１６で示されるように、本開示の実施態様により、オーディオ処理パラメータが会場１００内の各シートに対して生成される。いくつかの実施態様では、３次元空間は、３次元空間マップを使用して音響的にモデル化され、３次元空間の音響特性を決定する。いくつかの実施態様では、マイクロフォンは、音響特性を決定するために、会場内のさまざまな位置に置かれる。たとえば、音は、会場のスピーカ１１８によって再生されてもよく、マイクロフォンから録音されたオーディオは、マイクロフォンの知られている位置を考慮して分析することができ、音響特性を決定して、３次元空間の音響モデリングを可能にする。これは、各シートに対するオーディオ処理パラメータを生成するために使用されてもよい。与えられたシートのためのオーディオ処理パラメータは、与えられたシートに割り当てられたバーチャルリアリティ観戦者にオーディオを提供するために、さまざまなソースからのオーディオ、たとえば、ゲームプレイオーディオ、解説者オーディオ、会場１００内のライブのマイクロフォンからのオーディオなどをどのように処理するかを定義することができる。

【0061】

参照番号２１８で示されるように、与えられたシートに対するビデオ処理パラメータ及びオーディオ処理パラメータは、そのシートの識別子（ＩＤ）と関連付けて保存される。いくつかの実施態様では、与えられたシートに対するビデオ処理パラメータ及びオーディオ処理パラメータは、会場内の与えられたシートのシートプロファイルの少なくとも一部を形成する。

【0062】

前述の会場空間のマッピングは、会場内のシートに関して記載されたが、本概念は、会場内の任意の指定された位置に適用可能であることは認識されるべきである。いくつかの実施態様では、たとえば、指定された位置の視点からの３６０度のビューを提供するために、（会場内の特定のシートと一致してもよくまたは一致しなくてもよい）会場内の１つまたは複数の指定された位置が識別され、ビデオ処理パラメータ及びオーディオ処理パラメータが指定された位置のために上記により決定される。いくつかの実施態様では、バーチャルリアリティ観戦者は、ライブイベントを観戦するために、そのような使用可能な位置から選択してもよい。すなわち、バーチャルリアリティ観戦者は、自身のＨＭＤを通して観戦するためにライブイベントをストリーミングするビューまたはビューの組を選択してもよい。

【0063】

図３は、本開示の実施態様による、バーチャルリアリティ観戦者の視界を概念的に図示する。示されるように、バーチャルリアリティ観戦者１２０は、図示された実施態様において概念的に表される３６０度の視界３００を有する。３６０度の視界３００は、例として限定することなしに、いくつかの実施態様では水平視界、または、いくつかの実施態様では垂直視界、または、さまざまな実施態様では視界の任意の他の平面の表現とすることができる。

【0064】

上で示されたように、バーチャルリアリティ観戦者１２０に提供されるｅスポーツ会場１００のビューは、ｅスポーツ会場１００内の複数のカメラからのビデオフィードからつぎ合わせることができる。示された実施態様では、カメラ３０４ａは視界３０６ａを有するビデオフィードを提供し、カメラ３０４ｂは視界３０６ｂを有するビデオフィードを提供し、カメラ３０４ｃは視界３０６ｃを有するビデオフィードを提供し、カメラ３０４ｄは視界３０６ｄを有するビデオフィードを提供する。バーチャルリアリティ観戦者１２０が見ている方向に応じて、異なるカメラからのビデオフィードのうちのさまざまなものが、つぎ合わせるために選択されて、バーチャルリアリティ観戦者１２０に適切なビューを提供する、ＨＭＤ（１５０）にレンダリングするためのビデオを形成する。示された実施態様では、バーチャルリアリティ観戦者１２０は、視界３０２を有するようにある方向を見るように示されている。これに基づき、バーチャルリアリティ観戦者１２０が見るためにレンダリングされるビデオは、カメラ３０４ａ、３０４ｂ、及び３０４ｄのビデオフィードからつぎ合わされてもよい。カメラ３０４ｃからのビデオフィードは、現在のビューを提供するために使用されないが、それは、バーチャルリアリティ観戦者の視界３０２に含まれる領域の部分をまったくカバーしていないためである。

【0065】

さまざまなカメラは、３次元会場空間内で異なる位置を有し、したがって、異なる視点を有することが理解される。よって、特定のバーチャルリアリティ観戦者にビューを提供するための、これらのカメラからのビデオフィードの使用または不使用（及び、使用される場合のつぎ合わせの方法）は、それらの方向性及び／または視点位置にさらに依存してもよい。たとえば、いくつかの実施態様では、バーチャルリアリティ観戦者によって現在見られている領域をカバーするが、バーチャルリアリティ観戦者の視線方向と略反対方向のビデオフィードは、バーチャルリアリティ観戦者にビデオを提供するために使用されない。

【0066】

示されたように、いくつかのカメラは方向を固定してもよく、一方、他のカメラは方向を変えることができる。したがって、いくつかの実施態様では、カメラの現在の方向情報が、取得されて、所定のカメラのビデオフィードを使用するべきかどうか、及び／または、選択された場合に所定のカメラのビデオフィードをどのように使用するかを決定するために使用される。

【0067】

いくつかの実施態様では、所定のカメラの方向は、バーチャルリアリティ観戦者の視界に基づいて調整される。たとえば、カメラの方向は、その視界がバーチャルリアリティ観戦者によって見られている領域の少なくとも一部をカバーするように調整されてもよい。いくつかの実施態様では、所定のカメラの方向は、複数のバーチャルリアリティ観戦者の視界に基づいて、その視界を最適化するように調整される。いくつかの実施態様では、バーチャルリアリティ観戦者の視界の密度マッピングが決定され、それは、空間のさまざまな領域が観戦されている相対量を識別及び／または定量化する。この情報に基づき、カメラの方向は、たとえば、より高い程度で観戦されている空間の領域を優先するように決定及び調整することができる。

【0068】

さまざまなカメラからの利用可能なビデオフィードが、所定のバーチャルリアリティ観戦者が見ているすべての領域の範囲（必要な方向及び／または視点を含む）を提供しなくてもよいことが理解される。利用可能なビデオフィードに基づいて提供できるカバー領域は、ライブビューで利用可能である会場空間の領域を定義する。引き続き図３を参照すると、利用可能なカメラの視界３０６ａ、３０６ｂ、３０６ｃ、及び３０６ｄは、利用可能なカメラからのビデオフィードによってもたらされる会場空間の範囲によって決定される、会場空間のリアルタイムライブビューを提供できる３６０度の視界３００の領域であるライブビュー領域３０８を一緒に定義する。

【0069】

いくつかの実施態様では、ライブビューがもたらされない残りの領域は、図示された実施態様で予め記録してあるビュー領域３１０を定義する、予め記録してあるビューで提示することができる。すなわち、領域３１０のビデオまたは画像は、より早い時間（たとえば、カメラの１つまたは複数が領域３１０の少なくとも一部をカバーするように向けられたとき）から記録されてもよく、予め記録してあるビデオ／画像は、つぎ合わせて、領域３１０のビューを提供するためにレンダリングすることができる。いくつかの実施態様において、バーチャルリアリティ観戦者１２０の視界がライブビュー領域３０８及び予め記録してあるビュー領域３１０の両方の部分を含むとき、バーチャルリアリティ観戦者１２０に提示されるビューは、ライブビデオ及び予め記録してあるビデオ／画像から生成されるコンポジットであることが理解される。

【0070】

他の実施態様では、ライブビューのために利用できないバーチャルリアリティ観戦者の視界３００の領域は、たとえば、広告／スポンサーコンテンツ、ゲーム関連コンテンツなどの他のコンテンツが提示されてもよい。

【0071】

引き続き図３を参照すると、参照番号３２０で示されるように、さまざまなカメラからのビデオフィードは、バーチャルリアリティ観戦者の現在の視界３０２に基づいて、バーチャルリアリティ観戦者１２０に適切なビューを提供するビデオを形成するためにつぎ合わされてもよい。さらにまた、参照番号３２２で示されるように、つぎ合わされたビデオは、送信されるデータ量を削減する圧縮プロセスなどのさらなる処理を受けてもよい。いくつかの実施態様では、圧縮プロセスはフォービエイテッドレンダリングを含んでもよく、それによって、たとえば、ＨＭＤ１５０によって検出された視線方向情報から判定されるような、バーチャルリアリティ観戦者１２０が見ていると判定された画像フレームの領域は、たとえば、増加させた解像度、更新頻度、ビットレート、カラー、ダイナミックレンジ、シャープネス、コントラスト、または、画質に影響を与える任意の他のパラメータの使用を通して、他の領域よりも高い画質でレンダリングされる。圧縮プロセスの出力は、バーチャルリアリティ観戦者１２０のためにビデオを定義する画像フレーム３２４である。図示された実施態様に示されるように、ビデオ画像フレームの領域３２６は、領域３２８よりも高い画質でレンダリングされる。

【0072】

次いで、参照番号３３０で示されるように、圧縮画像フレームは、バーチャルリアリティ観戦者のＨＭＤ１５０を通した表示のために送信／ストリーミングされる。

【0073】

図４は、本開示の実施態様による、ｅスポーツイベントのバーチャルリアリティ観戦を提供するためのシステムを概念的に図示する。説明の容易さのために特に詳細には記載しないが、本明細書に記載されるさまざまなシステム、構成要素、及びモジュールは、プログラム命令を実行するための１つまたは複数のプロセッサを有する１つまたは複数のコンピュータまたはサーバ、ならびに、データ及び前記プログラム命令を保存するための１つまたは複数のメモリ装置によって定義されてもよいことが理解される。このようなシステム、構成要素、及びモジュールはいずれも、任意の他のこのようなシステム、構成要素、及びモジュールと通信してもよく、かつ／または、必要に応じて、本開示の実施態様の機能を促進するために、１つまたは複数のネットワークを介して、データを送信／受信してもよいことは認識されるべきである。さまざまな実施態様では、システム、構成要素、及びモジュールのさまざまな部分は、互いにローカルにあってもよく、または、１つまたは複数のネットワークを介して分散されてもよい。

【0074】

示された実施態様では、バーチャルリアリティ観戦者１２０は、ＨＭＤ１５０を通してシステムとインタフェースし、さらなるインタラクティビティ及び入力のために１つまたは複数のコントローラデバイス１５２を使用する。いくつかの実施態様では、ＨＭＤを介してバーチャルリアリティ観戦者１２０に表示されるビデオイメージは、本明細書で説明されるようなさまざまなシステム及びデバイスに（インターネットを含んでもよい）ネットワーク４０２を介して通信するコンピューティングデバイス４００から受信される。

【0075】

ｅスポーツイベントを観戦するためのアクセスを開始するために、バーチャルリアリティ観戦者１２０は、ｅスポーツイベントを観戦する要求を処理するイベントマネージャ４０４にアクセスしてもよい。イベントマネージャ４０４は、バーチャルリアリティ観戦者１２０をｅスポーツイベントの会場内の特定のシートに割り当てるように構成されたシート割当ロジック４０５を含むことができる。シート割当ロジック４０５は、ユーザデータベース４０７に保存された観戦者のユーザプロファイルデータ４０８に基づくことを含み、さまざまな情報を利用して、バーチャルリアリティ観戦者１２０をどのシートに割り当てるか決定することができる。例として、このようなユーザプロファイルデータ４０８は、年齢、ジオロケーション、性別、国籍、主要言語、職業などのユーザについての人口統計情報、及び、関心事、好み、プレイしたゲーム／所有するゲーム／購入したゲーム、ゲーム経験レベル、インターネットの閲覧履歴などの他の種類の情報を含むことができる。

【0076】

いくつかの実施態様では、シート割当ロジック４０５は、ソーシャルネットワーク４１０から得られた情報を使用して、たとえば、ソーシャルネットワーク上の友人である観戦者を互いに近くのまたは隣のシートに割り当てることができる。このような情報を取得するために、ソーシャルネットワーク４１０は、（ソーシャルグラフメンバーシップ情報を含む）ユーザについてのソーシャル情報を、ソーシャルデータ４１４としてソーシャルデータベース４１２に保存してもよい。いくつかの実施態様では、シート割当ロジック４０５は、（たとえば、所定のユーザ／観戦者のソーシャルグラフにアクセスする）ソーシャルデータにソーシャルネットワーク４１０のＡＰＩを介してアクセスしてもよい。

【0077】

いくつかの実施態様では、シート割当ロジック４０５は、どのシートが利用可能か、たとえば、実際の及び／または仮想の観戦者によって占有されていないか判定するように構成され、このような情報に少なくとも部分的に基づいて、バーチャルリアリティ観戦者を割り当てる。いくつかの実施態様では、シート割当ロジック４０５は、バーチャルリアリティ観戦者を、会場内のシートの既定のランキングから判定される利用可能な最高のシートに自動的に割り当てるように構成される。

【0078】

シート割当ロジック４０５は、所定のバーチャルリアリティ観戦者をどのシートに割り当てるか判定する任意の他の要因（複数可）とともに、本明細書に記載された任意の要因を使用することができることが理解される。いくつかの実施態様では、利用可能なシートは、さまざまな要因に基づいてスコア化され、シート割当は、そのスコアに基づいて決定される（たとえば、バーチャルリアリティ観戦者は最も高いスコアのシートに割り当てられる）。いくつかの実施態様では、シート割当ロジック４０５は、観戦者１２０による受諾のためにお勧めのシートを提示し、観戦者１２０は、それを受諾すると、お勧めのシートに割り当てられる。

【0079】

他の実施態様では、バーチャルリアリティ観戦者１２０は、バーチャルリアリティ観戦者が利用可能なシートから与えられるシートを選択することができるように構成されたシート選択ロジック４０６によって提供されるインタフェースにアクセスしてもよい。

【0080】

会場データベース４１６は、１つまたは複数の会場についてのデータを会場データ４１８として保存する。会場データ４１８は、３次元空間マップ、カメラ、スピーカ、マイクロフォンの位置などの、会場を説明する任意のデータを含むことができる。会場データ４１８は、シートプロファイルを独自のシート識別子に関連付けるテーブル４２０をさらに含んでもよい。いくつかの実施態様では、各シートは、その独自のシートプロファイルを有する。いくつかの実施態様では、（たとえば、互いに隣接する）シートの群は、同じシートプロファイルを共有してもよい。例示的なシートプロファイル４２２は、シートの３次元位置４２４、ビデオ処理パラメータ４２６、及びオーディオ処理パラメータ４２８などの情報を含む。

【0081】

ビデオプロセッサ４３２は、バーチャルリアリティ観戦者のビュー方向に従ってバーチャルリアリティ観戦者１２０にビューを提供するコンポジットビデオを生成するために、ビデオ処理パラメータ４２６及び／または観戦者の割り当てられたシートの３次元位置４２４を使用して、カメラ１１６からのビデオフィード４３０をつぎ合わせてもよいステッチプロセッサ４３４を含む。いくつかの実施態様では、空間モデリングモジュール４３８は、ビデオフィード４３０のつぎ合わせを容易にするために、（たとえば、カメラの位置及び観戦者のシートの位置を含む）会場の３次元環境の空間モデルを生成し、それにアクセスする。ビデオフィードのつぎ合わせは、観戦者に視点の正確なビデオを提供するために、ビデオフィードの空中投影を伴ってもよい。いくつかの実施態様では、結果として得られるコンポジットビデオは３次元ビデオであるが、その一方で、他の実施態様では、コンポジットビデオは２次元ビデオである。

【0082】

圧縮プロセッサ４３６は、未加工のコンポジットビデオを圧縮するように構成され、当該技術分野において知られているビデオ圧縮技術、ならびに、フォービエイテッドレンダリングを使用して、ストリーミングのために必要なデータ量を削減する。次いで、圧縮ビデオデータは、ストリーミングサーバ４４８によって、ネットワーク４０２を介して、コンピューティングデバイス４００までストリーミングされ、コンピューティングデバイス４００は、バーチャルリアリティ観戦者１２０が見るためにＨＭＤ１５０に対してビデオを処理及び／またはレンダリングする。

【0083】

いくつかの実施態様では、ビデオフィードは、カメラから、ビデオ処理も実行するカメラ／会場に対してローカルである１つまたは複数のコンピューティングデバイスまで送信される。いくつかの実施態様では、カメラは、このようなコンピューティングデバイスに直接接続される。いくつかの実施態様では、ビデオフィードは、（たとえば、ローカルエリアネットワーク（ＬＡＮ）、Ｗｉ－Ｆｉネットワークなどを含む）ローカルネットワークを介して、このようなコンピューティングデバイスに送信される。いくつかの実施態様では、コンピューティングデバイスはリモートに配置され、ビデオフィードは、インターネット、ＬＡＮ、ワイドエリアネットワーク（ＷＡＮ）などの１つまたは複数のネットワークを介して送信されてもよい。

【0084】

オーディオプロセッサ４４４は、圧縮されたビデオデータとともにストリーミングされるオーディオソース４４０からのオーディオデータ４４２を処理するように構成される。処理は、オーディオ処理パラメータ４２８及び／または観戦者のシートの３次元位置４２４を使用してもよい。いくつかの実施態様では、オーディオモデリングモジュール４４６は、オーディオデータ４４２を処理するために会場の３次元空間に基づくオーディオモデルを利用する。このようなオーディオモデルは、オーディオが現実的な方法でバーチャルリアリティ観戦者にレンダリングされるように、会場内の割り当てられたシートの音響効果をシミュレートしてもよい。例として限定することなしに、他のバーチャルリアリティ観戦者からの音は、バーチャルリアリティ観戦者１２０のシート位置に対する方向性だけでなく、会場内のシート位置に適した音響効果（たとえば、遅延、残響など）もシミュレートするために処理されてもよい。前述のように、オーディオソースは、ゲームプレイオーディオ、解説者（複数可）、家の音楽、会場内のマイクロフォンからのオーディオなどを含むことができる。

【0085】

図５は、本開示の実施態様による、会場のシートが実際の観戦者によって占有されているかどうかを判定するための技術を図示する。示された実施態様では、会場１００内のさまざまなシート５００、５０２、及び５０４が示されている。シート５０２は、実際の観戦者５０６によって占有されている。カメラ５１２は、シートの画像をキャプチャするように構成することができる。キャプチャ画像は、与えられたシートが占有されているというインジケータを求めて画像を検索する画像認識プロセス５１４に従って分析することができる。例として限定することなしに、画像認識プロセスは、与えられたシートを占有する人の存在を識別する顔認識または他の形態の人物認識、与えられたシートの近くで発生する動きを検出する動き検出、空のシート構成の画像認識などを含んでもよい。

【0086】

いくつかの実施態様では、シートは、画像認識プロセス５１４によって認識することができるタグを含んでもよい（または、シートに取り付けてもよい）。示された実施態様では、タグ５０８はシート５００に取り付けられ、タグ５１０はシート５０４に取り付けられている。シート５０２は、実際の観戦者５０６によって占有されており、したがって、シート５０２に取り付けられたタグはもはや見ることができず、認識されない。このようにして、空のシートは、カメラ５１２からのキャプチャ画像のタグを識別することによって識別することができる。タグは、さまざまな実施態様において、例として限定することなしに、再帰反射器または再帰反射材、認識可能な画像／パターン／グラフィック、ライト（たとえば、ＬＥＤ）、特定の色（複数可）などを含む、任意の認識可能な形態をとってもよい。

【0087】

タグは、例として限定することなしに、いくつかの実施態様では、背もたれもしくはシートクッションに沿って、より詳細には、背もたれもしくはシートクッションの上部に沿って、または、シートクッションを折り畳む場合、シートが占有されておらずシートクッションが折り畳まれているときに見ることができるようにシートクッションの前部に沿って、または、肘掛けに沿って、などを含む、シートの任意の部分に取り付けられてもよい。さらにまた、与えられるシートは、シートに取り付けられた任意の数のタグを有してもよいことが理解される。

【0088】

参照番号５１６で示されるように、上記による空のシートまたは占有されたシートの検出に基づいて、与えられるシートの占有ステータスを、シートが占有されているまたは空であるかどうかを反映するために更新することができる。前述のように、いくつかの実施態様では、空のシートは、会場１００のバーチャルリアリティ観戦で利用可能となる。

【0089】

図６は、本開示の実施態様による、バーチャルリアリティ観戦者が実際の会場内の状況において自分自身を見るための方法を図示する。示された実施態様では、ｅスポーツイベントは会場１００で開催され、そこには、多くのシートがある。たとえば、シート１３６は、実際の観戦者１３８によって占有されている。バーチャルリアリティ観戦者１２０は、シート１２２を「占有する」ことができ、その結果、まるでバーチャルリアリティ観戦者１２０がシート１２２に実際に存在するように、会場１００のＨＭＤ１５０を通してビューを体験する。

【0090】

カメラ６００は、オペレータ６０２によって操作されて、シート１２２及び１３６の方へ向けられてもよく、それによって、シート１３６の実際の観戦者１３８のビデオをキャプチャする。このビデオまたはその一部は、ディスプレイ１０８ｃに映写されてもよく、ディスプレイ１０８ｃは、同時に多くの観戦者が見ることができる会場１００内の大きなディスプレイの１つであってもよい。示されるように、ディスプレイ１０８ｃ上にレンダリングされる映写されたビデオは、実際の観戦者１３８の画像６０６を示す。

【0091】

しかしながら、いくつかの実施態様では、バーチャルリアリティ観戦者１２０がディスプレイ１０８ｃの方を見ると、バーチャルリアリティ観戦者１２０も、ディスプレイ１０８ｃ上に示された映写されたビデオ内に自分自身を見る。すなわち、ディスプレイ１０８ｃ上に映写されたビデオが、バーチャルリアリティ観戦者が「占有する」（または、割り当てられた）シート１２２の位置を含むとき、ディスプレイ１０８ｃを含む、バーチャルリアリティ観戦者１２０にＨＭＤを通して提供されるビューにおいては、ディスプレイ１０８ｃのレンダリングされた画像は、シート１２２を占有するように適切な位置にバーチャルリアリティ観戦者１２０（または、バーチャルリアリティ観戦者１２０に関連付けられたアバター６０４）の画像を含むように変更される。このようにして、バーチャルリアリティ観戦者１２０は、会場１００内のシート１２２の自分自身を見ることができ、これによって、バーチャルリアリティ観戦者１２０の体験のリアリズム及びインタラクティビティがさらに増加する。図示された実施態様に示されるように、バーチャルリアリティ観戦者１２０によって見られるディスプレイ１０８ｃ上のレンダリングされたビデオは、バーチャルリアリティ観戦者１２０（または、バーチャルリアリティ観戦者１２０の関連付けられたアバター６０４）の画像６０８を含む。

【0092】

いくつかの実施態様では、会場１００内のディスプレイ１０８ｃ上に実際にレンダリングされるビデオは、バーチャルリアリティ観戦者の画像を含むように変更されないことが理解される。しかしながら、他の実施態様では、会場１００内のディスプレイ１０８ｃ上で実際にレンダリングされるビデオは、バーチャルリアリティ観戦者の画像を含むように変更される。

【0093】

引き続き図６を参照すると、上記のバーチャルリアリティ観戦者を含むためのビデオ変更を実行するための方法が示されている。動作６１０では、ビデオは会場内のカメラでキャプチャされ、そのビデオはバーチャルリアリティ観戦者が割り当てられた位置／シートを含み、その位置／シートは、バーチャルリアリティ観戦者がＨＭＤを通して会場のビューが提供される位置を定義している。

【0094】

動作６１２では、カメラでキャプチャされたシート及び／または位置が判定される。これは、どのシートがビデオ内でキャプチャされているかを判定するために、会場内のカメラの３次元位置及び／または方向を判定することを伴ってもよい。たとえば、カメラの知られている位置及び方向を使用して、ビデオ内でキャプチャされた会場内の３次元空間を判定することができ、シートの会場内の３次元位置へのマッピングを使用して、ビデオ内でキャプチャされた特定のシートを識別することができる。例として限定することなしに、カメラの位置／方向は、Ｗｉ－Ｆｉベースの位置決め、磁気的な位置決め、視覚的マーカ及び／または視覚的特徴の認識などを含む、当該技術分野において知られている任意の種類のローカライゼーション／位置決め技術を使用して判定することができる。

【0095】

動作６１４では、所定の識別されたシートに関して、バーチャルリアリティ観戦者がシートに割り当てられているかどうかが判定され、割り当てられている場合、バーチャルリアリティ観戦者が識別される。動作６１６では、バーチャルリアリティ観戦者に提供されるビューが、キャプチャされたビデオが会場でレンダリングされるディスプレイを含むとき、ディスプレイのビューは、バーチャルリアリティ観戦者によって占有されたシートにバーチャルリアリティ観戦者またはバーチャルリアリティ観戦者の代わりのアバターを示すように修正される。たとえば、バーチャルリアリティ観戦者のビュー方向は、ビューがいつディスプレイを含むか判定するためにトラッキングすることができる。この場合、ビューは、バーチャルリアリティ観戦者を含むように、上記のように修正することができる。いくつかの実施態様では、バーチャルリアリティ観戦者（または、バーチャルリアリティ観戦者のアバター）の画像は、バーチャルリアリティ観戦者に提示されるディスプレイのビューのオーバーレイとして形成される。いくつかの実施態様では、ディスプレイを含むカメラのビデオフィードは、バーチャルリアリティ観戦者（または、アバター）の画像を含むように修正され、修正されたビデオフィードは、事前に論じられたようにつぎ合わされて、バーチャルリアリティ観戦者のためのビューを形成する。

【0096】

図７は、本開示の実施態様による、実際の観戦者を検知して、バーチャルリアリティ観戦者のインタラクティビティを可能にするためのさらなる機能を有する会場内のシートを図示する。示された実施態様では、シート７００及びシート７０２が示されており、シート７０２はシート７００の前にある。それぞれ、シート７００及び７０２のために構成されたセンサユニット７０４及び７０６も示されている。いくつかの実施態様では、センサユニットは、シートから取り外し可能な独立した付属装置である。いくつかの実施態様では、センサユニット及び／または本明細書に記載の任意の構成要素は、シートの一部として組み込むことができる。

【0097】

説明を容易にするために、本明細書においてセンサユニット７０６が説明され、センサユニット７０４も同様であることが理解される。センサユニット７０６は、シート７０２が実際の観戦者によって占有されているかどうかを検出するように構成された１つまたは複数の占有センサ７０８を含む。示されるように、占有センサ７０８は、座部及び／または背もたれに沿って位置付けることができる。いくつかの実施態様では、占有センサ７０８は、人がシート７０２に座っているかどうかを検知するために、圧力が加えられたときに検出する１つまたは複数の圧力センサを含む。さらに、このような圧力センサは、どれだけの圧力（力）が加えられているかを判定／定量化することができ、人と別の対象物との重量の識別ができてもよい。いくつかの実施態様では、占有センサ７０８は、別の対象物が近く（たとえば、既定の距離内）にあるときに検出できる、場合によっては、近接センサからの対象物の距離を検出できる、１つまたは複数の近接センサを含む。

【0098】

いくつかの実施態様では、センサユニット７０６は、シート７０２の視点からのビデオ／画像をキャプチャするように構成されたカメラ７１０をさらに含み、そのカメラ７１０は、シート７０２に割り当てられたバーチャルリアリティ観戦者に会場のビューを提供するために使用することができる。いくつかの実施態様では、カメラ７１０は、３６０度の視界をキャプチャすることが可能な球面パノラマカメラである。さまざまな実施態様では、カメラ７１０は、１つまたは複数の画像キャプチャデバイスを含む。いくつかの実施態様では、カメラ７１０は、３次元深さを有する立体画像を提供することが可能な立体カメラである。

【0099】

いくつかの実施態様では、センサユニット７０６は、１つまたは複数のマイクロフォンアレイ７１６をさらに含み、各マイクロフォンアレイは、複数のマイクロフォンを含む。マイクロフォンアレイからの音は、異なるマイクロフォンの間での受音タイミングの差の分析に基づいて、音源の位置を識別するために処理することができる。マイクロフォンアレイによってキャプチャされた音は、処理することができる、かつ／または、仮想的に位置付けられた会場内の位置からの音をバーチャルリアリティ観戦者が体験できるように、シート７０２に割り当てられたバーチャルリアリティ観戦者に提供することができる。

【0100】

いくつかの実施態様では、センサユニット７１２は、バーチャルリアリティ観戦者が、隣接するまたは近くのシートの観戦者とのインタラクトを可能にするハードウェアを含む。示された実施態様では、センサユニット７１２は、ディスプレイ７１２と、スピーカ７１４とをさらに含む。ディスプレイ７１２は、シート７０２に割り当てられたバーチャルリアリティ観戦者（または、アバター）の画像を表示することができ、近くのシートの実際の観戦者はバーチャルリアリティ観戦者（または、バーチャルリアリティ観戦者のアバター）を見ることができる。いくつかの実施態様では、バーチャルリアリティ観戦者は、スピーカ７１４を通してやりとりすることができ、それにより、（たとえば、バーチャルリアリティ観戦者のＨＭＤのマイクロフォンによって、または、バーチャルリアリティ観戦者のローカル環境でキャプチャされた）バーチャルリアリティ観戦者からの音は、センサユニット７０６に送信し、スピーカ７１４を通して出力することができる。同様に、近くの実際の観戦者は話をしてもよく、これはマイクロフォンアレイ７１６によってキャプチャされて、バーチャルリアリティ観戦者が近くの実際の観戦者の話を聞くことができるようにバーチャルリアリティ観戦者のＨＭＤに送信される。このようにして、実際の観戦者及びバーチャルリアリティ観戦者は、互いにインタラクトしてもよい。バーチャルリアリティ観戦者は、いくつかの実施態様では、カメラ７１０を通して近くの実際の観戦者を見ることができることが理解される。

【0101】

いくつかの実施態様では、センサユニット７０６は、シート７０２の背後にあるシート７００の占有を検出するように構成されてもよい後ろ向きセンサ７１８を含む。いくつかの実施態様では、後ろ向きセンサは、近接センサとすることができ、ＩＲ、超音波、または他のセンシング技術を使用してもよい。

【0102】

いくつかの実施態様では、センサユニット７０６は、センサユニットの位置の判定を可能にする位置決め技術を含む。これは、例として限定することなしに、Ｗｉ－Ｆｉでの位置決め、磁気的な位置決め、ＧＰＳなどを含んでもよい。

【0103】

センサユニット７０６はさらに、無線及び／または有線ネットワークを含む、セルラー、Ｗｉ－Ｆｉ、または他の種類のネットワークなどの、１つまたは複数のネットワークを介して、データを通信及び送信／受信してもよい。

【0104】

いくつかの実施態様では、センサユニット７０６は、画像認識プロセスによって認識可能であるタグを含み、そのため、センサユニットは、会場内のカメラによって、キャプチャされた画像内で識別することができる。

【0105】

本開示の実施態様は概して、ｅスポーツイベント及びｅスポーツ会場に関して説明されたが、他の実施態様では、本開示の原理が、例として限定することなしに、スポーツイベント（たとえば、フットボール、バスケットボール、野球、サッカー、ホッケーなど）、コンサート、式典、プレゼンテーションなどを含む、任意の他の種類の観戦されるライブイベント及び対応する会場に適用可能であることは認識されるべきである。

【0106】

図８は、本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を介した仮想環境とのインタラクションのためのシステムを図示する。ＨＭＤは、バーチャルリアリティ（ＶＲ）ヘッドセットと呼ぶこともできる。本明細書で使用される場合、「バーチャルリアリティ」（ＶＲ）という用語は一般に、（ユーザによって制御される）ＨＭＤの動作にリアルタイムに反応する方法でＨＭＤ（または、ＶＲヘッドセット）を通して仮想空間を見ることを含む仮想空間／環境とのユーザのインタラクションを表し、ユーザに仮想空間にいる感覚を提供する。たとえば、ユーザは、所定の方向を向いたとき、仮想空間の３次元（３Ｄ）ビューを見ることができ、ユーザが横を向き、それによって、同様にＨＭＤを向けると、仮想空間内のその側へのビューがＨＭＤ上でレンダリングされる。示された実施態様では、ヘッドマウントディスプレイ（ＨＭＤ）１５０を着用するユーザ１２０が示されている。ＨＭＤ１５０は、眼鏡、ゴーグル、またはヘルメットと類似の方法で着用され、ユーザ１２０にビデオゲームまたは他のコンテンツを表示するように構成される。ＨＭＤ１５０は、ユーザの目に近接する表示機構の提供により、ユーザに非常に没入できる体験を提供する。よって、ＨＭＤ１５０は、ユーザの視界の大部分または全体を占める、ユーザの目のそれぞれに対する表示領域を提供することができ、３次元深さ及び視点を有するビューも提供してもよい。

【0107】

示された実施態様では、ＨＭＤ１５０は、コンピュータ８０６に無線で接続されている。他の実施態様では、ＨＭＤ１５０は、有線接続を介してコンピュータ８０６に接続される。コンピュータ８０６は、当該技術分野において知られている任意の一般的または特別な目的のコンピュータとすることができ、それらは、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、携帯機器、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイスなどを含むが、これらに限定されない。いくつかの実施態様では、コンピュータ１０６は、ビデオゲームを実行し、ＨＭＤ１５０によってレンダリングするためにビデオゲームからのビデオ及びオーディオを出力するように構成することができる。いくつかの実施態様では、コンピュータ８０６は、ＨＭＤを通して見ることができる仮想空間／環境を提供する任意の他の種類のインタラクティブアプリケーションを実行するように構成される。トランシーバ８１０は、その上にレンダリングするためにビデオゲームからＨＭＤ１５０までビデオ及びオーディオを（有線接続または無線接続によって）送信するように構成される。トランシーバ８１０は、ＨＭＤ１５０へのデータ送信のための送信機、ならびに、ＨＭＤ１５０によって送信されたデータを受信するための受信機を含む。

【0108】

いくつかの実施態様では、ＨＭＤ１５０は、ＨＭＤ１５０及びコンピュータ１０６がどちらも接続されるネットワーク８１２を介するなど、代替の機構またはチャネルを通してコンピュータと通信してもよい。

【0109】

ユーザ１２０は、インタフェースオブジェクト１５２を操作して、ビデオゲームに入力を提供してもよい。さらに、カメラ８０８は、ユーザ１２０が位置するインタラクティブ環境の画像をキャプチャするように構成することができる。これらのキャプチャされた画像は、ユーザ１２０、ＨＭＤ１５０、及びインタフェースオブジェクト１５２の位置及び動作を判定するために分析することができる。さまざまな実施態様では、インタフェースオブジェクト１５２は、トラッキングできるライト及び／または慣性センサ（複数可）を含み、インタフェースオブジェクトの位置及び方向の判定及び動作のトラッキングが可能にする。

【0110】

いくつかの実施態様では、ＨＭＤ１５０及びインタフェースオブジェクト１５２の磁気トラッキングを可能にするために磁場を放射する磁気源８１６が設けられる。ＨＭＤ１５０及びインタフェースオブジェクト１５２の磁気センサは、磁場（たとえば、強さ、方向）を検出するように構成することができ、この情報は、ＨＭＤ１５０及びインタフェースオブジェクト１５２の位置及び／または方向を特定して、トラッキングするのに使用することができる。

【0111】

いくつかの実施態様では、インタフェースオブジェクト１５２は、ＨＭＤ１５０に対してトラッキングされる。たとえば、ＨＭＤ１５０は、インタフェースオブジェクト１５２を含む画像をキャプチャする外向きカメラを含んでもよい。キャプチャされた画像は、ＨＭＤ１５０に対するインタフェースオブジェクト１５２の位置／方向を特定するために分析することができ、ＨＭＤの知られている位置／方向を使用して、ローカル環境におけるインタフェースオブジェクト１５２の位置／方向を特定する。

【0112】

ユーザがＨＭＤ１５０に表示されるバーチャルリアリティシーンとインタフェースする方法は変えることができ、インタフェースオブジェクト１５２に加えて他のインタフェースデバイスを使用することができる。たとえば、さまざまな種類の片手用、ならびに、両手用のコントローラを使用することができる。いくつかの実施態様では、コントローラに含まれるライトをトラッキングすることによって、または、コントローラに関連付けられた形状、センサ、及び慣性データをトラッキングすることによって、コントローラ自体をトラッキングすることができる。これらのさまざまな種類のコントローラを使用して、または、１つまたは複数のカメラでキャプチャされた単なるハンドジェスチャを使用しても、ＨＭＤ１５０上に提示されるバーチャルリアリティ環境とのインタフェース、その環境の制御、操作、その環境とのインタラクション、及びその環境への参加が可能である。

【0113】

さらに、ＨＭＤ１５０は、ＨＭＤ１５０の位置及び方向を特定するためにトラッキングすることができる１つまたは複数のライトを含んでもよい。カメラ８０８は、インタラクティブ環境からの音をキャプチャするための１つまたは複数のマイクロフォンを含むことができる。マイクロフォンアレイによってキャプチャされる音は、音源の位置を識別するために処理してもよい。識別された位置からの音は、識別された位置以外からの他の音を除外して、選択的に利用または処理することができる。さらにまた、カメラ８０８は、複数の画像キャプチャデバイス（たとえば、カメラの立体視対）、ＩＲカメラ、深さカメラ、及びその組合せを含むように定義することができる。

【0114】

いくつかの実施態様では、コンピュータ８０６は、ネットワーク８１２を介してクラウドアプリケーション（たとえば、ゲーム、ストリーミング、観戦など）プロバイダ８１４と通信するシンクライアントとして機能する。このような実施態様では、一般的に言うと、クラウドアプリケーションプロバイダ１１４は、ユーザ１５０によってプレイされているビデオゲームを保守及び実行する。コンピュータ８０６は、ＨＭＤ１５０、インタフェースオブジェクト１５２、及びカメラ８０８からの入力をクラウドアプリケーションプロバイダに送信し、クラウドゲーミングプロバイダは、実行しているビデオゲームのゲーム状態に影響を及ぼす入力を処理する。ビデオデータ、オーディオデータ、及び触覚フィードバックデータなどの、実行しているビデオゲームからの出力は、コンピュータ８０６に送信される。コンピュータ８０６は、送信前にデータをさらに処理してもよく、または、関連するデバイスにデータを直接送信してもよい。たとえば、ビデオ及びオーディオストリームがＨＭＤ１５０に提供され、その一方で、触覚／振動フィードバックコマンドがインタフェースオブジェクト１５２に提供される。

【0115】

いくつかの実施態様では、ＨＭＤ１５０、インタフェースオブジェクト１５２、及びカメラ８０８はそれ自体が、たとえば、クラウドアプリケーションプロバイダ８１４と通信するためにネットワーク８１２に接続するネットワーク化されたデバイスであってもよい。いくつかの実施態様では、コンピュータ１０６は、ビデオゲーム処理を実行しないが、ネットワークトラフィックの通過を容易にする、ルータなどのローカルネットワークデバイスであってもよい。ＨＭＤ１５０、インタフェースオブジェクト１５２、及びカメラ１０８によるネットワークへの接続は、有線または無線であってもよい。

【0116】

さらに、本開示の実施態様がヘッドマウントディスプレイに関して記載されてもよいが、他の実施態様では、携帯装置スクリーン（たとえば、タブレット、スマートフォン、ラップトップなど）、あるいは本実施態様によるビデオのレンダリングならびに／またはインタラクティブなシーンもしくは仮想環境の表示の提供を行うように構成することができる他の種類の任意のディスプレイを含むがこれらに限定されない、非ヘッドマウントディスプレイに置き換えられてもよいことが理解される。

【0117】

図９Ａ－１及び９Ａ－２は、本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を図示する。図９Ａ－１は特に、本開示の実施態様によるＨＭＤの１つの例であるＰｌａｙｓｔａｔｉｏｎ（登録商標）ＶＲヘッドセットを図示する。示されるように、ＨＭＤ１５０は、複数のライト９００Ａ～Ｈを含む。これらのライトのそれぞれは、特定の形状を有するように構成されてもよく、同じ色または異なる色を有するように構成することができる。ライト９００Ａ、９００Ｂ、９００Ｃ、及び９００Ｄは、ＨＭＤ１５０の前面に配置される。ライト９００Ｅ及び９００Ｆは、ＨＭＤ１５０の側面に配置される。そして、ライト９００Ｇ及び９００Ｈは、ＨＭＤ１５０の前面及び側面にまたがるように、ＨＭＤ１５０の角部に配置される。ライトは、ユーザがＨＭＤ１５０を使用するインタラクティブ環境のキャプチャされた画像で識別することができることが理解される。ライトの識別及びトラッキングに基づき、インタラクティブ環境のＨＭＤ１５０の位置及び方向を特定することができる。ライトのうちのいくつかは、画像キャプチャデバイスに対するＨＭＤ１５０の特定の方向に応じて、見えてもよくまたは見えなくてもよいことがさらに理解される。また、ライトの異なる部分（たとえば、ライト９００Ｇ及び９００Ｈ）が、画像キャプチャデバイスに対するＨＭＤ１５０の方向に応じて、画像キャプチャにさらされてもよい。

【0118】

１つの実施態様では、ライトは、近くで他の人にＨＭＤの現在の状況を示すように構成することができる。たとえば、ライトの一部またはすべては、特定の色配置、強度配置を有するように構成してもよく、明滅するように構成してもよく、特定のオン／オフ構成またはＨＭＤ１５０の現在の状況を示す他の配置を有するように構成してもよい。例として、ライトは、ビデオゲームのアクティブなゲームプレイ（一般にアクティブなタイムラインの間、または、ゲームのシーン内で発生するゲームプレイ）の間に対して、メニューインタフェースの閲覧またはゲーム設定の実施など（ゲームタイムラインまたはシーンが非アクティブまたは休止でもよい間）のビデオゲームの他のアクティブでないゲームプレイ態様では、異なる構成を表示するように構成することができる。また、ライトはゲームプレイの相対的な強度レベルを示すように構成してもよい。たとえば、ゲームプレイの激しさが増すとき、光の強さまたは点滅の速度が増大してもよい。このようにして、ユーザに対して外部の人は、ＨＭＤ１５０上のライトを見て、ユーザが激しいゲームプレイに積極的にたずさわっており、その時点で妨げられることを望んでいないことがあることを理解できる。

【0119】

ＨＭＤ１５０は、１つまたは複数のマイクロフォンをさらに含んでもよい。示された実施態様では、ＨＭＤ１５０は、ＨＭＤ１５０の前面に定義されたマイクロフォン９０４Ａ及び９０４Ｂと、ＨＭＤ１５０の側面に定義されたマイクロフォン９０４Ｃとを含む。マイクロフォンのアレイを利用することによって、それぞれのマイクロフォンからの音は、音源の位置を特定するように処理することができる。この情報は、望ましくない音源の排除、音源の視覚識別との関連付けなどを含む、さまざまな方法で利用することができる。

【0120】

ＨＭＤ１５０はまた、１つまたは複数の画像キャプチャデバイスを含んでもよい。示された実施態様では、ＨＭＤ１５０は画像キャプチャデバイス９０２Ａ及び９０２Ｂを含むように示される。画像キャプチャデバイスの立体視対を利用することによって、環境の３次元（３Ｄ）画像及びビデオを、ＨＭＤ１５０の視点からキャプチャすることができる。ＨＭＤ１５０を着用している間、「ビデオシースルー」機能をユーザに提供するために、そのようなビデオをユーザに示すことができる。すなわち、ユーザは厳密な意味ではＨＭＤ１５０を通して見ることはできないが、それにもかかわらず、画像キャプチャデバイス９０２Ａ及び９０２Ｂ（または、たとえば、ＨＭＤ１５０の外側本体に配設される１つまたは複数の外向き（たとえば、前向き）カメラ）によってキャプチャされたビデオは、ＨＭＤ１５０を通して見るかのようにＨＭＤ１５０の外部環境を見ることができるのと機能的に等価なものを提供することができる。そのようなビデオは、仮想要素によって拡張し、拡張現実体験を提供することができ、または、他の方法で仮想要素と合成または混ぜ合わせてもよい。図示された実施態様では、２つのカメラがＨＭＤ１５０の前面に示されているが、任意の方向に向けられた、任意の数の外向きカメラがＨＭＤ１５０上に設置されてもよいことが理解される。たとえば、別の実施態様では、環境のさらなるパノラマ画像キャプチャを提供するために、ＨＭＤ１５０の側面に取り付けられるカメラが存在してもよい。さらに、いくつかの実施態様では、このような外向きカメラは、他の周辺機器（たとえば、コントローラなど）をトラッキングするのに使用することができる。すなわち、ＨＭＤに対する周辺機器の位置／方向は、ＨＭＤ上のそのような外向きカメラからのキャプチャされた画像で識別し、トラッキングすることができ、ローカル環境のＨＭＤの知られている位置／方向を使用して、周辺機器の正確な位置／方向を特定することができる。

【0121】

図９Ｂは、クライアントシステム８０６とインタフェースするＨＭＤ１５０のユーザ１２０と、第２のスクリーン９０７として呼ばれる第２のスクリーンディスプレイにコンテンツを提供するクライアントシステム８０６との１つの例を図示する。クライアントシステム８０６は、ＨＭＤ１５０から第２のスクリーン９０７へのコンテンツの共有を処理するための一体型の電子機器を含んでもよい。他の実施態様は、個別のデバイス、モジュール、コネクタを含んでもよく、それらは、クライアントシステムとＨＭＤ１５０及び第２のスクリーン９０７のそれぞれとの間をインタフェースする。この一般的な例では、ユーザ１２０は、ＨＭＤ１５０を着用し、インタフェースオブジェクト１５２であってもよいコントローラを使用してビデオゲームをプレイしている。ユーザ１２０によるインタラクティブプレイは、ＨＭＤ１５０にインタラクティブに表示されるビデオゲームコンテンツ（ＶＧＣ）を生成する。

【0122】

１つの実施態様では、ＨＭＤ１５０に表示されているコンテンツは、第２のスクリーン９０７に共有される。１つの例では、第２のスクリーン９０７を見ている人は、ユーザ１２０によってＨＭＤ１５０でインタラクティブにプレイされているコンテンツを見ることができる。別の実施態様では、別のユーザ（たとえば、プレイヤー２）は、第２のスクリーンコンテンツ（ＳＳＣ）を生成するために、クライアントシステム８０６と対話することができる。コントローラ１０４（または、任意の種類のユーザインタフェース、ジェスチャ、音声、または入力）とインタラクトするプレイヤーによっても生成される第２のスクリーンコンテンツは、クライアントシステム８０６へのＳＳＣとして生成されてもよく、それは、ＨＭＤ１５０から受信されたＶＧＣとともに、第２のスクリーン９０７上に表示することができる。

【0123】

したがって、ＨＭＤユーザと同じ位置にいるまたはＨＭＤユーザと離れていてもよい他のユーザによるインタラクティビティは、ソーシャルであり、インタラクティブであり、第２のスクリーン９０７上でＨＭＤユーザによってプレイされるＨＭＤユーザ及びコンテンツを見ることができるユーザの両方にとってより没入できるものとすることができる。示されるように、クライアントシステム８０６は、インターネット９１０に接続することができる。インターネットは、クライアントシステム８０６、及び、さまざまなコンテンツソース９２０からのコンテンツへのアクセスを提供することもできる。コンテンツソース９２０は、インターネットを介してアクセスできる任意の種類のコンテンツを含むことができる。

【0124】

このようなコンテンツは、限定するものではないが、ビデオコンテンツ、ムービーコンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、友人コンテンツ、広告コンテンツなどを含むことができる。１つの実施態様では、クライアントシステム８０６は、ＨＭＤユーザのためのコンテンツを同時に処理するのに使用することができ、それにより、ＨＭＤには、ゲームプレイ中のインタラクティビティと関連するマルチメディアコンテンツが提供される。次いで、クライアントシステム８０６は、他のコンテンツを提供することもできる。それは、第２のスクリーンへのビデオゲームコンテンツとは無関係であってもよい。クライアントシステム８０６は、１つの実施態様では、コンテンツソース９２０のうちの１つから、または、ローカルユーザもしくはリモートユーザから、第２のスクリーンコンテンツを受信することができる。

【0125】

図１０は、本開示の実施態様による、実行するビデオゲームまたは他のアプリケーションと連動するＨＭＤ１５０の機能を概念的に図示する。実行しているビデオゲーム／アプリケーションは、ビデオゲーム／アプリケーションのゲーム／アプリケーション状態を更新するための入力を受信するゲーム／アプリケーションエンジン１０２０で定義される。ビデオゲームのゲーム状態は、少なくとも一部において、対象物の存在及び位置、仮想環境の状態、イベントのトリガリング、ユーザプロファイル、ビューの視点などの、現在のゲームプレイのさまざまな態様を定義するビデオゲームのさまざまなパラメータの値によって定義することができる。

【0126】

示された実施態様では、ゲームエンジンは、例として、コントローラ入力１０１４、オーディオ入力１０１６、及び動き入力１０１８を受信する。コントローラ入力１０１４は、ハンドヘルドゲームコントローラ（たとえば、Ｓｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４ ワイヤレスコントローラ、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）Ｍｏｖｅ モーションコントローラ）またはインタフェースオブジェクト１５２などの、ＨＭＤ１５０とは別のゲームコントローラの操作から定義されてもよい。例として、コントローラ入力１０１４は、方向入力、ボタン押下、トリガ起動、動作、ジェスチャ、またはゲームコントローラの操作から処理される他の種類の入力を含んでもよい。いくつかの実施態様では、ゲームコントローラの動作は、ＨＭＤ１０２に対するゲームコントローラの位置／方向を提供する、ＨＭＤ１０２の外向きカメラ１０１１によってトラッキングされる。オーディオ入力１０１６は、ＨＭＤ１５０のマイクロフォン１００２から、または、画像キャプチャデバイス８０８に含まれるマイクロフォンもしくはローカル環境の他の場所から処理することができる。動き入力１０１８は、ＨＭＤ１５０に含まれる動きセンサ１０００から処理することができる、または、ＨＭＤ１５０の画像をキャプチャするときに画像キャプチャデバイス８０８から処理することができる。ゲームエンジン１０２０は、ビデオゲームのゲーム状態を更新するためにゲームエンジンの構成に従って処理される入力を受信する。ゲームエンジン１０２０は、ユーザに提示するコンテンツを定義するためにゲーム状態データを処理するさまざまなレンダリングモジュールに、ゲーム状態データを出力する。

【0127】

示された実施態様では、ビデオレンダリングモジュール１０２２は、ＨＭＤ１５０上での提示のためにビデオストリームをレンダリングするために定義される。ビデオストリームはディスプレイ／プロジェクタ機構１０１０で提示されてもよく、ユーザの目１００６で光学部品１００８を通して見られてもよい。オーディオレンダリングモジュール１０２４は、ユーザが聞くためのオーディオストリームをレンダリングするように構成される。１つの実施態様では、オーディオストリームは、ＨＭＤ１５０と関連付けられたスピーカ１００４による出力である。スピーカ１００４は、オープンエアスピーカ、ヘッドホン、または、オーディオを提示することが可能な任意の他の種類のスピーカの形態をとってもよいことは認識されるべきである。

【0128】

１つの実施態様では、視線トラッキングカメラ１０１２が、ユーザの視線のトラッキングを可能にするためにＨＭＤ１５０に含まれる。視線トラッキングカメラは、ユーザの目の画像をキャプチャし、それはユーザの視線方向を判定するために分析される。１つの実施態様では、ユーザの視線方向についての情報は、ビデオレンダリングに影響を与えるために利用することができる。たとえば、ユーザの目が特定の方向を見ていると判定された場合、たとえば、ユーザが見ている領域におけるより詳細またはより高速な更新を提供することによって、その方向のビデオレンダリングを優先または強調することができる。ユーザの視線方向は、ヘッドマウントディスプレイに対して、ユーザが位置する実環境に対して、及び／または、ヘッドマウントディスプレイでレンダリングされている仮想環境に対して、定義することができることは認識されるべきである。

【0129】

大まかに言うと、視線トラッキングカメラ１０１２によってキャプチャされる画像の分析は、単独で考えるとき、ＨＭＤ１５０に対するユーザの視線方向を提供する。しかしながら、ＨＭＤ１５０のトラッキングされた位置及び方向と組み合わせて考えるとき、ＨＭＤ１５０の位置及び方向はユーザの頭部の位置及び方向と同義であるため、ユーザの現実世界の視線方向を判定することができる。すなわち、ユーザの現実世界の視線方向は、ユーザの目の位置移動のトラッキング、及び、ＨＭＤ１５０の位置及び方向のトラッキングから判定することができる。仮想環境のビューがＨＭＤ１５０上でレンダリングされるとき、ユーザの現実世界の視線方向は、仮想環境におけるユーザの仮想世界の視線方向を判定するために適用することができる。

【0130】

さらに、触覚フィードバックモジュール１０２６は、ＨＭＤ１５０またはインタフェースオブジェクト１５２などのユーザによって操作される別のデバイスのいずれかに含まれる触覚フィードバックハードウェアに信号を提供するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバックなど、さまざまな種類の触感覚の形態をとってもよい。インタフェースオブジェクト１５２は、このような形態の触覚フィードバックをレンダリングするために対応するハードウェアを含むことができる。

【0131】

図１１を参照すると、本開示の実施態様による、ヘッドマウントディスプレイ１５０の構成要素を示す図が示されている。ヘッドマウントディスプレイ１５０は、プログラム命令を実行するためのプロセッサ１１００を含む。メモリ１１０２は、ストレージのために提供され、揮発性及び不揮発性メモリを含んでもよい。ユーザが見ることができるビジュアルインタフェースを提供するディスプレイ１１０４が含まれる。バッテリ１１０６は、ヘッドマウントディスプレイ１５０の電力源として提供される。動き検出モジュール１１０８は、磁力計１１１０、加速度計１１１２、及びジャイロスコープ１１１４などのさまざまな種類の動き感応ハードウェアのうちの任意のものを含んでもよい。

【0132】

加速度計は、加速度及び重力誘導反力を測定するためのデバイスである。異なる方向への加速度の大きさ及び方向を検出するために、一軸及び多軸モデルが利用可能である。加速度計は、傾角、振動、及び衝撃を感知するために使用される。１つの実施態様では、２つの角度（世界空間ピッチ及び世界空間ロール）の絶対基準となる重力の方向を提供するために、３つの加速度計１１１２が使用される。

【0133】

磁力計は、ヘッドマウントディスプレイの近くの磁界の強度及び方向を測定する。１つの実施態様では、３つの磁力計１１１０がヘッドマウントディスプレイ内で使用され、世界空間ヨー角度の絶対基準を規定する。１つの実施態様では、磁力計は、±８０マイクロテスラである地磁界をカバーするように設計されている。磁力計は、金属の影響を受け、実際のヨーで単調関係を示すヨー測定値を提供する。磁界は、環境に存在する金属の影響で歪むことがあり、このため、ヨー測定値に歪みが生じる。必要に応じて、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を使用して較正することができる。１つの実施態様では、加速度計１１１２は、ヘッドマウントディスプレイ１５０の傾斜及び方位角を取得するために、磁力計１１１０とともに使用される。

【0134】

いくつかの実施態様では、ヘッドマウントディスプレイの磁力計は、他の近くのデバイス内の電磁石が非アクティブである間に読み取られるように構成される。

【0135】

ジャイロスコープは、角運動量の原理に基づいて、方向を測定及び保持するための装置である。１つの実施態様では、３つのジャイロスコープ１１１４が、検知された慣性に基づいて、各軸（ｘ、ｙ、ｚ）の移動に関する情報を提供する。ジャイロスコープは、高速回転の検出を補助する。しかしながら、ジャイロスコープは、絶対基準が存在しなければ、時間が経つとずれが生じることがある。このため、ジャイロスコープの定期的なリセットが必要であり、このリセットは、オブジェクトの視覚トラッキング、加速度計、磁力計などに基づく位置／方向決定など、他の入手可能な情報を使用して行うことができる。

【0136】

画像と、実環境の画像ストリームとをキャプチャするためにカメラ１１１６が提供される。ヘッドマウントディスプレイ１５０には１つ以上のカメラが含まれていてもよく、これは、背面カメラ（ユーザがヘッドマウントディスプレイ１５０のディスプレイを見ているときはユーザから遠ざかるカメラ）と、前面カメラ（ユーザがヘッドマウントディスプレイ１５０のディスプレイを見ているときはユーザに向けられるカメラ）とを含む。さらに、実環境のオブジェクトの深さ情報を検知するために深さカメラ１１１８がヘッドマウントディスプレイ１５０に含まれてもよい。

【0137】

ヘッドマウントディスプレイ１５０は、オーディオ出力を提供するためのスピーカ１１２０を含む。また、マイクロフォン１１２２が、周囲環境からの音、ユーザにより発せられた音声などを含む実環境からのオーディオをキャプチャするために含まれてもよい。ヘッドマウントディスプレイ１５０は、ユーザに触覚フィードバックを提供するための触覚フィードバックモジュール１１２４を含む。１つの実施態様では、触覚フィードバックモジュール１１２４は、触覚フィードバックをユーザに提供するように、ヘッドマウントディスプレイ１５０の動作及び／または振動を引き起こすことが可能である。

【0138】

ＬＥＤ１１２６は、ヘッドマウントディスプレイ１５０のステータスのビジュアルインジケータとして提供される。たとえば、ＬＥＤは、バッテリレベル、電源オンなどを示してもよい。カードリーダ１１２８は、ヘッドマウントディスプレイ１５０がメモリカードから情報を読み出したりメモリカードに情報を書き込んだりすることを可能とするために設けられる。ＵＳＢインタフェース１１３０は、周辺機器の接続、または他のポータブルデバイス、コンピュータなどの他のデバイスへの接続を可能にするためのインタフェースの１つの例として含まれる。ヘッドマウントディスプレイ１５０のさまざまな実施態様では、さまざまな種類のインタフェースのうちの任意のものが、ヘッドマウントディスプレイ１５０のより多くの接続を可能にするために含まれてもよい。

【0139】

Ｗｉ－Ｆｉモジュール１１３２は、ワイヤレスネットワーク技術を介したインターネットまたはローカルエリアネットワークへの接続を可能にするために含まれる。また、ヘッドマウントディスプレイ１５０は、他のデバイスへのワイヤレス接続を可能にするためのブルートゥース（登録商標）モジュール１１３４を含む。通信リンク１１３６も、他のデバイスへの接続のために含まれてもよい。１つの実施態様では、通信リンク１１３６は、ワイヤレス通信のために赤外線伝送を利用する。他の実施態様では、通信リンク１１３６は、他のデバイスとの通信のために、さまざまな無線または有線の伝送プロトコルのうちの任意のものを利用してもよい。

【0140】

入力ボタン／センサ１１３８は、ユーザに入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどの任意のさまざまな種類の入力インタフェースが含まれてもよい。超音波通信モジュール１１４０は、超音波技術を介した他のデバイスとの通信を容易にするために、ヘッドマウントディスプレイ１５０に含まれてもよい。

【0141】

バイオセンサ１１４２は、ユーザからの生理データの検出を可能にするために含まれる。１つの実施態様では、バイオセンサ１１４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するための１つまたは複数の乾電極を含む。

【0142】

ビデオ入力１１４４は、ＨＭＤ上でレンダリングするために、一次処理コンピュータ（たとえば、メインゲームコンソール）からビデオ信号を受信するように構成される。いくつかの実施態様では、ビデオ入力はＨＤＭＩ（登録商標）入力である。

【0143】

ヘッドマウントディスプレイ１５０の上記構成要素は、ヘッドマウントディスプレイ１５０に含まれてもよい単なる例示的な構成要素として記載されている。本開示のさまざまな実施態様では、ヘッドマウントディスプレイ１５０は、さまざまな上述の構成要素のうちのいくつかを含んでもよく、または含まなくてもよい。ヘッドマウントディスプレイ１５０の実施態様は、本明細書に記載されるような本開示の態様を容易にするために、ここには記載されていないが当該技術分野において知られている他の構成要素をさらに含んでもよい。

【0144】

図１２は、本開示のさまざまな実施態様による、ゲームシステム１２００のブロック図である。ゲームシステム１２００は、１つまたは複数のクライアント１２１０にネットワーク１２１５を介してビデオストリームを提供するように構成される。ゲームシステム１２００は典型的には、ビデオサーバシステム１２２０と、任意選択のゲームサーバ１２２５とを含む。ビデオサーバシステム１２２０は、１つまたは複数のクライアント１２１０にビデオストリームを最低限のサービス品質で提供するように構成される。たとえば、ビデオサーバシステム１２２０は、ビデオゲーム内のビューの状態または場所を変更するゲームコマンドを受信し、クライアント１２１０にこの状態の変化を反映して更新したビデオストリームを、最低限の遅れ時間で提供することがある。ビデオサーバシステム１２２０は、いまだ定義されていないフォーマットを含む、多種多様な代替的なビデオフォーマットでビデオストリームを提供するように構成されることがある。さらに、ビデオストリームは、ユーザに対して多種多様なフレームレートで提示するために構成されたビデオフレームを含むことがある。典型的なフレームレートは、３０フレーム毎秒、６０フレーム毎秒、及び１２０フレーム毎秒である。しかし、本開示の代替的な実施態様では、より高いまたはより低いフレームレートも含まれる。

【0145】

本明細書で個別に参照されるクライアント１２１０である、１２１０Ａ、１２１０Ｂなどは、ヘッドマウントディスプレイ、ターミナル、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、ワイヤレスデバイス、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイングデバイス、及び／または同様のものを含んでもよい。典型的には、クライアント１２１０は、エンコードされたビデオストリームを受信し、ビデオストリームをデコードし、結果として得られたビデオをユーザ、たとえば、ゲームのプレイヤーに提示するように構成される。エンコードされたビデオストリームを受信するプロセス、及び／またはビデオストリームをデコードするプロセスは、典型的には、個別のビデオフレームをクライアントの受信バッファに保存することを含む。ビデオストリームは、ユーザに対して、クライアント１２１０と一体化されたディスプレイ上に、またはモニタもしくはテレビ受像機などの別個のデバイス上に提示されることがある。クライアント１２１０は任意選択的に、２人以上のゲームプレイヤーをサポートするように構成される。たとえば、ゲームコンソールは、２人、３人、４人、またはより多くのプレイヤーを同時にサポートするように構成されることがある。これらのプレイヤーのそれぞれは、別個のビデオストリームを受信することがあり、または単一のビデオストリームが、それぞれのプレイヤーのために特定的に生成された、たとえば、それぞれのプレイヤーの視点に基づいて生成された、フレームの領域を含むことがある。クライアント１２１０は任意選択的に、地理的に分散している。ゲームシステム１２００に含まれるクライアントの数は、１つ、２つから、数千、数万、またはそれ以上と幅広く異なることがある。本明細書で使用される場合、「ゲームプレイヤー」という用語は、ゲームをプレイする人を指すために使用され、「ゲームプレイングデバイス」という用語は、ゲームをプレイするために使用されるデバイスを指すために使用される。いくつかの実施態様では、ゲームプレイングデバイスは、連動してユーザにゲーム体験を届ける、複数のコンピューティングデバイスを指す場合がある。たとえば、ゲームコンソールとＨＭＤとは、ＨＭＤを通して視認されるゲームを届けるためにビデオサーバシステム１２２０と連携することがある。１つの実施態様では、ゲームコンソールは、ビデオサーバシステム１２２０からビデオストリームを受信し、ゲームコンソールは、このビデオストリームまたはビデオストリームに対する更新を、レンダリングするためにＨＭＤへと転送する。

【0146】

クライアント１２１０は、ネットワーク１２１５を介してビデオストリームを受信するように構成される。ネットワーク１２１５は、電話ネットワーク、インターネット、ワイヤレスネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワーク、及び／または同様のものを含む任意の種類の通信ネットワークとすることができる。典型的な実施態様では、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準的なプロトコルを介して通信される。代替的には、ビデオストリームは、独自開発規格を介して通信される。

【0147】

クライアント１２１０の典型的な例は、プロセッサと、不揮発性メモリと、ディスプレイと、デコーディングロジックと、ネットワーク通信能力と、入力デバイスとを備える、パーソナルコンピュータである。デコーディングロジックは、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に保存されたソフトウェアを含んでもよい。ビデオストリームをデコード（及びエンコード）するためのシステムは、当該技術分野ではよく知られており、使用される特定のエンコーディングスキームに応じて変化する。

【0148】

クライアント１２１０は、受信したビデオを修正するように構成されたシステムをさらに含むことがあるが、これは要求されない。たとえば、クライアントは、さらなるレンダリング、１つのビデオ画像の別のビデオ画像上へのオーバーレイ、ビデオ画像のクロップ、及び／または同様のことを実施するように構成されることがある。たとえば、クライアント１２１０は、さまざまなタイプのビデオフレーム（Ｉ－フレーム、Ｐ－フレーム、及びＢ－フレームなど）を受信し、かつこれらのフレームをユーザに対して表示するために画像へと処理するように構成されることがある。いくつかの実施態様では、クライアント１２１０のメンバーは、ビデオストリームにさらなるレンダリング、シェーディング、３次元への変換、または同様の動作を実施するように構成される。クライアント１２１０のメンバーは、任意選択的に２つ以上のオーディオまたはビデオストリームを受信するように構成される。クライアント１２１０の入力デバイスは、たとえば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、フォースフィードバックデバイス、動き及び／もしくは位置検知デバイス、マウス、タッチスクリーン、ニューラルインタフェース、カメラ、いまだ開発されていない入力デバイス、ならびに／または同様のものを含むことがある。

【0149】

クライアント１２１０によって受信されるビデオストリーム（及び、任意選択的にオーディオストリーム）は、ビデオサーバシステム１２２０によって生成され、かつ提供される。本明細書のいずれかにさらに記載されるように、このビデオストリームはビデオフレームを含む（かつ、オーディオストリームはオーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有意に寄与するように構成される（たとえば、ビデオフレームは、適切なデータ構造の中にピクセル情報を含む）。本明細書で使用される場合、「ビデオフレーム」という用語は、主としてユーザに対して示される画像に寄与する、たとえば、影響を与えるように構成される情報を含むフレームを指すように使用される。本明細書の、「ビデオフレーム」に関するほとんどの教示は、「オーディオフレーム」にも適用することができる。

【0150】

クライアント１２１０は、典型的には、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変化させるように、または別の方法でゲームプレイに影響を与えるように構成されるゲームコマンドを含むことがある。ゲームコマンドを、入力デバイスを使用して受信することができ、かつ／または、ゲームコマンドを、クライアント１２１０上で実行する命令を演算することによって自動的に生成することがある。受信したゲームコマンドは、クライアント１２１０から、ネットワーク１２１５を介して、ビデオサーバシステム１２２０及び／またはゲームサーバ１２２５へ通信される。たとえば、いくつかの実施態様では、ゲームコマンドは、ビデオサーバシステム１２２０を介してゲームサーバ１２２５へ通信される。いくつかの実施態様では、ゲームコマンドの別個のコピーが、クライアント１２１０から、ゲームサーバ１２２５及びビデオサーバシステム１２２０へ通信される。ゲームコマンドの通信は任意選択的に、コマンドの識別情報に依存する。ゲームコマンドは任意選択的に、クライアント１２１０Ａから、オーディオまたはビデオストリームをクライアント１２１０Ａに提供するために使用される異なるルートまたは通信チャネルを通して通信される。

【0151】

ゲームサーバ１２２５は任意選択的に、ビデオサーバシステム１２２０とは異なるエンティティによって動作される。たとえば、ゲームサーバ１２２５は、マルチプレイヤーゲームのパブリッシャーによって動作される場合がある。この例では、ビデオサーバシステム１２２０は、任意選択的に、ゲームサーバ１２２５によってクライアントとして見られ、任意選択的に、ゲームサーバ１２２５の視点から先行技術のゲームエンジンを実行する先行技術のクライアントであることを表すように構成される。ビデオサーバシステム１２２０とゲームサーバ１２２５との間の通信は、任意選択的にネットワーク１２１５を介して発生する。そのため、ゲームサーバ１２２５は、ゲーム状態情報を複数のクライアントに送る、先行技術のマルチプレイヤーゲームサーバとすることができ、複数のクライアントのうちの１つが、ゲームサーバシステム１２２０である。ビデオサーバシステム１２２０は、ゲームサーバ１２２５の複数のインスタンスと同時に通信するように構成されることがある。たとえば、ビデオサーバシステム１２２０は、複数の異なるビデオゲームを異なるユーザに提供できるように構成することができる。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ１２２５によってサポートされる場合があり、かつ／または異なるエンティティによってパブリッシュされる場合がある。いくつかの実施態様では、いくつかの地理的に分散したビデオサーバシステム１２２０のインスタンスは、ゲームビデオを複数の異なるユーザへと提供するように構成される。ビデオサーバシステム１２２０のこれらのインスタンスのそれぞれは、ゲームサーバ１２２５の同一のインスタンスと通信することがある。ビデオサーバシステム１２２０と１つまたは複数のゲームサーバ１２２５との間の通信が、任意選択的に専用の通信チャネルを介して発生する。たとえば、ビデオサーバシステム１２２０は、ゲームサーバ１２２５にこれらの２つのシステムの間の通信専用の高帯域幅のチャネルを介して接続されることがある。

【0152】

ビデオサーバシステム１２２０は、少なくとも、ビデオソース１２３０と、Ｉ／Ｏデバイス１２４５と、プロセッサ１２５０と、非一時的ストレージ１２５５とを備える。ビデオサーバシステム１２２０は、１つのコンピューティングデバイスを含むか、または複数のコンピューティングデバイスの間に分散されることがある。これらのコンピューティングデバイスは、任意選択的に、ローカルエリアネットワークなどの通信システムを介して接続されることがある。

【0153】

ビデオソース１２３０は、ビデオストリーム、たとえば、ストリーミングビデオ、または動画を形成する一連のビデオフレームを提供するように構成される。いくつかの実施態様では、ビデオソース１２３０は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、プレイヤーからゲームコマンドを受信し、受信したコマンドに基づいてビデオゲームの状態のコピーを維持するように構成される。このゲーム状態には、ゲーム環境内の対象物の位置、ならびに典型的には視点を含む。ゲーム状態は、対象物のプロパティ、画像、色、及び／またはテクスチャも含むことがある。ゲーム状態は、典型的には、ゲームルール、ならびに移動、回転、アタック、焦点を合わせる、インタラクション、使用、及び／または同様なものなどのゲームコマンドに基づいて維持される。ゲームエンジンの一部分は、任意選択的にゲームサーバ１２２５内に配置される。ゲームサーバ１２２５は、複数のプレイヤーから地理的に分散したクライアントを使用して受信したゲームコマンドに基づいて、ゲームの状態のコピーを維持する場合がある。これらの場合、ゲーム状態は、ゲームサーバ１２２５によってビデオソース１２３０へと提供され、ゲーム状態のコピーは、保存され、レンダリングが実行される。ゲームサーバ１２２５は、ゲームコマンドをクライアント１２１０からネットワーク１２１５を介して直接的に受信することがあり、かつ／または、ゲームコマンドをビデオサーバシステム１２２０を介して受信することがある。

【0154】

ビデオソース１２３０は、典型的には、レンダリングロジック、たとえば、ハードウェア、ファームウェア、及び／またはストレージ１２５５などのコンピュータ可読媒体上に保存されたソフトウェアを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作製するように構成される。レンダリングロジックのすべてまたは一部分は、任意選択的にグラフィックスプロセッシングユニット（ＧＰＵ）内に配置される。レンダリングロジックは、ゲーム状態及び視点に基づいて、典型的には対象物間の３次元空間的関係を判定する、及び／または適切なテクスチャを適用する、などのために、構成される処理段階を含む。レンダリングロジックは、通常、その後クライアント１２１０に通信する前にエンコードされる、未加工のビデオを生成する。たとえば、未加工のビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）ｓｔａｎｄａｒｄ、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ－１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ－ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６－８、ｒｅａｌｖｉｄｅｏ、ｍｐ３、または同様のものによってエンコードされることがある。エンコードプロセスは任意選択的に、リモートデバイス上のデコーダに送達するためのパッケージ化されたビデオストリームを生成する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。典型的なフレームサイズとしては、８００×６００、１２８０×７２０（たとえば、７２０ｐ）、１０２４×７６８が挙げられるが、任意の他のフレームサイズが使用されてもよい。フレームレートは、１秒当たりのビデオフレームの数である。ビデオストリームは、異なるタイプのビデオフレームを含むことがある。たとえば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉ－フレームは、ディスプレイデバイス上のすべてのマクロブロック／ピクセルをリフレッシュするための情報を含むが、一方で、Ｐ－フレームは、そのサブセットをリフレッシュする情報を含む。Ｐ－フレームは典型的には、データサイズがＩ－フレームより小さい。本明細書で使用される場合、「フレームサイズ」という用語は、１つのフレーム内のピクセルの数を意味する。「フレームデータサイズ」という用語は、フレームを保存するために要求されるバイト数を指すために使用される。

【0155】

代替的な実施態様では、ビデオソース１２３０は、カメラなどのビデオ録画デバイスを含む。このカメラは、コンピュータゲームのビデオストリームに含まれる遅延ビデオまたはライブビデオを作り出すために使用されることがある。結果として得られるビデオストリームは、任意選択的に、レンダリングされた画像とスチルカメラまたはビデオカメラを使用して録画された画像との両方を含む。ビデオソース１２３０は、以前録画したビデオをビデオストリームに含むために保存するように構成されたストレージデバイスも含むことがある。ビデオソース１２３０は、対象物、たとえば、人の動きまたは位置を検出するように構成された、動きまたは位置検知デバイス、及びゲーム状態を判定する、または検出された動き及び／または位置に基づくビデオを生成するように構成されるロジックも含むことがある。

【0156】

ビデオソース１２３０は任意選択的に、他のビデオ上に定置されるように構成されたオーバーレイを提供するように構成される。たとえば、これらのオーバーレイは、コマンドインタフェース、ログインのやり方、ゲームプレイヤーへのメッセージ、他のゲームプレイヤーの画像、他のゲームプレイヤーのビデオフィード（たとえば、ウェブカムビデオ）を含んでもよい。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント１２１０Ａの実施態様では、オーバーレイは、バーチャルキーボード、ジョイスティック、タッチパッド、及び／または同様のものを含むことがある。オーバーレイの１つの例では、プレイヤーの声がオーディオストリーム上に重ねられる。ビデオソース１２３０は任意選択的に、１つまたは複数のオーディオソースをさらに含む。

【0157】

２人以上のプレイヤーからの入力に基づいてゲーム状態を維持するようにビデオサーバシステム１２２０が構成される実施態様では、それぞれのプレイヤーは、ビューの位置及び方向を含む異なる視点を有することがある。ビデオソース１２３０は任意選択的に、それぞれのプレイヤーに対して各自の視点に基づいた別個のビデオストリームを提供するように構成される。さらに、ビデオソース１２３０は、クライアント１２１０のそれぞれに対して異なるフレームサイズ、フレームデータサイズ、及び／またはエンコードを提供するように構成されることがある。ビデオソース１２３０は任意選択的に、３次元ビデオを提供するように構成される。

【0158】

Ｉ／Ｏデバイス１２４５は、ビデオサーバシステム１２２０のために、ビデオ、コマンド、情報要求、ゲーム状態、視線情報、デバイスの動き、デバイスの場所、ユーザの動き、クライアント識別情報、プレイヤー識別情報、ゲームコマンド、セキュリティ情報、オーディオ、及び／または同様なものなどの情報を送信及び／または受信するように構成される。Ｉ／Ｏデバイス１２４５は典型的には、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス１２４５は、ゲームサーバ１２２５、ネットワーク１２１５、及び／またはクライアント１２１０と通信するように構成される。

【0159】

プロセッサ１２５０は、ロジック、たとえば、本明細書で論じられるビデオサーバシステム１２２０のさまざまな構成要素内に含まれる、ソフトウェアを実行するように構成される。たとえば、プロセッサ１２５０は、ビデオソース１２３０、ゲームサーバ１２２５、及び／またはクライアントクオリファイア１２６０の機能を実行するように、ソフトウェア命令を用いてプログラムされてもよい。ビデオサーバシステム１２２０は任意選択的に、プロセッサ１２５０の２つ以上のインスタンスを含む。プロセッサ１２５０はまた、ビデオサーバシステム１２２０によって受信されたコマンドを実行するため、または本明細書で論じられるゲームシステム１２００のさまざまな要素の動作を連係するために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ１２５０は、１つまたは複数のハードウェアデバイスを含んでもよい。プロセッサ１２５０は、電子プロセッサである。

【0160】

ストレージ１２５５は、非一時的アナログ及び／またはデジタルストレージデバイスを含む。たとえば、ストレージ１２５５は、ビデオフレームを保存するように構成されるアナログストレージデバイスを含むことがある。ストレージ１２５５は、コンピュータ可読デジタルストレージ、たとえばハードドライブ、光学式ドライブ、またはソリッドステートストレージを含むことがある。ストレージ１２１５は、ビデオフレーム、人工フレーム、ビデオフレームと人工フレームとを両方含むビデオストリーム、オーディオフレーム、オーディオストリーム、及び／または同様のものを保存するように構成される（たとえば、適切なデータ構造、またはファイルシステムによって）。ストレージ１２５５は任意選択的に、複数のデバイスの中に分散される。いくつかの実施態様では、ストレージ１２５５は、本明細書のいずれかで論じられるビデオソース１２３０のソフトウェア構成要素を保存するように構成される。これらの構成要素は、必要に応じて供給する用意ができた形式で保存されることがある。

【0161】

ビデオサーバシステム１２２０は任意選択的に、クライアントクオリファイア１２６０をさらに備える。クライアントクオリファイア１２６０は、クライアント１２１０Ａまたは１２１０Ｂなどのクライアントの能力をリモートで判定するために構成される。これらの能力は、クライアント１２１０Ａ自身の能力、ならびに、クライアント１２１０Ａとビデオサーバシステム１２２０との間の１つまたは複数の通信チャネルの能力の両方を含むことができる。たとえば、クライアントクオリファイア１２６０は、ネットワーク１２１５を通る通信チャネルをテストするように構成されることがある。

【0162】

クライアントクオリファイア１２６０は、クライアント１２１０Ａの能力を、手動でまたは自動で判定（たとえば、発見）することができる。手動判定は、クライアント１２１０Ａのユーザと通信し、ユーザに能力を提供するように依頼することを含む。たとえば、いくつかの実施態様では、クライアントクオリファイア１２６０は、画像、テキスト、及び／または同様のものをクライアント１２１０Ａのブラウザ内に表示するように構成される。１つの実施態様では、クライアント１２１０Ａは、ブラウザを含むＨＭＤである。別の実施態様では、クライアント１２１０Ａは、ＨＭＤ上に表示されてもよいブラウザを有するゲームコンソールである。表示された対象物は、ユーザによる、クライアント１２１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダタイプ、ネットワーク接続の種類、ディスプレイ解像度などの情報の入力を要求する。ユーザが入力した情報は、クライアントクオリファイア１２６０に戻すように通信される。

【0163】

自動判定は、たとえば、クライアント１２１０Ａ上のエージェントの実行によって、及び／または、テストビデオをクライアント１２１０Ａに送信することによって発生することがある。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされたｊａｖａ（登録商標） ｓｃｒｉｐｔなどのコンピューティング命令を含むことがある。エージェントは任意選択的に、クライアントクオリファイア１２６０によって提供される。さまざまな実施態様では、エージェントは、クライアント１２１０Ａの処理能力、クライアント１２１０Ａのデコード及び表示能力、クライアント１２１０Ａとビデオサーバシステム１２２０との間の通信チャネルの遅れ時間の信頼性及び帯域幅、クライアント１２１０Ａのディスプレイの種類、クライアント１２１０Ａ上に存在するファイアウォール、クライアント１２１０Ａのハードウェア、クライアント１２１０Ａで実行しているソフトウェア、クライアント１２１０Ａ内のレジストリエントリ、及び／または同様のものを見出すことができる。

【0164】

クライアントクオリファイア１２６０は、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に保存されるソフトウェアを含む。クライアントクオリファイア１２６０は任意選択的に、ビデオサーバシステム１２２０の１つまたは複数の他の要素から分離したコンピューティングデバイス上に配置される。たとえば、いくつかの実施態様では、クライアントクオリファイア１２６０は、クライアント１２１０とビデオサーバシステム１２２０の２つ以上のインスタンスとの間の通信チャネルの特性を判定するように構成される。これらの実施態様では、クライアントクオリファイアによって発見された情報を、ビデオサーバシステム１２２０のどのインスタンスが、クライアント１２１０のうちの１つへのストリーミングビデオの送達のために最も適しているかを判断するために使用することができる。

【0165】

本開示の各実施態様は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、さまざまなコンピュータシステム構成によって実施されてもよい。本開示を、タスクが有線ネットワークまたは無線ネットワークを通してリンクされるリモート処理デバイスによって実行される、分散したコンピューティング環境で実践することもできる。

【0166】

上述の各実施態様を考慮に入れて、本開示は、コンピュータシステムに保存されるデータを含む、さまざまなコンピュータ実装操作を使用してもよいことを理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。本開示の一部を形成する本明細書に記載された操作はいずれも、有益な機械操作である。本開示は、これらの操作を実行するためのデバイスまたは機器にも関する。機器を要求される目的のために特に構築することができ、または、機器をコンピュータ内に保管されたコンピュータプログラムによって選択的に起動または構成された汎用コンピュータとすることができる。特に、本明細書の教示に従って書かれたコンピュータプログラムを用いて、さまざまな汎用マシンを使用することができ、または、より特化した機器を構築して必要な動作を実行することがより都合がよいことがある。

【0167】

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとして具現化することもできる。コンピュータ可読媒体は、その後コンピュータシステムによって読み取ることができるデータを保存できる任意のデータストレージデバイスである。コンピュータ可読媒体の例には、ハードディスク、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ならびに他の光学式データストレージデバイス及び非光学式データストレージデバイスなどがある。コンピュータ可読媒体としては、コンピュータ可読コードを分散した様式で保存及び実行するように、ネットワーク連結されたコンピュータシステムを通して分散するコンピュータ可読有形媒体を挙げることができる。

【0168】

方法動作を特定の順序で記載したが、動作の間に他のハウスキーピング動作が実行されてもよく、または動作が若干異なる時間に発生するように動作が調整されてもよく、または動作がシステム内に分散されてもよく、これは、オーバーレイ動作の処理が所望されるやり方で実行される限り、処理と関連するさまざまな間隔での処理動作の発生を可能にすることを理解するべきである。

【0169】

前述の開示は、理解の明確化の目的である程度詳細に記載されてきたが、添付の特許請求の範囲の範囲内で、ある程度の変更及び修正を実践することができることは明らかである。したがって、本実施態様は、例示的であり、制限的でないと考えられるべきであり、本開示は、本明細書で与えられた詳細に制限されないが、添付の特許請求の範囲及び均等物の範囲内で修正されてもよい。

【図1A】

【図1B】

【図1C】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A-1】

【図9A-2】

【図9B】

【図10】

【図11】

【図12】