特表 2024-542988 レンダリングデータのプリロードのための入力予測

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-19

(54)【発明の名称】レンダリングデータのプリロードのための入力予測

(51)【国際特許分類】

   G06F 3/01 20060101AFI20241112BHJP

   G06T 19/00 20110101ALI20241112BHJP

   A63F 13/21 20140101ALI20241112BHJP

   A63F 13/211 20140101ALI20241112BHJP

   A63F 13/77 20140101ALI20241112BHJP

【ＦＩ】

G06F3/01 510

G06F3/01 570

G06T19/00 A

A63F13/21

A63F13/211

A63F13/77

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024525147

(86)(22)【出願日】2022-11-18

(85)【翻訳文提出日】2024-04-25

(86)【国際出願番号】 US2022050502

(87)【国際公開番号】W WO2023096840

(87)【国際公開日】2023-06-01

(31)【優先権主張番号】17/537,412

(32)【優先日】2021-11-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ロトラー、ベン、ホンダ

(72)【発明者】

【氏名】トロンベッタ、スティーヴン

【テーマコード（参考）】

5B050

5E555

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050CA07

5B050CA08

5B050EA09

5B050EA27

5B050FA02

5B050FA05

5B050FA08

5E555AA27

5E555AA48

5E555AA76

5E555BA20

5E555BB05

5E555BB06

5E555BB20

5E555BC04

5E555BC17

5E555BC18

5E555BE17

5E555CA42

5E555CA44

5E555CA47

5E555CB64

5E555CB65

5E555CB66

5E555DA08

5E555EA20

5E555FA00

(57)【要約】

【解決手段】ディスプレイデバイスに提示されるシーンをレンダリングするためにグラフィックスデータをフェッチする方法及びシステムが提供される。この方法は、ユーザがシーンとインタラクションしている間に、ユーザの目の視線情報を受信することを含む。この方法は、ユーザがシーンとインタラクションしている間に、ユーザのジェスチャを追跡することを含む。この方法は、シーン内のコンテンツアイテムを、ユーザによるインタラクティブ性の潜在的な焦点であると識別することを含む。この方法は、ユーザの視線情報及びジェスチャを処理して、ユーザによるコンテンツアイテムとのインタラクションの予測を生成することを含む。この方法は、ユーザがコンテンツアイテムとインタラクションすることを予想して、グラフィックスデータにアクセスして、グラフィックスデータをシステムメモリにロードするプリフェッチ動作を処理することを含む。このようにして、シーン内のコンテンツアイテムとのインタラクションの予測がユーザのゲームアクション（例えば、視線、ジェスチャなど）に基づいて決定されると、コンテンツアイテムに関連付けられたグラフィックスデータをシステムメモリにロードすることができ、それをコンテンツアイテムのさらなるレンダリングに使用することができるため、ユーザがゲームシーンでコンテンツアイテムとインタラクションする際の遅延を排除するのに役立ち得る。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

ディスプレイに提示されるシーンをレンダリングするためにグラフィックスデータをフェッチする方法であって、
ユーザが前記シーンとインタラクションしている間に、前記ユーザの目の視線情報を受信することと、
前記ユーザが前記シーンとインタラクションしている間に、前記ユーザのジェスチャを追跡することと、
前記シーン内のコンテンツアイテムを、前記ユーザによるインタラクティブ性の潜在的な焦点であると識別することと、
前記ユーザの前記視線情報及び前記ジェスチャを処理して、前記ユーザによる前記コンテンツアイテムとのインタラクションの予測を生成することと、
前記ユーザが前記コンテンツアイテムとインタラクションすることを予想して、前記グラフィックスデータにアクセスして、前記グラフィックスデータをシステムメモリにロードするプリフェッチ動作を処理することと、
を含む方法。

【請求項2】

前記プリフェッチ動作は、前記予測の更新に基づいて、アクセスして前記システムメモリにロードする前記グラフィックスデータの量を増加または低減させるように調整される、請求項１に記載の方法。

【請求項3】

前記インタラクションの予測は、前記ユーザが前記コンテンツアイテムまたは別のコンテンツアイテムとインタラクションする可能性を予測するために経時的にトレーニングされた行動モデルを部分的に使用して処理される、請求項１に記載の方法。

【請求項4】

前記グラフィックスデータは、前記シーン内の前記コンテンツアイテムをレンダリングして、初めに、より低画質で前記シーンに提示された前記コンテンツアイテムの画質を上げるために使用される、請求項１に記載の方法。

【請求項5】

前記コンテンツアイテムの前記レンダリングに使用される前記グラフィックスデータの量は、前記コンテンツアイテムに対する前記ユーザの距離に基づく、請求項４に記載の方法。

【請求項6】

前記コンテンツアイテムの前記レンダリングに使用される前記グラフィックスデータの前記量は、前記ユーザの視線が前記コンテンツアイテム上に維持される時間の長さに基づく、請求項５に記載の方法。

【請求項7】

前記レンダリングに使用される前記グラフィックスデータの前記量は、前記ユーザが以前に前記シーン内の前記コンテンツアイテムとインタラクションしたという学習に基づいて、動的に調整される、請求項６に記載の方法。

【請求項8】

前記グラフィックスデータは、前記ユーザが別のコンテンツアイテムとインタラクションすることを予想して、前記シーン内の前記別のコンテンツアイテムをレンダリングするために使用される、請求項１に記載の方法。

【請求項9】

前記ユーザの前記ジェスチャは、頭の動き、手の動き、体の動き、前記コンテンツアイテムに対する前記ユーザの位置、身ぶり、またはそれらの２つ以上の組み合わせである、請求項１に記載の方法。

【請求項10】

前記視線情報には、前記ユーザの視線、瞳孔サイズ、目の動き、またはそれらの２つ以上の組み合わせが含まれる、請求項１に記載の方法。

【請求項11】

前記グラフィックスデータは、前記識別されたコンテンツアイテムに関連する情報を含み、前記情報は、粗さ、曲率、幾何学的形状、頂点、奥行き、色、ライティング、シェーディング、テクスチャリング、またはそれらの２つ以上の組み合わせを含む、請求項１に記載の方法。

【請求項12】

前記コンテンツアイテムの画質を上げるために、前記グラフィックスデータを使用して、前記コンテンツアイテムに関連する追加的細部をレンダリングすること、をさらに含む、請求項１に記載の方法。

【請求項13】

前記ユーザが他のコンテンツアイテムとインタラクションすることを予想して、前記グラフィックスデータを使用して、前記シーン内の前記他のコンテンツアイテムをレンダリングすること、をさらに含む、請求項１に記載の方法。

【請求項14】

前記コンテンツアイテムとの前記インタラクションの予測は、行動モデルを介して前記視線情報、前記ジェスチャ、及びインタラクティブデータを処理することに基づいており、前記行動モデルは、前記コンテンツアイテムとのインタラクションの前記予測を生成するために、前記視線情報、前記ジェスチャ、及び前記インタラクティブデータの間の関係性を識別するように構成されている、請求項１に記載の方法。

【請求項15】

ディスプレイに提示されるシーンをレンダリングするためにグラフィックスデータをフェッチするシステムであって、
サーバが、ユーザが前記シーンとインタラクションしている間に、前記ユーザの目の視線情報を受信することと、
前記サーバが、前記ユーザが前記シーンとインタラクションしている間に、前記ユーザのジェスチャを追跡することと、
前記サーバが、前記シーン内のコンテンツアイテムを、前記ユーザによるインタラクティブ性の潜在的な焦点であると識別することと、
前記サーバが、前記ユーザの前記視線情報及び前記ジェスチャを処理して、前記ユーザによる前記コンテンツアイテムとのインタラクションの予測を生成することと、
前記サーバが、前記ユーザが前記コンテンツアイテムとインタラクションすることを予想して、前記グラフィックスデータにアクセスして、前記グラフィックスデータをシステムメモリにロードするプリフェッチ動作を処理することと、
を含むシステム。

【請求項16】

前記プリフェッチ動作は、前記予測の更新に基づいて、アクセスして前記システムメモリにロードする前記グラフィックスデータの量を増加または低減させるように調整される、請求項１５に記載のシステム。

【請求項17】

前記インタラクションの予測は、前記ユーザが前記コンテンツアイテムまたは別のコンテンツアイテムとインタラクションする可能性を予測するために経時的にトレーニングされた行動モデルを部分的に使用して処理される、請求項１５に記載のシステム。

【請求項18】

前記グラフィックスデータは、前記シーン内の前記コンテンツアイテムをレンダリングして、初めに、より低画質で前記シーンに提示された前記コンテンツアイテムの画質を上げるために使用される、請求項１５に記載のシステム。

【請求項19】

前記サーバが、前記コンテンツアイテムの画質を上げるために、前記グラフィックスデータを使用して、前記コンテンツアイテムに関連する追加的細部をレンダリングすること、をさらに含む、請求項１５に記載のシステム。

【請求項20】

前記コンテンツアイテムとの前記インタラクションの予測は、行動モデルを介して前記視線情報、前記ジェスチャ、及びインタラクティブデータを処理することに基づいており、前記行動モデルは、前記コンテンツアイテムとのインタラクションの前記予測を生成するために、前記視線情報、前記ジェスチャ、及び前記インタラクティブデータの間の関係性を識別するように構成されている、請求項１５に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、ゲームシーンをレンダリングするために使用されるグラフィックスデータをフェッチすることに関し、より詳細には、ユーザの視線及びジェスチャに基づいてグラフィックスデータをフェッチしてシステムメモリにロードするための方法及びシステムに関する。

【背景技術】

【0002】

関連技術の説明
ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。特に、仮想現実（ＶＲ）ゲーム業界は、長年にわたって驚異的な成長を遂げており、今後も同じ年平均成長率で成長し続けるとみられている。ＶＲゲームは、プレイヤが、プレイヤに導入されるＶＲゲームシーンとインタラクションしながら、３次元（３Ｄ）の人工環境に没入する没入型体験をプレイヤに提供することができる。ＶＲゲーム業界では、ＶＲゲームの体験を向上させる独自の方法を改善し開発する傾向が高まっている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

例えば、プレイヤのゲームプレイ中、プレイヤがＶＲ環境に没入しているとき、プレイヤはＶＲ環境内の様々な仮想オブジェクトを探索し、インタラクションすることができる。場合によっては、プレイヤがＶＲシーン内を移動し、ＶＲシーン内の仮想オブジェクトとインタラクションするときに、グラフィックスが非常に詳細であるため、仮想オブジェクトをレンダリングし、プレイヤのＶＲシーンとのインタラクション全般を通じてスムーズな移行を保証するには、大量の計算リソースを必要とするので、プレイヤはＶＲシーンのレンダリング遅延に遭遇することがある。残念ながら、一部のプレイヤは、ＶＲシーンのレンダリングの遅延が煩わしく、本物のＶＲ体験にならないと感じる可能性がある。その結果、プレイヤには完全に没入型のＶＲ体験が提供され得ず、プレイヤがゲームプレイを続行したくないという結果になり得る。

【0004】

このような文脈で、本開示の実施態様が生じる。

【課題を解決するための手段】

【0005】

本開示の実施態様には、ディスプレイに提示されるゲームシーンをレンダリングするためのグラフィックスデータをフェッチすることに関連する方法、システム、及びデバイスが含まれる。いくつかの実施形態では、（ＶＲ）ビデオゲームをプレイしているユーザのゲームアクション及びジェスチャに基づいて、グラフィックスデータをフェッチしてシステムメモリにロードすることを可能にする方法が開示される。例えば、ＶＲビデオゲームをプレイしているユーザが、ＶＲゲームのＶＲ環境に没入していることがあり得る。ユーザのゲームプレイ中、ユーザがＶＲシーンとインタラクションしながら様々なゲームアクションを実行するとき、ユーザのゲームアクションは、ユーザがシーン内の特定のコンテンツアイテムに注目し、特定のコンテンツアイテムとのインタラクションに関心を持つことを推測し、予測するのに役立つ場合がある。一例では、ユーザの視線、及びユーザのジェスチャ（例えば、頭の動き、手の動き、体の動き、位置、身ぶりなど）などのゲームアクションは、ユーザが、ゲームシーン内の特定のコンテンツアイテムとインタラクションすることに関心を持っていることをインディケートする場合がある。

【0006】

したがって、一実施形態では、本システムは、コンテンツアイテムとのインタラクションの予測を生成するために、ユーザの視線及びジェスチャを処理するように構成される。生成されたインタラクションの予測を使用して、システムは、ユーザがコンテンツアイテムとインタラクションすることを予想して、コンテンツアイテムに関連付けられたグラフィックスデータをプリフェッチし、システムメモリにグラフィックスデータをロードするように構成されたプリフェッチ動作を含むことができる。ユーザが興味を持つ可能性のあるコンテンツアイテムを識別するために、ユーザのゲームアクションが分析されかつ追跡されるので、本明細書に開示される方法は、ユーザがコンテンツアイテムとインタラクションすることを予想して、特定のコンテンツアイテムに関連付けられたグラフィックスデータをフェッチし、そのグラフィックスデータをシステムメモリにロードする方法を概説する。このように、グラフィックスデータをシステムメモリに格納することで、グラフィックスデータは、システムによってすばやくアクセスされることが可能となり、コンテンツアイテムをレンダリングすること、またはコンテンツアイテムに関する追加的細部をレンダリングして画質を向上させることのために使用され得る。このようにして、システムが特定のコンテンツアイテムをレンダリングするときに、遅延を排除することができる。

【0007】

一実施形態では、ディスプレイデバイス上に提示されるシーンをレンダリングするためにグラフィックスデータをフェッチする方法が提供される。この方法は、ユーザがシーンとインタラクションしている間に、ユーザの目の視線情報を受信することを含む。この方法は、ユーザがシーンとインタラクションしている間に、ユーザのジェスチャを追跡することを含む。この方法は、シーン内のコンテンツアイテムを、ユーザによるインタラクティブ性の潜在的な焦点であると識別することを含む。この方法は、ユーザの視線情報及びジェスチャを処理して、ユーザによるコンテンツアイテムとのインタラクションの予測を生成することを含む。この方法は、ユーザがコンテンツアイテムとインタラクションすることを予想して、グラフィックスデータにアクセスして、グラフィックスデータをシステムメモリにロードするプリフェッチ動作を処理することを含む。このようにして、シーン内のコンテンツアイテムとのインタラクションの予測がユーザのゲームアクション（例えば、視線、ジェスチャなど）に基づいて決定されると、コンテンツアイテムに関連付けられたグラフィックスデータをシステムメモリにロードすることができ、それをコンテンツアイテムのさらなるレンダリングに使用することができるため、ユーザがゲームシーンでコンテンツアイテムとインタラクションする際の遅延を排除するのに役立ち得る。

【0008】

別の実施形態では、ディスプレイに提示されるシーンをレンダリングするためにグラフィックスデータをフェッチするシステムが提供される。このシステムは、サーバが、ユーザがシーンとインタラクションしている間に、ユーザの目の視線情報を受信することを含む。このシステムは、サーバが、ユーザがシーンとインタラクションしている間に、ユーザのジェスチャを追跡することを含む。このシステムは、サーバが、シーン内のコンテンツアイテムを、ユーザによるインタラクティブ性の潜在的な焦点であると識別することを含む。このシステムは、サーバが、ユーザの視線情報及びジェスチャを処理して、ユーザによるコンテンツアイテムとのインタラクションの予測を生成することを含む。このシステムは、サーバが、ユーザがコンテンツアイテムとインタラクションすることを予想して、グラフィックスデータにアクセスして、グラフィックスデータをシステムメモリにロードするプリフェッチ動作を処理することを含む。

【0009】

本開示の他の態様及び利点は、添付の図面と併せて、本開示の原理を例として示す以下の詳細な説明から明らかになるであろう。

【0010】

本開示は、添付の図面と併せて以下の説明を参照することによってより良く理解され得る。

【図面の簡単な説明】

【0011】

【図1A】本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を介した仮想環境とのインタラクションのためのシステムの実施形態を例示する。

【図1B】本開示の実施態様による、ユーザ１００がゲームプレイ中にゲームシーンとインタラクションしている間に、ユーザ１００の視線情報及びジェスチャを追跡するためのシステムの実施形態を例示する。

【図2A】本開示の実施態様による、ユーザが、ＨＭＤを装着している間に、仮想現実シーンとインタラクションすることを示している、ユーザの仮想環境への視界の実施形態を例示する。

【図2B】本開示の実施態様による、ユーザが、ユーザの仮想腕がコンテンツアイテムに向かって伸びている仮想現実シーンとインタラクションすることを示している、図２Ａに示されるユーザの仮想環境の実施形態を例示する。

【図3A】本開示の実施態様による、ユーザが、ＨＭＤを装着している間に、仮想現実シーンとインタラクションすることを示している、ユーザの仮想環境への視界の別の実施形態を例示する。

【図3B】本開示の実施態様による、ユーザが、ＨＭＤを装着している間に、仮想現実シーンとインタラクションすることを示している、ユーザの仮想環境への視界の別の実施形態を例示する。

【図3C】本開示の実施態様による、ユーザが、ＨＭＤを装着している間に、仮想現実シーンとインタラクションすることを示している、ユーザの仮想環境への視界の別の実施形態を例示する。

【図4】本開示の実施態様による、ゲームシーンでレンダリングする識別されたコンテンツアイテムに対応するグラフィックスデータをフェッチするシステムの実施形態を例示する。

【図5】本開示の実施態様による、ユーザのゲームプレイ中に追跡されるユーザの視線情報及びジェスチャと、ユーザによるコンテンツアイテムとのインタラクションの生成された予測とを例示するテーブルの実施形態を例示する。

【図6】本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイスの構成要素を例示する。

【発明を実施するための形態】

【0012】

本開示の以下の実施態様は、ディスプレイに提示されるゲームシーンをレンダリングするために使用されるグラフィックスデータをフェッチするための方法、システム、及びデバイスを提供する。具体的には、ディスプレイは、仮想現実（ＶＲ）ビデオゲームをプレイするユーザのヘッドマウントディスプレイ（ＨＭＤ）、またはユーザのデバイスに関連付けられたディスプレイであり得る。一実施形態では、グラフィックスデータは、ゲームシーン内の１つ以上のコンテンツアイテムに対応し、コンテンツアイテムに関連する追加的細部をレンダリングするために使用することができる。いくつかの実施形態では、コンテンツアイテムは、ゲームシーンとインタラクションしている間のユーザのゲームアクションに基づいて識別される。例えば、ユーザのゲームプレイ中、ユーザがゲームシーンとインタラクションしている間に、視線及びジェスチャ（例えば、体の動き）などのユーザのゲームアクションがリアルタイムで追跡される。一例では、ユーザがインタラクションすることに潜在的に関心を持っているゲームシーン内のコンテンツアイテムを識別するために、ユーザの視線及びユーザのジェスチャが処理される。それに伴って、識別されたコンテンツアイテムに対応するグラフィックスデータが、ユーザがそのコンテンツアイテムとインタラクションすることを予想して、プリフェッチされ、システムメモリにロードされる。このように、グラフィックスデータをシステムメモリに格納することで、グラフィックスデータは、システムによってすばやくアクセスされることが可能となり、特定のコンテンツアイテムをレンダリングすること、またはコンテンツアイテムに関連する追加的細部をレンダリングすることのために使用することができる。このようにして、ゲームシーン内の様々なコンテンツアイテムのレンダリングに関連する遅延を排除することができ、その結果、ユーザに、中断されたＶＲゲーム体験を提供することによって、ユーザのゲーム体験を向上させることができる。

【0013】

例として、一実施形態では、ディスプレイに提示されるシーンをレンダリングするために使用されるグラフィックスデータをフェッチできるようにする方法が開示される。この方法は、ユーザがシーンとインタラクションしている間に、ユーザの目の視線情報を受信することを含む。一実施形態では、この方法は、ユーザがシーンとインタラクションしている間に、ユーザのジェスチャを追跡することをさらに含むことができる。別の実施形態では、この方法は、シーン内のコンテンツアイテムを、ユーザによるインタラクティブ性の潜在的な焦点であると識別することを含む場合がある。いくつかの実施形態では、この方法は、ユーザの視線情報及びジェスチャを処理して、ユーザによるコンテンツアイテムとのインタラクションの予測を生成することを含む。他の実施形態では、この方法は、ユーザがコンテンツアイテムとインタラクションすることを予想して、グラフィックスデータにアクセスして、グラフィックスデータをシステムメモリにロードするプリフェッチ動作を処理することを含む。しかしながら、本開示は、ここで説明している具体的詳細の一部または全てを用いることなく、実践され得ることは、当業者には明らかであろう。他の例では、周知のプロセス動作は、本開示を不必要に不明瞭にしないために、詳細には説明していない。

【0014】

上記の概要を念頭に置いて、以下では、例示的な実施形態の理解を容易にするためにいくつかの例示的な図を提供する。

【0015】

図１Ａは、本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を介した仮想環境とのインタラクションのためのシステムの実施形態を例示する。ＨＭＤは、仮想現実（ＶＲ）ヘッドセットと呼ばれることもある。本明細書で使用するとき、「仮想現実」（ＶＲ）という用語は、一般に、仮想空間にいる感覚をユーザに提供するために、ＨＭＤの（ユーザによって制御される）動きにリアルタイムで応答するように、ＨＭＤ（またはＶＲヘッドセット）を通して、仮想空間を視聴することを含む、仮想空間／仮想環境とのユーザインタラクションのことをいう。例えば、ユーザは、所与の方向を向いているときに仮想空間の３次元（３Ｄ）表示を見ることができ、ユーザが側方を向き、それによってＨＭＤの向きを同じように変えると、仮想空間のその側方の表示がＨＭＤ上にレンダリングされる。

【0016】

図１Ａに示されるように、ユーザ１００は、ＨＭＤ１０２を装着し、インタフェースオブジェクト１０４を操作し、ビデオゲームに入力を提供するように、実世界空間１２０内に物理的に位置しているように示されている。ＨＭＤ１０２は、眼鏡、ゴーグル、またはヘルメットと同じようにして着用され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成される。ＨＭＤ１０２は、ユーザの目にごく近接して表示機構を提供することにより、ユーザに非常に没入感のある体験を提供する。したがって、ＨＭＤ１０２は、ユーザの視野の大部分、または全体さえも占める表示領域をユーザの目のそれぞれに提供することができ、３次元的な奥行き及び遠近感を伴う視聴を提供することもできる。

【0017】

いくつかの実施形態では、ＨＭＤ１０２は、ユーザにＶＲシーンへのゲームプレイ視点（ＰＯＶ）１０８を提供し得る。したがって、ユーザ１００が自分の頭を回して仮想環境内の異なる領域の方を見る場合、ＶＲシーンは、ユーザ１００のゲームプレイＰＯＶ１０８内に存在し得る任意の追加の仮想オブジェクトを含むように更新される。一実施形態では、ＨＭＤ１０２は、ユーザがＶＲシーンとインタラクションしている間にユーザ１００の目の画像をキャプチャするように構成された視線追跡カメラを含むことができる。視線追跡カメラによってキャプチャされた視線情報は、ユーザ１００の視線方向、及びユーザ１００が注目している、またはインタラクションすることに関心があるＶＲシーン内の特定の仮想オブジェクト及びコンテンツアイテムに関連する情報を含むことができる。したがって、ユーザ１００の視線方向に基づいて、システムは、ユーザがインタラクションし、関わることに関心を持っている場合に、ユーザにとって潜在的な焦点となる可能性がある特定の仮想オブジェクト及びコンテンツアイテム、例えば、ゲームキャラクタ、ゲームオブジェクト、ゲームアイテムなどを検出することができる。

【0018】

いくつかの実施形態では、ＨＭＤ１０２は、ユーザの体の動きなどのユーザ１００の実世界空間１２０の画像、及び実世界空間に配置され得る任意の実世界オブジェクトの画像をキャプチャするように構成された、外向きのカメラを含んでもよい。いくつかの実施形態では、外向きカメラによってキャプチャされた画像を分析して、ＨＭＤ１０２に対する実世界オブジェクトの位置／向きを判定することができる。ＨＭＤ１０２の既知の位置／向きを用いて、実世界のオブジェクト、ならびにＨＭＤ、ユーザのジェスチャ及び動きからの慣性センサデータを、ユーザがＶＲシーンとインタラクションしている間、継続的に監視及び追跡することができる。例えば、ゲーム内のシーンとインタラクションしている間、ユーザ１００は、シーン内の特定のコンテンツアイテムを指さしたり、その方向に歩いたりするなど、様々なジェスチャを行い得る。一実施形態では、ジェスチャをシステムによって追跡し、処理して、ゲームシーン内の特定のコンテンツアイテムとのインタラクションの予測を生成することがある。他の実施形態では、ＨＭＤ１０２は、ＨＭＤ１０２の位置及び向きを判定するために追跡され得る１つ以上のライトを含んでもよい。

【0019】

上記のように、ユーザ１００は、インタフェースオブジェクト１０４を操作して、ビデオゲームに入力を提供してもよい。様々な実施態様では、インタフェースオブジェクト１０４は、インタフェースオブジェクトの位置及び向きの判定、ならびに動きの追跡を可能にするために、追跡され得るライト、及び／または慣性センサ（複数可）を含む。ユーザ１００がＨＭＤ１０２に表示される仮想現実シーンとインタフェースする方法は様々なものであり得、インタフェースオブジェクト１０４に加えて他のインタフェースデバイスを用いることができる。例えば、様々な種類の片手用コントローラ、及び両手用コントローラを使用してもよい。ある実施態様では、コントローラに含まれるライトを追跡することによって、またはコントローラに関連する形状、センサ、及び慣性データを追跡することによって、コントローラ自体を追跡することができる。これらの各種のコントローラ、または実行されて１つ以上のカメラで取り込まれる単純な手のジェスチャさえも使用することによって、ＨＭＤ１０２上に提示された仮想現実環境をインタフェースすること、制御すること、操作すること、この仮想現実環境とインタラクションすること、及びこの仮想現実環境に参加することが可能になる。

【0020】

図示の実施態様では、ＨＭＤ１０２は、ネットワーク１１２を介してクラウドコンピューティング及びゲームシステム１１４に無線で接続される。一実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ユーザ１００がプレイしているビデオゲームを維持し、実行する。いくつかの実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ネットワーク１１２を介してＨＭＤ１０２及びインタフェースオブジェクト１０４から入力を受信するように構成される。クラウドコンピューティング及びゲームシステム１１４は、実行中のビデオゲームのゲーム状態に影響を与えるように入力を処理するように構成される。実行中のビデオゲームからのビデオデータ、音声データ、及び触覚フィードバックデータなどの出力は、ＨＭＤ１０２及びインタフェースオブジェクト１０４に送信される。例として、ビデオストリーム及びオーディオストリームがＨＭＤ１０２に供給され、一方、触覚／振動フィードバックコマンドがインタフェースオブジェクト１０４に供給される。他の実施態様では、ＨＭＤ１０２は、セルラネットワークなどの代替メカニズムまたはチャネルを介してワイヤレスでクラウドコンピューティング及びゲームシステム１１４と通信することができる。

【0021】

さらに、本開示の実施態様は、ヘッドマウントディスプレイに関して記載され得るが、他の実施態様では、本実施態様に従って、ビデオをレンダリングし、及び／またはインタラクティブなシーンまたは仮想環境の表示を提供するように構成され得る、ポータブルデバイス画面（例えば、タブレット、スマートフォン、ラップトップなど）または他の任意のタイプのディスプレイを含むがこれに限定されない、非ヘッドマウントディスプレイを代わりに使ってもよいことが理解されよう。

【0022】

図１Ｂは、ユーザ１００がゲームプレイ中にゲームシーンとインタラクションしている間に、ユーザ１００の視線情報及びジェスチャを追跡するためのシステムの実施形態を例示する。図に例示するように、ユーザ１００が、ディスプレイ１０５の前に立って、ゲームをプレイしている様子が示されている。ユーザ１００は、ゲームに入力を提供するインタフェースオブジェクト１０４を使用してゲームをプレイすることができる。コンピュータ１１０は、結線を介してディスプレイ１０５に接続されている。カメラ１１６は、ディスプレイ１０５の上部に配置され、ユーザがゲームプレイに没入している間に、ユーザがゲームをプレイしている様子をキャプチャするように構成されている。カメラ１１６は、ユーザ１００及びそのＰＯＶ内のオブジェクトをキャプチャするカメラ視点（ＰＯＶ）１１８を含む。図示される実施形態によれば、コンピュータ１１０は、ネットワーク１１２を介してクラウドコンピューティング及びゲームシステム１１４と通信することができる。

【0023】

カメラ１１６は、ユーザ１００の視線の追跡を可能にする視線追跡を含んでもよい。カメラ１１６は、ユーザの目の画像を取り込み、それを解析してユーザ１００の視線１０６を判定するように構成される。いくつかの実施形態では、カメラ１１６は、ゲームプレイ中にユーザ１００のジェスチャ及び体の動きをキャプチャして処理するように構成されてもよい。例えば、ユーザ１００のゲームプレイ中に、ユーザは、インタラクションすることに関心を持つ様々なコンテンツアイテム（例えば、ゲームオブジェクト、ゲームキャラクタなど）に遭遇する可能性がある。ユーザがコンテンツアイテムの方向に移動している間に、視線１０６が特定のコンテンツアイテムに集中すると、注目されたアクション（例えば、視線、体の動き）が処理され、ゲームシーン内の特定のコンテンツアイテムが、ユーザによるインタラクティブ性の潜在的な焦点であると識別され得る。したがって、システムは、ゲームプレイ中のユーザ１００の視線、ジェスチャ、及び体の動きを追跡し、これらを使用して、ゲームシーンにおける特定のコンテンツアイテムとのインタラクションの予測を生成するように構成され得る。

【0024】

他の実施形態では、カメラ１１６は、ゲームプレイ中のユーザ１００の表情を追跡してキャプチャするように構成されてもよく、これら表情を分析して、表情に伴う感情を決定する。いくつかの実施形態では、カメラ１１６は、ユーザの様々な角度の取り込みを可能にするために、カメラが任意の軸を中心に自由に回転することを可能にする３軸ジンバルに取り付けられてもよい。一実施形態では、カメラ１１６は、ゲームプレイ中にユーザが移動するときに、自動的にズームインしてユーザの顔及び体を追跡するように構成できるパンチルトズームカメラであってもよい。

【0025】

いくつかの実施形態では、インタフェースオブジェクト１０４は、ゲームがプレイされている実世界空間１２０から音をキャプチャするために、１つ以上のマイクロフォンを含むことができる。マイクロフォンによってキャプチャされた音は、音源の位置を識別するよう処理されてもよい。識別された位置からの音は、識別された位置からでない他の音を排除するために選択的に利用または処理されてもよい。この情報は、不要な音源の除外、音源と視覚的識別との関連付けなどを含む様々な方法で利用することができる。いくつかの実施態様では、インタフェースオブジェクト１０４は、インタフェースオブジェクト１０４に含まれるライトを追跡することによって、またはインタフェースオブジェクト１０４に関連付けられた形状、センサ、及び慣性データを追跡することによって、追跡することができる。様々な実施態様では、インタフェースオブジェクト１０４は、コントローラの位置及び向きの判定、ならびに動きの追跡を可能にするために、追跡され得るライト、及び／または慣性センサ（複数可）を含む。

【0026】

コンピュータ１１０が、ゲームプレイ中にユーザ１００に関連するデータ（例えば、視線データ、ジェスチャ情報、体の動きデータ、顔の表情データ、音声付与データ、慣性センサデータ、コントローラ入力データ）をキャプチャした後、そのデータは、ネットワーク１１２を介してクラウドコンピューティング及びゲームシステム１１４に送信され得る。いくつかの実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ユーザ１００からの様々なデータを受信し、処理し、実行して、ユーザによるコンテンツアイテムとのインタラクションの予測を生成することができる。いくつかの実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ユーザがコンテンツアイテムとインタラクションすることを予想して、コンテンツアイテムに対応するグラフィックスデータにアクセスし、それをシステムメモリにロードするために、プリフェッチ動作を利用することができる。いくつかの実施形態では、グラフィックスデータは、ユーザがインタラクションすることに関心を持っているシーン内の特定のコンテンツアイテムに対応し、グラフィックスデータを使用して、特定のコンテンツアイテムをレンダリングすること、または特定のコンテンツアイテムの画質（例えば、粗さ、曲率、幾何学的形状、頂点、奥行き、色、ライティング、シェーディング、テクスチャリング、モーションなど）をさらに向上させることができる。

【0027】

図２Ａは、ユーザ１００が、ＨＭＤ１０２を装着している間に、仮想現実シーン２０２ａとインタラクションすることを示している、ユーザ１００の仮想環境への視界の実施形態を例示する。ユーザ１００がインタフェースオブジェクト１０４を手に持ち、または腕や手を使って仮想現実シーン２０２とインタラクションするとき、システムはユーザ１００のジェスチャとユーザの視線１０６とを追跡するように構成される。例えば、図２Ａに示す例示では、仮想現実シーン２０２ａは、シーン内にレンダリングされる複数のコンテンツアイテム２０４ａ～２０４ｃを含む。図示のように、コンテンツアイテム２０４ａは自由の女神の彫刻を表し、コンテンツアイテム２０４ｂは額縁を表し、コンテンツアイテム２０４ｃはワードローブクローゼットを表す。特に、自由の女神の彫刻は、像のワイヤフレームがシーン内にレンダリングされる場合、低画質（例えば、低解像度）で示される。仮想現実シーン２０２とのユーザのインタラクション中、ユーザの視線１０６はコンテンツアイテム２０４ａ（例えば、自由の女神の彫刻）に向けられているので、システムは、コンテンツアイテム２０４ａを、ユーザ１００によるインタラクティブ性の潜在的な焦点であると識別することができる。

【0028】

いくつかの実施形態では、システムは、ユーザのジェスチャ、及び視線１０６などの視線情報を処理して、ユーザ１００によるコンテンツアイテム２０４ａ（例えば、自由の女神の彫刻）とのインタラクションの予測を生成するように構成される。一実施形態では、ユーザのジェスチャには、ユーザの頭の動き、手の動き、体の動き、ボディランゲージ、及び位置などのユーザアクションが含まれ得る。例えば、ユーザの視線１０６が彫刻に焦点を合わせている間、ユーザのジェスチャは、ユーザ１００が彫刻の方を向き、彫刻に向かって歩いていることをインディケートしてもよい。したがって、視線情報及びジェスチャ情報を使用して、システムは、コンテンツアイテムとのインタラクションの予測を生成することができる。この例では、インタラクションの予測には、ユーザが彫刻を手に取って触りたいと思うことが含まれてもよい。

【0029】

図２Ｂは、ユーザ１００が、ユーザの仮想腕１００'がコンテンツアイテム２０４ａ（例えば、自由の女神の彫刻）に向かって伸びている仮想現実シーン２０２ａとインタラクションすることを示している、図２Ａに示されるユーザ１００の仮想環境の実施形態を例示する。図２Ｂに例示するように、ユーザ１００のジェスチャ２０４ａ～２０４ｂは、ユーザが仮想現実シーン２０２ａとインタラクションしている間に追跡される。ジェスチャ２０６ａは、ユーザ１００の視線１０６がコンテンツアイテム２０４ａに焦点を合わせ向けられている間に、ユーザが実世界空間１２０内で腕を伸ばしてコンテンツアイテム２０４ａに触れようとしている様子を例示する。図にさらに例示されるように、ジェスチャ２０６ｂは、図２Ａに示されるユーザの体位と比較して、コンテンツアイテム２０４ａにより近い位置におけるユーザ１００の体位を例示する。したがって、ユーザ１００の視線１０６及びユーザ１００のジェスチャ２０４ａ～２０４ｂを使用して、システムは、ユーザが関心を持ち得る１つ以上のインタラクションタイプ、例えば、彫刻に触れること、彫刻をつかむこと、彫刻の細部を確認するために、より近い距離で彫刻を見ること、などを予測することができる。

【0030】

いくつかの実施形態では、ユーザの１つ以上のアクションを使用して、シーン内のコンテンツアイテムとのインタラクションを予測すること、例えば、任意のデバイスからのユーザ入力を使用して、期待されるユーザアクションに関連するコンテンツを事前レンダリングすることができる。他の実施形態では、ユーザ１００のジェスチャ２０４及びアクションのシーケンスは、コンテンツアイテムとのインタラクションを予測することができ、このインタラクションは、シーンにおける結末を予測可能にして、コンテンツアイテムのより効果的な事前レンダリングを可能にし得る。

【0031】

いくつかの実施形態では、コンテンツアイテム２０４がインタラクティブ性の潜在的な焦点であると識別され、コンテンツアイテム２０４とのインタラクションの予測が生成されると、システムは、プリフェッチ動作を利用して、グラフィックスデータにアクセスし、システムメモリにグラフィックスデータをロードすることができる。一実施形態では、グラフィックスデータは、ユーザがインタラクションすることが予想されるインタラクティブ性の潜在的な焦点であるとシステムが識別するコンテンツアイテム２０４に対応する。

【0032】

一実施形態では、システムは、識別されたコンテンツアイテム２０４に対応する追加的細部をレンダリングするために、システムメモリからグラフィックスデータにアクセスするように構成された中央処理装置（ＣＰＵ）及びグラフィックス処理装置（ＧＰＵ）を含むことができる。一例では、グラフィックスデータは、コンテンツアイテム２０４の幾何学的形状、頂点、奥行き、色、ライティング、シェーディング、テクスチャリング、モーションなどを定義するデータを含むことができる。例えば、図２Ａ及び図２Ｂを同時に参照すると、ユーザの視線１０６はコンテンツアイテム２０４ａ（例えば、自由の女神の彫刻）に集中している。ユーザ１００が彫刻に向かって歩き、手を使って彫刻に手を伸ばすと（例えば、ジェスチャ２０４ａ～２０４ｂ）、システムは、彫刻に対応するグラフィックスデータにアクセスし、そのグラフィックスデータを使用して、彫刻の画質を向上させる彫刻の追加的細部をレンダリングするように構成される。

【0033】

図２Ｂに示すように、ユーザは、ユーザがコンテンツアイテム２０４ａに触れてインタラクションできる、コンテンツアイテム２０４ａに近接した距離に位置している。さらに示されるように、コンテンツアイテム２０４ａは、図２Ａに示されるコンテンツアイテム２０４ａと比較して、より多くの細部及び向上した画質（例えば、奥行き、シェーディング、テクスチャリングなど）を含む。一実施形態では、コンテンツアイテムをレンダリングするために使用されるグラフィックスデータの量は、コンテンツアイテムに対するユーザの相対的な距離に基づく。例えば、システムは、ユーザがコンテンツアイテム２０４ａに向かって移動し始めたときに、コンテンツアイテム２０４ａの細部のレンダリングを開始するように構成されており、コンテンツアイテム２０４ａのレンダリングに使用されるグラフィックスデータの量は、ユーザがコンテンツアイテム２０４ａに近づくにつれて増加する。他の実施形態では、システムは、ユーザの視線１０６がコンテンツアイテム２０４ａに焦点を合わせて維持されると、コンテンツアイテム２０４ａの細部のレンダリングを開始するように構成される。一実施形態では、コンテンツアイテムの細部をレンダリングするために使用されるグラフィックスデータの量は、ユーザの視線がコンテンツアイテム上に維持される時間の長さと、ユーザの目の輝きとに基づく。

【0034】

図３Ａ～図３Ｃは、ユーザ１００が、ＨＭＤ１０２を装着している間に、仮想現実シーン２０２ｂとインタラクションすることを示している、ユーザ１００の仮想環境への視界の別の実施形態を例示する。図３Ａに例示するように、ユーザ１００が、ＨＭＤ１０２を介して仮想現実シーン２０２ｂを見ながら、インタフェースオブジェクト１０４を保持している様子が示されている。仮想現実シーン２０２ｂは、床に置かれた宝箱を表すコンテンツアイテム２０４ｄを含む。上記のように、ユーザ１００が仮想現実シーン２０２ｂとインタラクションするとき、システムは、ユーザのゲームシーンとのインタラクション中のユーザの視線及びユーザのジェスチャを追跡するように構成される。

【0035】

例えば、図３Ｂを参照すると、ユーザの視線１０６は宝箱に集中している。ユーザの視線１０６データ及び目に関連するその他の情報（例えば、瞳孔対光反射、瞳孔サイズ、目の動きなど）は、ユーザによるインタラクティブ性の潜在的な焦点となり得るコンテンツアイテムを識別するために、システムによって追跡され、処理される。さらに例示されるように、ジェスチャ２０６ｃは、図３Ａに示されるユーザの体位と比較して、宝箱により近い位置におけるユーザ１００の体位を例示する。ユーザによって行われた視線情報及びジェスチャを使用して、システムは、宝箱とのインタラクションの予測を生成するように構成され、宝箱に対応するグラフィックスデータが、データストレージから取得され、システムメモリに格納される。

【0036】

図３Ｂに示す例に例示するように、視線１０６またはジェスチャ２０６ｃは、宝箱に対応するグラフィックスデータにアクセスしてシステムメモリにロードするように構成されたプリフェッチ動作を開始することができる。ユーザ１００が宝箱上に視線１０６を維持しながら宝箱に向かって歩くと、宝箱に関連するグラフィックスデータ（例えば、コンテンツアイテム、幾何学的形状、頂点、奥行き、色、ライティング、シェーディング、テクスチャリング、モーションなど）が、ユーザが宝箱とインタラクションしたいと思う可能性があることを予想して、システムメモリにロードされる。図２Ｂに示す例では、宝箱の中身に関連するグラフィックスデータが、ユーザが宝箱を開けて、中にあり得るもの、例えば、金、銀、宝石などを発見して見ることを予想して、システムメモリにロードされる。

【0037】

他の実施形態では、ユーザの視線が宝箱に向けられなくなった場合、またはユーザのジェスチャ２０６が、ユーザが宝箱への関心をすでに持っていないことを示唆している場合、システムは、システムメモリへのグラフィックスデータのロードを一時停止するように構成され、ユーザが宝箱とのインタラクションに関心を示した後の時点で、グラフィックスデータのロードを再開してもよい。いくつかの実施形態では、ユーザの視線がもはや識別された宝箱に向けられていない場合、またはユーザのジェスチャ２０６が、ユーザが宝箱への関心をすでに持っていないことを示唆している場合、コンテンツアイテム２０４ｄ宝箱に対応するグラフィックスデータは、システムメモリから削除される。

【0038】

図３Ｃを参照すると、ユーザの視線１０６が宝箱に集中している間に、ジェスチャ２０６ｄは、ユーザが宝箱の中身を探索するために宝箱に向かう方向に手を伸ばしていることを例示する。仮想現実シーン２０２ｂに示すように、ユーザの仮想腕１００'が宝箱の蓋を開けている様子が示されている。一実施形態では、ユーザの手が宝箱の蓋に触れると、システムは、システムメモリから宝箱の中身に対応するグラフィックスデータをフェッチして、宝箱の中身、例えば、金貨をレンダリングするように構成される。このようにして、金貨のグラフィックスデータがシステムメモリに格納されるので、金貨の詳細なグラフィックス（例えば、高精細解像度）を迅速にレンダリングすることができ、金貨または宝箱の中身のレンダリングに関連する遅延を防ぐことができる。したがって、図３Ａ～図３Ｃに関して説明したシステムは、ユーザの視線及びジェスチャを追跡して、シーン内のコンテンツアイテムを識別し、そのコンテンツアイテムを、プリフェッチしてシステムメモリにロードしておき、ユーザの関心を起こし得るシーン内のコンテンツアイテムをレンダリングするために使用することができる方法を提供する。このようにすると、ユーザが仮想現実シーン２０２とインタラクションしている間にゲームシーンをレンダリングする際の遅延を排除するのに役立ち得る。

【0039】

図４は、ゲームシーンでレンダリングするために識別されたコンテンツアイテムに対応するグラフィックスデータをフェッチするシステムの実施形態を例示する。この図は、行動モデル４０２を使用して、さらに、入力としてユーザの視線情報、ユーザのジェスチャ、及びインタラクティブデータ（例えば、ゲームプレイデータ）などの入力データ４０６を使用して、システムメモリ４１２にロードするためのグラフィックスデータをフェッチする方法を示す。一実施形態では、ユーザ１００のゲームプレイ中に、ユーザ１００の視線１０６及びジェスチャ２０６が追跡されて、ネットワーク１１２を介してクラウドコンピューティング及びゲームシステム１１４に送信される。

【0040】

次に、この方法は、ユーザの視線情報、ユーザのジェスチャ、及びインタラクティブデータなどの入力データ４０６を受信するように構成された行動モデル４０２に進む。いくつかの実施形態では、直接入力ではない他の入力が、行動モデル４０２への入力として取得されることもある。ユーザのゲームプレイ中、行動モデル４０２は、シーン内のコンテンツアイテムをユーザによるインタラクティブ性の潜在的な焦点であると識別するとともに、ユーザによるコンテンツアイテムとのインタラクション４０８の予測を生成するために使用される機械学習モデルを使用することもできる。行動モデル４０２は、ユーザの視線情報、ユーザのジェスチャ、及びインタラクティブデータ間のパターン、類似性、及び関係性を識別するために使用することもできる。パターン、類似性、及び関係性を使用して、行動モデル４０２は、ユーザが潜在的に関心を持つ可能性のあるシーン内のコンテンツアイテム、及びユーザによるインタラクション４０８の予測を識別するのに使用され得る。一実施形態では、インタラクションの予測４０８は、ユーザがゲーム内で実行する可能性のある広範囲のインタラクションタイプを含むことができる。そのような予測されるインタラクションには、ユーザがコンテンツアイテムの詳細を見るために、識別されたコンテンツアイテムに手を伸ばすこと、コンテンツアイテムに触れて感触を確認すること、コンテンツアイテム内に格納されているコンテンツを探索すること、ドアを開けて向こう側にあるものを探索することが含まれる場合がある。時間の経過とともに、行動モデル４０２は、ユーザがゲームシーンで特定のコンテンツアイテムとインタラクションする可能性を予測するようにトレーニングされ、コンテンツアイテムのレンダリングに使用されるグラフィックスデータの量を、予測に基づいて調整することができる。

【0041】

シーン内のコンテンツアイテム２０４がユーザによるインタラクティブ性の潜在的な焦点であると識別し、ユーザによるコンテンツアイテム２０４とのインタラクションの予測４０８を生成した後、方法は、クラウドコンピューティング及びゲームシステム１１４に流れ、そこではクラウドコンピューティング及びゲームシステム１１４が、識別されたコンテンツアイテム２０４、及びインタラクションの予測４０８を処理するように構成されている。いくつかの実施形態では、コンテンツアイテム２０４とのインタラクション４０８の予測を使用して、ゲームレンダリングデータストレージ４１０からの識別されたコンテンツアイテム２０４に対応するグラフィックスデータにアクセスするために、プリフェッチ動作４０４を利用することができる。一実施形態では、プリフェッチ動作４０４は、インタラクションの予測４０８の更新に基づいて、アクセスしてシステムメモリ４１２にロードするグラフィックスデータの量を増加または低減させる調整を行うように構成される。例えば、ユーザの視線が一連の異なるコンテンツアイテムに集中している場合、プリフェッチ動作４０４は、ユーザの視線が主に集中しているコンテンツアイテムのグラフィックスデータの量を増加させ、ユーザの視線があまり集中していないコンテンツアイテムのグラフィックスデータの量を減らすことができる。

【0042】

一実施形態では、グラフィックスデータを使用して、特定のコンテンツアイテム２０４をレンダリングすること、または特定のコンテンツアイテム２０４の画質（例えば、粗さ、曲率、幾何学的形状、頂点、奥行き、色、ライティング、シェーディング、テクスチャリング、モーションなど）をさらに向上させることができる。グラフィックスデータにアクセスした後、グラフィックスデータはシステムメモリ４１２にロードされて格納され、ＣＰＵ及びＧＰＵによって使用されて、シーン内のコンテンツアイテム２０４をレンダリングすること、またはより高い解像度でレンダリングすること、またはコンテンツアイテム２０４の画質を向上させることができる。

【0043】

例えば、図４に示すように、ユーザ１００が、視線１０６を宝箱に向けながら、宝箱（例えば、コンテンツアイテム２０４ｄ）の蓋を開けている様子が示されている。仮想現実シーン２０２には、宝箱の中身を探索するために、宝箱の蓋を開けているユーザの腕を表す仮想腕１００'が示されている。ユーザの視線１０６、ユーザのジェスチャ２０６、及びインタラクティブデータを使用して、行動モデル４０２は、ユーザ１００が、宝箱の中身を見るために、その中身を探りたいと思うことを含むインタラクション４０８の予測を生成することができる。インタラクションの予測４０８を使用して、クラウドコンピューティング及びゲームシステム１１４は、ユーザが、宝箱に何が入っているかを確かめるために、中身全てをより分けたいと思う可能性があることが予測されるので、宝箱の中身に関連するグラフィックスデータにアクセスし、これをロードすることができる。宝箱の中身に関連するグラフィックスデータをシステムメモリ４１２に格納した後、ユーザ１００が宝箱の中身をより分けし始めるときに、グラフィックスデータを使用して、宝箱の中身をレンダリングすることができる。このようにして、ユーザがコンテンツを探索するときに、宝箱の中身の画像を、遅延またはラグタイムを少しも伴わずに、シームレスに高解像度でレンダリングすることができる。

【0044】

図５は、ユーザのゲームプレイ中に追跡されるユーザの視線情報５０４及びジェスチャ２０６と、ユーザによるコンテンツアイテム２０４とのインタラクション４０８の生成された予測とを例示するテーブル５０２の実施形態を例示する。図に示すように、テーブル５０２は、ユーザがゲームシーンとインタラクションしている間に追跡されるユーザの視線情報５０４及びジェスチャ２０６を含む。テーブルにさらに例示されているように、ゲームシーン内のコンテンツアイテム２０４が、対応するユーザの視線情報５０４及びジェスチャ２０６に基づいて、インタラクティブ性の潜在的な焦点であると識別されている。一実施形態では、視線情報５０４には、ユーザの視線１０６と、ユーザのゲームプレイ中にキャプチャされるユーザの目に関連する他の情報、例えば、目の動き、瞳孔対光反射、瞳孔サイズなどとが含まれ得る。いくつかの実施形態では、ユーザのジェスチャ２０６は、ゲームプレイ中に追跡され、これには、シーン内のコンテンツアイテムとのインタラクション４０８の予測を決定するのに役立つように処理される様々な体の動き及びボディランゲージデータが含まれ得る。

【0045】

図５のテーブル５０２の例示を提供するために、一例では、システムは、ゲームシーンコンテキスト５０６に基づいて、ユーザが敵キャラクタ（例えば、サイバーデーモン）との戦いを伴うシーンにいると判定することができる。ユーザのシーンとのインタラクション中、システムは、ユーザの視線が出口のドアに集中している間に、ユーザの目が速く瞬きしていると判定することがある。ユーザのジェスチャは、ユーザの手がそわそわしていることや、適切な武器を持たずに敵キャラクタと戦わなければならないという考えにユーザが怯えていることをインディケートしている場合がある。記録された情報は、行動モデル４０２によって処理され、受信され、これを使用して、ユーザが脱出するため、または武器を見つけるために、出口のドアに向かって走ることを含むインタラクション４０８の予測を生成することができる。インタラクションの予測を使用して、システムは、ユーザが脱出するためにドアを開けたときに、出口ドアの反対側にある可能性のあるコンテンツに関連するグラフィックスデータにアクセスしてロードするように構成されている。したがって、システムメモリにグラフィックスデータがロードされるので、ＣＰＵ及びＧＰＵは、グラフィックスデータにアクセスし、出口ドアの後ろにある可能性のあるシーンのコンテンツの画像をレンダリングすることができる。

【0046】

図６は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス６００の構成要素を示す。このブロック図は、本開示の実施形態を実施するのに好適なパーソナルコンピュータ、ビデオゲームコンソール、パーソナルデジタルアシスタント、サーバ、または他のデジタルデバイスを組み込むことができる、またはこれらであり得る、デバイス６００を示す。デバイス６００は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを実行するための中央処理装置（ＣＰＵ）６０２を含む。ＣＰＵ６０２は、１つ以上の同種または異種の処理コアで構成されてもよい。例えば、ＣＰＵ６０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。さらなる実施形態は、クエリの解釈、文脈的に関連するリソースの識別、及び文脈的に関連するリソースのビデオゲーム内での即時実施及びレンダリングなど、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用して、実施することができる。デバイス６００は、ゲームセグメント（例えば、ゲームコンソール）をプレイするプレイヤにローカライズされたもの、またはプレイヤからリモートであるもの（例えば、バックエンドサーバプロセッサ）、またはクライアントへのゲームプレイのリモートストリーミングのためにゲームクラウドシステムで仮想化を使用する多くのサーバの１つであってもよい。

【0047】

メモリ６０４は、ＣＰＵ６０２が使用するアプリケーション及びデータを記憶する。ストレージ６０６は、アプリケーション及びデータのための不揮発性ストレージ及びその他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ（登録商標）、ＤＶＤ－ＲＯＭ（登録商標）、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ（登録商標）、またはその他の光学ストレージデバイス、ならびに信号伝送及びストレージメディアを含んでもよい。ユーザ入力デバイス６０８は、１人以上のユーザからのユーザ入力をデバイス６００へ通信し、ユーザ入力デバイス６０８の例には、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルレコーダ／カメラもしくはビデオレコーダ／カメラ、ジェスチャを認識する追跡デバイス、及び／またはマイクロフォンが挙げられ得る。ネットワークインタフェース６１４は、電子通信ネットワークを介してデバイス６００が他のコンピュータシステムと通信することを可能にするものであり、ローカルエリアネットワークやインターネットなどのワイドエリアネットワークを介した有線または無線の通信を含み得る。オーディオプロセッサ６１２は、ＣＰＵ６０２、メモリ６０４、及び／またはストレージ６０６によって提供される命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合されている。ＣＰＵ６０２、メモリ６０４、データストレージ６０６、ユーザ入力デバイス６０８、ネットワークインタフェース６１０、及びオーディオプロセッサ６１２を含むデバイス６００の構成要素は、１つ以上のデータバス６２２を介して接続されている。

【0048】

グラフィックスサブシステム６２０が、データバス６２２及びデバイス６００の構成要素とさらに接続されている。グラフィックスサブシステム６２０は、グラフィックス処理装置（ＧＰＵ）６１６とグラフィックスメモリ６１８とを含む。グラフィックスメモリ６１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えば、フレームバッファ）を含む。グラフィックスメモリ６１８は、ＧＰＵ６０８と同じデバイスに統合されてもよく、ＧＰＵ６１６と別個のデバイスとして接続されてもよく、及び／またはメモリ６０４内に組み込まれてもよい。画素データは、ＣＰＵ６０２から直接グラフィックスメモリ６１８に提供することができる。あるいは、ＣＰＵ６０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ６１６に提供し、そこからＧＰＵ６１６が１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ６０４及び／またはグラフィックスメモリ６１８に格納することができる。実施形態では、ＧＰＵ６１６は、シーンのジオメトリ、ライティング、シェーディング、テクスチャリング、モーション、及び／またはカメラパラメータを定義する命令及びデータから、出力画像用の画素データを生成するための３Ｄレンダリング機能を含む。ＧＰＵ６１６は、シェーダプログラムを実行することができる１つ以上のプログラマブル実行ユニットをさらに含むことができる。

【0049】

グラフィックスサブシステム６１４は、グラフィックスメモリ６１８から画像の画素データを定期的に出力して、ディスプレイデバイス６１０に表示させる。ディスプレイデバイス６１０は、ＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイを含む、デバイス６００からの信号に応答して視覚情報を表示することができる任意のデバイスであり得る。デバイス６００は、例えば、アナログ信号またはデジタル信号をディスプレイデバイス６１０に提供することができる。

【0050】

現在の実施形態のゲームへのアクセス提供など、広範囲な地域にわたり配信されるアクセスサービスは、多くの場合、クラウドコンピューティングを使用することに留意されたい。クラウドコンピューティングとは、動的にスケーラブルで多くの場合仮想化されたリソースがインターネット経由のサービスとして提供される、コンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」の技術的インフラストラクチャのエキスパートである必要はない。クラウドコンピューティングは、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、及びサービスとしてのソフトウェア（ＳａａＳ）などの異なるサービスに分けることができる。クラウドコンピューティングサービスは、多くの場合、ビデオゲームなどの共通のアプリケーションを、ウェブブラウザからアクセスするオンラインで提供するが、ソフトウェア及びデータは、クラウド内のサーバに記憶される。クラウドという用語は、コンピュータネットワーク図におけるインターネットの描かれ方に基づいたインターネットの隠喩として使用され、それが隠し持つ複雑なインフラストラクチャの抽象的概念である。

【0051】

一部の実施形態では、ゲームサーバを使用して、ビデオゲームプレイヤのための持続時間情報プラットフォームの動作を実行してよい。インターネット経由でプレイされる大抵のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、プレイヤからデータを収集し、収集したデータを他のプレイヤに配信する専用サーバアプリケーションを使用する。他の実施形態では、ビデオゲームは、分散型ゲームエンジンによって実行されてよい。これらの実施形態では、分散型ゲームエンジンは、複数の処理エンティティ（ＰＥ）上で実行されてよく、各ＰＥは、ビデオゲームが実行される所与のゲームエンジンの機能セグメントを実行する。各処理エンティティは、ゲームエンジンからは単なる計算ノードと見なされる。ゲームエンジンは通常、機能的に多様な一連の動作を行って、ユーザが体験する追加のサービスと共にビデオゲームアプリケーションを実行する。例えば、ゲームエンジンは、ゲームロジックを実装し、ゲーム計算、物理特性、ジオメトリ変換、レンダリング、ライティング、シェーディング、オーディオ、ならびに追加のゲーム内もしくはゲーム関連サービスを実行する。追加のサービスには、例えば、メッセージング、ソーシャルユーティリティ、オーディオ通信、ゲームプレイ再生機能、ヘルプ機能などが含まれてよい。ゲームエンジンは、特定のサーバのハイパーバイザによって仮想化されたオペレーティングシステム上で実行されてよいが、他の実施形態では、ゲームエンジン自体が複数の処理エンティティに分散され、各エンティティはデータセンタの異なるサーバユニットに常駐してよい。

【0052】

この実施形態によると、動作の実行のために各処理エンティティは、各ゲームエンジンセグメントのニーズに応じて、サーバユニット、仮想マシン、またはコンテナであってよい。例えば、ゲームエンジンセグメントがカメラの変換を担当する場合、その特定のゲームエンジンセグメントは、比較的単純な数学演算（例えば、行列変換）を多数行うことになるので、グラフィックス処理装置（ＧＰＵ）に関連する仮想マシンと共にプロビジョニングされてよい。より少ないがより複雑な動作を必要とする他のゲームエンジンセグメントは、１つ以上のより高出力の中央処理装置（ＣＰＵ）に関連する処理エンティティと共にプロビジョニングされてよい。

【0053】

ゲームエンジンを分散することにより、ゲームエンジンは、物理サーバユニットの能力に拘束されない弾力性のある計算特性を備える。代わりに、ゲームエンジンは、必要に応じて、ビデオゲームの要求を満たすためにより多いまたは少ない計算ノードと共にプロビジョニングされる。ビデオゲーム及びビデオゲームプレイヤの観点からは、複数の計算ノードに分散されているゲームエンジンは、ゲームエンジンマネージャまたはスーパーバイザがワークロードを分散し、結果をシームレスに統合して、エンドユーザにビデオゲーム出力構成要素を提供するので、単一の処理エンティティで実行される非分散ゲームエンジンと区別できない。

【0054】

ユーザは、少なくともＣＰＵ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイスにより、リモートサービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、ＰＤＡなどであってよい。一実施形態では、ゲームサーバ上で実行されるネットワークは、クライアントが使用するデバイスの種類を認識し、採用する通信方法を調整する。別の事例では、クライアントデバイスは、ＨＴＭＬなどの標準的な通信方法を使用して、インターネット経由でゲームサーバ上のアプリケーションにアクセスする。

【0055】

当然ながら、所与のビデオゲームまたはゲームアプリケーションは、特定のプラットフォーム及び特定の関連するコントローラデバイス用に開発されてよい。しかし、このようなゲームが、本明細書に記載されるようなゲームクラウドシステムを介して利用可能となる場合、ユーザは、異なるコントローラデバイスを用いてビデオゲームにアクセスすることができる。例えば、ゲームは、ゲームコンソール及びその関連コントローラ用に開発された場合があるが、ユーザは、キーボード及びマウスを利用して、パーソナルコンピュータからクラウドベースバージョンのゲームにアクセスすることができる。このようなシナリオでは、入力パラメータ設定により、ユーザが利用可能なコントローラデバイス（この事例ではキーボード及びマウス）により生成され得る入力から、ビデオゲームの実行で受け入れ可能な入力へ、マッピングを定義することができる。

【0056】

別の例では、ユーザは、タブレットコンピューティングデバイス、タッチスクリーンスマートフォン、または他のタッチスクリーン駆動デバイスを介して、クラウドゲームシステムにアクセスしてよい。この場合、クライアントデバイス及びコントローラデバイスは、同じデバイス内に一緒に統合され、検出されたタッチスクリーン入力／ジェスチャにより入力が提供される。このようなデバイスでは、入力パラメータ設定により、ビデオゲームのゲーム入力に対応する特定のタッチスクリーン入力を定義してよい。例えば、ボタン、指向性パッド、または他の種類の入力素子は、ビデオゲームの実行中に表示されて、またはオーバーレイされて、ユーザがゲーム入力を生成するためにタッチすることができるタッチスクリーン上の位置を示してよい。特定の向きにおけるスワイプなどのジェスチャ、または特定のタッチモーションもゲーム入力として検出され得る。一実施形態では、タッチスクリーン上での制御操作にユーザを慣れさせるために、例えばビデオゲームのゲームプレイを始める前に、タッチスクリーンを介してゲームプレイに入力する方法を示すチュートリアルが、ユーザに提供できる。

【0057】

いくつかの実施形態では、クライアントデバイスは、コントローラデバイスについての接続ポイントとして機能する。すなわち、コントローラデバイスは、無線接続または有線接続を介してクライアントデバイスと通信し、コントローラデバイスからクライアントデバイスへ入力を送信する。次に、クライアントデバイスは、これらの入力を処理して、その後入力データを、ネットワーク（例えばルータなどのローカルネットワークデバイスを介してアクセスされるネットワーク）を介して、クラウドゲームサーバへ送信し得る。しかしながら、他の実施形態において、コントローラ自体は、ネットワークを介してクラウドゲームサーバへ直接に入力を通信する能力を有し、これらのような入力を最初にクライアントデバイスを通して通信する必要がなく、ネットワーク化されたデバイスであることが可能である。例えば、コントローラは、ローカルネットワークデバイス（前述のルータなど）に接続して、クラウドゲームサーバとデータを送受信し得る。したがって、クライアントデバイスは、クラウドベースのビデオゲームからビデオ出力を受信し、それをローカルディスプレイにレンダリングすることを依然として必要とされるが、コントローラがクライアントデバイスを迂回してクラウドゲームサーバへネットワーク経由で直接に入力を送信することを可能にすることにより、入力レイテンシを低減することができる。

【0058】

一実施形態において、ネットワーク化されたコントローラ及びクライアントデバイスは、特定の種類の入力をコントローラからクラウドゲームサーバへ直接に、また他の種類の入力をクライアントデバイスを介して送信するように構成することができる。例えば、コントローラ自体は別として、任意の追加のハードウェアまたは処理に依存しない検出による入力は、クライアントデバイスを迂回して、ネットワークを介して直接コントローラからクラウドゲームサーバへ送信することができる。このような入力は、ボタン入力、ジョイスティック入力、埋め込み型動き検出入力（例えば、加速度計、磁力計、ジャイロスコープ）などを含み得る。しかしながら、追加のハードウェアを利用する、またはクライアントデバイスによる処理を必要とする入力は、クライアントデバイスによりクラウドゲームサーバへ送信できる。これらは、クラウドゲームサーバへ送信する前に、クライアントデバイスにより処理されることができるゲーム環境からキャプチャされたビデオまたは音声を含むことができる。加えて、コントローラの動き検出ハードウェアからの入力は、キャプチャされたビデオと併せてクライアントデバイスにより処理され、コントローラの位置及び動きを検出することができ、その後、クライアントデバイスによりクラウドゲームサーバへ通信される。様々な実施形態によるコントローラデバイスはまた、クライアントデバイスから、または直接クラウドゲームサーバから、データ（例えばフィードバックデータ）を受信し得ることを理解されたい。

【0059】

本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実施態様に組み合わされてもよい、または組み立てられ得ることを、理解されたい。したがって、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせて、より多くの実施態様を規定することによって可能である様々な実施態様に制限を加えるものではない。一部の例では、一部の実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。

【0060】

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能家庭用電化製品、ミニコンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実践されてよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。

【0061】

方法動作を特定の順序で説明したが、修正されたゲーム状態を生成するためのテレメトリ及びゲーム状態データの処理が所望の方法で実行される限り、動作間に他のハウスキーピング動作が実行されてもよく、または動作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に動作を分散することで、様々な処理関連間隔で処理動作が起こることを可能にしてもよいことを、理解されたい。

【0062】

１つ以上の実施形態はまた、コンピュータ可読媒体上のコンピュータ可読コードとして作ることもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータストレージデバイスであり、データはその後にコンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ（登録商標）、ＣＤ－Ｒ（登録商標）、ＣＤ－ＲＷ（登録商標）、磁気テープ、ならびに他の光学及び非光学データストレージデバイスを含む。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で記憶され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。

【0063】

一実施形態では、ビデオゲームは、ゲーム機、パーソナルコンピュータ、またはサーバ上でローカルに実行される。いくつかの場合、ビデオゲームは、データセンタの１つ以上のサーバによって実行される。ビデオゲームが実行されるとき、ビデオゲームのいくつかのインスタンスは、ビデオゲームのシミュレーションであり得る。例えば、ビデオゲームは、ビデオゲームのシミュレーションを生成する環境またはサーバによって実行され得る。シミュレーションは、いくつかの実施形態では、ビデオゲームのインスタンスである。他の実施形態では、シミュレーションはエミュレータによって生成されてもよい。いずれの場合でも、ビデオゲームがシミュレーションとして表現されている場合、そのシミュレーションは、ユーザ入力によってインタラクティブにストリーミング、実行、及び／または制御できるインタラクティブコンテンツをレンダリングするために実行することができる。

【0064】

前述の実施形態は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本実施形態は、本明細書に記載される詳細に限定されるべきではなく、添付の特許請求の範囲及び均等物の範囲内で修正されてもよい。

【図1A】

【図1B】

【図2A】

【図2B】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【国際調査報告】