特許 7411794 ＧＰＵの１つまたは複数のパラメータを調整するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-27

(45)【発行日】2024-01-11

(54)【発明の名称】ＧＰＵの１つまたは複数のパラメータを調整するためのシステム及び方法

(51)【国際特許分類】

   G06T 15/00 20110101AFI20231228BHJP

   A63F 13/52 20140101ALI20231228BHJP

   G06F 9/50 20060101ALI20231228BHJP

【ＦＩ】

G06T15/00 501

A63F13/52

G06F9/50 120Z

【請求項の数】 20

(21)【出願番号】P 2022525523

(86)(22)【出願日】2020-11-16

(65)【公表番号】

(43)【公表日】2022-12-28

(86)【国際出願番号】 US2020060674

(87)【国際公開番号】W WO2021101826

(87)【国際公開日】2021-05-27

【審査請求日】2022-04-28

(31)【優先権主張番号】16/693,173

(32)【優先日】2019-11-22

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ハグランド、トルゲイル

【審査官】粕谷 満成

(56)【参考文献】

【文献】国際公開第２００５／０３８６３８（ＷＯ，Ａ１）

【文献】特開２０１５－１８６５５０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３０８０９９（ＵＳ，Ａ１）

【文献】特開２０１８－１０６５９１（ＪＰ，Ａ）

【文献】特開２０１７－２２１５５３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／００

Ａ６３Ｆ １３／５２

Ｇ０６Ｆ ９／５０

(57)【特許請求の範囲】

【請求項1】

グラフィック処理ユニット（ＧＰＵ）によってレンダリングされるコンテンツの複雑さを調整するための方法であって、
前記ＧＰＵによって、ゲームのシーンの画像フレームを生成するために中央処理ユニット（ＣＰＵ）から命令を受信することと、
前記ＣＰＵからの命令の受信に応答して、前記画像フレームの第１のレンダリング部分を前記ＧＰＵによって生成することと、
前記画像フレームの前記第１のレンダリング部分の前記生成中且つ前記画像フレームの第２のレンダリング部分の生成前に前記画像フレームの生成に関する１つまたは複数のメトリックを追跡することと、
前記画像フレームの前記第１のレンダリング部分の前記生成中且つ前記画像フレームの第２のレンダリング部分の生成前に前記第２のレンダリング部分の１つまたは複数のシェーダパラメータが変更されるべきであることを判定することであって、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータは、前記１つまたは複数のメトリックに基づいて変更されるべきであると判定される、判定することと、
前記画像フレームの前記第２のレンダリング部分の生成中に、前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記ＧＰＵによって変更することであって、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータは、前記画像フレームの前記第１のレンダリング部分の１つまたは複数のシェーダパラメータを変更せずに変更され、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを変更することにより、前記ＧＰＵによって生成される前記画像フレームの複雑さのレベルが変化する、調整することと、
を含む、方法。

【請求項2】

前記１つまたは複数のメトリックが、前記画像フレームの前記第１のレンダリング部分の前記生成中に前記ＧＰＵによって消費される電力量を識別するために追跡され、前記方法は、
前記画像フレームの前記第１のレンダリング部分の前記生成中に前記ＧＰＵによって消費された前記電力量を分析して、前記電力量が所定の閾値レベルを超えているかどうかを判定することをさらに含み、前記電力量が前記所定の閾値レベルを超えていると判定すると、前記第２のレンダリング部分の１つまたは複数のシェーダパラメータを前記変更することが実行される、請求項１に記載の方法。

【請求項3】

前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータが、前記画像フレームの前記第２のレンダリング部分の前記生成中にレイトレーシングが実施される回数、前記画像フレームの前記第２のレンダリング部分の前記生成中の前記画像フレームの前記第２のレンダリング部分の解像度、前記画像フレームの前記第２のレンダリング部分の前記生成中にレンダリングされる仮想オブジェクトの数、前記画像フレームの前記第２のレンダリング部分の前記生成中に前記仮想オブジェクトがレンダリングされる優先順位、またはその２つ以上の組み合わせを含む、請求項１に記載の方法。

【請求項4】

前記優先順位は、前記仮想オブジェクトがレンダリングされる距離に基づき、より近い距離でレンダリングされる前記仮想オブジェクトの１つが、より遠い距離でレンダリングされる前記仮想オブジェクトの別の１つよりも優先順位が高い、請求項３に記載の方法。

【請求項5】

前記１つまたは複数のシェーダパラメータを前記変更することは、
前記ＧＰＵによって消費される電力量が所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分の前記生成中にレイトレーシングが実施される回数を減らすこと、
前記ＧＰＵによって消費される前記電力量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分の解像度を下げること、
前記ＧＰＵによって消費される前記電力量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分内にレンダリングされる仮想オブジェクトの数を減らすこと、
前記ＧＰＵによって消費される前記電力量が前記所定のレベルよりも大きいと判定すると、前記仮想オブジェクトのレンダリングに優先順位を付けること、または、
その２つ以上の組み合わせによって複雑さのレベルを低下させることを含む、請求項１に記載の方法。

【請求項6】

前記画像フレームの前記第１のレンダリング部分の前記生成中にノードとクライアントデバイスとの間でパケットを転送するレイテンシの量を識別するために前記１つまたは複数のメトリックが追跡され、前記方法は、
前記画像フレームの前記第１のレンダリング部分の前記生成中に前記レイテンシの量を分析して、前記レイテンシの量が所定の閾値レベルを超えているかどうかを判定することをさらに含み、前記レイテンシの量が前記所定の閾値レベルを超えていると判定すると、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記変更することが実行される、請求項１に記載の方法。

【請求項7】

前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記変更することは、
ノードとクライアントデバイスとの間でパケットを転送するレイテンシの量が所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分内でレイトレーシングが実施される回数を減らすこと、
前記レイテンシの量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分の解像度を下げること、
前記レイテンシの量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分内にレンダリングされる仮想オブジェクトの数を減らすこと、
前記レイテンシの量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分内の前記仮想オブジェクトのレンダリングに優先順位を付けること、または、
その２つ以上の組み合わせによって前記複雑さのレベルを低下させることを含む、請求項１に記載の方法。

【請求項8】

前記１つまたは複数のメトリックが、前記画像フレームの前記第１のレンダリング部分の前記生成中に前記ＧＰＵの温度の量を識別するために追跡され、前記方法は、
前記画像フレームの前記第１のレンダリング部分の前記生成中に前記温度の量を分析して、前記温度の量が所定の閾値レベルを超えているかどうかを判定することをさらに含み、前記温度の量が前記所定の閾値レベルを超えていると判定すると、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記変更することが実行される、請求項１に記載の方法。

【請求項9】

前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記変更することは、
前記処理中に前記ＧＰＵの温度の量が所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分内でレイトレーシングが実施される回数を減らすこと、
前記温度の量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分の解像度を下げること、
前記温度の量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分内にレンダリングされる仮想オブジェクトの数を減らすこと、
前記温度の量が前記所定のレベルよりも大きいと判定すると、前記画像フレームの前記第２のレンダリング部分内の前記仮想オブジェクトのレンダリングに優先順位を付けること、または、
その２つ以上の組み合わせによって前記複雑さのレベルを低下させることを含む、請求項１に記載の方法。

【請求項10】

前記１つまたは複数のシェーダパラメータを前記変更することは、
前記画像フレームの前記第２のレンダリング部分内でレイトレーシングが実施される回数を減らすこと、
前記画像フレームの前記第２のレンダリング部分の解像度を下げること、
前記画像フレームの前記第２のレンダリング部分内にレンダリングされる仮想オブジェクトの数を減らすこと、
前記画像フレームの前記第２のレンダリング部分内の前記仮想オブジェクトのレンダリングに優先順位を付けること、または、
その２つ以上の組み合わせによって前記複雑さのレベルを低下させることを含む、請求項１に記載の方法。

【請求項11】

前記画像フレームの前記第２のレンダリング部分は、複数のピクセルを含み、前記複数のピクセルはそれぞれ、前記画像フレームの前記第２のレンダリング部分の前記生成中に色、陰影、及びテクスチャを与えられる、請求項１に記載の方法。

【請求項12】

前記１つまたは複数のメトリックが、前記画像フレームの前記第１のレンダリング部分の前記生成中にコンピュータネットワークを介してユーザ入力が受信されるかどうかを判定するために追跡され、前記方法が、
前記ユーザ入力を分析して、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記変更するかどうかを判定することをさらに含み、前記ユーザ入力を分析することは、次の画像フレームが前記ユーザ入力に基づいて生成されるべきであるかどうかを判定することを含み、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記変更することは、前記次の画像フレームが生成されるべきであると判定されると実行される、請求項１に記載の方法。

【請求項13】

前記画像フレームの前記第１のレンダリング部分の前記１つまたは複数のシェーダパラメータを前記変更することは、前記ＧＰＵに結合されたプロセッサから受信した品質調整信号（ＱＡＳ）に応答してなされる、請求項１に記載の方法。

【請求項14】

グラフィック処理ユニット（ＧＰＵ）によってレンダリングされるコンテンツの複雑さを調整するためのサーバであって、
前記ＧＰＵは、ゲームのシーンの画像フレームを生成するために中央処理ユニット（ＣＰＵ）から命令を受信するように構成され、前記命令の受信に応答して前記画像フレームの第１のレンダリング部分を生成するためのシェーダを実行するように構成され、前記画像フレームの前記第１のレンダリング部分の前記生成中且つ前記画像フレームの第２のレンダリング部分の生成前に１つまたは複数のメトリックを追跡するように構成され、
前記ＧＰＵは、前記画像フレームの前記第１のレンダリング部分の前記生成中且つ前記画像フレームの前記第２のレンダリング部分の生成前に、前記画像フレームの前記第２のレンダリング部分の１つまたは複数のシェーダパラメータが変更されるべきであることを判定するように構成され、前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータは、前記１つまたは複数のメトリックに基づいて変更されるべきであると判定され、
前記ＧＰＵは、前記画像フレームの前記第２のレンダリング部分の前記生成中に前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを変更するように構成され、前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータは、前記画像フレームの前記第１のレンダリング部分の１つまたは複数のシェーダパラメータを変更せずに変更され、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータの前記変更により、前記ＧＰＵによって生成される前記画像フレームの複雑さのレベルが変化する、サーバ。

【請求項15】

前記画像フレームの前記第２のレンダリング部分が、複数のピクセルを含み、前記複数のピクセルはそれぞれ、前記画像フレームの前記第２のレンダリング部分の前記生成中に色、陰影、及びテクスチャを与えられ、
前記画像フレームの前記第１のレンダリング部分が生成されているとき、前記ＧＰＵが、
前記ＧＰＵによって消費される電力量を識別するために前記１つまたは複数のメトリックを追跡することと、
前記ＧＰＵによって消費された前記電力量を分析して、前記電力量が所定の閾値レベルを超えるかどうかを判定することと、を実行するように構成され、前記ＧＰＵが、前記電力量が前記所定の閾値レベルを超えていると判定すると、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを変更するように構成される、請求項１４に記載のサーバ。

【請求項16】

前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータが、前記画像フレームの前記第２のレンダリング部分の前記生成中にレイトレーシングが実施される回数、前記画像フレームの前記第２のレンダリング部分の解像度、前記画像フレームの前記第２のレンダリング部分の前記生成中にレンダリングされる仮想オブジェクトの数、前記画像フレームの前記第２のレンダリング部分の前記生成中に前記仮想オブジェクトがレンダリングされる優先順位、またはその２つ以上の組み合わせを含む、請求項１４に記載のサーバ。

【請求項17】

前記画像フレームの前記第２のレンダリング部分が、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを変更するために、前記ＧＰＵによって生成されているときに、前記ＧＰＵが、
前記画像フレームの前記第２のレンダリング部分内でレイトレーシングが実施される回数を減らすこと、
前記画像フレームの前記第２のレンダリング部分の解像度を下げること、
前記画像フレームの前記第２のレンダリング部分内にレンダリングされる仮想オブジェクトの数を減らすこと、
前記画像フレームの前記第２のレンダリング部分内の複数の仮想オブジェクトのレンダリングに優先順位を付けること、または、
その２つ以上の組み合わせによって前記複雑さのレベルを低下させるように構成される、請求項１４に記載のサーバ。

【請求項18】

グラフィック処理ユニット（ＧＰＵ）によってレンダリングされるコンテンツの複雑さを調整するためのシステムであって、
中央処理ユニット（ＣＰＵ）と、
ゲームのシーンの画像フレームを生成するために前記ＣＰＵから命令を受信するように構成された前記ＧＰＵであって、前記ＧＰＵは、前記命令の受信に応答して前記画像フレームの第１のレンダリング部分を生成するためにシェーダを実行するように構成され、前記ＣＰＵが、前記画像フレームの前記生成中に１つまたは複数のメトリックを追跡するように構成され、前記ＧＰＵは、前記画像フレームの前記第１のレンダリング部分の前記生成中且つ前記画像フレームの第２のレンダリング部分の生成前に前記第２のレンダリング部分の１つまたは複数のシェーダパラメータが変更されるべきであることを判定し、前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータは、前記１つまたは複数のメトリックに基づいて変更されるべきであると判定され、前記ＣＰＵは、前記１つまたは複数のシェーダパラメータが変更されるべきであるとの判定に基づいて品質調整信号（ＱＡＳ）を生成して前記ＧＰＵに送信するように構成され、前記ＱＡＳは、前記画像フレームの前記第１のレンダリング部分の生成中且つ前記画像フレームの前記第２のレンダリング部分の生成前に前記ＧＰＵに送信される、前記ＧＰＵと、
を備え、
前記ＧＰＵは、前記ＱＡＳの受信時に前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータを変更するように構成され、前記画像フレームの前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータは、前記画像フレームの前記第１のレンダリング部分の１つまたは複数のシェーダパラメータを変更せずに変更され、前記第２のレンダリング部分の前記１つまたは複数のシェーダパラメータの前記変更により、前記ＧＰＵによって生成される前記画像フレームの複雑さのレベルが変化する、システム。

【請求項19】

前記ＣＰＵが、前記画像フレームの前記生成中にコンピュータネットワークを介してユーザ入力が受信されるかどうかを判定するように構成され、前記ＣＰＵが、前記ＱＡＳが生成されるかどうかを判定するために前記ユーザ入力を分析するように構成される、請求項１８に記載のシステム。

【請求項20】

前記画像フレームの前記第２のレンダリング部分が、前記ＧＰＵによって生成されているときに、前記１つまたは複数のシェーダパラメータを調整するために、前記ＧＰＵが、
前記画像フレームの前記第２のレンダリング部分にレイトレーシングが実施される回数を減らすこと、
前記画像フレームの前記第２のレンダリング部分内の一部の解像度を下げること、
前記画像フレームの前記第２のレンダリング部分内にレンダリングされる仮想オブジェクトの数を減らすこと、
前記画像フレームの前記第２のレンダリング部分内の複数の仮想オブジェクトのレンダリングに優先順位を付けること、または、
その２つ以上の組み合わせによって、前記複雑さのレベルを低下させるように構成される、請求項１８に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、グラフィック処理ユニット（ＧＰＵ）の１つまたは複数のパラメータを調整するためのシステム及び方法に関する。

【背景技術】

【0002】

今日のゲーム及びシミュレーションの多くは、ゲームの同じインスタンスに複数のプレーヤが同時に参加することを容易にする。このようなゲームのマルチプレーヤ態様は、プレーヤが相互に通信し、協力し、競争する、及び／または、そうでなければ互いに相互作用し、相互に影響を及ぼす、充実したゲーム体験及び共有される集合的なゲーム環境を提供する。マルチプレーヤゲームのプレーヤは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）などのネットワークを介して接続される。

【0003】

マルチプレーヤゲームは、各プレーヤに対して高品質のゲーム体験を維持しながら、ネットワーク化されたマルチプレーヤゲームに多数のプレーヤを収容する必要性を生み出した。

【発明の概要】

【0004】

本開示の実施形態は、グラフィック処理ユニット（ＧＰＵ）の１つまたは複数のパラメータを調整するためのシステム及び方法を提供する。

【0005】

本開示の他の態様は、本開示に記載の実施形態の原理を例を挙げて示す下記の詳細な記載を、添付図面と併せて読むと明らかになろう。

【0006】

一実施形態では、ＧＰＵの１つまたは複数のパラメータは、画像フレームをレンダリングする動作中に調整される。例えば、画像フレームの詳細は、画像フレームのレンダリング後ではなく、レンダリング中に縮小される。

【0007】

一実施形態では、本明細書で説明されるシステム及び方法は、品質パラメータを含むシェーダデータパラメータを提供する。シェーダは、シェーダの実行中にシェーダデータパラメータの値を選択する。例えば、光線の反復回数、または仮想の草もしくは仮想の葉などの仮想オブジェクトの詳細レベルは、グラフィック処理ユニット（ＧＰＵ）のビジー状態に基づいてシェーダによって修正される。ＧＰＵはシェーダを実行する。別の例として、詳細レベルは、仮想シーン内の仮想オブジェクトの距離に基づいて決定される。説明のために、仮想シーンにおいて、仮想オブジェクトが深さ寸法に沿って遠くにある場合、詳細レベルは、仮想オブジェクトが深さ寸法に近い場合と比較して低くなる。複数のシェーダデータパラメータの複数の値を持つ品質パラメーターマトリックスが生成され、ＧＰＵによるシェーダの実行によって実行されるレンダリング動作中に値が適用される。

【0008】

一実施形態では、ＧＰＵによってレンダリングされるコンテンツの複雑さを調整するための方法が説明される。方法は、ゲームのシーンの画像フレームをＧＰＵによって処理することを含む。方法は、画像フレームの処理中に画像フレームの処理に関する１つまたは複数のメトリックを追跡することをさらに含む。画像フレームの処理中に、方法は、ゲームエンジンに関連付けられたシェーダに品質調整信号（ＱＡＳ）を送信することを含む。ＱＡＳは、ＧＰＵによる処理に関連付けられた１つまたは複数のメトリックに基づいて生成される。画像フレームの処理中に、方法は、ＱＡＳの受信時にシェーダによって１つまたは複数のシェーダパラメータを調整することを含み、該１つまたは複数のシェーダパラメータを調整することにより、ＧＰＵによって処理される画像フレームの複雑さのレベルが変化する。

【0009】

一実施形態では、ＧＰＵによってレンダリングされるコンテンツの複雑さを調整するためのサーバが説明される。ＧＰＵはシェーダを実行して、ゲームのシーンの画像フレームを処理する。ＧＰＵは、画像フレームの処理に関する１つまたは複数のメトリックを追跡する。サーバには、ＧＰＵに結合された処理ユニットが含まれる。処理ユニットは、ＱＡＳを生成し、ゲームエンジンに関連付けられたシェーダに送信する。ＱＡＳは、画像フレームが処理されている間にシェーダに送信され、ＧＰＵによる処理に関連付けられた１つまたは複数のメトリックに基づいて生成される。シェーダは、ＱＡＳの受信時に、１つまたは複数のシェーダパラメータを調整する。画像フレームが処理されている間に１つまたは複数のシェーダパラメータの調整が発生し、１つまたは複数のシェーダパラメータの調整により、ＧＰＵによって処理される画像フレームの複雑さのレベルが変化する。

【0010】

一実施形態では、ＧＰＵによってレンダリングされるコンテンツの複雑さを調整するためのシステムが説明される。システムにはサーバノードが含まれる。サーバノードにはＧＰＵが含まれる。ＧＰＵは、ゲームのシーンの画像フレームを処理する。ＧＰＵは、画像フレームの処理に関する１つまたは複数のメトリックを追跡する。ＧＰＵはシェーダを実行する。サーバノードには、ＧＰＵに結合された処理ユニットがさらに含まれる。処理ユニットは、ＱＡＳを生成し、ゲームエンジンに関連付けられたシェーダに送信する。ＱＡＳは、画像フレームが処理されている間にシェーダに送信される。ＱＡＳは、ＧＰＵによる処理に関連付けられた１つまたは複数のメトリックに基づいて生成される。シェーダは、ＱＡＳの受信時に、１つまたは複数のシェーダパラメータを調整する。画像フレームが処理されている間に１つまたは複数のシェーダパラメータの調整が発生し、１つまたは複数のシェーダパラメータの調整により、ＧＰＵによって処理される画像フレームの複雑さのレベルが変化する。システムには、コンピュータネットワークを介してサーバノードと通信するクライアントデバイスが含まれる。

【0011】

本明細書のシステム及び方法のいくつかの利点には、ネットワークレイテンシ、ＧＰＵの温度、ＧＰＵに関連付けられた電力、及び画像フレームのレンダリング中のユーザ入力の受信を考慮して、画像フレームをレンダリングする際の時間を節約することが含まれる。例えば、画像フレームのレンダリング中にネットワークレイテンシが増加すると判定される場合、画像フレームの複雑さが軽減され、画像フレームがレンダリングされる速度が上昇する。画像フレームのレンダリング速度のこの上昇は、ネットワークレイテンシの影響を打ち消すなどを考慮する。別の例として、ＧＰＵに関連付けられた電力、ＧＰＵの温度、またはその両方が高いと判定すると、画像フレームのレンダリング中の複雑さが軽減される。複雑さが軽減されると、ＧＰＵの温度とＧＰＵに関連付けられた電力とが低下する。電力の低下により、ＧＰＵの温度も低下する。

【0012】

また、ＧＰＵの温度とＧＰＵに関連付けられた電力を考慮すると、ＧＰＵのライフサイクルが長くなる。ＧＰＵが大量の電力を消費している場合、またはＧＰＵの温度が高い場合に、ＧＰＵの負荷を増やすかまたは維持することにより、ライフサイクルが短くなる。複雑さを軽減することにより、ＧＰＵの温度とＧＰＵに関連付けられた電力とが低減され、ＧＰＵのライフサイクルが向上する。

【0013】

本開示の様々な実施形態は、添付図面と併せて、以下の記載を参照することによって、最も良く理解される。

【図面の簡単な説明】

【0014】

【図1】グラフィック処理ユニット（ＧＰＵ）の処理電力使用量に基づくシェーダのパラメータ値の変化を説明するためのシステムの一実施形態の図である。

【図2】ネットワークレイテンシに基づくシェーダの１つまたは複数のパラメータの値の調整を説明するためのシステムの一実施形態の図である。

【図3】ＧＰＵによって消費される電力量に基づいて１つまたは複数のパラメータを調整するための品質調整信号（ＱＡＳ）の生成を説明するためのシステムの一実施形態の図である。

【図4】ＧＰＵの温度に基づいてＱＡＳの生成を説明するためのシステムの一実施形態の図である。

【図5】クライアントデバイスから受信されたユーザ入力のレイテンシに基づくＱＡＳ信号の生成を説明するための図２のシステムの一実施形態の図である。

【図6A】パラメータの例を説明するための表の一実施形態の図である。

【図6B】ＧＰＵに関連付けられたメトリックとパラメータのものとの間のマッピングの一実施形態の図である。

【図6C】ＧＰＵによるレンダリング動作の実行中に画像フレーム内の仮想オブジェクトの詳細が修正されることを説明するための方法の一実施形態の図である。

【図6D】パラメータのうちの１つまたは複数の値が画像フレームの異なる部分で調整されることを説明するための画像フレームの実施形態を示す図である。

【図7】ゲームの複数のノードの使用を説明するためのシステムの一実施形態の図である。

【図8】クライアントデバイスにクラウドビデオゲームをストリーミングするために実施される様々な動作を概念的に示す流れ図の一実施形態である。

【図9】クライアントデバイスのディスプレイデバイスとインターフェース接続するために互換性があり、コンピュータネットワークを介してゲームサーバと通信することができるゲームコンソールの一実施形態のブロック図である。

【図10】ヘッドマウントディスプレイ（ＨＭＤ）の一実施形態の図である。

【図11】情報サービスプロバイダ（ＩＮＳＰ）のアーキテクチャの一実施形態を示す。

【発明を実施するための形態】

【0015】

グラフィック処理ユニット（ＧＰＵ）の１つまたは複数のパラメータを調整するためのシステム及び方法が説明される。本開示の様々な実施形態は、これらの特定の詳細の一部または全てが無くても実施されることに留意されたい。他の例では、本開示の様々な実施形態を不必要に分かりにくくしないように、周知のプロセス動作については詳述していない。

【0016】

図１は、ＧＰＵ Ａの処理電力使用量に基づくシェーダＡのパラメータ値の変化を説明するためのシステム１００の一実施形態の図である。システム１００は、メモリデバイスシステムＡ、中央処理装置（ＣＰＵ）Ａ、ＧＰＵ Ａ、ビデオエンコーダＡ、及びシェーダコンポーネントＡを含む。本明細書で説明されるようなメモリデバイスシステムの例は、互いに結合される１つまたは複数のメモリデバイスを含む。説明するため、メモリデバイスは、データが読み出される、またはデータが書き込まれるデバイスである。メモリデバイスは、読み取り専用メモリ（ＲＯＭ）デバイス、またはランダムアクセスメモリ（ＲＡＭ）デバイス、またはそれらの組み合わせであってよい。さらに説明するため、メモリデバイスは、フラッシュメモリ、キャッシュ、または独立ディスクの冗長アレイ（ＲＡＩＤ）を含む。一例として、本明細書で使用されるＣＰＵは、命令によって指定される算術、論理、制御、及び入力／出力（Ｉ／Ｏ）関数を実施することによって、ゲームエンジンなどのコンピュータプログラムの複数の命令を実行または遂行する電子回路である。さらに説明するため、ＣＰＵは、ゲームの仮想シーン内の仮想オブジェクトの位置、向き、サイズ、及び場所などの変数を決定するための命令を実行する。ＣＰＵの例には、プロセッサ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、及びプログラマブルロジックデバイス（ＰＬＤ）が含まれ、これらの用語は、本明細書では同じ意味で使用される。本明細書で使用される仮想オブジェクトの例には、仮想銃、仮想ユーザ、仮想武器、仮想車両、仮想スポーツ用品、仮想背景オブジェクト、及び１つまたは複数の仮想草の葉が含まれる。仮想背景オブジェクトは、本明細書ではゲームコンテンツコンテキストと呼ばれることがある。ゲームコンテンツコンテキストの例には、仮想草の葉及び仮想ブッシュなどの仮想オブジェクトが含まれる。ゲームコンテンツコンテキスト及びゲームコンテンツという用語は、本明細書では同じ意味で使用される場合がある。本明細書で使用されるＧＰＵの一例は、レンダリングプログラムを適用して、ディスプレイデバイス上の画像の表示のためにディスプレイデバイスに出力する画像フレームを生成するプロセッサ、ＡＳＩＣ、ＰＬＤまたはマイクロコントローラなどの電子回路を含む。

【0017】

本明細書で使用されるビデオエンコーダの例には、複数の画像フレームを圧縮して１つまたは複数の符号化された画像フレームを出力する圧縮機が含まれる。説明するため、ビデオエンコーダは生の画像フレームを受信してＩ、Ｐ、及びＢフレームを出力する。別の例として、ビデオエンコーダはＨ．２６４標準を適用して複数の画像フレームを圧縮する。画像フレームの一例は静止画像である。複数の画像などの複数の画像フレームがレンダリングされる速度は、本明細書ではフレームレートと呼ばれることがある。一例として、フレームレートは、１秒あたりにレンダリングされる画像フレームの数または１秒あたりの画像フレームの数（ｆｐｓ）として測定される。

【0018】

メモリデバイスシステムＡ、ＣＰＵ Ａ、ＧＰＵ Ａ、及びビデオエンコーダＡは、通信媒体Ａを介して互いに結合される。説明するため、シェーダコンポーネントＡ、メモリデバイスシステムＡ、ＣＰＵ Ａ、ＧＰＵ Ａ、及びビデオエンコーダＡは、システムオンチップ（ＳｏＣ）の構成要素である。別の例として、シェーダコンポーネントＡ、メモリデバイスシステムＡ、ＣＰＵ Ａ、ＧＰＵ Ａ、及びビデオエンコーダＡは、サーバシステムのサーバまたはゲームコンソールなどのノードの構成要素である。本明細書で使用される通信媒体の例には、有線または無線通信媒体が含まれる。有線通信媒体の例には、バス、ケーブル、及びシリコンが含まれる。無線通信媒体の例には、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）などの無線転送プロトコルを介してデータを転送するための媒体が含まれる。

【0019】

本明細書で使用されるシェーダコンポーネントの例には、プロセッサ、ＡＳＩＣ、ＰＬＤ、コントローラ、コンピュータプログラム、またはコンピュータプログラムの一部が含まれる。一例として、シェーダコンポーネントＡはＧＰＵ Ａの外側に位置し、通信媒体Ａを介してＧＰＵ Ａに結合される。別の例として、シェーダコンポーネントＡはＧＰＵ Ａの一部である。さらに説明するため、シェーダコンポーネントＡは、ＧＰＵ Ａ内の構成要素であるか、またはＧＰＵ Ａによって実行されるコンピュータプログラムの一部である。別の例として、シェーダコンポーネントＡは、シェーダＡの構成要素または一部である。

【0020】

メモリデバイスシステムＡは、エンジンＡ及びシェーダＡを格納する。本明細書に記載される、ゲームエンジンの例として、ゲームコンピュータプログラム、仮想現実（ＶＲ）シーンを生成するためのコンピュータプログラム、拡張現実（ＡＲ）シーンを生成するためのコンピュータプログラム、ＶＲシーンもしくはＡＲシーンを生成するための物理法則を適用するための物理ソフトウェアプログラム、またはＶＲシーンもしくはＡＲシーンを生成するためのレンダリング動作を適用するためのレンダリングコンピュータプログラム、もしくはその２つ以上の組み合わせを含む。説明するため、物理法則が衝突検出または衝突応答に適用される。仮想シーンの例には、ＶＲシーン及びＡＲシーンが含まれる。一例として、仮想シーンには１つまたは複数の仮想オブジェクト及び１つまたは複数の仮想背景が含まれる。説明するため、仮想シーンには、複数の仮想ユーザ、複数の仮想木、仮想ユーザによって保持される複数の仮想武器、仮想空、及びビデオゲームの仮想平面が含まれる。

【0021】

本明細書で使用されるシェーダの例には、複数の生の画像フレームをレンダリングするために使用されるコンピュータプログラムが含まれる。説明するため、シェーダはＧＰＵによって実行されて、画像フレーム内のすべてのピクセルに対して、指定されたレベルの強度、テクスチャ、色、またはそれらの２つ以上の組み合わせを生成する。別の例として、シェーダＡは、ゲームエンジンＡの一部である。一実施形態では、強度、明るさ、及び陰影という用語は、本明細書では交換可能に使用されることに留意されたい。一実施形態では、画像フレームのピクセルのテクスチャは、画像フレーム内の色または強度の配置である。

【0022】

シェーダコンポーネントＡは、シェーダパラメータアジャスタＡ及び品質マトリックスＡを含む。一例として、本明細書で使用されるシェーダコンポーネントのシェーダパラメータアジャスタは、シェーダコンポーネントのコンピュータプログラムの一部である。別の例として、シェーダコンポーネントのシェーダパラメータアジャスタは、シェーダコンポーネントを実装するプロセッサ、ＡＳＩＣ、またはＰＬＤの一部である。別の例として、シェーダコンポーネントＡは、シェーダＡのコンピュータプログラムの一部である。

【0023】

本明細書で使用される品質マトリックスは、Ｐ１、Ｐ２、及びＰ３などの１つまたは複数のパラメータの複数の値を含むマトリックスである。パラメータＰ１の一例は、画像フレーム内の詳細量である。説明するため、仮想オブジェクトが画像フレーム内の４０または５０などの第１のピクセル数によって表される場合、画像フレーム内の詳細量はより少ない。仮想オブジェクトが１００または２００ピクセルなどの第２のピクセル数で表される場合、詳細量は、同じ画像フレーム内の別の詳細量と比較してより少ない。第１のピクセル数は、第２のピクセル数よりも少ない。第１及び第２のピクセル数は、クライアントデバイスのディスプレイ画面上で同じ量の表示領域を占める。別の例として、画像フレーム内に１０枚の草の葉を有する画像フレーム内の詳細量は、２０枚の草の葉に提供される画像フレーム内の別の詳細量よりも少ない。２０枚の草の葉は、１０枚の草の葉よりも画像フレームのより多くのピクセル数を占めるが、クライアントデバイスのディスプレイ画面では、１０枚の草の葉が占める表示領域と同じ量を占める。ディスプレイ画面の表示領域は、表示領域の幅と表示領域の長さの積として測定される。パラメータＰ２の一例は、画像フレームの仮想シーン内で仮想オブジェクトが表される距離である。説明するため、パラメータＰ２は、仮想オブジェクトが画像フレームの仮想シーンで表される深さ寸法における距離である。パラメータＰ３の一例は、画像フレームの少なくとも一部をレンダリングするためにレンダリング動作中に実施される光線の反復数である。一部には、レンダリングされる仮想オブジェクトが含まれる。光線の反復は、本明細書ではレイトレーシングと呼ばれることもある。各光線の反復中に、画像フレーム内のピクセルの色及び強度がシェーダコンポーネントＡによって計算される。複数の光線の反復については、画像フレーム内のピクセルの色及び強度が複数回計算される。レンダリング動作は、ＧＰＵ Ａによって実施されて、以下でさらに説明される、１つまたは複数の画像フレームを生成する、または出力するなど、処理する。

【0024】

ＣＰＵ Ａは、処理ユニットＡを含む。本明細書で使用される処理ユニットは、プロセッサ、ＡＳＩＣ、ＰＬＤ、またはコントローラを含む。説明するため、ＣＰＵ内の処理ユニットは、処理ユニットによって実施されるものとして本明細書で説明される関数を実行するＰＬＤ、ＡＳＩＣまたはコントローラの一部である。

【0025】

ゲームのプレイ中に、ＣＰＵ Ａは、ゲームエンジンＡを実行して、仮想シーンを有する画像フレームの仮想オブジェクトのモデルの形状、サイズ、位置、及び向きなどの変数を決定する。ＣＰＵ Ａは、通信媒体Ａを介して変数の決定の完了の指示をＧＰＵ Ａに送信する。完了の指示を受信すると、ＧＰＵ Ａはレンダリング動作を実行して、画像フレームの各ピクセルの色及び陰影を決定する。

【0026】

ＧＰＵ Ａが画像フレームをレンダリングするなど、画像フレームを生成するためのレンダリング動作を実行する期間中に、処理ユニットＡは、ＧＰＵ Ａのビジー状態を判定する。例えば、ＧＰＵ Ａがレンダリング動作の実行を開始すると、ＧＰＵ Ａは処理ユニットＡに信号を送信する。信号を受信すると、処理ユニットＡはレンダリング動作が開始されたと判定し、ＧＰＵ Ａのビジー状態を判定し始める。

【0027】

一例として、ＧＰＵ Ａのビジー状態を判定するため、処理ユニットＡはＧＰＵ Ａに要求を送信して、ＧＰＵ Ａによって画像フレーム１０２Ａ、１０２Ｂ、及び１０２Ｃなどの画像フレームの生成のフレームレートを取得する。画像フレーム１０２Ａ～１０２Ｃは、ゲーム用の生の画像フレームなどの符号化されていない画像フレームである。要求は、通信媒体Ａを介してＧＰＵ Ａに送信される。ＧＰＵ Ａは、要求を受信すると、通信媒体Ａを介してＣＰＵ Ａにフレームレートを提供する。処理ユニットＡは、フレームレートが所定のフレームレートよりも大きいと判定し、ＧＰＵ Ａがビジーであるとさらに判定する。例として、ＧＰＵ Ａは複数のゲームの画像フレームを生成することでビジーである。別の例として、ＧＰＵ Ａは、ゲーム用の画像フレーム１０２Ａ～１０２Ｃを生成することでビジーである。例を継続すると、ＧＰＵ Ａがビジーである場合、ＧＰＵ Ａは、例えば、所定の量より多いＧＰＵ Ａの大量の処理電力を使用している。所定の電力量は、所定の電力閾値レベルの一例である。一方、処理ユニットＡは、フレームレートが所定のフレームレートよりも低いと判定し、ＧＰＵ Ａがビジーではないとさらに判定する。ＧＰＵ Ａがビジーでない場合、ＧＰＵ Ａは、例えば、所定の電力量より少ないＧＰＵ Ａの少量の処理電力を使用している。ＧＰＵ Ａの処理電力の量は、ＧＰＵ Ａによって消費される電力の一例である。

【0028】

ＧＰＵ Ａがビジーであると判定すると、処理ユニットＡは品質調整信号（ＱＡＳ）を生成し、通信媒体Ａを介してシェーダパラメータアジャスタＡに送信する。ＧＰＵ Ａが画像フレーム１０２Ａ～１０２Ｃをレンダリングする、または生成するなどの処理をしている間、ＱＡＳ信号は処理ユニットＡからシェーダコンポーネントＡに送信される。例えば、画像フレーム１０２Ａがレンダリングされている期間中、処理ユニットＡは、ＱＡＳ信号をシェーダコンポーネントＡに送信する。

【0029】

ＱＡＳを受信すると、シェーダパラメータアジャスタＡは、コンテンツルールを適用して、ＧＰＵ Ａによって生成される画像フレーム１０２Ａ～１０２Ｃの１つまたは複数のパラメータＰ１～Ｐ３のうちの１つまたは複数の値を調整する。例えば、シェーダパラメータアジャスタＡは、画像フレーム１０２Ａ内の仮想オブジェクトの解像度、例えば、詳細量などを低減するか、または画像フレーム１０２Ａ内の仮想オブジェクトの深さ寸法の距離を増加させて、その結果、仮想オブジェクトのより低いピクセル数は、画像フレーム１０２Ａを占有するか、または画像フレーム１０２Ａ内の仮想オブジェクトを表すピクセルの色及び強度を生成するために使用される光線の反復の数を低減するか、またはそれらの組み合わせにする。画像フレーム１０２Ａ内の仮想オブジェクトの解像度が低下すると、画像フレーム１０２Ａの解像度が低下することに留意されたい。別の例として、シェーダパラメータアジャスタＡは、画像フレーム１０２Ａ内の仮想オブジェクトの詳細量を事前設定された詳細レベルに低減するか、または画像フレーム１０２Ａ内の仮想オブジェクトの深さ寸法の距離を事前設定された距離に増加させるか、または画像フレーム１０２Ａ内の仮想オブジェクトを表すピクセルの色及び強度を生成するために使用される光線の反復の数を、事前設定された光線の反復の数に低減するか、またはそれらの組み合わせにする。事前設定された詳細レベル、事前設定された距離、及び事前設定された光線の反復回数は、メモリデバイスシステムＡに格納される。

【0030】

さらに別の例として、シェーダパラメータアジャスタＡは、仮想オブジェクトを有する画像フレーム１０２Ａ～１０２Ｃ内の仮想オブジェクトの詳細の量を減少させるか、または画像フレーム内の仮想オブジェクトの深さ寸法の距離を増加させるか、または、画像フレーム１０２Ａ～１０２Ｃ内の仮想オブジェクトを表すピクセルの色及び強度を生成するために使用される光線の反復の数を低減するか、またはそれらの組み合わせにする。さらに別の例として、シェーダパラメータアジャスタＡは、仮想オブジェクトを有する画像フレーム１０２Ａ～１０２Ｃ内の仮想オブジェクトの詳細量を事前設定された詳細レベルに低減するか、または画像フレーム１０２Ａ～１０２Ｃ内の仮想オブジェクトの深さ寸法の距離を事前設定された距離に増加させるか、または画像フレーム内の仮想オブジェクトを表すピクセルの色及び強度を生成するために使用される光線の反復の数を、事前設定された光線の反復の数に低減するか、またはそれらの組み合わせにする。さらに別の例として、画像フレーム１０２Ａのピクセルまたはブロックなどの一部分が生成され、画像フレーム１０２Ａの残りのピクセルまたは残りのブロックなどの残りの部分が生成される間に、シェーダパラメータアジャスタＡは、パラメータＰ１～Ｐ３の１つまたは複数の値を調整する。シェーダパラメータアジャスタＡは、パラメータＰ１～Ｐ３の１つまたは複数の調整された値を、通信媒体Ａを介してシェーダＡに提供する。

【0031】

パラメータＰ１～Ｐ３の１つまたは複数の調整された値を受信すると、シェーダＡは、パラメータＰ１～Ｐ３の調整された値を有する画像フレーム１０２Ａ～１０２Ｃなどの画像フレームを出力する。画像フレーム１０２Ａ～１０２Ｃの生成の完了前に、１つまたは複数のパラメータが調整されることに留意されたい。画像フレーム１０２Ａ～１０２Ｃは、符号化されていない画像フレームである。シェーダＡは、通信媒体Ａを介して画像フレーム１０２Ａ～１０２ＣをビデオエンコーダＡに送信する。ビデオエンコーダＡは、画像フレーム１０２Ａ～１０２Ｃを圧縮するなど符号化して、符号化された画像フレーム１０４Ａ及び１０４Ｂなどの符号化された画像フレームを出力する。一方、ＧＰＵ Ａがビジーではないと判定すると、処理ユニットＡはＱＡＳを生成せず、パラメータＰ１～Ｐ３のいずれも、シェーダパラメータアジャスタＡによって調整されない。

【0032】

一実施形態では、パラメータＰ１～Ｐ３の値は、生成された、作られた、または出力されたなど、画像フレーム１０２Ａ～１０２Ｃがレンダリングされる前に、シェーダパラメータアジャスタＡによって調整されない。例えば、ＣＰＵ Ａは、画像フレーム１０２Ａ～１０２Ｃの生成のためにＧＰＵ Ａによってレンダリング動作が実施される前に、パラメータＰ１～Ｐ３の値を調整するための命令をＧＰＵ Ａに送信しない。

【0033】

一実施形態では、パラメータＰ１～Ｐ３の値は、画像フレーム１０２Ａ～１０２Ｃがレンダリングされた後、シェーダパラメータアジャスタＡによって調整されない。例えば、シェーダパラメータアジャスタＡは、画像フレーム１０２Ａが画像フレーム１０２Ａを再レンダリングするためにレンダリングされた後、画像フレーム１０２Ａの値を調整しない。

【0034】

一実施形態では、本明細書で説明されるように、シェーダは、ゲームエンジンの一部である。例えば、シェーダＡはゲームエンジンＡの一部である。

【0035】

一実施形態では、処理ユニットＡなどの処理ユニットによって実行される本明細書に記載されている関数は、シェーダコンポーネントＡなどのシェーダコンポーネントによって実施される。

【0036】

一実施形態では、ＣＰＵによって実施される本明細書で説明される関数は、ＣＰＵを備えた処理ユニットによって実施されるのではなく、ＣＰＵのメイン処理ユニットなどの別のプロセッサによって実施される。

【0037】

一実施形態では、ＧＰＵ Ａは、毎秒または２秒ごとなどの所定の期間中にＧＰＵ Ａによって生成される画像の数をカウントするフレームレートカウンタを含む。

【0038】

一実施形態では、シェーダパラメータアジャスタＡは、コンテンツルールを適用して、仮想シーン内の複数の仮想オブジェクトのどれが、残りの仮想オブジェクトと比較してより複雑であるかを判定する。例えば、シェーダパラメータアジャスタＡは、仮想シーン内の仮想車両トラックが、仮想シーン内の仮想草の葉と比較してより詳細レベルが高いと判定する。仮想車両トラックがより詳細であると判定すると、シェーダパラメータアジャスタＡは、草の葉の詳細レベルを低減することなく、仮想車両トラックの詳細レベルを低減する。より高い詳細レベルの一例は、仮想草の葉によって消費されるよりも多くの数のピクセルを画像フレーム１０２Ａの仮想シーン内に含む。より高い詳細レベルの別の例は、画像フレーム１０２Ａ内により多くの部品または部分または構成要素を有することを含む。説明するため、仮想車両トラックには枕木、鉄道軌道、鉄道ファスナ、及び鉄道バラストがあり、仮想草の葉には葉がある。

【0039】

別の例として、シェーダパラメータアジャスタＡは、最初に仮想車両トラックの詳細レベルを低減し、次に草の葉の詳細レベルを低減する。さらに別の例として、シェーダパラメータアジャスタＡは、仮想車両トラックの詳細レベルを第１の所定のレベル未満に低減し、仮想草の葉の詳細レベルを第２の所定のレベル未満に低減する。第１の所定のレベルは、第２の所定のレベルよりも低いか、同じか、またはより高い。

【0040】

図２は、ネットワークレイテンシに基づくパラメータＰ１～Ｐ３の値の調整を説明するためのシステム２００の一実施形態の図である。システム２００は、メモリデバイスシステムＡ、通信媒体Ａ、ＣＰＵ Ａ、ＧＰＵ Ａ、送信（ＴＸ）ユニットＡ、ストリーミングエンジンＡ、コンピュータネットワーク２０２、複数のクライアントデバイスＡ及びＢ、受信（ＲＸ）ユニットＡ、及びシェーダコンポーネントＡを含む。送信ユニットＡは、ビデオエンコーダＡ及び複数のフレームバッファを含む。フレームバッファの１つは画像フレーム１０２Ａ～１０２Ｃを格納し、フレームバッファの別の１つは符号化された画像フレーム１０４Ａ及び１０４Ｂを格納する。フレームバッファは、ビデオエンコーダＡに結合される。受信ユニットＡには、デコーダＡ及び複数のフレームバッファが含まれる。デコーダＡは、受信ユニットＡのフレームバッファに結合されている。本明細書で使用されるデコーダの一例は、符号化されていない画像フレームを出力するための符号化された画像フレームの解凍など、復号するために使用される構成要素を含む。説明するため、デコーダはＨ．２６４標準を適用して、Ｐ、Ｉ、及びＢの画像フレームを生の画像フレームに変換する。

【0041】

本明細書で使用されるストリーミングエンジンの例には、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）などのインターネット通信プロトコルを適用するネットワークインターフェースカードなどのネットワークインターフェースコントローラが含まれる。受信ユニットＡは、通信媒体Ａに結合されている。また、ストリーミングエンジンＡは、通信媒体Ａに結合されている。コンピュータネットワーク２０２の例には、インターネットなどの広域ネットワーク（ＷＡＮ）、またはインターネットなどのローカルエリアネットワーク（ＬＡＮ）、あるいはそれらの組み合わせが含まれる。本明細書で使用されるクライアントデバイスは、ゲームエンジンＡを使用して実行されるゲームにアクセスするためにユーザによって操作されるデバイスである。本明細書で使用されるクライアントデバイスの例には、コンピュータ、携帯電話、タブレット、スマートフォン、スマートテレビ、ゲームコンソール、ヘッドマウントディスプレイ（ＨＭＤ）などが含まれる。本明細書で使用されるＨＭＤは、ＶＲシーンまたはＡＲシーンなど、ユーザが仮想シーンを見るために着用するディスプレイデバイスである。ＶＲシーンまたはＡＲシーンは、ゲームエンジンＡの実行時に生成される。

【0042】

クライアントデバイスＡはユーザＡによって操作され、クライアントデバイスＢは別のユーザＢによって操作される。ユーザＡには、ユーザアカウントサーバによってユーザアカウントＡが割り当てられ、以下でさらに説明する。同様に、ユーザＢは、ユーザアカウントサーバによって別のユーザアカウントＢに割り当てられる。ユーザＡはユーザアカウントＡにログインして、１つまたは複数のノードからゲームにアクセスするが、これについては以下でさらに説明する。同様に、ユーザＢはユーザアカウントＢにログインして、１つまたは複数のノードからゲームにアクセスする。

【0043】

フレーム１０２Ａ～１０２Ｃがレンダリングされているレンダリング動作中に、処理ユニットＡは、通信媒体Ａを介してストリーミングエンジンＡに信号を送信して、クライアントデバイスＡに、所定の数のテストパケットを処理ユニットＡに送り返すような命令を有する、１つまたは２つのパケットなどの所定の数のテストパケットを送信する。信号がストリーミングエンジンＡに送信されると、処理ユニットＡはカウンタまたはタイマを開始して、所定の数のパケットがストリーミングエンジンＡからクライアントデバイスＡに送信され、ストリーミングエンジンによってクライアントデバイスＡから受信されるまでにかかる時間などのネットワークレイテンシをカウントする。例えば、画像フレーム１０２Ａ～１０２Ｃの１つまたは複数を生成するためにレンダリング動作が実施されていることを示すＧＰＵ Ａからの信号を受信すると、処理ユニットＡは、信号をストリーミングエンジンＡに送信して、所定の数のテストパケットを送り返すようなクライアントデバイスＡへの命令を有する所定の数のテストパケットを送信する。ストリーミングエンジンＡは、処理ユニットＡから信号を受信すると、所定の数のテストパケットを生成し、インターネットプロトコルを適用して命令をテストパケット内に埋め込み、コンピュータネットワーク２０２を介してクライアントデバイスＡにテストパケットを送信する。

【0044】

クライアントデバイスＡは、画像フレーム１０２Ａ～１０２Ｃがレンダリングされているデバイスである。例えば、コンピュータネットワーク２０２を介してクライアントデバイスＡから入力信号を受信することに応じて、ＣＰＵ Ａは、仮想シーン内の仮想オブジェクトの変数を決定する。さらに、ＣＰＵ Ａによって決定された変数に基づいて、ＧＰＵ Ａは仮想シーン内の仮想オブジェクトの色及び強度を決定する。別の例として、仮想オブジェクトがＧＰＵ Ａによってレンダリングされるゲームをプレイするための要求は、コンピュータネットワーク２０２を介してクライアントデバイスＡから受信される。

【0045】

クライアントデバイスＡは、命令を有する所定の数のテストパケットを受信すると、テストパケットを解析して命令を取得する。クライアントデバイスＡは、インターネットプロトコルを命令に適用して、所定の数のリターンテストパケットを生成し、コンピュータネットワーク２０２を介してストリーミングエンジンＡにリターンテストパケットを送信する。所定の数のリターンテストパケットを受信すると、ストリーミングエンジンＡは、インターネットプロトコルを適用して、リターンテストパケットを解析し、命令を取得する。ストリーミングエンジンＡは、受信ユニットＡを介して処理ユニットＡに命令を送信する。命令を受信すると、処理ユニットＡは、ストリーミングエンジンＡからコンピュータネットワーク２０２を介してクライアントデバイスＡに、及びコンピュータネットワーク２０２によってクライアントデバイスＡからストリーミングエンジンＡに所定の数のテストパケットを転送する際のネットワークレイテンシを決定するために開始されたカウンタまたはタイマをオフにする。一例として、ネットワークレイテンシは、ストリーミングエンジンＡによるクライアントデバイスＡへの所定の数のテストパケットの送信の動作とストリーミングエンジンＡによる所定の数のリターンテストパケットの受信の動作との間の時間の量である。

【0046】

処理ユニットＡは、ネットワークレイテンシが、メモリデバイスシステムＡに格納されている所定の量のネットワークレイテンシよりも大きいかどうかを判定する。所定の量のネットワークレイテンシは、所定のネットワークレイテンシの閾値レベルの一例である。ネットワークレイテンシが、閾値Ｔｈなどの所定の量のネットワークレイテンシよりも大きいと判定すると、処理ユニットＡは、ＱＡＳを生成し、通信媒体Ａを介してシェーダコンポーネントＡにＱＡＳを送信する。ＱＡＳの受信に応じて、シェーダコンポーネントＡのシェーダパラメータアジャスタＡは、本明細書で説明する方法で、パラメータＰ１、Ｐ２、及びＰ３の１つまたは複数の値を調整し、画像フレーム１０２Ａ～１０２Ｃを生成するために通信媒体Ａを介して調整された値をシェーダＡに提供する。一方、ネットワークレイテンシが所定の量のネットワークレイテンシよりも大きくないと判定すると、処理ユニットＡはＱＡＳを生成しない。

【0047】

ビデオエンコーダＡは、シェーダＡから出力された画像フレーム１０２Ａ～１０２Ｃを受信し、画像フレームを符号化して、符号化された画像フレーム１０４Ａ及び１０４Ｂを生成する。ストリーミングエンジンＡは、ビデオエンコーダＡから符号化された画像フレーム１０４Ａ及び１０４Ｂを受信し、インターネットプロトコルを符号化された画像フレーム１０４Ａ及び１０４Ｂに適用して１つまたは複数のパケットを生成し、１つまたは複数のパケットをコンピュータネットワーク２０２を介してクライアントデバイスＡに転送する。クライアントデバイスＡは、画像フレーム１０２Ａ～１０２Ｃを生成するために符号化された画像フレーム１０４Ａ及び１０４Ｂを復号するためのビデオデコーダを含む。クライアントデバイスＡは、画像フレーム１０２Ａ～１０２Ｃをクライアントデバイスのディスプレイデバイス上に表示する。本明細書で使用されるディスプレイデバイスの例には、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイが含まれる。

【0048】

図３は、ＧＰＵ Ａによって消費される電力量に基づくＱＡＳの生成を説明するためのシステム３００の実施形態の図である。システム３００は、メモリデバイスシステムＡ、通信媒体Ａ、電力測定デバイス（ＰＭＤ）Ａ、ＧＰＵ Ａ、電源Ａ、ＣＰＵ Ａ、及びシェーダコンポーネントＡを含む。本明細書で使用される電力測定デバイスの例には、電圧センサ、電流センサ、または電力センサが含まれる。電流センサは、電流を測定するために、１つまたは複数の電流シャント抵抗を含む。電源ＡとＰＭＤ Ａとは通信媒体Ａに結合される。さらに、ＰＭＤ ＡはＧＰＵ Ａの入力に結合されて、ＧＰＵ Ａの入力で電力を測定する。例えば、ＰＭＤ ＡはＧＰＵ Ａの電力入力ピンに結合される。

【0049】

レンダリング動作がＧＰＵ Ａによって実行されて画像フレーム１０２Ａ～１０２Ｃの１つまたは複数を生成する期間中に、ＰＭＤ Ａは、ＧＰＵ Ａの消費電力など、ＧＰＵ Ａの入力でＧＰＵ Ａによって消費される電力量を測定して、電力測定データを出力する。一例として、ＰＭＤ Ａは、測定された電力量のアナログ値を電力測定データのデジタル値に変換するためのサンプラまたはアナログ－デジタル変換器（ＡＤＣ）を含む。

【0050】

電力測定データは、通信媒体Ａを介して処理ユニットＡに転送される。処理ユニットＡは、電力測定データを受信し、電力測定データが、所定の電力閾値レベルの別の例である、所定の電力閾値を下回る値を有するかどうかを判定する。例えば、画像フレーム１０２Ａを生成するためにレンダリング動作が実施されている間、処理ユニットＡは、電力測定データが所定の電力閾値よりも大きいと判定する。所定の電力閾値は、メモリデバイスシステムＡに格納される。

【0051】

電力測定データが所定の電力閾値を下回っていると判定すると、処理ユニットＡはＱＡＳ信号を生成しない。一方、電力測定データが所定の電力閾値より大きいと判定すると、処理ユニットＡはＱＡＳ信号を生成する。ＱＡＳ信号は、レンダリング動作の実行によってフレーム１０２Ａ～１０２Ｃの１つまたは複数が生成されると同時にまたはその間に生成される。処理ユニットＡは、通信媒体Ａを介してＱＡＳをシェーダパラメータアジャスタＡに送信する。ＱＡＳを受信すると、シェーダパラメータアジャスタＡは、本明細書に記載の方法で画像フレーム１０２Ａ～１０２Ｃの１つまたは複数のうちの１つまたは複数のパラメータＰ１～Ｐ３の値を調整する。調整された値は、シェーダパラメータアジャスタＡから通信媒体Ａを介してシェーダＡに送信され、本明細書に記載の方法で調整された値を有する画像フレーム１０２Ａ～１０２Ｃのうちの１つまたは複数をレンダリングする。

【0052】

一実施形態では、複数の電力測定デバイスがＧＰＵ Ａの入力に結合されて、ＧＰＵ Ａによって消費される電力を測定する。

【0053】

図４は、ＧＰＵ Ａの温度に基づくＱＡＳの生成を説明するためのシステム４００の実施形態の図である。システム４００は、メモリデバイスシステムＡ、通信媒体Ａ、ＧＰＵ Ａ、ＣＰＵ Ａ、温度センサＡ、及びシェーダコンポーネントＡを含む。本明細書で使用される温度センサの例には、熱電対、サーミスタ、測温抵抗体、及び半導体センサが含まれる。温度センサＡは、ＧＰＵ Ａ及び通信媒体Ａに結合される。例えば、温度センサＡは、ＧＰＵ Ａの半導体チップの表面に取り付けられる。

【0054】

ＧＰＵ Ａによるフレーム１０２Ａ～１０２Ｃの１つまたは複数の生成中、温度センサＡは、ＧＰＵ Ａの温度を感知して温度データを出力し、通信媒体Ａを介して処理ユニットＡに温度データを提供する。一例として、温度センサＡには、アナログ温度信号をＧＰＵ Ａの温度のデジタルデータに変換して温度データを提供するサンプラまたはＡＤＣが含まれる。処理ユニットＡは、温度データを受信し、ＧＰＵ Ａの温度が、メモリデバイスシステムＡに格納されている所定の温度閾値ＴＭＰ ＴＨＲを超えるかどうかを判定する。例えば、処理ユニットＡは、温度分析器を含んで、ＧＰＵ Ａの温度が所定の温度閾値ＴＭＰ ＴＨＲを超えているかどうかを判定する。温度閾値ＴＭＰ ＴＨＲは、所定の温度閾値レベルの一例である。ＧＰＵ Ａの温度が所定の温度閾値を超えていると判定すると、処理ユニットＡはＱＡＳ信号を生成し、ＱＡＳ信号をシェーダパラメータアジャスタＡに送信する。ＱＡＳを受信すると、シェーダパラメータアジャスタＡは、本明細書に記載の方法で画像フレーム１０２Ａ～１０２Ｃの１つまたは複数のうちの１つまたは複数のパラメータＰ１～Ｐ３の値を調整し、通信媒体Ａを介してシェーダＡに調整された値を提供する。調整された値を受信すると、シェーダＡは、パラメータＰ１～Ｐ３のうちの１つまたは複数のうちの調整された値を持つ１つまたは複数のフレームを生成する。他方、ＧＰＵ Ａの温度が、所定の温度閾値を超えない、例えば、所定の温度閾値より大きくないと判定すると、処理ユニットＡは、ＱＡＳ信号を生成しない。

【0055】

図５は、クライアントデバイスＡから受信されたユーザ入力のレイテンシに基づくＱＡＳ信号の生成を説明するためのシステム２００の実施形態の図である。ユーザ入力のレイテンシは、本明細書ではユーザ入力レイテンシと呼ばれることがある。ユーザ入力レイテンシは、ＧＰＵ Ａが画像フレーム１０２Ａ～１０２Ｃをレンダリングしている間に、ユーザ入力Ａ２などのユーザ入力が、コンピュータネットワーク２０２を介してクライアントデバイスからＣＰＵ Ａによって受信されるときに発生する。

【0056】

ユーザＡは、クライアントデバイスＡのタッチスクリーンボタン、ハードウェアボタンまたはハンドヘルドコントローラ（ＨＨＣ）のジョイスティックなどの１つまたは複数のボタンを選択するまたは移動し、及び／またはユーザＡの身体部分の運動を行い、ユーザ入力Ａ１を生成する。身体部分の例には、手、顔、指、及び脚が含まれる。一例として、ユーザ入力Ａ１は、仮想シーン内の仮想オブジェクトが、ゲームエンジンＡ１の実行中に、ある位置または別の位置から、またはある方向から別の方向に移動する、ジャンプする、頭を下げるまたはかがむことであることを示す。ユーザ入力Ａ１は、クライアントデバイスＡからコンピュータネットワーク２０２を介してストリーミングエンジンＡに送信される。ストリーミングエンジンＡは、ユーザ入力Ａ１を受信ユニットＡを介してＣＰＵ Ａに送信する。ＣＰＵ Ａは、ゲームエンジンＡを実行して、ユーザ入力Ａ１に基づいて、仮想シーン内の仮想オブジェクトの変数を決定する。例えば、ＣＰＵ Ａは、仮想オブジェクトがジャンプすることを示すユーザ入力Ａ１を受信すると、仮想オブジェクトがジャンプ運動を行うと決定する。別の例として、ＣＰＵ Ａは、仮想オブジェクトが第１の位置から第２の位置に移動することを示すユーザ入力Ａ１を受信すると、仮想オブジェクトが第１の位置から第２の位置に移動すると決定する。

【0057】

ＣＰＵ Ａは、通信媒体Ａを介してＧＰＵ Ａに変数を送信する。変数を受信すると、ＧＰＵ Ａは、レンダリング動作を変数に適用して、画像フレーム１０２Ａ～１０２Ｃの１つまたは複数を生成する。例えば、画像フレーム１０２Ａは仮想シーンを有する。画像フレーム１０２Ａ～１０２Ｃの１つまたは複数がＧＰＵ Ａによってレンダリングされている期間中に、ＣＰＵ Ａは、コンピュータネットワーク２０２、ストリーミングエンジンＡ、及び受信ユニットＡを介してクライアントデバイスＡからユーザ入力Ａ２を受信する。ユーザ入力Ａ２は、ユーザＡによるクライアントデバイスＡの１つまたは複数のボタンの選択に応じて、またはユーザＡの身体部分の運動に応じて、クライアントデバイスＡによって生成される。ユーザ入力Ａ２は、レンダリングされている画像フレーム１０２Ａ～１０２Ｃの１つまたは複数内のパラメータＰ１～Ｐ３のうちの１つまたは複数の変更をトリガする。例えば、ユーザ入力Ａ２は、画像フレーム１０２Ａ～１０２Ｃ以外の１つまたは複数の追加の画像フレームが、ユーザ入力Ａ２に基づいてＧＰＵ Ａによってレンダリングされるべきであり、ユーザ入力Ａ２が受信される前に画像フレーム１０２Ａ～１０２Ｃの１つまたは複数をレンダリングするための時間よりも、ユーザ入力Ａ２が受信された後に画像フレーム１０２Ａ～１０２Ｃの１つまたは複数をレンダリングする時間がより少ないことをＣＰＵ Ａに示す。説明するため、ＣＰＵ Ａは、ユーザ入力Ａ２に基づいて仮想オブジェクトの変数の追加値を生成する。一例として、ＣＰＵ Ａは、画像フレーム１０２Ａ～１０２Ｃ内にレンダリングされる仮想オブジェクトの追加の位置及び追加の向きを決定する。ＣＰＵ Ａは、通信媒体Ａを介して追加の位置及び追加の向きをＧＰＵ Ａに送信する。追加の位置と向きを受信すると、ＧＰＵ Ａはレンダリング動作を適用して１つまたは複数の追加の画像フレームを生成する。なお、ユーザ入力Ａ２は、ユーザ入力Ａ１を受信することに続いて、処理ユニットＡによって受信される。例えば、ユーザ入力Ａ１とＡ２の受信の間に他のユーザ入力は受信されない。

【0058】

ユーザ入力Ａ２を受信することに応じて、処理ユニットＡは、通信媒体Ａを介してＧＰＵ Ａに照会信号を送信して、ＧＰＵ Ａがユーザ入力Ａ１に基づいて画像フレーム１０２Ａ～１０２Ｃの１つまたは複数を生成しているかどうかを判定する。照会信号を受信すると、ＧＰＵ Ａは、ＧＰＵ Ａが画像フレーム１０２Ａ～１０２Ｃの１つまたは複数の生成を終了していないことを示す応答信号を通信媒体Ａを介して処理ユニットＡに送信する。例えば、ＧＰＵ Ａは、ＧＰＵ Ａがまだ画像フレーム１０２Ａをレンダリングしており、画像フレーム１０２Ａのレンダリングを終了していないことを示す応答信号を送信する。応答信号を受信すると、処理ユニットＡは、ＱＡＳ信号を生成し、通信媒体Ａを介してシェーダパラメータアジャスタＡにＱＡＳ信号を送信する。ＱＡＳ信号を受信すると、シェーダパラメータアジャスタＡは、本明細書に記載の方法で画像フレーム１０２Ａ～１０２Ｃの１つまたは複数のパラメータＰ１～Ｐ３の１つまたは複数の値を修正し、通信媒体Ａを介してシェーダＡに修正された値を提供する。例えば、シェーダパラメータアジャスタＡは、画像フレーム１０２Ａの仮想シーン内の仮想オブジェクトの詳細レベルを低下させる。シェーダＡは、修正された値に従って、画像フレーム１０２Ａ～１０２Ｃの１つまたは複数をレンダリングする。

【0059】

一実施形態では、処理ユニットＡは、処理ユニットＡによるユーザ入力Ａ２の受信とユーザ入力Ａ１の受信との間の時間差などの、ユーザ入力レイテンシを決定するためのタイマを含む。ユーザ入力レイテンシが所定の時間差などの所定のユーザ入力レイテンシよりも短いと判定すると、処理ユニットＡはＱＡＳ信号を生成する。一方、ユーザ入力レイテンシが所定のユーザ入力レイテンシよりも大きいと判定すると、処理ユニットはＱＡＳ信号を生成しない。

【0060】

図６Ａは、パラメータＰ１、Ｐ２、及びＰ３の例を説明するための表６００の一実施形態の図である。パラメータＰ１、Ｐ２、及びＰ３のいずれかの１つの例は、画像フレーム１０２Ａ～１０２Ｃのいずれかの内の仮想オブジェクトなどの少なくとも一部の解像度（Ｒ）である（図５）。説明するため、Ｒ１の値を有する解像度は、Ｒ２の値を有する解像度よりも低く、Ｒ２の値を有する解像度は、Ｒ３の値を有する解像度よりも低い。一例として、Ｒ２の値はＲ１の値よりも高いピクセル数を指し、Ｒ３の値はＲ２の値よりも高いピクセル数を指す。さらに説明するため、Ｒ３の値はａ３×ｂ３の解像度を指し、Ｒ２の値はａ２×ｂ２の解像度を指し、Ｒ１の値はａ３×ｂ３の解像度を指し、ａ１、ａ２、ａ３、ｂ１、ｂ２、及びｂ３はそれぞれ、整数である。また、ａ３は、ａ１よりも大きいａ２よりも大きく、ｂ３は、ｂ１よりも大きいｂ２よりも大きい。本明細書で使用される場合、画像フレームの一部の解像度は、画像フレーム内の一部を表すために使用されるピクセルの数を指す。例えば、解像度とは、画像フレームの一部の高さと幅とを指す。解像度Ｒは、Ｒ１からＲｎまでの範囲の値を有し、ｎは、１より大きい整数である。画像フレームの一部の解像度は、画像フレームの複雑さの一例である。例えば、ピクセルの解像度Ｒの減少は、ピクセルによって表される仮想オブジェクトの詳細の量などの複雑さのレベルを低下させ、解像度Ｒの増加は、仮想オブジェクトの複雑さのレベルを上昇させる。

【0061】

パラメータＰ１～Ｐ３のいずれかの別の例は、光線の反復回数（ＲＩＣ）であり、これは、画像フレーム１０２Ａ～１０２Ｃのいずれかの仮想オブジェクトなどの少なくとも一部をレンダリングするために実施される反復の数である。説明するため、画像フレーム１０２Ａの仮想シーン内の仮想オブジェクトを表すピクセルをレンダリングするために適用されるシェーダパラメータアジャスタＡによって決定される光線の反復回数は、画像フレーム１０２Ａの仮想シーン内の別の仮想オブジェクトのピクセルをレンダリングするために適用されるシェーダパラメータアジャスタＡによって決定される光線反復回数よりも少ない。別の例として、光線の反復回数は、画像フレーム１０２Ａ内の仮想オブジェクトのピクセルの色及び強度がシェーダパラメータアジャスタＡによって計算される回数である。

【0062】

光線の反復回数は、画像フレームの複雑さの別の例である。例えば、画像フレームの一部をレンダリングするための光線の反復回数の減少により、一部の複雑さのレベルが低下し、光線の反復回数の増加により、複雑さのレベルが上昇する。

【0063】

光線の反復回数の値はＲＩＣ１からＲＩＣｎまでの範囲の値を有し、ｎは１より大きい整数である。ＲＩＣ１はＲＩＣ２と比較して光線の反復回数が少ないことを表し、ＲＩＣ２はＲＩＣ３と比較して光線の反復回数が少ないことを表すことに留意されたい。

【0064】

パラメータＰ１～Ｐ３のいずれかのさらに別の例は、画像フレーム１０２Ａ～１０２Ｃのいずれかでレンダリングされた（ＶＯＲ）複数の仮想オブジェクトである。説明するため、ＱＡＳを受信すると、シェーダパラメータアジャスタＡ（図５）は、コンテンツルール（図５）を適用して、ＱＡＳの受信前の画像フレーム１０２Ａ内のレンダリングされると決定された仮想拒絶の量と比較して、画像フレーム１０２Ａ内のより少ない数の仮想オブジェクトをレンダリングする。さらに説明するため、ＣＰＵ Ａ（図５）は、２つの仮想オブジェクトが画像フレーム１０２Ａ（図５）の仮想シーン内でレンダリングされることを決定する。ＣＰＵ Ａは、通信媒体Ａ（図５）を介してＧＰＵ Ａに命令を送信し、２つの仮想オブジェクトをレンダリングする。命令を受信すると、ＧＰＵ Ａは２つの仮想オブジェクトのレンダリングを開始する。しかし、ＱＡＳ信号が受信されると、シェーダパラメータアジャスタＡはコンテンツルール（図５）を適用して、２つの仮想オブジェクトの代わりに２つの仮想オブジェクトの一方をレンダリングすることを決定する。２つの仮想オブジェクトの一方は、２つの仮想オブジェクトの他方と比較して詳細が少ないか、または多い。ＧＰＵ Ａは、他の仮想オブジェクトをレンダリングせず、画像フレーム１０２Ａの仮想シーン内の仮想オブジェクトをレンダリングする。

【0065】

レンダリングされる仮想オブジェクト（ＶＯＲ）の数の値は、ＶＯＲ１からＶＯＲｎまでの範囲の値であり、ｎは１より大きい整数である。ＶＯＲ１は、ＶＯＲ２と比較してレンダリングされる仮想オブジェクトの数が少ないことを表し、ＶＯＲ２は、ＶＯＲ３と比較してレンダリングされる仮想オブジェクトの数が少ないことを表すことに留意されたい。

【0066】

画像フレーム内でレンダリングされる仮想オブジェクトの数は、画像フレームの複雑さのさらに別の例である。例えば、画像フレーム内でレンダリングされる仮想オブジェクトの数の減少により、画像フレームの複雑さのレベルが低下し、仮想オブジェクトの数の増加により、複雑さのレベルが上昇する。

【0067】

パラメータＰ１～Ｐ３のいずれかの別の例は、仮想オブジェクトが画像フレーム１０２Ａ～１０２Ｃのいずれかの中でレンダリングされる優先度（ＰＲＴＹ）を含む。説明するため、レンダリング動作中に、画像フレーム１０２Ａの仮想シーンの第２の仮想オブジェクトがＧＰＵ Ａによってレンダリングされる前に、画像フレーム１０２Ａの仮想シーン内の第１の仮想オブジェクトがＧＰＵ Ａによってレンダリングされる。レンダリング動作の前に、ＣＰＵ ＡはＧＰＵ Ａに、第２の仮想オブジェクトが第１の仮想オブジェクトと比較して深さ寸法におけるさらに離れた場所でレンダリングされることを示す。第２の仮想オブジェクトは、第１の仮想オブジェクトの深さに比べて、深さ寸法における距離が大きいなど、より深い深さを有し、第１の仮想オブジェクトをレンダリングした後にレンダリングされる。さらに別の説明として、レンダリング動作中に、画像フレーム１０２Ａの仮想シーンの第２の仮想オブジェクトがＧＰＵ Ａによってレンダリングされる前に、画像フレーム１０２Ａの仮想シーン内の第１の仮想オブジェクトがＧＰＵ Ａによってレンダリングされる。レンダリング動作の前に、ＣＰＵ ＡはＧＰＵ Ａに、第１の仮想オブジェクトが、１つまたは複数の画像フレーム１０２Ａ～１０２Ｃ内の第２の仮想オブジェクトの場所よりも１つまたは複数の画像フレーム１０２Ａ～１０２Ｃ内の目立つ場所にレンダリングされることを示す。第２の仮想オブジェクトの深さ寸法における距離の量と比較して、第１の仮想オブジェクトの深さ寸法における距離の量がより少ないことは、第１の仮想オブジェクトの目立つ場所の一例である。第１の仮想オブジェクトのより少ない距離の量は、本明細書ではより近い距離と呼ばれることがあり、第２の仮想オブジェクトの距離の量は、本明細書ではより遠い距離と呼ばれることがある。一例として、深さ寸法は、画像フレーム１０２Ａ、１０２Ｂ、または１０２Ｃの表示面に垂直な軸に沿って測定される。画像フレームの表示面は、画像フレームが表示されるディスプレイ画面の面である。レンダリングの優先度ＰＲＴＹは、シェーダパラメータアジャスタＡによって決定される。

【0068】

レンダリングの優先度は、ＰＲＴＹ１からＰＲＴＹｎまでの範囲の値を有し、ｎは１より大きい整数である。ＰＲＴＹ１は、ＰＲＴＹ２と比較してレンダリングの優先度が低いことを表し、ＰＲＴＹ２は、ＰＲＴＹ３と比較してレンダリングの優先度が低いことを表すことに留意されたい。画像フレーム１０２Ａ～１０２Ｃの１つまたは複数における仮想オブジェクトをレンダリングする際の優先順位の変更は、１つまたは複数の画像フレーム１０２Ａ～１０２Ｃの複雑さのレベルの変更の一例である。

【0069】

パラメータＰ１～Ｐ３のいずれかのさらに別の例には、解像度Ｒ、光線の反復回数ＲＩＣ、ＶＯＲにレンダリングされた仮想オブジェクトの数、及び画像フレーム１０２Ａ～１０２Ｃのいずれかの仮想オブジェクトに適用されたレンダリングの優先度ＰＲＴＹに重みを与える品質パラメータ（ＱＰ）が含まれる。説明のために、シェーダパラメータアジャスタＡは、重みＷ１を解像度Ｒに、重みＷ２を光線の反復回数ＲＩＣに、重みＷ３をＶＯＲにレンダリングされた仮想オブジェクトの数に、及び重みＷ４を優先度ＰＲＴＹに付加し、重み付け解像度、重み付け光線の反復回数、重み付けされたレンダリングされた仮想オブジェクトの数、及び品質パラメータの値を決定するための重み付けされた優先度を合計する。ここで、Ｗ１、Ｗ２、Ｗ３、及びＷ４はそれぞれ実数である。さらに説明するため、シェーダパラメータアジャスタＡは、重みＷ１に解像度Ｒの値を乗算し、重みＷ２に光線の反復回数ＲＩＣの値を乗算し、重みＷ３にＶＯＲにレンダリングされた仮想オブジェクトの数の値を乗算し、及び重みＷ４に優先度ＰＲＴＹを乗算して、品質パラメータの値を計算する。シェーダパラメータアジャスタＡは、品質パラメータの値をＧＰＵ Ａに送信して、レンダリング動作中に画像フレーム１０２Ａ、１０２Ｂ、または１０２Ｃに適用する。

【0070】

品質パラメータＱＰは、ＱＰ１からＱＰｎまでの範囲の値を有し、ｎは１より大きい整数である。ＱＰ１は、ＱＰ２と比較してレンダリングの品質が低いことを表し、ＱＰ２は、ＱＰ３と比較してレンダリングの品質が低いことを表すことに留意されたい。

【0071】

図６Ｂは、ＧＰＵ Ａ（図５）に関連するメトリックとパラメータＰ１、Ｐ２、またはＰ３との間のマッピング６５０の一実施形態の図である。マッピング６５０は、シェーダパラメータアジャスタＡ（図５）によって適用され、パラメータＰ１、Ｐ２、またはＰ３の値を決定する。マッピングは、シェーダパラメータアジャスタＡによって適用され、パラメータＰ１、Ｐ２、及びＰ３の１つまたは複数の値を決定するコンテンツルールの例である（図５）。メトリックの例には、ＧＰＵ Ａによって消費される電力量、ネットワークレイテンシ、ＧＰＵ Ａの温度、ユーザ入力レイテンシ、またはそれらの２つ以上の組み合わせが含まれる。

【0072】

シェーダパラメータアジャスタＡは、ＱＡＳ ＡなどのＱＡＳを処理ユニットＡから受信する。ＱＡＳ Ａは、ＧＰＵ Ａによって消費される電力の値がＰＷＲ１であり、ネットワークレイテンシの値がＮＬ１であり、ＧＰＵ Ａの温度値がｔｅｍｐ１であり、ユーザ入力レイテンシの値がＵＬ１であり、またはその２つ以上の組み合わせであるときに生成される。一例として、画像フレーム１０２Ａ～１０２Ｃ（図５）の１つまたは複数がレンダリングされ、レンダリングが終了していない前にユーザ入力Ａ２（図５）が受信されるとき、ユーザ入力レイテンシの値はＵＬ１である。ＱＡＳ Ａを受信すると、シェーダパラメータアジャスタＡは、メモリデバイスシステムＡからのマッピング６５０にアクセスし（図５）、画像フレーム１０２Ａの少なくとも一部の解像度がＲ１であり、一部の光線の反復回数がＲＴＣ１であり、品質パラメータがＱＰ１であり、画像フレーム１０２Ａ内でレンダリングされる仮想オブジェクトの数がＶＯＲ１であり、画像フレーム１０２Ａ内の仮想オブジェクトの優先度がＰＲＴＹ１であると決定する。

【0073】

同様に、シェーダパラメータアジャスタＡは、ＱＡＳ ＢなどのＱＡＳを処理ユニットＡから受信する。ＱＡＳ Ｂは、ＧＰＵ Ａによって消費される電力の値がＰＷＲ２であり、ネットワークレイテンシの値がＮＬ２であり、ＧＰＵ Ａの温度値はｔｅｍｐ２であり、ユーザ入力レイテンシの値がＵＬ２であり、またはその２つ以上の組み合わせであるときに生成される。一例として、画像フレーム１０２Ａ～１０２Ｃ（図５）の１つまたは複数がレンダリングされ、レンダリングが終了する前にユーザ入力Ａ２（図５）が受信されるとき、ユーザ入力レイテンシの値はＵＬ２である。ＱＡＳ Ｂを受信すると、シェーダパラメータアジャスタＡは、メモリデバイスシステムＡ（図５）からのマッピング６５０にアクセスし、画像フレーム１０２Ａの少なくとも一部の解像度がＲ２であり、一部の光線の反復回数がＲＴＣ２であり、品質パラメータがＱＰ２であり、画像フレーム１０２Ａ内でレンダリングされる仮想オブジェクトの数がＶＯＲ２であり、画像フレーム１０２Ａ内の仮想オブジェクトの優先度がＰＲＴＹ２であると決定する。

【0074】

図６Ｃは、ＧＰＵ Ａ（図５）によるレンダリング動作の実行中に画像フレーム１０２Ａ（図５）内の仮想オブジェクトの詳細が修正されることを示すための方法６６０の一実施形態の図である。方法６６０では、ＣＰＵ Ａは、通信媒体Ａ（図５）を介してＧＰＵ Ａに、仮想草の葉を描画し、仮想ブッシュを描画し、画像フレーム１０２Ａ内に仮想雲を描画するように指示する。ＣＰＵ Ａはさらに葉の詳細を値Ｄ１に設定し、葉の描画を値ＰＲＴＹ１に優先順位付けし、詳細及び優先度をＧＰＵ Ａに与える。ＣＰＵ ＡはＧＰＵ ＡにシェーダＡを実行するように指示する（図５）。シェーダＡの実行中に、ＧＰＵ Ａは詳細レベルをＤ１から値Ｄ２に変更する。詳細レベルは、シェーダＡの実行中にＧＰＵ Ａによって修正される品質パラメータの一部である。品質パラメータは、シェーダＡの実行中のＧＰＵ Ａのビジー状態、シェーダＡの実行中のＧＰＵ Ａの温度、シェーダＡの実行中にＧＰＵ Ａによって消費される電力量、及びユーザ入力Ａ２が、画像フレーム１０２Ａ～１０２Ｃ（図５）などの、より複雑でない画像フレームまたはより滑らかな画像フレームの再生を要求するために、クライアントデバイスＡ（図５）から受信されるかどうかに基づいて調整される。

【0075】

一実施形態では、ＣＰＵ Ａは、仮想草の葉を描画し、仮想ブッシュを描画し、仮想雲を描画する命令がＣＰＵ Ａによって生成されている間に、ＧＰＵ Ａが品質パラメータを変更するための命令を生成しないことに留意されたい。例えば、ＣＰＵ Ａは、シェーダＡが仮想草の葉、仮想ブッシュ、及び仮想雲を描画するためにＧＰＵ Ａによって実行される前に、品質パラメータを変更するようにＧＰＵ Ａに命令しない。むしろ、シェーダＡが仮想草の葉、仮想ブッシュ、及び仮想雲を描画するために実行されている期間中に、ネットワークレイテンシ、ＧＰＵ Ａの温度、ＧＰＵ Ａによって消費される電力量、またはユーザ入力レイテンシ、もしくそれらの２つ以上の組み合わせが決定され、その決定に基づいて、品質パラメータがＧＰＵ Ａによって調整されて、画像フレーム１０２Ａ～１０２Ｃの１つまたは複数が生成される。

【0076】

図６Ｄは、パラメータＰ１～Ｐ３のうちの１つまたは複数の値が画像フレームの異なる部分で調整されることを説明するための画像フレーム６９２、６９４、６９６、６９８、及び６９９の実施形態を示す図である。画像フレーム６９２、６９４、６９６、６９８、及び６９９はそれぞれ、画像フレーム１０２Ａ～１２０Ｃ（図５）のいずれかの一例である。

【0077】

画像フレーム６９２～６９８はそれぞれ、部分Ａ及び部分Ｂを有する。部分Ｂは、１つまたは複数のパラメータＰ１～Ｐ３の調整された値を有し、部分Ａは、調整された値を有さない。一例として、部分Ａをレンダリングするためにレイトレーシングが実施される回数は、部分Ｂをレンダリングするためにレイトレーシングが実施される回数よりも多い。一例として、部分Ａは、部分ＢがシェーダＡ（図５）によって生成される前に生成される。別の例として、部分Ａは、部分ＢがシェーダＡによって生成された後に生成される。さらに別の例として、部分Ａは、部分Ｂの生成と同時に生成される。画像フレーム６９２内の部分Ａは、部分Ｂの上にあり、部分Ｂよりサイズが小さい。画像フレーム６９４内の部分Ａは、部分Ｂの上にあり、部分Ｂのサイズとサイズが等しい。画像フレーム６９６内の部分Ａは、部分Ｂの上にあり、部分Ｂよりサイズが大きい。画像フレーム６９８内の部分Ｂは、部分Ａに囲まれており、部分Ａのサイズに比べてサイズが小さい。

【0078】

画像フレーム６９９は、複数の部分Ａ１、Ａ２、及びＢを有する。一例として、画像フレーム６９９の部分Ａ１及びＡ２は、画像フレーム６９９の部分ＢがシェーダＡによって生成される前に、シェーダＡによって生成される。一例として、画像フレーム６９９の部分Ａ１及びＡ２は、画像フレーム６９９の部分ＢがシェーダＡによって生成された後、シェーダＡによって生成される。さらに別の例として、画像フレーム６９９の部分Ａ１及びＡ２は、シェーダＡによる画像フレーム６９９の部分Ｂの生成と同時にシェーダＡによって生成される。部分Ａ１及びＡ２は、パラメータＰ１～Ｐ３の１つまたは複数の調整された値を有し、部分ＢはパラメータＰ１～Ｐ３の１つまたは複数の調整された値を有さない。一例として、部分Ａ１の調整された値は、部分Ａ２の調整された値とは異なる。別の例として、部分Ａ１の調整された値は、部分Ａ２の調整された値と等しいなど、同じである。さらに別の例として、部分Ａ１の調整された値は、部分Ａ２の調整された値から所定の範囲内など、実質的に同じである。

【0079】

一実施形態では、部分Ａは、画像フレーム６９２～６９４の１つまたは複数内の部分Ｂの下にある。

【0080】

一実施形態では、画像フレーム６９２～６９８の部分Ａは、パラメータＰ１、Ｐ２、またはＰ３の１つまたは複数の調整された値を有し、部分Ｂは、調整された値を有さない。

【0081】

一実施形態では、画像フレーム６９９の部分Ｂは、パラメータＰ１～Ｐ３の１つまたは複数の調整された値を有し、画像フレーム６９９の部分Ａ１及びＡ２は、パラメータＰ１～Ｐ３の１つまたは複数の調整された値を有さない。

【0082】

図７は、分散型ゲームのためのノードＡ及びＢの使用を説明するためのシステム７００の一実施形態の図である。システム１００は、ユーザアカウントサーバ７０２、ノードアセンブリサーバ７０４、スイッチシステム７０６、ノードＡ及びＢ、コンピュータネットワーク２０２、ならびにクライアントデバイスＡ及びＢを含む。

【0083】

本明細書で使用されるノードは、ゲームエンジンＡを実行するハードウェアサーバまたはゲームコンソールである。一例として、ノードは、別のノードのハウジングとは別のハウジングを有する。別の例として、ノードは、データセンタ内で別のノードが配置されているラックとは異なる、データセンタのラックに配置される。一実施形態では、本明細書で使用されるサーバは、プロセッサ及びメモリデバイスを含む。プロセッサはメモリデバイスに結合されている。

【0084】

本明細書で使用されるスイッチシステムは、ノードアセンブリサーバ７０４とノードＡ及びＢの１つまたは複数との間のデータの転送を容易にする１つまたは複数のスイッチを含む。例えば、スイッチシステムはスイッチファブリックである。スイッチファブリックは、ノード間に大量の帯域幅を提供し、動的に頻繁に再構成され、サービス品質（ＱｏＳ）を可能にする。別の例として、スイッチシステムは、ゲームエンジンＡの実行のためにノードＡとＢとの間で選択するマルチプレクサを含む。別の例として、スイッチシステムは、ノードアセンブリサーバ７０４と一方または両方のノードＡ及びＢとの間のデータの転送を容易にする１つまたは複数のトランジスタを含む。さらに別の例として、スイッチシステムは、１つまたは複数のスイッチを含み、各スイッチは、開位置と閉位置の間で位置を変える。スイッチの開位置は、ノードアセンブリサーバ７０４を、スイッチに結合されているノードから切り離す。スイッチの閉位置は、ノードアセンブリサーバ７０４を、スイッチに結合されたノードに結合する。

【0085】

メモリデバイスシステムＡは、符号化された画像フレーム１０４Ａ及び１０４Ｂを格納するためのフレームバッファと、画像フレーム１０２Ａ～１０２Ｃ（図５）を格納するためのフレームバッファとを含むＧＰＵメモリデバイスＡを含む。ＧＰＵメモリデバイスＡは、通信媒体Ａに結合される。

【0086】

クライアントデバイスＡは、ユーザＡから、クライアントデバイスＡの入力デバイス、例えば、ハンドヘルドコントローラ、カメラなどを介して、ユーザ名及びパスワードなどのログイン情報を受信すると、ゲーム要求７０８Ａを生成し、ログイン情報を有するゲーム要求７０８Ａをコンピュータネットワーク２０２を介してユーザアカウントサーバ７０２に送信する。同様に、クライアントデバイスＢの入力デバイスを介してユーザＢからログイン情報を受信すると、クライアントデバイスＢは、ゲーム要求７０８Ｂを生成し、コンピュータネットワーク２０２を介してログイン情報を有するゲーム要求７０８Ｂをユーザアカウントサーバ７０２に送信する。

【0087】

ユーザアカウントサーバ７０２は、ゲーム要求７０８Ａと共に受信されたログイン情報に基づいて、クライアントデバイスＡがゲームエンジンＡにアクセスすることを許可されているかどうかを判定する。例えば、ゲーム要求７０８Ａと共に受信されたログイン情報を認証すると、ユーザアカウントサーバ７０２は、クライアントデバイスＡがゲームエンジンＡへアクセスすることを承認されていると判定する。また、ユーザアカウントサーバ７０２は、ゲーム要求７０８Ｂと共に受信したログイン情報に基づいて、クライアントデバイスＢがゲームエンジンＡへアクセスすることを承認されているかどうかを判定する。ユーザアカウントＡ及びＢがゲームエンジンＡへのアクセスを承認されていると判定すると、ユーザアカウントサーバ７０２は、ゲームエンジンＡの実行を可能にするための信号をノードアセンブリサーバ７０４に送信する。

【0088】

ノードアセンブリサーバ７０４は、ユーザアカウントサーバ７０２から信号を受信すると、スイッチシステム７０６を介して、ゲームエンジンＡを実行して一方または両方のノードＡ及びＢを初期化する一方または両方のノードＡ及びＢを選択する。例えば、ノードアセンブリサーバ７０４は、スイッチシステム７０６の制御入力に信号を送信して、ノードＡ及びＢの一方に結合する。制御入力で信号を受信すると、スイッチシステム７０６は、ノードアセンブリサーバ７０４をノードＡに接続するためにスイッチのうちの一方の位置を閉じ、及びノードアセンブリサーバ７０４をノードＢから切断するためにそのスイッチのうちの別の一方の位置を開く。

【0089】

ゲームエンジンＡは、符号化されたフレームなどのデータを、コンピュータネットワーク２０２を介して一方または両方のノードＡ及びＢからクライアントデバイスＡ及びＢに転送するように実行される。符号化されたフレームなどのデータは、ノードＡからクライアントデバイスＡ及びＢに転送されるとき、ＧＰＵ Ａは共有されたリソースである。ＧＰＵ Ａは、クライアントデバイスＡとＢとの間で共有される。図５を参照して上に示したユーザ入力Ａ１及びＡ２は、ゲーム要求７０８ＡがクライアントデバイスＡからノードＡに送信された後、クライアントデバイスＡからノードＡに送信される。

【0090】

コンピュータネットワーク２０２（図５）を介して符号化された画像フレーム１０４Ａ～１０４Ｂ（図５）を受信すると、クライアントデバイスＡは、符号化された画像フレーム１０４Ａ及び１０４Ｂを解凍するなど、復号して、画像フレーム１０２Ａ～１０２Ｃを生成するデコーダを含む。クライアントデバイスＡのＧＰＵなどのプロセッサは、ゲームの仮想シーンをレンダリングするために画像フレーム１０２Ａを表示し、さらに、クライアントデバイスＡのディスプレイデバイス上に画像フレーム１０２Ｂ及び１０２Ｃを表示する。

【0091】

一実施形態では、システム７００は、図７に示されているノード以外の複数のノードを含むことに留意されたい。例えば、システム７００は、５０個のノード、２５個のノード、または５個のノードを含む。

【0092】

図８は、クラウドビデオゲームをクライアントデバイスＡまたはＢ（図７）にストリーミングするために実施される様々な動作を概念的に示す流れ図の一実施形態である。ノードＡまたはＢ（図７）の一例であるゲームサーバ８０２は、ビデオゲームを実行し、生の（非圧縮の）ビデオ８０４及びオーディオ８０６を生成する。ビデオ８０４及びオーディオ８０６は、例示される図の参照符号８０８に示されるように、ストリーミング目的のために捕捉され符号化される。符号化により、ビデオ及びオーディオのストリームが圧縮され、帯域幅の使用量は軽減され、ゲーム体験は最適化される。符号化形式の例には、Ｈ．２６５／ＭＰＥＧ－Ｈ、Ｈ．２６４／ＭＰＥＧ－４、Ｈ．２６３／ＭＰＥＧ－４、Ｈ．２６２／ＭＰＥＧ－２、ＷＭＶ、ＶＰ６／７／８／９などが含まれる。

【0093】

符号化されたオーディオ８１０及び符号化されたビデオ８１２はさらに、インターネットなどのコンピュータネットワーク２０２（図７）上での送信のために、参照符号８１４に示されるように、ネットワークパケットにパケット化される。いくつかの実施形態では、ネットワークパケット符号化プロセスは、データ暗号化プロセスも採用することによって、データセキュリティを強化する。図示の実施態様では、オーディオパケット８１６及びビデオパケット８１８は、コンピュータネットワーク２０２の一例であるコンピュータネットワーク８２０上での搬送のために生成される。

【0094】

ゲームサーバ８０２は追加で、触覚フィードバックデータ８２２を生成し、触覚フィードバックデータ８２２はまた、ネットワーク送信のためにネットワークパケットにパケット化される。図示の実施態様では、触覚フィードバックパケット８２４が、コンピュータネットワーク８２０上で搬送のために生成される。

【0095】

生のビデオとオーディオと触覚フィードバックデータとを生成する前述の動作が、データセンタのゲームサーバ８０２で実施され、ビデオ及びオーディオを符号化し、搬送用に符号化されたオーディオ／ビデオ及び触覚フィードバックデータをパケット化する動作は、データセンタのストリーミングエンジンＡなどのストリーミングエンジンによって実施される。示されるように、オーディオ、ビデオ、及び触覚フィードバックのパケットは、コンピュータネットワーク８２０上で搬送される。参照符号８２６に示されるように、オーディオパケット８１６、ビデオパケット８１８、及び触覚フィードバックパケット８２４は、クライアントデバイスＡまたはＢによって、例えば、解析されるなど、分解されて、符号化されたオーディオ８２８、符号化されたビデオ８３０、及び触覚フィードバックデータ８３２をクライアントデバイスでネットワークパケットから抽出する。データが暗号化されている場合、データの解読も行われる。次に、符号化されたオーディオ８２８及び符号化されたビデオ８３０は、参照符号８３４に示されるように、クライアントデバイスＡまたはＢにより復号され、クライアントデバイスのディスプレイデバイス８４０上にレンダリングするためにクライアント側の生のオーディオ及びビデオデータを生成する。触覚フィードバックデータ８３２は、クライアントデバイスＡまたはＢなど、クライアントデバイスのプロセッサによって処理されて、コントローラデバイス８４２または触覚効果をレンダリングすることができる、例えば、ＨＭＤ等の他のインターフェースデバイスで、触覚フィードバック効果を生成する。触覚効果の一例として、コントローラデバイス８４２の振動またはランブルが挙げられる。コントローラデバイス８４２は、複数のボタンを有するハンドヘルドコントローラの一例である。コントローラデバイス８４２はまた、クライアントデバイスＡまたはＢの一部である。例えば、クライアントデバイスＡまたはＢは、コントローラデバイス８４２及びゲームコンソールを含む。別の例として、クライアントデバイスＡまたはＢは、コントローラデバイス８４２及びＨＭＤを含む。コントローラデバイス８４２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）などの無線プロトコルを介してＨＭＤと通信する。さらに別の例として、クライアントデバイスＡまたはＢは、コントローラデバイス８４２、ゲームコンソール、及びＨＭＤを含む。ゲームコンソールは、無線プロトコルを介してまたはケーブルなどの有線媒体を介してＨＭＤと通信し、コントローラデバイス８４２は、無線プロトコルを介してまたは有線媒体を介してゲームコンソールと通信する。

【0096】

ビデオゲームはユーザ入力Ａ１及びＡ２（図５）などのユーザ入力に応答するので、ユーザ入力の送信及び処理に対して本明細書に記載される、前述と同様の手順の流れを、クライアントデバイスＡまたはＢからゲームサーバ８０２に逆方向で実施されることが、理解されよう。示されるように、コントローラデバイス８４２または例えば、ユーザＡの身体部分などの別の入力デバイス、もしくはそれらの組み合わせは、ユーザ入力Ａ１及びＡ２のいずれかの例である入力データ８４４を生成する。この入力データ８４４は、コンピュータネットワーク８２０上でデータセンタへの搬送のためにクライアントデバイスＡまたはＢにおいてパケット化される。入力データパケット８４６は、ゲームサーバ８０２により解凍及び再構築されて、データセンタ側で入力データ８４８を規定する。入力データ８４８がゲームサーバ８０２に供給され、ゲームサーバ８０２は、ビデオゲームのゲーム状態の保管データを更新するよう入力データ８４８を処理する。

【0097】

オーディオパケット１０１６、ビデオパケット８１８、及び触覚フィードバックパケット８２４のコンピュータネットワーク８２０を介した搬送中に、いくつかの実施形態では、コンピュータネットワーク８２０上のデータの送信が監視されて、サービス品質が保証される。例えば、参照符号８５０により示されるように、アップストリーム及びダウンストリームの両方のネットワーク帯域幅を含むコンピュータネットワーク８２０のネットワーク条件が監視され、ゲームストリーミングは、利用可能な帯域幅の変化に応じて調整される。すなわち、参考符号８５２により示されるように、ネットワークパケットの符号化及び復号は、現在のネットワーク条件に基づいて制御される。

【0098】

図９は、クライアントデバイスＡまたはＢのディスプレイデバイスとインターフェース接続するために互換性があり、ゲームサーバ８０２（図８）とコンピュータネットワーク８２０（図８）を介して通信できるゲームコンソール９００の一実施形態のブロック図である。ゲームコンソール９００は、データセンタ内に配置されているか、またはユーザＡが位置する場所に配置されている。いくつかの実施形態では、ゲームコンソール９００を使用して、ＨＭＤ上などのクライアントデバイスＡまたはＢに表示されるゲームを実行する。ゲームコンソール９００は、ゲームコンソール９００に接続可能な様々な周辺機器を備えている。ゲームコンソール９００は、ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット９２６、セルプロセッサ９２８、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット９３２を備えるＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒ グラフィックスプロセッサユニット９３０、及び入力／出力（Ｉ／Ｏ）ブリッジ９３４を有する。ゲームコンソール９００はまた、Ｉ／Ｏブリッジ９３４を通してアクセス可能な、ディスク９４０ａから読み出すためのＢｌｕ Ｒａｙ（登録商標）ディスク読み出し専用メモリ（ＢＤ－ＲＯＭ）光ディスクリーダ９４０と、取り外し可能スロットインハードディスクドライブ（ＨＤＤ）９３６とを有する。オプションで、ゲームコンソール９００はまた、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ９３８を含み、メモリカードリーダ９３８は、Ｉ／Ｏブリッジ９３４を介して同様にアクセス可能である。Ｉ／Ｏブリッジ９３４はまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンクポート９１８と、ＩＥＥＥ８０２．９ｂ／ｇ無線ネットワーク（Ｗｉ－Ｆｉ（登録商標））ポート９２０と、ギガビットイーサネット（登録商標）ポート９２２と、Ｂｌｕｅｔｏｏｔｈ（登録商標）接続を支援することが可能なユニバーサルシリアルバス（ＵＳＢ）２．０ポート９２４とに接続する。

【0099】

動作中、Ｉ／Ｏブリッジ９３４は、ゲームコントローラ８４２及び／または９０３から、並びにＨＭＤ９０５からのデータを含む、すべての無線、ＵＳＢ、及びイーサネット（登録商標）データを扱う。例えば、ユーザＡが、ゲームエンジンＡの一部の実行によって生成されたゲームをプレイしているとき、Ｉ／Ｏブリッジ９３４は、ゲームコントローラ８４２及び／または９０３から、ならびに／あるいは、ＨＭＤ９０５から、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクを介して入力データを受信し、入力データをセルプロセッサ９２８に向け、セルプロセッサ９２８は、それに応じて、変数などのゲームの現在の状態を更新する。一例として、ＨＭＤ９０５内のカメラは、ユーザＡのジェスチャをキャプチャして、ジェスチャを表す画像を生成する。画像は、ユーザ入力Ａ１またはＡ２（図５）の別の一例である。各ゲームコントローラ８４２及び９０３は、ハンドヘルドコントローラの一例である。

【0100】

無線ポート、ＵＳＢポート、及びイーサネット（登録商標）ポートは、例えば、リモートコントロール９０４、キーボード９０６、マウス９０８などのゲームコントローラ８４２及び９０３ならびにＨＭＤ９０５に加えて、例えば、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）エンターテインメントデバイスなどのポータブルエンターテインメントデバイス９１０、例えば、ＥｙｅＴｏｙ（登録商標）ビデオカメラなどのビデオカメラ９１２、マイクロフォンヘッドセット９１４，及びマイクロフォン９１５などの他の周辺デバイスへの接続性も提供する。いくつかの実施形態では、このような周辺デバイスは、ゲームコンソール９００に無線で接続され、例えば、ポータブルエンターテイメントデバイス９１０は、Ｗｉ－Ｆｉ（登録商標）アドホック接続を介して通信し、マイクロフォンヘッドセット９１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクを介して通信する。

【0101】

これらのインターフェースの提供は、ゲームコンソール９００がまた、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレイヤ、ボイスオーバインターネットプロトコル（ＩＰ）電話、携帯電話、プリンタ、及びスキャナなどの他の周辺デバイスに対応する可能性があることを意味する。

【0102】

さらに、レガシーメモリカードリーダ９１６は、ＵＳＢポート９２４を介してゲームコンソール９００に接続され、ゲームコンソール９００によって使用される種類のメモリカード９４８の読み取りを可能にする。ゲームコントローラ８４２及び９０３ならびにＨＭＤ９０５とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク９１８を介してゲームコンソール９００と無線で通信するように、またはＵＳＢポート９２４に接続されるように動作可能であり、それによってゲームコントローラ８４２及び９０３ならびにＨＭＤ９０５のバッテリを充電するための電力も受け取る。いくつかの実施形態では、ゲームコントローラ８４２及び９０３ならびにＨＭＤ９０５はそれぞれ、メモリ、プロセッサ、メモリカードリーダ、例えば、フラッシュメモリなどの永久メモリ、例えば、照明球形部、発光ダイオード（ＬＥＤ）、もしくは赤外線ライトなどの発光体、超音波通信用のマイクロフォン及びスピーカ、音響チャンバ、デジタルカメラ、内部時計、例えば、ゲームコンソール９００に面する球形部などの認識可能な形状、並びに、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）などのプロトコルを使用する無線デバイス等を含む。

【0103】

ゲームコントローラ８４２は、ユーザＡの両手で使用するように設計されたコントローラであり、ゲームコントローラ９０３は、アタッチメントを備えた片手コントローラである。ＨＭＤ９０５は、ユーザＡの頭の上部及び／または目の前に合うように設計されている。１つまたは複数のアナログジョイスティック及び従来型コントロールボタンに加えて、各ゲームコントローラ８４２及び９０３は、三次元位置決定の影響を受ける。同様に、ＨＭＤ９０５は、３次元位置決定の影響を受ける。その結果、いくつかの実施形態では、ゲームコントローラ８４２及び９０３並びにＨＭＤ９０５のユーザＡによるジェスチャ及び運動は、従来のボタンまたはジョイスティックのコマンドに加えて、またはそれらの代わりに、ゲームエンジンＡ（図５）への入力信号Ａ１またはＡ２などの、入力として変換される。オプションで、Ｐｌａｙｓｔａｔｉｏｎ（登録商標）ポータブルデバイスなどの他の無線対応の周辺デバイスがコントローラとして使用される。Ｐｌａｙｓｔａｔｉｏｎ（登録商標）ポータブルデバイスの場合、追加のゲーム情報または制御情報、例えば、制御命令または残機数等がデバイスのディスプレイ画面上に提供される。いくつかの実施形態では、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドル及びペダル（図示せず）、または特注コントローラなど、他の代替的または補助的な制御デバイスが使用される。特注コントローラの例には、即答クイズゲーム用の１つまたはいくつかの大型ボタン（同様に図示せず）が含まれる。

【0104】

リモートコントロール９０４も、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク９１８を介してゲームコンソール９００と無線で通信するように動作可能である。リモートコントロール９０４は、Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ９４０の動作に適した制御、及びディスクコンテンツのナビゲーションに適した制御を含む。

【0105】

Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ９４０は、従来の記録済みのＣＤ及び記録可能なＣＤと、いわゆるスーパーオーディオＣＤとに加えて、ゲームコンソール９００と互換性を有するＣＤ－ＲＯＭを読み出すように動作可能である。Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ９４０はまた、従来の記録済みのＤＶＤ及び記録可能なＤＶＤに加えて、ゲームコンソール９００と互換性を有するデジタルビデオディスクＲＯＭ（ＤＶＤ－ＲＯＭ）を読み出すように動作可能である。Ｂｌｕ Ｒａｙ（登録商標）ディスクＢＤ－ＲＯＭリーダ９４０は、ゲームコンソール９００と互換性を有するＢＤ－ＲＯＭと、従来の記録済みのＢｌｕ－Ｒａｙ（登録商標）ディスク及び記録可能なＢｌｕ－Ｒａｙ（登録商標）ディスクとを読み出すようにさらに動作可能である。

【0106】

ゲームコンソール９００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックスユニット９３０を介して生成または復号されたオーディオ及びビデオを、ディスプレイ画面９４４及び１つまたは複数のラウドスピーカ９４６を有する、例えば、モニタまたはテレビセット等のディスプレイ及び音声出力デバイス９４２にオーディオコネクタ９５０及びビデオコネクタ９５２を通して供給するように、または、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンクポート９１８を介してＨＭＤ９０５のディスプレイデバイスにオーディオ及びビデオを供給するように動作可能である。音声出力デバイス９４２は、クライアントデバイスＡまたはＢのディスプレイデバイスの一例である。オーディオコネクタ９５０は、様々な実施形態において、従来のアナログ及びデジタル出力を含み、他方、ビデオコネクタ９５２は、コンポーネントビデオ、Ｓビデオ、コンポジットビデオ、及び１つまたは複数の高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標））出力を様々に含む。結果として、ビデオ出力は、位相反転線（ＰＡＬ）または全国テレビジョン方式委員会（ＮＴＳＣ）などの形式、または、２２２０ｐ、１０８０ｉ、もしくは１０８０ｐの高解像度であってよい。オーディオ処理、例えば、生成、復号などは、セルプロセッサ９０８によって行われる。ゲームコンソール９００のオペレーティングシステムは、Ｄｏｌｂｙ（登録商標）５．１サラウンドサウンド、Ｄｏｌｂｙ（登録商標）シアターサラウンド（ＤＴＳ）、及びＢｌｕ－Ｒａｙ（登録商標）ディスクの７．１サラウンドサウンドの復号を支援する。

【0107】

いくつかの実施形態では、ビデオカメラ、例えば、ビデオカメラ９１２等は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮及び符号化装置を備え、これにより、圧縮されたビデオデータは、ゲームコンソール９００により復号されるために、画像内ベースのＭＰＥＧ（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔ ｇｒｏｕｐ）規格などの適切な形式で送信される。ビデオカメラ９１２のＬＥＤインジケータは、例えば、不利な照明条件などを示すために、ゲームコンソール９００からの適切な制御データに応答して点灯するように配置される。ビデオカメラ９１２のいくつかの実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ（登録商標）通信ポートを介してゲームコンソール９００に様々に接続する。ビデオカメラの様々な実施形態は、１つまたは複数の関連付けられたマイクロフォンを含み、またオーディオデータを送信できる。ビデオカメラのいくつかの実施形態では、ＣＣＤは、高解像度ビデオキャプチャに適した解像度を有する。使用時、ビデオカメラによってキャプチャされた画像は、ゲーム内に組み込まれる、またはゲーム制御入力として解釈される。別の実施形態では、ビデオカメラは、赤外光を検出するのに適した赤外線カメラである。

【0108】

様々な実施形態では、ゲームコンソール９００の通信ポートのうちの１つを介して、例えば、ビデオカメラまたはリモートコントロールなどの周辺デバイスとのデータ通信が正常に行われるように、デバイスドライバなどの適切なソフトウェアが提供される。

【0109】

いくつかの実施形態では、ゲームコンソール９００、ＨＨＣ、及びＨＭＤ９０５を含む前述のシステムデバイスは、ＨＭＤ９０５がゲームのインタラクティブセッションのビデオを表示及びキャプチャすることを可能にする。システムデバイスは、ゲームのインタラクティブセッションを開始するために、ゲームエンジンＡの実行を容易にし、インタラクティブセッションは、ユーザＡとゲームとの間のインタラクションを規定する。システムデバイスは、さらに、ユーザＡによって操作されるＨＨＣ及び／またはＨＭＤ９０５の初期位置及び向きを決定する。ゲームコンソール９００は、ユーザＡとゲームとの間のインタラクションに基づいて、ゲームの現在の状態を決定する。システムデバイスは、ゲームとのユーザＡのインタラクティブセッション中、ＨＨＣ及び／またはＨＭＤ９０５の位置及び向きを追跡する。システムデバイスは、ゲームの現在の状態と、ＨＨＣ及び／またはＨＭＤ９０５の追跡された位置及び向きとに基づいて、インタラクティブセッションの観客ビデオストリームを生成する。いくつかの実施形態では、ＨＨＣは、ＨＨＣのディスプレイ画面またはクライアントデバイスＡのディスプレイデバイス上に観客ビデオストリームをレンダリングする。様々な実施形態において、ＨＭＤ９０５は、観客ビデオストリームを、ＨＭＤ９０５のディスプレイ画面上にレンダリングする。

【0110】

図１０を参照すると、ＨＭＤ１００２の構成要素を示す図が示されている。ＨＭＤ１００２は、ＨＭＤ９０５（図９）の一例である。ＨＭＤ１００２は、プログラム命令を実行するためのプロセッサ１０００を含む。メモリデバイス１００２は、記憶目的のために備えられる。メモリデバイス１００２の例には、揮発性メモリ、不揮発性メモリ、またはそれらの組み合わせが含まれる。ユーザＡ（図１）が見る視覚的インターフェース、例えば、保管データから生成された画像フレームの表示などを提供するディスプレイデバイス１００４が含まれる。ＨＭＤ１００２の電源として、バッテリ１００６が備えられる。運動検出回路１００８は、磁力計１０１０、加速度計１０１２、及びジャイロスコープ１０１４などの、さまざまな種類の運動感知性ハードウェアのいずれかを含む。

【0111】

加速度計は、加速度及び重力誘起反力を測定するデバイスである。単軸及び多軸モデルは、異なる方向における加速度の大きさ及び方向を検出するために利用可能である。加速度計は、傾き、振動、及び衝撃を感知するために使用される。一実施形態では、３つの加速度計１０１２は、重力の方向を与えるために使用され、重力の方向は、２つの角度、例えば、世界空間ピッチ及び世界空間ロールなどについての絶対基準を与える。

【0112】

磁力計は、ＨＭＤ１００２付近の磁場の強度及び方向を測定する。いくつかの実施形態では、３つの磁力計１０１０は、ＨＭＤ１００２内で使用され、世界空間ヨー角度についての絶対基準を保証する。様々な実施形態では、磁力計は、±８０マイクロテスラの地球の磁場にわたるように設計される。磁力計は金属の影響を受け、実際のヨーに対して単調なヨー測定を提供する。いくつかの実施形態において、磁場は実世界環境内の金属により歪み、これによりヨー測定に歪みが生じる。様々な実施形態において、この歪みは、他のセンサ、例えば、ジャイロスコープ１０１４、カメラ１０１６等からの情報を使用して較正される。一実施形態では、加速度計１０１２は、ＨＭＤ１００２の傾き及び方位を取得するために磁力計１０１０と共に使用される。

【0113】

ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持するデバイスである。一実施形態では、ジャイロスコープ１０１４に代わって、３つのジャイロスコープが、慣性感知に基づいて、それぞれの軸ｘ、ｙ、及びｚにわたる動きに関する情報を提供する。ジャイロスコープは、高速回転の検出を助ける。しかしながら、ジャイロスコープは、いくつかの実施形態では、絶対基準が存在しないと、時間の経過と共にドリフトする。これは、定期的なジャイロスコープのリセットをトリガし、リセットは、物体の視覚追跡、加速度計、磁力計などに基づく位置／向きの決定など、他の入手可能な情報を使用して行うことができる。

【0114】

カメラ１０１６は、ユーザＡを取り巻く実世界環境、例えば、部屋、キャビン、自然環境などの画像及び画像ストリームをキャプチャするために提供される。様々な実施形態では、例えば、ユーザＡがＨＭＤ１００２などのディスプレイを見ているとき、ユーザＡから離れる方に向いた、背面を向いているカメラ、及び、例えば、ユーザＡがＨＭＤ１００２などのディスプレイを見ているとき、ユーザＡの方を向いた、前面を向いているカメラを含む、複数のカメラが、ＨＭＤ１００２に含まれる。追加で、いくつかの実施形態では、実世界環境内のオブジェクトの深度情報を感知するために、深度カメラ１０１８がＨＭＤ１００２に含まれる。

【0115】

ＨＭＤ１００２は、オーディオ出力を提供するためのスピーカ１０２０を含む。また、いくつかの実施形態では、周囲環境からの音声、ユーザＡが行った発話などを含む、実世界環境からのオーディオをキャプチャするために、マイクロフォン１０２２が含まれる。ＨＭＤ１００２は、ユーザＡに触覚フィードバックを提供するために触覚フィードバック回路１０２４、例えば、振動デバイスなどを含む。一実施形態では、触覚フィードバック回路１０２４は、ユーザＡに触覚フィードバックを提供するためにＨＭＤ１００２の運動及び／または振動を発生させ得る。

【0116】

ＬＥＤ１０２６は、ＨＭＤ１００２の状態の視覚インジケータとして備えられる。例えば、ＬＥＤは、バッテリレベル、電源オンなどを示してよい。ＨＭＤ１００２がメモリカードからの情報を読み出し、メモリカードに情報を書き込むことを可能にするために、カードリーダ１０２８が備えられる。周辺デバイスの接続、または他のデバイス、例えば、他のポータブルデバイス、コンピュータなどへの接続を可能にするためのインターフェースの一例としてＵＳＢインターフェース１０３０が備えられる。ＨＭＤ１００２の様々な実施形態では、様々な種類のインターフェースのいずれかが、ＨＭＤ１００２のより広範な接続性を可能にするために含まれてよい。

【0117】

Ｗｉ－Ｆｉ（商標）回路１０３２は、無線ネットワーク技術を介してインターネットへの接続を可能にするために含まれる。また、ＨＭＤ１００２は、他のデバイスへの無線接続を可能にするために、Ｂｌｕｅｔｏｏｔｈ（商標）回路１０３４を含む。いくつかの実施形態では、他のデバイスへの接続のために通信リンク１０３６も含まれる。１つの実施形態において、通信リンク１０３６は、無線通信用の赤外線伝送を利用する。他の実施形態では、通信リンク１０３６は、他のデバイスとの通信のために、様々な無線または有線の伝送プロトコルのいずれかを利用する。

【0118】

入力ボタン／センサ１０３８は、ユーザＡ（図１）に入力インターフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなど、様々な種類の入力インターフェースのいずれかが含まれる。様々な実施形態では、超音波技術を介して他のデバイスとの通信を容易にするために、超音波通信回路１０４０がＨＭＤ１００２に含まれる。

【0119】

バイオセンサ１０４２は、ユーザＡまたはＢからの生体情報の検出を可能にするために含まれる。一実施形態では、バイオセンサ１０４２は、ユーザの皮膚を通してユーザＡまたはＢの生体電気信号を検出するために、１つまたは複数の乾電極を含む。

【0120】

ＨＭＤ１００２の前述の構成要素は、ＨＭＤ１００２内に含まれ得る単なる例示的な構成要素として記載された。様々な実施形態では、ＨＭＤ１００２は、上記の様々な構成要素の一部を含むか、または含まない。

【0121】

図１１は、情報サービスプロバイダ（ＩＮＳＰ）アーキテクチャの実施形態を示す。ＩＮＳＰ１１０２は、地理的に分散し、コンピュータネットワーク１１０６、例えば、ＬＡＮ、ＷＡＮ、またはそれらの組み合わせ等を介して接続されたユーザＡ、Ｂ、Ｃ及びＤに多くの情報サービスを提供する。コンピュータネットワーク１１０６は、コンピュータネットワーク８２０（図８）の一例である。ＷＡＮの一例にはインターネットが含まれ、ＬＡＮの一例にはイントラネットが含まれる。ユーザＡは、クライアントデバイス１１２０～１を操作し、ユーザＢは、別のクライアントデバイス１１２０～２を操作し、ユーザＣは、さらに別のクライアントデバイス１１２０～３を操作し、ユーザＤは、別のクライアントデバイス１１２０～４を操作する。

【0122】

いくつかの実施形態では、各クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４は、中央処理装置（ＣＰＵ）、ディスプレイ、及び入力／出力（Ｉ／Ｏ）インターフェースを含む。各クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４の例には、パーソナルコンピュータ（ＰＣ）、携帯電話、ネットブック、タブレット、ゲームシステム、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソール９００（図９）及びディスプレイデバイス、ＨＭＤ１２０２（図１１）、ゲームコンソール９００及びＨＭＤ１００２（図１０）、デスクトップコンピュータ、ラップトップコンピュータ、スマートテレビなどが含まれる。各クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４は、クライアントデバイスＡ（図７）またはクライアントデバイスＢ（図７）の一例である。いくつかの実施形態では、ＩＮＳＰ１１０２は、クライアントデバイスのタイプを認識し、使用される通信方法を調整する。

【0123】

いくつかの実施形態では、ＩＮＳＰは、株価更新などの一種類のサービス、またはブロードキャスト媒体、ニュース、スポーツ、ゲームなどの様々なサービスを提供する。さらに、各ＩＮＳＰによって提供されるサービスは動的である、すなわち、任意の時点でサービスを追加することができる、または取り除くことができる。従って、特定の個人に特定の種類のサービスを提供するＩＮＳＰは、時間の経過と共に変わり得る。例えば、クライアントデバイス１１２０～１がユーザＡの居住地にある間は、クライアントデバイス１１２０～１は、クライアントデバイス１１２０～１の近くのＩＮＳＰによってサービスを提供され、ユーザＡが異なる都市に移動すると、クライアントデバイス１１２０～１は、異なるＩＮＳＰによってサービスを提供される。居住地のＩＮＳＰは、要求された情報及びデータを新しいＩＮＳＰに転送し、その結果、情報は、新しい都市までクライアントデバイス１１２０～１「を追いかけて」、データをよりクライアントデバイス１１２０～１に近くし、アクセスを容易にする。様々な実施形態では、クライアントデバイス１１２０～１の情報を管理するマスタＩＮＳＰと、マスタＩＮＳＰからの制御下でクライアントデバイス１１２０～１と直接的にインターフェース接続するサーバＩＮＳＰとの間に、マスタサーバ関係が確立される。いくつかの実施形態では、クライアントデバイス１１２０～１が世界中を移動すると、あるＩＳＰから別のＩＳＰにデータが転送され、これにより、クライアントデバイス１１２０～１にサービスを提供するのにより良い位置に存在するＩＮＳＰが、これらのサービスを届けるＩＮＳＰとなる。

【0124】

ＩＮＳＰ１１０２は、コンピュータネットワーク１１０６上で顧客にコンピュータベースのサービスを提供するアプリケーションサービスプロバイダ（ＡＳＰ）１１０８を含む。ＡＳＰモデルを使用して提供されるソフトウェアは、オンデマンドソフトウェアまたはソフトウェアアズアサービス（ＳａａＳ）と呼ばれることもある。顧客関係管理などのコンピュータベースのサービスへのアクセスを提供する簡単な形式は、ハイパーテキスト転送プロトコル（ＨＴＴＰ）などの標準プロトコルを使用することによる。アプリケーションソフトウェアは、ベンダのサーバに常駐し、ベンダによって提供される特殊用途クライアントソフトウェア、及び／または他のリモートインターフェース、例えば、シンクライアント等によって、ハイパーテキストマークアップ言語（ＨＴＭＬ）等を使用して、ウェブブラウザを通して各クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４によってアクセスされる。

【0125】

広い地理的地域にわたって供給されるサービスは、多くの場合、クラウドコンピューティングを使用する。クラウドコンピューティングとは、動的に拡張縮小可能で多くの場合、仮想化されたリソースがコンピュータネットワーク１１０６を介したサービスとして提供されるコンピューティング様式である。ユーザＡ、Ｂ、Ｃ、及びＤは、ユーザをサポートする「クラウド」の技術インフラストラクチャのエキスパートである必要はない。いくつかの実施形態では、クラウドコンピューティングは、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、及びサービスとしてのソフトウエア（ＳａａＳ）などの異なるサービスに分けられる。クラウドコンピューティングサービスは、多くの場合、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供するが、ソフトウェア及びデータはサーバ上に記憶される。クラウドという用語は、コンピュータネットワーク図におけるコンピュータネットワーク１１０６の描かれ方に基づいて、例えば、サーバ、ストレージ、及びロジックを使用する、コンピュータネットワーク１１０６のメタファーとして使用され、コンピュータネットワーク１１０６が隠し持つ複雑なインフラストラクチャの抽象的概念である。

【0126】

さらに、ＩＮＳＰ１１０２は、本明細書ではゲーム処理サーバとも呼ばれるゲーム処理プロバイダ（ＧＰＰ）１１１０を含み、ゲーム処理プロバイダ（ＧＰＰ）１１１０は、シングル及びマルチプレーヤのビデオゲームをプレイするためにクライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４によって使用される。コンピュータネットワーク１１０６上でプレイされるほとんどのビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４からデータを収集し、他のユーザが操作する他のクライアントにデータを配信する専用サーバアプリケーションを使用する。これは、ピアツーピア構成よりも効率的かつ効果的であるが、サーバアプリケーションをホストする別個のサーバを使用する。いくつかの実施形態では、ＧＰＰ１１１０は、集中型ＧＰＰ１１１０にさらに依存することなく情報を交換するクライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４の間の通信を確立する。

【0127】

専用ＧＰＰは、クライアントとは独立して実行するサーバである。このようなサーバは、通常、データセンタに配置された専用ハードウェア上で実行し、より多くの帯域幅及び専用処理能力を提供する。専用サーバは、大部分のＰＣベースのマルチプレーヤゲームのためのゲームサーバをホストする方法である。大規模なマルチプレーヤオンラインゲームは、ゲームタイトルを所有するソフトウェア会社が通常ホストする専用サーバ上で実行され、専用サーバがコンテンツを制御及び更新することを可能にする。

【0128】

ブロードキャスト処理サーバ（ＢＰＳ）１１１２は、本明細書ではブロードキャスト処理プロバイダとも呼ばれ、オーディオまたはビデオ信号を視聴者に配信する。非常に狭い範囲の視聴者へのブロードキャスティングは、ナローキャスティングと呼ばれることもある。ブロードキャスト配信の最後の区間は、信号がクライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４にどのように到達するかであり、いくつかの実施形態では、信号は、ラジオ局もしくはテレビ局と同様に無線でアンテナ及び受信機に、またはケーブルテレビもしくはケーブルラジオもしくは局を介した「ワイヤレスケーブル」を通して配信される。コンピュータネットワーク１１０６はまた、様々な実施形態において、特に信号及び帯域幅を共有するのを可能にするマルチキャスティングを用いて、無線信号またはテレビ信号のいずれかをクライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４にもたらす。歴史的に、ブロードキャストは、いくつかの実施形態では、地理的領域、例えば、全国放送、地域放送などによって区切られている。しかし、高速インターネットの普及により、コンテンツは世界のほぼ全ての国に到達できるので、ブロードキャストは地理によって規定されない。

【0129】

ストレージサービスプロバイダ（ＳＳＰ）１１１４は、コンピュータストレージ空間及び関連する管理サービスを提供する。ＳＳＰ１１１４は、定期的なバックアップ及びアーカイブも提供する。ストレージをサービスとして提供することにより、クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４は、サービスとしてストレージが使用されない場合と比較して、より多くのストレージを使用する。別の大きな利点は、ＳＳＰ１１１４がバックアップサービスを含み、クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４は、ハードドライブに障害が発生してもデータが失われないことである。さらに、いくつかの実施形態では、複数のＳＳＰは、クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４から受信したデータの全体的または部分的なコピーを有し、クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４は、クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４が配置されている場所またはクライアントのタイプに関係なく、効率的な方法でデータにアクセスするのを可能にする。例えば、ユーザＡは、家のコンピュータによって個人ファイルにアクセスし、ユーザＡが移動している間は携帯電話によって個人ファイルにアクセスする。

【0130】

通信プロバイダ１１１６は、クライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４への接続性を提供する。通信プロバイダ１１１６の一種は、コンピュータネットワーク１１０６へのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイヤルアップ、デジタル加入者線（ＤＳＬ）、ケーブルモデム、ファイバ、無線、または専用の高速インターコネクトなどのインターネットプロトコルデータグラムの供給に適したデータ伝送技術を使用してクライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４を接続する。通信プロバイダ１１１６は、いくつかの実施形態では、電子メール、インスタントメッセージング、及びショートメッセージサービス（ＳＭＳ）テキストなどのメッセージングサービスも提供する。通信プロバイダの別の種類は、コンピュータネットワーク１１０６への直接のバックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）である。ネットワークサービスプロバイダの例には、電気通信事業者、データ通信事業者、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者などが含まれる。

【0131】

データ交換１１１８は、ＩＮＳＰ１１０２内のいくつかの回路を相互接続し、コンピュータネットワーク１１０６を介してこれらの回路をクライアントデバイス１１２０～１、１１２０～２、１１２０～３、及び１１２０～４に接続する。データ交換１１１８は、様々な実施形態において、ＩＮＳＰ１１０２の全ての回路が近接している小さい領域をカバーする、または様々な回路が地理的に分散しているときには大きな地理的領域をカバーする。例えば、データ交換１１０２は、データセンタのキャビネット内の高速のギガビットイーサネット（登録商標）、または大陸間仮想ＬＡＮを含む。

【0132】

いくつかの実施形態では、ノードＡ及びＢとクライアントデバイスＡ及びＢとの間の通信は、無線技術を使用して促進され得る。そのような技術には、例えば、５Ｇ無線通信技術が含まれ得る。５Ｇは、セルラーネットワーク技術の第５世代である。５Ｇネットワークはデジタルセルラーネットワークであり、プロバイダがカバーするサービスエリアはセルと呼ばれる小さな地理的エリアに分割されている。音と画像を表すアナログ信号は、電話でデジタル化され、アナログ－デジタル変換器によって変換され、ビットのストリームとして送信される。セル内のすべての５Ｇ無線デバイスは、他のセルで再利用される周波数のプールからトランシーバによって割り当てられた周波数チャネルにわたって、セル内のローカルアンテナアレイ及び低電力自動トランシーバ（送信機及び受信機）と電波で通信する。ローカルアンテナは、高帯域幅光ファイバまたは無線バックホール接続によって、電話網及びインターネットに接続される。他のセルネットワークと同様に、あるセルから別のセルに移動するモバイルデバイスは、新しいセルに自動的に転送される。５Ｇネットワークは通信ネットワークの単なる一例のタイプであり、本開示の実施形態は、５Ｇに続く後の世代の有線または無線技術と同様に、前世代の無線または有線通信を利用することができることを理解されたい。

【0133】

様々な実施形態において、本明細書に記載されるいくつかの実施形態の１つまたは複数の特徴は、本明細書に記載される残りの実施形態の１つまたは複数の１つまたは複数の特徴と組み合わされることに留意されたい。

【0134】

本開示に記載の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能な消費者向け電気製品、小型コンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施されてよい。一実施態様では、本開示に記載の実施形態は、有線または無線ネットワークを通してリンクされたリモート処理デバイスによってタスクが行われる分散コンピューティング環境で実践される。

【0135】

前述の実施形態を念頭に置いて、一実施態様では、本開示に記載の実施形態は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施動作を採用することを理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本開示に記載の実施形態の一部を形成する本明細書で説明される動作のうちのいずれも、有用な機械動作である。本開示に記載のいくつかの実施形態はまた、これらの動作を行うためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築される、または装置は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータである。具体的には、一実施形態において、様々な汎用マシンは、本明細書の教示に従って書かれたコンピュータプログラムと共に使用される、または、必要な動作を行うためにさらに特化した装置を構築するほうがより好都合な場合がある。

【0136】

ある実施態様では、本開示に記載のいくつかの実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして具体化される。コンピュータ可読媒体は、後にコンピュータシステムにより読み出されるデータを記憶する任意のデータストレージデバイスである。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続型ストレージ（ＮＡＳ）、ＲＯＭ、ＲＡＭ、コンパクトディスクＲＯＭ（ＣＤ－ＲＯＭ）、記録可能ＣＤ（ＣＤ－Ｒ）、書き換え可能ＣＤ（ＣＤ－ＲＷ）、磁気テープ、光学データストレージデバイス、非光学データストレージデバイスなどが含まれる。例として、コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶及び実行されるように、ネットワークで結合されたコンピュータシステム上に分散されたコンピュータ可読有形媒体を含む。

【0137】

さらに、上記の実施形態のいくつかは、ゲーム環境に関して記載されているが、いくつかの実施形態では、ゲームの代わりに、他の環境、例えば、ビデオ会議環境などが使用される。

【0138】

方法の動作を特定の順序で記載したが、オーバーレイ動作の処理が所望の方法で実行される限り、動作間に他のハウスキーピング動作が実行されてよく、または動作がわずかに異なる時間に起こるように調整されてよく、またはシステム内に動作を分散することで、処理に関連する様々な間隔で処理動作が起こることを可能にしてよいことを、理解すべきである。

【0139】

本開示に記載の前述の実施形態は、理解を明確にするためにある程度詳細に説明したが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。従って、本実施形態は、限定ではなく例示としてみなされるべきであり、本実施形態は、本明細書に記載される詳細に限定されるべきではなく、添付の請求項の範囲及び均等物の中で変更されてよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7】

【図8】

【図9】

【図10】

【図11】