特許 7550306 視線追跡に基づくヘッドアップディスプレイの自動位置決め

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-04

(45)【発行日】2024-09-12

(54)【発明の名称】視線追跡に基づくヘッドアップディスプレイの自動位置決め

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240905BHJP

   A63F 13/25 20140101ALI20240905BHJP

   A63F 13/30 20140101ALI20240905BHJP

   A63F 13/212 20140101ALI20240905BHJP

   A63F 13/213 20140101ALI20240905BHJP

   A63F 13/24 20140101ALI20240905BHJP

   A63F 13/426 20140101ALI20240905BHJP

   G06F 3/0346 20130101ALI20240905BHJP

   G06T 19/00 20110101ALI20240905BHJP

【ＦＩ】

G06F3/01 510

A63F13/25

A63F13/30

A63F13/212

A63F13/213

A63F13/24

A63F13/426

G06F3/0346 423

G06T19/00 300B

【請求項の数】 20

(21)【出願番号】P 2023514030

(86)(22)【出願日】2021-08-17

(65)【公表番号】

(43)【公表日】2023-09-27

(86)【国際出願番号】 US2021046384

(87)【国際公開番号】W WO2022046476

(87)【国際公開日】2022-03-03

【審査請求日】2023-04-21

(31)【優先権主張番号】17/008,486

(32)【優先日】2020-08-31

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ヴィヒゲスホフ、エルク

【審査官】塩屋 雅弘

(56)【参考文献】

【文献】特表２０１９－５１５３６１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０１３４８６７（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０２６４２９９（ＵＳ，Ａ１）

【文献】欧州特許出願公開第０３４５７２５１（ＥＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ａ６３Ｆ １３／２５

Ａ６３Ｆ １３／３０

Ａ６３Ｆ １３／２１２

Ａ６３Ｆ １３／２１３

Ａ６３Ｆ １３／２４

Ａ６３Ｆ １３／４２６

Ｇ０６Ｆ ３／０３４６

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

ヘッドアップディスプレイ（ＨＵＤ）の表示を配置するための方法であって、
ユーザーに表示するために、仮想環境のビューをレンダリングすることと、
前記ユーザーが前記仮想環境の前記ビューとのインタラクティビティに関与するときに前記ユーザーの視線を追跡することであって、前記ユーザーの前記視線を追跡することは視線データを生成し、前記視線データは、前記インタラクティビティ中に前記ユーザーの前記視線が向けられた前記ビュー内の場所を識別する、前記追跡することと、
前記視線データを使用して、前記ビューにＨＵＤを位置決めするために優先場所を決定することと、
前記優先場所において、前記ＨＵＤを前記ビューに位置決めすることと、
を含み、
前記視線データを使用して、前記ビューにＨＵＤを位置決めするために優先場所を決定することは、ゲームプレイセッション中にＨＵＤが配置された様々な場所のうち、最も好ましい場所を最優先場所として決定することを含むことを特徴とする方法。

【請求項2】

前記視線データを使用して前記優先場所を決定することは、前記視線データを分析して前記ユーザーの主要視線領域を識別することを含む、請求項１に記載の方法。

【請求項3】

前記ユーザーの前記主要視線領域を識別することは、前記ユーザーの前記視線の量が既定閾値を超える前記ビューのエリアを識別することを含む、請求項２に記載の方法。

【請求項4】

前記ＨＵＤを位置決めするために前記優先場所を決定することは、前記ユーザーの前記主要視線領域の外側になるように構成される、請求項２に記載の方法。

【請求項5】

前記視線データを使用して前記ＨＵＤを位置決めするために優先場所を決定することは、前記ユーザーの前記追跡された視線のセントロイドを決定することを含む、請求項１に記載の方法。

【請求項6】

前記ＨＵＤを前記位置決めするために前記優先場所を決定することは、前記ＨＵＤを前記位置決めするために複数の既定場所のうちの１つを選択することを含む、請求項１に記載の方法。

【請求項7】

前記ＨＵＤを前記ビューに位置決めすることは、前記ＨＵＤを既存場所から前記優先場所に移動させることを含む、請求項１に記載の方法。

【請求項8】

インタラクティブアプリケーションがビデオゲームであり、前記仮想環境は前記ビデオゲームのインタラクティブゲームプレイ用に定義される、請求項１に記載の方法。

【請求項9】

前記ＨＵＤは、前記ビデオゲームの前記インタラクティブゲームプレイに関連する情報または統計データを表示するように構成される、請求項８に記載の方法。

【請求項10】

ヘッドアップディスプレイ（ＨＵＤ）の表示を配置するための方法であって、
ユーザーに表示するために、仮想環境のビューをレンダリングすることと、
前記仮想環境の前記ビューとの前記ユーザーによるインタラクティビティ中に、前記ユーザーが前記インタラクティビティに関与するときに前記インタラクティビティの１つ以上の特徴を追跡することであって、前記インタラクティビティの前記１つ以上の特徴を追跡することは特徴データを生成する、前記追跡することと、
前記特徴データを使用して、前記ビューにＨＵＤを位置決めするために優先場所を決定することと、
前記優先場所において、前記ＨＵＤを前記ビューに位置決めすることと、
を含み、
前記特徴データを使用して、前記ビューにＨＵＤを位置決めするために優先場所を決定することは、ゲームプレイセッション中にＨＵＤが配置された様々な場所のうち、最も好ましい場所を最優先場所として決定することを含むことを特徴とする方法。

【請求項11】

前記特徴データを使用して前記優先場所を決定することは、前記特徴データを分析して、前記ＨＵＤを位置決めするために前記優先場所を示すパターンを識別することを含む、請求項１０に記載の方法。

【請求項12】

前記特徴データを分析することは、機械学習モデルによって行われる、請求項１１に記載の方法。

【請求項13】

前記ＨＵＤを位置決めするために前記優先場所を決定することは、前記ＨＵＤを位置決めするために複数の既定場所のうちの１つを選択することを含む、請求項１０に記載の方法。

【請求項14】

前記インタラクティビティの前記特徴は、前記ユーザーの視線、前記ユーザーによるジェスチャ、コントローラー入力、バイオメトリック入力のうちの１つ以上を含む、請求項１０に記載の方法。

【請求項15】

インタラクティブアプリケーションがビデオゲームであり、前記仮想環境は前記ビデオゲームのインタラクティブゲームプレイ用に定義される、請求項１０に記載の方法。

【請求項16】

ヘッドアップディスプレイ（ＨＵＤ）の表示要素を配置するための方法であって、
ユーザーに表示するために、仮想環境のビューをレンダリングすることと、
前記ユーザーが前記仮想環境の前記ビューとのインタラクティビティに関与するときに前記ユーザーの視線を追跡することであって、前記ユーザーの前記視線を追跡することは視線データを生成し、前記視線データは、前記インタラクティビティ中に前記ユーザーの前記視線が向けられた前記ビュー内の場所を識別する、前記追跡することと、
前記視線データを使用して、前記ビューにおける既定場所のランク付けされた順序を決定することであって、前記既定場所は、前記ビューにおけるＨＵＤの要素の各々の配置に対して構成される、前記決定することと、
前記ランク付けされた順序に従って、各々、前記既定場所に前記ＨＵＤの前記要素を位置決めすることと、
を含み、
前記視線データを使用して、前記ビューにおける既定場所のランク付けされた順序を決定することは、ゲームプレイセッション中にＨＵＤが配置された様々な場所を、最も好ましい場所から被験者の最も好ましくない場所の順にランク付けすることを特徴とする方法。

【請求項17】

前記ＨＵＤの前記要素を前記位置決めすることは、重要度順に及び前記既定場所の前記ランク付けされた順序に従って、前記ＨＵＤの前記要素を配置するように構成される、請求項１６に記載の方法。

【請求項18】

前記視線データを使用して前記ランク付けされた順序を決定することは、前記視線データを分析して前記ユーザーの主要視線領域を識別することを含む、請求項１６に記載の方法。

【請求項19】

前記視線データを使用して前記ランク付けされた順序を決定することは、前記ユーザーの前記追跡された視線のセントロイドを決定することを含む、請求項１６に記載の方法。

【請求項20】

インタラクティブアプリケーションがビデオゲームであり、前記仮想環境は前記ビデオゲームのインタラクティブゲームプレイ用に定義される、請求項１６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザーの視線追跡に基づくヘッドアップディスプレイを自動位置決めするためのシステム及び方法に関する。

【背景技術】

【0002】

ゲーミング業界で開発が継続されている分野に関して、互いに地理的に離れたプレーヤーに集合的なゲーミング体験を提供することが可能であるマルチプレーヤーゲーミングの分野がある。ゲーミング業界の拡大している分野は、ゲームプレイビデオの共有及びゲームプレイの観戦の分野である。現在、ユーザーは、ウェブサイト、ソーシャルメディア等を経由して、ゲームプレイを記録及び共有することが可能である。さらに、ユーザーは自分のゲームプレイをライブストリーミングし得、他のユーザーは、そのゲームプレイが実質的にリアルタイムで発生しているように、それを視認できる。

【0003】

ゲーミング業界における別の現在の傾向として、クラウドゲーミングへの移行が挙げられる。クラウドゲーミングは、ビデオゲームのリソースを保証できるデータセンターにおいて、ビデオゲームのリモート実行を可能にすることによって、エンドユーザーに利点をもたらす。リモートで実行されるビデオゲームによって生成されたビデオは、ユーザーの機器にストリーミングされ、ユーザーからの入力はデータセンターに返信される。これにより、エンドユーザーは、ゲーム自体を実行するために特定のハードウェアを所有する必要がなくなる。むしろ、エンドユーザーはゲームプレイをストリーミングするのに十分なハードウェアだけを所有する必要があり、さらに、高品質なゲーミング体験を楽しみ得る。さらに、理論的には、クラウドゲーミングは、ネットワーク接続が利用可能な任意の場所からのゲーミングを可能にする。

【0004】

ビデオゲーム業界の継続的な傾向は、最新のゲームエンジンの要求を満たすために、グラフィックスの洗練化の向上と、コンピューティングリソースの可用性とが挙げられる。ビデオゲームが進化するにつれて、その解像度及びフレームレートは増加し続け、非常にリアルで詳細な仮想環境のレンダリングが可能になる。さらに、クラウドゲーミングの人気は高まり続け、クラウドで実行されるビデオゲームへのシフトが、高品質なゲーミング体験へのさらに多くのアクセスを可能にする。

【0005】

この文脈の範囲内で、本開示の実施形態が生じる。

【発明の概要】

【0006】

本開示の実施態様は、視線追跡に基づくヘッドアップディスプレイ（ＨＵＤ）を自動位置決めするためのシステム及び方法を提供する。

【0007】

いくつかの実施態様では、ヘッドアップディスプレイ（ＨＵＤ）を配置するための方法が提供され、本方法は、ユーザーに表示するために、仮想環境のビューをレンダリングすることと、ユーザーが仮想環境のビューとのインタラクティビティに関与するときにユーザーの視線を追跡することであって、ユーザーの視線を追跡することは視線データを生成し、視線データは、インタラクティビティ中にユーザーの視線が向けられたビュー内の場所を識別する、追跡することと、視線データを使用して、ビューにＨＵＤを位置決めするために優先場所を決定することと、優先場所において、ＨＵＤをビューに位置決めすることと、を含む。

【0008】

いくつかの実施態様では、視線データを使用して優先場所を決定することは、視線データを分析してユーザーの主要視線領域を識別することを含む。

【0009】

いくつかの実施態様では、ユーザーの主要注視エリアを識別することは、ユーザーの視線の量が既定閾値を超えるビューのエリアを識別することを含む。

【0010】

いくつかの実施態様では、ＨＵＤを位置決めするために優先場所を決定することは、ユーザーの主要視線領域の外側になるように構成される。

【0011】

いくつかの実施態様では、視線データを使用してＨＵＤを位置決めするために優先場所を決定することは、ユーザーの追跡された視線のセントロイドを決定することを含む。

【0012】

いくつかの実施態様では、ＨＵＤを位置決めするために優先場所を決定することは、ＨＵＤを位置決めするために複数の既定場所のうちの１つを選択することを含む。

【0013】

いくつかの実施態様では、ＨＵＤをビューに位置決めすることは、ＨＵＤを既存場所から優先場所に移動させることを含む。

【0014】

いくつかの実施態様では、インタラクティブアプリケーションはビデオゲームであり、仮想環境はビデオゲームのインタラクティブゲームプレイ用に定義される。

【0015】

いくつかの実施態様では、ＨＵＤは、ビデオゲームのインタラクティブゲームプレイに関連する情報または統計データを表示するように構成される。

【0016】

いくつかの実施態様では、ヘッドアップディスプレイ（ＨＵＤ）を配置するための方法が提供され、本方法は、ユーザーに表示するために、仮想環境のビューをレンダリングすることと、仮想環境のビューとのユーザーによるインタラクティビティ中に、ユーザーがインタラクティビティに関与するときにインタラクティビティの１つ以上の特徴を追跡することであって、インタラクティビティの１つ以上の特徴を追跡することは特徴データを生成する、追跡することと、特徴データを使用して、ビューにＨＵＤを位置決めするために優先場所を決定することと、優先場所において、ＨＵＤをビューに位置決めすることと、を含む。

【0017】

いくつかの実施態様では、特徴データを使用して優先場所を決定することは、特徴データを分析して、ＨＵＤを位置決めするために優先場所を示すパターンを識別することを含む。

【0018】

いくつかの実施態様では、特徴データを分析することは、機械学習モデルによって行われる。

【0019】

いくつかの実施態様では、ＨＵＤを位置決めするために優先場所を決定することは、ＨＵＤを位置決めするために複数の既定場所のうちの１つを選択することを含む。

【0020】

いくつかの実施態様では、インタラクティビティの特徴は、ユーザーの注視、ユーザーによるジェスチャ、コントローラー入力、バイオメトリック入力のうちの１つ以上を含む。

【0021】

いくつかの実施態様では、インタラクティブアプリケーションはビデオゲームであり、仮想環境はビデオゲームのインタラクティブゲームプレイ用に定義される。

【0022】

いくつかの実施態様では、ヘッドアップディスプレイ（ＨＵＤ）の要素を配置するための方法が提供され、本方法は、ユーザーに表示するために、仮想環境のビューをレンダリングすることと、ユーザーが仮想環境のビューとのインタラクティビティに関与するときにユーザーの視線を追跡することであって、ユーザーの視線を追跡することは視線データを生成し、視線データは、インタラクティビティ中にユーザーの視線が向けられたビュー内の場所を識別する、追跡することと、視線データを使用して、ビューにおける既定場所のランク付けされた順序を決定することであって、既定場所は、ビューにおけるＨＵＤの要素の各々の配置に対して構成される、決定することと、ランク付けされた順序に従って、各々、既定場所にＨＵＤの要素を位置決めすることと、を含む。

【0023】

いくつかの実施態様では、ＨＵＤの要素を位置決めすることは、重要度順に及び既定場所のランク付けされた順序に従って、ＨＵＤの要素を配置するように構成される。

【0024】

いくつかの実施態様では、視線データを使用してランク付けされた順序を決定することは、視線データを分析してユーザーの主要視線領域を識別することを含む。

【0025】

いくつかの実施態様では、視線データを使用してランク付けされた順序を決定することは、ユーザーの追跡された視線のセントロイドを決定することを含む。

【0026】

いくつかの実施態様では、インタラクティブアプリケーションはビデオゲームであり、仮想環境はビデオゲームのインタラクティブゲームプレイ用に定義される。

【0027】

本開示の他の態様及び利点は、添付の図面と併せて解釈される、本開示の原理を例として示す以下の詳細な説明から明らかになる。

【図面の簡単な説明】

【0028】

本開示は、そのさらなる利点と一緒に、添付の図面と併せて以下の説明を参照することによって最良に理解され得る。

【0029】

【図1】本開示の実施態様による、追跡されたプレーヤーの視線情報に基づくＨＵＤの最適化された配置を概念的に示す。

【0030】

【図2A】本開示の実施態様による、プレーヤーの視線追跡に基づいてＨＵＤの最適位置を決定することを概念的に示す。

【0031】

【図2B】本開示の実施態様による、ＨＵＤの最適配置を可能にするために、ＨＵＤ付近の注視点の優先順位が下がることを概念的に示す。

【0032】

【図3A】本開示の実施態様による、プレーヤービュー内のＨＵＤの位置決めに依存するＨＵＤ内の場所の優先順位を概念的に示す。

【図3B】本開示の実施態様による、プレーヤービュー内のＨＵＤの位置決めに依存するＨＵＤ内の場所の優先順位を概念的に示す。

【0033】

【図4】本開示の実施態様による、プレーヤーの優先視線領域に基づく異なる場所でのＨＵＤ要素の配置を概念的に示す。

【0034】

【図5】本開示の実施態様による、プレーヤーの好みのＨＵＤ場所を予測するための方法を概念的に示す。

【0035】

【図6A】本開示の実施態様による、プレーヤーの注視アクティビティに応答するＨＵＤの可視性の調整を概念的に示す。

【図6B】本開示の実施態様による、プレーヤーの注視アクティビティに応答するＨＵＤの可視性の調整を概念的に示す。

【0036】

【図7】本開示の実施態様による、追跡されたプレーヤーの視線に応答するＨＵＤの動的な位置決めを概念的に示す。

【0037】

【図8】本開示の実施態様による、追跡されたユーザーの視線情報に基づくＨＵＤを最適に配置するためのシステムを概念的に示す。

【0038】

【図9A】本開示の実施態様による、クラウドゲーミングサイトを経由して利用可能なゲームのゲームファイルをロードするために使用される例示的なシステムを示す。

【0039】

【図9B】本開示の実施態様による、クラウドビデオゲームをクライアントデバイスにストリーミングするために行われる様々な動作を概念的に示すフロー図である。

【0040】

【図10】本開示の実施態様による、情報サービスプロバイダアーキテクチャの実施形態を示す。

【発明を実施するための形態】

【0041】

以下の説明では、本開示の完全な理解をもたらすために、いくつかの具体的な詳細が記載される。しかしながら、本開示は、これらの具体的な詳細の一部または全てがなくても実践され得ることは、当業者には明らかであろう。他の例では、本開示を曖昧にしないために、周知のプロセスステップは詳細に説明されていない。

【0042】

現代のビデオゲームは複雑さが増すにつれて、プレーヤーに提示される情報量が非常に多くなる可能性がある。次に、これにより、プレーヤーのヘッドアップディスプレイ（ＨＵＤ、例えばゲーム関連の情報／統計データを含む）が、プレーヤーの視野の大部分を占めるようになる。したがって、プレーヤーが視認しようとしているゲームプレイの部分を覆い隠すことによって、またはプレーヤーがゲームプレイの特定の部分を視認するのをより困難にすることによって、ＨＵＤがプレーヤーのゲームプレイを妨害し得るという問題が生じる。ＨＵＤのため、プレーヤーは、ゲームプレイの所望の部分をより明確に視認するために、ビュー及び／またはキャラクター／アバターを再配置／リダイレクトする必要があり得る。

【0043】

この問題を考慮して、大まかに言えば、本開示の実施態様では、視線追跡によってビデオゲーム／シミュレーションのプレーヤーの視野を収集し、次に、プレーヤーの目の動きの最適位置にＨＵＤを自動的に位置決めするための方法及びシステムに関心が向けられる。いくつかの実施態様では、ＨＵＤの位置決め及び／またはＨＵＤ内の特定の情報を位置決めすることに関する個人の好みをさらに微調整するためのオプションが提供される。

【0044】

いくつかの実施態様では、個人の好みに応じて視野を増加または減少でき、視点の中心を個人の好みに応じてシフトできる。所与のプレーヤーの個人の好みは、プレーヤーの追跡（例えば、視線追跡、プレーヤー入力追跡等）及び／またはプレーヤーによって明示的にユーザー定義されることから推測できることを認識されたい。いくつかの実施態様では、画面上の特定のゲーム統計データ／情報の場所は、個人的な重要度に基づいて変更できる。例えば、特定の統計データのデフォルトを画面の一方のコーナーから別のコーナー（例えば、右下コーナーから左上コーナー）に移動させることができた。

【0045】

本開示の実施態様は、ビデオゲームのプレーヤーを参照して説明されているが、他の実施態様では、本開示の原理は、ユーザーが仮想環境でインタラクティブに関与する任意の他のタイプのシミュレーションまたはインタラクティブアプリケーションに適用されることを認識されたい。

【0046】

本開示の実施態様では、ビデオゲームもしくは他のシミュレーションまたはインタラクティブアプリケーションにおけるヘッドアップディスプレイ（ＨＵＤ、またはヘッドアップディスプレイ）の配置及び調整に関心が向けられている。当業者によって一般的に理解されるように、ＨＵＤは、ビデオゲームまたはシミュレーションで行われるゲームプレイまたはインタラクティビティに関連する情報の典型的な永続的なディスプレイである。いくつかの実施態様では、複数のＨＵＤが存在し得る。いくつかの実施態様では、ＨＵＤは、複数のディスプレイ、複数のタイプの情報、または複数の要素を有するものとして特徴付けできる。ＨＵＤは、仮想環境のユーザー／プレーヤーのビューに（通常、オーバーレイとして）レンダリングされるが、ＨＵＤは情報の表示であり、一般的に、ゲームプレイのインタラクティブが発生する仮想環境自体の一部ではないと理解される。（これに対する例外は、例えば、ＨＵＤを含み得る飛行機または他の乗り物を操縦する等、ＨＵＤを含む仮想オブジェクト自体とユーザーがインタラクトする場合があるだろう。）ＨＵＤは、ゲームプレイまたはインタラクティビティ中のユーザー／プレーヤーが見ることができるまたは参照できる情報を表示するが、一般的に、ＨＵＤ自体は、そのようなゲームプレイまたはインタラクティビティのオブジェクトではない。

【0047】

ＨＵＤは、非限定的な例として、値、量、数、記述子、グラフィカルインジケータ、または任意の他のインジケータを含む様々な種類の情報を含み得る。他のインジケータとして、スコア、生命、健康、エネルギー、燃料、パワー、弾薬、防具、武器、ツール、オブジェクト、スキル、成果、マップ、シーン、レベル、ランキング、速度、速さ、場所、位置、向き、方向、高度、目的、ターゲット、現在時間、経過時間、残り時間、ステータス等が挙げられる。

【0048】

図１は、本開示の実施態様による、追跡されたプレーヤーの視線情報に基づくＨＵＤの最適化された配置を概念的に示す。図示した実施態様では、プレーヤー１００は、コンピューター１０２によって実行されるビデオゲームのゲームプレイに関与する。コンピューター１０２は、ディスプレイ１０４に提示するために、ビデオゲームのゲームプレイビデオをレンダリングする。レンダリングされたゲームプレイビデオは、ゲームプレイのインタラクティビティが発生するビデオゲームの仮想環境のビューを表す。非限定的な例として、様々な実施態様では、コンピューター１０２は、ゲーム機、パーソナルコンピューター、サーバーコンピューター、ラップトップ、タブレット、スマートフォン、携帯ゲーミングデバイス等であり得る。いくつかの実施態様では、ディスプレイ１０４は、テレビ、モニター、液晶ディスプレイ等、コンピューター１０２とは別個のデバイスである。いくつかの実施態様では、ディスプレイ１０４は、ラップトップ、タブレット、スマートフォン、携帯ゲーミングデバイス等のディスプレイ等、コンピューター１０２と一体化される。いくつかの実施態様では、ディスプレイ１０４は、ビデオゲームの仮想環境の没入型ビューを提供することが可能であるヘッドマウントディスプレイ（ＨＭＤ）である。いくつかの実施態様では、プレーヤー１００はコントローラー１０６を操作して、ビデオゲームの入力を生成する。非限定的な例として、様々な実施態様では、コントローラー１０６は、ゲーム機コントローラー、キーボード、マウス、周辺機器、モーションコントローラー、カメラ、マイクロフォン、タッチスクリーン等であり得る。コントローラー１０６は、コンピューター１０２から分離できる、またはコンピューター１０２及び／もしくはディスプレイ１０４（例えば、タッチスクリーンディスプレイ）と統合できる。

【0049】

いくつかの実施態様では、コンピューター１０２はビデオゲームを実行する。いくつかの実施態様では、ビデオゲームはクラウド実行され、コンピューター１０２はシンクライアントとして機能し、シンクライアントは、ネットワーク（例えば、インターネットを含む）を通じてクラウドゲーミングサービスから、ディスプレイ１０４に提示するためのゲームプレイビデオを受信し、ビデオゲームを実行するクラウドゲームマシンに入力を返送する。

【0050】

プレーヤー１００がビデオゲームのゲームプレイに関与すると、プレーヤーの視線が追跡される。いくつかの実施態様では、プレーヤーの視線追跡は、プレーヤーに対面するカメラ１０８によってキャプチャされた画像を処理することによって行われ、キャプチャされた画像はプレーヤーの目を含む。様々な実施態様では、そのようなプレーヤーに対面するカメラ１０８は、別個のデバイスであり得る、またはコンピューター１０２もしくはディスプレイ１０４と統合できる。例えば、ＨＭＤの場合、カメラ１０８は、ＨＭＤに組み込まれ、プレーヤーの目をキャプチャするようにＨＭＤの内側に位置決めできる。説明を簡単にする目的により、本明細書では単一のカメラを参照しているが、様々な実施態様では、視線追跡のために２つ以上のカメラを利用できることを認識されたい。いくつかの実施態様では、（例えば、ＨＭＤにおける）プレーヤーの左目及び右目を各々追跡する２つのカメラを使用する。いくつかの実施態様では、複数のカメラは、プレーヤーが頭の場所または向きを変えた場合にプレーヤーを異なる角度からキャプチャすることが可能になるように位置決めされている。

【0051】

プレーヤーの視線を追跡して、ビデオゲームの描写されたビュー内でプレーヤーが見ている場所を決定及び追跡することが可能になる。ゲームプレイ中のプレーヤーの視線を経時的に追跡することによって、プレーヤーの優先視線領域を識別することが可能である。非限定的な例として示される図示の実施態様では、参照番号１１０で、ビデオゲームの仮想環境のビュー１１２は、ゲームプレイ中にプレーヤー１００に提示される。プレーヤーの視線は、そのようなゲームプレイ中に追跡され、プレーヤーが見るためのビュー１１２の優先エリア／領域であるビュー１１２の主要視線領域１１４、またはゲームプレイ中にプレーヤーが主に注目するビューのエリアを識別する。

【0052】

ビュー１１２は、プレーヤー１００が見るためにディスプレイ１０４によって提示される仮想環境の描写された部分であるため、ビュー１１２は、プレーヤーがゲームプレイに関与するにつれて変化することを認識されたい。例えば、いくつかの実施態様では、ビュー１１２は、プレーヤー１００によって制御される仮想アバター（例えば、仮想キャラクター、乗り物、または仮想環境内の他の代表的な仮想オブジェクト）の視点からの仮想環境のビューである。いくつかの実施態様では、ビューは、一人称ビュー、三人称ビュー、肩越しビュー、またはプレーヤーの仮想アバターに関連付けられた他のタイプのビュー視点である。ディスプレイ１０４がＨＭＤである場合、通常、一人称ビューが提示される。再び、ビュー１１２は、ＨＭＤによりプレーヤーに提示される仮想環境の一部であり、ＨＭＤの場合、これは、ＨＭＤを装着するプレーヤーの頭の動きによって制御され、それに応じて変化する。

【0053】

プレーヤー１００の目が注目するビュー１１２内の特定の場所を識別し、追跡する視線追跡が行われる。いくつかの実施態様では、プレーヤーの主要視線領域１１４は、プレーヤーがビュー１１２の様々な部分をどれだけ注視しているかを定量化または測定し、プレーヤーが様々な部分のどれを最も多く注視しているかを識別することによって識別される。非限定的な例として、いくつかの実施態様では、プレーヤーの視線追跡は、ゲームプレイ中のビュー１１２内のプレーヤーの視線の場所を識別して記録する。したがって、ゲームプレイの１つ以上の期間にわたって、ゲームプレイ中のプレーヤーの注視場所または注視点が蓄積される。次に、いくつかの実施態様では、プレーヤーの主要視線領域１１４を決定するために閾値が適用される。閾値決定の様々な例は、非限定的な例として提供される。

【0054】

いくつかの実施態様では、プレーヤーの注視点がマッピングされ、主要視線領域１１４は、注視点の密度が既定閾値を超える領域として識別される。すなわち、主要視線領域は、単位面積当たりの注視点の数が閾値を超えるビューのエリアである。

【0055】

いくつかの実施態様では、主要視線領域１１４は、プレーヤーによる視認時間の長さの一部が既定閾値を超える最高密度領域として識別される。例えば、主要視線領域１１４は、ゲームプレイ中の時間のＮ％（例えば、６５％、７０％、７５％、８０％等）だけ、プレーヤーの視線が向けられる注視点の最高密度がある領域として識別され得る。

【0056】

いくつかの実施態様では、主要視線領域１１４は、プレーヤーの視線が領域内に入る確率が既定閾値を超える最高密度領域として識別される。例えば、主要視線領域１１４は、プレーヤーの視線が領域内にある確率が閾値確率よりも大きくなるように、注視点の最高密度がある領域として識別され得る。

【0057】

プレーヤー１００の識別された主要視線領域１１４に基づいて、参照番号１１６で概念的に示されるように、ＨＵＤ１１８は、プレーヤーの主要視線領域１１４の外側になるように、ビュー１１２内に位置決めされている。このように、ＨＵＤ１１８は、プレーヤーがゲームプレイ中に注目することを好むビューの部分に干渉する可能性が低くなる。いくつかの実施態様では、ＨＵＤは、ＨＵＤと主要視線領域１１４との重なりを最小化するように位置決めされている。いくつかの実施態様では、ＨＵＤは、主要視線領域のすぐ隣または周辺に位置決めされている。非限定的な例として、そのような実施態様では、主要視線領域がより小さく、中心に集中している場合、ＨＵＤをビューの中心のより近くに位置決めされ得る。一方、主要視線領域が大きく、中心から離れてより広がっている場合、ＨＵＤはビューの中心から離れて位置決めされている。

【0058】

いくつかの実施態様では、ＨＵＤ１１８は、ＨＵＤの複数の既定場所のうちの１つに位置決めされている。例えば、いくつかの実施態様では、ＨＵＤはビューの左側または右側のいずれかに位置決めされ、特定の側は、プレーヤーの主要視線領域１１４との干渉を最小とするように選択される。いくつかの実施態様では、ＨＵＤはビューの上側または下側のいずれかに位置決めされ、特定の側は、プレーヤーの主要視線領域１１４との干渉を最小とするように選択される。いくつかの実施態様では、ＨＵＤはビューの４つのコーナー（左上、右上、左下、右下）のうちの１つに位置決めされ、特定のコーナーは、プレーヤーの主要視線領域１１４との干渉を最小とするように選択される。

【0059】

いくつかの実施態様では、デフォルトの位置決めによってＨＵＤが主要視線領域１１４と重ならない限り、ＨＵＤはデフォルト場所に位置決めされ、その場合、ＨＵＤは異なる場所、例えば比較的に少ない程度に主要視線領域と重なる別の既定場所に位置決めされている。いくつかの実施態様では、ＨＵＤの既定場所の優先順位があるため、ＨＵＤは、主要視線領域と重ならない、またはそのような重なりを最小化する最優先の既定場所に配置される。

【0060】

いくつかの実施態様では、主要視線領域のサイズを拡大または縮小するオプションをプレーヤーに与えることができる。例えば、プレーヤーは、ＨＵＤがプレーヤーのビューに干渉している、またはそうでければ満足するように配置されていないことに気付き得、ひいては、主要視線領域を増加させることによって、ＨＵＤを中心のビジョンエリアからさらに離れて配置することを望み得る。いくつかの実施態様では、プレーヤーは主要ビジョンエリアの中心を移動させるオプションが与えられることによって、ＨＵＤの配置に影響を与える。

【0061】

いくつかの実施態様では、プレーヤーの主要視線領域１１４を決定し、次にビュー内のＨＵＤ位置を決定する前述のプロセスは、ビデオゲームのキャリブレーションプロセスまたはセットアッププロセスに含まれ得る。いくつかの実施態様では、ビデオゲームは、説明したようにＨＵＤの最適位置決めを可能にするために、プレーヤーがプレイし得るキャリブレーションコンテンツを含み得る。いくつかの実施態様では、最初にビデオゲームをプレイする際に、ビデオゲームは、プレーヤーに最初のチュートリアルまたは学習演習を経験させ、コントロールを教え、ビデオゲームをプレイするためのスキルを開発させ得る。このプロセスの一部として、プレーヤーの視線はスキル演習中またはドリル中に追跡され、実際のゲームキャンペーン中にＨＵＤ配置を決定するために評価できる。いくつかの実施態様では、ビデオゲームの最初のシーンはＨＵＤを含まない。しかしながら、プレーヤーの視線は最初のシーン中に追跡され、次に、ＨＵＤを含む後のシーンでは、説明されているように、ＨＵＤは、ユーザーの視線追跡データに基づいて配置される。

【0062】

いくつかの実施態様では、プレーヤーの注視点のおおよその中心が決定され、これを使用して、ＨＵＤの位置を決定する。いくつかの実施態様では、注視点のセントロイドまたは幾何学的中心を決めることによって、おおよその中心が決定される。いくつかの実施態様では、セントロイドが特定の側またはコーナーに向かってずれる場合、ＨＵＤは、セントロイドがずれる側またはコーナーと実質的に反対側にある側またはコーナーに位置決めされている。例えば、セントロイドが中心の左側にずれている場合、ＨＵＤは右側に向かって位置決めされている。セントロイドが上にずれている場合、ＨＵＤは下に向かって位置決めされている。セントロイドが左下コーナーにずれている場合、ＨＵＤは右上コーナーに向かって位置決めされている等が考えられる。

【0063】

図２Ａは、本開示の実施態様による、プレーヤーの視線追跡に基づいてＨＵＤの最適位置を決定することを概念的に示す。いくつかの実施態様では、ゲームプレイ中のプレーヤーの視線追跡を適用して、説明されているように、プレーヤーの優先視線領域を識別する。しかしながら、また、ＨＵＤがゲームプレイ中に存在する場合、ＨＵＤの領域は、プレーヤーの視線が向く傾向もあるプレーヤーのビューのエリアになる。ＨＵＤの最適配置を可能にするためにプレーヤーの優先視線領域を識別する目的で、プレーヤーが既存場所でＨＵＤを見ていることから生じるプレーヤーの注視点を除外することが望ましい。この理由として、インタラクティブゲームプレイを実行するためにプレーヤーの優先注視場所を示すのではなく、プレーヤーが既存のＨＵＤから情報を取得しようとする結果であるためである。

【0064】

したがって、いくつかの実施態様では、実質的に、または大体、既存のＨＵＤの付近にある領域で発生する注視点は、プレーヤーの優先／主要視線領域の把握に及ぼすその影響に関して、優先順位が下がり、例えば、少なくとも部分的に、重み付けが解除され、または破棄され、またはそうでなければ減る。例えば、図２Ａの図示の実施態様では、参照番号２００で、図示の実施態様ではビュー２０２の下部に位置決めされるＨＵＤ２０４を含む、仮想環境のプレーヤーのビュー２０２が表される。視線追跡データに基づいて、プレーヤーの優先視線領域（例えば、閾値よりも大きい等の高密度の注視点を有する領域）が、領域２０６及び領域２０８を含むと決定される。領域２０６は、ビュー２０２の中心のほぼ近く、または、ほぼ周りにある。しかしながら、領域２０８は、実質的にＨＵＤ２０４の付近に位置する。したがって、いくつかの実施態様では、領域２０８の注視点は、プレーヤーの優先視線領域を決定する際の重要度を下げるように、重み付けが解除される。

【0065】

ＨＵＤ１０４付近の注視点の優先順位が下がる結果は参照番号２１０に概念的に示され、優先注視ゾーン２０６が識別され、既存のＨＵＤ２０４の場所において、任意の追加の優先注視ゾーンがない。図示の実施態様では、ＨＵＤ２０４がプレーヤーの優先視線領域２０６に干渉しないと決定され、ひいては、ＨＵＤ２０４の配置が維持される。

【0066】

図２Ｂは、本開示の実施態様による、ＨＵＤの最適配置を可能にするために、ＨＵＤ付近の注視点の優先順位が下がることを概念的に示す。参照番号２２０に示されるように、プレーヤーの視線は、プレーヤーが仮想環境のビュー２２２を視認するゲームプレイ中に追跡される。ビュー２２２では、ＨＵＤ２２４が存在し、ビュー２２２の下部に沿って（プレーヤーによって見られる画面／ディスプレイの下部に沿って）位置決めされている。ビュー２２２がＨＵＤ２２４を含むため、ＨＵＤ２２４の付近または領域にある注視点を含む注視点を同等に評価する第１の優先視線領域２２６を決定するためのプレーヤーの視線追跡は、プレーヤーがゲームプレイ中にＨＵＤ２２４を見る傾向があるので、ＨＵＤ２２４を含む、またはＨＵＤ２２４と重なる傾向がある。

【0067】

しかしながら、ＨＵＤ２２４の付近にある注視点の優先順位を下げることによって、ＨＵＤがない場合のプレーヤーの優先視線領域のより正確な表現を取得できる。参照番号２３０に示されるように、ＨＵＤ２２４付近の注視点の優先順位が低いとき、第２の優先視線領域２３２を取得する。この場合、第２の優先視線領域２３２は依然としてＨＵＤ２２４とある程度重なっている。したがって、ＨＵＤの付近にある注視点を無視するときでさえも、ＨＵＤは、プレーヤーの優先視線領域２３２に干渉するので、最適に配置されていないと決定される。したがって、ＨＵＤは、新しい場所、例えば優先視線領域２３２と重ならない場所に移動する。

【0068】

いくつかの実施態様では、ＨＵＤの付近にある注視点の優先順位を下げる範囲は、既定の重みまたは係数によって定義できる。いくつかの実施態様では、注視点を分析して、プレーヤーがＨＵＤまたは仮想環境を視認しようとしていたかどうかを決定し、プレーヤーがＨＵＤを視認していたと決定された場合、そのような注視点は破棄される。いくつかの実施態様では、プレーヤーの視線の動きを分析して、プレーヤーがＨＵＤまたは仮想環境を視認していたかどうかを決定する。例えば、プレーヤーの視線がビューの別の領域からＨＵＤの付近にジャンプした場合、プレーヤーがＨＵＤを視認していたと推測され得る。一方、プレーヤーの視線がより継続的にＨＵＤに近づき、ＨＵＤの付近でドリフトしている場合、ユーザーはＨＵＤを視認していたのではなく、仮想環境を視認していたと推測され得る。いくつかの実施態様では、そのような原理は、視線の動きに基づく重み付けに組み込むことができる。例えば、ＨＵＤの付近にある注視点に関して、そのような注視点に先行する視線移動（例えば、視線空間移動、視線移動速度、視線加速／減速）の量が多くなるにつれて、（例えば、適用された重み／係数を減らすことによって）そのような注視点の優先順位が下がるようになる。

【0069】

いくつかの実施態様では、優先順位付けスキームに従って、ＨＵＤの異なる部分を配置できる。例えば、図３Ａ及び図３Ｂは、本開示の実施態様による、プレーヤービュー内のＨＵＤの位置決めに依存するＨＵＤ内の場所の優先順位を概念的に示す。すなわち、ＨＵＤが異なる場所に移動すると、ＨＵＤ内の要素の配置が変更される。図３Ａでは、仮想環境のプレーヤービュー３００の左上コーナーに位置決めされたＨＵＤ３０２が示されている。ＨＵＤ３０２はいくつかの要素を含み、いくつかの実施態様では、いくつかの種類の統計データまたは他のゲーム関連情報であり得る。

【0070】

特定の要素が他の要素よりもプレーヤーにとって重要であり得、したがって、プレーヤーがより重要な要素により簡単に視覚的にアクセスすることが可能であるように、要素を優先順位で位置決めすることが望ましいことを認識されたい。したがって、いくつかの実施態様では、ＨＵＤ３０２が左上コーナーに示されるように位置決めされるとき、様々なＨＵＤ要素３０４、３０６、３０８、及び３１０は、示されるようにＨＵＤ内に位置決めされ、要素３０４はＨＵＤの右下に位置決めされ、要素３０６はＨＵＤの右上に位置決めされ、要素３０８はＨＵＤの左下に位置決めされ、要素３１０はＨＵＤの左上に位置決めされる。このように、優先順位の高い要素３０４及び３０６は、優先順位の低い要素３０８及び３１０よりも横方向で中心に近く（または横方向でより中心に）位置決めされる。最優先要素３０４は、また、要素３０６よりも垂直方向で中心に近くに（または垂直方向でより中心に）位置決めされる。

【0071】

しかしながら、図３Ｂでは、ＨＵＤ３０２は右下コーナーに位置決めされており、その結果、要素３０４、３０６、３０８、及び３１０は異なって位置決めされている。この場合、優先度の高い要素３０４及び３０６は、ＨＵＤの左上及び左下に位置決めされ、それによって、要素３０４及び要素３０６は、優先度の低い要素３０８及び３１０よりも横方向で中心の近くに位置決めされ、要素３０８及び要素３１０は、各々、右上及び右下に位置決めされる。また、最優先要素３０４は、要素３０６よりも垂直方向で中心の近くに位置決めされる。

【0072】

したがって、ＨＵＤ３０２は、ＨＵＤ内に要素を位置決めするために既定場所の優先順位を定義するように構成され、既定場所の特定の配置は、プレーヤービューを伴うＨＵＤの場所全体に応じて変化する。要素は、その優先順位に従って、ＨＵＤ内の様々な既定場所に位置決めされている。このように、ＨＵＤの場所全体に応じて、ＨＵＤの様々な要素を最適に配置できる。ＨＵＤ３０２の特定の例を説明してきたが、他の実施態様では、ＨＵＤの特定の構成、及びＨＵＤ内の既定の要素場所の優先順位の結果として生じる変更が変わる可能性があることを認識されたい。いくつかの実施態様では、ＨＵＤが移動すると、ＨＵＤ内の要素は、優先度の高い要素をより中心に（例えば、横方向で中心の近くに及び／または垂直方向で中心の近くに）、及び／またはプレーヤーの優先／主要視線領域の近くに位置決めするように配置される。

【0073】

図４は、本開示の実施態様による、プレーヤーの優先視線領域に基づく異なる場所でのＨＵＤ要素の配置を概念的に示す。図示の実施態様では、仮想環境のプレーヤービュー４００は概念的に示され、プレーヤーは、ビュー４００内に優先視線領域４０２を有すると決定されている。ＨＵＤ要素／情報を配置するために、様々な既定場所４０４、４０６、４０８、及び４１０が定義される。そのような実施態様では、ＨＵＤは、単一の場所ではなく、複数の場所、この場合、４つのコーナーを有すると説明できる。

【0074】

さらに、プレーヤーの決定された優先視線領域４０２に基づいて、既定場所の優先順位に従って重要度順にＨＵＤ要素を配置することが可能になるように、ＨＵＤ要素の様々な既定場所の優先順位を付けることができる。例えば、図示の実施態様では、プレーヤーの優先視線領域４０２はビューの左下を好む傾向があり、ひいては、左下コーナーに位置する既定場所４０８は、ＨＵＤ要素の配置に関する最優先場所としてランク付けされる。この理由として、これは、プレーヤーの優先視線領域４０２に最も近い場所であるためである。いくつかの実施態様では、既定場所は、プレーヤーの注視点または優先視線領域のセントロイドに近い順に優先順位が付けられる。ひいては、優先視線領域４０２のセントロイドに最も近い既定場所４０８は、最優先場所として最初にランク付けされる。図示の実施態様では、ＨＵＤ要素４２０は、最重要であるとしてランク付けされ、ひいては、図示の実施態様では、既定場所４０８である最優先場所に配置される。

【0075】

ＨＵＤ要素が重要度でランク付けされるので、それは既定場所の優先順位に従って既定場所に配置される。図示の実施態様では、既定場所に優先順位が付けられ、最初に場所４０８が優先され、続いて、場所４０４、４１０、及び４０６の順に優先される。ＨＵＤ要素４２０、４２２、４２４、及び４２６は重要度順にランク付けされ、ＨＵＤ要素４２０が最初にランク付けされ、続いて、ＨＵＤ要素４２２、４２４、及び４２６が順にランク付けされる。したがって、次に、ＨＵＤ要素４２０を場所４０８に配置するとともに、ＨＵＤ要素４２２は場所４０４に配置され、ＨＵＤ要素４２４は場所４１０に配置され、ＨＵＤ要素４２６は場所４０６に配置される。このように、ＨＵＤ要素が既定場所の優先順位に従って重要度順に配置されるため、より重要なＨＵＤ要素は、ゲームプレイ中の任意の瞬間にプレーヤーの視線に近くなる可能性がより高くなる。

【0076】

図５は、本開示の実施態様による、プレーヤーの好みのＨＵＤ場所を予測するための方法を概念的に示す。大まかに言えば、いくつかの実施態様では、最初に多数の被験者またはプレーヤーを事前にテストし、テスト結果を評価して、所与のプレーヤーの好みのＨＵＤ場所を予測する特徴を識別することによって、新しいプレーヤーの好みのＨＵＤ場所を決定する。したがって、図示の実施態様では、操作方法５００において、被験者のグループをビデオゲームのゲームプレイに関与させることによって試験され、ＨＵＤは異なる場所に位置決めされている。例えば、所与の被験者の場合、ＨＵＤは、ゲームプレイ中に被験者のビュー内の異なる場所に定期的に移動し得る（例えば、ＨＵＤは２５％の確率で４つのコーナーのそれぞれに配置される）。または、被験者は、異なるセッションの異なる場所に位置決めされたＨＵＤを用いて、ビデオゲームの複数のセッションをプレイし得る（例えば、プレーヤーは４つのセッションをプレイし、各セッションには、４つのコーナーのうちの異なる１つにＨＵＤがある）。このように、被験者は、そのビュー内の様々な場所に位置決めされたＨＵＤを用いて、ビデオゲームのゲームプレイを体験する。

【0077】

操作方法５０２において、ゲームプレイ中に被験者の視線を追跡する。さらに、被験者のゲームプレイに関連する他のインジケータまたは特徴も追跡する。そのような追加特徴の例は、非限定的な例として、被験者の動き及びジェスチャ、顔の表情、コントローラー入力、コントローラーの動き、マイク入力、ゲームプレイ中の成功レベルもしくは成果、もしくはゲームプレイの結果、ガルバニック皮膚抵抗、心拍数、呼吸数等の生体認証データ、またはユーザーの任意の他のアクティビティ等を含む。操作方法５０４において、被験者によるゲームプレイセッションに続いて、被験者はＨＵＤ場所の好みに関して調査される。例えば、被験者は、ゲームプレイセッション中にＨＵＤが配置された様々な場所を、最も好ましい場所から被験者の最も好ましくない場所の順にランク付けすることによって、調査を通じてＨＵＤの場所の好みを示すように求められ得る。ＨＵＤが４つのコーナーに配置されている例では、所与の被験者に、どのコーナーがＨＵＤ配置の被験者のお気に入りであったかを識別すること、または様々なコーナーを好みの順にランク付けすることを求めることができた。

【0078】

操作方法５０６において、所与のプレーヤーの好みのＨＵＤ場所の予測を可能にする特徴が識別される。いくつかの実施態様では、機械学習または人工知能技術等によって、特徴抽出プロセスを行う。好みのＨＵＤ場所を予測する特徴は、それが被験者のＨＵＤ場所の好みのインジケータに関するので、被験者の視線の分析、及びゲームプレイ中に追跡された他のインジケータまたは特徴から決定されることを認識されたい。例えば、ゲームプレイ中のプレーヤーの視線の動きのパターン、もしくはジェスチャ、コントローラー入力、または任意の他の特徴を単独で、または組み合わせて、プレーヤーの好みのＨＵＤ場所を予測すると決定され得る。ＨＵＤが最適に配置されるときを識別するパターン、及びＨＵＤが最適に配置されていないときを識別するパターンがあり得、これらのパターンを認識できることを認識されたい。次に、操作方法５０８において、機械学習モデルに、上記のように識別または抽出されている所与のプレーヤーの特定の特徴に基づいて、所与のプレーヤーの好みのＨＵＤ場所を予測または決定することをトレーニングさせる。

【0079】

操作方法５１０において、ゲームプレイ中に新しいプレーヤーを追跡する。すなわち、ＨＵＤ場所の好みを予測する識別された特徴は、新しいプレーヤーがビデオゲームのゲームプレイに関与している間に追跡される。次に、操作方法５１２において、トレーニングされた機械学習モデルが追跡された特徴に適用され、新しいプレーヤーの好みのＨＵＤ場所が決定／予測される。例えば、機械学習モデルは、特定の場所にＨＵＤを配置するべきである新しいプレーヤーの視線パターン及び／または他の特徴に基づいて決定され得る。いくつかの実施態様では、ＨＵＤは、新しいプレーヤー用に決定されている優先場所に自動的に配置される、または配置が提案される。

【0080】

いくつかの実施態様では、機械学習モデルは、新しいプレーヤーの追跡された特徴に基づいて、ＨＵＤが最適に配置されていないときを認識することが可能である。いくつかの実施態様では、そのようなことが認識されるとき、システムは、新しいプレーヤーがＨＵＤをその現在の構成とは異なる場所に移動させたいかを提案または質問するように構成される。

【0081】

本開示の様々な実施態様では、ＨＵＤの優先場所が所与のプレーヤーに対して決定または予測されるとき、いくつかの実施態様では、ＨＵＤは決定された場所に自動的に配置される。しかしながら、他の実施態様では、好みのＨＵＤ場所が決定または予測されるとき、画面上にダイアログボックスを表示する等、決定または予測された場所でのＨＵＤの配置をプレーヤーに提案または推奨する提案がプレーヤーに提示される。いくつかの実施態様では、プレーヤーは、（例えば、コントローラーデバイスの指定ボタンを押すことによって）提案されたとおりにＨＵＤの配置または再配置を確認するオプションが与えられる、あるいは提案をキャンセルもしくは拒否し得る、及び／またはＨＵＤを手動で位置決めし得る、もしくはＨＵＤの場所を選択し得る。

【0082】

いくつかの実施態様では、新しいプレーヤーがビデオゲームのプレイを開始するとき、そのプレーヤーがデフォルトのＨＵＤ場所から開始する。しかしながら、そのプレーヤーがゲームをプレイすると、プレーヤーの視線及び他の特徴が追跡され、プレーヤーに関する十分なデータが収集された後、ＨＵＤが最適に位置決めされるどうか及び／またはＨＵＤを特定の場所に移動させるべきかを決定するために、分析が（例えば、機械学習モデルによって）行われる。これは、プレーヤーの検出された視線パターン及び動き、ならびに他の特徴に基づき得る。いくつかの実施態様では、システムは、プレーヤーに、ＨＵＤをおそらく特定の場所に再配置することを提案する。承認された場合、ＨＵＤが再配置され、システムは前述のようにプレーヤーの視線及び他の特徴を監視し続け得る。このように、ＨＵＤ配置が継続的に最適化される。同様の概念及び原理は、特定のＨＵＤ要素の特定の配置及び順序付けに適用できる。

【0083】

いくつかの実施態様では、ビデオゲームのプレーヤーからの視線データの分析に基づいて、ＨＵＤのデフォルトの配置をクラウドソーシングできる。例えば、ビデオゲームの特定のシーン（例えば、時間場所、空間場所、レベル、チャプター、場所、チャレンジ、またはゲーム内の他の識別可能なゲームプレイ場所）について、プレーヤーの視線は、複数のセッション／ゲームプレイ及びビデオゲームの複数のプレーヤーにわたって追跡される。次に、複数のセッションからの結合された視線データを分析して、プレーヤーの視線がシーン中に主に注目する主要な視線領域を決定する等、プレーヤーの視線パターンの全体を決定する。これに基づいて、デフォルトのＨＵＤ場所を決定し、例えば主要視線領域との干渉を回避でき、決定されたデフォルトのＨＵＤ場所は、ビデオゲームの将来のセッションでシーンに使用できる。シーンごとにＨＵＤ場所をクラウドソーシングすることによって、デフォルトのＨＵＤ場所は、ビデオゲームの異なるシーンに特化して最適化できることを認識されたい。

【0084】

図６Ａ及び図６Ｂは、本開示の実施態様による、プレーヤーの注視アクティビティに応答するＨＵＤの可視性の調整を概念的に示す。図示の実施態様では、仮想環境のプレーヤービュー６００は概念的に示されている。プレーヤーの視線は、ゲームプレイ中に追跡され、図示された実施態様では、プレーヤーは、現在、注視アクティビティ領域６０２を有していると決定される。注視アクティビティ領域６０２は、現在、プレーヤーの視線が主に注目または集中化していると決定される大体の領域である。いくつかの実施態様では、注視アクティビティ領域６０２は、プレーヤーの最新の注視点の少なくとも一部が位置するビューの領域を識別することによって決定される。例えば、プレーヤーの注視点は、既定の最新の期間（例えば、最新の０．５、０．８、１、１．５、２、３、４、５秒等）にわたって追跡でき、注視点の密度が高い領域（例えば、既定の値よりも大きい密度）は、注視アクティビティ領域６０２として識別できる。いくつかの実施態様では、注視点のセントロイドを囲む領域は、注視アクティビティ領域６０２として識別される。セントロイドを囲む領域は、いくつかの実施態様では、既定の形状及び／もしくはサイズを有し得る、または、いくつかの実施態様では、既定の半径を有し得る。一方、他の実施態様では、セントロイドを囲む領域の形状及び／またはサイズは、注視点の分布に基づいて決定され得る。例えば、いくつかの実施態様では、領域の形状及び／またはサイズは、最近の注視点の既定の一部を含むように決定される。

【0085】

図示された実施態様を引き続き参照すると、示されるように、現在の注視アクティビティ領域６０２は、ビュー６００のほぼ中心の近くに集中する。いくつかの実施態様では、注視アクティビティ領域６０２がこのように位置付けられ、ＨＵＤ６０４の付近になく、またＨＵＤ６０４に向かって移動していないとき、プレーヤーがＨＵＤ６０４を視認しようとしてないと推測され得る。ひいては、いくつかの実施態様では、ＨＵＤ６０４のサイズが縮小もしくは減少する、またはそうでなければ外観が最小化される。いくつかの実施態様では、ＨＵＤ６０４が消え、ひいては、表示されなくなる。いくつかの実施態様では、ＨＵＤ６０４は、それが消えるまで縮小するように視覚化される。いくつかの実施態様では、ＨＵＤが消えるまで透明度を増加させることによって、ＨＵＤをフェードアウトさせる。

【0086】

図６Ｂを参照すると、ＨＵＤ６０４の場所に向かうプレーヤーの視線の動きが検出され、プレーヤーがＨＵＤを視認しようとしていることを示唆するとき、ＨＵＤ６０４のサイズが拡大され、及び／または再表示／表示される。いくつかの実施態様では、参照番号６０６に示されるように、視線の動きの方向及び速度を示す視線ベクトルが決定される。いくつかの実施態様では、視線ベクトルがＨＵＤ６０４の場所に十分に向いている場合（例えば、方向がＨＵＤに向き、速度が既定量よりも大きい場合）、ＨＵＤ６０４は、非表示の場合に再表示される、及び／または事前に縮小した場合にサイズが拡大される。いくつかの実施態様では、プレーヤーの視線がＨＵＤの場所に最も近い場所（例えば、ＨＵＤから既定の距離内にある場所）に達するとき、ＨＵＤは拡大または表示される。したがって、ユーザーがＨＵＤを見ようとしていることが検出されたとき、ＨＵＤが表示される。それ以外の場合、ユーザーがＨＵＤを見ようとしていないと決定されたとき、仮想環境のプレーヤーのビューに侵入しないように、またはそのビューから気をそらさないように、ＨＵＤを最小化する。

【0087】

いくつかの実施態様では、ＨＵＤの可読性を動的に調整できる。例えば、ゲームプレイの視認中及びＨＵＤの視認中にユーザーの視線が追跡されると、ユーザーがＨＵＤを視認するのに費やした時間の長さ（例えば、ユーザーの注視点がＨＵＤの領域／付近に存在する時間の長さ（または平均時間の長さ））を決定できる。そして、この時間の長さに基づいて、ＨＵＤの可読性を推測できる。すなわち、ユーザーがＨＵＤを視認して理解するのに時間が長くいほど、ＨＵＤはユーザーにとって分かりにくくなる。逆に、ユーザーがＨＵＤを視認して理解するのにかかる時間が短いほど、ＨＵＤはユーザーにとって分かりやすくなる。

【0088】

したがって、ＨＵＤのアスペクトは、ユーザーがＨＵＤを理解するのにかかる時間の長さに基づいて、自動的または動的に調整できる。例えば、いくつかの実施態様では、各々、ＨＵＤを視認するのに費やした時間の長さが増加または減少するにつれて、ＨＵＤのサイズは、（例えば、既定のデフォルトサイズから、既定のサイズの範囲内で）増加または減少する。いくつかの実施態様では、各々、ＨＵＤを視認するのに費やした時間の長さが増加または減少するについて、テキスト情報のフォントサイズまたは特定のグラフィカル要素等（例えば、メートル、グラフ、バー、チャート、マップ等）のＨＵＤの特定の要素のサイズは増加または減少する。

【0089】

さらに、いくつかの実施態様では、ユーザーの視線方向がＨＵＤに向けられていることが検出されるとき、統計データ等のＨＵＤ情報が読み取られる、またはユーザーに発声される。いくつかの実施態様では、ＨＵＤ情報の読み取りを有効または無効にするために、ユーザー定義の設定が提供される。いくつかの実施態様では、ユーザーがＨＵＤを視認する既定の時間の長さを超える時間を費やしたと決定された場合、ＨＵＤ情報の読み取りが自動的に開始される。ＨＵＤを発声する／読むことによって、そのような特徴は、視力の悪いユーザーまたは失読症があるユーザーにうまく適応できることが認識される。

【0090】

図７は、本開示の実施態様による、追跡されたプレーヤーの視線に応答するＨＵＤの動的な位置決めを概念的に示す。図示の実施態様では、仮想環境のプレーヤービュー７００は概念的に示されている。ビュー７００では、ＨＵＤ７０２がレンダリングされる。ＨＵＤ７０２は、既定のＨＵＤ領域７０４内に動的に位置決めされることが可能である。すなわち、ＨＵＤ７０２は、概念的に示されるように、既定のＨＵＤ領域７０４の空間内で移動できる。

【0091】

例えば、いくつかの実施態様では、プレーヤーの視線がＨＵＤに向かって移動またはドリフトするが、プレーヤーがＨＵＤ自体を視認しようとしてないとき、ＨＵＤはプレーヤーの視線から離れて移動し得るが、既定のＨＵＤ領域７０４内にある。例えば、図示の実施態様では、プレーヤーは、最初に、プレーヤーの視線が現在／最近でアクティブであり、主に注目している視線領域７０６を有し得る。後で、プレーヤーの視線は、ＨＵＤ７０２により近い新しい現在の視線領域７０８を定義するために移動し得るが、これは、プレーヤーがＨＵＤ自体を視認しようとしていることを示すものではない。プレーヤーがＨＵＤ自体を視認しようとしているかどうかの決定は、上記のように開示の実施態様に従って決定できることを認識されたい。いくつかの実施態様では、プレーヤーの視線領域がそのように（ＨＵＤ自体を視認する意図を示さないように）でＨＵＤ７０２に近づくことに応答して、ＨＵＤ７０２は、視線領域７０８からさらに離れて移動または配置されるが、既定のＨＵＤ領域７０４の境界内にもあるように構成される。したがって、図示の実施態様では、ＨＵＤ７０２は、プレーヤーの視線領域のそのような動きに応答して、ＨＵＤ領域７０４の右上に向かって移動できる。

【0092】

逆に、視線領域がＨＵＤから離れて移動するとき、ＨＵＤは、プレーヤーの視線の現在場所に近づくように構成されるが、既定のＨＵＤ領域７０４内にとどまる。したがって、引き続き図示の実施態様を参照すると、例えば、プレーヤーの視線領域が領域７０８から領域７０６に移動する場合、ＨＵＤ７０２はＨＵＤ領域７０４の左下に向かって移動できる。このように、ＨＵＤは、プレーヤーの視線が注目する場所に近づくが、既定の領域内にあり、仮想環境のプレーヤーのビューに干渉することはない。

【0093】

したがって、上記に従って、ＨＵＤ７０２は、既定の領域７０４内で動的に移動できる。いくつかの実施態様では、プレーヤーがＨＵＤ自体を視認しようとしていると決定されたとき、ＨＵＤ７０２は移動しないが、その位置に維持されることを認識されたい。他の実施態様では、ＨＵＤ７０２は、ＨＵＤ７０２に注目するために、ユーザーが視線をシフトする必要がある距離を短くするように、ユーザーに向かって移動できる。

【0094】

プレーヤーの視線領域の追跡について説明してきたが、いくつかの実施態様では、ユーザーの視線のセントロイド（例えば、最新の注視点／場所のセントロイド）が追跡され、セントロイドの動きに応答して、ＨＵＤを動的に移動させることができる。

【0095】

図８は、本開示の実施態様による、追跡されたユーザーの視線情報に基づくＨＵＤを最適に配置するためのシステムを概念的に示す。大まかに言えば、図示された実施態様のシステムは、本開示の実施態様に従って上記の方法を行うことが可能である。

【0096】

ユーザー８００は、ディスプレイ８０２によって提示された仮想環境のビューを用いて、ビデオゲームのゲームプレイ等のシミュレーションとのインタラクティビティに関与する。図示の実施態様では、ビデオゲーム８０８はコンピューター８０６によって実行され、ビデオゲームの仮想環境のビューは、ディスプレイ８０２でユーザー８００に提示されるためにレンダリングされる。ユーザー８００がゲームプレイに関与すると、カメラ８０４は、ユーザー８００の視線追跡を可能にするために、ユーザー８００の画像をキャプチャするように構成される。コンピューター８０６は、カメラ８０４からキャプチャされた画像を処理して、経時的にユーザーの視線方向を決定及び追跡し、結果として生じるユーザーの視線情報を視線データストレージ８１２にさらに記憶するように構成された視線追跡ロジック８１０を実行する。

【0097】

視線アナライザ８１４は、ユーザーの視線情報を分析して、ユーザー８００が仮想環境のビューを視認するときに見ることを好む場所を決定する。ユーザーの好みの視認領域／場所に基づいて、ＨＵＤ配置８１６は、ユーザーの好みの視認領域との干渉を最小化する場所に、ビデオゲーム用のＨＵＤを最適に配置するように構成される。いくつかの実施態様では、ＨＵＤは自動的に配置される一方、他の実施態様では、ＨＵＤはユーザー８００からの確認を得た後に配置される。

【0098】

いくつかの実施態様では、コンピューター８０６はユーザー８００に対してローカルである一方、他の実施態様では、コンピューター８０６は、クラウドゲーミングセットアップ等で、ネットワーク８１８を通じてアクセス可能であり、ユーザーに対してローカルにあるシンクライアントは、コンピューター８０６からネットワークを通じてゲームプレイをストリーミングする。

【0099】

図示の実施態様では、シングルユーザー、ディスプレイ、カメラ、及びコンピューターについて説明してきたが、任意の数のユーザー及び対応するディスプレイ、カメラ、ならびにコンピューターが存在し得ることを認識されたい。

【0100】

いくつかの実施態様では、サーバー８２０は、トレーニングデータ８２２を使用してトレーニングされる機械学習モデル８２４を実装する。いくつかの実施態様では、トレーニングデータ８２２は、視線追跡情報及び／またはＨＵＤ配置情報を含む。機械学習モデルに、ユーザーの好みのＨＵＤ配置を決定または予測することをトレーニングできる。

【0101】

本開示の実施態様は、ゲームエンジンの一部として含まれ得る。大まかに言えば、ゲームエンジンは、ビデオゲームの効率的な開発を可能にする特徴を提供するソフトウェア開発フレームワークである。ゲームエンジンは、ゲーム機能の様々な態様を処理するための再利用可能なモジュールを伴うソフトウェアライブラリを含み得、これらは、非限定的な例として、グラフィックレンダリング（例えば、頂点処理、ポリゴン処理、シェーディング、ライティング、テクスチャリング等を含む）、サウンド、物理特性（衝突処理を含む）、アニメーション、スクリプティング、人工知能、ネットワーキング、ストリーミング、メモリ管理、スレッディング、ローカリゼーションサポート、シーングラフ、シネマティクス等を含む。

【0102】

ゲームエンジンは、ゲーム機、モバイルデバイス、パーソナルコンピューター等、異なるハードウェアプラットフォーム用に最適化され得る。非限定的な例として、ゲームエンジンは、プラットフォームに応じてメモリ使用（例えば、グラフィックスパイプライン内の様々なタスクを優先する方法）を最適化し得る。いくつかの実施態様では、ハードウェアは、ゲーム機等の何らかの特定の処理エンティティのブレードバージョンであり得る。したがって、ユーザーには特定のブレードが割り当てられ得、これは、ゲーム機が最適化されたのと同じハードウェアを与える。

【0103】

また、ストリーミング及び／または他のサービス（パケット化、エンコーディング、サービス品質（ＱＯＳ）監視、帯域幅テスト、ソーシャルネットワーク／友人へのアクセス等）を提供するためのゲームサーバーロジックも存在し得ることを認識されたい。

【0104】

いくつかの実施態様では、クラウドインフラストラクチャはハイパーバイザを起動し得、ハイパーバイザは、ハードウェアを抽象化し、オペレーティングシステム（ＯＳ）をロードできる仮想マシンフレームワークを提供する。したがって、スタックは、基盤となるハードウェアにロードされるハイパーバイザによってインスタンス化された仮想マシン（ＶＭ）にロードされる、ＯＳで起動するアプリケーション／ビデオゲームを含み得る。このように、アプリケーションの実行は、必ずしも特定のハードウェアに結合されていない。

【0105】

いくつかの実施態様では、アプリケーション／ビデオゲームはコンテナ上で実行され得、コンテナは、アプリケーション層で抽象化され、コード及び依存関係が一緒にパッケージ化されるため、ＯＳまたはハードウェアプラットフォームに依存しないソフトウェア開発が可能になり、プラットフォーム間でのソフトウェアの移植性を容易にする。

【0106】

いくつかの実施態様では、ゲームエンジンの異なる部分を異なる計算エンティティによって処理できる分散型ゲームエンジンが採用される。例えば、物理エンジン、レンダリングエンジン（２Ｄ／３Ｄグラフィックス）、サウンド、スクリプト、アニメーション、ＡＩ、ネットワーキング、ストリーミング（エンコーディング）、メモリ管理、スレッディング等のゲームエンジンの機能は、多くの異なる計算間で分散されている異なる機能処理ブロック及び／またはサービスに分割できる。分散型ゲームエンジンの場合、レイテンシ問題を回避するために低レイテンシ通信が必要であることを認識されたい。所望のフレームレートを維持するために、計算及び通信の合計時間が一定の制約を満たす必要がある。したがって、プロセスをより短時間で完了することが可能かどうかに応じて、一定のタスクを分割することが効率的であり得る、または効率的ではない場合がある。

【0107】

分散型ゲームエンジンを使用する利点はエラスティックコンピューティングの利用が可能であり、必要に応じて、コンピューティングリソースはスケールアップまたはスケールダウンできることである。例えば、従来、単一のハードウェアサーバーで実行されていた大規模なマルチプレーヤーゲームでは、例えば約１００人のプレーヤーが参加した後、ハードウェアリソースが制限されるため、それ以上のプレーヤーを追加できない。ゲームは追加のプレーヤーをキューに入れ得、プレーヤーはゲームに参加するのを待つ必要があることを意味する。しかしながら、分散型ゲームエンジンでは、エラスティッククラウドコンピューティングリソースを使用することによって、需要を満たすために多くの計算ノードを追加できるため、例えば数千人のプレーヤーが利用できる。ゲームは、特定のハードウェアサーバーの制限によって制約されない。

【0108】

したがって、クラウドゲームエンジンは、異なる処理エンティティに機能を分散できる。異なる機能を異なるフレームワークで実行できることを認識されたい。例えば、いくつかの機能（例えば、ソーシャル）は、コンテナ内で起動することが容易になり得る一方、グラフィックスはＧＰＵに接続されたＶＭを使用して良好に起動し得る。

【0109】

クラウドゲームエンジンの機能の分散を容易にするために、分散／同期層は、例えば、ジョブの送信、データバックの受信、どのタスクがいつ行われるかの識別、例えば、ジョブが必要よりも早く終了した場合のキューイングの処理等、ジョブの分散を管理できる。いくつかの実施態様では、所与のタスクは、必要に応じて、動的に細分化できた。例えば、アニメーションではライティングが行われ得、ライティングが特に複雑である場合、ライティングは、コンピューティングのために送信され、返信されると再構築される３つのライティングジョブに細分化できる。したがって、ゲームエンジン機能は、さらなる作業が必要な場合に細分化できる。

【0110】

クラウドサービスプロバイダは、例えば、１秒あたりの入出力操作（「ＩＯＰＳ」）の特定のパフォーマンスレベルで計算を提供する。したがって、ゲーミングプロバイダは、クラウドサービスプロバイダからＶＭ、専用処理能力、メモリ量等を指定し得、クラウドサービスプロバイダのシステムを使用して、分散型クラウドゲーミングエンジンをインスタンス化し得る。

【0111】

いくつかの実施態様では、ライブラリモジュール及び更新ハンドラは、ゲームエンジンの１つ以上のコンポーネントまたはモジュールであり得る。いくつかの実施態様では、ライブラリモジュール及び更新ハンドラは、別個のコンポーネントであり得る、または統合できる。いくつかの実施態様では、ライブラリモジュール及び更新ハンドラは、ゲームエンジンへの追加として動作し得る。いくつかの実施態様では、ゲームエンジンは、上記のように分散型ゲームエンジンであり得る。

【0112】

前述のように、本開示の実施態様は、クラウドゲーミングシステムに適用できる。クラウドゲーミングシステムの一例は、Ｐｌａｙｓｔａｔｉｏｎ（登録商標）Ｎｏｗクラウドゲーミングシステムである。そのようなシステムでは、クライアントデバイスは、Ｐｌａｙｓｔａｔｉｏｎ（登録商標）４もしくはＰｌａｙｓｔａｔｉｏｎ（登録商標）５ゲーム機等のゲーム機であり得る、またはパーソナルコンピューター、ラップトップ、タブレット、携帯電話、モバイルデバイス等の別のデバイスであり得る。

【0113】

大まかに言えば、クラウドゲーミングを可能にするために、ゲームタイトルに対してユーザー要求を受信するとき、クラウドゲーミングサイトに関連付けられたデータセンター内の１つ以上のサーバーによって、いくつかの操作を行う。クラウドゲーミングサイトがユーザー要求を受信するとき、選択されたゲームタイトルに関連付けられたゲームをホストするデータセンターが識別され、選択されたゲームタイトルのゲームをインスタンス化するために、識別されたデータセンターに要求が送信される。要求に応答して、データセンターにあるサーバーは、ゲームコンテンツをユーザーに提示するための準備では、ゲームコードを識別し、識別したゲームコードをロードし、ゲームコードに関連するファイルを初期化する。ゲームに関連付けられたゲームデータは、一般的なゲームデータと、ユーザー固有のゲームデータとを含み得る。したがって、ファイルを初期化することは、一般的なゲームデータ及びユーザー固有のゲームデータの両方を識別、ロード、及び初期化することを含み得る。一般的なゲームデータを初期化することは、グラフィックスエンジンを初期化すること、グラフィックスデータをインストールすること、サウンドファイルを初期化すること、アートワークをインストールすること等を含み得る。ユーザー固有のデータを初期化することは、ユーザーデータ、ユーザー履歴、ゲーム履歴等を検索、転送、及びインストールすることを含み得る。

【0114】

一般的なゲームデータがロード及び初期化されている間、クライアントデバイスでレンダリングするために「スプラッシュ」画面が提供され得る。スプラッシュ画面は、ロード中のゲームの代表的な画像を提供するように設計され、ロード中のゲームのタイプをユーザーがプレビューするのを可能にし得る。一般的なゲームデータがロードされると、特定の初期コンテンツはレンダリングされ得、ユーザーの選択及びカスタマイズのために選択／ナビゲーション画面が提示され得る。選択／ナビゲーション画面で提供されるユーザー選択入力は、ゲームレベル選択、ゲームアイコン（複数可）選択、ゲームモード選択、ゲーム賞品、及び追加のゲームコンテンツのアップロードを必要とし得る他のユーザー関連データを含み得る。いくつかの実施形態では、ゲームコンテンツは、ビューイング及びインタラクションのためにゲームクラウドシステムからユーザーのコンピューティングデバイスにゲームコンテンツをストリーミングすることによって利用可能になる。いくつかの実施態様では、ユーザー固有のデータをロードした後、ゲームコンテンツはゲームプレイに利用可能になる。

【0115】

図９Ａは、クラウドゲーミングサイトを経由して利用可能なゲームのゲームファイルをロードするために使用される例示的なシステムを示す。システムは、ネットワーク９０２を通じてクラウドゲーミングサイト９０４に通信可能に接続される複数のクライアントデバイス９００を含み、ネットワーク９０２は、ＬＡＮ、有線、無線、セルラー（例えば、４Ｇ、５Ｇ等）、またはインターネットを含む任意の他のタイプのデータネットワークを含み得る。クラウドゲーミングサイト９０４にアクセスする要求がクライアントデバイス９００から受信されるとき、クラウドゲーミングサイト９０４は、ユーザーデータストア９０８に記憶されたユーザーアカウント情報９０６にアクセスして、要求が開始されるクライアントデバイスと関連付けられたユーザーを識別する。いくつかの実施形態では、クラウドゲーミングサイトは、また、ユーザーが視認／プレイすることが許可されている全てのゲームを決定するために、識別されたユーザーを検証し得る。ユーザーアカウントの識別／検証に続いて、クラウドゲーミングサイトは、ゲームタイトルデータストア９１０にアクセスして、ユーザーアカウントが要求を開始するために、ゲームクラウドサイトで利用可能なゲームタイトルを識別する。次に、ゲームタイトルデータストア９１０は、ゲームデータベース９１２とインタラクトして、クラウドゲーミングサイトに利用可能な全てのゲームのゲームタイトルを取得する。新たなゲームが導入されると、ゲームデータベース９１２は、ゲームコードで更新され、新たに導入されたゲームのゲームタイトル情報がゲームタイトルデータストア９１０に提供される。要求が開始されるクライアントデバイスは、要求が開始されたときにクラウドゲーミングサイトに登録され得る、または登録されない場合がある。要求を開始したクライアントデバイスのユーザーが登録ユーザーでない場合、クラウドゲーミングサイトは、そのユーザーを新規ユーザーとして識別し、新規ユーザーに適切なゲームタイトル（例えば、ゲームタイトルのデフォルトセット）を選択し得る。図９Ａに示されるように、識別されたゲームタイトルは、ディスプレイ画面９００－ａに提示するためにクライアントデバイスに返信される。

【0116】

クライアントデバイスでレンダリングされたゲームタイトルの１つでのユーザーインタラクションが検出され、信号がクラウドゲーミングサイトに送信される。信号は、ユーザーインタラクションが検出されたゲームタイトル情報と、ゲームタイトルに登録されたユーザーインタラクションとを含む。クライアントデバイスから受信した信号に応答して、クラウドゲーミングサイトは、ゲームがホストされているデータセンターを積極的に決定し、識別されたデータセンターに信号を送信して、ユーザーインタラクションが検出されたゲームタイトルに関連付けられたゲームをロードする。いくつかの実施形態では、２つ以上のデータセンターがゲームをホストし得る。そのような実施形態では、クラウドゲーミングサイトは、要求を開始するクライアントデバイスの地理的場所を決定し、クライアントデバイスに地理的に近いデータセンターを識別し、データセンターにゲームをプリロードするための信号を送信し得る。ユーザーの地理的場所は、いくつかの例を挙げると、クライアントデバイス内の全地球測位システム（ＧＰＳ）機構、クライアントのＩＰアドレス、クライアントのｐｉｎｇ情報を使用して、決定され得る。当然ながら、ユーザーの地理的場所を検出する前述の方法は例示的であり得、他のタイプの機構またはツールを使用して、ユーザーの地理的場所を決定し得る。クライアントデバイスに近いデータセンターを識別することにより、ゲームとのユーザーインタラクション中、レイテンシを最小化できる。いくつかの実施形態では、識別されたデータセンターは、ゲームをホストするのに必要な帯域幅／処理能力を有さない場合がある、または過度に使用され得る。これらの実施形態では、クラウドゲーミングサイトは、クライアントデバイスに地理的に近い第２のデータセンターを識別し得る。ゲームをロードすることは、ゲームコードをロードすることと、ゲームのインスタンスを実行することとを含む。

【0117】

クラウドゲーミングサイトから信号を受信したことに応答して、識別されたデータセンターは、サーバーでゲームをインスタンス化するために、データセンターでサーバーを選択し得る。サーバーは、利用可能なハードウェア／ソフトウェアの能力と、ゲーム要件とに基づいて選択される。サーバーは複数のゲーム機を含み得、サーバーは、ゲームをロードするのに、複数のゲーム機のうちのどのゲーム機を使用するかを決定し得る。ゲーム機は、独立型ゲーム機に類似し得る、またはラックマウントサーバーもしくはブレードサーバーであり得る。次に、ブレードサーバーは複数のサーバーブレードを含み得、各ブレードは、ゲーム等の単一の専用アプリケーションをインスタンス化するのに必要な回路を有する。当然ながら、上記のゲーム機は例示的なものであり、限定的であるとみなすべきではない。ゲームステーション等を含む他のタイプのゲーム機、及び他の形態のブレードサーバーは、また、識別されたゲームをホストするために関与し得る。

【0118】

ゲーム機が識別されると、ゲームのための一般的なゲーム関連コードがゲーム機にロードされ、ゲームがインスタンス化されるゲーム機を識別する信号がネットワークを通じてクラウドゲーミングサイトを介してクライアントデバイスに返信される。したがって、ロードされたゲームはユーザーに利用可能になる。

【0119】

図９Ｂは、本開示の実施態様による、クラウドビデオゲームをクライアントデバイスにストリーミングするために行われる様々な動作を概念的に示すフロー図である。ゲーミングシステム９１８は、ビデオゲームを実行し、未加工（非圧縮）ビデオ９２０及びオーディオ９２２を生成する。ビデオ９２０及びオーディオ９２２は、例示の図では参照番号９２４に示されるように、ストリーミング目的でキャプチャ及びエンコードされる。エンコーディングは、ビデオ及びオーディオストリームの圧縮を提供して、帯域幅の使用量を減らし、ゲーミング体験を最適化できる。エンコーディング形式の例は、Ｈ．２６５／ＭＰＥＧ－Ｈ、Ｈ．２６４／ＭＰＥＧ－４、Ｈ．２６３／ＭＰＥＧ－４、Ｈ．２６２／ＭＰＥＧ－２、ＷＭＶ、ＶＰ６／７／８／９等を含む。

【0120】

エンコード済オーディオ９２６及びエンコード済ビデオ９２８は、さらに、インターネット等のネットワークを通じて伝送目的で、参照番号９３２に示されるように、ネットワークパケットにパケット化される。また、ネットワークパケットエンコーディングプロセスは、データ暗号化プロセスも採用できることによって、強化されたデータセキュリティを提供する。図示の実施態様では、参照番号９４０に示されるように、ネットワークを通じてトランスポートするために、オーディオパケット９３４及びビデオパケット９３６が生成される。

【0121】

ゲーミングシステム９１８は、さらに、触覚フィードバックデータ９３０を生成し、これにより、また、ネットワーク伝送のためにネットワークパケットにパケット化される。図示の実施態様では、触覚フィードバックパケット９３８は、参照番号９４０でさらに示されるように、ネットワークを通じてトランスポートするために生成される。

【0122】

未加工ビデオ及び未加工オーディオならびに触覚フィードバックデータを生成し、ビデオ及びオーディオをエンコードし、エンコード済オーディオ／ビデオ及び触覚フィードバックデータをトランスポート用にパケット化する前述の動作は、クラウドゲーミングサービス／システムをまとめて定義する１つ以上のサーバーで行われる。参照番号９４０に示されるように、オーディオ、ビデオ、及び触覚フィードバックパケットは、インターネット等の及び／またはインターネットを含むネットワークを通じてトランスポートされる。参照番号９４２に示されるように、オーディオパケット９３４、ビデオパケット９３６、及び触覚フィードバックパケット９３８は、クライアントデバイスによってデコード／再構築され、クライアントデバイスにおいて、エンコード済オーディオ９４６、エンコード済ビデオ９４８、及び触覚フィードバックデータ９５０を定義する。データが暗号化されている場合、ネットワークパケットも復号される。次に、参照番号９４４に示されるように、エンコード済オーディオ９４６及びエンコード済ビデオ９４８は、ディスプレイデバイス９５２でレンダリングするためにクライアント側の未加工オーディオ及び未加工ビデオデータを生成する。触覚フィードバックデータ９５０は、触覚効果をレンダリングできるコントローラーデバイス９５６または他のインタフェースデバイスで触覚フィードバック効果をもたらすために処理／通信できる。触覚効果の一例は、コントローラーデバイス９５６の振動またはランブルである。

【0123】

ビデオゲームはユーザー入力に応答し、ひいては、ユーザー入力の伝送及び処理について上記の同様の手順フローであるが、クライアントデバイスからサーバーに逆方向で行うことができることを認識されたい。示されるように、コントローラーデバイス９５６を操作するユーザーは、入力データ９５８を生成し得る。この入力データ９５８は、ネットワークを通じてクラウドゲーミングシステムにトランスポートするために、クライアントデバイスでパケット化される。入力データパケット９６０は、クラウドゲーミングサーバーによって解凍及び再構築され、サーバー側で入力データ９６２が定義される。入力データ９６２がゲーミングシステム９１８にフィードされ、ゲーミングシステム９１８は、入力データ９６２を処理して、ビデオゲームのゲーム状態を更新する。

【0124】

オーディオパケット９３４、ビデオパケット９３６、及び触覚フィードバックパケット９３８のトランスポート（参照番号９４０）の間、ネットワークを通じてデータ伝送を監視して、クラウドゲームストリームのサービス品質を保証できる。例えば、参照番号９６４によって示されるように、アップストリーム及びダウンストリームの両方のネットワーク帯域幅を含むネットワーク状態を監視でき、ゲームストリーミングは、利用可能な帯域幅の変化に応答して調整できる。すなわち、ネットワークパケットのエンコーディング及びデコーディングは、参照番号９６６に示されるように、現在のネットワーク状態に基づいて制御できる。

【0125】

図１０は、情報サービスプロバイダアーキテクチャの実施形態を示す。情報サービスプロバイダ（ＩＳＰ）１０７０は、ネットワーク１０８６を介して地理的に分散及び接続されたユーザー１０８２に多くの情報サービスを配信する。ＩＳＰは、株価の更新等の１タイプだけのサービス、または放送メディア、ニュース、スポーツ、ゲーミング等の様々なサービスを配信できる。さらに、各ＩＳＰによって提供されたサービスは動的であり、すなわち、サービスはどの時点でも追加または削除できる。したがって、特定の個人に特定のタイプのサービスを提供するＩＳＰは、時間の経過とともに変化する可能性がある。例えば、ユーザーが地元にいる間、ユーザーの付近のＩＳＰはユーザーのために機能し得る一方、ユーザーが異なる町に移動したとき、異なるＩＳＰはユーザーのために機能し得る。地元のＩＳＰが必要な情報及びデータを新しいＩＳＰに転送することにより、ユーザー情報は新しい町までユーザーに「追従」し、データはユーザーにより近くなり、アクセスしやすくなる。別の実施形態では、ユーザーの情報を管理するマスタＩＳＰと、マスタＩＳＰの制御下でユーザーと直接インターフェースするサーバーＩＳＰとの間に、マスターサーバー関係が確立され得る。別の実施形態では、クライアントが世界中を移動すると、データが一方のＩＳＰから別のＩＳＰに転送され、これらのサービスを配信することになるユーザーにサービス提供するために、ＩＳＰを良い位置にする。

【0126】

ＩＳＰ１０７０は、アプリケーションサービスプロバイダ（ＡＳＰ）１０７２を含み、ＡＳＰ１０７２は、ネットワーク（例えば、非限定的な例として、任意の有線ネットワークまたは無線ネットワーク、ＬＡＮ、ＷＡＮ、ＷｉＦｉ、ブロードバンド、ケーブル、光ファイバー、衛星、セルラー（例えば、４Ｇ、５Ｇ等）、インターネット等を含む）を通じて、コンピューターベースサービスをカスタマーに提供する。ＡＳＰモデルを使用して提供されたソフトウェアは、また、オンデマンドソフトウェアまたはサービス型ソフトウェア（ＳａａＳ）とも呼ばれることもある。特定のアプリケーションプログラム（カスタマー関係管理等）へのアクセスを提供する簡単な形式は、ＨＴＴＰ等の標準プロトコルを使用する。アプリケーションソフトウェアは、ベンダーのシステムに常駐し、ＨＴＭＬを使用するウェブブラウザを経由してユーザーによって、ベンダーによって提供された専用クライアントソフトウェアによって、またはシンクライアント等の他のリモートインターフェースによってアクセスされる。

【0127】

広い地理的エリアにわたって配信されたサービスは、多くの場合、クラウドコンピューティングを使用する。クラウドコンピューティングは、動的にスケーラブルで、多くの場合、仮想化されたリソースがインターネットを通じてサービスとして提供されるコンピューティングのスタイルである。ユーザーは、ユーザーをサポートする「クラウド」の技術インフラストラクチャのエキスパートである必要はない。クラウドコンピューティングは、サービス型インフラストラクチャ（ＩａａＳ）、サービス型プラットフォーム（ＰａａＳ）、及びサービス型ソフトウェア（ＳａａＳ）等の異なるサービスに分類できる。クラウドコンピューティングサービスは、多くの場合、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供する一方、ソフトウェア及びデータはサーバーに記憶される。クラウドという用語は、コンピューターネットワーク図におけるインターネットの表現の仕方に基づいたインターネット（例えば、サーバー、ストレージ、ロジックを使用する）のメタファーとして使用され、複雑なインフラストラクチャを隠すための抽象的概念である。

【0128】

さらに、ＩＳＰ１０７０は、シングルプレーヤー及びマルチプレーヤーのビデオゲームをプレイするためにゲームクライアントによって使用されるゲーム処理サーバー（ＧＰＳ）１０７４を含む。インターネットを通じてプレイされたビデオゲームのほとんどは、ゲームサーバーへの接続を介して動作する。通常、ゲームはプレーヤーからデータを収集し、そのデータを他のプレーヤーに分配する専用サーバーアプリケーションを使用する。これは、ピアツーピア配置よりも効率的及び効果的であるが、サーバーアプリケーションをホストするために別個のサーバーを必要とする。別の実施形態では、ＧＰＳは、集中型ＧＰＳに依存することなく、プレーヤーとその各々のゲームプレイ用デバイスとの間で通信を確立し、情報を交換する。

【0129】

専用ＧＰＳは、クライアントとは独立して起動するサーバーである。そのようなサーバーは、通常、データセンターに位置する専用ハードウェアで起動し、より多くの帯域幅及び専用処理能力を提供する。専用サーバーは、ＰＣベースマルチプレーヤーゲームのほとんどのゲームサーバーをホストする好ましい方法である。大規模なマルチプレーヤーオンラインゲームは、通常、ゲームタイトルを所有しているソフトウェア会社によってホストされた専用サーバーで起動し、専用サーバーがコンテンツを制御及び更新することを可能にする。

【0130】

ブロードキャスト処理サーバー（ＢＰＳ）１０７６は、視聴者に音声信号またはビデオ信号を分配する。非常に狭い範囲の視聴者への放送は、ナローキャスティングと呼ばれることがある。放送分配の最終行程について、信号が聴取者または視聴者にどのように達するかについて説明する。信号は、放送電波を通じて、ラジオ局またはテレビ局と同様にアンテナ及び受信機に到達し得る、あるいは、信号は、局を介して、ケーブルテレビもしくはケーブルラジオ（または「無線ケーブル」）を経由して到達し得る、またはネットワークから直接到達し得る。また、インターネットは、特に、信号及び帯域幅を共有することを可能にするマルチキャストを用いて、ラジオまたはテレビのいずれか一方を受信者に提供し得る。歴史的に、放送は、全国放送または地域放送等の地理的領域により範囲が定められてきた。しかしながら、高速インターネットの急増に伴い、コンテンツが世界中のほぼ全ての国に届くことができるように、放送は地理によって定義されなくなった。

【0131】

ストレージサービスプロバイダ（ＳＳＰ）１０７８は、コンピューターストレージ空間及び関連する管理サービスを提供する。ＳＳＰは、また、定期的なバックアップ及びアーカイブも提供する。ストレージをサービスとして提供することによって、ユーザーは必要に応じてより多くのストレージを注文できる。別の大きな利点として、ＳＳＰはバックアップサービスを含むことと、ユーザーのコンピューターのハードドライブが故障した場合、ユーザーがユーザーの全てのデータを失わないことと、が挙げられる。さらに、複数のＳＳＰはユーザーデータの全体的または部分的なコピーを有し得、これにより、ユーザーが位置する場所またはデータにアクセスするために使用されるデバイスとは無関係に、ユーザーは効率的な方法でデータにアクセスすることが可能になる。例えば、ユーザーは、ホームコンピューター内のパーソナルファイルにアクセスでき、同様に、ユーザーが移動している間に携帯電話内のパーソナルファイルにアクセスできる。

【0132】

通信プロバイダ１０８０は、ユーザーに接続性を提供する。ある種類の通信プロバイダは、インターネットへのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイヤルアップ、ＤＳＬ、ケーブルモデム、ファイバー、無線、または専用高速相互接続等、インターネットプロトコルデータグラムを配信するために適切なデータ伝送技術を使用して、そのカスタマーに接続する。また、通信プロバイダは、電子メール、インスタントメッセージ、及びＳＭＳテキスト等のメッセージサービスも提供できる。別のタイプの通信プロバイダとして、インターネットにダイレクトバックボーンアクセスを提供することによって帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）が挙げられる。ネットワークサービスプロバイダは、電気通信会社、データキャリア、無線通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者等から成り得る。

【0133】

データ交換部１０８８は、ＩＳＰ１０７０の内側でいくつかのモジュールと相互接続し、ネットワーク１０８６を介してこれらのモジュールがユーザー１０８２に接続する。データ交換部１０８８は、ＩＳＰ１０７０の全てのモジュールが近接している小さいエリアをカバーできる、または異なるモジュールが地理的に分散しているときに大きな地理的エリアをカバーできる。例えば、データ交換部１０８８は、データセンターのキャビネット内の高速ギガビットイーサネット（登録商標）（または、それよりも高速）、またはインターコンチネンタル仮想エリアネットワーク（ＶＬＡＮ）を含み得る。

【0134】

ユーザー１０８２は、少なくともＣＰＵ、メモリ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイス１０８４を用いてリモートサービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、タブレット、ゲーミングシステム、ＰＤＡ等であり得る。一実施形態では、ＩＳＰ１０７０は、クライアントによって使用されたデバイスのタイプを認識し、使用された通信方法を調整する。他の場合、クライアントデバイスは、ｈｔｍｌ等の標準通信方式を使用して、ＩＳＰ１０７０にアクセスする。

【0135】

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能な家電製品、ミニコンピューター、及びメインフレームコンピューター等を含む様々なコンピューターシステム構成で実施され得る。また、本開示は、有線ベースネットワークまたは無線ネットワークを経由してリンクされるリモート処理デバイスによってタスクが行われる分散コンピューティング環境においても実施できる。

【0136】

いくつかの実施形態では、通信は、無線技術を使用して容易になり得る。そのような技術は、例えば、５Ｇ無線通信技術を含み得る。５Ｇは第５世代のセルラーネットワーク技術である。５Ｇネットワークはデジタルセルラーネットワークであり、そこでは、プロバイダによってカバーされたサービスエリアが、セルと呼ばれる小さな地理的エリアに分割される。音及び画像を表すアナログ信号は、電話でデジタル化され、アナログ－デジタルコンバータによって変換され、ビットのストリームとして伝送される。セル内の５Ｇ無線デバイスの全ては、他のセル内で再使用される周波数のプールからトランシーバによって割り当てられた周波数チャネルを通じて、セル内のローカルアンテナアレイ及び低電力自動トランシーバ（伝送部及び受信部）を用いて電波によって通信する。ローカルアンテナは、高帯域幅光ファイバーまたは無線バックホール接続によって、電話網及びインターネットと接続される。他のセルネットワークと同様に、一方のセルから別のセルに横断するモバイルデバイスは、新しいセルに自動的に転送される。５Ｇネットワークは、通信ネットワークのタイプの単なる例であり、本開示の実施形態は、５Ｇに続く後続世代の有線技術または無線技術と同様に、前世代の無線通信または有線通信を利用し得ることを理解されたい。

【0137】

上記の実施形態を考慮して、本開示は、コンピューターシステムに記憶されたデータを含む様々なコンピューター実施動作を使用できることを理解されたい。これらの動作は、物理量の物理的処置を必要とする動作である。本開示の一部を形成する本明細書で説明される動作のいずれも、有用なマシン動作である。本開示は、また、これらの動作を行うためのデバイスまたは装置に関する。本装置は必要な目的のために特別に構築できる、または本装置はコンピューターに記憶されたコンピュータープログラムによって選択的にアクティブになるもしくは構成された汎用コンピューターであり得る。特に、様々な汎用マシンは本明細書の教示に従って書かれたコンピュータープログラムと一緒に使用できる、または、様々な汎用マシンは必要な動作を行うためにさらに特殊な装置を構築することがより便利になり得る。

【0138】

本開示は、また、コンピューター可読媒体のコンピューター可読コードとしても具現化され得る。代替として、コンピューター可読コードは、上記のデータ交換相互接続を使用して、サーバーからダウンロードされ得る。コンピューター可読媒体は、後でコンピューターシステムによって読み取りできるデータを記憶できる任意のデータストレージデバイスである。コンピューター可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、ならびに他の光学式データストレージデバイス及び非光学式データストレージデバイスを含む。コンピューター可読媒体はネットワーク接続コンピューターシステムにわたって分散されたコンピューター可読有形媒体を含み得、これにより、コンピューター可読コードが分散方式で記憶及び実行される。

【0139】

本方法の動作が特定の順序で説明してきたが、オーバーレイ動作の処理が所望の方法で行われる限り、他のハウスキーピング動作は動作間に行われ得る、または、わずかに異なる時間で発生するように動作は調整され得る、もしくは、処理に関連付けられた様々な間隔で処理動作の発生を可能にするシステムで動作が分散され得ることを理解されたい。

【0140】

前述の開示は理解を明確にする目的のためにある程度詳細に説明してきたが、添付の特許請求の範囲の中で特定の変更及び修正を実施できることは明らかである。したがって、本実施形態は、例証であり制限するものではないと見なされ、本開示は、本明細書に与えられた詳細に限定されないが、説明された実施形態の範囲及び均等物の範囲内で修正され得る。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9A】

【図9B】

【図10】