特表 2024-523888 以前に開発されたゲームアプリケーションのためのゲームコンテンツの拡張

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-02

(54)【発明の名称】以前に開発されたゲームアプリケーションのためのゲームコンテンツの拡張

(51)【国際特許分類】

   A63F 13/77 20140101AFI20240625BHJP

   A63F 13/35 20140101ALI20240625BHJP

   A63F 13/54 20140101ALI20240625BHJP

   A63F 13/45 20140101ALI20240625BHJP

   A63F 13/533 20140101ALI20240625BHJP

【ＦＩ】

A63F13/77

A63F13/35

A63F13/54

A63F13/45

A63F13/533

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023577595

(86)(22)【出願日】2022-05-18

(85)【翻訳文提出日】2024-02-13

(86)【国際出願番号】 US2022029731

(87)【国際公開番号】W WO2022265789

(87)【国際公開日】2022-12-22

(31)【優先権主張番号】17/348,499

(32)【優先日】2021-06-15

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＪＡＶＡＳＣＲＩＰＴ

(71)【出願人】

【識別番号】314015767

【氏名又は名称】マイクロソフト テクノロジー ライセンシング，エルエルシー

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】ケネット，ダニエル・ギルバート

(57)【要約】

本開示は、ゲームセッション内で発生する様々なイベントを識別し、識別されたイベントに基づいて１つまたは複数のゲーム内拡張を実装するためのシステム、方法、およびコンピュータ可読媒体に関する。例えば、ゲームサービス（例えばクラウドゲームサーバ）は、クラウドコンピューティングシステム上のコンテンツ分析およびイベント認識サービスを活用して、クライアントシステムに配信されるゲームコンテンツ（例えば、ビデオコンテンツ、オーディオコンテンツ、コントローラ入力）に基づいて１つまたは複数のゲーム内イベントを検出することができる。本明細書で述べるシステムは、検出されたイベントに応答して、ゲーム内拡張をクライアントシステムに実装させることができる。イベントの検出および様々な拡張の実装は、ゲームアプリケーションが以前に出荷されていた場合でも、ゲームアプリケーションを大幅に再開発することなく実施することができる。

【特許請求の範囲】

【請求項1】

ゲームセッションに関するゲームコンテンツを識別するステップであって、前記ゲームコンテンツは、クラウドコンピューティングシステム上のゲームサーバによってクライアントシステムに提供されるビデオコンテンツを含む、ステップと、
イベントのインスタンスを検出するために第１のイベントレコグナイザを前記ゲームコンテンツに適用するステップであって、前記第１のイベントレコグナイザは、対応するゲームセッションに関するゲームコンテンツに基づいて、前記イベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された１つまたは複数の検出モデルを含む、ステップと、
前記イベントに関連するゲーム内拡張を識別するステップと、
前記イベントの前記インスタンスを検出する前記第１のイベントレコグナイザに基づいて、前記クライアントシステムでの前記ゲームセッションの提示と併せて、前記ゲーム内拡張を前記クライアントシステムに実装させるステップと
を含む方法。

【請求項2】

請求項１に記載の方法であって、前記ゲームコンテンツは、前記ゲームサーバによって前記クライアントシステムにストリーミングされるビデオゲームコンテンツを含む、方法。

【請求項3】

請求項２に記載の方法であって、前記ゲームコンテンツは、オーディオコンテンツおよびコントローラ入力のうちの１つまたは複数をさらに含み、前記１つまたは複数の検出モデルは、前記ビデオゲームコンテンツと、前記オーディオコンテンツと、前記コントローラ入力とのうちの２つ以上の組合せに基づいて、前記イベントの前記所与のインスタンスの発生に関連する前記１つまたは複数の信号を出力するように訓練される、方法。

【請求項4】

請求項１に記載の方法であって、前記第１のイベントレコグナイザは、
第１のゲームアプリケーションに由来するゲームコンテンツに基づいて、前記イベントの前記所与のインスタンスの発生に関連する少なくとも１つの信号を出力するように訓練された第１の１つまたは複数の検出モデルと、
第２のゲームアプリケーションに由来するゲームコンテンツに基づいて、前記イベントの前記所与のインスタンスの発生に関連する少なくとも１つの信号を出力するように訓練された第２の１つまたは複数の検出モデルと
を含む、方法。

【請求項5】

請求項４に記載の方法であって、
前記第１のゲームアプリケーションは、前記第２のゲームアプリケーションの以前にリリースされたバージョンであるか、
前記第１のゲームアプリケーションと前記第２のゲームアプリケーションとは異なる発行元に関連付けられるか、または、
前記第１のゲームアプリケーションと前記第２のゲームアプリケーションとは、異なるジャンルのゲームアプリケーションに関連付けられる、
方法。

【請求項6】

請求項１に記載の方法であって、
第２のイベントのインスタンスを検出するために第２のイベントレコグナイザを前記ゲームコンテンツに適用するステップであって、前記第２のイベントレコグナイザは、対応するゲームセッションに関するゲームコンテンツに基づいて前記第２のイベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された第２の１つまたは複数の検出モデルを含む、ステップと、
前記第２のイベントに関連する第２のゲーム内拡張を識別するステップと、
前記第２のイベントの前記インスタンスを検出する前記第２のイベントレコグナイザに基づいて、前記クライアントシステムでの前記ゲームセッションの前記提示と併せて、および、前記イベントの前記インスタンスに関連する前記ゲーム内拡張と併せて、前記第２のゲーム内拡張を前記クライアントシステムに実装させるステップと
をさらに含む方法。

【請求項7】

請求項１に記載の方法であって、前記ゲーム内拡張は、
前記クライアントシステムのグラフィカルユーザインターフェース（ＧＵＩ）上で前記ゲームセッションのディスプレイに１つまたは複数のグラフィックアイコンを表示することに関連するＧＵＩ拡張と、
前記クライアントシステムの入力デバイスを介して提示される触覚または視覚フィードバックに関連する入力デバイス拡張と
のうちの１つまたは複数を含む、方法。

【請求項8】

請求項１に記載の方法であって、前記ゲーム内拡張を前記クライアントシステムに実装させるステップは、前記ビデオコンテンツと、前記クライアントシステムのグラフィカルユーザインターフェース（ＧＵＩ）を介して提示される前記ビデオコンテンツに対する１つまたは複数の拡張との両方を含む増強されたビデオコンテンツを前記ゲームサーバから受信するステップを含む、方法。

【請求項9】

請求項１に記載の方法であって、前記ゲーム内拡張を前記クライアントシステムに実装させるステップは、
前記クラウドコンピューティングシステム上のデータ分析サービスから１つまたは複数の拡張コマンドを受信するステップと、
前記クライアントシステムのハードウェア上で前記１つまたは複数の拡張コマンドをローカルで実行するステップと
を含む、方法。

【請求項10】

請求項１に記載の方法であって、前記１つまたは複数の検出モデルは、前記ゲームコンテンツが前記クライアントシステムに提供されるのと同時に前記ゲームコンテンツのビデオフレームに適用される機械学習モデルを含む、方法。

【請求項11】

１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサと電子通信するメモリと、
前記メモリに記憶されている命令と
を含むシステムであって、前記命令は、前記１つまたは複数のプロセッサによって、
ゲームセッションに関するゲームコンテンツを識別するステップであって、前記ゲームコンテンツは、クラウドコンピューティングシステム上のゲームサーバによってクライアントシステムに提供されるビデオコンテンツを含む、ステップと、
イベントのインスタンスを検出するために第１のイベントレコグナイザを前記ゲームコンテンツに適用するステップであって、前記第１のイベントレコグナイザは、対応するゲームセッションに関するゲームコンテンツに基づいて、前記イベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された１つまたは複数の検出モデルを含む、ステップと、
前記イベントに関連するゲーム内拡張を識別するステップと、
前記イベントの前記インスタンスを検出する前記第１のイベントレコグナイザに基づいて、前記クライアントシステムでの前記ゲームセッションの提示と併せて、前記ゲーム内拡張を前記クライアントシステムに実装させるステップと
を行うように実行可能である、システム。

【請求項12】

請求項１１に記載のシステムであって、前記ゲームコンテンツは、
前記ゲームサーバによって前記クライアントシステムにストリーミングされるビデオゲームコンテンツと、
オーディオコンテンツおよびコントローラ入力のうちの１つまたは複数と
を含み、前記１つまたは複数の検出モデルは、前記ビデオゲームコンテンツと、前記オーディオコンテンツと、前記コントローラ入力とのうちの２つ以上の組合せに基づいて、前記イベントの前記所与のインスタンスの発生に関連する前記１つまたは複数の信号を出力するように訓練される、
システム。

【請求項13】

請求項１１に記載のシステムであって、前記ゲーム内拡張を前記クライアントシステムに実装させるステップは、前記ビデオコンテンツと、前記クライアントシステムのグラフィカルユーザインターフェース（ＧＵＩ）を介して提示される前記ビデオコンテンツに対する１つまたは複数の拡張との両方を含む増強されたビデオコンテンツを前記ゲームサーバから受信するステップを含む、システム。

【請求項14】

請求項１１に記載のシステムであって、前記ゲーム内拡張を前記クライアントシステムに実装させるステップは、
前記クラウドコンピューティングシステム上のデータ分析サービスから１つまたは複数の拡張コマンドを受信するステップと、
前記クライアントシステムのハードウェア上で前記１つまたは複数の拡張コマンドをローカルで実行するステップと
を含む、システム。

【請求項15】

命令を記憶する非一時的なコンピュータ可読媒体であって、前記命令は、１つまたは複数のプロセッサによって実行されると、コンピューティングシステムに、
ゲームセッションに関するゲームコンテンツを識別するステップであって、前記ゲームコンテンツは、クラウドコンピューティングシステム上のゲームサーバによってクライアントシステムに提供されるビデオコンテンツを含む、ステップと、
イベントのインスタンスを検出するために第１のイベントレコグナイザを前記ゲームコンテンツに適用するステップであって、前記第１のイベントレコグナイザは、対応するゲームセッションに関するゲームコンテンツに基づいて、前記イベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された１つまたは複数の検出モデルを含む、ステップと、
前記イベントに関連するゲーム内拡張を識別するステップと、
前記イベントの前記インスタンスを検出する前記第１のイベントレコグナイザに基づいて、前記クライアントシステムでの前記ゲームセッションの提示と併せて、前記ゲーム内拡張を前記クライアントシステムに実装させるステップと
を行わせる、非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【背景技術】

【0001】

近年、マルチメディアコンテンツを生成、処理、および提供するためのリモートコンピューティングリソースの使用が急激に増加している。例えば、現在、クラウドコンピューティングシステムは、ゲームコンテンツを生成し、様々なコンピューティング機能および表示機能を備えた多様なローカルデバイスに配信している。ビデオゲームおよび他のコンテンツがより高品質になり、ネットワーク帯域幅が増加するにつれて、クラウドベースのゲームは、個人にゲームコンテンツを配信するためのプラットフォームとしてますます一般的になっている。

【0002】

例えば、多くの人気のあるゲームコンテンツは、特定のゲームタイトルセットからのゲームコンテンツを生成および配信するために特別に開発された、選ばれた少数のゲームコンソールを介して利用可能であったが、クラウドベースのゲームにより、複数の発行元からのゲームコンテンツが同じクライアントデバイスを介して配信できる道が開かれている。さらに、従来は異なるシステムでしかプレイできなかったゲームタイトルの異なるバージョンが、クラウドゲーミングにより、単一のクライアントシステムを介してアクセス可能になることも多い。より大きいゲームタイトルコレクションへのアクセス性および利用性の向上により、クラウドベースのゲームの人気が高まっているが、ゲームアプリケーションの新旧両方のタイトルに対する関与を維持あるいは向上させることに関連する多くの困難が存在する。

【0003】

例えば、クラウドベースのゲームは、以前に出荷された多くのゲームタイトルにすぐにアクセスできるようにするが、これらのゲームを以前のバージョンからアップデートするのは、困難であり高コストのプロセスであることが多い。例えば、以前に出荷されたゲームの開発者は、新たなゲームの開発に移っていることが多く、以前に出荷されたゲームアプリケーションのアップデートをもはやコンパイルしていない。多くの場合、より古いゲームはアーカイブされているか、紛失されてソースが失われており、アップデートを実装するには、アプリケーションソフトウェアのかなりの部分を再開発する必要がある。さらに、ゲームの開発が可能であり、開発者がそれに従事できる場合でも、ゲームアプリケーションに対するパッチや他の修正を開発し、それらの開発をユーザベースに展開することは、多くの場合、それらのゲームタイトルの発行元や提供元にとってかなりの時間とコストがかかる。

【発明の概要】

【0004】

ゲームアプリケーションの開発および再開発に関して、これらおよび他の問題が存在する。

【図面の簡単な説明】

【0005】

【図1】１つまたは複数の実施形態による、ゲームコンテンツに対する拡張を生成および提供するためのゲーム拡張システムの例示的実装形態を示す図である。

【図2】１つまたは複数の実施形態による、ゲーム内イベントを検出するようにイベントレコグナイザが訓練されるゲーム拡張システムの例示的実装形態を示す図である。

【図3】ゲームアプリケーションのソースを再開発することなくゲームセッションに対する拡張が提供される、ゲーム拡張システムの例示的実装形態を示す図である。

【図4】図４Ａは、１つまたは複数の実施形態による、ゲームセッションの提示が拡張される例示的実装形態を示す図である。図４Ｂは、１つまたは複数の実施形態による、ゲームセッションの提示が拡張される例示的実装形態を示す図である。

【図5】１つまたは複数の実施形態による、ゲームセッションの提示が拡張される別の例示的実施形態を示す図である。

【図6】１つまたは複数の実施形態によるゲームセッションの拡張を示す例示的な一連の操作を示す図である。

【図7】コンピュータシステム内に含まれることがある特定のコンポーネントを示す図である。

【発明を実施するための形態】

【0006】

本開示は、一般に、時間がかかりおよび高いコストがかかるゲームアプリケーションソフトウェアの開発を伴わずに、ゲームセッションに対する様々な拡張を提供するゲーム拡張システムに関する。例えば、以下でさらに詳細に述べるように、ゲームサービス（例えばクラウドゲームサービス）は、クラウドコンピューティングシステムに実装されたイベントレコグナイザシステムのコンテンツ分析およびイベント認識サービスを活用して、多様なゲームイベントを検出し、それらの検出されたイベントに基づいてゲームに対する拡張を提供することができる。これは、バックエンド処理信号を分析することなく、またゲームアプリケーション自体への変更を伴うことなく行うことができる。したがって、本明細書で述べるシステムおよび方法は、高コストで時間のかかるゲームアプリケーション用のソフトウェアの開発を必要とせずに、多様なゲームアプリケーションの拡張を効率的に促進することができる。

【0007】

例示的な例として、１つまたは複数の実施形態では、ゲーム拡張システムは、ゲームセッション用のゲームコンテンツを識別する。ゲームコンテンツは、ビデオコンテンツ、およびゲームセッションに関連する他のタイプのコンテンツ（例えばオーディオコンテンツやコントローラ入力）を含むことがある。さらに、ゲーム拡張システムは、１つまたは複数のイベントレコグナイザをゲームコンテンツに適用して、イベントレコグナイザの検出モデル（例えば機械学習モデル）が検出するように訓練されている様々なイベントを識別することができる。ゲーム拡張システムは、検出されたイベントに関連する１つまたは複数のゲーム内拡張を識別し、イベントの１つまたは複数のインスタンスの検出に基づいて、クライアントシステム上のゲームセッションの提示と併せてクライアントシステム上にゲーム内拡張を実装させることができる。

【0008】

本開示は、クライアントシステムへのゲームコンテンツの配信と併せてゲームコンテンツの拡張に関連する利点を提供する、および／または拡張に関連する問題を解決する、多くの実際の適用例を含む。いくつかの例示的な利点は、以下でさらに詳細に論じる。これらの例は例示として提供されており、ゲーム拡張システムおよび関連コンポーネントに関連して本明細書で述べる特徴および機能によって、多くの追加の利点および実際の適用例が実現されることを理解されたい。

【0009】

第１の例として、本明細書で述べるシステムは、ゲームアプリケーションに関する基礎となるソフトウェアコードの高コストで時間のかかるソフトウェア開発を必要とせずに、多様な方法でゲームセッションの拡張を促進する。以下でさらに詳細に論じるように、イベントレコグナイザは、ゲームコンテンツ（例えばビデオコンテンツ）の分析に基づいて特定のイベントを示す信号を検出するように訓練された１つまたは複数の検出モデルを含むことがある。レコグナイザは、（例えば基礎となるコードまたはバックエンド処理データではなく）ゲームコンテンツに基づいて様々なイベントを検出するように訓練されるので、本明細書で述べるシステムは、ゲームアプリケーションのソフトウェア、ソースコード、または処理信号へのアクセスを必要とせずに、イベントを検出し、関連する拡張を提供するように訓練することができる。本明細書で述べるシステムは、任意の数の発行元に関連する多様なゲームアプリケーションでの多様なイベントを検出するための柔軟な環境をさらに提供する。例えば、ビデオコンテンツを評価するためにイベントレコグナイザのモデルを訓練することによって、１つまたは複数のイベントレコグナイザは、様々なタイトルのアプリケーションおよび／または様々な発行元に関連付けられるアプリケーションを含む複数のアプリケーションにわたるイベントを認識するように訓練することができる。例えば、第１のレコグナイザは、第１のゲームアプリケーションに関するゲームセッションでのイベントのインスタンスを検出するように訓練されることがあり、第２のレコグナイザ（または単に第１のレコグナイザの追加のモデル）は、第２のゲームアプリケーションに関するゲームセッションでのイベント（または同様のタイプのイベント）のインスタンスを識別するように訓練される。このようにして、異なるタイトルおよび／または発行元ごとに個別のアップデート（例えばソフトウェアパッチや新しいアプリケーションバージョン）を再開発することなく、複数のタイトルに、および複数の発行元にわたって、同様のイベントに基づく同様の拡張を適用することができる。

【0010】

さらなる利点は、クラウドのコンピューティング能力およびリソースを活用することによって、本明細書で述べる１つまたは複数の実施形態に関連して実現される。例えば、ゲームサービスと認識イベントサービスとの両方を共通のクラウドコンピューティングシステムに実装することによって、エンドユーザの観点からのゲームセッションを妨げることなく、ゲーム処理タスクおよびイベント認識タスクを提供することができる。さらに、本明細書で述べる多くのシステムおよびサービスはクラウド上に実装されるので、特定のゲームセッションに関する任意の数のイベントを検出するタスクを任意の数のレコグナイザに課すことができる。これは従来のゲームコンソールに勝る利点を提供する。従来のゲームコンソールにおいて、ローカルゲームコンソールにこれらのサービスを実装する試みは、エンドユーザにゲームコンテンツを配信する際のコンソールのパフォーマンスに干渉する可能性が非常に高い。したがって、以下でさらに詳細に論じるように、ゲーム拡張システムは、クライアントシステムへのゲームセッションのゲームコンテンツの配信に関わるゲームコンソールの視聴覚要求を損なうことなく、任意の数の拡張を提供することができる。

【0011】

前の論述で示したように、本開示は、本明細書で述べるシステム、方法、およびコンピュータ可読媒体の特徴および利点を説明するために様々な用語を利用する。ここで、これらの用語のうちのいくつかの意味について、さらに詳細に述べる。

【0012】

本明細書で使用するとき、「クラウドコンピューティングシステム」とは、コンピューティングデバイス（例えばカスタマーデバイス）に様々なサービスを提供する、接続されたコンピューティングデバイスのネットワークを表す。例えば、クラウドコンピューティングシステムは、クラスタ、コンピューティングゾーン、仮想ローカルエリアネットワーク（ＶＬＡＮ）、ラック、フォルトドメインなどを含む階層構造に編成された物理的サーバデバイス（例えばサーバノードやゲームコンソール）のコレクションを含むことがある。１つまたは複数の実施形態では、サーバデバイスは、データセンタ（例えば地域データセンタ）内に実装されることがあり、データセンタは、データセンタの内部ネットワークを介して接続された任意の数のサーバデバイスを含み、任意の数のクラウドコンピューティングサービスをクラウドコンピューティングシステムのクライアントに提供する。本明細書で述べる１つまたは複数の実施形態では、クラウドコンピューティングシステムは、ゲームセッション内のイベントのインスタンスを検出すること、およびゲームセッションに対する拡張をクライアントシステムに実装させることに関連して、本明細書で述べる特徴および機能を協働して行うゲームコンソールおよび他のサーバノードを含む。

【0013】

本明細書で使用するとき、「クライアントシステム」とは、それを介してデジタルコンテンツ（例えばゲームコンテンツ）がユーザに提供される１つまたは複数のデバイスを表す。例えば、クライアントシステムは、ローカルストリーミングデバイス、ディスプレイデバイス、入力コマンドを提供するための１つまたは複数のコントローラ、およびコンテンツをユーザに提供するように構成された任意の他のデバイスを含むことがある。１つまたは複数の実施形態では、クライアントシステムは、複数のデバイス（例えば、ローカルゲームコンソール、テレビジョン、およびゲームコントローラ）の組合せを表す。１つまたは複数の実装形態では、クライアントシステムは、ラップトップコンピュータやモバイルデバイスなどの単一または統合コンピューティングデバイスを表す。

【0014】

本明細書で使用するとき、「ゲームコンテンツ」とは、ユーザがゲームセッションを体験できる方法に関連する任意のコンテンツを表す。例えば、本明細書で述べる１つまたは複数の実施形態では、ゲームコンテンツは、表示画面および／またはそこに表示されたグラフィカルユーザインターフェースを有するディスプレイデバイスを介して表示されるビデオコンテンツを表す。さらに、ゲームコンテンツは、スピーカまたは他のオーディオディスプレイデバイスを介して提示されるオーディオコンテンツを表すことがある。１つまたは複数の実施形態では、ゲームコンテンツは、ゲームコントローラのバイブレーションもしくは振動や、または点灯するおよび／または色を変えることができるライト（例えばキーボードライトやコントローラライト）など、非ディスプレイデバイスを介して提供される触覚フィードバックおよび／または視覚フィードバックを表すこともある。１つまたは複数の実施形態では、ゲームコンテンツは、ディスプレイデバイスを介して提示されるゲームコンテンツに影響を与えることができるユーザ入力またはユーザコマンドを表す。実際、ゲームコンテンツは、クライアントシステムのデバイスを介して配信または他の形で提示され、ユーザが体験または他の形で消費する任意のゲームコンテンツおよび関連データを表すことがある。

【0015】

本明細書で使用するとき、「ゲームセッション」とは、１つまたは複数のデバイスで実行されているゲームアプリケーションのインスタンスを表す。例えば、ゲームセッションは、ゲームアプリケーションまたはゲームサービスの起動または参加開始、およびゲームアプリケーションまたはゲームサービスからのログオフまたは他の形での離脱に関連するいくらかの期間を表すことがある。例示として、ゲームセッションは、ユーザがビデオゲームを開始し、いくらかの期間にわたってビデオゲームをプレイし、ログオフする、アプリケーションを閉じる、または単にいくらかの期間（例えば非アクティブ期間閾値）にわたってビデオゲームから離脱するインスタンスを含むことがある。別の実装形態では、ゲームセッションは、ユーザがゲームサービスまたはプラットフォームにログオンし、ホストされているあるいはゲームサービスもしくはプラットフォームを介してアクセス可能である１つまたは複数のビデオゲームをプレイし、ログオフする、サービスを閉じる、またはいくらかの期間にわたってゲームサービスから離脱するインスタンスを含むことがある。

【0016】

本明細書で述べる１つまたは複数の実施形態では、ゲーム拡張システムは、ゲームセッションと併せて１つまたは複数の拡張をゲームシステムに実装させることができる。本明細書で使用するとき、「拡張」または「ゲーム内拡張」は、クライアントシステムを介して提供することができるゲームコンテンツへの追加のコンテンツまたは増強を表すことがある。例えば、拡張は、ゲームコンテンツからのビデオコンテンツと併せて表示されるグラフィックアイコンを表すことがある。別の例では、拡張は、ゲームデバイスおよび／またはコントローラデバイスを介して提示されるオーディオコンテンツまたは触覚フィードバックを表すことがある。１つまたは複数の実施形態では、拡張は、オーディオコンテンツの音量を下げる、または何らかのグラフィックアイコンまたはテキストをディスプレイから削除するなど、ゲームコンテンツの一部の削除を表すこともある。実際、ゲーム内拡張は、クライアントシステムを介してユーザに配信されるときのゲームコンテンツの任意の変更を表すことがある。

【0017】

本明細書で使用するとき、「レコグナイザ」または「イベントレコグナイザ」とは、オブジェクト、コンテンツ、またはクライアントシステムに提供されるゲームコンテンツ内の任意の検出可能なイベントを検出するように訓練された１つまたは複数のモデル（例えば機械学習モデル）を有するゲーム拡張システムのコンポーネントを表すことがある。例えば、レコグナイザは、様々なオブジェクト、オブジェクトの組合せ、一連の入力、またはゲームセッション内で発生するイベントのインスタンスを示す任意の数の信号の組合せを検出するように訓練されている１つまたは複数のモデルを含むことがある。限定ではなく例として、ゲームセッション中のキャラクターがジャンプする場合、レコグナイザは、キャラクターのジャンプを示す一連の動きまたはオブジェクトを検出し、ジャンプのインスタンスおよびゲームセッション内の関連情報を示す出力を生成するように訓練されることがある。他の例および使用例は、本明細書で述べる１つまたは複数の実施形態に関連して論じる。

【0018】

本明細書で使用するとき、「イベント」または「ゲーム内イベント」とは、所定のゲーム内イベントに関連付けられた一連の信号を表す。例えば、以下でさらに詳細に論じるように、ゲーム内イベントは、ゲームセッション内の特定の出来事または事象に関連する一連の信号を表すことがある。上で示したように、ゲーム内イベントは、ゲームセッション内でキャラクターがジャンプすることを表すことがある。他のゲーム内イベントは、キャラクターの死亡、新しいレベルの開始、あるレベルの終了、ゲームの一時停止、閾値期間を超えたゲームの一時停止、ゲームの一時停止解除、レースでの勝利、レースでの敗北、レースの終了、所定の時間内でのレースの終了などの事象を含むことがある。

【0019】

実際、ゲーム内イベントは、ユーザ、管理者、開発者、または他のエンティティによって定義された任意の数の事象（または複数の所定のイベント）を含むように定義されることがある。ゲーム内イベントは、１つまたは複数のレコグナイザを構成する様々なモデルの出力に基づく１つまたは複数の信号の組合せを表すことがある。イベントは、特定のゲームアプリケーションに特有のものであり得るが、本明細書で述べる１つまたは複数の実施形態では、イベントは、異なるゲームアプリケーションにわたって、同様のゲームアプリケーションの異なる世代（例えば、共通のゲームタイトルの異なるバージョンまたはエディション）にわたって、さらには全く異なるジャンルおよび発行元に関連付けられたゲームアプリケーションにわたって生じるイベントのインスタンスを含むこともある。

【0020】

次に、ゲーム内イベントを検出し、検出されたゲーム内イベントに応じてゲームセッションに対する拡張を提供するためのシステムに関するさらなる詳細を述べる。例えば、図１は、１つまたは複数の実施形態に従ってゲーム拡張システム１０８が実装される例示的な環境１００を示す。図１に示されるように、環境１００は、クラウドコンピューティングシステムの任意の数のサーバノードを含むことができるサーバデバイス１０２を含む。さらに示されるように、環境１００は、１つまたは複数のサードパーティサーバデバイス１０４およびクライアントシステム１０６（例えばクライアントゲームシステム）を含むことがある。

【0021】

図１に示されるように、サーバデバイス１０２は、そこに実装されたゲーム拡張システム１０８を含むことがあり、ゲーム拡張システム１０８は、ゲームサービス１１０、イベントレコグナイザシステム１１２、およびイベント分析システム１１４を含むことがある。これらのコンポーネント１１０～１１４ならびに関連する特徴および機能はそれぞれ、クラウドコンピューティングシステムの複数のサーバデバイスにわたって実装されることがある。代替として、ゲーム拡張システム１０８のそれぞれのコンポーネント１１０～１１４に関連して論じる特徴および機能は、同じサーバデバイス上で実行されてもよい。さらに図１に示されるように、イベントレコグナイザシステム１１２は、レコグナイザ訓練システム１１６（または単に「訓練システム」）、イベントレコグナイザ１１８、および検出モデル１２０を含むことがある。これらの各コンポーネントについては、以下でさらに詳細に論じる。

【0022】

上述したように、環境１００は、１つまたは複数の発行元システム１２２が実装された１つまたは複数のサードパーティサーバデバイス１０４を含むことがある。発行元システム１２２は、１つまたは複数のゲームアプリケーションに関連する様々な発行元によってホストされるプロバイダまたは発行元固有のサービスを含むことがある。１つまたは複数の実施形態では、発行元システム１２２は、ゲームアプリケーションのオリジナルコピー、およびクライアントシステム１０６のユーザに関連付けられたユーザ情報を維持することがある。図１は、発行元システム１２２が１つまたは複数のサードパーティサーバデバイス１０４でホストされる例示的実装形態を示すが、発行元システム１２２の１つまたは複数の特徴が、ゲーム拡張システム１０８のゲームサービス１１０または他のコンポーネント１１２～１１４上に、および図示されるサーバデバイス１０２と同じクラウドコンピューティングシステムに実装されてもよいことを理解されたい。例えば、ゲームサービス１１０を提供する同じエンティティが、特定のゲームコンテンツも提供する場合、またはサードパーティ発行元が、ゲームサービス１１０によってホストされるゲームアプリケーションへの完全なアクセスを提供する場合、発行元システム１２２の特徴は、ゲーム拡張システム１０８に実装することができる。

【0023】

図１に示されるように、クライアントシステム１０６は、１つまたは複数のディスプレイデバイス１２４および１つまたは複数の入力デバイス１２６を含むことがある。例えば、上述したように、クライアントシステム１０６は、ゲームセッションのゲームコンテンツをクライアントシステム１０６のユーザに提供するための様々なハードウェアに結合されたローカルコンピューティングデバイス（例えばゲームコンソール）を含むことがある。１つまたは複数の実施形態では、これは、別個のディスプレイデバイス１２４および入力デバイス１２６（例えば、デスクトップコンピュータおよびキーボード／マウス、ローカルコンソールに結合されたテレビジョンおよびゲームコントローラ）を含むことがある。１つまたは複数の実施形態では、ディスプレイデバイス１２４および入力デバイス１２６は、単一あるいは統合コンピューティングシステム（例えばラップトップコンピュータやモバイルデバイス）の一部である。

【0024】

実際、クライアントシステム１０６は、ディスプレイデバイス１２４および／または入力デバイス１２６に結合された、あるいはディスプレイデバイス１２４および／または入力デバイス１２６を含む様々なタイプのコンピューティングデバイスを表すことがあることを理解されたい。例えば、クライアントシステム１０６は、携帯電話、スマートフォン、携帯情報端末（ＰＤＡ）、タブレット、またはラップトップなどのモバイルデバイスを含むことがある。追加または代替として、クライアントシステム１０６は、デスクトップコンピュータ、サーバデバイス、または他の非ポータブルデバイスなど、１つまたは複数の非モバイルデバイスを含むこともある。１つまたは複数の実装形態では、クライアントシステム１０６は、専用ゲームデバイス（例えばハンドヘルドゲームデバイス）、またはディスプレイデバイスと通信するビデオゲームコンソールを表す。１つまたは複数の実装形態では、クライアントシステム１０６は、そこに統合されたグラフィカルユーザインターフェース（例えばモバイルデバイスの画面）を含むことがある。さらに、または代替として、クライアントシステム１０６は、視覚的なゲームコンテンツの表示を提供するためのグラフィカルユーザインターフェースを有するディスプレイデバイスに通信可能に（例えば有線または無線で）結合されることもある。また、サーバデバイス１０２およびサードパーティサーバデバイス１０４が様々なコンピューティングデバイスを表すことがあることも理解されたい。環境１００のデバイスおよびシステム１０２～１０６はそれぞれ、図７に関連して以下で述べる特徴および機能を含むことがある。

【0025】

図１に示されるように、サーバデバイス１０２、サードパーティサーバデバイス１０４、およびクライアントシステム１０６は、ネットワーク１２８を介して直接または間接的に互いに通信することができる。ネットワーク１２８は、１つまたは複数のネットワークを含むことがあり、データを伝送するのに適した１つまたは複数の通信プラットフォームまたは技術を使用することがある。ネットワーク１２８は、環境１００のデバイスおよび／またはモジュール間での電子データの移送を可能にする任意のデータリンクを表すことがある。ネットワーク１２８は、有線ネットワーク、無線ネットワーク、または有線ネットワークと無線ネットワークとの組合せを表すことがある。１つまたは複数の実施形態では、ネットワーク１２８はインターネットを含む。

【0026】

以下でさらに詳細に論じるように、ゲームサービス１１０は、ゲームコンテンツのホスティングおよびクライアントシステム１０６への配信に関連する１つまたは複数のサービスを提供することがある。例えば、１つまたは複数の実施形態では、ゲームサービス１１０は、クラウドコンピューティングシステム上の１つまたは複数の物理的ゲームコンソールがゲームセッションをホストし、ゲームコンテンツをクライアントシステム１０６に配信することができる、クラウドベースのゲームサービスを表す。この例では、ゲームコンソールは、ゲームセッションを実行またはホストし、クライアントシステム１０６から（例えば入力デバイス１２６から）受信された入力を処理することがある。１つまたは複数の実施形態では、ゲームサービス１１０は、ネットワーク１２８を介してゲームコンテンツをクライアントシステム１０６にストリーミングまたは他の形で配信することができる。

【0027】

クライアントシステム１０６へのゲームコンテンツの配信に加えて、ゲームサービス１１０は、ゲームコンテンツのコピーまたはフィードをイベントレコグナイザシステム１１２に提供することがある。ゲームサービス１１０は、ゲームコンテンツに関連して受信された入力コマンドの指示を提供することもある。以下でさらに詳細に論じるように、イベントレコグナイザシステム１１２は、１つまたは複数のイベントレコグナイザ１１８をゲームコンテンツに適用して、ゲームセッション内で発生する１つまたは複数のイベントのインスタンスを識別することができる。図１に示されるように、イベントレコグナイザ１１８は、ゲームセッション内で発生する１つまたは複数のイベントを示す様々な信号を検出するように（例えばレコグナイザ訓練システム１１６によって）訓練された任意の数の検出モデル１２０を利用することがある。

【0028】

イベントの１つまたは複数のインスタンスを識別すると、イベントレコグナイザシステム１１２は、イベント情報をイベント分析システム１１４に提供することができる。イベント分析システム１１４は、イベントを１つまたは複数のゲーム内拡張と関連付けることができる。この関連付けに基づいて、イベント分析システム１１４は、クライアントシステム１０６に提供されているゲームコンテンツを拡張することを決定することができる。以下でさらに詳細に論じるように、イベント分析システム１１４は、様々な方法でゲームセッションを拡張することができる。例えば、１つまたは複数の実施形態では、イベント分析システム１１４は、拡張されたコンテンツをゲームサービス１１０がネットワーク１２８を介してクライアントシステム１０６に提供できるようにする拡張命令またはコマンドをゲームサービス１１０に提供することができる。１つまたは複数の実施形態では、イベント分析システム１１４は、クライアントシステム１０６の１つまたは複数のコンポーネントに拡張命令を提供して、クライアントシステム１０６が拡張命令をローカルで実行し、１つまたは複数のローカル拡張を提示できるようにする。

【0029】

図２は、１つまたは複数の実施形態による、様々なイベントを検出するようにイベントレコグナイザを訓練することができるゲーム拡張システム１０８の例示的実装形態を示す。図２は、例示的なワークフロー２００を示し、レコグナイザ訓練システム１１６の例示的実装形態は、所与のゲームセッションに関連付けられたゲームコンテンツに基づいて様々なイベントを検出するように１つまたは複数のレコグナイザを訓練することができる。

【0030】

以下で論じるように、レコグナイザ訓練システム１１６は、様々な訓練データに基づいて訓練されることがある。特に、図２に示されるワークフロー２００では、レコグナイザ訓練システム１１６は、１つまたは複数のゲームセッション用のビデオコンテンツのデジタル画像を含むビデオフレーム２０２のコレクションを受信することがある。１つまたは複数の実施形態において、ビデオフレーム２０２は、様々なイベントが発生している１つまたは複数のゲームセッションに関連する、以前に記録されて保存されているビデオコンテンツを表す。

【0031】

１つまたは複数の実施形態では、レコグナイザ訓練システム１１６は、ビデオフレーム２０２に関連付けられた追加のゲームコンテンツおよび訓練データを受信する。例えば、１つまたは複数の実施形態では、レコグナイザ訓練システム１１６は、ビデオフレーム２０２に関連する、またはビデオフレーム２０２と併せて他の形で提示されたオーディオコンテンツを受信する。１つまたは複数の実装形態では、レコグナイザ訓練システム１１６は、対応するビデオフレーム２０２および関連するオーディオデータと併せて受信された任意の入力コマンドの指示を含む入力データをさらに受信する。例えば、ビデオフレームは、対応するタイムスタンプに関連付けられることがあり、タイムスタンプを使用して、ビデオフレーム２０２を、対応するオーディオコンテンツ、入力コマンド、および対応するゲームセッションに関連付けられた任意の他のゲームコンテンツに関連付けることができる。

【0032】

ビデオフレーム２０２および任意の追加のゲームコンテンツに加えて、レコグナイザ訓練システム１１６は、対応するビデオフレーム２０２に関連付けられた訓練入力２０４をさらに受信することがある。特に、レコグナイザ訓練システム１１６は、対応するゲームコンテンツ内で発生したと判断された１つまたは複数のイベントに関連するグランドトゥルースを示す訓練入力２０４を受信することがある。１つまたは複数の実施形態では、訓練入力２０４は、人間による入力、またはビデオフレーム２０２内で発生した特定のイベントまたはイベントのタイプに対応するグランドトゥルースまたは真実データの高精度の予測を提供する他の教師付き訓練入力を表すことがある。

【0033】

例として、レコグナイザ訓練システム１１６が、ゲームの一時停止に関連する一時停止イベントを認識するためにイベントレコグナイザを訓練または他の形で生成するために使用されている場合、レコグナイザ訓練システム１１６は、所与のビデオフレームに関してゲームが一時停止されているかどうかを示す訓練入力２０４を受信することがある。１つまたは複数の実施形態では、これは、ビデオフレーム２０２および他のゲームコンテンツに関するユーザの観察に基づいてユーザによって提供されたタグに基づくことがある。簡単な例として、ビデオフレームが、ゲームセッションが一時停止されていることを示す一時停止メニューまたは他の目に見えるアイコンの表示を含む場合、対応する訓練入力２０４は、所与のビデオフレームに関してゲームが一時停止されていることを示す。逆に、ビデオフレームが一時停止メニューまたは他の一時停止を示すアイコンの表示を含まない場合、対応する訓練入力２０４は、ゲームが一時停止されていないことを示す。

【0034】

レコグナイザ訓練システム１１６は、これらの入力ビデオフレーム２０２および関連する訓練入力２０４を利用してイベント検出モデルを訓練し、訓練入力を模倣し、訓練入力２０４と、タグ付けされたビデオフレーム２０２の様々な特徴または特性との相関に基づいてゲームセッションが一時停止されるかどうかを予測することができる。このようにして、１つまたは複数の一時停止検出モデルは、一時停止アイコンの表示、または観察された信号（例えば、音楽の一時停止、動きの欠如、受信された一時停止入力）の任意の組合せに基づいて、ゲームが一時停止されている時を認識するように訓練することができ、これにより、ゲームセッションが一時停止される時をモデルおよび関連するイベントレコグナイザが正確に予測できるようになる。

【0035】

検出モデル（例えば検出モデル２１２ａ～ｂ）は、様々な信号を予測し、信号に対応するイベントのインスタンスがゲームセッション内で発生したかどうかを最終的に決定するために使用することができる様々なモデルおよびアルゴリズムを表すことがある。１つまたは複数の実施形態では、検出モデルは、機械学習モデルまたは他の深層学習モデルを表すことがある。本明細書で使用するとき、「機械学習モデル」とは、未知の関数を近似するために訓練入力に基づいて調整（例えば訓練）することができる１つまたは複数のコンピュータアルゴリズムまたはモデル（例えば分類モデルや回帰モデル）を表すことがある。例えば、機械学習モデルは、複雑な関数を学習して近似し、機械学習モデルに提供される１つまたは複数の入力に基づいて出力を生成するニューラルネットワーク（例えば畳み込みニューラルネットワークやリカレントニューラルネットワーク）または他のアーキテクチャを表すことがある。本明細書での様々な例に関連して論じるように、様々な機械学習モデルは、（例えば特定のビデオフレームまたは一連のビデオフレーム内の）ゲームコンテンツの対応する部分に関してイベントが発生したかどうかを判断するために、レコグナイザによって組み合わされる、あるいは考慮される様々な出力信号を生成することがある。

【0036】

様々なモデルおよびレコグナイザを訓練する際、１つまたは複数の実装形態では、レコグナイザ訓練システム１１６は、様々なイベントが発生する可能性が高いゲームコンテンツ内の位置に関連付けられた関心領域情報２０６を受信することがある。図２に示されるように、レコグナイザ訓練システム１１６は、イベントのインスタンスが対応するビデオフレーム内で発生するかどうかを決定する際に考慮されるべきビデオフレーム２０２の領域を示すセグメンテーションマスクを含む関心領域情報２０６を受信することができる。このようにして、レコグナイザ訓練システム１１６は、様々な信号およびイベントを検出するようにモデルを訓練する際にビデオフレームの他の部分を軽視する、または単に考慮しないことができる。ビデオフレーム２０２の関心領域への訓練のこの制限により、レコグナイザ訓練システム１１６は、より少ない時間で、より少ない訓練データを使用して、様々な機械学習モデルをより効率的に訓練することができる。

【0037】

様々なイベント検出モデルおよびレコグナイザをより効率的に訓練することに加えて、関心領域情報２０６を提供することで、異なるゲームアプリケーション間の同様のタイプのイベントの検出に関連するモデルを訓練するための有用な情報を提供することができる。一例として、アバターのライフバーが何らかの閾値レベルまたはパーセンテージを下回る事象をイベントが表す場合、関心領域は、第１のゲームアプリケーションに関してライフバーが現れるビデオフレームの第１の部分を示すことがある。同様に、関心領域は、第２のゲームアプリケーションに関してライフバーが現れるビデオフレームの第２の部分（例えばビデオフレーム内の異なる領域）を示すことがある。これは、同様のイベントを検出するためにそれぞれのゲームアプリケーションに対して２つの異なるモデルを訓練することを含むことがあるが、それにもかかわらず、対応するイベント検出モデルの訓練でビデオフレームの部分全体が考慮される場合よりも、比較的少ないビデオフレームおよび関連する訓練入力を使用してモデルを訓練することができる。

【0038】

様々なモデルを訓練した後、レコグナイザ訓練システム１１６は、イベントレコグナイザおよび関連する検出モデルをレコグナイザデータベース２０８に提供することがある。図２に示されるように、レコグナイザデータベース２０８は、複数のイベントレコグナイザおよび関連する検出モデル（例えば１つまたは複数のモデル）を含むことがある。例えば、レコグナイザデータベース２０８は、関連する検出モデル２１２ａを有する第１のイベントレコグナイザ２１０ａを含むことがある。さらに示されるように、レコグナイザデータベース２０８は、第２のイベントレコグナイザ２１０ｂおよび関連する検出モデル２１２ｂのセットを含むことがある。

【0039】

図２に示されるように、様々なイベントレコグナイザは、レコグナイザが検出するように訓練された固有のイベントの多くの考慮事項および詳細に基づいて、１つまたは複数のモデルを含むことがある。例えば、１つまたは複数の実施形態では、黒い画面の出現などの単純なイベントの認識は、ある閾値数の黒いビデオフレームの発生を検出するように訓練された単一のモデルを含むことがある。代替として、「かろうじてレベルをクリア」というタイトルのイベントなど、より複雑なイベントの認識は、あるレベルがクリアされたことを検出するように訓練された第２の１つまたは複数のモデルに加えて、ライフバーが閾値レベルを下回っていることを検出するように訓練された第１のモデルを含むことがある。１つまたは複数の実施形態では、特定のイベントレコグナイザが対応するゲーム内イベント（例えば、あるレベルをクリアしたが、アバターのライフが閾値未満である）を検出するために、これらのモデルの機能を組み合わせることができる。

【0040】

１つまたは複数のモデルを有するイベントレコグナイザに加えて、１つまたは複数の実施形態では、１つまたは複数のモデルが異なるレコグナイザによって利用されることがある。例えば、１つまたは複数の実施形態では、イベントレコグナイザを訓練するタスクを課された場合、レコグナイザ訓練システム１１６は、多くの異なるイベントに関係する以前に訓練されたモデルまたは一般的に使用されるモデルを識別し、そのモデルの機能をイベントレコグナイザ内に組み込むことがある。このようにして、時間の経過と共にレコグナイザデータベース２０８がよりロバストになるとき、レコグナイザ訓練システム１１６は、以前に訓練されたモデルの機能を活用して、または既存のモデルを単に微調整して、１つまたは複数のイベントレコグナイザの所定の機能に適合することができる。

【0041】

図３は、ゲーム拡張システム１０８の例示的実装形態を示しており、様々なゲーム内イベントを検出するために、以前に訓練されたイベントレコグナイザが使用される。例えば、図３は、クラウドコンピューティングシステム上のゲームサービス１１０、イベントレコグナイザシステム１１２、およびイベント分析システム１１４の間のデータおよびゲームコンテンツの流れを示す例示的なワークフロー３００を示す。特に、上述したように、また以下でさらに詳細に論じるように、ゲーム拡張システム１０８のコンポーネント１１０～１１４は、ゲームセッション内で発生する様々なゲーム内イベントのインスタンスを協働して識別し、関連するゲームアプリケーションの再展開または再開発を必要とせずに、１つまたは複数の拡張を提供することができる。

【0042】

図３に示されるように、ゲームサービス１１０は、第１のゲームコンテンツ３０２ａ（例えば、オリジナルのゲームコンテンツ）をクライアントシステム１０６に提供することができる。１つまたは複数の実施形態では、第１のゲームコンテンツ３０２ａは、クライアントシステム１０６にストリーミングまたは他の形で配信されるゲームコンテンツの元のフィードを表す。１つまたは複数の実施形態では、ゲームサービス１１０は、ゲームコンテンツ（例えばマルチメディアコンテンツ）を生成および処理し、クライアントシステム１０６のディスプレイデバイスに表示される第１のゲームコンテンツ３０２ａを配信するクラウドベースのゲームコンソールを含む。

【0043】

図３に示されるように、クライアントシステム１０６は、第１のゲームコンテンツ３０２ａに関連付けられた入力コマンド３０４を提供することがある。特に、クライアントシステム１０６が、ユーザ入力を検出することができる１つまたは複数のコントローラデバイス（例えば、キーボード、マウス、ゲームコントローラ、タッチスクリーンインターフェース）を含む場合、クライアントシステム１０６は、クライアントシステム１０６の入力デバイスで受信されるときに様々な入力を含む入力コマンド３０４を提供することがある。１つまたは複数の実施形態では、ゲームサービス１１０は、入力コマンドを処理し、ゲームセッション内にコマンドを実装し、入力コマンドに基づいて第１のゲームコンテンツ３０２ａを提供し続ける。この処理がゲームサービス１１０上で行われている間、ユーザの観点から見ると、入力コマンドの配信および処理は、ローカルゲームコンソールがゲームコンテンツをホストおよび提供してローカル入力コマンドを処理する従来のシステムと非常に似ていることがある。

【0044】

第１のゲームコンテンツ３０２ａをクライアントシステム１０６に配信するのと同時に、またはその後のある時点で、第２のゲームコンテンツ３０２ｂ（例えばオリジナルのゲームコンテンツのコピー）をイベントレコグナイザシステム１１２のイベントレコグナイザに提供することができる。図３に示される例では、ゲームコンテンツ３０２ｂのコピーは、ゲーム内イベントを検出するようにそれぞれ訓練されている複数のイベントレコグナイザ３０６ａ～ｃのそれぞれに提供される。例えば、第１のイベントレコグナイザ３０６ａは、第１のタイプのイベントのインスタンスを検出するように訓練された１つまたは複数の機械学習モデルを含むことがあり、第２のイベントレコグナイザ３０６ｂは、第２のタイプのイベントのインスタンスを検出するように訓練された１つまたは複数の機械学習モデルを含むことがあり、第３のイベントレコグナイザ３０６ｃは、第３のタイプのイベントのインスタンスを検出するように訓練された１つまたは複数の機械学習モデルを含むことがある。

【0045】

図３は、異なるタイプのイベントを検出するように個別に訓練された３つのイベントレコグナイザ３０６ａ～ｃを含む例を示すが、他の実装形態は、任意の数のイベントを検出するように訓練されたより少ないまたは追加のイベントレコグナイザを含むこともある。例えば、１つまたは複数の実施形態では、ゲームコンテンツ３０２ｂのコピーが複数のイベントレコグナイザのそれぞれに同時に提供され、並列処理されることがある。

【0046】

上述したように、ゲームコンテンツ３０２ｂのコピーは、オリジナルのゲームコンテンツ３０２ａがクライアントシステム１０６に配信されるのと同時に、イベントレコグナイザ３０６ａ～ｃに提供されることがある。代替として、１つまたは複数の実施形態では、ゲームコンテンツ３０２ｂのコピーは、テレメトリ追跡、および場合によってはイベントレコグナイザ３０６ａ～ｃの追加の訓練の目的で、事後にイベントレコグナイザに提供される。

【0047】

さらに、１つまたは複数の実施形態では、オリジナルのゲームコンテンツがクライアントシステム１０６に配信されるときに、１つまたは複数のイベントレコグナイザを使用してイベントをリアルタイムで検出することができ、それと同時に、１つまたは複数の追加のイベントレコグナイザを使用して、他の拡張関連の目的で、事後にイベントを検出することができる。例えば、１つまたは複数の実施形態では、イベントレコグナイザは、長期間にわたって観察されたイベントの履歴に基づいてイベントを検出することがある。

【0048】

したがって、イベントインスタンスの現在の数を追跡および維持することは、特定のイベントタイプにとってそれほど重要ではないことがあり、イベントレコグナイザは、クラウドコンピューティングシステムに対するピーク需要期間にコンピューティングリソースを使用するのではなく、クラウドコンピューティングシステムに対するピークでないコンピューティング需要期間中に、より効率的に利用されることがある。この例および他の例では、イベントレコグナイザシステム１１２は、バッチ処理ジョブの一部として１つまたは複数のイベントレコグナイザを実行することがある。

【0049】

リアルタイム認識がそれほど必要ないことがある別の例は、ゲームセッションのリプレイを見る場合である。実際、ゲームセッションのリプレイを見ることの人気が高まっているので、事後（すなわち、オリジナルのゲームコンテンツがリアルタイムでクライアントシステム１０６に配信された時点の後）に、１つまたは複数のイベントレコグナイザをビデオおよび他のゲームコンテンツに適用することができ、ゲームセッションのリプレイを拡張する目的で様々なゲーム内イベントを識別することができる。これは、特定のゲーム内イベントまたは本明細書で述べる実施形態による任意の他のイベントを示すアイコンを含むことがある。

【0050】

遅延されたまたはリアルタイムでのゲームコンテンツ３０２ｂのコピーの分析に関連するいずれの実装形態においても、レコグナイザ訓練システム１１６は、イベントレコグナイザ３０６ａ～３０６ｃから、ゲームコンテンツの対応する部分（例えば、ビデオフレームまたは複数のビデオフレームの範囲）に関してイベントの１つまたは複数のインスタンスが検出されたかどうかを示す出力信号３０８を生成することがある。図３に示されるように、出力信号３０８は、さらなる処理のためにイベント分析システム１１４に提供されることがある。

【0051】

特に、上述したように、１つまたは複数の実施形態では、イベント分析システム１１４は、ゲームコンテンツの対応する部分またはタイムスタンプでイベントの示されたインスタンスを受信し、イベントに適用する関連する拡張を決定することができる。１つまたは複数の実施形態では、イベント分析システム１１４はマッピングデータを維持し、マッピングデータにより、イベント分析システム１１４は、イベントの発生を示す任意の数の出力信号３０８を、クライアントシステム１０６に実装される対応する拡張と相関付けることが可能になる。

【0052】

イベントのインスタンスを示す出力信号３０８を一般に提供することに加えて、イベント分析システム１１４は、オリジナルのゲームコンテンツ３０２ａを受信している（または受信した）特定のクライアントシステム１０６に関連付けられた個人またはハードウェアに関連する情報を受信することがある。１つまたは複数の実施形態では、出力信号３０８は、対応するイベントの表示と、ゲーム内拡張が適用される特定のゲームセッションおよび／または関連のクライアントシステム１０６を識別するために使用されることがあるゲーマータグまたはユーザ識別子とを含むＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ（ＪＳＯＮ）オブジェクトを含む。様々なファイル形式を有する他のタイプのデータオブジェクトも同様に、検出されたイベントおよび対応するゲームセッションに関連する情報を伝達するために使用することができる。

【0053】

検出されたイベントインスタンスを対応する拡張に関連付けると、イベント分析システム１１４は、ゲームサービス１１０および／またはクライアントシステム１０６のうちの１つまたは複数によって実行可能な特定のデータを含む拡張命令またはコマンドを識別することがある。特に、イベント分析システム１１４は、クライアントシステム１０６でのゲームセッションの提示と併せて特定の拡張を実装できるようにする拡張命令を識別することがある。これは、特定のグラフィックスと、オリジナルのゲームコンテンツ３０２ａの提示と併せてグラフィックスを表示するための関連コマンドとを含むことがある。これは、クライアントシステム１０６のユーザが消費することができる触覚、オーディオ、または他のゲームコンテンツを提示するための命令を含むこともある。ゲームセッションに対する特定のタイプの拡張の１つまたは複数の例を、図４Ａ～５に関連して以下に論じる。

【0054】

上述したように、イベント分析システム１１４は、ゲームセッションへの拡張を、様々な方法でクライアントシステム１０６に実装することができる。第１の例では、イベント分析システム１１４は、ゲームコンテンツ３０２ａの提示内に組み込むために拡張命令３１０ａをゲームサービス１１０に提供することがある。この例では、ゲームサービス１１０でのゲームコンソールは、拡張命令３１０ａを受信し、拡張されたゲームコンテンツ３１２をクライアントシステム１０６に配信または他の形で提供して、クライアントシステム１０６の１つまたは複数のデバイスを介して提示させることができる。１つまたは複数の実施形態では、拡張されたゲームコンテンツ３１２は、オリジナルのゲームコンテンツ３０２ａのビデオフレームと併せて提示される１つまたは複数の表示可能なアイコンを含む。１つまたは複数の実施形態では、拡張されたゲームコンテンツ３１２は、クライアントシステム１０６に配信されたオリジナルのゲームコンテンツ３０２ａからの追加のサウンドまたはサウンドの変更を含む。１つまたは複数の実施形態では、拡張されたゲームコンテンツ３１２は、バイブレーションまたは振動するためのコントローラデバイスによる実行可能命令を含み、オリジナルのゲームコンテンツ３０２は同様のコマンドを含まないことがある。

【0055】

第２の例として、さらなる処理のためにゲームサービス１１０に拡張命令３１０ａを提供することに加えて、またはその代替として、１つまたは複数の実施形態では、イベント分析システム１１４は、拡張命令３１０ｂをクライアントシステム１０６に直接提供する。これらの拡張命令は、必ずしも同じである必要はなく、ゲームサービス１１０によって提供されるビデオコンテンツを拡張するための拡張命令に必ずしも関連していなくてもよいが、拡張命令３１０ｂは、様々な命令を受信して実行することができるキーボードやゲームコントローラなどの入力デバイスに対する触覚フィードバック、オーディオフィードバック、および／または視覚フィードバックの提供に関連する命令を含むことがある。

【0056】

ゲーム拡張システム１０８およびクライアントシステム１０６のコンポーネント１１０～１１４のそれぞれが互いに遠隔に位置されることがある場合、クライアントシステム１０６に配信されているゲームコンテンツ３０２ａと併せて拡張を配信および提示する際に待ち時間が１つまたは複数の問題を生じ得る短い期間があり得る。一部のイベントおよび関連する拡張は、いくらかの待ち時間による影響が少ないことがあるが、遅延が長すぎる場合にゲーム体験が中断されることがある他のイベントおよび関連する拡張もある。例えば、拡張が画面の一部に表示されるミニマップを表す場合、待ち時間はそれほど問題ではないことがあり、拡張は、クライアントシステム１０６によって検出される待ち時間の量とは無関係に提示されることがある。

【0057】

代替として、拡張が、検出されたイベントに基づくリアルタイムでのコントローラのバイブレーション、またはゲーム内の課題を適時に克服するためにユーザが特定の入力コマンドを提供するのを支援する情報の表示を表す場合（または多様なイベントおよび関連する拡張）、これらの拡張の提示により、ゲームセッションが中断される、または観察される遅延によりエンドユーザに混乱を引き起こすことがある。１つまたは複数の実施形態では、ゲーム拡張システム１０８は、ゲームコンテンツ３０２ｂのコピーと共にタイミング情報（例えばタイムスタンプ）を渡し、（例えばＪＳＯＮオブジェクト内で）出力信号３０８と共にタイミング情報をイベント分析システム１１４に渡し続けることによって、拡張の遅延のインスタンスを防止することがある。イベント分析システム１１４は、ゲームサービス１１０およびクライアントシステム１０６に拡張命令３１０ａ～ｂを提供するときに、このタイミング情報をさらに含むことがある。

【0058】

このタイミング情報は、拡張を破棄するか、またはゲームセッションの提示内に拡張を実装するかを決定するために使用することができる。例えば、拡張命令３１０ａがゲームサービス１１０に提供されている場合、ゲームサービス１１０は、拡張されたゲームコンテンツ３１２の提供が閾値期間（例えば２００ミリ秒）を超えて遅延されるかどうかを判断し、関連する拡張なしでオリジナルのゲームコンテンツ３０２ａを単に提供し続けることができる。１つまたは複数の実施形態では、各イベントは、拡張されたゲームコンテンツ３１２をクライアントシステム１０６に提供するかどうかを決定する際に許容できる閾値遅延時間に関連付けられることがある。

【0059】

拡張命令３１０ｂがクライアントシステム１０６に直接提供される例では、クライアントシステム１０６は、タイミング情報を受信し、ゲームサービス１１０から提供されているゲームコンテンツ３０２ａに拡張を提供するかどうかをローカルで決定することがある。１つまたは複数の実施形態では、拡張命令３１０ｂは、同様に、ライブゲームコンテンツ３０２ａに関連付けられたタイムスタンプと、ゲーム体験を遮る（例えば、ゲームコントローラの過度に遅延された振動）ことなく拡張を遅延させることができる指示された閾値期間との両方を含むことがある。この例では、ゲームサービス１１０は、タイムスタンプから閾値期間が経過しているかどうかをローカルで判断することができる。閾値期間が経過している場合、クライアントシステム１０６は、拡張を実装しないことを決定することができる。閾値期間が経過していない場合、拡張は、オリジナルのゲームコンテンツ３０２ａの提示と併せて（例えば、拡張命令３１０ｂによって定義される許容可能な遅延内で）提示されることがある。

【0060】

次に、クライアントデバイスに提供されるゲームコンテンツと組み合わせて様々な拡張が提供される例示的実装形態に関連して、さらなる詳細を論じる。例えば、図４Ａは、オリジナルのゲームコンテンツ４０２ａをクライアントシステムに提供するゲームサービス１１０を示す例示的な環境を示す。図４Ａに示されるように、クライアントシステムは、クライアントデバイス４０４上のグラフィカルユーザインターフェース４０６を介して、受信されたゲームコンテンツ４０２ａからのビデオコンテンツを表示するクライアントデバイス４０４を含むことがある。さらに示されるように、クライアントシステムは、オリジナルのゲームコンテンツ４０２ａを生成および配信している１つまたは複数のリモートゲームコンソールで実行するために、入力コマンド４０３をゲームサービス１１０に提供することがある。

【0061】

さらに図４Ａに示されるように、ゲームサービス１１０は、ゲームコンテンツ４０２ｂのコピーを、クライアントシステムに配信されるゲームコンテンツ内の様々なイベントを検出するように訓練された任意の数のイベントレコグナイザに提供することがある。この例では、関連のゲームコンテンツは、様々な情報を示すビデオコンテンツを含むレーシングアプリケーションに関係することがある。例えば、図４Ａに示されるように、ダッシュボードアイコンは、１つまたは複数のイベントレコグナイザから検出されることがある様々な情報を示すグラフィカルユーザインターフェース４０６の左下部分に現れることがある。例えば、イベントレコグナイザは、表示されたゲージに関連付けられた毎分回転数（ＲＰＭ）メトリックを決定することがある。別のイベントレコグナイザは、レーシングアプリケーション内の車の現在の速度を追跡または他の形で決定することがある。別のイベントレコグナイザは、レーシングアプリケーションにおける車の現在の順位を示す、グラフィカルユーザインターフェース４０６を介して表示されるテキストの出現に基づいて、レーサーの表示される順位を追跡することがある。

【0062】

上述した１つまたは複数の実施形態によれば、任意の数のイベントレコグナイザが、１つまたは複数のイベント検出モデル（例えば機械学習モデル）を利用して、多様なイベントを検出または他の形で識別することができ、イベントは、多くの場合、複数の観察された信号の組合せに基づくことがある。例示的な例として、イベントレコグナイザは、ユーザ（および他のユーザ）が行った追跡された動きおよび方向転換の経時的な履歴に基づいて、仮想環境のマップ上でのユーザの現在の位置を決定するように訓練されることがある。これは、（例えばレーシングアプリケーション用のゲームセッションの仮想環境内での）車の動きを追跡するように訓練された任意の数の機械学習モデルに基づくことがある。同じまたは他のレコグナイザを履歴データに適用して、所与のレーシング環境を表すマップを生成することができる。この情報は、レーシング環境での車の現在の位置を決定するためにイベントレコグナイザによって使用されることがある。

【0063】

別の例として、仮想環境内の車が所定の閾値を超える速度で移動しているかどうかを判断するようにレコグナイザを訓練することができる。この例では、イベントレコグナイザは、画面の左下のダッシュボードアイコン内に表示される検出されたテキストに基づいて、車が１００マイル／時（ＭＰＨ）の閾値を超える速度であることを判断することができる。上述した１つまたは複数の実施形態によれば、レコグナイザは、セグメンテーションマスク、またはダッシュボードアイコンの既知の場所に関連付けられた関心領域の他のインジケータに基づいて、画面の左下部分の選択的な評価に基づいて、速度ベースのイベントについての決定を行うことがある。

【0064】

上述したように、レコグナイザは、対応する拡張に関連付けられた複数の関連イベントを検出するように訓練されることがある。例えば、図４Ａに示される例では、レコグナイザは、車がカーブに近づいている間に閾値速度を超えて移動していると判断するように訓練されることがある。レコグナイザの第１の１つまたは複数のモデルは、車が閾値速度を超えて移動していることを検出することがあり、レコグナイザの第２の１つまたは複数のモデルは、車がカーブに近づいていることを検出することがある（例えば、レーシング環境内での車の既知の位置に基づいて、またはディスプレイに示される検出されたカーブに基づいて）。

【0065】

図４Ｂは、上述した１つまたは複数の例に従って、ゲームセッションを介して提示される１つまたは複数の拡張を示す。例えば、図４Ｂに示されるように、ゲームサービス１１０は、クライアントデバイス４０４に提供されているゲームコンテンツ４０２ａに対して行われるべき、検出されたイベントに関連する１つまたは複数の拡張または増強を示す拡張命令４０８をイベント分析システム１１４から受信することがある。拡張命令４０８を受信すると、ゲームサービス１１０は、クライアントデバイス４０４にストリーミングされているゲームコンテンツ４０２ａと組み合わせて提示される１つまたは複数の拡張４１０を提供することができる。

【0066】

図４Ｂに示されるように、拡張された提示は、ミニマップがグラフィカルユーザインターフェース４０６の右下隅に表示される第１の拡張４１２ａを含む。ミニマップは、リアルタイムで観察された信号と、以前に収集および分析された信号との組合せを含む、任意の数の信号または信号の組合せに基づいて生成されることがあるが、ミニマップは、レーストラックを表すマップと、レーストラックに対する仮想環境内の車の現在の位置を示すアイコンとを含むことがある。

【0067】

別の例として、拡張された提示は、グラフィカルユーザインターフェース４０６の一部にわたって「減速！」という警告が表示される第２の拡張４１２ｂを含むことがある。本明細書で述べる１つまたは複数の実施形態によれば、この拡張は、閾値速度よりも速く走行し、ゲーム内で次のカーブに近づいている車のインスタンスを検出するように訓練されているレコグナイザに基づいて生成されることがある。さらに、本明細書で述べる他の実装形態と同様に、拡張命令は、特定のイベントを検出するように訓練されたレコグナイザに対応する検出された信号および／またはイベントの特定の組合せに関連付けられることがある。

【0068】

図４Ａ～４Ｂは、多くの使用例に適用可能であり得る特徴および機能を示す。一例として、レーシングアプリケーションは、古い世代のゲームシステムのために以前にリリースされたゲームアプリケーションを表すことがある。１つまたは複数の実施形態では、特定のレコグナイザおよび対応する拡張は、同様のゲームタイトルの現在のバージョンまたはより新しいバージョンに追加されているより新しい機能に基づいて訓練または他の形で識別されることがある。例えば、ゲームのより新しいエディションがミニマップを有する場合、より古いタイトルのユーザは、より古いタイトルの特定の機能を楽しみながら、同様のミニマップを含めることを望むことがある。しかし、ソフトウェアパッチを開発すること、またはより古いタイトルに機能を追加することは（または単にゲームアプリケーション全体を再開発するだけでも）、かなりの開発コストをかけなければ困難であり得る、または不可能でさえあり得るので、本明細書で述べるイベント検出および拡張の特徴は、より古いゲームタイトルに様々な機能を追加するための低コストで非侵襲的なソリューションを提供することができる。さらに、図４Ａ～４Ｂは、レーシングアプリケーションに拡張が追加されることがある例を示し、以前にリリースされたゲームアプリケーションのより古いタイトルの拡張に関連する同様の特徴および機能を、実質的に任意のジャンルのゲームアプリケーションに適用することができる。

【0069】

別の例として、上述した１つまたは複数の実施形態によれば、本明細書での実施形態に関連して述べる特徴および機能は、複数の発行元にわたって、さらには複数のジャンルのゲームにわたって適用することができる。一例として、イベントが「レースでの勝利」である場合、レースでの勝利に関連する１つまたは複数のレコグナイザを、ゲームアプリケーション内で発生する多様なレースに適用することができる。例えば、レースでの勝利は、図４Ａに関連して述べた例など、カーレースゲームに適用することができる。しかし、他のゲームは、様々なサイドクエストを備えたロールプレイングゲーム（ＲＰＧ）や、限られた期間内にタスクを実行するために複数のプレーヤーが競う一人称ゲームなど、レーシングゲームのバリエーションを有する。

【0070】

別の例として、１つまたは複数の実施形態は、将来のゲームセッションにおける、またはゲームサービス１１０の他のユーザのゲームセッションに関連する拡張の提供に関係することがあるイベントの検出を含むこともある。例えば、１つまたは複数の実施形態では、ゲーム拡張システム１０８は、あるユーザに関してゲームアプリケーションの最初の実行時に発生する様々なイベントを検出することがある。後続のまたは将来のゲームセッションで、ゲーム拡張システム１０８は、前のゲームセッションの検出されたイベントに基づいて、１つまたは複数の拡張を提示させることができる。例えば、プレーヤーが進路の決定または分岐点に近づいた場合、ゲーム拡張システム１０８は、プレーヤーが前のゲームセッションで特定の経路を取ったことを示すポップアップアイコンまたは他の視覚的拡張を提示させることがある。別の例として、ゲーム拡張システム１０８は、過去にゲーム内で同様の決定を迫られたときにユーザの友人または人気のあるゲーマー（例えば、有名なストリーマーや、他のコンテンツクリエーター）が何をしたかなど、ゲームサービス１１０の他のプレーヤーが行ったことを示すポップアップアイコンを生じることがある。

【0071】

これらの例では、本明細書で述べられるシステムは、異なるタイプのゲームアプリケーションにわたってレース勝利イベントを検出するように訓練された複数の異なる機械学習モデルを利用するレコグナイザを訓練することがある。例えば、第１の１つまたは複数のモデルは、１つまたは複数の観察可能な信号と組み合わせて画面上に表示されるテキストに基づいてカーレースでの勝利を検出するように訓練されることがある。逆に、第２の１つまたは複数のモデルは、異なる場所に表示されるテキストに基づいて、またはクライアントシステムを介して提示されるゲームコンテンツからの他の観察可能な特徴（例えば、レースでの勝利に関連する報酬の表示や、レースでの勝利に関連する検出された音）に基づいて、プレーヤー（ａ ｆｉｒｓｔ－ｐｅｒｓｏｎ）の勝利を検出するように訓練されることがある。これらのモデルはそれぞれ、単一のレコグナイザ内に組み込まれることがある。代替として、共通のイベントの異なるインスタンスを検出するように複数のレコグナイザが訓練されることもある。

【0072】

図４Ａ～４Ｂは、イベントが視覚コンテンツに基づいて検出され、拡張がクライアントデバイスのグラフィカルユーザインターフェースを介して提示される視覚的拡張に関連する例を示すが、図５は、拡張が非視覚的拡張に関連し得る別の例を示す。例えば、図５は、グラフィックユーザインターフェース５０８が提示されているディスプレイデバイス５０６と、ディスプレイデバイス５０６に通信可能に結合された入力デバイス５１０（例えばキーボード）とを含むクライアントシステム５０４にオリジナルのゲームコンテンツ５０２を提供する例示的なゲームサービスの一例を示す。図５に示されるように、クライアントシステム５０４は、ゲームサービス１１０による実行のための入力コマンド５０３を提供することができ、入力コマンド５０３は、クライアントシステム５０４に配信されるゲームコンテンツ５０２内に組み込むことができる。

【0073】

図３に関連して上で示したように、拡張命令は、ゲームサービス１１０および／またはクライアントシステム５０４で受信されることがある。この例では、ゲーム拡張命令は、クライアントシステム５０４で受信され、ゲームサービス１１０からの追加の拡張入力の有無にかかわらず、クライアントシステム５０４のハードウェアによって実装されることがある。

【0074】

この例では、レコグナイザは、ディスプレイデバイス５０６のグラフィカルユーザインターフェース５０８を介して表示される「×」押下インジケータ５１２の表示に関連するイベントを検出することがある。上述した例によれば、レコグナイザは、ゲームコンテンツ５０２の特定の部分を（例えば、セグメンテーションマップまたは関心領域の他の標示に基づいて）選択的に評価して、「×」押下イベントに対応する特定のテキストを検出するように訓練されることがある。このイベントの検出に応答して、クライアントシステム５０４は、検出されたイベントに対応する任意の数の拡張機能を実行するように命令されることがある。

【0075】

例えば、図５に示されるこの実装形態では、入力デバイス５１０上の×キー５１４は、ディスプレイデバイス５０６に表示されたコンテンツに基づいてユーザが押すべき×キーを示すために点灯することがある。この視覚的フィードバックは、表示されていないが、より楽しいゲーム体験を提供すると共にゲームアプリケーションのユーザに追加の命令を提供することで、ゲーム体験を大幅に向上させることができる。これは、ゲームチュートリアルと併せて提供することも、単に本明細書で述べるシステムの特徴および機能によって可能にされる追加の補助として提供することもできる。

【0076】

本明細書で述べる１つまたは複数の例は、ゲーム拡張システム１０８のサーバデバイス、または代替としてクライアントシステム１０６のハードウェアで実行される拡張に特に関連することがあるが、それぞれのシステムに提供されてそれぞれのシステムによって実行される拡張命令に関連して述べられる特定の例が、ゲーム拡張システム１０８および／またはクライアントシステム１０６の一方または両方によって実装されることもあることを理解されたい。例えば、図４Ａ～４Ｂに関連して上で論じた例は、ゲームサービス１１０に提供されてゲームサービス１１０上で実行される拡張命令に関連して述べたが、同様の拡張が、クライアントシステム１０６で全体的または部分的に実行されてもよい。別の例として、図５は、クライアントシステム１０６に提供されてクライアントシステム１０６上で実行される拡張命令に関連して述べたが、同様の拡張が、ゲームサービス１１０で受信されてゲームサービス１１０上で実行または他の形で実施され、ゲームコンテンツと併せてクライアントシステム１０６に提供されてもよい。

【0077】

次に図６を参照すると、この図は、ゲーム内イベントを検出し、検出されたゲーム内イベントに基づいてゲームセッションに拡張を実装するための一連の操作を含む例示的なフローチャートを示す。図６は、１つまたは複数の実施形態による操作を示すが、代替実施形態は、図６に示される操作のいずれかを省略、追加、並べ替え、および／または変更することができる。さらに、図６に関連して個々の操作または一連の操作に関連して述べた個々の特徴および機能のうちの１つまたは複数は、本明細書で述べる他の実施形態および例にも同様に適用することができる。図６の操作は、方法の一部として実施することができる。代替として、非一時的なコンピュータ可読媒体が、１つまたは複数のプロセッサによって実行されるときにコンピューティングデバイスに図６の操作を実行させる命令を含むことができる。さらに別の実施形態では、システムが図６の操作を実施することができる。

【0078】

上述したように、図６は、ゲーム内イベントを検出し、検出されたゲーム内イベントに基づいてゲームセッションに拡張を実装することに関連する一連の操作６００を示す。図６に示されるように、一連の操作６００は、クライアントシステムに提供されているゲームセッションに関するゲームコンテンツを識別する操作６１０を含む。例えば、１つまたは複数の実装形態では、操作６１０は、ゲームセッションに関するゲームコンテンツを識別することを含み、ゲームコンテンツは、クラウドコンピューティングシステム上のゲームサーバによってクライアントシステムに提供されるビデオコンテンツを含む。

【0079】

さらに図示されるように、一連の操作６００は、ゲームコンテンツにイベントレコグナイザを適用する操作６２０を含み、イベントレコグナイザは、１つまたは複数の検出モデルからの出力に基づいてイベントのインスタンスを検出するように訓練される。例えば、１つまたは複数の実装形態では、操作６２０は、第１のイベントレコグナイザをゲームコンテンツに適用して、イベントのインスタンスを検出することを含み、第１のイベントレコグナイザは、対応するゲームセッションに関するゲームコンテンツに基づくイベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された第１の１つまたは複数の検出モデルを含む。１つまたは複数の実施形態では、第１の１つまたは複数の検出モデルは、ゲームコンテンツがクライアントシステムに提供されるのと同時にゲームコンテンツのビデオフレームに適用される機械学習モデルを含む。

【0080】

さらに示されるように、一連の操作６００は、イベントに関連するゲーム内拡張を識別する操作６３０を含む。さらに図示されるように、一連の操作６００は、ゲームセッションの提示と併せてゲーム内拡張をクライアントシステムに実装させる操作６４０を含むことがある。例えば、１つまたは複数の実施形態では、操作６４０は、イベントのインスタンスを検出する第１のイベントレコグナイザに基づいて、クライアントシステムでのゲームセッションの提示と併せてゲーム内拡張をクライアントシステムに実装させることを含む。

【0081】

１つまたは複数の実施形態では、ゲームコンテンツは、ゲームサーバによってクライアントシステムにストリーミングされるビデオゲームコンテンツを含む。さらに、１つまたは複数の実施形態では、ゲームコンテンツは、オーディオコンテンツおよびコントローラ入力のうちの１つまたは複数を含む。１つまたは複数の実施形態では、１つまたは複数の検出モデルは、ビデオゲームコンテンツ、オーディオコンテンツ、およびコントローラ入力のうちの２つ以上の組合せに基づいて、イベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練される。

【0082】

１つまたは複数の実施形態では、第１のイベントレコグナイザは、第１のゲームアプリケーションに由来するゲームコンテンツに基づいて、イベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された第１の１つまたは複数の検出モデルを含む。第１のイベントレコグナイザは、第２のゲームアプリケーションに由来するゲームコンテンツに基づいて、イベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された第２の１つまたは複数の検出モデルをさらに含むことがある。

【0083】

１つまたは複数の実施形態では、第１のゲームアプリケーションは、第２のゲームアプリケーションの以前にリリースされたバージョンである。さらに、１つまたは複数の実施形態では、第１のゲームアプリケーションと第２のゲームアプリケーションとは、異なる発行元に関連付けられる。１つまたは複数の実施形態では、第１のゲームアプリケーションと第２のゲームアプリケーションとは、異なるジャンルのゲームアプリケーションに関連付けられる。

【0084】

１つまたは複数の実施形態では、一連の操作６００は、第２のイベントのインスタンスを検出するために第２のイベントレコグナイザをゲームコンテンツに適用することを含み、第２のイベントレコグナイザは、対応するゲームセッションに関するゲームコンテンツに基づいて、第２のイベントの所与のインスタンスの発生に関連する１つまたは複数の信号を出力するように訓練された第２の１つまたは複数の検出モデルを含む。一連の操作６００は、第２のイベントに関連する第２のゲーム内拡張を識別し、第２のイベントのインスタンスを検出する第２のイベントレコグナイザに基づいて、クライアントシステム上でのゲームセッションの提示と併せて、および第１のイベントのインスタンスに関連するゲーム内拡張と併せて、第２のゲーム内拡張をクライアントシステムに実装させることをさらに含むことがある。

【0085】

１つまたは複数の実施形態では、ゲーム内拡張は、クライアントシステムのＧＵＩでのゲームセッションのディスプレイに１つまたは複数のグラフィックアイコンを表示することに関連するグラフィカルユーザインターフェース（ＧＵＩ）拡張を含む。１つまたは複数の実施形態では、ゲーム内拡張は、クライアントシステムの入力デバイスを介して提示される触覚または視覚フィードバックに関連付けられた入力デバイス拡張を含む。

【0086】

１つまたは複数の実施形態では、ゲーム内拡張をクライアントシステムに実装させる操作は、ビデオコンテンツと、クライアントシステムのグラフィカルユーザインターフェース（ＧＵＩ）を介して提示されるビデオコンテンツに対する１つまたは複数の拡張との両方を含む増強されたビデオコンテンツをゲームサーバから受信することを含む。１つまたは複数の実施形態では、ゲーム内拡張をクライアントシステムに実装させる操作は、クラウドコンピューティングシステム上のデータ分析サービスから１つまたは複数の拡張コマンドを受信すること、およびクライアントシステムのハードウェア上で１つまたは複数の拡張コマンドをローカルで実行することを含む。

【0087】

図７は、コンピュータシステム７００内に含まれることがある特定のコンポーネントを示す。１つまたは複数のコンピュータシステム７００を使用して、本明細書で述べる様々なデバイス、コンポーネント、およびシステムを実装することができる。

【0088】

コンピュータシステム７００は、プロセッサ７０１を含む。プロセッサ７０１は、汎用シングルまたはマルチチップマイクロプロセッサ（例えば、Ａｄｖａｎｃｅｄ ＲＩＳＣ（縮小命令セットコンピュータ）マシン（ＡＲＭ））、専用マイクロプロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイなどでよい。プロセッサ７０１は、中央処理装置（ＣＰＵ）と呼ばれることがある。図７のコンピュータシステム７００にはただ１つのプロセッサ７０１のみが示されているが、代替構成では、プロセッサの組合せ（例えばＡＲＭとＤＳＰ）を使用することができる。

【0089】

コンピュータシステム７００は、プロセッサ７０１と電子通信するメモリ７０３も含む。メモリ７０３は、電子情報を記憶することができる任意の電子コンポーネントでよい。例えば、メモリ７０３は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ内のフラッシュメモリデバイス、プロセッサに含まれるオンボードメモリ、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）メモリ、レジスタなど、およびそれらの組合せとして具現化されることがある。

【0090】

命令７０５およびデータ７０７は、メモリ７０３に記憶されることがある。命令７０５は、本明細書で開示する機能の一部または全てを実装するためにプロセッサ７０１によって実行可能であり得る。命令７０５の実行は、メモリ７０３に記憶されているデータ７０７の使用を含むことがある。本明細書で述べるモジュールおよびコンポーネントの様々な例のいずれも、部分的または全体的に、メモリ７０３に記憶されておりプロセッサ７０１によって実行される命令７０５として実装することができる。本明細書で述べるデータの様々な例のいずれも、メモリ７０３に記憶されており、プロセッサ７０１による命令７０５の実行中に使用されるデータ７０７の中にあり得る。

【0091】

コンピュータシステム７００は、他の電子デバイスと通信するための１つまたは複数の通信インターフェース７０９を含むこともある。通信インターフェース７０９は、有線通信技術、無線通信技術、またはその両方に基づくことがある。通信インターフェース７０９のいくつかの例としては、ユニバーサルシリアルバス（ＵＳＢ）、イーサネットアダプタ、米国電気電子学会（ＩＥＥＥ）８０２．１１無線通信プロトコルに従って動作する無線アダプタ、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信アダプタ、および赤外線（ＩＲ）通信ポートが挙げられる。

【0092】

コンピュータシステム７００は、１つまたは複数の入力デバイス７１１および１つまたは複数の出力デバイス７１３を含むこともある。入力デバイス７１１のいくつかの例としては、キーボード、マウス、マイクロフォン、リモートコントロールデバイス、ボタン、ジョイスティック、トラックボール、タッチパッド、およびライトペンが挙げられる。出力デバイス７１３のいくつかの例としては、スピーカおよびプリンタが挙げられる。コンピュータシステム７００に通常含まれる出力デバイスの１つの特定のタイプは、ディスプレイデバイス７１５である。本明細書で開示する実施形態で使用されるディスプレイデバイス７１５は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネセンスなどの任意の適切な画像投影技術を利用することができる。メモリ７０３に記憶されているデータ７０７を、ディスプレイデバイス７１５上に示されるテキスト、グラフィックス、および／または動画（必要に応じて）に変換するためのディスプレイコントローラ７１７も提供されることがある。

【0093】

コンピュータシステム７００の様々なコンポーネントは、電源バス、制御信号バス、ステータス信号バス、データバスなどを含むことがある１つまたは複数のバスによって互いに結合されることがある。分かりやすくするために、様々なバスが、バスシステム７１９として図７に示されている。

【0094】

本明細書で述べる技法は、特定の方法で実装されるものとして特に述べられていない限り、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装することができる。モジュールやコンポーネントなどとして述べられる任意の特徴は、集積論理デバイス内に一緒に実装することも、ディスクリートではあるが相互動作可能な論理デバイスとして個別に実装することもできる。ソフトウェアで実装される場合、これらの技法は、少なくとも１つのプロセッサによって実行されるときに本明細書で述べる方法のうちの１つまたは複数を実施する命令を含む非一時的なプロセッサ可読記憶媒体によって少なくとも部分的に実現されることがある。命令は、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などに編成されることがあり、これらは特定のタスクおよび／または特定のデータタイプを実施することがあり、様々な実施形態において望みに応じて組み合わせるまたは分散させることができる。

【0095】

本明細書で述べる方法のステップおよび／または操作は、特許請求の範囲から逸脱することなく相互交換可能である。言い換えると、記載されている方法の適切な動作のためにステップまたは操作の特定の順序が必要とされない限り、特定のステップおよび／または操作の順序および／または使用は、特許請求の範囲から逸脱することなく変更することができる。

【0096】

「決定」という用語は、多様な操作を包含し、したがって、「決定」は、計算、コンピューティング、処理、導出、調査、検索（例えば、テーブル、データベース、または別のデータ構造での検索）、確認などを含むことができる。また、「決定」は、受信（例えば情報の受信）やアクセス（例えばメモリ内のデータへのアクセス）なども含むことができる。また、「決定」は、解決、選択、選定、設定などを含むこともできる。

【0097】

「備える」、「含む」、および「有する」という用語は、包括的なものとして意図されており、列挙された要素以外の追加の要素が存在してもよいことを意味する。さらに、本開示の「一実施形態」または「実施形態」への言及は、記載された特徴を同様に組み込む追加の実施形態の存在を排除するものと解釈されることは意図されていないことを理解されたい。例えば、本明細書での一実施形態に関連して述べる任意の要素または特徴は、適合性がある場合には、本明細書で述べる任意の他の実施形態の任意の要素または特徴と組合せ可能であり得る。

【0098】

本開示は、その精神または特徴から逸脱することなく、他の特定の形態で具現化することができる。記載した実施形態は、例示的なものであり、限定的なものと考えられるべきではない。したがって、本開示の範囲は、前述の説明ではなく、添付の特許請求の範囲によって示される。特許請求の範囲の均等範囲の意味および範疇にある変更は、それらの範囲内に包含される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】