(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-17
(54)【発明の名称】動的要約キューの生成と提供のための方法及びシステム
(51)【国際特許分類】
A63F 13/497 20140101AFI20240110BHJP
A63F 13/86 20140101ALI20240110BHJP
A63F 13/816 20140101ALI20240110BHJP
A63F 13/35 20140101ALI20240110BHJP
【FI】
A63F13/497
A63F13/86
A63F13/816
A63F13/35
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023540000
(86)(22)【出願日】2021-12-20
(85)【翻訳文提出日】2023-07-14
(86)【国際出願番号】 US2021064463
(87)【国際公開番号】W WO2022146754
(87)【国際公開日】2022-07-07
(32)【優先日】2020-12-31
(33)【優先権主張国・地域又は機関】US
(32)【優先日】2021-02-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100099324
【氏名又は名称】鈴木 正剛
(72)【発明者】
【氏名】ウォレン エム. ベネデット
(57)【要約】
メディアアイテムのストリームが、サーバコンピューティングシステムから1つまたは複数のクライアントコンピューティングシステムに送信される。メディアアイテムには、メディアアイテムを再生するためのタイムラインがある。参加者生成コンテンツが、1つ以上のクライアントコンピューティングシステムのいずれかの1人以上の参加者からサーバコンピューティングシステムで受信される。参加者生成コンテンツは、メディアアイテムのタイムラインに対してタイムインデックスが付けられる。参加者生成コンテンツを処理して、参加者生成コンテンツの中に存在する表示に基づいてメディアアイテムの主要な部分を識別する。メディアアイテムの主要な部分を含む動的要約キューを生成する。動的要約キューはストリーミング用にアセンブルされる。動的要約キューを閲覧する要求が要求者から受信される。要求に応答して、動的要約キューのストリームを要求者のコンピューティングデバイスに送信する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
メディアアイテムの要約を生成する方法であって、
サーバコンピューティングシステムから1つ以上のクライアントコンピューティングシステムにメディアアイテムのストリームを送信し、前記メディアアイテムは前記メディアアイテムの再生のためのタイムラインを有し、
前記1つ以上のクライアントコンピューティングシステムのいずれかの1人以上の参加者から前記サーバコンピューティングシステムで参加者生成コンテンツを受信し、前記参加者生成コンテンツは前記メディアアイテムの前記タイムラインにタイムインデックスが付けられ、
前記参加者生成コンテンツを処理して、前記参加者生成コンテンツの中に存在する表示に基づいて前記メディアアイテムの主要な部分を識別し、
前記メディアアイテムの前記主要な部分を含む動的要約キューを生成し、前記動的要約キューがトリーミング用にアセンブルされ、
要求者から前記動的要約キューを表示する要求を受信し、
前記要求に応答して、前記動的要約キューのストリームを前記要求者のコンピューティングデバイスに送信する、方法。
【請求項2】
前記メディアアイテムはオーディオビジュアルプレゼンテーションである、請求項1に記載の方法。
【請求項3】
前記オーディオビジュアルプレゼンテーションは、映画、テレビ番組、現実世界のスポーツイベント、電子スポーツイベント、オンラインショー、オンラインビデオ、及びアップロードされたビデオのうちの1つまたは複数である、請求項2に記載の方法。
【請求項4】
前記メディアアイテムは、ビデオゲームのゲームビデオ及びオーディオのストリームである、請求項1に記載の方法。
【請求項5】
前記サーバコンピューティングシステムは、前記1つ以上のクライアントコンピューティングシステムにおける前記1人以上の参加者のそれぞれのコントローラデバイスから受け取った入力に従って前記ビデオゲームを実行するように構成されたクラウドゲームシステムであり、前記クラウドゲームシステムは、前記1人以上の参加者による前記ビデオゲームのプレイを反映するゲームビデオ及びオーディオの前記ストリームの送信を指示するように構成され、前記1人以上の参加者が前記ビデオゲームのプレイ中に前記参加者生成コンテンツを提供する、請求項4に記載の方法。
【請求項6】
前記ビデオゲームは電子スポーツビデオゲームである、請求項4に記載の方法。
【請求項7】
前記参加者生成コンテンツは、テキストデータ、音声データ、オーディオデータ、絵文字データ、画像データ、カメラで取得されたビデオデータ、カメラで取得された画像データ、タグのデータ、及びコントローラデバイスの入力データの1つ以上を含む、請求項1に記載の方法。
【請求項8】
前記参加者生成コンテンツを処理することは、前記参加者生成コンテンツから特徴を抽出して抽出された特徴のセットを取得し、前記抽出された特徴を1つまたは複数の分類に分類して分類された特徴のセットを取得し、及び機械学習モデルを通じて前記分類された特徴のセットを処理して、前記メディアアイテムの主要な部分を識別することを含む、請求項1に記載の方法。
【請求項9】
さらに、前記機械学習モデルを通じて前記メディアアイテムの状態データを処理し、前記メディアアイテムの前記主要な部分を識別するために前記機械学習モデルを通じて前記分類された特徴のセットを処理することと併せて、前記メディアアイテムの前記状態データをタイムインデックスによって前記分類された特徴のセットに互いに関連付ける、請求項8に記載の方法。
【請求項10】
前記メディアアイテムの前記状態データは、前記メディアアイテムをゲームビデオ及びオーディオのストリームとして生成するために、前記1人以上の参加者のそれぞれのコントローラデバイスから受信した入力に従って実行されるビデオゲームの状態データを含む、請求項9に記載の方法。
【請求項11】
前記動的要約キューは、前記メディアアイテムの前記主要な部分の自動生成された口頭要約及び/または自動生成された書面要約を含む、請求項1に記載の方法。
【請求項12】
前記動的要約キューは、前記メディアアイテムの前記主要な部分に関連付けられた前記参加者生成コンテンツの少なくとも一部を含む、請求項1に記載の方法。
【請求項13】
前記参加者生成コンテンツが前記サーバコンピューティングシステムで受信され、前記メディアアイテムの主要な部分を識別するために処理されるときに、前記動的要約キューを更新し、前記動的要約キューの更新は、さらに、前記動的要約キューに新しいコンテンツを追加し、及び/または前記動的要約キューの中にすでに存在している一部のコンテンツを変更する、請求項1に記載の方法。
【請求項14】
前記要求者は、前記1人以上の参加者のいずれかである、請求項1に記載の方法。
【請求項15】
前記要求者は、前記メディアアイテムを見る際に前記1人以上の参加者に参加するよう招待された人物である、請求項1に記載の方法。
【請求項16】
前記要求者は、ゲームのビデオ及びオーディオのストリームとして前記メディアアイテムを生成するために、前記1人以上の参加者のそれぞれのコントローラデバイスから受信した入力に従って実行されるビデオゲームのプレイに前記1人以上の参加者に参加するよう招待された人物である、請求項1に記載の方法。
【請求項17】
さらに、前記動的要約キューを生成するための制御パラメータを受信する、請求項1に記載の方法。
【請求項18】
前記制御パラメータは、前記メディアアイテムの主要な部分を示す、前記参加者生成コンテンツの中に存在する表示の1つ以上のタイプの指定を含む、請求項17に記載の方法。
【請求項19】
前記表示のタイプは、前記メディアアイテムの中の主題に関して、前記1人以上の参加者のいずれかによって発せられた反応、表情、ジェスチャ、動作、発言、音、及び/または伝達の1つ以上を含む、請求項18に記載の方法。
【請求項20】
前記制御パラメータは、前記メディアアイテム内で発生する1つまたは複数のタイプのイベントの指定を含む、請求項17に記載の方法。
【請求項21】
前記制御パラメータは、前記メディアアイテムの主要な部分を識別するために前記参加者生成コンテンツを処理する際に、前記参加者生成コンテンツが前記1人以上の参加者のうちのいずれに限定されるかの指定を含む、請求項17に記載の方法。
【請求項22】
前記制御パラメータは、前記動的要約キューが生成される前記メディアアイテムの再生のためのタイムライン内の時間枠の指定を含む、請求項17に記載の方法。
【請求項23】
前記制御パラメータは、前記動的要約キューの概要分解の指定を含む、請求項17に記載の方法。
【請求項24】
ビデオの要約を生成するシステムであって、
サーバコンピューティングシステムから1つ以上のクライアントコンピューティングシステムにメディアアイテムのストリームを送信するためコンピュータメモリに格納されるプログラム命令を有し、前記メディアアイテムは前記メディアアイテムの再生のためのタイムラインを有し、
前記1つ以上のクライアントコンピューティングシステムのいずれかの1人以上の参加者から前記サーバコンピューティングシステムで参加者生成コンテンツを受信するため前記コンピュータメモリに格納されるプログラム命令を有し、前記参加者生成コンテンツは前記メディアアイテムの前記タイムラインにタイムインデックスが付けられ、
前記参加者生成コンテンツを処理して、前記参加者生成コンテンツの中に存在する表示に基づいて前記メディアアイテムの主要な部分を識別するため前記コンピュータメモリに格納されるプログラム命令を有し、
前記メディアアイテムの前記主要な部分を含む動的要約キューを生成するため前記コンピュータメモリに格納されるプログラム命令を有し、前記動的要約キューがストリーミング用にアセンブルされており、
要求者から前記動的要約キューを閲覧する要求を受信するため前記コンピュータメモリに格納されるプログラム命令を有し、
前記要求に応答して、前記動的要約キューのストリームを前記要求者のコンピューティングデバイスに送信するため前記コンピュータメモリに格納されるプログラム命令を有する、システム。
【発明の詳細な説明】
【技術分野】
【0001】
1.開示の分野
本開示は、サーバのコンピューティングシステムとクライアントのコンピューティングシステムとの間のネットワークを介して、ビデオゲーム及び/またはメディアコンテンツを提供するための方法及びシステムに関する。
【背景技術】
【0002】
2.関連技術の説明
ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。計算能力の増大に伴い、ビデオゲームの開発者もまた、この向上した計算能力を利用するゲームソフトウェアを開発してきた。そのために、ビデオゲーム開発者は、高度な演算及び数学を取り入れて、非常に現実的なゲーム体験を生み出しているゲームをコーディングしてきた。
【0003】
例示的なゲームプラットフォームは、Sony PlayStation(登録商標)、Sony PlayStation2(登録商標)(PS2)、Sony PlayStation3(登録商標)(PS3)、Sony PlayStation4(登録商標)(PS4)及びSony PlayStation5(登録商標)(PS5)を含み、それぞれ、ゲーム機の形態で販売されている。
周知のように、ゲーム機は、ディスプレイ(一般的には、テレビ)に接続し、ハンドヘルドコントローラによって、ユーザとのインタラクションを可能にするように設計されている。ゲーム機は、CPU、集約的なグラフィック演算を処理するためのグラフィックシンセサイザ、ジオメトリ変換を行うためのベクトルユニット、ならびに他のグルーハードウェア、ファームウェア、及びソフトウェアを含む、専用処理ハードウェアが設けられるように設計されている。さらに、ゲーム機によってローカルでプレイするために、ゲーム機は、ゲームディスクを受けるために、光ディスクリーダが設けられるように設計されていてもよい。オンラインゲームも可能であり、ユーザはインターネットを通じて他のユーザとインタラクティブに対戦または一緒にプレイができる。
例えば、PlayStation(登録商標)Networkは、ビデオゲームのオンラインでのプレイ、ビデオコンテンツ(例えば、テレビ、映画、スポーツイベント、ゲームプレイビデオなど)のストリーミング、及び音楽その他のオーディオコンテンツのストリーミングを提供するオンラインデジタルメディアエンターテイメントサービスである。ビデオゲーム開発者は、計算能力の拡大に対応するだけでなく、ユーザとゲームシステムとの間の対話を強化するオンラインゲームも開発している。例えば、対話型オンラインゲームは、ユーザがインターネット上で対話式で他のユーザと対戦するか、または一緒にプレイし、そのような対話を取得する機能を提供する。本発明が生じるのはこの状況の中である。
【発明の概要】
【0004】
例示的な実施形態では、メディアアイテムの要約を生成するための方法が開示される。この方法は、メディアアイテムのストリームをサーバコンピューティングシステムから1つまたは複数のクライアントコンピューティングシステムに送信することを含む。メディアアイテムには、メディアアイテムを再生するためのタイムラインがある。方法はまた、参加者生成コンテンツを、1つ以上のクライアントコンピューティングシステムのいずれかの1人以上の参加者からサーバコンピューティングシステムで受信することを含む。
参加者生成コンテンツには、メディアアイテムのタイムラインに対してタイムインデックスが付けられる(time-indexed:時間インデックスあるいは時刻インデックスが付けられる)。方法はまた、参加者生成コンテンツを処理して、参加者生成コンテンツの中に存在する表示に基づいてメディアアイテムの主要な部分を識別することを含む。方法は、メディアアイテムの主要な部分を含む動的要約キューを生成することも含む。動的要約キューはストリーミング用にアセンブルされる。方法は、動的要約キューを閲覧するための要求を要求者から受信することも含む。方法はまた、要求に応じて動的要約キューのストリームを要求者のコンピューティングデバイスに送信することを含む。
【0005】
例示的な実施形態では、ビデオの要約を生成するためのシステムが開示される。システムは、サーバコンピューティングシステムから1つ以上のクライアントコンピューティングシステムにメディアアイテムのストリームを送信するためコンピュータメモリに格納されるプログラム命令を含む。メディアアイテムには、メディアアイテムを再生するためのタイムラインがある。システムはまた、1つ以上のクライアントコンピューティングシステムのいずれかの1人以上の参加者からサーバコンピューティングシステムで参加者生成コンテンツを受信するためコンピュータメモリに格納されるプログラム命令を含む。
参加者が生成したコンテンツには、メディアアイテムのタイムラインに対してタイムインデックスが付けられる。システムはまた、参加者生成コンテンツを処理して、参加者生成コンテンツの中に存在する表示に基づいてメディアアイテムの主要な部分を識別するためコンピュータメモリに格納されるプログラム命令を含む。システムはまた、メディアアイテムの主要な部分を含む動的要約キューを生成するためコンピュータメモリに格納されるプログラム命令を含む。動的要約キューはストリーミング用にアセンブルされる。システムはまた、要求者から動的要約キューを閲覧するための要求を受信するために、コンピュータメモリに格納されたプログラム命令を含む。システムはまた、要求に応じて要求者のコンピューティングデバイスに動的要約キューのストリームを送信するために、コンピュータメモリに格納されたプログラム命令を含む。
【図面の簡単な説明】
【0006】
【
図1】いくつかの実施形態によるクラウドゲームシステムを示す。
【
図2】いくつかの実施形態に従って、クラウドゲームシステムによって提供されるオンラインビデオゲームのプレイ中にユーザ/参加者に対してディスプレイデバイスに表示される例示的なユーザインターフェースを示す。
【
図3】いくつかの実施形態による、概要要求制御の選択時にユーザ/参加者に対してディスプレイデバイスに表示されるユーザインターフェースの例を示す。
【
図4】いくつかの実施形態による、メディアアイテムの動的要約キューを生成及び提供するシステムの図を示す。
【
図5A】いくつかの実施形態に従って、動的要約キューの要求者が動的要約キューの生成方法をカスタマイズできるようにするための様々な制御を提供する例示的なユーザインターフェースを示す。
【
図5B】いくつかの実施形態による、
図5Aのユーザインターフェースの参加者ベース制御の中で「変更」制御が選択されたときに表示されるユーザインターフェースの例を示す。
【
図5C】いくつかの実施形態による、
図5Aのユーザインターフェースの時間枠制御の中で「変更」制御が選択されたときに表示されるユーザインターフェースの例を示す。
【
図5D】いくつかの実施形態による、
図5Aのユーザインターフェースの概要分解制御の中で「変更」制御が選択されたときに表示されるユーザインターフェースの例を示す。
【
図5E】いくつかの実施形態による、
図5Aのユーザインターフェースのイベントタイプ制御の中で「変更」制御が選択されたときに表示されるユーザインターフェースの例を示す。
【
図5F】いくつかの実施形態による、
図5Aのユーザインターフェースの表示タイプ制御の中で「変更」制御が選択されたときに表示されるユーザインターフェースの例を示す。
【
図6】いくつかの実施形態による、メディアアイテムの要約(動的要約キュー)を生成するための方法のフローチャートを示す。
【
図7】いくつかの実施形態による、本開示の様々な実施形態の態様を実行するために使用することができる例示的なコンピューティングデバイス内部のコンポーネントの図を示す。
【発明を実施するための形態】
【0007】
以下の発明を実施するための形態では、本開示の完全な理解をもたらすために、いくつかの具体的な詳細が示されている。しかしながら、本開示の実施形態は、これらの具体的な詳細の一部またはすべてがなくとも実践できることは、当業者には明らかである。他の例では、周知のプロセス動作は、本開示を不要に曖昧にしないようにすべく、詳細に説明されていない。
【0008】
図1は、いくつかの実施形態によるクラウドゲームシステム101を示す。クラウドゲームシステム101は、1人以上のユーザ/参加者A、B、C、D(A~D)によるオンラインビデオゲームのプレイを提供する。例えば、
図1は、ネットワーク123を介してクラウドゲームシステム101によって提供されるオンラインビデオゲームをプレイするユーザ/参加者A~Dを示す。
ユーザ/参加者A~Dのそれぞれは、対応するローカル計算システム120A、120B、120C、及び120D(120A~120D)をそれぞれ操作する人121A、121B、121C、及び121D(121A~121D)にそれぞれ対応する。このように、
図1は複数のユーザ/参加者A~Dによるグループプレイの例を示している。
図1の例には説明のために4人のユーザ/参加者A~Dが含まれているが、クラウドゲームシステム101により提供されるグループプレイ及び/またはオンラインビデオゲームの観戦に参加できるユーザ/参加者の数に制限はないことを理解されたい。
本明細書で使用されるオンラインビデオゲームという用語は、クライアント計算デバイス、例えば120A~120Dでユーザ/参加者がプレイ及び/または観戦するためにクラウドゲームシステム101によってクライアント計算デバイスに提供されるビデオゲームを指す。本明細書で言及されるオンラインビデオゲームは、シングルプレイヤービデオゲームまたはマルチプレイヤービデオゲームであり得る。いくつかの実施形態では、ユーザ/参加者A~Dのそれぞれは、オンラインビデオゲームのプレイに従事している。いくつかの実施形態では、ユーザ/参加者A~Dの一部はオンラインビデオゲームのプレイに従事しており、ユーザ/参加者A~Dの一部は他人がオンラインビデオゲームをプレイするのを見ている観客である。
【0009】
いくつかの実施形態では、クラウドゲームシステム101は、オンラインビデオゲームのプレイを提供することに加えて、他のメディアアイテムを提供するように搭載されている。例えば、いくつかの実施形態では、クラウドゲームシステム101は、オーディオビジュアルプレゼンテーションをメディアアイテムとして提供する。いくつかの実施形態では、クラウドゲームシステム101によって提供されるオーディオビジュアルプレゼンテーションは、とりわけ映画、テレビ番組、現実世界のスポーツイベント、電子スポーツイベント、オンラインショー、オンラインビデオ、及びアップロードされたビデオのうちの1つまたは複数のものである。
クラウドゲームシステム101は、それぞれのローカル計算システム120A~120Dにおけるユーザ/参加者A~Dによるプレゼンテーション及び消費(視聴)のために、ネットワークを介してデジタルデータのストリームとして送信できる、本質的に任意のタイプのメディアアイテムを提供するように動作可能であることを理解されたい。
様々な実施形態において、ユーザ/参加者A~Dがグループイベントに参加するように、ユーザ/参加者A~Dはクラウドゲームシステム101によって提供されるメディアアイテムをグループとして見る。グループイベント中、クラウドゲームシステム101は、ユーザ/参加者A~Dが互いに対話し、消費されているメディアアイテムに関して自分の感情を表現できるように、ユーザ/参加者A~Dが参加者生成コンテンツを提供できるようにする。やはり、
図1に例として示すように、4人のユーザ/参加者A~Dは、グループイベントに参加できるユーザ/参加者の数にいかなる制限も示さない。クラウドゲームシステム101が提供するグループイベントに参加できるユーザ/参加者の数に制限がないことを理解されたい。
【0010】
いくつかの実施形態では、クラウドゲームシステム101は、複数(N)のクラウドゲームサーバ103-1~103-Nを含む。いくつかの実施形態では、クラウドゲームサーバ103-1~103-Nの数(N)は、最大100、またはそれ以上であり得る。いくつかの実施形態では、クラウドゲームシステム101はまた、複数(X)の管理サーバ105-1~105-X及び1つまたは複数のストレージサーバ107を含む。ストレージサーバ107は、ハードディスクドライブ(HDD)及び/またはソリッドステートドライブ(SSD)などの多数のデータストレージデバイス107Aを含む。ストレージサーバ107は、クラウドゲームシステム101でのプレイに利用可能なビデオゲームを格納する。
いくつかの実施形態では、ストレージサーバ107は、クラウドゲームシステム101による提供に利用可能な様々なメディアアイテムを格納する。いくつかの実施形態では、管理サーバ105-1~105-Xはまた、ストレージサーバ107とは別個の他のクラウドベースのストレージシステムにアクセスでき、他のクラウドベースのストレージシステムは、ビデオゲームデータ及び/またはメディアアイテムデータを格納する。
各管理サーバ105-1~105-Xは、ユーザ/参加者A~Dのクラウドゲームセッションを管理する責任を負う。また、いくつかの実施形態では、所定の管理サーバ105-1~105-Xは、複数のクラウドゲームセッションを同時に管理する責任を負う。
いくつかの実施形態では、各管理サーバ105-1~105-Xは、必要なときに、1つまたは複数のクラウドゲームサーバ103-1~103-Nの電源を入れ、要求されたビデオゲームをストレージサーバ107または他のクラウドベースのストレージシステムから、クラウドゲームサーバ103-1~103-Nのうちの所定の1つにロードし、クラウドゲームサーバ103-1~103-Nの所定の1つで、要求されたビデオゲームの実行を開始し、クラウドゲームサーバ103-1~103-Nの所定の1つにユーザ/参加者A~Dをログインさせ、他の動作の中でも、ストレージサーバ107または他のクラウドベースのストレージシステムからのログインするユーザ/参加者A~Dのユーザデータ111をマウントするよう動作する。
【0011】
クラウドゲーム(またはオンラインゲーム)では、ユーザ/参加者A~Dは、ローカル計算システム120A~120Dを操作して、インターネットなどのネットワーク123上のクラウドゲームシステム101にログインし、クラウドゲームサーバ103-1~103-Nのうちの1つまたは複数でリモートで実行されるオンラインビデオゲームをプレイする。いくつかの実施形態では、ユーザ/参加者A~Dは、管理サーバ105-1~105-Xのうちの1つを介してクラウドゲームシステム101にログインする。しかし、ユーザ/参加者A~Dのログインに関連する様々なクラウドサービスがあることを理解されたい。例えば、ユーザ/参加者A~Dを認証すること、ユーザ/参加者A~Dが十分な質のインターネット接続を有することを確実にすること、及びユーザ/参加者A~Dがログインできる各ユーザ/参加者A~Dの近くにある利用可能なクラウドゲームサーバ103-1~103-Nを見つけることに関わるクラウドサービスがある。
【0012】
いくつかの実施形態では、ローカル計算システム120A~120Dは、対応するゲームコントローラ125A、125B、125C、125D(125A~125D)、及びテレビやモニタなどの対応するディスプレイデバイス126A、126B、126C、126D(126A~126D)を含む。いくつかの実施形態では、ローカル計算システム120A~120Dは、対応するディスプレイデバイス126A~126Dに接続された対応するドングル128A、128B、128C、128D(128A~128D)を含み、ドングル128A~128Dは、ディスプレイデバイス126A~126Dのネットワークインターフェースコントローラ(NIC)が、ゲームコントローラ125A~125Dからネットワーク123に信号を伝送するために使用することができるように、対応するゲームコントローラ125A~125Dと対応するディスプレイデバイス126A~126Dとの間のデータ通信を可能にするように構成されている。
【0013】
いくつかの実施形態では、ローカル計算システム120A~120Dは、対応するローカルゲーム機127A、127B、127C、127D(127A~127D)も含む。これらの実施形態では、ゲームコントローラ125A~125Dによって生成された信号は、対応するローカルゲーム機127A~127DのNICを使用して、対応するローカルゲーム機127A~127Dを介してネットワーク123に伝送することができる。また、いくつかの実施形態では、ゲームコントローラ125A~125Dは、WIFIネットワークなどのローカルエリアネットワークを通じてネットワーク123に信号を直接伝達することができる。また、いくつかの実施形態では、ローカル計算システム120A~120Dは、ユーザ/参加者A~D及び/またはユーザ/参加者A~Dが存在する環境の静止画像、ビデオ、及び/またはオーディオを取得するための対応するカメラ122A、122B、122C、122D(122A~122D)を含む。カメラ122A~122Dによって取得されたコンテンツは、対応するローカルゲーム機127A~127DのNICを使用して、対応するローカルゲーム機127A~127Dを介してネットワーク123に送信することができる。
【0014】
また、いくつかの実施形態では、ユーザ/参加者A~Dは、ローカル計算システム120A~120D以外のローカル計算デバイスでオンラインビデオゲームをプレイすることができる。例えば、いくつかの実施形態では、ユーザ/参加者A~Dのいずれかは、中でも、携帯電話、タブレット、ラップトップ、スマートカーシステムなどのモバイル計算デバイスでオンラインビデオゲームをプレイすることができる。また、いくつかの実施形態では、ユーザ/参加者A~Dは、デスクトップ計算システム上でオンラインビデオゲームをプレイすることができる。説明を簡単にするために、本明細書におけるローカル計算システム120A~120Dへの言及は、他の任意の計算デバイスへの言及も伝えており、これにおいて、ユーザ/参加者A~Dは、オンラインビデオゲームをプレイし、及び/またはクラウドゲームシステム101によって提供されるメディアアイテムを消費(視聴)することができる。
【0015】
さらに、様々な実施形態では、データ(ビデオストリームデータまたはオーディオデータまたは触覚フィードバックデータなど)は、ネットワーク123を介してクラウドゲームシステム101からローカル計算システム120A~120Dに伝達される。いくつかの実施形態では、データは、ネットワーク123を介してクラウドゲームシステム101からディスプレイデバイス126A~126Dに伝達される。いくつかの実施形態では、データは、ネットワーク123を介してクラウドゲームシステム101からローカルゲーム機127A~127Dに、また、ローカルゲーム機127A~127Dから対応するディスプレイデバイス126A~126Dに伝達される。また、いくつかの実施形態では、データは、ネットワーク123を介してクラウドゲームシステム101からゲームコントローラ125A~125Dに伝達される。
【0016】
ゲームプレイ中、ユーザ/参加者A~Dは、ネットワーク123を介してクラウドゲームサーバ103-1~103-Nに伝送されるゲームコマンドを生成する。いくつかの実施形態では、ユーザ/参加者A~Dは、ゲームコントローラ125A~125Dを使用してゲームコマンドを生成し、ゲームコマンドは、ゲームコントローラ125A~125Dからネットワーク123へ、そしてクラウドゲームサーバ103-1~103-Nへ信号形式で伝送される。
いくつかの実施形態では、ゲームコマンドは、ゲームコントローラ125A~125Dから対応するローカルゲーム機127A~127Dまたは対応するディスプレイデバイス126A~126Dに信号形式で伝送され、そこからゲームコマンドはネットワーク123を介してクラウドゲームサーバ103-1~103-Nに伝送される。
様々な実施形態では、ゲームコントローラ125A~125Dからネットワーク123への信号形式のゲームコマンドの伝送は、有線ネットワーク接続もしくは無線ネットワーク接続、またはそれらの組み合わせを介して行うことができる。クラウドゲームサーバ103-1~103-Nは、ユーザ/参加者A~Dから受信したゲームコマンドに従ってビデオゲームを実行し、ユーザ/参加者A~Dによるビデオゲームのプレイを反映するビデオストリーム(複数可)を生成する。ビデオストリーム(複数可)は、対応するディスプレイデバイス126A~126Dに表示するために、ネットワーク123を介してクラウドゲームサーバ103-1~103-Nからユーザ/参加者A~Dのローカル計算システム120A~120Dに伝送される。
【0017】
クラウドゲームサーバ103-1~103-Nは、ストレージサーバ107または他のクラウドベースのストレージシステムからゲームデータ113及びゲーム実行可能ファイル115をロードする。また、いくつかの実施形態では、クラウドゲームサーバ103-1~103-Nは、ストレージサーバ107または他のクラウドベースのストレージシステムから管理サーバ105-1~105-Xにユーザデータ111をロードする。
最新のビデオゲームでは、大量のユーザデータ111が生成される。ビデオゲーム及びビデオゲームプラットフォーム(ビデオゲーム機)に応じて、所定のユーザ/参加者A~Dのビデオゲーム用に生成される様々な種類のユーザデータ111が存在し得る。
例えば、いくつかの実施形態では、ユーザデータ111は、ユーザ/参加者A~Dの他の種類のデータの中でも、ユーザ/参加者A~Dのためのセーブデータ、ユーザ/参加者A~Dのためのダウンロードデータ、ユーザ/参加者A~Dのための記録データ111A(バッファ内の、または最近プレイされた時間の長さに対するユーザ/参加者A~Dのゲームプレイの記録)、ユーザ/参加者A~Dのトロフィーデータ、ユーザ/参加者A~Dのプロファイルデータ、ユーザ/参加者A~Dのビデオデータ、ユーザ/参加者A~Dのオーディオデータ、ユーザ/参加者A~Dの一時停止及び再開データ(特定の時間においてオンラインゲームシステムの全体的な状態を取得する)を含む。
セーブデータ111Aはユーザデータ111の一部であり、通常、特定のセーブ時間におけるゲームの状態とゲーム内のユーザ/参加者の状態に関するすべてのデータを含むビデオゲームのデータイメージである。ユーザ/参加者A~Dがビデオゲームをプレイするので、ユーザ/参加者A~Dのために作成された多くのセーブデータ111Aイメージが存在する可能性がある。例えば、いくつかの実施形態では、セーブデータ111Aの生成がトリガされる多くの他の時間/例の中でも、あるレベルから別のレベルに移行するとき、またはあるシーンから別のシーンに変わるときなど、ゲームプレイ中の特定の時点で、ユーザ/参加者A~Dのセーブデータ111Aが生成される。また、いくつかの実施形態では、セーブデータ111Aの生成は、ユーザ/参加者A~Dによるメニュー選択によってトリガされる。
【0018】
図2は、いくつかの実施形態に従って、クラウドゲームシステム101によって提供されるオンラインビデオゲームのプレイ中にユーザ/参加者Aに対してディスプレイデバイス126Aに表示される例示的なユーザインターフェース200を示す。ユーザインターフェース200は、どのユーザが現在オンラインビデオゲームにプレイヤーまたは観客として参加しているかを示すプレイヤー識別セクション201を含む。
プレイヤー識別セクション201は、ユーザ/参加者A~Dが現在オンラインビデオゲームに参加していることを示し、ユーザ/参加者Aの識別子を一意にマーク(例えば、網掛けで)して、ユーザインターフェース200がユーザ/参加者Aのゲームプレイまたは観戦状態に基づいて現在ユーザ/参加者Aに提供されていることを示す。ユーザインターフェース200は、ユーザ/参加者Aによるオンラインゲームの現在のプレイ/観戦に対応するゲームのビデオが表示されるビデオ表示領域203を含む。ユーザインターフェース200はまた、ビデオ表示領域203に現在表示されているゲームビデオに対応するタイムマーク205Aの表示を提供する時間表示205を含み、タイムマーク205Aは、オンラインゲームイベントの予想される期間に亘る時間の規模を表すタイムバー205Bに示される。
【0019】
ユーザインターフェース200はまた、ユーザ/参加者A~Dによって提供される様々なコミュニケーションが表示される通信表示領域207を含む。様々な実施形態において、通信表示領域207は、他の種類の通信データがある中でも、テキストデータ、音声データ、オーディオデータ、絵文字データ、画像データ、カメラで取得したビデオデータ、カメラで取得した画像データ、タグのデータ、及びコントローラデバイスの入力データなどの本質的に任意のタイプのユーザ通信(参加者生成コンテンツ)を提示(表示及び/またはリンク)するために備えられる。
いくつかの実施形態では、通信表示領域207の中に提示される各アイテムは、通信に貢献したユーザ/参加者A~Dによって識別子と併せて提示される。いくつかの実施形態では、オーディオ、ビデオ、及び画像コンテンツへのリンクは、通信表示領域207内からアクティブ化可能である。例えば、いくつかの実施形態では、オーディオリンク209を選択すると、対応するオーディオファイルが再生される。また、いくつかの実施形態では、オーディオ通信は、クラウドゲームシステム101によってテキストメッセージに自動転写され、オーディオリンク209に対応するテキストメッセージ209Aによって例示されるように、自動転写されたテキストメッセージが通信表示領域207に表示される。
スクロール制御211は、通信表示領域207の中に表示されるコンテンツを移動するために提供される。いくつかの実施形態では、通信表示領域207の内部に提示されるアイテムは、ビデオ表示領域203に表示されるゲームのビデオに対してタイムインデックスが付けられる。いくつかの実施形態では、ユーザインターフェース200は、ユーザ/参加者A~Dが通信表示領域207の内部に表示するためのコンテンツを提供できるようにするユーザ通信入力制御213も含み、コンテンツは、他の種類のコンテンツがある中でも、テキスト、オーディオ、ビデオ、絵文字、及び画像データのうちの1つまたは複数の指定である。
【0020】
ユーザインターフェース200は、ユーザ/参加者A~Dがビデオ表示領域203に表示されたビデオにタグを配置できるようにするタグ付け制御215も含む。いくつかの実施形態では、タグ制御215の選択により、ユーザ/参加者A~Dがビデオ表示領域203の内部の位置を選択してタグを配置するプロセスが開始される。様々な実施形態において、タグは、とりわけ、テキスト、オーディオ、ビデオ、絵文字、及び画像データのうちの1つまたは複数である、何らかの関連コンテンツを有する。
タグは、ビデオ表示領域203に表示されるビデオの内部のユーザが選択したピクセル位置に配置される。タグは、ユーザが選択したピクセル位置に関連付けられる。タグはまた、タグが配置されたときにビデオ表示領域203に表示されるビデオに対してタイムインデックスが付けられる。いくつかの実施形態では、タグは、タグがタイムインデックスを付けられているビデオフレームのセットの中のビデオフレームを表示している間に表示されるように、ビデオフレームのセットに対してタイムインデックスが付けられる。
いくつかの実施形態では、タグ付け制御215を選択すると、ビデオ表示領域203に現在表示されているビデオが凍結され、ユーザ/参加者A~Dがタグのコンテンツを指定できるようにする。しかし、いくつかの実施形態では、ユーザ/参加者A~Dがタグのコンテンツを指定するとき、タグ付け制御215を選択することが、ビデオ表示領域203に現在表示されているビデオを凍結しない。また、いくつかの実施形態では、時間表示205は、ビデオ表示領域203の内部にビデオの所望のフレームを表示するために、ユーザ/参加者A~Dがタイムマーク205Aを選択し、タイムバー205Bに沿って移動できるように構成され、それにはタグが付けられることになる。いくつかの実施形態では、ユーザ/参加者A~Dによるタグの挿入が通信表示領域207の内部に示される。
例えば、
図2は、ユーザ/参加者Aによって通信表示領域207に入力されたタグT1を示している。タグT1は、ビデオ表示領域203に現在表示されているビデオの内部のピクセル位置217に互いに関連付けられ、タグT1にはオーディオコンテンツが含まれている。いくつかの実施形態では、ビデオ表示領域203及び/または通信表示領域207におけるタグの選択により、タグのコンテンツの表示/再生がトリガされる。例えば、ビデオ表示領域203のタグT1を選択すると、タグT1のオーディオコンテンツが再生される。
【0021】
いくつかの実施形態では、ユーザインターフェース200は、ユーザ/参加者A~Dが、現在進行中のグループプレイイベント(マルチプレイヤーオンラインゲーム)及び/またはグループ視聴イベントに参加するように別の人をユーザインターフェース200の中に招待できるようにする、招待制御219も含む。いくつかの実施形態では、招待制御219の選択により、ユーザ/参加者A~Dは、参加を招待される人の識別子を指定すること、及び/またはその人を参加のため招待する電子メール、テキストメッセージ、または他のタイプのメッセージを送信することが可能になる。
いくつかの実施形態では、新規ユーザ/参加者が、ユーザインターフェース200の内部で現在進行中のグループプレイイベント(マルチプレイヤーオンラインゲーム)及び/またはグループ視聴イベントに参加するとき、新規ユーザ/参加者は、グループプレイイベント(マルチプレイヤーオンラインゲーム)及び/またはグループ視聴イベントの概要を見て、起こったことや、起こっていることについて手早く知ることを所望する場合がある。これに関して、ユーザインターフェース200は、概要要求制御221を含み、これは、選択されるときに、クラウドゲームシステム101で生成される動的要約キューから概要要求者にオーディオビジュアルの概要を提供するためのプロセスをトリガする。
【0022】
図3は、いくつかの実施形態による、概要要求制御221の選択時にユーザ/参加者A~Dに対してディスプレイデバイス126Dに表示されるユーザインターフェース300の例を示す。いくつかの実施形態では、ユーザインターフェース300は、概要を要求しなかった他のユーザ/参加者A~Cの1人以上によるオンラインゲームの現在のプレイに対応する、ゲームビデオが表示されるビデオ表示領域301を含む。ユーザインターフェース300は、ビデオ表示領域301に現在表示されているゲームビデオに対応するタイムマーク305Aの表示を提供する時間表示305も含み、タイムマーク305Aは、オンラインゲームイベントの予想される期間に亘る時間の規模を表すタイムバー305Bに示される。
【0023】
ユーザインターフェース300は、グループプレイイベント(マルチプレイヤーオンラインゲーム)及び/またはグループ視聴イベントのオーディオビジュアル概要が、クラウドゲームシステム101で生成される動的要約キューから概要の要求者に提示されるビデオ表示領域303を含む。
ユーザインターフェース300はまた、ビデオ表示領域303に現在表示されている概要コンテンツに対応するタイムマーク307Aの表示をもたらす時間表示307を含み、タイムマーク307Aは、クラウドゲームシステム101の動的要約キューの現在のコンテンツにとっての時間の規模を表すタイムバー307Bに示される。いくつかの実施形態では、タイムマーク307Aは、タイムバー307Bに沿ってドラッグ可能であり、動的要約キューのコンテンツを介するユーザによるナビゲーションを可能にする。
いくつかの実施形態では、タイムバー307BはセグメントS1~S(L)に区切られ、Lはゼロより大きい任意の整数である。セグメントS1~S(L)のそれぞれは、グループプレイイベント(マルチプレイヤーオンラインゲーム)及び/またはグループ視聴イベントの履歴コンテンツのタイムラインの連続部分に対応する。いくつかの実施形態では、ユーザインターフェース300は、ビデオ表示領域303及び時間表示307を含むが、ビデオ表示領域301及びビデオ表示領域305は含まない。
【0024】
ユーザインターフェース300はまた、ビデオ表示領域303に現在または最近表示されている動的要約キュー(概要)コンテンツに関連する様々な過去のユーザ/参加者提供コンテンツを表示するための通信表示領域309を含む。様々な実施形態において、通信表示領域309は、他の種類の通信データがある中でも、テキストデータ、音声データ、オーディオデータ、絵文字データ、画像データ、カメラで取得したビデオデータ、カメラで取得した画像データ、タグのデータ、及びコントローラデバイスの入力データなどの本質的に任意のタイプのユーザ/参加者提供コンテンツ(参加者生成コンテンツ)を提示(表示及び/またはリンク)するために備えられる。
いくつかの実施形態では、通信表示領域309の中に提示されるコンテンツの各アイテムは、コンテンツに貢献したユーザ/参加者A~Dによって識別子と併せて提示される。いくつかの実施形態では、オーディオ、ビデオ、及び画像コンテンツへのリンクは、通信表示領域309内からアクティブ化可能である。例えば、いくつかの実施形態では、オーディオリンク310Aを選択すると、対応するオーディオファイルが再生される。また、いくつかの実施形態では、オーディオ通信は、クラウドゲームシステム101によってテキストメッセージに自動転写され、オーディオリンク310Aに対応するテキストメッセージ310Bによって例示されるように、自動転写されたテキストメッセージが通信表示領域309に表示される。スクロール制御311は、通信表示領域309の内部でユーザ/参加者が提供するコンテンツをナビゲートするために提供される。いくつかの実施形態では、通信表示領域309の内部に提示されるユーザ/参加者提供のコンテンツアイテムは、ビデオ表示領域303に表示される動的要約キュー(概要)のコンテンツに対してタイムインデックスが付けられる。
【0025】
また、いくつかの実施形態では、動的要約キューは、ユーザインターフェース300の内部に提供される共有概要制御315を選択することによって、別のユーザ/参加者と共有することができる。例えば、いくつかの実施形態では、共有概要制御315の選択は、動的要約キューが共有されるべき人物の識別子を選択することができるインターフェースをトリガする。いくつかの実施形態では、共有概要制御315の選択は、動的要約キューが共有される相手に電子メール及び/またはメッセージが送信されるインターフェースをトリガする。いくつかの実施形態では、動的要約キューの共有は、グループプレイイベント(マルチプレイヤーオンラインゲーム)及び/またはグループ視聴イベントのユーザ/参加者の身元が秘密に保たれるように、プライベート及び/または匿名の方法で行われる。いくつかの実施形態では、ユーザインターフェース300はまた、選択されるとユーザインターフェース300を閉じ、ユーザ/参加者を
図2のユーザインターフェース200などの別のユーザインターフェースに戻す、終了概要制御317を含む。
【0026】
クラウドゲームシステム101で動的要約キューを生成し、要求者に動的要約キューを提供することにより、オンライングループイベント(オンラインビデオゲームやメディアアイテムの提示)に遅れて参加する要求者が、オンライングループイベントの間に起こったことについて、迅速に手早く知ることができる。また、動的要約キューのコンテンツは、グループイベント中にグループ内の他のユーザ/参加者によって提供された履歴入力コンテンツに基づいて選択/生成されることも理解されたい。
このように、動的要約キューのコンテンツは、グループイベントの間のグループ内の他のユーザ/参加者の過去の考えや行動を反映している。また、
図1~3の例は主にオンラインビデオゲームのグループプレイという状況で説明されているが、本明細書で開示される動的要約キューの生成及び提供の原理は、本質的にあらゆるタイプのメディアアイテムのマルチユーザ/参加者のオンライン消費(視聴)に同様に適用できることを理解されたい。したがって、いくつかの実施形態では、動的要約キューが生成されるメディアアイテムは、ビデオゲームのゲームビデオ及びオーディオのストリームである。また、いくつかの実施形態では、動的要約キューが生成されるメディアアイテムは、オーディオビジュアルプレゼンテーションであり、オーディオビジュアルプレゼンテーションは、映画、テレビ番組、現実世界のスポーツイベント、電子スポーツイベント、オンラインショー、オンラインビデオ、及び/またはアップロードされたビデオ、その他の本質的にいずれかの種類のオーディオビジュアルプレゼンテーションの1つ以上である。以下の動的要約キューの生成及び提供を説明する際、「メディアアイテム(media item)」という用語は、動的要約キューが生成されるコンテンツを指すために使用される。
【0027】
図4は、いくつかの実施形態による、メディアアイテム415の動的要約キュー425を生成及び提供するシステム400の図を示す。メディアアイテム415がオンライングループイベントの中でユーザ/参加者A~Dによって消費(視聴)されると、異なるユーザ/参加者A~Dは、それぞれの入力チャネル401A、401B、401C、401D(401A~401D)を時間の関数として生成する。入力チャネル401A~401Dを総称して入力チャネル401と呼ぶ。入力チャネル401は、ユーザ/参加者A~Dがメディアアイテム415を消費するときに提供される、様々なタイプのユーザ/参加者生成コンテンツを含む。様々な実施形態において、入力チャネル401内部のユーザ/参加者生成コンテンツのタイプは、所与のユーザ/参加者A~Dがメディアアイテム415を消費するときに所与のユーザ/参加者A~Dに関連付けることができる本質的にいずれかの他のタイプのデータの中でも、テキストデータ、音声データ、オーディオデータ、絵文字データ、画像データ、カメラで取得されたビデオデータ、カメラで取得された画像データ、タグのデータ、及びコントローラデバイス入力データのうちの1つまたは複数が含まれる。
様々な実施形態において、グループ内のユーザ/参加者A~Dは、本質的に任意のタイプの入力を提供し、その入力をメディアアイテム415及び/またはメディアアイテム415の中の特定の機能と、メディアアイテム415のタイムラインの特定の時点に関連付けることができる。例えば、いくつかの実施形態では、入力チャネル401は、メディアアイテム415が消費されるときに、ユーザ/参加者A~Dが時間の関数として入力を提供するチャットストリームを含むことができ、ユーザ/参加者が生成した入力は、メディアアイテム415のタイムラインにタイムインデックスが付けられる。入力チャネル401は、ユーザ/参加者A~Dがメディアアイテム415を消費するときにユーザ/参加者A~Dにより生成されるため、入力チャネル401の中のコンテンツの各アイテムとメディアアイテム415のタイムラインとの間には時間的相関が存在する。いくつかの実施形態では、入力チャネル401は、ユーザ/参加者A~D自身のカメラで取得された画像及び/またはビデオを含み、これらはシステム400内で分析されて、他の種類の入力情報の中でも、反応、顔の表情、ジェスチャなどの入力情報を取得することができる。
【0028】
システム400は、入力チャネル401のコンテンツを時間の関数として分析し、メディアアイテム415のどの部分が時間の関数として動的要約キュー425の中に含まれるかについての情報を取得/決定するように動作する。グループ内のユーザ/参加者A~Dによって提供される入力チャネル401は、メディアアイテム415のコンテキスト内で分析されて、メディアアイテム415のどの部分が他の部分よりも関連性が高いかを判断し、メディアアイテム415のこれらのより関連性の高い部分が、動的要約キュー425に含めるために識別される。また、システム400は、メディアアイテム415のコンテンツ自体を時間の関数として分析し、メディアアイテム415のどの部分が時間の関数として動的要約キュー425の中に含まれるかについての情報を取得/判定するように動作する。また、いくつかの実施形態では、メディアアイテム415の状態データ及び/またはメタデータ(状態/メタデータ417)は、メディアアイテム415のどの部分を時間の関数として動的要約キュー425内に含めるべきかについての情報を取得/判定するために、時間の関数として分析される。
【0029】
動的要約キュー425は、グループ内のユーザ/参加者A~Dによって提供された入力チャネル401のコンテンツの分析に基づいて、グループ内のユーザ/参加者A~Dが最も関連性があると考えたメディアアイテム415の部分を含む。したがって、メディアアイテム415の動的要約キュー425は、新しいユーザ/参加者A~Dがグループに到着する前にメディアアイテム415の消費に参加したグループ内の他のユーザ/参加者A~Dによって提供された入力チャネル401の分析に基づいて関連すると考えられるメディアアイテム415の部分を示すことによって、グループ内の新しいユーザ/参加者A~Dが迅速に手早く知ることを可能にする。動的要約キュー425は常に動的に生成される。動的要約キュー425のコンテンツは、時間の関数としてグループ内のユーザ/参加者A~Dによって提供される入力チャネル401のコンテンツの処理に基づいており、入力チャネル401のコンテンツは時間の関数として変更される可能性があり、グループ内のユーザ/参加者A~Dの構成は時間の関数として変化にさらされる。
したがって、グループ内のユーザ/参加者A~Dによって提供される入力チャネル401内のコンテンツが変化する場合、動的要約キュー425のコンテンツが変化する可能性がある(動的である)。例えば、入力チャネル401のコンテンツが、メディアアイテム415のタイムラインの後半で起こる、グループ内のユーザ/参加者A~Dの行動、発言、表現、反応、感情、性格などの変化を含む場合、その変更を使用して、メディアアイテム415のタイムラインで以前に受信された入力チャネル401のコンテンツに基づいて以前に決定された動的要約キュー425のコンテンツを更新することができる。したがって、いくつかの実施形態では、動的要約キュー425は、動的要約キュー425にすでに配置されているコンテンツが、入力チャネル401の中で後で受信される情報に基づいて変更される可能性があるという意味で動的である。
【0030】
いくつかの実施形態では、入力チャネル401は、特徴セレクタ403を通じて処理されて、入力チャネル401から特徴を選択する。いくつかの実施形態では、特徴セレクタ403は、入力チャネル401を定義するデータがシステム400によって受信されると、入力チャネル401をリアルタイムで自動的に解析して入力チャネル401からの特徴を選択するコンピューティングシステムで実行されるアルゴリズム/プログラムである。入力チャネル401から選択される特徴は、ユーザ/参加者A~Dが消費するメディアアイテム415にユーザ/参加者A~Dがどのように応答するかについての情報を伝える様々なタイプの入力である。
様々な実施形態において、特徴は、入力チャネル401内部のユーザ/参加者生成コンテンツ、例えば所与のユーザ/参加者A~Dがメディアアイテム415を消費するときに所与のユーザ/参加者A~Dに関連付けることができる本質的にいずれかの他のタイプのデータの中でも、テキストデータ、音声データ、オーディオデータ、絵文字データ、画像データ、カメラで取得されたビデオデータ、カメラで取得された画像データ、タグのデータ、及びコントローラデバイス入力データのうちの1つまたは複数が含まれる。いくつかの実施形態では、特徴セレクタ403は、ユーザ/参加者A~Dが消費したメディアアイテム415にユーザ/参加者A~Dがどのように応答したかを判定するのに冗長である、及び/または無関係である、入力チャネル401内の入力項目を削除するように動作する。
【0031】
特徴セレクタ403によって入力チャネル401から選択された特徴は、入力特徴として、入力特徴から新しい特徴を抽出/導出するように動作する特徴抽出器405に提供され、これらの新しい特徴は、抽出された特徴407と呼ばれる。いくつかの実施形態では、特徴抽出器405は、特徴セレクタ403から受け取った入力特徴からリアルタイムで特徴を自動的に抽出/導出するコンピューティングシステムで実行されるアルゴリズム/プログラムである。いくつかの実施形態では、抽出された特徴は、ユーザ/参加者A~Dによって消費されたメディアアイテム415に対してユーザ/参加者A~Dがどのように反応したかを示す情報となるように定義される。また、いくつかの実施形態では、抽出された特徴は、冗長にならないように定義される。いくつかの実施形態では、抽出された特徴407は、メディアアイテム415を消費している間にユーザ/参加者A~Dから入力チャネル401で受信された情報のリアルタイムの動的統合を総括的に表す。
【0032】
いくつかの実施形態では、抽出された特徴407は、抽出された特徴407が複数のカテゴリのうちのどれに属するかを判定するように動作する特徴分類器409への入力として提供される。いくつかの実施形態では、抽出された特徴407のカテゴリ属性に関する情報が抽出された特徴407に付加されて、機械学習モデル413への入力として提供される分類された特徴のセット411が生成される。機械学習モデル413は、メディアアイテム415のどの部分及び/または入力チャネル401内の情報のどの部分が動的要約キュー425の中に含まれるかを自動的に判定するコンピューティングシステムで実行されるアルゴリズム/プログラムである。いくつかの実施形態では、機械学習モデル413は、コンテンツベースのフィルタリングアルゴリズム及び/または協調フィルタリングアルゴリズム及び/またはメディアアイテム415のどの部分及び/または入力チャネル401内の情報のどの部分が、メディアアイテム415を消費するときに、ユーザ/参加者A~Dによってより適切性があるとみなされたかを判定するための他のアプローチを実装する要求者システムである。いくつかの実施形態では、メディアアイテム415及びメディアアイテム415の状態/メタデータ417は、機械学習モデル413への入力として提供される。
【0033】
また、いくつかの実施形態では、システム400は、メディアアイテム415、メディアアイテム415の状態/メタデータ417、特徴セレクタ403によって入力チャネル401から選択された特徴、特徴抽出器405によって出力された抽出された特徴407、及び特徴分類器409によって出力された分類された特徴のセット411うちの1つまたは複数に関連するコンテキストを自動的に判定/識別するコンピューティングシステムで実行されるアルゴリズム/プログラムとして実装されるコンテキスト分析エンジン418を含む。様々な実施形態において、コンテキスト分析エンジン418によって所与の情報の一部または情報のセットに対して判定/識別されたコンテキストは、機械学習モデル413への入力として提供される。例えば、いくつかの実施形態では、コンテキスト分析エンジン418によって所与の情報の一部または情報のセットに対して判定/識別されたコンテキストは、メディアアイテム415の中の特定のシーンなど、メディアアイテム415の特定の部分の説明または特徴付けである。
【0034】
特徴セレクタ403、特徴抽出器405、特徴分類器409、コンテキスト分析エンジン418、及び機械学習モデル413は、システム400の例示的な実施形態を表すことを理解されたい。他の実施形態では、システム400は、ユーザ/参加者A~Dによるメディアアイテム415の消費中に入力チャネル401に提供されるユーザ/参加者により生成された入力に基づいて、メディアアイテム415のどの部分がグループのユーザ/参加者A~Dとの関連性が高いと考えられるかを識別する機能を有する、本質的に任意のタイプの機械学習アプローチを実装することができる。システム400によって実装される特定のタイプの機械学習アプローチに関係なく、いくつかの実施形態では、機械学習モデル413は、動的要約キュー425に含めるためのコンテンツの推奨を生成するためにクエリされることができる。いくつかの実施形態では、機械学習モデル413は、ユーザ/参加者A~Dによるメディアアイテム415の消費中、入力チャネル401で提供されたユーザ/参加者が生成した情報に基づいて、動的要約キュー425に含めるコンテンツの推奨を生成するために、機械学習モデル413のクエリをトリガする概要要求419を受信する。いくつかの実施形態では、概要要求419は、
図2の概要要求制御221の選択に応じてトリガされる。
【0035】
システム400は、機械学習モデル413によって生成された動的要約キュー425に含めるためのコンテンツの推奨に対応する動的要約キューデータ421を収集/コンパイルするように動作する。いくつかの実施形態では、動的要約キューデータ421は、メディアアイテム415の様々な部分のビデオデータ及び/またはオーディオデータを含む。また、いくつかの実施形態では、動的要約キューデータ421は、動的要約キュー425の中に含まれるメディアアイテム415の部分に対応する、入力チャネル401で受信された情報の一部をさらに含む。また、いくつかの実施形態では、システム400は、動的要約キュー425の中に含まれるメディアアイテム415の1つ以上の部分のコンピュータ生成の自然言語テキスト及び/またはオーディオ/口頭要約を作成するように動作する自然言語生成器420を含む。いくつかの実施形態では、自然言語生成器420は、要約される情報を指定する機械学習モデル413から入力データを受け取り、受信した入力データの自然言語のテキスト及び/またはオーディオ要約を生成するコンピューティングシステムで実行されるアルゴリズム/プログラムである。
【0036】
動的要約キューデータ421は、動的要約キューデータ421を動的要約キュー425にアセンブルするように動作する動的要約キューアセンブラ423に提供される。また、システム400は、動的要約キュー425のコンテンツを、要求された概要ストリーム427として、概要要求419を受信した要求者のコンピュータシステムに送信するように構成されている。いくつかの実施形態では、要求された概要ストリーム427は、ビデオ及びオーディオデータを含むビデオストリームである。いくつかの実施形態では、システム400は、インターネットを介して要求者のコンピュータシステムに送信する前に、要求された概要ストリーム427を符号化するように構成されている。様々な実施形態において、システム400は、要求された概要ストリーム427を要求者のコンピュータシステムに送信するために、インターネットを介してデータを送信するための本質的に任意の技術を実装することができる。いくつかの実施形態では、要求された概要ストリーム427は、
図4のユーザインターフェース300のビデオ表示領域303に示される。
【0037】
所与の時点における動的要約キュー425のコンテンツは、機械学習モデル413に提供される入力の関数である。いくつかの実施形態では、動的要約キュー425の要求者には、動的要約キュー425の生成をカスタマイズする能力が提供される。例えば、
図3を参照すると、いくつかの実施形態では、ユーザインターフェース300は、選択されると、動的要約キュー425の要求者が、動的要約キュー425の生成のための様々なオプションをカスタマイズできるようにするユーザインターフェースの表示をトリガする概要オプション制御313を含む。
【0038】
図5Aは、いくつかの実施形態に従って、動的要約キュー425の要求者が動的要約キュー425の生成方法をカスタマイズできるようにするための様々な制御を提供する例示的なユーザインターフェース500を示す。いくつかの実施形態では、ユーザ/参加者A~Dが概要オプション制御313を選択すると、ユーザインターフェース500が表示される。いくつかの実施形態では、概要オプションユーザインターフェース500は、参加者ベース制御501、時間枠制御503、概要分解制御505、イベントタイプ制御507、及び表示タイプ制御509のうちの1つまたは複数を提供し、これらは集合的に、概要オプションとして示される。いくつかの実施形態では、ユーザインターフェース500は、概要オプションのそれぞれに対する現在の設定の表示を提供する。
また、いくつかの実施形態では、ユーザインターフェース500は、概要オプションのそれぞれに対してそれぞれの「変更(Change)」制御を提供し、選択されると、対応する概要オプションの現在の設定を変更するための別のユーザインターフェースの表示をトリガする。また、いくつかの実施形態では、ユーザインターフェース500は、各概要オプションに対してそれぞれの「リセット(Reset)」制御を提供し、これが選択されると、対応する概要オプションがデフォルト設定にリセットされる。
【0039】
図5Bは、いくつかの実施形態による、
図5Aのユーザインターフェース500の参加者ベース制御501の中で「変更」制御が選択されたときに表示されるユーザインターフェース511の例を示す。ユーザインターフェース511は、動的要約キュー425(概要:recap)の要求者が、グループ内のどのユーザ/参加者A~Dを動的要約キュー425を生成するための入力ソースとして使用するかを選択できるようにする。いくつかの実施形態では、ユーザインターフェース511は、ユーザ/参加者A~Dのそれぞれに対する変更制御513を含み、これが選択されると、ユーザ/参加者A~Dの現在の参加者ベースの設定を「含める(include)」と「除外する(exclude)」との間で切り替える。
所与のユーザ/参加者A~Dが「含める」の現在の参加者ベース設定を有する場合、所与のユーザ/参加者A~Dに関連付けられた入力チャネル401は、動的要約キュー425を生成する際にシステム400によって使用されることになる。逆に、所与のユーザ/参加者A~Dが「除外する」の現在の参加者ベース設定を有する場合、所与のユーザ/参加者A~Dに関連付けられた入力チャネル401は、動的要約キュー425を生成する際にシステム400によって使用されないことになる。したがって、参加者ベース制御501を使用することによって、動的要約キュー425の要求者は、どのユーザ/参加者A~D入力チャネル401が動的要約キュー425を生成するための基礎として使用されるかをカスタマイズすることができる。
【0040】
例えば、動的要約キュー425の要求者が、ユーザ/参加者A及びCと同様の興味及び/または嗜好を持っていることを知っているが、要求者がユーザ/参加者B及びDを知らない場合、
図5Bの例に示すように、要求者は動的要約キュー425の生成において、ユーザ/参加者A及びCを「含める」とともに、ユーザ/参加者B及びDを「除外する」参加者ベース制御501を使用することができる。このようにして、動的要約キュー425の要求者は、動的要約キュー425のコンテンツが自分の興味及び/または嗜好とより一致するものであると確信することができる。別の例では、動的要約キュー425の要求者がグループ内のユーザ/参加者A~Dを知らない場合、要求者は参加者ベース制御501を使用して、すべてのユーザ/参加者A~Dを「含める」ことができ、要求者が動的要約キュー425を見るとき、要求者はメディアアイテム415について最新の情報を手早く知ることができるだけでなく、グループ内のユーザ/参加者A~Dの興味及び/または好みが自分の興味及び/または好みと一致するかどうかを判断することもできるだけでなく、動的要約キュー425の要求者は、グループイベントにユーザ/参加者A~Dとともに参加したいかどうかについて情報に基づいた決定を下すことができる。いくつかの実施形態では、参加者ベース制御501のデフォルト設定は、すべての入力チャネル401A~401Dが動的要約キュー425の生成に使用されるように、グループ内のすべてのユーザ/参加者A~Dを「含める」ものである。
【0041】
図5Cは、いくつかの実施形態による、
図5Aのユーザインターフェース500の時間枠制御503の中で「変更」制御が選択されたときに表示されるユーザインターフェース515の例を示す。時間枠制御503により、動的要約キュー425の要求者は、動的要約キュー425が生成されるメディアアイテム415のタイムラインに沿った時間枠を選択できるようになる。いくつかの実施形態では、時間枠制御503により、ユーザは、メディアアイテム415のタイムラインの開始(時間0:00)からユーザ/参加者のグループA~Dに対して進行中のメディアアイテム415のライブ再生の現在時刻に亘る全体の時間の範囲にある、動的要約キュー425の生成のための時間枠516を選択することができる。いくつかの実施形態では、時間枠制御503は、動的要約キュー425の生成のための時間枠516を設定できる全体の時間の範囲を表すタイムバー517を提供する。また、いくつかの実施形態では、時間枠制御503は、第1のスライダ制御519を含み、これは、要求者によってタイムバー517に沿ってスライド可能で、動的要約キュー425の生成に使用される時間枠516のためのメディアアイテム415のタイムラインに沿って、開始時刻を設定する。また、いくつかの実施形態では、時間枠制御503は、第2のスライダ制御521を含み、これは、要求者によってタイムバー517に沿ってスライド可能で、動的要約キュー425の生成に使用される時間枠516のためのメディアアイテム415のタイムラインに沿って、終了時刻を設定する。このようにして、動的要約キュー425は、第1のスライダ制御519の設定に対応する開始時刻から第2のスライダ制御521の設定に対応する終了時刻まで延びるメディアアイテム415のタイムラインに沿った時間枠516にわたって生成されることになる。
【0042】
また、いくつかの実施形態では、時間枠制御503は、参加者ベース制御501によって現在設定されているように、動的要約キュー425の生成に現在含まれているユーザ/参加者A~Dに関連する入力チャネル401に基づいて、関心の表示(I)及び/または関心のあるイベント(E)がメディアアイテム415のタイムラインに沿って存在し得る時間的位置の表示を提供する。関心の表示(I)及び/または関心のあるイベント(E)がメディアアイテム415のタイムラインに沿って存在し得る時間的位置は、メディアアイテム415のどの部分が動的要約キュー425を生成するための時間枠516内に含めるためにより望ましいかを識別する際の補助として要求者によって使用され得る。
いくつかの実施形態では、第2のスライダ制御521がメディアアイテム415のライブ再生の現在時刻に設定されている場合、システム400は、動的要約キュー425が要求者にストリーミングされるにつれて、動的要約キュー425にコンテンツを追加し続けるように動作し、そのため、要求者が動的要約キュー425の終わりに到達すると、要求者はメディアアイテム415のライブ再生の現在時刻になる。また、いくつかの実施形態では、要求者が動的要約キュー425の終わりに到達すると、要求者はグループ内の他のユーザ/参加者A~Dとともにメディアアイテム415のライブ再生の視聴にすぐに入る。例えば、要求者が動的要約キュー425の終わりに到達すると、要求者に現在表示されているユーザインターフェースは、
図3のユーザインターフェース300から
図2のユーザインターフェース200に自動的に変化する。
【0043】
図5Dは、いくつかの実施形態による、
図5Aのユーザインターフェース500の概要分解制御505の中で「変更」制御が選択されたときに表示されるユーザインターフェース523の例を示す。概要分解制御505により、要求者は、動的要約キュー425のコンテンツ分解を設定して、動的要約キュー425内にどの程度のコンテンツが含まれるかを制御することができる。いくつかの実施形態では、ユーザインターフェース523は、分解バー525と、要求者によって分解バー525に沿ってスライド可能なスライダ制御527とを含む。
スライダ制御527を分解バー525の「詳細少(Less Detail)」である端部に向けて配置すると、動的要約キュー425がより少ないコンテンツで(より短く)生成されることになる。逆に、スライダ制御527を分解バー525の「詳細多(More Detail)」である端部に向けて配置することは、動的要約キュー425がより多いコンテンツで(より長く)生成されることを引き起こす。また、いくつかの実施形態では、ユーザインターフェース523は、要求者が動的要約キュー425の中に含まれるセグメントの数(またはセグメントの最大数)を示す整数値を入力できるフィールド529を含み、セグメントは、メディアアイテム415の再生タイムラインの連続部分に対応する。また、いくつかの実施形態では、ユーザインターフェース523は、要求者が動的要約キュー425内の各セグメントに使用される時間の長さ(または最長時間の長さ)を入力できるフィールド531を含む。
【0044】
図5Eは、いくつかの実施形態による、
図5Aのユーザインターフェース500のイベントタイプ制御507の中で「変更」制御が選択されたときに表示されるユーザインターフェース533の例を示す。イベントタイプ制御507は、動的要約キュー425の要求者が、メディアアイテム415内で関心があり、動的要約キュー425に含めることを考慮するはずの特定のタイプのイベントを指定できるようにする。いくつかの実施形態では、ユーザインターフェース533は、メディアアイテム415内で発生でき、動的要約キュー425内に含めるために要求者による選択に現在利用可能な様々なイベントを指定するカスタムイベント設定チャート534を含む。
いくつかの実施形態では、カスタムイベント設定チャート534は、メディアアイテム415内で発生する可能性のある様々なイベントの簡単な説明を含むイベント記述子列543を含む。メディアアイテム415内で発生する可能性のあるイベントのタイプ、及びそれらに対応する簡単な説明は、メディアアイテム415の主題に依存する。例えば、メディアアイテム415が自動車レース(現実世界またはコンピュータゲームのいずれかで発生する)のビデオである場合、メディアアイテム415内で発生する可能性のある例示的ないくつかのイベントには、グリーンフラッグ、イエローフラッグ、チェッカーフラッグ、クラッシュ、スピンアウト、パス、ブロック、ピットなどが含まれ得、例えば
図5Eのカスタムイベント設定チャート534の例に示されるものがある。
【0045】
いくつかの実施形態では、カスタムイベント設定チャート534は、イベント記述子列543の対応する行に記載されているイベントが、動的要約キュー425を生成するための基礎に含めるためにアクティブであるか非アクティブであるかを示すイベントステータス列545を含む。いくつかの実施形態では、所与のイベントに対するイベントステータス列545の「はい(Yes)」の設定は、所与のイベントが、動的要約キュー425が生成される時間枠516の間にメディアアイテム415の内部で発生した場合に、動的要約キュー425を生成するための基礎の一部として含められることを示す。
逆に、所与のイベントに対するイベントステータス列545の「いいえ(No)」の設定は、所与のイベントが、動的要約キュー425が生成される時間枠516の間にメディアアイテム415の内部で発生した場合に、動的要約キュー425を生成するための基礎の一部として含まれないことを示す。いくつかの実施形態では、カスタムイベント設定チャート534は、選択されるとイベントステータス列545の対応する行の設定が「はい」と「いいえ」の間で切り替わる、及びその逆である「変更」制御を含む調整列547を含む。
また、いくつかの実施形態では、カスタムイベント設定チャート534は、選択されると、リストされたすべてのイベントのイベントステータス列の設定が「いいえ」に設定される大局的「いいえ」制御549を含む。また、いくつかの実施形態では、カスタムイベント設定チャート534は、選択されると、リストされたすべてのイベントのイベントステータス列の設定が「はい」に設定される大局的「はい」制御551を含む。いくつかの実施形態では、リストされたすべてのイベントのイベントステータス列のデフォルト設定は「はい」である。
【0046】
いくつかの実施形態では、カスタムイベント設定チャート534は、イベント記述子列543の対応する行に記載されているように、イベントの重み付けをイベントに対して指定することができるイベント強度列541を含む。いくつかの実施形態では、所与のイベントのイベント重み付けは、1から10のスケールで指定され、1が最も低い重み付けであり、10が最も高い重み付けである。イベント強度列541に列挙されるイベント重み付けは、動的要約キュー425内に含めるための他のイベントよりも高い優先順位を付けるイベントを判定するために、システム400によって使用される。特に、概要分解制御505の現在の設定で対応できるものよりも、動的要約キュー425と共に含めるのに利用できるより多くのコンテンツがあるときである。様々な実施形態において、イベント重み付けに使用されるスケールは、どのイベントが他のイベントよりも重要であるかを判定できるように、イベント重み付け入力の標準化を提供する本質的に任意の方法で定義することができる。
【0047】
いくつかの実施形態では、ユーザインターフェース533は、選択されると、要求者が新しいイベント(新しい行)をカスタムイベント設定チャート534に追加できるようにするカスタムイベント追加制御553を含む。また、いくつかの実施形態では、ユーザインターフェース533は、選択されると、カスタムイベント設定チャート534のすべての設定を、イベントタイプ制御507選択に応じてユーザインターフェース533が表示されたときに存在したそれぞれの値にリセットする、リセットイベント制御555を含む。
また、いくつかの実施形態では、ユーザインターフェース533は、自動イネーブル制御535及びカスタムイネーブル制御537を含む。自動イネーブル制御535の選択は、メディアアイテム415内で発生するイベントのうちどれを動的要約キュー425を生成するための基礎の中に含めるべきかを決定する際に、システム400内の機械学習モデル413の使用に関与する。カスタムイネーブル制御537の選択は、メディアアイテム415内で発生するイベントのどれを動的要約キュー425を生成するための基礎の中に含めるべきかを決定する際に、システム400によるカスタムイベント設定チャート534の使用を関与させる。いくつかの実施形態では、自動イネーブル制御535及びカスタムイネーブル制御537のいずれかまたは両方を所与の時点で選択することができる。いくつかの実施形態では、カスタムイネーブル制御537が選択解除されると、自動イネーブル制御535の選択がデフォルトで実装される。
【0048】
図5Fは、いくつかの実施形態による、
図5Aのユーザインターフェース500の表示タイプ制御509の中で「変更」制御が選択されたときに表示されるユーザインターフェース561の例を示す。表示タイプ制御509は、動的要約キュー425の要求者が、ユーザ/参加者A~Dによるメディアアイテム415を消費している間に、関心のある特定のタイプのユーザ/参加者表示を指定できるようにする。それは、メディアアイテム415のどの部分が、動的要約キュー425を生成するための基礎の中に含まれるべきかを判断する際に考慮されることになる。
いくつかの実施形態では、ユーザインターフェース561は、ユーザ/参加者によるメディアアイテム415の消費中に発生する可能性のある、様々なユーザ/参加者の関心の表示を指定するカスタム表示設定チャート563を含む。いくつかの実施形態では、カスタム表示設定チャート563は、関心のある様々なユーザ/参加者表示の簡単な説明を含む表示記述子列565を含む。様々なユーザ/参加者の表示は、ユーザ/参加者A~Dがメディアアイテム415を消費するときに発することができる、様々なタイプの反応、表情、ジェスチャ、動作、発言、音、及び/または伝達を表す。例えば、いくつかの実施形態では、カスタム表示設定チャート563で指定される様々なユーザ/参加者の表示には、メディアアイテム415の消費中にユーザ/参加者A~Dのいずれかによって行われ得る、本質的に他のいずれかのタイプの反応、表情、ジェスチャ、動作、発言、音、及び/または伝達の中でも、好き、嫌い、興奮、幸せ、怒り、叫び、緊張、笑いが含まれてもよい。
【0049】
いくつかの実施形態では、カスタム表示設定チャート563は、表示記述子列565の対応する行に記載されているユーザ/参加者の表示が、動的要約キュー425内に含めるためどのコンテンツが選択されるかに基づいて、含めるためにアクティブであるか非アクティブであるかを示す表示ステータス列567を含む。いくつかの実施形態では、所与のユーザ/参加者表示に対する表示ステータス列567の「はい」の設定は、所与のユーザ/参加者表示が、動的要約キュー425の中に含めるために、どのコンテンツが識別/選択されるかを基準の中に含めて使用されることを意味する。逆に、所与のユーザ/参加者表示に対する表示ステータス列567の「いいえ」の設定は、所与のユーザ/参加者表示が、動的要約キュー425の中に含めるために、どのコンテンツが識別/選択されるかを基準の中に含めないということを意味する。
いくつかの実施形態では、カスタム表示設定チャート563は、選択されると表示ステータス列567の対応する行の設定が「はい」と「いいえ」の間で切り替わる、及びその逆である「変更」制御を含む調整列569を含む。また、いくつかの実施形態では、カスタム表示設定チャート563は、大局的「いいえ」制御571を含み、これは、選択されると、リストされたすべてのユーザ/参加者表示に対する表示ステータス列567の設定が「いいえ」に設定されることになる。また、いくつかの実施形態では、カスタム表示設定チャート563は、包括的「はい」制御573を含み、これは、選択されると、リストされたすべてのユーザ/参加者表示に対する表示ステータス列567の設定が「はい」に設定されることになる。いくつかの実施形態では、リストされたすべてのユーザ/参加者の表示に対する表示ステータス列567のデフォルト設定は「はい」である。
【0050】
いくつかの実施形態では、カスタム表示設定チャート563は、表示記述子列565の対応する行に記載されているように、ユーザ/参加者表示に対して表示の重み付けを指定することができるユーザ/参加者表示強度列575を含む。いくつかの実施形態では、所与のユーザ/参加者表示の表示の重み付けは、1から10のスケールで指定され、1が最も低い重み付けであり、10が最も高い重み付けである。表示強度列575に列挙される表示の重み付けは、メディアアイテム415のどの部分が動的要約キュー425内に含められるべきかを識別/選択するために使用される基準の中に含めるために、どのユーザ/参加者表示が他よりも高い優先順位を付けられるべきかを判定するために、システム400によって使用される。様々な実施形態において、ユーザ/参加者表示の重み付けに使用されるスケールは、どのユーザ/参加者表示が他のものよりも重要であるかを判定できるように、ユーザ/参加者表示の重み付け入力の標準化を提供する、本質的に任意の方法で定義することができる。
【0051】
いくつかの実施形態では、ユーザインターフェース561は、選択されると、要求者が新しいユーザ/参加者表示(新しい行)をカスタム表示設定チャート563に追加できるようにするカスタム表示追加制御577を含む。また、いくつかの実施形態では、ユーザインターフェース561は、選択されると、カスタム表示設定チャート563のすべての設定を、表示タイプ制御509の選択に応じてユーザインターフェース561が表示されたときに存在したそれぞれの値にリセットするリセット表示制御579を含む。
また、いくつかの実施形態では、ユーザインターフェース561は、自動イネーブル制御581及びカスタムイネーブル制御583を含む。自動イネーブル制御581の選択は、ユーザ/参加者A~Dによるメディアアイテム415の消費中に発生するどのユーザ/参加者表示が、メディアアイテム415のどの部分が動的要約キュー425の中に含まれることになるかを判定するための基準の中に含まれるべきかを決定する際に、システム400の機械学習モデル413の使用を関与させる。カスタムイネーブル制御583の選択は、ユーザ/参加者A~Dによるメディアアイテム415の消費中に発生するどのユーザ/参加者表示が、メディアアイテム415のどの部分が動的要約キュー425の中に含まれることになるかを判定するための基準の中に含まれるべきかを判定する際に、システム400によるカスタム表示設定チャート563の使用を関与させる。いくつかの実施形態では、自動イネーブル制御581及びカスタムイネーブル制御583のいずれかまたは両方を所与の時点で選択することができる。いくつかの実施形態では、カスタムイネーブル制御583が選択解除されると、自動イネーブル制御581の選択がデフォルトで実装される。
【0052】
図6は、いくつかの実施形態による、メディアアイテム(メディアアイテム415)の要約(動的要約キュー425)を生成するための方法のフローチャートを示す。方法は、メディアアイテム415のストリームをサーバコンピューティングシステム(例として、
図1のクラウドゲームシステム101など)から1つまたは複数のクライアントコンピューティングシステム(例として、
図1のローカル計算システム120A~120Dなど)に送信するための動作601を含む。メディアアイテム415には、メディアアイテム415を再生するためのタイムラインがある。いくつかの実施形態では、メディアアイテム415はオーディオビジュアルプレゼンテーションである。
様々な実施形態において、オーディオビジュアルプレゼンテーションは、本質的に他のいずれかのタイプのオーディオビジュアルプレゼンテーションの中でも、映画、テレビ番組、現実世界のスポーツイベント、電子スポーツイベント、オンラインショー、オンラインビデオ、及びアップロードされたビデオのうちの1つまたは複数である。いくつかの実施形態では、メディアアイテム415は、ビデオゲームのゲームビデオ及びオーディオのストリームである。いくつかの実施形態では、サーバコンピューティングシステムは、1つ以上のクライアントコンピューティングシステム120A~120Dの1人以上のユーザ/参加者(例えば、ゲームプレイヤー/観客A~D)のそれぞれのコントローラデバイス125A~125Dから受信した入力に従ってビデオゲームを実行するように構成されたクラウドゲームシステム101である。
クラウドゲームシステム101は、1人または複数ユーザ/参加者によるビデオゲームのプレイを反映するゲームビデオ及びオーディオのストリームの伝送を指示するように構成される。これらの実施形態では、1人以上のユーザ/参加者は、ビデオゲームのプレイ中に入力チャネル401を介して受信されるユーザ/参加者生成コンテンツを提供する。いくつかの実施形態では、ビデオゲームは電子スポーツビデオゲームである。また、いくつかの実施形態では、ユーザ/参加者の1人以上がビデオゲームの観客である。
【0053】
方法はまた、1つ以上のクライアントコンピューティングシステムのいずれかの1人以上のユーザ/参加者からサーバコンピューティングシステムでユーザ/参加者生成コンテンツを受信する動作603を含む。ユーザ/参加者生成コンテンツは、
図4に関して説明したように、入力チャネル401のいずれかを介して受信された任意の情報に対応する。ユーザ/参加者生成コンテンツは、メディアアイテム415のタイムラインに対してタイムインデックスが付けられる。また、ユーザ/参加者生成コンテンツは、メディアアイテム415を消費(視聴)している任意のユーザ/参加者によって提供されることを理解されたい。様々な実施形態において、ユーザ/参加者は、メディアアイテム415の性質に応じて、ビデオゲームプレイヤー、ビデオゲームの観客、及び/または視聴者であり得る。いくつかの実施形態では、ユーザ/参加者生成コンテンツには、入力チャネル401を介してユーザ/参加者によって提供できる本質的にいずれかの他のタイプのデータの中でも、テキストデータ、音声データ、オーディオデータ、絵文字データ、画像データ、カメラで取得されたビデオデータ、カメラで取得された画像データ、タグのデータ、及びコントローラデバイス入力データのうちの1つまたは複数が含まれる。
【0054】
この方法はまた、ユーザ/参加者生成コンテンツを処理して、ユーザ/参加者生成コンテンツ内に存在する表示に基づいてメディアアイテム415の主要な部分を識別する動作605を含み、メディアアイテム415の主要な部分は、動的要約キュー425に含めるために識別される。いくつかの実施形態では、ユーザ/参加者生成コンテンツ内に存在するユーザ/参加者の表示の識別は、
図5Fに関して記載したように、ユーザ/参加者によるメディアアイテム415の消費中に起こり得るユーザ/参加者の関心の表示の指定に基づく。いくつかの実施形態では、動作605はまた、メディアアイテム415及び/またはメディアアイテム415に関連付けられた状態/メタデータ417を処理して、動的要約キュー425内に含めるためのメディアアイテム415の主要な部分を識別することを含む。いくつかの実施形態では、メディアアイテム415の主要な部分の識別は、
図5Eに関して説明したように、メディアアイテム415内で発生する可能性のあるイベントの指定に基づく。
【0055】
いくつかの実施形態では、ユーザ/参加者生成コンテンツを処理する動作605は、
図4の特徴抽出器405に関して説明したように、ユーザ/参加者生成コンテンツから特徴を抽出して、抽出された特徴407のセットを取得することを含む。また、いくつかの実施形態では、ユーザ/参加者生成コンテンツを処理する動作605は、
図4の特徴分類器409に関して説明したように、抽出された特徴407を1つ以上の分類に分類して、分類された特徴のセット411を取得することを含む。また、いくつかの実施形態では、ユーザ/参加者生成コンテンツを処理する動作605は、機械学習モデル413を通じて分類された特徴のセット411を処理して、動的要約キュー425の中に含まれるメディアアイテム415の主要な部分を識別することを含む。
また、いくつかの実施形態では、動作605は、機械学習モデル413を介して、分類された特徴のセット411を処理することと併せて、メディアアイテム415の状態/メタデータ417を機械学習モデル413を介して処理して、動的要約キュー425の中に含まれるメディアアイテム415の主要な部分を識別することを含む。メディアアイテム415の状態/メタデータ417は、分類された特徴のセット411に、タイムインデックスによって、互いに関連付けられる。いくつかの実施形態では、メディアアイテム415の状態/メタデータ417は、1人以上のユーザ/参加者(例えば、A~D)のそれぞれのコントローラデバイス125A~125Dから受信した入力に従って実行されるビデオゲームの状態データを含み、メディアアイテム415をゲームビデオ及びオーディオのストリームとして生成する。
【0056】
この方法はまた、動作605で識別されたメディアアイテム415の主要な部分を含む動的要約キュー(動的要約キュー425)を生成するための動作607を含む。この方法はまた、動的要約キュー425の要求者にストリーミングするために動的要約キュー425を組み立てることを含む。いくつかの実施形態では、動作607は、動的要約キュー425に含めるための、メディアアイテム415の主要な部分の自動生成された口頭要約及び/または自動生成された書面要約の作成を含む。いくつかの実施形態では、動的要約キュー425は、入力チャネル401を介してユーザ/参加者から受信した、メディアアイテム415の主要な部分に関連付けられたユーザ/参加者生成コンテンツの少なくとも一部を含む。
【0057】
方法はまた、要求者から動的要約キュー425を閲覧するための要求を受信するための動作609を含む。いくつかの実施形態では、要求者は、メディアアイテム415を消費している1人以上のユーザ/参加者のいずれかである。いくつかの実施形態では、要求者は、メディアアイテムを消費する際に1人以上のユーザ/参加者に参加するよう招待された人物である。いくつかの実施形態では、要求者は、ゲームビデオ及びオーディオのストリームとしてメディアアイテム415を生成するべく1人以上のユーザ/参加者(例えば、A~D)のそれぞれのコントローラデバイス125A~125Dから受信した入力に従って実行されるビデオゲームをプレイする際に、1人以上のユーザ/参加者に参加するよう招待された人物である。
【0058】
様々な実施形態において、動作609は、
図6の方法の中の任意の時点で発生することができる。例えば、いくつかの実施形態において、動的要約キュー425を閲覧する要求は、動作605において、ユーザ/参加者生成コンテンツを処理する前に動作609で受信され得る。あるいは、別の例示的な実施形態では、動的要約キュー425が動作607ですでに生成された後、動的要約キュー425を閲覧する要求を動作609で受信することができる。また、いくつかの実施形態では、動作609で受信された動的要約キュー425を閲覧するための要求は、
図5A~5Fに関して説明した様々な制御など、動的要約キュー425を生成するときに適用される様々な制御の指定を含むことができる。
この方法はまた、動作609で受信された要求に応答して、動的要約キュー425のストリームを要求者のコンピューティングデバイスに送信するための動作611を含む。いくつかの実施形態では、この方法は、ユーザ/参加者生成コンテンツが(入力チャネル401を介して)サーバコンピューティングシステムで受信され、メディアアイテム415の主要な部分を識別するために処理されるときに、動的要約キュー425を更新することを含む。いくつかの実施形態では、動的要約キュー425を更新することは、新しいコンテンツを動的要約キュー425に追加すること、及び/または動的要約キュー425内にすでに存在する一部のコンテンツを変更することを含む。
【0059】
いくつかの実施形態では、この方法は、
図5Aに関して説明した制御パラメータなど、動的要約キュー425を生成するための制御パラメータを受信することを含む。いくつかの実施形態では、制御パラメータは、
図5Fに関して説明したように、メディアアイテム415の主要な部分を示すユーザ/参加者生成コンテンツ内に存在する1つまたは複数のタイプの表示の指定を含む。いくつかの実施形態では、表示の種類には、反応、表情、ジェスチャ、動作、発言、音、伝達、及び/またはメディアアイテム415内の主題に関連する、ユーザ/参加者によって発することができる本質的に他の任意の種類の表示のうちの1つまたは複数が含まれる。
【0060】
いくつかの実施形態では、動的要約キュー425を生成するための制御パラメータは、
図5Eに関して説明したように、メディアアイテム415内で発生する可能性のある1つまたは複数のタイプのイベントの指定を含む。いくつかの実施形態では、動的要約キュー425を生成するための制御パラメータは、
図5Bに関して説明したように、(入力チャネル401を介して受信されたとおりの)ユーザ/参加者生成コンテンツを処理して、メディアアイテム415の主要な部分を識別するときに、ユーザ/参加者生成コンテンツが1人以上のユーザ/参加者のいずれが制限されるべきかの指定を含む。いくつかの実施形態では、動的要約キュー425を生成するための制御パラメータは、
図5Cに関して説明したように、動的要約キュー425が生成されるメディアアイテム415の再生のためのタイムライン内の時間枠516の指定を含む。いくつかの実施形態では、動的要約キュー425を生成するための制御パラメータは、
図5Dに関して説明したように、動的要約キュー425の概要分解の指定を含む。
【0061】
さらに、いくつかの実施形態では、
図6に関して説明した動的要約キュー425を生成する方法は、ビデオの要約を生成するシステム(例えば、システム400)として実装される。これらの実施形態では、システムは、メディアアイテム415のストリームをサーバコンピューティングシステムから1つまたは複数のクライアントコンピューティングシステムに送信するためのコンピュータメモリに格納されたプログラム命令を含み、メディアアイテム415は、メディアアイテム415の再生のためのタイムラインを有する。このシステムはまた、1つ以上のクライアントコンピューティングシステムのいずれかの1人以上のユーザ/参加者からサーバコンピューティングシステムでユーザ/参加者生成コンテンツを受信するために、コンピュータメモリに格納されたプログラム命令を含み、ユーザ/参加者生成コンテンツは、メディアアイテム415のタイムラインに対してタイムインデックスが付けられる。
このシステムはまた、ユーザ/参加者生成コンテンツを処理して、ユーザ/参加者生成コンテンツ内に存在する表示に基づいてメディアアイテム415の主要な部分を識別するためのコンピュータメモリに格納されたプログラム命令も含む。このシステムはまた、メディアアイテム415の主要な部分を含む動的要約キュー425を生成するためにコンピュータメモリに格納されるプログラム命令を含み、動的要約キュー425はストリーミング用にアセンブルされる。システムはまた、要求者から動的要約キュー425を閲覧するための要求を受信するために、コンピュータメモリに格納されたプログラム命令を含む。システムはまた、要求に応じて要求者のコンピューティングデバイスに動的要約キュー425のストリームを送信するために、コンピュータメモリに格納されたプログラム命令を含む。
【0062】
図7は、いくつかの実施形態による、本開示の様々な実施形態の態様を実行するために使用することができる例示的なコンピューティングデバイス700内部のコンポーネントの図を示す。様々な実施形態で、コンピューティングデバイス700は、本開示の実施形態を実施するのに好適なパーソナルコンピュータ、ビデオゲーム機、パーソナルデジタルアシスタント、サーバ、または他のデジタルデバイスを組み込むことができる、またはこれらであり得る。コンピューティングデバイス700は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを実行するための中央処理装置(CPU)702を含む。CPU702は、1つ以上の同種または異種処理コアを含むことができる。
【0063】
いくつかの実施形態では、ビデオゲームは、ゲーム機、パーソナルコンピュータ、またはサーバでローカルに実行される。場合によっては、ビデオゲームはデータセンターの1つ以上のサーバによって実行される。ビデオゲームが実行されるとき、ビデオゲームのいくつかのインスタンスは、ビデオゲームのシミュレーションであり得る。例えば、ビデオゲームは、ビデオゲームのシミュレーションを生成する環境またはサーバによって実行され得る。シミュレーションは、いくつかの実施形態では、ビデオゲームのインスタンスである。他の実施形態では、シミュレーションはエミュレータによって生成されてもよい。いずれの場合でも、ビデオゲームがシミュレーションとして表現されている場合、そのシミュレーションは、ユーザ入力によってインタラクティブにストリーミング、実行、及び/または制御できるインタラクティブコンテンツ(例えば、ビデオフレーム)をレンダリングするために実行することができる。
【0064】
CPU702は、1つ以上の処理コアを含む1つ以上の汎用マイクロプロセッサである。いくつかの実施形態では、コンピューティングデバイス700は、クエリの解釈、文脈的に関連するリソースの識別、及び文脈的に関連するリソースのビデオゲーム内での即時実施及びレンダリングなど、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する1つ以上のCPU702を使用して、実施する。様々な実施形態で、コンピューティングデバイス700は、ゲームセグメント(例えば、ゲーム機)をプレイするプレイヤーにローカライズされたもの、またはプレイヤーからリモートであるもの(例えば、バックエンドサーバプロセッサ)、またはクライアントへのゲームプレイのリモートストリーミングのためにゲームクラウドシステムで仮想化を使用する多くのサーバの1つである。
【0065】
コンピューティングデバイス700は、CPU702によって使用されるアプリケーション及びデータを格納するコンピュータメモリ704を含む。コンピューティングシステム700は、データの不揮発性記憶装置及びアプリケーション用のコンピュータ可読媒体を提供するデータストレージデバイス706も含む。様々な実施形態で、コンピューティングデバイス700は、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及び/またはCD-ROM、DVD-ROM、Blu-ray(登録商標)、HD-DVD、またはその他の光学ストレージデバイス、ならびに信号伝送及びストレージメディアを含んでもよい。コンピューティングデバイス700は、1人以上のユーザからのユーザ入力をコンピューティングデバイス700に通信する1つ以上のユーザ入力デバイス708も含む。例えば、ユーザ入力デバイス708(複数可)は、キーボード(複数可)、マウス(複数可)、ジョイスティック(複数可)、タッチパッド(複数可)、タッチスクリーン(複数可)、静止画またはビデオレコーダ(複数可)/カメラ(複数可)、ジェスチャを認識する追跡デバイス(複数可)、及び/またはマイクロフォン(複数可)が含まれ得る。
コンピューティングデバイス700は、コンピューティングデバイス700が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、ローカルエリアネットワーク、及びインターネットなどのワイドエリアネットワークにわたる有線または無線通信を含んでもよいネットワークインタフェース714も含む。コンピューティングデバイス700は、CPU702、コンピュータメモリ704、及び/またはデータストレージデバイス706によって提供される命令及び/またはデータから、アナログまたはデジタルオーディオ出力を生成するオーディオプロセッサ712も含む。コンピューティングデバイス700は、CPU702、コンピュータメモリ704、データストレージデバイス(複数可)706、ユーザ入力デバイス(複数可)708、ネットワークインタフェース714、及びオーディオプロセッサ712を接続するための1つまたは複数のデータバス(複数可)722も含む。
【0066】
グラフィックサブシステム720はさらに、データバス722、及びコンピューティングデバイス700の様々なコンポーネントと接続される。グラフィックサブシステム720は、グラフィック処理ユニット(GPU)716及びグラフィックスメモリ718を含む。グラフィックスメモリ718は、出力画像の各画素の画素データを格納するために使用される表示メモリ(例えばフレームバッファ)を含む。グラフィックスメモリ718は、GPU716と同一のデバイスに統合されてもよく、GPU716と別個のデバイスとして接続されてもよく、及び/またはコンピュータメモリ704の内部で実装されてもよい。
画素データは、CPU702からグラフィックスメモリ718に直接提供されてもよい。代わりに、CPU702は、所望の出力画像を定義するデータ及び/または命令をGPU716に提供し、GPU716は、そこから1つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び/または命令は、コンピュータメモリ704及び/またはグラフィックスメモリ718に記憶されてもよい。いくつかの実施形態では、GPU716は、シーン用のジオメトリ、照明、シェーディング、テクスチャリング、動き、及び/またはカメラパラメータを定義する命令及びデータから、出力画像の画素データを生成する3次元(3D)レンダリング機能を含む。GPU716はさらに、シェーダプログラムを実行することが可能な1つ以上のプログラム可能実行ユニットを含んでもよい。
【0067】
グラフィックスサブシステム720は、グラフィックスメモリ718から画像の画素データを定期的に出力して、ディスプレイデバイス710に表示させる。ディスプレイデバイス710は、本質的に他の任意の種類のコンピュータディスプレイデバイスの中でも、CRT、LCD、プラズマ、及びOLEDディスプレイを含む、コンピューティングデバイス700からの信号に応答して、視覚情報を表示することが可能な任意のデバイスであってもよい。様々な実施形態において、コンピューティングデバイス700は、ディスプレイデバイス710にアナログ信号及び/またはデジタル信号を提供する。
【0068】
様々な実施形態において、本明細書に開示される方法及びシステムは、広い地理的領域にわたってビデオゲーム及び/または他のメディアコンテンツへのアクセスを提供するなどのアクセスサービスを提供するクラウドコンピューティングシステムにおいて実装される。クラウドコンピューティングとは、動的にスケーラブルで多くの場合仮想化されたリソースがインターネットを介したサービスとして提供されるコンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」の技術的インフラストラクチャのエキスパートである必要はない。クラウドコンピューティングは、サービスとしてのインフラストラクチャ(IaaS)、サービスとしてのプラットフォーム(PaaS)、サービスとしてのソフトウェア(SaaS)などの異なるサービスに分類することができる。クラウドコンピューティングサービスは、多くの場合、ビデオゲームなどのアプリケーションを、ウェブブラウザからアクセスするオンラインで提供するが、ソフトウェア及びデータは、クラウド内のサーバに記憶される。クラウドという用語は、コンピュータネットワークの図にインターネットを描く方法に基づいたインターネットのメタファーとして使用され、複雑なインフラストラクチャを隠し持つことの抽象的概念である。
【0069】
いくつかの実施形態では、ゲームサーバは、ビデオゲームプレイヤーのための持続的情報プラットフォームの動作を実行するために使用される。インターネット上でプレイされるほとんどのビデオゲームは、ゲームサーバへの接続を介して作動する。いくつかの実施形態では、オンラインのビデオゲームはプレイヤーからのデータを収集し、それを他のプレイヤーに配信する専用サーバアプリケーションを使用する。他の実施形態では、オンラインのビデオゲームは、分散型ゲームエンジンによって実行される。これらの実施形態では、分散型ゲームエンジンは、複数の処理エンティティ(PE)で実行されてよく、その結果、各PEは、オンラインのビデオゲームが実行される所与のゲームエンジンの機能セグメントを実行する。いくつかの実施形態では、各PEは、ゲームエンジンによって計算ノードとして認識される。
【0070】
ゲームエンジンは通常、機能的に多様な一連の操作を行って、ユーザが体験する追加のサービスを提供すると共にビデオゲームアプリケーションを実行する。例えば、ゲームエンジンは、ゲームロジックを実装し、ゲーム計算、物理的過程、ジオメトリ変換、レンダリング、照明、シェーディング、オーディオ、及び追加のゲーム内またはゲーム関連サービスを実行する。追加のサービスには、例えば、メッセージング、ソーシャルユーティリティ、オーディオ通信、ゲームプレイ/再生機能、ヘルプ機能などが含まれてよい。
いくつかの実施形態では、ゲームエンジンは、特定のサーバのハイパーバイザによって仮想化される動作システムにおいて実行される。いくつかの実施形態では、ゲームエンジンのセグメントは複数のPEに分散され、各PEはデータセンターの異なるサーバユニットに常駐することができる。いくつかの実施形態では、ゲームエンジンセグメントを実行するために使用される様々なPEは、各ゲームエンジンセグメントのニーズに応じて、サーバユニット、仮想マシン、またはコンテナとして実装され得る。例えば、ゲームエンジンセグメントがカメラの変換を担当する場合、比較的単純な数学演算(例えば、行列変換)を多数行うことになるので、その特定のゲームエンジンセグメントは、GPUに関連付けられた仮想マシンと共にプロビジョニングされてよい。より少ないがより複雑な操作を必要とする他のゲームエンジンセグメントは、1つ以上のより高出力のCPUに関連付けられた処理エンティティと共にプロビジョニングされてよい。
【0071】
ゲームエンジンを分散することにより、ゲームエンジンは、物理サーバユニットの能力に拘束されない弾力性のある計算特性を備える。代わりに、ゲームエンジンは、必要なとき、ビデオゲームの要求を満たすためにより多いまたは少ない計算ノードと共にプロビジョニングされる。ビデオゲーム及びビデオゲームプレイヤーの観点からは、複数の計算ノードに分散されているゲームエンジンは、ゲームエンジンマネージャまたはスーパーバイザがワークロードを分散し、結果をシームレスに統合して、エンドユーザにビデオゲーム出力構成要素を提供するので、単一の処理エンティティで実行される非分散ゲームエンジンと区別できない。
【0072】
ユーザは、少なくともCPU、ディスプレイ及び入力/出力(I/O)デバイスを含む、クライアントデバイスを使用してリモートサービスにアクセスする。クライアントデバイスには、パーソナルコンピュータ(PC)、携帯電話、タブレット、ネットブック、PDA、またはその他任意のタイプのコンピューティングデバイスを使用できる。いくつかの実施形態では、ゲームサーバで実行するネットワークは、クライアントによって使用されるコンピューティングデバイスの種類を認識し、採用するデータ通信方法を調整する。別の事例では、クライアントデバイスは、HTML(ハイパーテキストマークアップ言語)などの標準的なデータ通信方法を使用して、インターネットを介してゲームサーバのアプリケーションにアクセスする。
【0073】
所与のビデオゲームまたはゲームアプリケーションは、特定のプラットフォーム及び特定の関連コントローラデバイス用に開発され得ることを、理解されたい。しかしながら、ゲームクラウドシステムを介してこのようなゲームを利用可能にするときに、ユーザは、異なるコントローラデバイスによってビデオゲームにアクセスすることができる。例えば、ゲームは、ゲーム機及びその関連したコントローラのために開発されている可能性があるが、ユーザは、キーボード及びマウスを利用するパーソナルコンピュータからゲームのクラウドベースのバージョンにアクセスすることができる。このようなシナリオにおいて、入力パラメータ構成は、ユーザの利用可能なコントローラデバイス(この事例において、キーボード及びマウス)により生成されることが可能である入力から、ビデオゲームの実行のために許容可能である入力へのマッピングを定義することが可能である。
他の例では、ユーザは、タブレットコンピューティングデバイス、タッチスクリーンスマートフォン、または他のタッチスクリーン駆動デバイスを介して、クラウドゲームシステムにアクセスし得る。この事例において、クライアントデバイス及びコントローラデバイスは、入力が検出されたタッチスクリーンの入力/ジェスチャとして提供されながら、同一のデバイス内に合わせて一体化される。このようなデバイスについて、入力パラメータ構成は、ビデオゲームについてのゲーム入力に対応する特定のタッチスクリーン入力を定義することができる。たとえば、ボタン、指向性パッド、または他のタイプの入力素子は、ビデオゲームの実行中に表示され、またはオーバーレイされ、ユーザがゲーム入力を生成するためにタッチすることが可能であるタッチスクリーンの位置を示すことができる。特定の向きにおけるスワイプなどのジェスチャ、または特定のタッチモーションもゲーム入力として検出されることができる。一実施形態では、例えばビデオゲームのプレイを始める前に、ゲームプレイのタッチスクリーンを介して入力を提供する方法を示すチュートリアルが、ユーザに提供され得る。
【0074】
いくつかの実施形態では、クライアントデバイスは、コントローラデバイスについての接続ポイントとして機能する。例えば、コントローラデバイスは、無線接続または有線接続を介してクライアントデバイスと通信し、コントローラデバイスからクライアントデバイスへ入力を伝送する。次に、クライアントデバイスは、これらの入力を処理して、その後入力データを、ネットワーク(例えばルータなどのローカルネットワークデバイスを介してアクセスされるネットワーク)を介して、クラウドゲームサーバへ送信し得る。
しかしながら、他の実施形態において、コントローラ自体は、ネットワークを介してクラウドゲームサーバへ直接に入力を通信する能力を有し、これらのような入力を最初にクライアントデバイスを通して通信する必要がなく、ネットワーク化されたデバイスであることが可能である。例えば、コントローラは、ローカルネットワークデバイス(ルータなど)に接続し、クラウドゲームサーバへデータを送信し、このクラウドゲームサーバからデータを受信することができる。したがって、クライアントデバイスは、クラウドベースのビデオゲームからビデオ出力を受信し、それをローカルディスプレイにレンダリングすることを必要とされたままであることができる一方で、入力レイテンシは、コントローラがクラウドゲームサーバへネットワーク経由で直接に入力を送信することを可能にし、クライアントデバイスをバイパスするようにすることにより、減少することが可能である。
【0075】
いくつかの実施形態では、ネットワーク化されたコントローラ及びクライアントデバイスは、特定のタイプの入力をコントローラからクラウドゲームサーバへ直接に、また他のタイプの入力をクライアントデバイスを介して送信するように構成されることが可能である。例えば、コントローラ自体は別として、任意の追加のハードウェアまたは処理に依存しない検出による入力は、クライアントデバイスをバイパスするように、ネットワークを介して直接コントローラからクラウドゲームサーバへ送信することができる。このような入力には、コントローラデバイスにより提供され得る他のいずれかの種類の入力の中でも、ボタン入力、ジョイスティック入力、埋め込みモーション検出入力(例えば、加速度計、磁力計、ジャイロスコープ)が含まれ得る。しかし、追加のハードウェアを利用するか、クライアントデバイスによる処理を必要とする入力は、クライアントデバイスによりクラウドゲームサーバに送信され得る。
これらの入力は、クラウドゲームサーバへ送信する前に、クライアントデバイスにより処理され得るゲーム環境から取得されたビデオ及び/またはオーディオを含むことができる。加えて、コントローラの動き検出ハードウェアからの入力は、取得されたビデオと併せてクライアントデバイスにより処理され、コントローラの位置及び動きを検出することができ、その後、クライアントデバイスによりクラウドゲームサーバへ通信される。いくつかの実施形態では、コントローラデバイスはまた、クライアントデバイスから、または直接クラウドゲームサーバから、データ(例えばフィードバックデータ、ハプティックデータなど)を受信し得る。
【0076】
当然のことながら、本明細書で規定した種々の実施形態を、本明細書で開示した種々の特徴を用いて具体的な実施態様に結合するかまたはアセンブルしてもよい。従って、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせることでより多くの実施態様を規定することが可能な様々な実施態様に制限を加えるものではない。ある例では、ある実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブルコンシューマ用エレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成によって実施してもよい。また、本開示の実施形態は、有線ベースまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散計算環境においても、実施することができる。
【0077】
また、いくつかの方法の動作が特定の順序/シーケンスで本明細書に記載されているが、他のハウスキーピング動作が様々な方法の動作の間に実行されてもよい、及び/または方法の動作がわずかに異なる時間に行われるように調整されてもよい、及び/または変更されるゲーム状態を生成するためのゲームテレメトリ及び/またはゲーム状態データの処理が時間的に十分な方法で実行される限り、例えば、後続のゲーム実行可能動作によって必要とされるときにゲームテレメトリ及び/またはゲーム状態を利用できるようにするために、方法の動作の処理が様々な間隔で行われることを可能にするシステムに、方法の動作が分散されてもよいということを理解されたい。
【0078】
いくつかの実施形態では、本明細書に開示される様々な方法及びシステムは、コンピュータ可読媒体のコンピュータ可読コードとして実装する(製造する)。コンピュータ可読媒体はデータを記憶でき、その後、コンピュータシステムによってそのデータを読み取ることができる任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ(NAS)、読み出し専用メモリ、ランダムアクセスメモリ、CD-ROM、CD-R、CD-RW、磁気テープ、並びに他の光学及び/または非光学データストレージデバイスを含む。また、コンピュータ可読媒体には、コンピュータ可読コードが分散方式で格納され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。
【0079】
実施形態の前述の説明は、例示及び説明の目的で提供されたものであり、網羅的または限定的であることは意図されていない。特定の実施形態の個々の要素または特徴は、一般に、その特定の実施形態に限定されないが、適用可能な場合、交換可能であり、特に図示または説明されていなくても、選択された実施形態で使用することができる。このように、本明細書に開示された1つまたは複数の実施形態からの1つまたは複数の特徴を、本明細書に開示された1つまたは複数の他の実施形態からの1つまたは複数の特徴と組み合わせて、本明細書に明示的に開示されていないが、本明細書に暗示的に開示されている別の実施形態を形成することができる。この他の実施形態も、多くの方法で変更することができる。そのような実施形態の変形は、本明細書の開示からの逸脱と見なされるべきではなく、そのような実施形態の変形及び修正はすべて、本明細書に提供される開示の範囲の中に含まれることが意図される。
【0080】
前述の実施形態は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本明細書に開示される実施形態は、限定ではなく例示としてみなされるべきであり、本実施形態は、本明細書に記載される詳細に限定されるべきではなく、添付の特許請求の範囲及び均等物の中で変更されてよい。
【国際調査報告】