知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
特許7496479ビデオゲームのコンテンツに含めるためのグラフィックインターチェンジフォーマットファイル識別
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-29
(45)【発行日】2024-06-06
(54)【発明の名称】ビデオゲームのコンテンツに含めるためのグラフィックインターチェンジフォーマットファイル識別
(51)【国際特許分類】
A63F 13/86 20140101AFI20240530BHJP
H04N 21/235 20110101ALI20240530BHJP
H04N 21/258 20110101ALI20240530BHJP
A63F 13/65 20140101ALI20240530BHJP
A63F 13/55 20140101ALI20240530BHJP
A63F 13/87 20140101ALI20240530BHJP
A63F 13/53 20140101ALI20240530BHJP
【ＦＩ】
A63F13/86
H04N21/235
H04N21/258
A63F13/65
A63F13/55
A63F13/87
A63F13/53
【請求項の数】
20
(21)【出願番号】P 2023532323
(86)(22)【出願日】2021-11-29
(65)【公表番号】
(43)【公表日】2023-12-08
(86)【国際出願番号】 US2021061040
(87)【国際公開番号】W WO2022115720
(87)【国際公開日】2022-06-02
【審査請求日】2023-11-30
(31)【優先権主張番号】63/133,115
(32)【優先日】2020-12-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/119,637
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/133,129
(32)【優先日】2020-12-31
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/220,709
(32)【優先日】2021-04-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/220,743
(32)【優先日】2021-04-01
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/220,739
(32)【優先日】2021-04-01
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100099324
【弁理士】
【氏名又は名称】鈴木 正剛
(72)【発明者】
【氏名】デビッド ネルソン
(72)【発明者】
【氏名】スダー クリシュナムルティ
(72)【発明者】
【氏名】マディ アズマンディアン
【審査官】安田 明央
(56)【参考文献】
【文献】米国特許出願公開第２００９／００８３０１９（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０４２０１６８０（ＣＮ，Ａ）
【文献】Rakhonde Bhushan，Harmonic Mitigation using Modified Synchronous Reference Frame Theory，International Research Journal of Engineering and Technology，2017年08月，Volume 04, Issue 08，p.2340-2345
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｆ １３／００－１３／９８
Ａ６３Ｆ ９／２４
Ｈ０４Ｎ ２１／２３５
Ｈ０４Ｎ ２１／２５８
(57)【特許請求の範囲】
【請求項1】
ゲームクラウドシステムのゲームクラウドサーバのプロセッサによって実行される方法であって、ビデオゲームのゲームプレイを見ることに関与している観衆内の観客からインタラクションデータをキャプチャし、
前記観衆内の前記観客からキャプチャした前記インタラクションデータの集約を行い、前記集約では、前記観衆内の前記観客の前記インタラクションデータから検出された感情に従って前記観客の異なるグループへのクラスタリングを行い、各観客のグループは、別個の感情、及び前記別個の感情を表現するそれぞれのグループの観客数に対応する信頼スコアと関連付けられ、
各グループの前記別個の感情を表すアバターを生成し、各グループに関連付けられた前記アバターの表情は、前記それぞれのグループの前記観客の表情の変化に一致するように動的に調整され、
前記別個の感情を表す前記アバターのサイズが、前記各観客のグループに関連付けられた前記信頼スコアに基づいてスケーリングされ、
前記ビデオゲームのコンテンツと一緒にレンダリングされる前記観衆の画像表現の上に、前記観衆内の観客の前記異なるグループの別個の感情を表すアバターの提示を行い、
前記アバターをともなう前記観衆の前記画像表現は、前記観衆内の感情の分布の視覚的な表現を提供する、方法。
【請求項2】
前記インタラクションデータの集約では、前記インタラクションデータに含まれる１つまたは複数のモーダルデータストリームを識別し、
前記１つまたは複数のモーダルデータストリームを処理して、前記ビデオゲームを視聴している前記観客によって表現された感情を識別し、かつ、
前記観客によって表現された前記感情に従って前記観客をグループにクラスタリングし、各観客のグループは前記別個の感情に関連付けられ、
インタラクションデータから識別される前記１つまたは複数のモーダルデータストリームは、前記ビデオゲームのゲームプレイを視聴している前記観客からのリアルタイムで収集される、テキストデータ、またはビデオデータ、または音声データ、またはチャットデータ、または絵文字、またはミーム、またはグラフィックコンテンツ、グラフィックインターチェンジフォーマットファイル、のいずれか１つまたは組み合わせに対応し、
前記ビデオデータは、前記観客が前記ビデオゲームを見ている間の異なる観客の表情をキャプチャし、前記音声データは音声コンテンツを含むと共にピッチ、または振幅、または持続時間の１つ以上をキャプチャする、請求項１に記載の方法。
【請求項3】
さらに、機械学習アルゴリズムを使用して複数のモデルを生成及びトレーニングし、前記複数のモデルの各モデルは、前記インタラクションデータから識別された前記モーダルデータストリームのうちの特定の１つからのデータを使用してトレーニングされ、前記複数のモデルの出力を集約して、前記感情を分類し、前記インタラクションデータを介して前記観客により表現される前記感情の各々の確率を決定する、請求項２に記載の方法。
【請求項4】
さらに、機械学習アルゴリズムを使用してモデルを生成及びトレーニングし、前記モデルは、前記インタラクションデータから識別された前記モーダルデータストリームを入力として使用してトレーニングされ、前記モデルの出力は、前記感情を分類し、前記インタラクションデータを介して前記観客により表現される前記感情の各々の確率を決定するために使用される、請求項２に記載の方法。
【請求項5】
各観客のグループに関連付けられた前記信頼スコアは、前記各観客のグループで検出された観客数の変化に従って変化し、各観客のグループの信頼スコアの変化に応じて、各観客のグループを表す前記アバターの前記サイズが調整される、請求項１に記載の方法。
【請求項6】
前記インタラクションデータの集約は、前記インタラクションデータの選択されたものの情緒分析を介して識別されたキーワードを含むワードクラウドを生成し、動的に更新することを含み、前記ワードクラウド内のキーワードは、各時点での前記観衆の感情状態をキャプチャし、
前記ワードクラウドからの前記キーワードは１つまたは複数のモデルを生成及びトレーニングするために機械学習アルゴリズムによって入力として使用され、
前記１つまたは複数のモデルからの出力は、前記インタラクションデータを介して前記観客により表現される前記感情及び前記感情のそれぞれの確率を識別するために使用される、請求項１に記載の方法。
【請求項7】
各グループの前記観客の前記表情は、前記ビデオゲームの前記ゲームプレイで生じる変化に従って変化し、前記それぞれのグループに関連付けられた各アバターの前記表情は、前記各観客のグループの前記観客の前記表情で検出された前記変化を反映するように動的に調整される、請求項１に記載の方法。
【請求項8】
前記ビデオゲームの異なる観客のグループから検出された異なる感情の反応強度を表すインタラクション型時間グラフを生成及び提示し、前記インタラクション型時間グラフ内の前記異なる感情の各々の反応強度は、前記ビデオゲームの前記ゲームプレイで発生する変化に従って時間の経過と共に変化し、前記インタラクション型時間グラフでキャプチャされた前記反応強度の変化は、前記各観客のグループから検出された前記異なる感情の前記反応強度の変化を引き起こした前記ビデオゲームのゲームプレイの特定の部分にリンクされ、
リンクすることにより、対応する前記反応強度の変化を引き起こしたインタラクションを視聴する前記ビデオゲームの前記ゲームプレイの前記特定の部分へのアクセスが可能になる、請求項１に記載の方法。
【請求項9】
前記インタラクション型時間グラフは、複数のグラフの線を有する折れ線グラフであり、各グラフの線は、特定の観客のグループから検出された特定の感情に対応し、前記アバターは、それぞれのグラフの線の上にレンダリングされる前記特定の感情に対応する、請求項８に記載の方法。
【請求項10】
前記ビデオゲームのゲームプレイがリアルタイムでストリーミングされ、前記ゲームプレイの記録がゲームプレイデータストアに保存され、遅延時間での後続のストリーミングに利用できるようにされ、前記ビデオゲームの観客のグループに関連付けられる感情の反応強度を表すインタラクション型時間グラフが生成され、前記ビデオゲームの前記コンテンツと共に提示され、前記インタラクション型時間グラフがリアルタイムで生成され、前記ゲームプレイの前記記録と共に前記ゲームプレイデータストアに保存され、
前記ゲームプレイの前記記録がその後遅延時間でストリーミングされる場合、前記ゲームプレイの前記記録が遅延時間中にストリーミングされるときにキャプチャされた複数の観客の反応強度を含むように前記インタラクション型時間グラフを修正することによって新しいインタラクション型時間グラフが生成され、前記複数の観客の反応強度をキャプチャする前記新しいインタラクション型時間グラフが、前記遅延時間での前記ゲームプレイの前記記録を行う間に前記ビデオゲームの前記コンテンツと共に提示される、請求項１に記載の方法。
【請求項11】
前記アバターの提示では、観客による選択のためのセグメント化オプション及びフォーマットオプションを有するユーザインターフェイスを提供し、前記セグメント化オプションは、前記アバターをレンダリングするために表示画面上に定義された複数のセグメントから一つのセグメントを選択するためのオプションを提供し、前記フォーマットオプションは、前記表示画面上で前記アバターをレンダリングするときに採用するレンダリングオプションを提供し、
前記フォーマットオプションは、透明フォーマット、またはオーバーレイフォーマット、または提示フォーマットのいずれか１つを含む、請求項１に記載の方法。
【請求項12】
前記アバターの提示では、各観客のグループ内の観客の地理的位置を決定し、
各グループの前記観客が単一の地理的位置に関連付けられ、各観客のグループが明確に異なる地理的位置に関連付けられる場合、各観客のグループに関連付けられた前記地理的位置を含むマップを提示し、
前記マップ内で識別された前記各観客のグループに関連付けられた前記地理的位置に、前記各観客のグループに関連付けられた対応するアバターをオーバーレイする、請求項１に記載の方法。
【請求項13】
さらに、各グループ内の特定の観客の識別を行い、ゲームの決定的瞬間の間に、各グループの前記特定の観客の反応をキャプチャし、
前記ビデオゲームの前記コンテンツと一緒に、ゲームの決定的瞬間の間にキャプチャされた前記特定の観客の前記反応をレンダリングする、請求項１に記載の方法。
【請求項14】
各グループ内の前記特定の観客の識別では、前記ビデオゲーム内で発生する予定のアクションを識別し、前記アクションは前記ビデオゲームのゲーム状態に基づいて識別され、
機械学習アルゴリズムを使用して、前記ビデオゲームで発生する異なるアクションに対して異なる観客が示す反応の種類を識別し、
前記異なるアクションに対して前記特定の観客が示した前記反応に基づいて、各グループ内の前記特定の観客の選択を行い、前記特定の観客の前記選択では、前記アクションが前記ビデオゲームに発生したときに各グループ内の前記観客の特定の一人の前記反応をキャプチャするために予測的にズームインすることを含む、請求項１３に記載の方法。
【請求項15】
各グループ内の前記特定の観客は、前記それぞれのグループ内の残りの観客によって生成された、各グループの前記特定の観客の表情に関連するコメントの種類及び数に基づいて、またはランダムに、または前記特定の観客によって提供された表現的反応に基づいて選択される、請求項１３に記載の方法。
【請求項16】
前記観客からキャプチャされたインタラクションデータは、前記ビデオゲーム内で発生するイベントまたはアクションに対する反応、または前記ビデオゲームのゲームプレイを視聴している特定の観客の反応に対するカウンター反応を含む、請求項１に記載の方法。
【請求項17】
グループの前記観客からキャプチャされたインタラクションデータは、前記グループに関連付けられた前記特定の観客の前記反応を含み、前記観客からキャプチャされた前記インタラクションデータの集約では、前記特定の観客の前記反応に対して反応している前記グループ内の他の観客の反応を集約する、請求項１６に記載の方法。
【請求項18】
さらに、前記観客の異なるグループへのクラスタリングでは、観客が第１のクラスタから第２のクラスタに移動するためのオプションを提供し、前記オプションは、前記ビデオゲームのコンテンツと共にレンダリングされるユーザインターフェイス上で提供され、前記移動が、前記観客を前記第１のクラスタから動的に関連付けを解除し、前記観客を前記第２のクラスタに動的に関連付けることをもたらし、前記動的に関連付けることにより、前記観客は前記第２のクラスタ内の前記観客のインタラクションにアクセスできるようになり、前記動的に関連付けを解除することにより、前記観客は前記第１のクラスタ内の前記観客のインタラクションにアクセスできなくなる、請求項１に記載の方法。
【請求項19】
ゲームクラウドシステムのゲームクラウドサーバのプロセッサによって実行される方法であって、ビデオゲームのゲームプレイを見ることに関与している観衆内の観客からインタラクションデータをキャプチャし、
前記インタラクションデータの情緒分析を実行することにより、前記観衆内の前記観客からキャプチャした前記インタラクションデータを集約し、前記集約では、
前記インタラクションデータに含まれる１つまたは複数のモーダルデータストリームの識別を行い、
前記１つまたは複数のモーダルデータストリームの処理を行って、前記ビデオゲームのゲームプレイを視聴している前記観客によって表現された感情の識別を行い、
前記観客によって表現された前記感情に従って、前記観客をグループにクラスタリングし、各観客のグループは、別個の感情と、前記別個の感情を表現する、それぞれのグループ内の観客数に対応する信頼スコアと関連付けられ、
各グループの前記別個の感情を表すアバターを生成し、
各グループに関連付けられた前記アバターの表情は、前記各グループの前記観客の前記表情の変化に一致するように動的に調整され、
各グループの前記別個の感情を表す前記アバターのサイズが、前記各観客のグループに関連付けられた前記信頼スコアに基づいてスケーリングされ、
前記ビデオゲームのコンテンツと一緒に表示される前記観衆の画像表現の上に、前記観衆内の観客の異なるグループの別個の感情を表すアバターを提示し、
前記アバターをともなう前記観衆の前記画像表現は、前記観衆内の前記観客により表現された感情の分布の視覚的な表現を提供する、方法。
【請求項20】
前記インタラクションデータに含まれる前記１つまたは複数のモーダルデータストリームの前記識別及び前記処理は、機械学習アルゴリズムを使用して実行される、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、ビデオゲームの観客の感情を表現することに関し、より具体的には、ビデオゲームの観客の異なるグループから検出された感情を模倣する表現力豊かなアイコン及び／またはＧＩＦを表示するための方法及びシステムに関する。
【背景技術】
【0002】
関連技術の説明
ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。特に、オンラインゲームやＥスポーツなどのライブストリーミングイベントは、ライブイベントの数、観衆数、収益の面で大幅な成長を遂げている。その結果、オンラインゲームやライブストリーミングイベントの人気が高まり続け、オンラインゲーム（つまり、ゲームプレイ）にアクセスして視聴する観客の数が増え続けている。ビデオゲームの分散型の性質により、観客は自宅の快適な所のどこからでもビデオゲームに接続し、オンラインゲームを観戦することができる。
ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。特に、オンラインゲームやＥスポーツなどのライブストリーミングイベントは、ライブイベントの数、観衆数、収益の面で大幅な成長を遂げている。その結果、オンラインゲームやライブストリーミングイベントの人気が高まり続け、オンラインゲーム（つまり、ゲームプレイ）にアクセスして視聴する観客の数が増え続けている。ビデオゲームの分散型の性質により、観客は自宅の快適な所のどこからでもビデオゲームに接続し、オンラインゲームを観戦することができる。
【0003】
ビデオゲーム業界では、オンラインゲームコンテンツを視聴する観客や他者（例えば、プレイヤー、コメンテーターなど）の体験を向上させる独自の方法を改善及び開発する傾向が高まっている。例えば、真に没入型のゲーム視聴体験を提供するために、観客には、自分の感情を表現し、他の観客及び／またはプレイヤーと共有するための様々なツール（例えば、ユーザインターフェイス、記録ツールなど）が提供される。例えば、オンラインゲームコンテンツを視聴している観客には、オンラインゲームについてコメントし、他のユーザと通信するために、チャットインターフェイス、ビデオ／音声コンテンツアップロードツールなどのインタラクション型ツールを備えたインタラクション型ユーザインターフェイスが提供され得る。これらのインタラクション型ツールは、観客が、音声コメント、ビデオコメント、テキストコメントなどを提供し、ミーム、グラフィカル交換フォーマットの画像／ファイル（ＧＩＦ）などを共有することを可能にする。
【0004】
様々なツールは観客にある程度の関与を提供するが、観客は、様々な観客によって表現される様々なバイブ（vibe、あるいは、感情、反応、フィーリング、感情的雰囲気、またはノリなど）や、それぞれのバイブを表現する観客の数を真に測定することはできない。オンラインゲームのゲームプレイにアクセスして視聴する膨大な数の観客が（ビデオゲーム、プレイヤー、ビデオゲームなどの人気に応じて）数千人、さらには数百万人になる可能性があるＥスポーツに関して言えば、観客が共有するコメントの数がまた、数千、数百万に及ぶ場合がある。観客がビデオゲームを見ている観衆の様々な観客から検出される様々なバイブを感じるために、観客は、観衆の異なる観客によって提供されるコメントをすべて分析しなければならない。特にビデオゲームのライブストリーミング中にコメントがリアルタイムで生成されている場合、量が膨大であるため、すべてのコメントを分析するのは膨大な作業になり得る。観客にとっては、同じ考えを持つ観客と自分を関連付けることで、あたかも友人と共に過ごしてゲームプレイを視聴しているかのようにオンラインゲーム（つまり、ゲームプレイ）を楽しむことができる。ゲームプレイを見ている他の観客の感情が可視でないと、観客はビデオゲームのゲームプレイを十分に楽しむことができなくなる。
【0005】
本開示の実施形態は、このような背景の下になされたものである。
【発明の概要】
【0006】
本開示の実施形態は、ビデオゲームのオンラインゲームを視聴している観客のインタラクションを集約し、ビデオゲームの観衆の画像表現上に表情に富むアバターをレンダリングすることに関する方法及びシステムを含み、観衆は、ゲームプレイを見るためにビデオゲームにアクセスした複数の観客を含む。様々な表情に富むアバターは、観衆の一部である観客の群衆の感情を表す。表情に富むアバターは、観客がビデオゲームのゲームプレイを見ているときに、観客からリアルタイムでインタラクションデータを収集することによって識別される。様々な観客から収集されたインタラクションデータは、ビデオゲームのゲームプレイを見ているときの観客のビデオ、観客が生成した音声、テキスト、グラフィックインターチェンジフォーマット（Ｇｒａｐｈｉｃ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ（ＧＩＦ））画像／ファイル、ミーム、絵文字など、チャットインターフェイス、ソーシャルメディアインターフェイスに投稿されたものを含み得る。異なる観客から収集されたインタラクションデータが集約され、集約されたデータに対して情緒分析（sentiment analysis）が実行されて、観客によって伝えられた顕著な感情やアイデアを識別する。多数の観客がゲームプレイを視聴するためにビデオゲームにアクセスする可能性があるため、各々の個々の観客の感情を処理して表現することは事実上不可能である。インタラクションデータを集約すると、観衆の中で表現される様々なバイブを決定するために、各々の個々の観客の感情を考慮することができる。情緒分析のデータは、観衆の観客が表現する様々なバイブ（つまり、感情や反応）を判断するために使用される。
【0007】
観衆の異なる観客から検出されたバイブが分類され、同じまたは類似した種類のバイブを表現する観客がグループ化されて、バイブクリークが定義される。バイブクリークに関連するデータは、表情に富むアバターの生成に使用され、その後、レンダリングのために各観客のクライアントデバイスに転送される。各バイブクリークを表す表情に富むアバターは、観客のクライアントデバイス上にレンダリングされる観衆の画像表現の対応するセクション上にオーバーレイされるように構成される。観衆の画像表現に含まれるアバターは、観衆の様々な観客から検出された様々な支配的なバイブを識別する。各表情に富むアバターのサイズは、それぞれのバイブクリークのサイズに対応するようにスケーリングされる。特定のバイブクリークのアバターが大きいほど、アバターに関連付けられた対応する感情が、観衆内で識別された他の感情よりも支配的になる（つまり、各アバターから検出されたバイブの支配レベルが他のバイブを越えている）。
【0008】
観客によって提供されるインタラクションは、ビデオゲームのゲームプレイで発生する様々なアクティビティに応じて、または他の観客のコメント／インタラクションに応じて行うことができる。インタラクションは、音声コメント、テキストコメント、またはチャットインターフェイスを介して提供されるチャットコメントの形式で行われ得る。さらに、または代わりに、観客のインタラクションはビデオフォーマットであってもよい。例えば、ビデオゲーム内で発生するアクティビティまたは他の観客のインタラクションに対する観客の表情は、観客のクライアントデバイス内に統合されるか、またはそれに通信可能に結合される１つまたは複数のカメラを使用してキャプチャされ、ゲームクラウドサーバに転送され得る。ゲームクラウドサーバは、観客の表情をキャプチャした画像を処理して、観客が表現した感情を判定する。
【0009】
観客の様々なインタラクションが集約され、インタラクションデータに対して情緒分析が実行されて、観客によって伝えられた顕著な感情やアイデアが識別される。ワードクラウドが生成され、インタラクションデータに含まれるテキストコンテンツ及び音声コンテンツから識別されたキーワードで動的に更新され、ワードクラウドに対して更新されるキーワードは、観衆の感情状態を表現する顕著な感情及びアイデアをキャプチャする。機械学習アルゴリズムを用いて、インタラクションデータに含まれる観客の顕著な感情やアイデアを表すキーワードを識別したり、映像コンテンツにおいてキャプチャされる観客の画像から顔の特徴を分析したりする。機械学習アルゴリズムは、インタラクションデータに含まれる様々なモーダルデータストリームを識別するために使用される。識別されたモーダルデータストリームは、その後ユニモーダルまたはマルチモーダルのアプローチを使用して処理され、観客の感情や反応を識別する。キーワードから識別された同様のバイブ（つまり、感情）を表現する観客をクラスタリングすることにより、様々なバイブクリークが識別される。観客のクラスタリングは、観客の年齢、人口統計、及び他のユーザ属性に基づいてさらに調整または条件付けすることができる。ユーザ属性は、ゲームクラウドシステムで維持されるユーザプロファイルから取得することができる。
【0010】
異なるバイブ（つまり、感情）を表す表情に富むアバターが、異なるバイブクリークに対して生成される。アバターは、観衆（つまり、群衆）の各感情の優位性を視覚的に表現するために、異なる特性を含むように生成される。いくつかの特性には、観客の観衆の間の各感情の支配レベルを定義するサイズ、集団心理を呼び起こすための温度や色合いの強さなど、観客の感情を反映する色が含まれる。異なる感情を表す色は、アバターを生成するときにシステムで利用できるブランドの色彩心理学の出版物／文献を参照して選択できる。１つの参照例がhttps://en.wikipedia.org/wiki/Color_psychologyに見出せる。機械学習を使用すると、多数の観客の感情が認識、集約され、スケーラブルな方法で表され、観衆の異なる感情と、異なる感情を表現する観衆の観客数の視覚的な表現を観客に提供する。様々な感情を表現するアバターは、オンラインゲームセッションからビデオゲームのコンテンツと共に提供される観客の観衆の画像表現上にレンダリングするために提供される。１つの利点は、アバターが、観客が非常に大きなゲーム観客のグループの反応の分布を迅速に（つまり、ほぼリアルタイムで）視覚的に測定する方法を提供し、ゲームの観客が観客自身の反応を観客のピアグループと比較することが可能になることである。もう１つの利点は、観客が、どの場所からでもビデオゲームのゲームプレイを十分に楽しむために、同じ考えを持つ観客をすぐに識別して関連付けることができることである。さらに別の利点は、アバターによってオンラインビデオゲームのプレイヤーが特定のゲームプレイに対するフィードバックを評価できることである。
【0011】
様々な感情を表現するアバターを提供することに加えて、観客の感情は、ビデオゲームのゲームプレイのライブ視聴中または遅延視聴中に観客に提示されるアバターに含める反応トラックを識別するために使用され得る。反応トラックは、観衆の観客の感情を表現するために使用される。例えば、識別され得る反応トラックの１つは、笑いトラック（ラフタートラックとも呼ばれる）である。笑いトラックは幸福の感情を表現するために提供されている。幸福の感情を表現するために笑いトラックを提供することに加えて、反応トラックは、悲しい、驚き、怒り、中立などの他の感情を表現するためにも使用できる。適切な反応トラックは、ビデオゲームを視聴している観客の観衆で識別される各バイブクリークの異なるアバターにより表現される感情に基づいて識別される。いくつかの実施形態では、反応トラックは、観客のバイブをキャプチャする音声トラックである。
【0012】
アバターの代わりに、またはアバターに加えて、観客のインタラクションデータを使用して、観客が表現する異なる感情を表す適切なグラフィックインターチェンジフォーマットファイル（ＧＩＦ）を識別し、識別されたＧＩＦを提供して、ビデオゲームのコンテンツと共にレンダリングすることができる。一例では、各グループの感情を表すＧＩＦは、グループの観客の好み、またはグループの１人以上の観客によるＧＩＦの事前の選択、またはＧＩＦの人気などに基づいて自動的に選択され得る。別の例では、グループの感情を表すＧＩＦが自動的に選択され得、観客には選択をオーバーライドにするオプションが提供され得る。このオプションは、観客が選択するためのＧＩＦのサブセットと共にユーザインターフェイスで提供され得る。ユーザインターフェイスに提示されるＧＩＦのサブセットは、ビデオゲーム内（つまり、インタラクションデータを提供する場合のインタラクションインターフェイス内）または社交的インタラクションのいずれかで特定の感情を表現するために観客が以前に選択したＧＩＦのタイプに基づく場合があり、各観客のユーザプロファイル内に維持されるか、またはインタラクション履歴内に維持される観客の好みから識別され得る。インタラクション履歴は、ビデオゲームごと、観客ごと、観客のグループごと、インタラクションセッションごと、感情ごとなどで維持され得る。
【0013】
他の例では、観客がメンバーであるグループの感情を表すために観客が自分のＧＩＦを選択するためのオプションがユーザインターフェイスに提供されてもよい。この例では、観客には、選択用の１つまたは複数のＧＩＦへのリンクが提供される場合がある。別の例では、ＧＩＦを自動的に選択して観客にオプションを提供する代わりに、各グループに関連付けられた感情を表すＧＩＦのサブセットが識別され、それぞれのグループの１人以上の観客が選択できるようにユーザインターフェイス上に提供されてもよい。観客によるサブセットからのＧＩＦの選択は、グループの感情を表すために使用され、ビデオゲームのコンテンツと共にレンダリングするために観客のクライアントデバイスに提供され得る。別の例では、グループの各観客は、それぞれのクライアントデバイスで提示されるビデオゲームのコンテンツと共にレンダリングするために自分の選択したＧＩＦを選択することができる場合がある。この例では、各観客には、自分のクライアントデバイスでＧＩＦのレンダリングを制御する自由が与えられる。
【0014】
一実施形態では、ビデオゲームのオンラインゲームを視聴している観客の観衆の感情を表現する方法が提供される。方法は、ビデオゲームのゲームプレイを見ることに関与している観衆の観客からインタラクションデータをキャプチャすることを含む。観客からキャプチャしたインタラクションデータが集約される。集約には、観衆の観客から検出された感情に従って観客を異なるグループにクラスタリングすることを含む。各観客のグループは、別個の感情、及び別個の感情を表現するそれぞれのグループの観客数に対応する信頼スコアと関連付けられる。各グループの感情を表すアバターが生成され、各グループのアバターは、それぞれの観客のグループの反応を視覚的に表現する。各グループに関連付けられたアバターの表情は、それぞれのグループの観客の表情の変化に一致するように動的に調整される。ビデオゲームのコンテンツと一緒に観衆の異なる観客のグループの別個の感情を表すアバターを表示する。
【0015】
一実施形態では、インタラクションデータに含まれる１つまたは複数のモーダルデータストリームが識別される。１つまたは複数のモーダルデータストリームは、ビデオゲームを視聴している観客によって表現された感情を識別するために処理される。観客は、観客が表現した感情に従ってグループにクラスタリングされ、各観客のグループが別個の感情に関連付けられる。インタラクションデータから識別される１つまたは複数のモーダルデータストリームは、ビデオゲームのゲームプレイを視聴している観客からリアルタイムで収集される、テキストデータ、またはビデオデータ、または音声データ、またはチャットデータ、または絵文字、またはミーム、またはグラフィックコンテンツ、またはグラフィックインターチェンジフォーマットファイル、のうちのいずれか１つまたは組み合わせに対応する。ビデオデータは、観客がビデオゲームを視聴している間の異なる観客の表情をキャプチャし、音声データは、音声コンテンツに加えて、ピッチ、振幅、持続時間などの１つ以上の音声特徴を含む。
【0016】
一実施形態では、機械学習アルゴリズムを使用して複数のモデルが生成され、トレーニングされる。複数のモデルの各モデルは、インタラクションデータから識別されたモーダルデータストリームの特定の１つからのデータを使用してトレーニングされる。複数のモデルの出力を集約して、観客の感情を分類し、インタラクションデータを介して観客により表現される感情の各々の確率を決定する。
【0017】
一実施形態では、機械学習アルゴリズムを使用してモデルが生成され、トレーニングされる。モデルは、インタラクションデータから識別されたモーダルデータストリームを入力として使用してトレーニングされる。モデルの出力を使用して、観客の感情を分類し、インタラクションデータを介して観客により表現される感情の各々の確率を決定する。
【0018】
一実施形態では、それぞれの別個の感情に対するアバターのサイズは、それぞれの観客のグループに関連付けられた信頼スコアに基づいてスケーリングされる。
【0019】
一実施形態では、各観客グループに関連付けられた信頼スコアは、それぞれの観客のグループで検出された観客数の変化に従って変化する。
【0020】
いくつかの実施形態では、インタラクションデータを集約することは、インタラクションデータの情緒分析を介して識別されたキーワードを含むワードクラウドを生成し、動的に更新することを含む。キーワードはワードクラウドに更新され、各時点での観衆の感情状態をキャプチャする。ワードクラウドのキーワードは、機械学習アルゴリズムによる入力として使用され、１つ以上のモデルを生成及びトレーニングする。１つまたは複数のモデルからの出力は、インタラクションデータを介して観客が表現する感情と各感情の確率を識別するために使用される。
【0021】
一実施形態では、インタラクションデータには、インタラクション型インターフェイスを介して提供されるビデオデータ、音声データ、テキストコメント、または絵文字の反応のうちの１つまたは複数が含まれる。インタラクションデータは、観客がビデオゲームを見ているときにリアルタイムで生成またはキャプチャされる。
【0022】
一実施形態では、各グループの観客の表情は、ビデオゲームのゲームプレイで生じる変化に従って変化し、それぞれのグループに関連付けられた各アバターの表情は、それぞれの観客のグループの観客の表情で検出された変化を反映するように動的に調整される。
【0023】
一実施形態では、各観客グループに関連付けられた信頼スコアは、それぞれの観客のグループで検出された観客数の変化に従って変化する。
【0024】
一実施形態では、ビデオゲームの異なる観客グループから検出された異なる感情の反応強度を表すインタラクション型時間グラフが生成され提示される。インタラクション型時間グラフ内の異なる感情の各々の反応強度は、ビデオゲームのゲームプレイで発生する変化に従って時間の経過と共に変化する。インタラクション型時間グラフでキャプチャされた反応強度の変化は、それぞれの観客のグループから検出された異なる感情の反応強度の変化を引き起こしたビデオゲームのゲームプレイの特定の部分にリンクされている。リンクすることにより、ビデオゲームのゲームプレイの特定の部分へのアクセスし、対応する反応強度の変化を引き起こしたインタラクションを視聴することが可能になる。
【0025】
一実施形態では、インタラクション型時間グラフは、複数のグラフの線を有する折れ線グラフであり、各グラフの線は、特定の観客のグループから検出された特定の感情に対応する。特定の感情に対応するアバターがそれぞれのグラフの線の上にレンダリングされる。
【0026】
一実施形態では、ビデオゲームのゲームプレイデータはリアルタイムでストリーミングされ、ゲームプレイの記録はゲームプレイデータストアに保存され、遅延時間での後続のストリーミングに利用できるようにされる。本願で使用される場合、遅延時間は、ビデオゲームをリアルタイムでストリーミングする代わりに、後で再生するときにゲームプレイの記録をレンダリングすることに対応する。ビデオゲームの観客のグループに関連付けられる感情の反応強度を表すインタラクション型時間グラフが生成され、ビデオゲームのコンテンツと共に提示される。インタラクション型時間グラフはリアルタイムで生成され、ゲームプレイの記録と共にゲームプレイデータストアに保存される。ゲームプレイの記録がその後遅延時間でストリーミングされる場合、ゲームプレイの記録が遅延時間中にストリーミングされるときにキャプチャされた複数の観客の反応強度を含むようにインタラクション型時間グラフを修正することによって新しいインタラクション型時間グラフが生成される。複数の観客の反応強度をキャプチャする新しいインタラクション型時間グラフが、遅延時間でのゲームプレイの記録を行う間にビデオゲームのコンテンツと共に提示される。
【0027】
一実施形態では、アバターを提示することは、観客による選択のためのセグメント化オプション及びフォーマットオプションを有するユーザインターフェイスを提供することを含む。セグメント化オプションは、アバターをレンダリングするために表示画面上に定義された複数のセグメントからセグメントを選択するためのオプションを提供し、フォーマットオプションは、表示画面上でアバターをレンダリングするときに採用するレンダリングオプションを提供する。フォーマットオプションには、透明フォーマット、オーバーレイフォーマット、または提示フォーマットのいずれかが含まれる。
【0028】
一実施形態では、アバターを提示することが、各観客のグループ内の観客の地理的位置を決定することを含む。各グループの観客が単一の地理的位置に関連付けられ、観客の各グループが明確に異なる地理的位置に関連付けられる場合、異なる観客のグループに関連付けられた地理的位置を識別するマップが提示される。各それぞれの観客のグループに関連付けられた対応するアバターは、マップ内で識別されたそれぞれの観客のグループに関連付けられた地理的位置にオーバーレイされる。
【0029】
一実施形態では、各グループ内の観客のうちの特定の一人が識別され、ビデオゲームのゲームの瞬間を定義している間に特定の観客の反応がキャプチャされ、キャプチャされた特定の観客の反応がビデオゲームのコンテンツと共にレンダリングされる。
【0030】
一実施形態では、各グループ内の特定の観客の一人は、ゲームのゲーム状態に基づいてビデオゲーム内で発生する予定のアクションを識別し、ビデオゲーム内で発生する様々なアクションに対して各グループ内の異なる観客が示す反応の種類を識別し、様々なアクションに対して特定の観客が示した反応に基づいて各グループ内の特定の観客の一人を選択することによって識別され、特定の観客を選択することは、ビデオゲームでアクションが発生するとき、各グループの特定の観客の反応をキャプチャするために予測的にズームインすることを含む。
【0031】
一実施形態では、各グループ内の特定の観客の一人は、それぞれのグループ内の残りの観客によって生成された、各グループの特定の観客の表情に関連するコメントの種類及び数に基づいて、またはランダムに、または特定の観客の一人によって提供された表現的反応に基づいて選択される。
【0032】
一実施形態では、観客からキャプチャされたインタラクションデータは、ビデオゲーム内で発生するイベントまたはアクションに対する反応、またはビデオゲームのゲームプレイを視聴している特定の観客の反応に対するカウンター反応を含む。
【0033】
一実施形態では、グループの観客からキャプチャされたインタラクションデータは、グループに関連付けられた特定の観客の反応を含む。観客からキャプチャされたインタラクションデータを集約することは、特定の観客の反応に対して反応しているグループ内の他の観客の反応を集約することを含む。
【0034】
一実施形態では、観客を異なるグループにクラスタリングすることは、観客が第１のクラスタから第２のクラスタに移動するためのオプションを提供することを含む。オプションは、ビデオゲームのコンテンツと共にレンダリングされるユーザインターフェイス上で提供される。移動は、観客を第１のクラスタから動的に関連付け解除し、観客を第２のクラスタに動的に関連付けることを生じさせる。動的関連付けにより、観客は第２のクラスタ内の観客のインタラクションにアクセスできるようになり、動的関連付け解除により、観客は第１のクラスタ内の観客のインタラクションにアクセスできなくなる。
【0035】
他の実施形態では、ビデオゲームのオンラインゲームを視聴している観客の観衆の感情を表現する方法が提供される。方法は、ビデオゲームのゲームプレイを見ることに関与している観衆の観客からインタラクションデータをキャプチャすることを含む。観衆の観客からキャプチャしたインタラクションデータを集約し、インタラクションデータの情緒分析を実行する。集約は、インタラクションデータに含まれる１つまたは複数のモーダルデータストリームを識別し、１つまたは複数のモーダルデータストリームを処理して、ビデオゲームのゲームプレイを視聴している観客によって表現された感情を識別し、観客によって表現された感情に従って、観客をグループにクラスタリングすることを含む。各観客のグループは、別個の感情、及び別個の感情を表現するそれぞれのグループの観客数に対応する信頼スコアと関連付けられる。各グループの別個の感情を表すアバターが生成される。各グループに関連付けられたアバターの表情は、それぞれのグループの観客の表情の変化に一致するように動的に調整される。ビデオゲームのコンテンツと共に、異なる観客のグループの別個の感情を表すアバターを提示する。
【0036】
一実施形態では、ビデオゲームのオンラインゲームを視聴している観客の観衆の感情を表現する方法が開示される。方法は、ビデオゲームのゲームプレイを見ることに関与している観衆の観客から収集されたインタラクションデータを集約することを含む。集約は、観衆の観客から検出された感情に基づいて観客をすることを含み、観客の各グループは、インタラクションデータから識別される別個の感情に関連付けられる。反応トラックは、各グループに関連付けられた別個の感情に対応するものとして識別される。観客により視聴されているビデオゲームのコンテンツと共に、各グループの反応トラックを提示する。
【0037】
一実施形態では、各グループの観客数に基づいて、各観客のグループの信頼スコアを決定する。各グループの反応トラックのボリュームは、それぞれのグループの信頼スコアに基づいてスケーリングされる。
【0038】
一実施形態では、各グループの観客によって表される感情の変化が経時的に検出され、各グループの反応トラックが、それぞれのグループで検出された感情の変化に対応するように動的に識別され、その変化は、ビデオゲームのコンテンツ内で発生する変化と相関するように検出される。
【0039】
一実施形態では、各グループの反応トラックが、ビデオゲームを見ることに関与しているすべての観客に提示される。
【0040】
一実施形態では、第１の観客のグループに提示された反応トラックが第２の観客のグループに提示された反応トラックとは異なるように、それぞれのグループの観客に各観客のグループの反応トラックを提示する。
【0041】
一実施形態では、特定の観客のグループの反応トラックがビデオゲームを見ているすべての観客に提示され、特定のグループは各グループの信頼スコアに基づいて選択される。各グループの信頼スコアは、それぞれのグループの観客数を示す。
【0042】
一実施形態では、インタラクションデータの情緒分析が実行されて、感情に対応するキーワードが識別され、ワードクラウドが生成され、キーワードで動的に更新される。ワードクラウド内のキーワードは、任意の所与の時点での観客の感情状態をキャプチャする。
【0043】
一実施形態では、特定の観客のグループの反応トラックは、キーワードによって定義される感情に従ってワードクラウド内のキーワードをグループ化することによって識別され、各キーワードのグループが特定の感情に対応する。特定のグループの感情を表すキーワードのグループを選択することは、特定のグループの反応トラックを識別するために使用される。
【0044】
一実施形態では、ビデオゲームの特定のプレイヤーまたは特定のプレイヤーのチームに対する観客の所属は、観客またはプレイヤーのソーシャルグラフから識別される。インタラクションデータ内のキーワードからワードクラウドが生成及び更新される。キーワードは、ビデオゲームにおける特定のプレイヤーまたは特定のプレイヤーのチームのゲームプレイに反応する観客の感情に対応する。キーワードは、観客の所属に従ってグループにグループ化され、各キーワードのグループは特定の感情に対応する。特定のグループの感情を表すキーワードのグループを選択することは特定のグループの反応トラックを識別するために使用される。
【0045】
一実施形態では、各グループの反応トラックは、人工知能モデルを使用して識別される。
【0046】
一実施形態では、第１のグループの観客から要求が受信される。要求は、観客を第１のグループではなく第２のグループに所属させることである。要求に応答して、観客は第１のグループから関連付け解除され、第２のグループに関連付けられる。観客を第２のグループに関連付けると、第１のグループ及び第２のグループの観客数が変化し、観客は第２のグループのインタラクションデータにアクセスできるようになる。
【0047】
一実施形態では、アバターが生成され、観客の各グループに関連付けられる。各グループのアバターの表情は、各グループの観客によって表現された対応する感情に検出される変化に応じて動的に調整される。観客が表現する感情の変化は、ビデオゲーム内で起こるイベントに対応している。各グループのアバターには、ビデオゲームのコンテンツと共に反応トラックが提示される。
【0048】
いくつかの実施形態では、人工知能モデルを使用して、観客のグループに対して一般的なアバターが生成される。一般的なアバターはグループに関連付けられる。この関連付けにより、グループの観客によって生成されたインタラクションデータへのアクセスが可能になる。インタラクションデータは、グループの観客が表現する感情のダイナミクスを決定するために使用され、感情はビデオゲームで検出された変化に応じて変化する。一般的なアバターの表情は動的に調整され、グループの感情で検出された変化に対応する適切な反応トラックが識別される。調整された表情と反応トラックを備えたアバターは、レンダリングのために観客のクライアントデバイスに転送される。
【0049】
いくつかの実施形態では、２つの対立するグループのアバター及び反応トラックが、ビデオゲームのコンテンツと共に観客に同時に提示される。２つの対立する観客グループのアバターと反応トラックは、ビデオゲーム内で発生するイベントに対して対照的な反応を示す。
【0050】
一実施形態では、特定の感情に対する反応ハイライトを提供するために、特定の感情に関連付けられた特定の観客のグループの中から観客が選択される。観客は、観客が表現する感情に基づいて選択される。ビデオゲームで発生するイベントに関連する重要なゲームの瞬間に、観客がグループの感情を表現するビデオが提示される。ビデオは特定のグループの反応トラックと共に提示される。
【0051】
一実施形態では、特定のグループの観客はランダムに選択されるか、または観客がビデオゲームのゲームプレイを視聴している間にキャプチャされた特定のグループの観客の以前の表情の予測分析を介して選択される。
【0052】
一実施形態では、グラフィックインターチェンジフォーマット画像（ＧＩＦ）は、特定のグループに関連付けられた特定の感情に対する反応ハイライトを提供するために識別される。ＧＩＦは、特定のグループの感情に関連付けられたキーワードを使用して識別される。識別されたＧＩＦは、ビデオゲームで発生するイベントに関連する重要なゲームの瞬間の反応ハイライトを提供するために表示される。感情の反応ハイライトを表現するＧＩＦは、特定のグループの観客により表現される。
【0053】
別の実施形態では、ビデオゲームのオンラインゲームを視聴している観客の観衆の感情を表す方法が開示される。方法は、ビデオゲームのゲームプレイを見ることに関与している観衆の観客からインタラクションデータをキャプチャすることを含む。観客からキャプチャしたインタラクションデータが集約される。集約には、観衆の観客から検出された感情に従って観衆の観客を異なるグループにクラスタリングすることを含む。観客の各グループは、インタラクションデータから特定された別個の感情に関連付けられており、異なるグループに対して信頼スコアが計算される。信頼スコアは、グループに関連付けられた別個の感情を表現する各グループ内の観客数に基づいて、観客の各グループに対して決定される。反応トラックは、観衆内で識別された観客の特定のグループに関連付けられた別個の感情に対応するように識別され、観客の特定のグループは各グループの信頼スコアに基づいて識別される。特定の観客のグループの反応トラックは、観客により視聴されているビデオゲームのコンテンツと共に各グループの観客に提示される。
【0054】
一実施形態では、ビデオゲームのゲームプレイを視聴している観客の観衆の感情を表現する方法が開示される。方法は、ビデオゲームのゲームプレイを見ることに関与している観衆の観客からインタラクションデータを集約することを含む。集約には、観衆の観客から表現された感情に従って観客を異なるグループにクラスタリングすることを含む。各観客のグループは、インタラクションデータから識別された別個の感情に関連付けられている。グラフィックインターチェンジフォーマットファイル（ＧＩＦ）は、各観客グループで表現された別個の感情を識別する。各別個の感情について識別されたＧＩＦは、対応する観客のグループに関連付けられ、それにより、各観客のグループが別個のＧＩＦに関連付けられる。識別されたＧＩＦは、ビデオゲームのゲームプレイコンテンツと共に、レンダリングのために観客のクライアントデバイスに返される。
【0055】
一実施形態では、各グループの観客によって表現された感情の変化が検出され、グループに対して識別されたＧＩＦが動的に更新される。感情の変化は、ビデオゲームのゲームプレイで生じる変化と相関しており、グループのＧＩＦは、グループの観客の感情の変化に対応して動的に更新される。
【0056】
一実施形態では、各グループの識別されたＧＩＦは、観客の画像表現上にレンダリングするために、ビデオゲームの観客のクライアントデバイスに返される。観客の画像表現は、ビデオゲームのコンテンツと共にレンダリングされるように構成されている。
【0057】
一実施形態では、各グループに関連付けられたＧＩＦのサイズは、それぞれのグループの観客数に一致するようにスケーリングされ、観客数が最も多い第１のグループに対して識別されたＧＩＦが、第１のグループよりも観客数が少ない第２のグループよりも大きく提示される。各ＧＩＦのサイズは、各観客のグループ内の観客のサイズに対応するようにスケーリングされる。
【0058】
一実施形態では、インタラクションデータを集約することは、インタラクションデータに含まれるモーダルデータストリームを識別し、ビデオゲームを視聴している観客によって表現された感情を識別するためにモーダルデータストリームを処理し、及び観客によって表現される感情に従って観客をグループにクラスタリングすることを含み、各グループは別個の感情に関連付けられている。インタラクションデータから識別されるモーダルデータストリームは、ビデオゲームを視聴している観客からリアルタイムで収集される、テキストデータ、またはビデオデータ、または音声データ、またはチャットデータ、または絵文字、またはミーム、またはグラフィックコンテンツのいずれか１つまたは組み合わせに対応する。
【0059】
一実施形態では、機械学習アルゴリズムを使用して複数のモデルが生成され、トレーニングされる。複数のモデルの各モデルは、インタラクションデータから識別されたモーダルデータストリームの特定の１つからのデータを使用してトレーニングされる。複数のモデルの出力が集約されて、インタラクションデータを介して観客が表現する感情と各感情の確率が識別される。
【0060】
他の実施形態では、機械学習アルゴリズムを使用してモデルが生成され、トレーニングされる。モデルは、インタラクションデータから識別されたモーダルデータストリームを入力として使用してトレーニングされる。モデルからの出力は、インタラクションデータを介して観客が表現する感情と各感情の確率を識別するために使用される。
【0061】
一実施形態では、特定のグループのＧＩＦを識別することは、特定の観客のグループに関連付けられた別個の感情についてのＧＩＦのサブセットを識別し、特定のグループの１人以上の観客による選択のためにユーザインターフェイスにＧＩＦのサブセットを提示することを含む。ＧＩＦのサブセットは、特定のグループの１人以上の観客による、別個の感情に対するＧＩＦの事前の選択に基づいて選択される。
【0062】
一実施形態では、ＧＩＦを特定の観客のグループの別個の感情に関連付けることは、ユーザインターフェイスに提示されるＧＩＦのサブセットから特定のＧＩＦの選択を受け取ること、及び選択されたＧＩＦを特定のグループに関連付けることを含む。
【0063】
一実施形態では、ＧＩＦのサブセットが、特定の観客のグループに関連する別個の感情について識別される。ＧＩＦのサブセットは、特定のグループ内の１人以上の観客によって指定された好みに基づいて識別される。ＧＩＦのサブセット内の各ＧＩＦは、特定のグループの１人以上の観客によって、そのＧＩＦが別個の感情に対して選択された回数を表す信頼度指標に関連付けられている。特定のＧＩＦは、特定のＧＩＦに関連付けられた信頼度指標に基づいて、ＧＩＦのサブセットから自動的に選択され、特定のグループに関連付けられる。
【0064】
一実施形態では、特定のグループに対して自動的に選択されたＧＩＦをオーバーライドするためのカスタマイズオプションが提供される。カスタマイズオプションを選択すると、特定のグループの別個の感情について識別されたＧＩＦのサブセットがレンダリングされ、選択オプションがＧＩＦのサブセットから特定のグループに関連付ける代替ＧＩＦを選択する。
【0065】
一実施形態では、各グループの別個の感情に対して識別されたＧＩＦは、クライアントデバイスの表示画面上に定義されたセグメント内にレンダリングされるようにフォーマットされる。セグメントは、各グループ内の各観客によって指定された好みに基づいて識別される。
【0066】
一実施形態では、レンダリングフォーマットは、識別されたＧＩＦごとに定義され、レンダリングフォーマットは、透明フォーマット、またはオーバーレイフォーマット、または提示フォーマットのうちの１つである。
【0067】
一実施形態では、各グループの別個の感情についての反応トラックが識別される。識別された反応トラックは、観客のクライアントデバイスでレンダリングするためにＧＩＦと共に返される。
【0068】
一実施形態では、各グループの識別されたＧＩＦは、グループの観客にレンダリングするために提供され、各観客のグループには、それぞれのグループの感情に対応するＧＩＦが提示される。
【0069】
一実施形態では、観客が第１のグループから第２のグループに移動できるようにするオプションが提供される。オプションは、インタラクションデータの集約から作成されたグループのリストと共に、インタラクション型インターフェイスに提示される。第２のグループを識別するオプションを選択すると、観客は第１のグループから関連付け解除され、第２のグループに関連付けられる。第１のグループからの関連付け解除により、観客は第１のグループのインタラクションデータにアクセスできなくなり、第２のグループへの関連付けにより、観客は第２のグループのインタラクションデータにアクセスできるようになる。
【0070】
一実施形態では、ワードクラウドが生成され、インタラクションデータを感情的に分析することによって識別されたキーワードで動的に更新される。ワードクラウドに更新されるキーワードは、各時点で観衆の観客が表現する別個の感情に対応している。
【0071】
一実施形態では、ワードクラウド内のキーワードは、キーワードによって定義される感情に従ってグループ化され、キーワードの各グループは異なる感情に対応する。特定の感情に対応するキーワードのグループは、特定の感情のＧＩＦを識別するために使用される。特定の感情のＧＩＦは、特定の感情のキーワードが識別されるインタラクションデータを提供した対応する観客のグループに関連付けられる。
【0072】
一実施形態では、観客のクラスタリングはさらに、年齢、人口統計、選手への所属、チームへの所属、及び観客のユーザプロフィールに基づいて行われる。
【0073】
別の実施形態では、ビデオゲームのオンラインゲームを視聴している観客の観衆の感情を表す方法が開示される。方法は、ビデオゲームのオンラインゲームプレイに関与する観客から検出されたインタラクションデータを集約することを含む。集約には、インタラクションデータに含まれる１つまたは複数のモーダルデータストリームを識別することが含まれる。１つまたは複数のモーダルデータストリームは、ビデオゲームのゲームプレイを視聴している観客によって表現された感情を識別するために処理される。観客は、観客によって表現された感情に基づいてグループにクラスタリングされ、観客の各グループは、インタラクションデータから識別される別個の感情に関連付けられる。グラフィックインターチェンジフォーマットファイル（ＧＩＦ）は、各観客のグループで表現された別個の感情を識別する。各別個の感情について識別されたＧＩＦは、それぞれの観客のグループに関連付けられ、それにより、各観客のグループが別個のＧＩＦに関連付けられる。各グループについて識別されたＧＩＦは、ビデオゲームのコンテンツと共に、レンダリングのために観客のクライアントデバイスに返される。
【0074】
一実施形態では、観客のクラスタリングには、機械学習アルゴリズムを使用して１つまたは複数のモデルを生成及びトレーニングすることが含まれる。１つまたは複数のモデルは、インタラクションデータから識別された１つまたは複数のモーダルデータストリームからのデータを使用してトレーニングされる。１つまたは複数のモデルの出力が集約されて、観客が表現した異なる感情と各感情の確率が識別される。
【0075】
本開示の他の態様及び利点は、添付の図面と併せて、本開示の原理を例示する以下の詳細な説明から明らかになるであろう。
【0076】
本開示は、添付の図面と併せて以下の説明を参照することによって、一層よく理解することができる。
【図面の簡単な説明】
【0077】
【図1】本発明の実施形態による、複数のプレイヤーに対してビデオゲームのゲームプレイを実行し、ビデオゲームのゲームプレイを視聴している異なる観客グループから検出された感情を識別して提示するように構成されたシステムの簡略化されたブロック図を示す。
【図2】本開示の実施形態による、ビデオゲームのゲームプレイを視聴している観衆の観客の中で異なる観客の感情を識別し提示する異なる段階の簡略化した概要を示す。
【図3】本開示の実施形態による、異なる観客から検出された感情を識別し、異なる観客から検出された感情の視覚的表現を提示するために使用される情緒表面化エンジンのブロック図を示す。
【図4】本開示の一実施形態による、異なる感情を表すアバターを生成し提示するためにインタラクションデータを処理する様々なフェーズの間に使用される情緒表面化エンジンの様々な構成要素の大観を示す。
【図5】本開示の一実施形態による、ビデオゲームのオンラインゲームを視聴している観客のインタラクションデータを収集及び分析するために使用される情緒表面化エンジンの例示的なインタラクションアナライザを示す。
【図6】本開示の一実施形態による、異なる観客から検出された様々な感情を識別するために使用される情緒表面化エンジンの例示的なキーワード分析エンジンを示す。
【図7】本開示の一実施形態による、異なる観客から検出された異なる感情を表すアバターを生成及びスケーリングするために使用される情緒表面化エンジンの例示的なアバター視覚化装置を示す。
【図8A】本開示の一実施形態による、ユニモーダル感情認識プロセスの一部としてのビデオ画像処理の概要を示す。
【図8B】本開示の一実施形態による、マルチモーダル感情認識プロセスの一部としてのビデオ画像処理の概要を示す。
【図8C】本開示の一実施形態による、ビデオゲームのオンラインゲームを視聴している観客のインタラクションから検出された異なる表情を識別するための情緒表面化エンジンを使用して実装される簡略化されたユニモーダルの感情認識プロセスを示す。
【図9】本開示の一実施形態による、観客がビデオゲームのオンラインゲームを視聴している間にキャプチャされた異なる観客のビデオを使用したインタラクション収集フェーズ（すなわち、動作）の簡略化された画面表現を示す。
【図10】本開示の一実施形態による、観客から検出された異なる表情を識別するために使用されるサンプルの顔特徴認識プロセスを示す。
【図11】本開示の一実施形態による、観客がビデオゲームのオンラインゲームを視聴していたときに、ビデオにキャプチャされた観客の顔の特徴を分析することによって認識された感情のサンプルセットを示す。
【図12】本開示の一実施形態による、観客の感情を識別するために感情分析中に情緒表面化エンジンによって使用されるサンプルのバイブ評価を示す。
【図13】本開示の一実施形態による、ビデオゲームのオンラインゲーム中に収集された観客のインタラクションを使用する感情集約フェーズ（すなわち、動作）の簡略化された画面表示を示す。
【図14】本開示の一実施形態による、情緒表面化エンジンによって実行される感情視覚化フェーズの簡略化された画面表示を示す。
【図15】本開示の一実施形態による、観客から検出された感情を表すキーワードを認識するために使用されるワードクラウドを生成するために観客の観衆から収集される観客の様々なインタラクション入力を示す。
【図16】本開示の一実施形態による、情緒表面化エンジンによって定義されたサンプルのバイブクリークを示す。
【図17】本開示の一実施形態による、観客の観衆に対して提示される異なるバイブクリークの感情を表すサンプルのアバター／絵文字を示す。
【図18】本開示の一実施形態による、観客の感情を識別して提示し、ビデオゲームのコンテンツと共に表面化した感情を表すアバターを提示するための方法動作を示す。
【図19】本開示の一実施形態による、異なる感情を表すアバターを生成し提示するためにインタラクションデータを処理する様々なフェーズを実行し、クライアントデバイスで提示するための適切な反応トラックを識別するために使用される情緒表面化エンジンの様々な構成要素のバリエーションを示す。
【図20】一実施形態による、ビデオゲームのオンラインゲームを見ている観客によって表現される異なる感情に対して識別された反応トラックの例を示す。
【図21】一実施形態による、識別され、観衆の代表画像上に表情に富むアバターと共に提示される反応トラックの例を示す。
【図22】一実施形態による、観衆内で識別される様々なバイブクリークと、それぞれのバイブクリークと関連付けるための対応する反応トラックの例を示す。
【図23】一実施形態において、観衆内で識別された支配的な感情を表すアバターと、対応するアバターと共にレンダリングされる最も支配的な感情の反応トラックを有する観衆の画像表現の代替的な例を示す。
【図24】本開示の一実施形態による、観客の感情を識別し、識別された感情に対応する反応トラックをビデオゲームのコンテンツと共に提示するための方法動作を示す。
【図25】本開示の一実施形態による、観客から検出されたインタラクションデータを処理して、クライアントデバイスでビデオゲームのコンテンツを提示するためのグラフィックインターチェンジフォーマットファイル（ＧＩＦ）を識別するために使用される情緒表面化エンジンの異なる構成要素のバリエーションを示す。
【図26】一実施形態による、観客によって表現された異なる感情に対して識別されたＧＩＦをレンダリングするためにクライアントデバイスの表示画面上で識別された様々なセグメントを示す。
【図27】一実施形態による、観客のインタラクションデータから検出された異なる感情について識別されたＧＩＦのサブセットのいくつかの例を示す。
【図28】一実施形態による、観客のクライアントデバイスでレンダリングされる特定の感情に対して識別されるＧＩＦのサブセット、及びサブセット内のＧＩＦのうちの特定の１つを選択するための選択オプションを伴う、観衆の画像の例示的な見え方を示す。
【図29】一実施形態による、レンダリングされる感情ごとにＧＩＦを変更するカスタマイズオプションを備えたクライアントデバイスの表示画面に識別されレンダリングされる異なる感情を示す。
【図30】本開示の一実施形態による、観客の感情を識別し、ビデオゲームのコンテンツと共に識別された感情を表すグラフィックインターチェンジフォーマットファイルを提示するための方法動作を示す。
【図31】本開示の一実施形態による、観客のインタラクションデータを処理して異なる感情を表すアバターを提示するために使用される例示的な情報サービスプロバイダを示す。
【図32】本開示の様々な実施形態の態様を実行するために使用することができる例示的なサーバデバイスの構成要素を示す。
【発明を実施するための形態】
【0078】
本開示の以下の実施形態は、ビデオゲームのオンラインゲームを視聴するスペクテイター（spectator、以下、「観客」と称する）のオーディエンス（audience、以下、「観衆」と記載する）向けの表情に富むアバターを生成し、ビデオゲームのコンテンツと共に表情に富むアバターを表示するための方法及びシステムについて説明する。アバターの表情は、ビデオゲームのオンラインゲーム（つまり、ゲームプレイ）を視聴している観衆における観客から検出された異なる感情(エモーション：emotion)を表しており、観客が、観衆内の大規模なグループの様々なバイブ（vibe、あるいは、感情、反応、フィーリング、感情的雰囲気、またはノリなど）の分布を迅速に評価あるいは測定（gauge）できるようにする。また、アバターは、各観客が、自分の反応を観衆の中の異なる観客のグループの反応と比較することによって、自分が関連付けることができる観客のピアグループを識別することができるようにする。この関連付けにより、観客は同じような感情（つまり、バイブ）を表現する他の観客と「共に過ごす」ことができ、観客はリビングルームや共通の場所、または試合を観戦するスタジアムに一緒に来た友人や家族と共に過ごしているように感じられる。本開示により、観客は、観衆の感情を感じとり、また、観客が感じとった感情をもっている観客達と関連付けることが可能になり、それにより、観客は、デジタル観戦を介して、より豊かなゲーム視聴体験を得ることができるようになる。
【0079】
観客にとっての従来のデジタル観戦の主な欠点の１つは、ゲームの観戦体験を共有する他の観客が存在しないことである。オンラインビデオゲーム（例えば、Ｅスポーツ）により、観客はどこからでもビデオゲームのオンラインゲーム（すなわち、ゲームプレイ）を視聴し、観戦する観衆の一員となることができる。観客はオンラインビデオゲームに接続し、自分のリビングルーム、寮の部屋、またはその他いずれかのお気に入りのたまり場からゲームプレイを観戦する。しかし、ゲームプレイを視聴する観客にとって、オンライン観戦には、例えばスタジアムで行われるライブの試合の場合に通常存在する他の観客とのつながりが欠けている。この欠点は、他の観客をオンラインゲームの観戦会場（スポーツバーなど）に招待することで克服できる。他の観客を集めるには計画が必要であるが、これには時間がかかり、他の観客がその時間内に暇で、会場まで移動することができ、会場まで移動する意思があることが必要である。観客が選択した会場に集まったときであってさえも、通常その会場に集まっている観客は皆、その集会を企画した観客が表現した感情と同じ感情を表していることもあり得る。会場の観客は、スポーツの生の試合を観戦するためにスタジアムに集まった観客のように、観衆の観客から検出される様々な感情が、十分に見えていない可能性がある。
【0080】
従来のオンライン観戦の不都合を緩和し、欠点を克服するために、本明細書に記載される様々な実施形態は、ビデオゲームのオンラインゲームを異なる地理的位置から視聴している異なる観客の感情を視覚的に提示する（すなわち、レンダリングする）ための方法を提供する。特に人気の高いＥスポーツでは、大勢の観客の観衆の感情が表情に富むアバターを用いて伝わる。アバターは、第１の観客が、ゲーム観客の大規模なグループの反応の分布を迅速に（つまり、ほぼリアルタイムで）測定し、その反応をピアグループによって表現された反応と比較することを可能にする。アバターはまた、オンラインゲームのプレイヤーが特定のゲームプレイに対するフィードバックを評価することもできるようにする。表情に富むアバターを提供するために、情緒表面化(sentiment surfacing engine)エンジンが、様々なステップの実行に関与する。ステップの一部には、情報収集ステップまたはフェーズ、情報集約ステップまたはフェーズ、及び説明ステップまたはフェーズが含まれる。
【0081】
本願で使用される場合、観客とは、オンラインイベント、ショー、ゲーム、アクティビティなどを見る個人（つまり、人またはユーザ）である。観衆とは、演劇、映画、コンサート、会議、ゲームなどのオンラインイベント（公開イベントまたはプライベートイベント）を見るために集まった観客のグループまたは集合を指す。本願で説明する様々な実施形態では、観客はビデオゲームのゲームプレイを見聞きするために集まった観衆の一部である。観客は、ビデオゲームのゲームプレイの解説を聞くことに関与するか、ビデオゲームのゲームプレイを見ることに関与する、またはビデオゲームのゲームプレイを見聞きすることに関与することができる。本願全体を通じて、感情と情緒(sentiments)は、インタラクションまたは表情を通じて伝達される人（観客など）の行動を指すために互換的に使用される。インタラクションは一般に、スピーチ（すなわち口頭）または書面（例えば、テキストコメント、グラフィックインターチェンジフォーマットの画像／ファイル、ミーム、絵文字、グラフィックコンテンツなどを含むテキストまたはグラフィックコンテンツ）を介して行われる。表情は通常、顔の特徴を使用して提供される。
【0082】
情報収集フェーズでは、観客がビデオゲームのゲームプレイを見ている間に、観客からのライブの情報が収集される。ライブ情報には、ゲームを見ている観客の顔のライブビデオ、プレイヤー及び／または他の観客とコミュニケーションしているときのライブ音声、インタラクション型インターフェイスに投稿されたテキストまたはチャットのコメントまたは絵文字またはミームまたはグラフィックインターチェンジフォーマットの画像またはファイル（ＧＩＦ）、例えばチャットインターフェイス、メッセージボードなどを含み得る。各観客から収集された情報は、各観客が選択した自発的な共有に基づいている。例えば、各観客には、ビデオゲームのコンテンツと共に提示されるユーザインターフェイスで共有オプションが提供されてもよく、共有オプションは、観客によって生成され、観客がシステムに、観客の感情を判断するため収集及び使用を許可しているインタラクションデータのうちの特定のものを識別する。
例えば、観客は、音声データ、テキストデータ、チャットデータなどを生成することができ、また、観客は、ビデオゲームで発生するイベントまたはアクションに対する反応を生成することができる。観客は、システムがチャットデータのみ、またはテキストデータのみ、または音声データのみ、または反応のみ、またはそれらの任意の組み合わせを収集できるようにすることができる。あるいは、観客は、ビデオゲームの特定の部分またはビデオゲームの特定のセッションに関して観客が生成または表現するインタラクションデータの任意の１つまたは組み合わせをシステムが収集できるようにし得る。各観客から収集されるライブ情報の種類と量は、観客が選択した共有オプションに基づく。
例えば、観客は、音声データ、テキストデータ、チャットデータなどを生成することができ、また、観客は、ビデオゲームで発生するイベントまたはアクションに対する反応を生成することができる。観客は、システムがチャットデータのみ、またはテキストデータのみ、または音声データのみ、または反応のみ、またはそれらの任意の組み合わせを収集できるようにすることができる。あるいは、観客は、ビデオゲームの特定の部分またはビデオゲームの特定のセッションに関して観客が生成または表現するインタラクションデータの任意の１つまたは組み合わせをシステムが収集できるようにし得る。各観客から収集されるライブ情報の種類と量は、観客が選択した共有オプションに基づく。
【0083】
情報収集フェーズで収集した情報はリアルタイムに集約され、分析される。例えば、観客の顔の画像をキャプチャしたライブビデオフィードは、リアルタイムの感情認識を実行するために使用される。機械学習アルゴリズムを使用して、ライブビデオフィードに含まれる様々なモーダルデータストリームを識別し、モーダルデータストリームを処理して、ライブフィードから様々な感情を識別することができる。例えば、機械学習アルゴリズムを使用して、ライブフィードでキャプチャされた顔の特徴から観客が表現した感情を識別することができる。
同様に、音声とテキストのコメントは情緒分析を受けて、観客が伝えた顕著な感情とアイデアを識別し、ミーム、ＧＩＦ、絵文字も同様に、機械学習アルゴリズムを使用して分析され、観客が表現した感情を識別する。テキストデータ、音声データ、チャットデータなどのモーダルデータストリームの分析結果を使用して、異なる感情に対応するキーワードを含む動的なワードクラウドを作成及び更新する。結果として得られるワードクラウドは、様々な時点での観衆の感情状態をキャプチャしている。さらに、機械学習アルゴリズムは、同様のバイブを表現するメンバーを識別してグループ化することで、観客をクラスタリングし、観衆のバイブクリーク（あるいはバイブ集団）を識別する。バイブクリークは、プレイヤーと観客が観衆のメンバーのエネルギーを感じ、他のバイブクリークよりも特定のバイブクリークに強く関係できるように支援する。
同様に、音声とテキストのコメントは情緒分析を受けて、観客が伝えた顕著な感情とアイデアを識別し、ミーム、ＧＩＦ、絵文字も同様に、機械学習アルゴリズムを使用して分析され、観客が表現した感情を識別する。テキストデータ、音声データ、チャットデータなどのモーダルデータストリームの分析結果を使用して、異なる感情に対応するキーワードを含む動的なワードクラウドを作成及び更新する。結果として得られるワードクラウドは、様々な時点での観衆の感情状態をキャプチャしている。さらに、機械学習アルゴリズムは、同様のバイブを表現するメンバーを識別してグループ化することで、観客をクラスタリングし、観衆のバイブクリーク（あるいはバイブ集団）を識別する。バイブクリークは、プレイヤーと観客が観衆のメンバーのエネルギーを感じ、他のバイブクリークよりも特定のバイブクリークに強く関係できるように支援する。
【0084】
分析結果は、各バイブクリークの感情を視覚化し、各バイブクリークの感情を表す表情に富むアバターを生成するために使用される。各バイブクリークのアバターの様々な特性は、それぞれのバイブクリークの現在の感情を反映するために、色、サイズ、表情が変化するように動的に調整される。一部の実施形態では、特定のアバターに含まれる表情が強調表示されて、反応ハイライトが提供される。他の実施形態では、各バイブクリークまたは非常に特定のバイブクリークの観客の選ばれた者（複数可）の反応を、異なるバイブクリークの表情に富むアバターと共に反応ハイライトとして含めることができる。表情に富むアバター、及び場合によっては、選択した観客の反応ハイライトが、観客の各クライアントデバイスでレンダリングされるビデオゲームのコンテンツと一緒に、または上に重ねてレンダリングされる。
【0085】
情緒表面化エンジンは、観衆が経験する様々な感情（つまり、感情の状態）を表すように構成されている。アバターは、対応する感情の支配レベルを観衆において視覚化するためにスケーリングされ、より支配的な感情がそれほど支配的ではない感情よりも大きくレンダリングされる。機械学習を使用した情緒表面化エンジンは、広い地理的場所に分散した多数の観客の感情をスケーラブルな方法で認識し、実質的にリアルタイムで観客に集約的なフィードバックを提供することができる。
【0086】
上記の概要を念頭に置いて、例示的な実施形態の理解を容易にするためにいくつかの例示的な図を参照しながら具体的な実施形態を説明する。しかしながら、本開示は、現在説明されている具体的詳細の一部または全部を用いることなく、実践され得ることは、当業者には明らかである。他の例では、周知のプロセス動作は、本開示を不必要に不明瞭にしないために、詳細に説明されていない。
【0087】
図１は、複数のプレイヤー１０１によるゲームプレイのためにビデオゲームの１つ以上のインスタンスを実行し、ゲームプレイ中に生成されるプレイヤーのインタラクション及び観客のインタラクションを処理するように構成された全体的なゲームクラウドシステム１０の実施形態を示す。プレイヤー１０１ａ～１０１ｎは、複数のクライアントデバイスからゲームのインスタンスにアクセスする。ビデオゲームの選択及びビデオゲームのゲームプレイの要求は、プレイヤー１０１のクライアントデバイスからネットワーク２００（インターネットなど）を介してゲームクラウドサーバ３００に転送される。ゲームクラウドサーバ３００のゲームエンジン３０２は、ユーザアカウントデータベース（図示せず）に格納されたユーザアカウント情報を使用してプレイヤーを認証し、認証が成功すると、１つ以上のゲームクラウドサーバ３００でビデオゲームの１つ以上のインスタンスをインスタンス化する。
ゲームエンジン３０２は、１つの地理的位置に位置する、または複数の地理的位置にわたって分散された１つまたは複数のデータセンター（図示せず）内に位置する１つまたは複数のゲームクラウドサーバ３００でビデオゲームを実行する分散型ゲームエンジンであってもよい。複数の観客１０２ａ～１０２ｍは、１つまたは複数のゲームクラウドサーバ３００で実行されるビデオゲームのゲームプレイにアクセスして、ビデオゲームのオンラインゲームを視聴することができる。観客１０２ａ～１０２ｍへのアクセスは、制限されても、開放されてもよい。アクセスが制限されている場合、観客１０２ａ～１０２ｍは、観客１０２ａ～１０２ｍにビデオゲームのゲームプレイへのアクセスを提供する前に認証される。１つまたは複数のデータセンターの異なるゲームクラウドサーバ３００で実行されるゲームの様々なインスタンスは、分散かつシームレスな方法でプレイヤー１０１ａ～１０１ｎ及び観客１０２ａ～１０２ｍに幅広いアクセスを提供するために、連携して動作する。
ゲームエンジン３０２は、１つの地理的位置に位置する、または複数の地理的位置にわたって分散された１つまたは複数のデータセンター（図示せず）内に位置する１つまたは複数のゲームクラウドサーバ３００でビデオゲームを実行する分散型ゲームエンジンであってもよい。複数の観客１０２ａ～１０２ｍは、１つまたは複数のゲームクラウドサーバ３００で実行されるビデオゲームのゲームプレイにアクセスして、ビデオゲームのオンラインゲームを視聴することができる。観客１０２ａ～１０２ｍへのアクセスは、制限されても、開放されてもよい。アクセスが制限されている場合、観客１０２ａ～１０２ｍは、観客１０２ａ～１０２ｍにビデオゲームのゲームプレイへのアクセスを提供する前に認証される。１つまたは複数のデータセンターの異なるゲームクラウドサーバ３００で実行されるゲームの様々なインスタンスは、分散かつシームレスな方法でプレイヤー１０１ａ～１０１ｎ及び観客１０２ａ～１０２ｍに幅広いアクセスを提供するために、連携して動作する。
【0088】
ビデオゲームは、プレイヤー１０１ａ～１０１ｎが個々のプレイヤーであってもよく、あるいは互いに競う異なるチームの一部であってもよい、マルチプレイヤーオンラインゲームであってもよい。いくつかの実施形態では、ビデオゲームは、互いに対立する２つのチームを含んでもよく、プレイヤー１０１ａ～１０１ｎは、２つのチームのうちの１つの味方であってもよい。代替実施形態では、ビデオゲームは３つ以上のチームを含んでもよく、プレイヤー１０１ａ～１０１ｎは複数のチームのうちのいずれか１つの味方であってもよい。ビデオゲームにおけるプレイヤーのインタラクションは、ゲームエンジン３０２に転送されて、ゲームのゲーム状態に影響を与える。
プレイヤーのインタラクションに応答して、更新されたゲームプレイデータがプレイヤー１０１ａ～１０１ｎのクライアントデバイスに返される。ゲームプレイデータはまた、後で取得できるようにゲームプレイデータストア３３２に維持される。ゲームプレイデータストア３３２に格納されたゲームプレイデータは、ライブゲームプレイからのデータであり、ビデオゲームが他の観客によるリプレイ用に選択されたときに取得できることに留意されたい。ゲームエンジンは、ゲームプレイデータをエンコードし、ゲームプレイデータをエンコードされたビデオストリームとしてプレイヤー１０１ａ～１０１ｎのクライアントデバイスに転送する。
プレイヤー１０１ａ～１０１ｎのクライアントデバイスは、エンコードされたビデオストリームを受信し、ビデオストリームをデコードし、それぞれのクライアントデバイスに関連付けられた表示画面にゲームプレイコンテンツのフレームをレンダリングするように構成される。表示画面は、クライアントデバイスの一部（例えば、モバイルデバイスの画面）であってもよいし、クライアントデバイス（例えば、モニタ、またはテレビ、または他のレンダリング面）に関連付けられていてもよい。いくつかの実施形態では、プレイヤー１０１ａ～１０１ｎのクライアントデバイスは、画面及びインターネット接続を有する任意の接続されたデバイスであってもよい。
プレイヤーのインタラクションに応答して、更新されたゲームプレイデータがプレイヤー１０１ａ～１０１ｎのクライアントデバイスに返される。ゲームプレイデータはまた、後で取得できるようにゲームプレイデータストア３３２に維持される。ゲームプレイデータストア３３２に格納されたゲームプレイデータは、ライブゲームプレイからのデータであり、ビデオゲームが他の観客によるリプレイ用に選択されたときに取得できることに留意されたい。ゲームエンジンは、ゲームプレイデータをエンコードし、ゲームプレイデータをエンコードされたビデオストリームとしてプレイヤー１０１ａ～１０１ｎのクライアントデバイスに転送する。
プレイヤー１０１ａ～１０１ｎのクライアントデバイスは、エンコードされたビデオストリームを受信し、ビデオストリームをデコードし、それぞれのクライアントデバイスに関連付けられた表示画面にゲームプレイコンテンツのフレームをレンダリングするように構成される。表示画面は、クライアントデバイスの一部（例えば、モバイルデバイスの画面）であってもよいし、クライアントデバイス（例えば、モニタ、またはテレビ、または他のレンダリング面）に関連付けられていてもよい。いくつかの実施形態では、プレイヤー１０１ａ～１０１ｎのクライアントデバイスは、画面及びインターネット接続を有する任意の接続されたデバイスであってもよい。
【0089】
いくつかの実施形態では、ゲームプレイ中に、観客１０２ａ～１０２ｍは、プレイヤー１０１ａ～１０１ｎによってプレイされるビデオゲームのゲームプレイを視聴するためにビデオゲームを選択することができる。観客１０２ａ～１０２ｍからの要求は、自分のそれぞれのクライアントデバイスを介して、ネットワーク２００を介してゲームクラウドサーバ３００に通信される。観客１０２ａ～１０２ｍからの要求に応じて、ビデオゲームの現在のゲーム状態を表すゲームプレイデータが、ゲームサーバ３００（すなわち、ゲームクラウドサーバ３００）によって観客１０２ａ～１０２ｍのそれぞれのクライアントデバイスにエンコードされたビデオストリームとして転送される。
観客１０２ａ～１０２ｍのクライアントデバイスは、エンコードされたビデオストリームを受信し、ビデオストリームをデコードし、それぞれのクライアントデバイスに関連付けられた表示画面にゲームプレイデータのフレームをレンダリングする。観客１０２ａ～１０２ｍのクライアントデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）、モバイルまたはポータブルコンピューティングデバイス、デスクトップコンピューティングデバイスなどの任意のコンピューティングデバイスであってもよく、表示デバイスは、ＨＭＤまたは他のモバイルコンピューティングデバイス（例えば、携帯電話の画面、タブレットコンピューティングデバイスなど）に関連する表示画面であり得るか、あるいは観客１０２ａ～１０２ｍのクライアントデバイスに通信可能に接続される別個の表示デバイスまたは表示面、例えばモニタ、テレビ、表示画面などであってもよい。観客１０２ａ～１０２ｍは、複数のプレイヤー１０１ａ～１０１ｎによってプレイされるビデオゲームのゲームプレイを視聴する及びまたは聞く観衆１０３を構成する。
観客１０２ａ～１０２ｍのクライアントデバイスは、エンコードされたビデオストリームを受信し、ビデオストリームをデコードし、それぞれのクライアントデバイスに関連付けられた表示画面にゲームプレイデータのフレームをレンダリングする。観客１０２ａ～１０２ｍのクライアントデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）、モバイルまたはポータブルコンピューティングデバイス、デスクトップコンピューティングデバイスなどの任意のコンピューティングデバイスであってもよく、表示デバイスは、ＨＭＤまたは他のモバイルコンピューティングデバイス（例えば、携帯電話の画面、タブレットコンピューティングデバイスなど）に関連する表示画面であり得るか、あるいは観客１０２ａ～１０２ｍのクライアントデバイスに通信可能に接続される別個の表示デバイスまたは表示面、例えばモニタ、テレビ、表示画面などであってもよい。観客１０２ａ～１０２ｍは、複数のプレイヤー１０１ａ～１０１ｎによってプレイされるビデオゲームのゲームプレイを視聴する及びまたは聞く観衆１０３を構成する。
【0090】
観客１０２ａ～１０２ｍは、プレイヤー１０１ａ～１０１ｎ及び観客１０２ａ～１０２ｍのクライアントデバイス上でのビデオゲームのレンダリングに関連するインタラクションを提供することができる。インタラクションは、ビデオゲームのコンテンツと共にレンダリングされるチャットインターフェイスやメッセージボード、ソーシャルメディアインターフェイスなどのユーザインターフェイス上にテキスト、または絵文字、またはミーム、またはＧＩＦの形式で提供されてもよい。
インタラクションは、観客１０２ａ～１０２ｍのクライアントデバイスに含まれるか、またはそれに関連付けられたマイクロフォンまたは他の音声キャプチャデバイスによってキャプチャされた音声コメントの形式で提供され得る。観客１０２ａ～１０２ｍからのインタラクションはまた、観客１０２ａ～１０２ｍのクライアントデバイス（例えば、ヘッドマウントディスプレイ、スマートメガネ、モバイルデバイスなど）内部に統合される１つまたは複数のビデオカメラを使用するライブビデオとして、または観客１０２ａ～１０２ｍのクライアントデバイスに通信可能に接続されている外部カメラからキャプチャすることができる、ゲームプレイを見ている観客の表情の形態であってもよい。観衆１０３内の観客のインタラクションは、ゲームクラウドサーバ３００に転送される。
インタラクションは、観客１０２ａ～１０２ｍのクライアントデバイスに含まれるか、またはそれに関連付けられたマイクロフォンまたは他の音声キャプチャデバイスによってキャプチャされた音声コメントの形式で提供され得る。観客１０２ａ～１０２ｍからのインタラクションはまた、観客１０２ａ～１０２ｍのクライアントデバイス（例えば、ヘッドマウントディスプレイ、スマートメガネ、モバイルデバイスなど）内部に統合される１つまたは複数のビデオカメラを使用するライブビデオとして、または観客１０２ａ～１０２ｍのクライアントデバイスに通信可能に接続されている外部カメラからキャプチャすることができる、ゲームプレイを見ている観客の表情の形態であってもよい。観衆１０３内の観客のインタラクションは、ゲームクラウドサーバ３００に転送される。
【0091】
情緒表面化エンジン３０４は、観衆１０３内の観客１０２ａ～１０２ｍのインタラクションを収集し、そのインタラクションを分析して、異なる観客１０２ａ～１０２ｍによって表現された感情を識別し、表現された感情に従って観衆１０３内の観客１０２ａ～１０２ｍをグループ化し、各観客グループを表すアバターを生成し、各観客グループから検出された感情に合わせて生成された各アバターの表情を調整する。表現力豊かな絵文字などの表情に富むアバターは、観客１０２ａ～１０２ｍのクライアントデバイスに転送され、観客１０２ａ～１０２ｍのそれぞれのクライアントデバイスでビデオゲームのコンテンツと共にレンダリングされる観客１０２ａ～１０２ｍの観衆１０３の代表画像にオーバーレイされる。レンダリングされた表情に富むアバターは、ビデオゲームのゲームプレイを視聴している観客から検出された異なる感情の視覚的表現を観客に提供する。
【0092】
図２は、一実施形態による、インタラクションを処理し、ビデオゲームのゲームプレイを見ている観衆１０３の一部である観客１０２のグループの代表的なアバターを生成するために使用される情緒表面化エンジン３０４の様々なインタラクション処理フェーズの広範な概要を示す。情緒表面化エンジン３０４は、機械学習アルゴリズムに関与して様々な処理フェーズを実行し、観客のインタラクションデータから感情を識別し、その感情をアバターの形で示す。情緒表面化エンジン３０４が後に続く処理フェーズは、大きく３つの主なフェーズに分類することができる。３つの主なフェーズには、インタラクション収集エンジン３１１によって実行されるインタラクション収集フェーズ、感情集約エンジン３１２によって実行される感情集約フェーズ、及び感情視覚化エンジン３１３によって実行される感情視覚化フェーズが含まれる。感情集約フェーズには、感情の検出と、検出された感情に応じた観客のクラスタリングが含まれる。
【0093】
図３は、一実施形態において、情緒表面化エンジン３０４によって各フェーズで実行される動作のサンプルセットを識別する。図２及び図３を同時に参照すると、観客１０２のインタラクションは、ビデオゲームの複数の観客１０２のそれぞれのクライアントデバイスでキャプチャされ、インタラクションデータとしてネットワーク２００を介してゲームクラウドサーバ３００に転送される。ゲームクラウドサーバ３００で実行され、ゲームエンジンに動作可能に接続される情緒表面化エンジン３０４は、観客からインタラクションデータを収集し、インタラクションデータを処理し、表情に富むアバターを生成する。
【0094】
情緒表面化エンジン３０４は、インタラクション収集フェーズから始めて、観客から収集されたインタラクションデータの処理を開始する。インタラクション収集フェーズでは、インタラクション収集エンジン３１１は、観客がビデオゲームのゲームプレイを見ている間に、観客１０２によって生成された様々なインタラクションをリアルタイムで収集する。インタラクションデータは、１人以上のプレイヤーによって提供された入力に基づいてビデオゲーム内で発生するイベント、またはアクション、またはアクティビティに応じた観客からの反応の形式であってもよい。あるいは、観客からの反応は、他の観客またはビデオゲームのプレイヤーによって提供されるインタラクションに応じたものであってもよい。インタラクションはタイプに基づいて分類される。
収集される可能性のある様々な種類のインタラクションには、少なくとも観客の顔の特徴をキャプチャしたライブビデオ、ビデオゲーム内のアクション／アクティビティに応じて提供される、または他の観客またはプレイヤーとのインタラクションの一部として提供される観客の言葉によるインタラクションからの音声コンテンツ、テキストまたはグラフィック（例えば、ミーム、ＧＩＦ、絵文字など）コンテンツなどを含む。分類されたインタラクションは情緒収集データベース（または単に「情緒データベース」と呼ばれる）３３４に保存され、感情集約フェーズの一部としての感情集約エンジン３１２への入力として提供される。
収集される可能性のある様々な種類のインタラクションには、少なくとも観客の顔の特徴をキャプチャしたライブビデオ、ビデオゲーム内のアクション／アクティビティに応じて提供される、または他の観客またはプレイヤーとのインタラクションの一部として提供される観客の言葉によるインタラクションからの音声コンテンツ、テキストまたはグラフィック（例えば、ミーム、ＧＩＦ、絵文字など）コンテンツなどを含む。分類されたインタラクションは情緒収集データベース（または単に「情緒データベース」と呼ばれる）３３４に保存され、感情集約フェーズの一部としての感情集約エンジン３１２への入力として提供される。
【0095】
観客のライブビデオは、観客のクライアントデバイス内に統合されるか、または観客のクライアントデバイスに通信可能に結合される、イメージセンサ、ビデオカメラ、スチールカメラ、デジタルカメラ、立体カメラなどの様々な画像キャプチャデバイスを使用してキャプチャされ得る。観客のライブビデオは、観客の潜在的な表情を推定し得る顔の特徴を識別するために使用される。同様に、音声コンテンツは、クライアントデバイスのマイクまたは他の音声キャプチャデバイスを使用してキャプチャされるか、または観客のクライアントデバイスに通信可能に結合されてもよい。テキストまたはグラフィックコンテンツは、ビデオゲームのコンテンツと共にレンダリングされるチャットインターフェイス、メッセージインターフェイス、またはソーシャルメディアインターフェイスから取得することができる。
インタラクションデータは、ビデオゲームのゲームプレイを見ている間に生成されたモーダルコンテンツの特定のものを共有するために観客が選択したオプションに基づいて観客から収集されることを理解されたい。例えば、観客は、自分のビデオや音声コンテンツではなく、チャットコンテンツの共有を明示的に選択する場合がある。その結果、いくつかの実施形態では、観客が生成した異なるモーダルコンテンツを共有するための選択オプションを備えたユーザインターフェイス（図示せず）が、観客の選択のために提供され得る。観客は、適切な選択オプションを選択することによって、インタラクションデータから識別された異なるモーダルコンテンツを全く共有しない、１つ、一部、またはすべてを共有することを選択することができる。各観客によって選択された選択オプションに基づいて、情緒表面化エンジン３０４は、処理のために観客のインタラクションデータから対応するモーダルデータストリームを収集する。
インタラクションデータは、ビデオゲームのゲームプレイを見ている間に生成されたモーダルコンテンツの特定のものを共有するために観客が選択したオプションに基づいて観客から収集されることを理解されたい。例えば、観客は、自分のビデオや音声コンテンツではなく、チャットコンテンツの共有を明示的に選択する場合がある。その結果、いくつかの実施形態では、観客が生成した異なるモーダルコンテンツを共有するための選択オプションを備えたユーザインターフェイス（図示せず）が、観客の選択のために提供され得る。観客は、適切な選択オプションを選択することによって、インタラクションデータから識別された異なるモーダルコンテンツを全く共有しない、１つ、一部、またはすべてを共有することを選択することができる。各観客によって選択された選択オプションに基づいて、情緒表面化エンジン３０４は、処理のために観客のインタラクションデータから対応するモーダルデータストリームを収集する。
【0096】
感情集約フェーズ中、感情集約エンジン３１２は、観客がビデオゲームのオンラインゲーム（すなわち、ゲームプレイ）を見ている間の観客１０２のインタラクションをリアルタイムで収集し、ビデオゲームのゲームプレイを見ている間、観客によって表現される感情を認識するためにインタラクションを分析する。感情集約エンジン３１２は、機械学習アルゴリズムに関与して、観客から収集されたインタラクションデータから検出された感情（３１２ａ）を識別する。機械学習アルゴリズムは、まず、観客から収集したインタラクションに含まれる様々なモーダルデータストリームを決定する。次に、機械学習アルゴリズムは、ユニモーダルアプローチまたはマルチモーダルアプローチに関与してモーダルデータストリームを処理する。例えば、各観客のビデオフィードを機械学習アルゴリズムで処理して、顔の特徴を識別し、リアルタイムの感情認識を実行することができる。同様に、音声コンテンツ及びテキストコンテンツは、観客によって伝達された顕著な感情及びアイデアを表すキーワードを識別するための情緒分析を実行することによって処理され得る。
【0097】
次に、機械学習アルゴリズムが、インタラクションを通じて観客が表現した様々な感情を分類し、バイブを識別する。観客は様々な程度の感情を表現することができる。例えば、観客は、異なるキーワード（例えば、幸せ、恍惚、喜び、満足、素晴らしいなど）を使用して、様々な幅の笑顔を含む様々な程度で幸せな感情を表現する場合がある。機械学習アルゴリズムは、様々な観客によって各感情が表現される様々な程度を認識し、それに応じて様々なインタラクションを感情ごとのバイブバケットに分類する。次に、各バイブバケット内の様々な程度の感情が集約される（３１２ｂ）。
感情集約エンジン３１２が関与する機械学習アルゴリズムは、テキスト及び口頭のインタラクションの情緒分析から識別されたキーワードを使用して、ワードクラウドを作成し、動的に更新する（３１２ｃ）。動的なワードクラウドは、ビデオゲームの任意の所与の時点で、観衆の感情状態を視覚的にテキストで表現する。観客からのインタラクションデータに含まれるグラフィックインターチェンジフォーマットファイル／画像（ＧＩＦ）、ミーム、絵文字などの他のグラフィックコンテンツは、ビデオフィードの処理と同様の方法で機械学習アルゴリズムによって処理され、観客が表現した感情を識別する。ワードクラウド内のキーワード、観客のビデオ、及びグラフィックコンテンツ（ミーム、ＧＩＦ、絵文字、その他のグラフィックコンテンツなど）から識別された感情は、機械学習アルゴリズムによって観衆のバイブを識別するために使用され（ステップ３１２ｃ）、同様のバイブを表現する観衆内の観客をバイブクリークにグループ化（すなわち、クラスタリング）する（ステップ３１２ｄ）。
感情集約エンジン３１２が関与する機械学習アルゴリズムは、テキスト及び口頭のインタラクションの情緒分析から識別されたキーワードを使用して、ワードクラウドを作成し、動的に更新する（３１２ｃ）。動的なワードクラウドは、ビデオゲームの任意の所与の時点で、観衆の感情状態を視覚的にテキストで表現する。観客からのインタラクションデータに含まれるグラフィックインターチェンジフォーマットファイル／画像（ＧＩＦ）、ミーム、絵文字などの他のグラフィックコンテンツは、ビデオフィードの処理と同様の方法で機械学習アルゴリズムによって処理され、観客が表現した感情を識別する。ワードクラウド内のキーワード、観客のビデオ、及びグラフィックコンテンツ（ミーム、ＧＩＦ、絵文字、その他のグラフィックコンテンツなど）から識別された感情は、機械学習アルゴリズムによって観衆のバイブを識別するために使用され（ステップ３１２ｃ）、同様のバイブを表現する観衆内の観客をバイブクリークにグループ化（すなわち、クラスタリング）する（ステップ３１２ｄ）。
【0098】
一実施形態では、最初のバイブクリークが形成されると、観客は、最初のバイブクリークから関連付け解除するための明示的な要求が観客から受信されるまで、それぞれのバイブクリークのメンバーとして留まる。したがって、特定のバイブクリークの観客から追加のインタラクションが受信されると、追加のインタラクションは、感情集約エンジン３１２の異なるサブコンポーネントによって処理され、特定のバイブクリークの観客によって表現された追加の感情が識別される。
特定のバイブクリークに関連付けられた追加の感情は、特定のバイブクリークのそれぞれの観客のグループの現在の感情を反映するように動的に更新される。追加のインタラクションは、ビデオゲームのゲームプレイで発生する特定のアクションまたはアクティビティに応じた反応であってもよいし、特定のバイブクリークまたは異なるバイブクリークのプレイヤーまたは観客によって生成された特定のインタラクションに応じた反応であってもよい。同様のバイブを有する観客をグループ化することで、各グループの観客は特定のプレイヤーの１人と関連付けられ、同様のバイブを表現する他の観客と一致させることができる。同様に、グループ化により、プレイヤーは関連付けられる観客のグループのエネルギーと強く合流することができ、これはスタジアムで行われるライブの試合にサポーターがいるのと類似し得る。バイブクリークに関連するデータは、感情の視覚化フェーズへの入力として提供される。
特定のバイブクリークに関連付けられた追加の感情は、特定のバイブクリークのそれぞれの観客のグループの現在の感情を反映するように動的に更新される。追加のインタラクションは、ビデオゲームのゲームプレイで発生する特定のアクションまたはアクティビティに応じた反応であってもよいし、特定のバイブクリークまたは異なるバイブクリークのプレイヤーまたは観客によって生成された特定のインタラクションに応じた反応であってもよい。同様のバイブを有する観客をグループ化することで、各グループの観客は特定のプレイヤーの１人と関連付けられ、同様のバイブを表現する他の観客と一致させることができる。同様に、グループ化により、プレイヤーは関連付けられる観客のグループのエネルギーと強く合流することができ、これはスタジアムで行われるライブの試合にサポーターがいるのと類似し得る。バイブクリークに関連するデータは、感情の視覚化フェーズへの入力として提供される。
【0099】
感情視覚化フェーズでは、感情視覚化エンジン３１３がバイブクリークごとにアバターを生成し、各バイブクリークの感情を反映するように各アバターの表情を調整する。表情の調整に加えて、感情視覚化エンジン３１３は、観衆の感情を反映するために、アバターのサイズ、色などのアバターの１つまたは複数の特性を調整し、観衆の観客によって表現される、より支配的な感情を表すために、より大きなサイズのアバターが使用され、それほど支配的ではない感情を表すために、より小さなサイズのアバターが使用される。アバターの生成に加えて、感情視覚化エンジン３１３は、各バイブクリークに関連付ける適切な反応トラックも識別する。
反応トラックは、各バイブクリークに関連付けられたバイブを表現する観衆のサウンドを提供する。例えば、バイブには、幸せ、悲しい、驚き、怒り、中立などが含まれ得、ライブの観衆からキャプチャされたこれらのバイブに関連付けられた反応トラックが識別され、代表的なアバターで提示される。一実施形態では、様々なバイブの反応トラックは、ゲームクラウドサーバ３００内またはゲームクラウドサーバ３００の外部の反応トラックデータストア（図示せず）に格納され、ゲームクラウドサーバ３００で実行される情緒表面化エンジン３０４によってアクセスされ得る。反応トラックデータストアに格納される反応トラックには、コンテキストに従って編成された、異なる感情の反応トラックが含まれる場合がある。例えば、反応トラックは、様々なイベントや様々なコンテキストで表現された異なる感情をキャプチャできる。感情視覚化エンジン３１３は、ビデオゲームのコンテキストに基づいて、各バイブクリークで表現される感情に対する適切な反応トラックを識別する。
反応トラックは、各バイブクリークに関連付けられたバイブを表現する観衆のサウンドを提供する。例えば、バイブには、幸せ、悲しい、驚き、怒り、中立などが含まれ得、ライブの観衆からキャプチャされたこれらのバイブに関連付けられた反応トラックが識別され、代表的なアバターで提示される。一実施形態では、様々なバイブの反応トラックは、ゲームクラウドサーバ３００内またはゲームクラウドサーバ３００の外部の反応トラックデータストア（図示せず）に格納され、ゲームクラウドサーバ３００で実行される情緒表面化エンジン３０４によってアクセスされ得る。反応トラックデータストアに格納される反応トラックには、コンテキストに従って編成された、異なる感情の反応トラックが含まれる場合がある。例えば、反応トラックは、様々なイベントや様々なコンテキストで表現された異なる感情をキャプチャできる。感情視覚化エンジン３１３は、ビデオゲームのコンテキストに基づいて、各バイブクリークで表現される感情に対する適切な反応トラックを識別する。
【0100】
調整されたアバターは、観客１０２の観衆１０３の画像表現上にレンダリングするために、観客１０２のそれぞれのクライアントデバイスに返される。表情に富むアバターのレンダリングは、プレイヤー１０１及び観衆１０３の観客１０２に、観客１０２の観衆１０３が経験する感情の分布の視覚的表現を提供する。いくつかの実施形態では、アバターは絵文字の形式である。機械学習を使用して、情緒表面化エンジン３０４は、スケーラブルな方法で多数の観客の感情を認識するように努め、リアルタイムで集約されたフィードバックを提供して、異なるグループの観客が観客１０２の群衆の感情を適切に測定できるようにする。
【0101】
異なるバイブクリークに関連付けられた観客のアバターを返すことに加えて、異なるバイブクリークに関連付けられた様々な感情について識別された反応トラックも、アバターでレンダリングするために観客のクライアントデバイスに転送される。反応トラックは、観客に観衆のバイブを感じるための追加の方法を提供する。アバターはバイブを視覚的に表現し、反応トラックはバイブを聴覚的に表現する。観客は観衆のバイブを聞いて感じることができ、リビングルームで試合を一人で見ているのではなく、アリーナやスタジアムで観客の群衆と一緒に試合を見ているような気分にさせる。
【0102】
図４は、一実施形態における情緒表面化エンジン３０４のコンポーネントの一部を示す。図２及び図３を参照して前述したように、情緒表面化エンジン３０４は、インタラクション収集エンジン３１１、感情集約エンジン３１２、及び感情視覚化エンジン３１３を含む。コンポーネントの一部には追加のサブコンポーネントが含まれる場合がある。例えば、感情集約エンジン３１２は、インタラクションアナライザ３１４、キーワード分析エンジン３１５、及び視覚感情分析エンジン３２５を含むことができる。同様に、感情視覚化エンジン３１３は、アバター視覚化装置３１６を含むことができる。
【0103】
インタラクション収集エンジン３１１は、観客がビデオゲームのオンラインゲームの視聴に関与している間に観客１０２によって生成されたインタラクションデータを収集し、それらを処理して、そこに含まれるインタラクションの異なるモード（すなわちタイプ）を識別する。インタラクション収集エンジン３１１によって識別され得るインタラクションの異なるモードは、音声及びビデオコンポーネントの両方を含む観客のライブビデオ３１１ａ、観客の音声３１１ｂ、及びチャットコメント３１１ｃに大別できる。観客のライブビデオは、観客がオンラインゲーム（すなわち、ゲームプレイ）を見ているときに、観客に向けられた１つまたは複数の画像キャプチャデバイスを使用してキャプチャされる。
画像キャプチャデバイスは、ビデオカメラ、立体カメラ、デジタルカメラ、または観客のクライアントデバイスに関連付けられた、または観客のクライアントデバイスで利用可能な任意の他の画像キャプチャデバイスのうちの１つまたは複数を含んでもよく、クライアントデバイスは、ポータブルコンピューティングデバイス、例えばラップトップコンピューティングデバイス、スマートフォン、ヘッドマウントディスプレイ、スマートメガネ、ウェアラブルコンピューティングデバイス、タブレットコンピューティングデバイスなど、またはデスクトップコンピューティングデバイスであってもよい。チャットコメントには、チャットインターフェイス、またはメッセージボード、またはインタラクション型ソーシャルメディアインターフェイス、またはその他いずれかのインタラクション型アプリケーションインターフェイスを介して提供されるあらゆる種類のコンテンツが含まれる場合がある。チャットコメントには、ビデオゲームのゲームプレイ中に発生するイベント、またはアクティビティ、またはアクションに応じて、または他の観客やプレイヤーからのインタラクションに応じて、観客によって提供されるテキストコメント、ビデオまたはビデオクリップ、絵文字、ミーム、ＧＩＦ、音声クリップなどが含まれる場合がある。
画像キャプチャデバイスは、ビデオカメラ、立体カメラ、デジタルカメラ、または観客のクライアントデバイスに関連付けられた、または観客のクライアントデバイスで利用可能な任意の他の画像キャプチャデバイスのうちの１つまたは複数を含んでもよく、クライアントデバイスは、ポータブルコンピューティングデバイス、例えばラップトップコンピューティングデバイス、スマートフォン、ヘッドマウントディスプレイ、スマートメガネ、ウェアラブルコンピューティングデバイス、タブレットコンピューティングデバイスなど、またはデスクトップコンピューティングデバイスであってもよい。チャットコメントには、チャットインターフェイス、またはメッセージボード、またはインタラクション型ソーシャルメディアインターフェイス、またはその他いずれかのインタラクション型アプリケーションインターフェイスを介して提供されるあらゆる種類のコンテンツが含まれる場合がある。チャットコメントには、ビデオゲームのゲームプレイ中に発生するイベント、またはアクティビティ、またはアクションに応じて、または他の観客やプレイヤーからのインタラクションに応じて、観客によって提供されるテキストコメント、ビデオまたはビデオクリップ、絵文字、ミーム、ＧＩＦ、音声クリップなどが含まれる場合がある。
【0104】
一実施形態では、感情集約エンジン３１２は、インタラクション収集エンジン３１１によって識別されたインタラクションを、モーダルタイプに基づいて異なる方法で処理する。例えば、感情集約エンジン３１２内のインタラクションアナライザ３１４は、チャットインターフェイスを介して提供されるグラフィックコンテンツを処理して、絵文字、ミーム、ＧＩＦ、及び他のグラフィックコンテンツを介して表現される感情を識別するために使用される。確率スコアは、グラフィックコンテンツに対して識別された感情ごとに計算される。グラフィックコンテンツの感情及び確率スコアは、アバター視覚化装置３１６への入力として提供される。
【0105】
観客のライブビデオは、部分的にインタラクションアナライザ３１４によって処理され、部分的に視覚感情分析エンジン３２５によって処理され得る。例えば、視覚感情分析エンジン３２５は、ライブビデオにキャプチャされた観客の画像を処理するために使用され、インタラクションアナライザ３１４は、ライブビデオに含まれる言語コンテンツを処理するために使用される。視覚感情分析エンジン３２５は、顔の画像を分析して画像内にキャプチャされた顔の特徴を識別し、観客によって表現された感情を識別するために使用される。視覚感情分析エンジン３２５は、機械学習アルゴリズムを使用して、画像にキャプチャされた様々な顔の特徴の属性を識別し、表情認識ニューラルネットワークを使用して、観客によって表現された感情を識別することができる。観客が提供する表情は複数の感情に対応する可能性があるため（図１１を参照）、最も支配的な感情を決定することは、観客を適切なバイブクリークにクラスタリングするのに役立つ。その結果、視覚感情分析エンジン３２５は、顔の特徴の属性から識別された感情のそれぞれについて確率スコア（「感情確率スコア」とも呼ばれる）３２５ａを計算する。観客の表情から識別された各感情の確率スコア３２５ａに基づいて、観客によって表現された最も支配的な感情が識別される。各観客の感情を識別すると、観客はバイブクリークにクラスタリングされ、各バイブクリークは別個の感情に対応する。各バイブクリークの観客の詳細及び各バイブクリークに関連する感情は、アバター視覚化装置３１６への入力として提供される。
【0106】
インタラクションアナライザ３１４は、ライブビデオの音声コンテンツを処理して、そこに含まれるキーワードを識別することができる。同様に、チャットコンテンツのテキスト部分はキーワード分析エンジン３１５によって処理されてキーワードを識別し、そのキーワードを使用してテキストコンテンツ入力を介して観客によって伝えられた感情を識別する。インタラクションアナライザ３１４の機能のさらなる詳細については、図５を参照して説明する。インタラクションアナライザ３１４によるインタラクションのテキスト及び音声コンテンツの分析から識別されたキーワードは、キーワード分析エンジン３１５への入力として提供される。
【0107】
キーワード分析エンジン３１５は、インタラクションアナライザ３１４によって識別されたキーワードを使用して、感情に関連するキーワードを識別するために使用されるワードクラウドをポピュレートする。ワードクラウド内の感情関連のキーワードは、観衆の観客が表現した異なる感情を識別するために使用される。いっそう多くの観客がインタラクションを通じて特定の感情を表現し始めると、キーワード分析エンジン３１５は、ワードクラウド内で上位にあるそれらの感情に対応するキーワードの確率スコアを計算する。ワードクラウドの様々なキーワードは、対応する計算された確率スコアと共に、感情視覚化エンジン３１３への入力として提供される。様々なインタラクションから検出された感情は、観客をバイブクリークにクラスタリングするために使用され、各バイブクリークは、別個のバイブまたは感情に対応する。観客のクラスタリングは、観客の年齢、人口統計、及び他のユーザ属性に基づいてさらに調整または条件付けすることができる。ユーザ属性は、ゲームクラウドシステムで維持されるユーザプロファイルから取得することができる。異なる感情に対して識別されたバイブクリークは、感情視覚化エンジン３１３への入力として提供される。
【0108】
感情視覚化エンジン３１３は、感情集約エンジン３１２から様々な入力を受け取り、その入力を使用して各バイブクリークのアバターを作成する。各バイブクリークの感情を表すアバターの作成の一環として、感情視覚化エンジン３１３は、各バイブクリークの信頼スコアを、支配的な感情または支配的な感情の同等バージョンを表現したバイブクリーク内の観客の数として計算する。計算された信頼スコアに基づいて、アバター視覚化装置３１６は、観衆内で識別された異なるバイブクリークに対応するアバターを作成し、スケーリングする。アバターを調整することは、それぞれのバイブクリークの信頼スコアに従って、アバターの少なくとも表情、サイズ及び色を調整することを含む。
【0109】
各アバターのサイズは、信頼スコアと相関するようにスケーリングされるため、最も高い信頼スコアを持つアバターは、より低い信頼スコアを持つアバターよりも大きくレンダリングされる。同様に、アバターの色は、表現されている感情のバイブ評価を反映するように調整できる。例えば、怒りの感情は赤でレンダリングされ得、幸せな感情は緑でレンダリングされ得る。バイブ評価のさらなる詳細については、図１２を参照して説明する。いくつかの実施形態では、アバター視覚化装置３１６は、観衆の画像表現上にレンダリングするために観客のクライアントデバイスに返される表情に富むアバターを生成するために、特定の感情を選択的に識別することができる。例えば、感情視覚化エンジン３１３によって識別される感情の数が多すぎる可能性があり、観衆において識別されたすべての感情のアバターをレンダリングすると、表示画面のレンダリングが混雑しすぎる可能性がある。
したがって、観衆１０３内の観客１０２の感情が適切に表現されることを保証しながら、アバターのそのような過密を防ぐために、アバター視覚化装置３１６は、アバターを使用して表現するための所定の数の感情を選択し、それに応じてアバターを生成することができる。表現する感情は、対応するバイブクリークに関連付けられた信頼スコアに基づいて選択され得る。例えば、観衆に提示するためのアバターの最大数は、５に予め定義され得る。結果として、５つを超える感情が観衆の観客から識別された場合、アバター視覚化装置３１６は、アバターを生成するための信頼スコアが最も高い（つまり、より高い支配のレベル）上位５位の感情（つまり、支配的な感情）を選択し得る。
したがって、観衆１０３内の観客１０２の感情が適切に表現されることを保証しながら、アバターのそのような過密を防ぐために、アバター視覚化装置３１６は、アバターを使用して表現するための所定の数の感情を選択し、それに応じてアバターを生成することができる。表現する感情は、対応するバイブクリークに関連付けられた信頼スコアに基づいて選択され得る。例えば、観衆に提示するためのアバターの最大数は、５に予め定義され得る。結果として、５つを超える感情が観衆の観客から識別された場合、アバター視覚化装置３１６は、アバターを生成するための信頼スコアが最も高い（つまり、より高い支配のレベル）上位５位の感情（つまり、支配的な感情）を選択し得る。
【0110】
表情に富むアバターは、ビデオゲームのコンテンツと一緒に提示される観衆１０３の画像表現上にレンダリングするために、観客１０２のクライアントデバイスに返される。表情に富むアバターは、群衆（すなわち、観衆１０３）内で支配的な感情の視覚的表現を提供する。感情の視覚的表現に基づいて、観客は、共に過ごすために感情が最も一致する観客のグループを識別することができ、あたかもスタジアムで一緒にライブイベント（例えば、試合）を見ているかのように見せることができる。
【0111】
図５は、一実施形態において、ビデオゲームのオンラインゲーム中の観客のインタラクションから収集されたインタラクションデータを処理するために使用されるインタラクションアナライザ３１４の様々なコンポーネントを示す。前述したように、インタラクションデータには、チャットコンテンツ、ライブビデオ、ライブ音声などが含まれる場合がある。チャットコンテンツは、チャットインターフェイス、またはインスタントメッセージインターフェイス、またはソーシャルメディアインターフェイスなどから取得される。それを通して観客及びビデオゲームのプレイヤーは、互いに通信して自分の考えを表現し、コメントを提供する。
インタラクション収集エンジン３１１は、観客のインタラクションを収集し、さらなる処理のためにインタラクションをインタラクションアナライザ３１４に転送する。インタラクションアナライザ３１４は、インタラクションを分析して、インタラクション内に含まれるデータの異なるモードを識別する。様々なモダリティは、インタラクションに含まれるコンテンツのタイプに対応する。ビデオゲームのライブゲームプレイが視聴されている実施形態では、観客のインタラクションは、ライブゲームプレイ中にそれぞれのクライアントデバイスでキャプチャされ、データストリームとして情緒表面化エンジン３０４に送信される。これらのデータストリームには、観客の表情をキャプチャしたライブビデオデータ、テキストデータ、音声データ、グラフィックデータなど、様々なモードのデータが含まれる場合がある。
インタラクション収集エンジン３１１は、観客のインタラクションを収集し、さらなる処理のためにインタラクションをインタラクションアナライザ３１４に転送する。インタラクションアナライザ３１４は、インタラクションを分析して、インタラクション内に含まれるデータの異なるモードを識別する。様々なモダリティは、インタラクションに含まれるコンテンツのタイプに対応する。ビデオゲームのライブゲームプレイが視聴されている実施形態では、観客のインタラクションは、ライブゲームプレイ中にそれぞれのクライアントデバイスでキャプチャされ、データストリームとして情緒表面化エンジン３０４に送信される。これらのデータストリームには、観客の表情をキャプチャしたライブビデオデータ、テキストデータ、音声データ、グラフィックデータなど、様々なモードのデータが含まれる場合がある。
【0112】
インタラクションアナライザ３１４は、インタラクションのそれぞれ（例えば、チャットインタラクション、ライブビデオ及び音声コンテンツ）をリアルタイムで受信及び処理して、異なるモーダルデータストリームを識別する。インタラクションアナライザ３１４は、インタラクションから識別された異なるモーダルデータストリームを処理するための複数のサブモジュールを含むことができる。一実施形態では、チャットコンテンツに関連するデータストリームはチャットコメントアナライザ３１４ａによって処理され得、ライブビデオコンテンツのデータストリームはビデオコンテンツアナライザ３１４ｂによって処理され得、音声コンテンツアナライザ３１４ｃによる音声コンテンツのデータストリームは処理され得る。ビデオゲームのゲームプレイのリプレイが遅延時間に観客によって視聴される場合にも、観客からのインタラクションを収集し、様々なデータストリームを識別して処理する同様のプロセスが続く。
【0113】
チャットコメントには、他の観客やプレイヤーとのインタラクションの一部として、またはビデオゲームのゲームプレイまたは観客またはプレイヤーに関連する反応に関連する一般的なコメントの一部として、様々な観客によって提供されたテキスト、ミーム、絵文字、ＧＩＦなどが含まれる場合がある。チャットコメントアナライザ３１４ａは、チャットインタラクションに含まれる異なるモーダルデータを識別し、各モーダルデータストリームを個別に処理する。例えば、チャットインタラクション内のミーム、ＧＩＦ、及び絵文字が抽出され、顔検出アルゴリズム３２０ａへの入力として提供され得る。顔検出アルゴリズム３２０ａは、機械学習アルゴリズム３２０に関与して、顔の特徴を識別し、グラフィックコンテンツから関連する顔の特徴のみを含むように、ミーム、ＧＩＦ、絵文字、及び他のグラフィックコンテンツに含まれる画像をトリミングする。トリミングされた画像は、表情認識ニューラルネットワーク３２０ｃへの入力として提供される。顔検出アルゴリズム３２０ａ及び表情認識ニューラルネットワーク３２０ｃは、視覚感情分析エンジン３２５の一部である。
表情認識ニューラルネットワーク３２０ｃは、様々な顔サンプルを使用して訓練される。機械学習アルゴリズム３２０の支援を受けた表情認識ニューラルネットワーク３２０ｃは、訓練された情報を使用して、チャットインターフェイスを介して観客によって提供されたミーム、ＧＩＦ、絵文字、及び他のグラフィック画像で表現された顕著な感情及びアイデアを識別する。機械学習アルゴリズム３２０は、顔の特徴（例えば、目、鼻、口など）のそれぞれを個別に、組み合わせて、そして全体として、表情認識ニューラルネットワーク３２０からの訓練されたデータと比較して、グラフィックイメージの表現に最も適合する顕著な感情を見つける。識別された顕著な感情は、アバター視覚化装置３１６への入力として提供される。同様に、チャットインタラクション内のテキストコンテンツが抽出され、感情キーワード識別（ＩＤ）エンジン３２０ｄに転送される。
表情認識ニューラルネットワーク３２０ｃは、様々な顔サンプルを使用して訓練される。機械学習アルゴリズム３２０の支援を受けた表情認識ニューラルネットワーク３２０ｃは、訓練された情報を使用して、チャットインターフェイスを介して観客によって提供されたミーム、ＧＩＦ、絵文字、及び他のグラフィック画像で表現された顕著な感情及びアイデアを識別する。機械学習アルゴリズム３２０は、顔の特徴（例えば、目、鼻、口など）のそれぞれを個別に、組み合わせて、そして全体として、表情認識ニューラルネットワーク３２０からの訓練されたデータと比較して、グラフィックイメージの表現に最も適合する顕著な感情を見つける。識別された顕著な感情は、アバター視覚化装置３１６への入力として提供される。同様に、チャットインタラクション内のテキストコンテンツが抽出され、感情キーワード識別（ＩＤ）エンジン３２０ｄに転送される。
【0114】
チャットコンテンツの処理に加えて、インタラクションアナライザ３１４は、観客がビデオゲームのゲームプレイを見ている間にリアルタイムでキャプチャされた観客のライブビデオも処理する。ライブビデオは、観客に面しているカメラなどの１つ以上の画像キャプチャデバイスによってキャプチャされ得る。カメラは、観客のクライアントデバイス内に統合されてもよいし、クライアントデバイスに通信可能に接続された外部カメラであってもよい。キャプチャされたビデオには、少なくとも観客の顔が含まれる。観客の画像をキャプチャすることに加えて、カメラはまた、ビデオゲームを見ているときの観客の言葉による反応（例えば、暴発、コメント、反応など）をキャプチャすることもできる。ビデオコンテンツアナライザ３１４ｂは、ライブビデオのビデオ部分を顔検出アルゴリズム３２０ａに転送するために使用され、顔検出アルゴリズム３２０ａは、顔の特徴を含むように観客の画像をトリミングし、トリミングされた画像を表情認識ニューラルネットワーク３２０ｃに転送する。
表情認識ニューラルネットワーク３２０ｃは、チャットコンテンツからのグラフィック画像が処理された方法と同様の方法で、観客のトリミングされた画像から顔の特徴を処理する。例えば、機械学習アルゴリズム３２０は、表情認識ニューラルネットワーク３２０ｃの助けを借りて、キャプチャされた顔の特徴のそれぞれと、トリミングされた画像にキャプチャされた観客全体としての顔の特徴を識別し、表情認識ニューラルネットワークからの訓練されたデータと比較して、観客の顔の特徴に最もよく適合する顕著な感情（及びアイデア）を識別する。
表情認識ニューラルネットワーク３２０ｃは、チャットコンテンツからのグラフィック画像が処理された方法と同様の方法で、観客のトリミングされた画像から顔の特徴を処理する。例えば、機械学習アルゴリズム３２０は、表情認識ニューラルネットワーク３２０ｃの助けを借りて、キャプチャされた顔の特徴のそれぞれと、トリミングされた画像にキャプチャされた観客全体としての顔の特徴を識別し、表情認識ニューラルネットワークからの訓練されたデータと比較して、観客の顔の特徴に最もよく適合する顕著な感情（及びアイデア）を識別する。
【0115】
場合によっては、顔の特徴を分析すると、複数の感情に対応する表情が識別され得る。そのような場合、機械学習アルゴリズム３２０は、表情認識ニューラルネットワーク３２０ｃの助けを借りて、ライブビデオに含まれる画像にキャプチャされた観客の顔の特徴から識別された各感情の確率スコア３２５ａを計算することができる。観客に関連付けられる顕著な感情は、観客の顔の特徴から識別される複数の感情の確率スコア３２５ａに基づいて決定される。観客のライブビデオには、ビデオコンポーネントと音声コンポーネントの両方が含まれ得る。いくつかの実施形態では、ライブビデオのビデオコンポーネントのみを表情認識ニューラルネットワーク３２０ｃに供給することによってユニモーダルアプローチが採用され、観客のインタラクションから検出された顕著な感情を識別する。
他の実施形態では、ビデオコンポーネントを、ライブビデオでキャプチャされた対応する音声コンポーネントとペアリングし、ペアになったコンテンツ（すなわち、ビデオ及び音声コンテンツ）を顔検出アルゴリズム３２０ａに転送して、表情認識ニューラルネットワーク３２０ｃに後続的に送信することによって、マルチモーダルアプローチが採用され得る。ビデオからトリミングされた画像のみが使用されたユニモーダルアプローチと同様に、マルチモーダルアプローチでは、表情認識ニューラルネットワーク３２０ｃは、ビデオからトリミングされた画像及び関連する音声を使用して、各観客から検出された顕著な感情を識別する。音声データは、各観客の顔の特徴から識別される顕著な感情をさらに洗練するために使用することができる。観衆１０３を構成する複数の観客の顕著な感情は、入力としてアバター視覚化装置３１６に転送される。
他の実施形態では、ビデオコンポーネントを、ライブビデオでキャプチャされた対応する音声コンポーネントとペアリングし、ペアになったコンテンツ（すなわち、ビデオ及び音声コンテンツ）を顔検出アルゴリズム３２０ａに転送して、表情認識ニューラルネットワーク３２０ｃに後続的に送信することによって、マルチモーダルアプローチが採用され得る。ビデオからトリミングされた画像のみが使用されたユニモーダルアプローチと同様に、マルチモーダルアプローチでは、表情認識ニューラルネットワーク３２０ｃは、ビデオからトリミングされた画像及び関連する音声を使用して、各観客から検出された顕著な感情を識別する。音声データは、各観客の顔の特徴から識別される顕著な感情をさらに洗練するために使用することができる。観衆１０３を構成する複数の観客の顕著な感情は、入力としてアバター視覚化装置３１６に転送される。
【0116】
チャットコンテンツ及びビデオコンテンツに加えて、ビデオゲームのオンラインゲーム中に生成される音声コンテンツは、インタラクションアナライザ３１４の音声コンテンツアナライザ３１４ｃによって処理される。音声コンテンツは、オンラインゲーム中に観客またはプレイヤーによって生成されてもよく、クライアントデバイスに埋め込まれたマイクを使用して、または観客のクライアントデバイスに通信可能に結合された外部音声キャプチャデバイス（例えば、音声レコーダー、外部マイクなど）を使用してキャプチャされてもよい。あるいは、音声コンテンツは、チャットコンテンツに含まれていた音声クリップからのものであってもよい。
いくつかの実施形態では、音声コンテンツアナライザ３１４ｃは、フィルタを適用して周囲ノイズを除去し、及び／または音声信号の特定のものを選択的に抽出することによって、音声コンテンツを処理することができる。処理された音声コンテンツは、音声入力プロセッサ３２０ｂに転送される。音声入力プロセッサ３２０ｂは、音声をテキストに変換するスピーチテキスト変換器３２０ｂ１を含むか、またはそれに関与する。変換されたテキストは、音声入力プロセッサ３２０ｂによってキーワード識別エンジン３２０ｄに転送される。テキストコンテンツに加えて、音声コンテンツも分析されて、特定の音声特徴が識別され、その音声特徴を使用して感情が検出される。例えば、音声のピッチ、振幅、期間などは、内容に関係なく、異なる感情を伝え得る。結果的に、音声入力プロセッサ３２０ｂは、音声アナライザモジュール（図示せず）を機械学習アルゴリズムと連携させて、音声コンテンツを分析し、ピッチ、振幅、継続時間などの特定の音声特徴を抽出し、音声コンテンツの抽出された音声特徴に関連する感情を予測することができる。音声コンテンツの抽出された音声特徴から識別された感情は、インタラクションアナライザ３１４からの入力としてアバター視覚化装置３１６に転送される。
いくつかの実施形態では、音声コンテンツアナライザ３１４ｃは、フィルタを適用して周囲ノイズを除去し、及び／または音声信号の特定のものを選択的に抽出することによって、音声コンテンツを処理することができる。処理された音声コンテンツは、音声入力プロセッサ３２０ｂに転送される。音声入力プロセッサ３２０ｂは、音声をテキストに変換するスピーチテキスト変換器３２０ｂ１を含むか、またはそれに関与する。変換されたテキストは、音声入力プロセッサ３２０ｂによってキーワード識別エンジン３２０ｄに転送される。テキストコンテンツに加えて、音声コンテンツも分析されて、特定の音声特徴が識別され、その音声特徴を使用して感情が検出される。例えば、音声のピッチ、振幅、期間などは、内容に関係なく、異なる感情を伝え得る。結果的に、音声入力プロセッサ３２０ｂは、音声アナライザモジュール（図示せず）を機械学習アルゴリズムと連携させて、音声コンテンツを分析し、ピッチ、振幅、継続時間などの特定の音声特徴を抽出し、音声コンテンツの抽出された音声特徴に関連する感情を予測することができる。音声コンテンツの抽出された音声特徴から識別された感情は、インタラクションアナライザ３１４からの入力としてアバター視覚化装置３１６に転送される。
【0117】
キーワード識別エンジン３２０ｄは、チャットコンテンツ及びライブ映像の音声コンポーネントに含まれる音声データからテキストコンテンツ及び変換されたテキストコンテンツを受け取る。キーワード識別エンジン３２０ｄは、テキストコンテンツを検査し、その中に含まれるキーワードを識別する。テキストコンテンツには、特定の感情に関連する表情に関係するキーワード、及び／またはチャットインターフェイス内の議論の主題に関係するキーワードが含まれ得る。チャットインターフェイスへのいずれかの言及は、観客が互いに、またビデオゲームのプレイヤーと通信できるインタラクション型インターフェイスを含むように拡張できることに留意されたい。
議論の主題は、ビデオゲームのゲーム状態やゲームプレイに関係する場合もあれば、観客やプレイヤーのコメントや行動に関係している場合もあれば、ビデオゲームに関連する他のコンテンツに関係している場合もある。例えば、議論の主題は、プレイヤーのゲームスタイル、ビデオゲームのゲームプレイまたはビデオゲームのコンテンツに関連するコメント、観客、プレイヤーに関連するコメント、観客またはプレイヤーのインタラクションに応じたコメントなどに関連する場合がある。キーワード識別エンジン３２０ｄによって識別されたキーワードは、さらなる処理のための入力としてキーワード分析エンジン３１５に転送される。
議論の主題は、ビデオゲームのゲーム状態やゲームプレイに関係する場合もあれば、観客やプレイヤーのコメントや行動に関係している場合もあれば、ビデオゲームに関連する他のコンテンツに関係している場合もある。例えば、議論の主題は、プレイヤーのゲームスタイル、ビデオゲームのゲームプレイまたはビデオゲームのコンテンツに関連するコメント、観客、プレイヤーに関連するコメント、観客またはプレイヤーのインタラクションに応じたコメントなどに関連する場合がある。キーワード識別エンジン３２０ｄによって識別されたキーワードは、さらなる処理のための入力としてキーワード分析エンジン３１５に転送される。
【0118】
図６は、感情に関連するキーワードを識別し、観客のインタラクションにおいて表現された感情に従って観客をクラスタリングするために使用されるキーワード分析エンジン３１５の様々なコンポーネントを示す。例えば、キーワード分析エンジン３１５は、まず、幸福、恐怖、悲しみ、怒り、驚き、嫌悪、嫉妬、期待、孤独、信頼などの基本的な感情に関するキーワードと、感情に関連し得る表現に関するキーワードとを識別することによって、感情キーワード検出３１５ａを実行することから始まる。インタラクションアナライザ３１４によって識別されたキーワードの中には、感情を直接表現していないものもあるが、感情と関連付けることができる表現である場合がある。キーワード分析エンジン３１５は、機械学習アルゴリズム３２０に関与して、異なる感情に関連付けることができる表現的なキーワードを識別する。
例えば、面白い、陽気、興奮などのキーワードは幸福の感情と関連付けられ、しがみつく、不機嫌、うるさいなどのキーワードは悲しみの感情と関連付けられ得、パニック、怖い、神経質などのキーワードは恐怖の感情と関連付けられ得、イライラや不機嫌などのキーワードは怒りの感情などと関連付けられ得る、等々である。もちろん、表現的なキーワードの中には、対応する感情の同義語である場合もあるが、他の表現的なキーワードはそうではない場合もある。機械学習アルゴリズム３２０は、ビデオゲーム及び／または他のビデオゲームに対する観客のインタラクションの履歴と、現在のゲームプレイセッション中にインタラクションインターフェイスで表現的なキーワードが提供されたコンテキストとを使用して、表現的なキーワードに関連付けられる感情を正確に識別する。
例えば、面白い、陽気、興奮などのキーワードは幸福の感情と関連付けられ、しがみつく、不機嫌、うるさいなどのキーワードは悲しみの感情と関連付けられ得、パニック、怖い、神経質などのキーワードは恐怖の感情と関連付けられ得、イライラや不機嫌などのキーワードは怒りの感情などと関連付けられ得る、等々である。もちろん、表現的なキーワードの中には、対応する感情の同義語である場合もあるが、他の表現的なキーワードはそうではない場合もある。機械学習アルゴリズム３２０は、ビデオゲーム及び／または他のビデオゲームに対する観客のインタラクションの履歴と、現在のゲームプレイセッション中にインタラクションインターフェイスで表現的なキーワードが提供されたコンテキストとを使用して、表現的なキーワードに関連付けられる感情を正確に識別する。
【0119】
キーワード（すなわち、基本的または主要な感情を識別するキーワード、及び／または感情に関連する表現的なキーワード）は、ワードクラウド（３１５ｂ）をリアルタイムで動的に生成し、追加するために使用される。ワードクラウド内のキーワードは、観客である観衆の現在の感情に対応する。追加のインタラクションが観客から受信されると、追加のキーワードがテキストから識別され、ワードクラウドは観客の感情を反映するために動的に更新される。
【0120】
ワードクラウドは、観衆の観客（３１５ｃ）によって表現された様々な感情を識別するために検査される。様々な感情を識別する一環として、キーワード分析エンジン３１５は、機械学習アルゴリズム３２０の助けを借りて、各感情に関連する様々なキーワードを識別し、それに応じてキーワードにインデックスを付ける。各キーワードのインデックス付けは、キーワードが属する感情を識別し、ビデオゲームのオンラインゲーム中のインタラクションにキーワードを含めた観客の数を識別するために行われる。インデックスは、感情（３１５ｄ）によってキーワードを異なるバイブクリークにクラスタリングするために使用され、各バイブクリークは別個の感情に対応する。したがって、幸せなどの感情的なキーワードと、面白い、陽気な、興奮しているなどの表現的なキーワードは、幸せな感情に関連付けられたバイブクリークの下に一緒にクラスタリングされ得る。
同様に、悲しいなどの感情的なキーワードと、しがみつく、不機嫌な、うるさいなどの表現的なキーワードは、悲しいまたは悲しみの感情に関連付けられたバイブクリークの下にクラスタリングされ、恐怖、恐れなどの感情的キーワードとパニック、怖い、神経質などの表現的なキーワードは、恐怖の感情に関連するバイブクリークの下に集中する。関連する感情を表現するために各キーワードを使用した人の数に基づいて、ワードクラウド内のキーワードのサイズを調整することができ、そのサイズは、対応する情緒を表現するためにキーワードを使用した観客の数を視覚的に表すために使用される。
同様に、悲しいなどの感情的なキーワードと、しがみつく、不機嫌な、うるさいなどの表現的なキーワードは、悲しいまたは悲しみの感情に関連付けられたバイブクリークの下にクラスタリングされ、恐怖、恐れなどの感情的キーワードとパニック、怖い、神経質などの表現的なキーワードは、恐怖の感情に関連するバイブクリークの下に集中する。関連する感情を表現するために各キーワードを使用した人の数に基づいて、ワードクラウド内のキーワードのサイズを調整することができ、そのサイズは、対応する情緒を表現するためにキーワードを使用した観客の数を視覚的に表すために使用される。
【0121】
ワードクラウドは、テキストまたは音声コンテンツを通じて観客が表現した様々な感情を視覚的に表現する。キーワードのサイズは、インタラクション中に様々な観客がキーワードを使用した回数を表する。観客をバイブクリークにクラスタリングすることに加えて、キーワード分析エンジン３１５は、各バイブクリークに対する信頼スコアも計算する。各バイブクリークの信頼スコアは、キーワードや表現を使用してインタラクションの中で支配的な感情または支配的な感情のバリエーションを表現する観衆の観客数として計算される。各観客によって表現された感情は、ライブビデオから得られた画像にキャプチャされた顔の特徴の分析から識別された感情ごとに計算された確率スコア３２５ａを使用して決定され、観客によって表現された感情は最も高い確率スコア３２５ａを伴う感情であると識別される。
【0122】
図７は、一実施形態において、観衆の画像表現上にレンダリングするための代表的なアバターを生成するアバター視覚化装置３１６を示す。アバター視覚化装置３１６は、インタラクションアナライザ３１４によって提供される顕著な感情及びアイデア（すなわち、感情）と、キーワード分析エンジン３１５によって提供される感情キーワードとを受け取る。感情キーワードと感情は、観衆内で識別された観客の各クラスタ（つまり、バイブクリーク）の別個の感情を表す表情に富むアバターを作成するために使用される。さらに、様々なバイブクリークに関連付けられた信頼スコアを使用して、対応する表情に富むアバターをスケーリングする。まず、アバター視覚化装置３１６はまず感情を分類し（３１６ａ）、観客のインタラクションから識別される感情の数を決定する。
識別された感情の数が多すぎる場合、感情の一部は、それらの感情から検出された類似性のレベルに基づいて共にクラスタリングされる（３１６ｂ）。例えば、一次感情（例えば、幸せ、悲しみ、恐怖、怒りなど）は、インタラクションアナライザ３１４及びキーワード分析エンジン３１５によって提供される入力から識別され得る。入力から識別された感情ごとに類似性スコアが計算される。一次感情の類似性スコアは１と定義され、一次感情のバリエーションである他の感情の類似性スコアは０から１までの数値に定められる。例えば、感情のキーワードを例として使用すると、キーワード幸せ一時感情を表すキーワードには、類似性スコア１が割り当てられる。笑顔、満足感、恍惚、楽しい、陽気、興奮など、幸せな感情の変形である他のキーワードには、０から１までの類似性スコアが割り当てられる。一実施形態では、一次感情の変形であるキーワードの類似性スコアは、インタラクションにおいてキーワードが使用されたコンテキストに基づいて決定され得る。
類似性スコアは、支配的な感情（つまり、一次感情）を識別し、インタラクションから識別され異なる感情を、支配的な感情に対して定義されたバイブクリークにクラスタリングするために使用される。したがって、バイブクリークは、支配的な感情の類似性スコアから所定のパーセンテージ（例えば、５％または１０％）または所定の数（例えば、０．００５～０．０１０）だけ変動する類似性スコアを有する感情を含むように形成され得る。上記の例から、幸せまたは幸福な感情のバイブクリークには、幸せな感情を表現した観客だけでなく、幸せな感情のバリエーション（例えば、笑顔、満足感、恍惚、楽しさ、陽気、興奮など）を表現した観客も含まれ得る。
識別された感情の数が多すぎる場合、感情の一部は、それらの感情から検出された類似性のレベルに基づいて共にクラスタリングされる（３１６ｂ）。例えば、一次感情（例えば、幸せ、悲しみ、恐怖、怒りなど）は、インタラクションアナライザ３１４及びキーワード分析エンジン３１５によって提供される入力から識別され得る。入力から識別された感情ごとに類似性スコアが計算される。一次感情の類似性スコアは１と定義され、一次感情のバリエーションである他の感情の類似性スコアは０から１までの数値に定められる。例えば、感情のキーワードを例として使用すると、キーワード幸せ一時感情を表すキーワードには、類似性スコア１が割り当てられる。笑顔、満足感、恍惚、楽しい、陽気、興奮など、幸せな感情の変形である他のキーワードには、０から１までの類似性スコアが割り当てられる。一実施形態では、一次感情の変形であるキーワードの類似性スコアは、インタラクションにおいてキーワードが使用されたコンテキストに基づいて決定され得る。
類似性スコアは、支配的な感情（つまり、一次感情）を識別し、インタラクションから識別され異なる感情を、支配的な感情に対して定義されたバイブクリークにクラスタリングするために使用される。したがって、バイブクリークは、支配的な感情の類似性スコアから所定のパーセンテージ（例えば、５％または１０％）または所定の数（例えば、０．００５～０．０１０）だけ変動する類似性スコアを有する感情を含むように形成され得る。上記の例から、幸せまたは幸福な感情のバイブクリークには、幸せな感情を表現した観客だけでなく、幸せな感情のバリエーション（例えば、笑顔、満足感、恍惚、楽しさ、陽気、興奮など）を表現した観客も含まれ得る。
【0123】
観客が表現した感情に従って観客をバイブクリークにクラスタリングする一環として、バイブクリークに関連付けられた感情を表現している観客の数として信頼スコアが各バイブクリークに対して計算される。したがって、各バイブクリークに対する信頼スコアは、一次感情を表現している観客の数、及びそれぞれのバイブクリークに関連付けられた一次感情の変動である。感情をクラスタリングし、様々な感情の信頼スコアを計算することに加えて、アバター視覚化装置３１６は、観衆内で検出された感情の数を決定することもできる。検出された感情の数が多すぎる場合、アバター視覚化装置３１６は、表現するために所定の数のアバターのみを選択することができる。例えば、識別／検出された感情の数が１０または１２（例えば、１０または１２の基本感情）である場合、アバター視覚化装置３１６は、アバターを使用して表す上位５つの感情を識別することができ、この５は所定の数であり得る。
【0124】
さらに、アバター視覚化装置３１６は、表現された感情が本質的にポジティブであるかネガティブであるかを判断することができる。一実施形態では、アバター視覚化装置３１６は、情緒表面化エンジン３０４に利用可能な心理学の文献を参照することによって、表現された各感情の肯定的または否定的な性質を決定することができる。感情の性質を利用してアバターを異なる色で提示し、観衆の感情をより視覚的に表現することができる。例えば、幸せな感情はポジティブな感情とみなされ、怒り、悲しみ、恐怖の感情はネガティブな感情とみなされる。ポジティブな感情は緑色で表し得るが、ネガティブな感情は赤色で表し得る。
複数のポジティブな感情が識別された場合、ポジティブな感情を表すアバターのそれぞれは、緑色の強度の変化として表現され、最もポジティブな感情は最も強い緑色を備え、最もポジティブではない感情はより薄い色合いの緑色を備える。観衆内で複数の否定的な感情が検出された場合にも、同様のバリエーションが適用され得る。あるいは、基本感情のそれぞれを異なる色で表すこともできる。色に加えて、アバター視覚化装置３１６は、インタラクションアナライザ３１４及びキーワード分析エンジン３１５によって識別された感情ごとに表情に富むアバターを生成するときに含める（すなわちブレンドする）追加の特徴を識別し得る。次に、アバター視覚化装置３１６は、感情の表情に富むアバターを生成するときに、各感情に対して識別されたすべての特徴（例えば、色など）を含めることによって感情ブレンディング３１６ｃを実行する。
複数のポジティブな感情が識別された場合、ポジティブな感情を表すアバターのそれぞれは、緑色の強度の変化として表現され、最もポジティブな感情は最も強い緑色を備え、最もポジティブではない感情はより薄い色合いの緑色を備える。観衆内で複数の否定的な感情が検出された場合にも、同様のバリエーションが適用され得る。あるいは、基本感情のそれぞれを異なる色で表すこともできる。色に加えて、アバター視覚化装置３１６は、インタラクションアナライザ３１４及びキーワード分析エンジン３１５によって識別された感情ごとに表情に富むアバターを生成するときに含める（すなわちブレンドする）追加の特徴を識別し得る。次に、アバター視覚化装置３１６は、感情の表情に富むアバターを生成するときに、各感情に対して識別されたすべての特徴（例えば、色など）を含めることによって感情ブレンディング３１６ｃを実行する。
【0125】
次に、アバター視覚化装置３１６は、感情に一致するように適切なアバターの表情を調整することによって、情緒プロファイリングを実行する（３１６ｄ）。プロファイリング中、アバター視覚化装置３１６は、各バイブクリークの主要な感情を適切に表すアバターを生成するために、感情ごとに識別された様々な特徴（例えば、色、サイズなど）をブレンドする。一実施形態では、アバターは絵文字の形式で生成される。絵文字を表情に富むアバターとしてレンダリングすることは、感情を表現する１つの方法であり、他の形式のアバターまたは表現も使用できることに留意されたい。
【0126】
各感情に対してアバターが生成されると、アバター視覚化装置３１６の絵文字／アバタースケーリングエンジン３１６ｅは、各バイブクリークに対して計算された信頼スコアを使用して、各感情に対して生成されたアバターを動的にスケーリングする。動的なスケーリングは、各感情が観衆において有する支配的なレベルを視覚的に示すために行われ、最も支配的な感情に対応するアバターは他の感情よりも大きくなる。異なる感情を表すプロファイリング及びスケーリングされたアバターは、ビデオゲームのコンテンツと共に表示される観衆の画像表現上にレンダリングするために、観客のクライアントデバイスに返される。機械学習アルゴリズム３２０を使用する情緒表面化エンジン３０４は、広い地理的エリアに広がる多数のゲーム観客の反応の分布を迅速に（すなわち、ほぼリアルタイムで）測定する方法を提供する。集約的な視覚的フィードバックは観衆にとって直感的であり、観客が観衆の様々な感情を視覚化できるようにする。また、視覚的表現により、観客は自分の反応を様々なグループの反応と比較し、観衆の中で自分の感情と最も一致するグループ（つまり、バイブクリーク）を識別することができるようになる。
【0127】
図８Ａは、一実施形態に従って、情緒表面化エンジン３０４によって使用される機械学習アルゴリズムによって採用されるユニモーダル感情認識アプローチを使用する、ライブビデオのビデオ部分の分析に基づいて、観客によって表現される異なる感情を識別するプロセスを示す。このアプローチでは、ライブビデオでキャプチャされた様々なビデオフレームが観客の顔の特徴をキャプチャする。ライブビデオでキャプチャされた各ビデオフレームが分析されて、そこに埋め込まれている顔の特徴が識別される。各ビデオフレームは、顔の特徴が含まれるようにトリミングされる。機械学習モデルは顔の特徴を使用して、観客の異なる感情を分類する。
【0128】
インタラクションアナライザモジュール３１４は、各観客からキャプチャされた、または各観客によって生成されたコンテンツの各モダリティを独立して処理して、表現された感情を推測し、各観客に関連付けられたインタラクションデータから識別された異なるモダリティからの感情を融合する。次に、各観客の融合された感情は、アバターを使用して感情を視覚化するための入力としてアバター視覚化装置３１６に提供される。図８Ａに示す例では、ビデオモーダルデータ（すなわち、ライブビデオ）がインタラクションアナライザ３１４によって処理されている。インタラクションデータ内で識別された他のモーダルデータも同様の方法で処理できる。
図示されるように、インタラクションアナライザ３１４は、ライブビデオに含まれるビデオモーダルデータを処理するために、機械学習アルゴリズム３２０と共に視覚感情分析エンジン３２５に関与することができ、この処理は、表情認識ニューラルネットワーク３２０ｃの助けを借りて、ライブビデオ内でキャプチャされた各観客の特徴（例えば、顔の特徴）を抽出し、及びそれぞれの観客の感情を独立して推測することを含む。図８Ａに示す実施形態では、表情認識ニューラルネットワークは、特定のモダリティから識別された特徴を使用し、観客の特定のモダリティからの特徴に対する感情を予測するように訓練されたユニモーダルストリームディープニューラルネットワークである。各モーダルデータから識別された感情は、次いで各観客の他のモーダルデータから識別された感情と組み合わされる。例えば、図８Ａに示すように、ライブビデオの感情が予測される。次に、ライブビデオの推定された感情が、例えば加重平均を通じて、観客のインタラクションデータに含まれる他のモダリティから予測された感情と融合される。したがって、観客の感情予測は、その観客の様々なユニモーダルストリームの感情の予測を融合することに基づいている。アバター視覚化装置３１６は、各観客の融合した感情を受け取り、観衆内の様々な感情の分布を決定し、観衆の観客の感情を視覚化するための適切なアバターを生成する。
図示されるように、インタラクションアナライザ３１４は、ライブビデオに含まれるビデオモーダルデータを処理するために、機械学習アルゴリズム３２０と共に視覚感情分析エンジン３２５に関与することができ、この処理は、表情認識ニューラルネットワーク３２０ｃの助けを借りて、ライブビデオ内でキャプチャされた各観客の特徴（例えば、顔の特徴）を抽出し、及びそれぞれの観客の感情を独立して推測することを含む。図８Ａに示す実施形態では、表情認識ニューラルネットワークは、特定のモダリティから識別された特徴を使用し、観客の特定のモダリティからの特徴に対する感情を予測するように訓練されたユニモーダルストリームディープニューラルネットワークである。各モーダルデータから識別された感情は、次いで各観客の他のモーダルデータから識別された感情と組み合わされる。例えば、図８Ａに示すように、ライブビデオの感情が予測される。次に、ライブビデオの推定された感情が、例えば加重平均を通じて、観客のインタラクションデータに含まれる他のモダリティから予測された感情と融合される。したがって、観客の感情予測は、その観客の様々なユニモーダルストリームの感情の予測を融合することに基づいている。アバター視覚化装置３１６は、各観客の融合した感情を受け取り、観衆内の様々な感情の分布を決定し、観衆の観客の感情を視覚化するための適切なアバターを生成する。
【0129】
図８Ｂは、一実施形態に従って、情緒表面化エンジン３０４の機械学習アルゴリズム３２０を使用して採用されるマルチモーダル感情認識アプローチを使用する、ライブビデオのビデオ及び音声部分の分析に基づいて、観客によって表現される異なる感情を識別するプロセスを示す。図８Ｂの例では、様々なモーダルストリームから識別されたライブビデオ及び音声の特徴が処理されて、観客によって表現された感情が識別される。音声は、ビデオがキャプチャされているとき、または観客が他の観客とインタラクションしているときに、観客によって生成され得る。この実施形態では、各モダリティからの特徴は、観客の感情を予測するために表情認識ディープニューラルネットワーク３２０ｃを訓練するための入力として使用される。
次いで、予測された感情は、アバターを生成するためにアバター視覚化装置３１６に提供される。アバター視覚化装置３１６は、各観客の予測された感情を受け取り、観衆の中の様々な感情の分布を決定し、観客の感情の分布を反映する適切なサイズ及び色のアバターを生成する。図８Ｂに示す実施形態では、表情認識ニューラルネットワークは、２つの異なるモダリティからの特徴を使用して観客の感情を予測するようにトレーニングされたマルチモーダルディープニューラルネットワークである。図８Ｂに示す例では、観客が表現する感情を予測するために２つのモダリティ（つまり、ライブビデオと音声ストリーム）のみを組み合わせて示しているが、実際には、インタラクションデータの３つ以上のモダリティを使用して観客の感情を予測できる。
次いで、予測された感情は、アバターを生成するためにアバター視覚化装置３１６に提供される。アバター視覚化装置３１６は、各観客の予測された感情を受け取り、観衆の中の様々な感情の分布を決定し、観客の感情の分布を反映する適切なサイズ及び色のアバターを生成する。図８Ｂに示す実施形態では、表情認識ニューラルネットワークは、２つの異なるモダリティからの特徴を使用して観客の感情を予測するようにトレーニングされたマルチモーダルディープニューラルネットワークである。図８Ｂに示す例では、観客が表現する感情を予測するために２つのモダリティ（つまり、ライブビデオと音声ストリーム）のみを組み合わせて示しているが、実際には、インタラクションデータの３つ以上のモダリティを使用して観客の感情を予測できる。
【0130】
図８Ｃは、一実施形態において、ビデオゲームのゲームプレイを見ている観客の感情を識別するためのユニモーダルアプローチにおいて機械学習アルゴリズムによって実行される主なステップを示す。図示の例では、ユニモーダルアプローチは、入力として観客のクライアントデバイス内に組み込まれた、またはそれに関連付けられたカメラまたは画像キャプチャデバイスを使用してキャプチャされた観客のライブビデオを使用する。クライアントデバイスでキャプチャされた観客のライブビデオはクラウドサーバに転送される。情緒表面化エンジン３０４は、ライブビデオを受信し、その中に含まれる観客の画像を抽出し、観客の顔を検出し、顔の特徴のみを保持するために観客の画像をトリミングする。次に、トリミングされた画像を使用して観客の表情を識別し、表情認識ニューラルネットワークからの訓練されたデータを使用してその表情を感情に関連付ける。
【0131】
図９は、一実施形態において、インタラクション収集エンジン３１１を使用するインタラクション収集フェーズ中に、ライブビデオでキャプチャされた観客の画像を示すサンプル画面を示す。ゲームプレイを見ているライブ観衆の一部である観客のライブビデオは、画像キャプチャデバイスを使用してキャプチャされ、情緒表面化エンジン３０４にとって利用可能なものになる。図９に示すサンプル画面では、各観客が異なる感情を示しているが、常にそうであるとは限らないことを示す。観客の画像は、手、体などの他の特徴に加えて顔の特徴もキャプチャする。感情（すなわち、基本的な感情）は顔の特徴を使用して表現されるため、情緒表面化エンジン３０４は観客の画像から顔の特徴を識別し、感情を表す顔の特徴のみを含むよう画像をトリミングする。トリミングされた顔の特徴は、インタラクションアナライザ３１４によって処理されて、観客から検出された顕著な感情を識別する。図９では、観客のプライバシーを保護するために、観客の画像内の実際の顔の上にグラフィックオーバーレイが提供されているが、実際には、観客の実際の顔から得た顔の特徴が、観客が表現する感情を決定するために使用される。
【0132】
図１０は、一実施形態において、観客の感情を識別するために使用されるサンプルの顔特徴認識プロセスを示す。図１０は、観客のサンプルセットのトリミングされた画像の図を示しており、画像は顔の特徴のみを含むようにトリミングされている。一実施形態では、顔の特徴は、観客の顕著な感情を識別するためにインタラクションアナライザ３１４によって使用される。インタラクションアナライザ３１４は、あらゆる顔の特徴の様々な側面（例えば、眉毛の編み方、鼻にしわを寄せること、額のしわ、目の開き具合、笑顔またはしかめっ面時の口元、及び笑顔またはしかめっ面の程度など）、例えば眉、目、鼻、額、口など、及び観客から検出された感情を識別する全体の顔の特徴を検査する。いくつかの実施形態では、各顔の特徴及び全体の顔の特徴が検査されて、少なくとも６つの基本感情（例えば、怒り、嫌悪、恐怖、幸福、悲しみ、驚きなど）のうちの１つまたは複数を識別する。
【0133】
図１１は、一実施形態において、観客によって表現された感情を決定するために使用されるライブビデオからの観客の画像を示す。図１０を参照して述べたように、情緒表面化エンジン３０４内の顔検出アルゴリズムは、ライブビデオを受け取り、観客の画像を抽出する。次いで、抽出された画像は、観客の顔の特徴（図１１の青い四角で表示）のみを含むようにトリミングされる。次に、トリミングされた画像の様々な顔の特徴が分析され、観客から検出された感情が識別される。分析には、各顔の特徴及び顔の特徴の組み合わせを、様々な感情を識別するための感情認識ニューラルネットワークに含まれる学習済みデータ内の対応する顔の特徴と比較することを含む。
様々な感情を識別することに加えて、顔検出アルゴリズムはまた、各感情のマッチングスコアを識別し、マッチングスコアは、顔の特徴の特定のもの（複数可）と、訓練されたデータ内の対応するものとの一致のレベルに対応する。図１１は、観客の顔の特徴の分析により一連の感情と、識別された感情ごとに対応するマッチングスコアが得られた、そのような例の１つを示している。図１１に示す実施形態はライブビデオに対応しているが、実施形態を拡張して、絵文字、ミーム、ＧＩＦ、その他のグラフィックコンテンツなどの他のグラフィックイメージの分析も含めることができる。顔の特徴の一致のレベルを識別するマッチングスコアに基づいて、図１１に示される画像にキャプチャされた観客の表情は中立（すなわち、最も高いマッチングスコアを有する感情）であると判定され得る。
様々な感情を識別することに加えて、顔検出アルゴリズムはまた、各感情のマッチングスコアを識別し、マッチングスコアは、顔の特徴の特定のもの（複数可）と、訓練されたデータ内の対応するものとの一致のレベルに対応する。図１１は、観客の顔の特徴の分析により一連の感情と、識別された感情ごとに対応するマッチングスコアが得られた、そのような例の１つを示している。図１１に示す実施形態はライブビデオに対応しているが、実施形態を拡張して、絵文字、ミーム、ＧＩＦ、その他のグラフィックコンテンツなどの他のグラフィックイメージの分析も含めることができる。顔の特徴の一致のレベルを識別するマッチングスコアに基づいて、図１１に示される画像にキャプチャされた観客の表情は中立（すなわち、最も高いマッチングスコアを有する感情）であると判定され得る。
【0134】
図１２は、一実施形態において、それぞれのアバターを生成するときに各感情を視覚的に表すために使用できるスライド式バイブ評価スケールを示す。感情には、ポジティブなバイブ評価またはネガティブなバイブ評価がある。各感情のバイブ評価に基づいて、情緒表面化エンジンは、それぞれの感情を表すために生成されるアバターの色を定義することができる。例えば、怒りの感情はネガティブなバイブ評価を持つことが示されており、その結果、怒りの感情を表すアバターは赤色で表され得る。同様に、幸せな感情や恍惚とした感情はポジティブなバイブ評価を持つことが示されており、結果として緑色で表され得る。一実施形態では、バイブ評価に応じて、アバターを表す色の強度を調整することができる。図１２に示す例では、怒りと不信の両方がネガティブのバイブ評価を持っているが、怒りの感情のネガティブのバイブ評価は、不信感情のネガティブのバイブ評価よりも大きい可能性がある。結果として、怒りの感情を表すアバターは、より深い赤を使用して定義され得るが、一方、不信の感情を表すアバターは、より明るい赤を使用して定義され得る。図１２に示す実施形態では、バイブ評価スケールはまた、感情に関連付けられたバイブ評価に従って、様々な感情を表すために使用されるサンプルのカラーコードを示している。それぞれの別個の感情を表すために別個の色を使用するなど、他の配色を使用して感情を表すこともできることに留意されたい。
【0135】
図１３は、一実施形態における、感情集約ステップ（「感情集約フェーズ」とも呼ばれる）３１２の表現を示しており、観客のインタラクションのうちの特定のものを使用して、感情を表すキーワード及びビデオゲームのゲームプレイ中に観客から集められる感情に関連する表現的なキーワードにより、ワードクラウドを動的に生成及びポピュレートする。図１３に示す例では、観客のライブビデオを使用してワードクラウドをポピュレートする。一例では、情緒表面化エンジン３０４は、観客のライブビデオからの情報を使用することによってワードクラウドをポピュレートするユニモーダルアプローチを採用する。様々な実施形態はユニモーダルアプローチに限定されず、マルチモーダルアプローチも含むことができ、ライブビデオ、音声コンテンツ、チャットコンテンツをすべて同時に処理してワードクラウドをポピュレートできることに留意されたい。ワードクラウド内のキーワードは、観客の群衆（つまり、観衆）の感情を識別するために使用される。
図１３に示す実施形態では、ワードクラウド内のキーワードの一部が他のキーワードよりも目立つようにレンダリングされる（つまり、視覚的に大きく表現される）。これは、観客のインタラクションにおけるそのキーワードの優位性のレベル（つまり、インタラクション中に特定のキーワードを表現した観客の数）を示すためである可能性がある。ワードクラウド自体は、実際にはいずれかのクライアントデバイスのいずれかの表示画面に表示されるわけではないが、観客のインタラクションにおいてどのキーワードが他のキーワードよりも支配的であるかを視覚的に表現するために、説明の目的で図１３に示されていることに留意されたい。ワードクラウド内のキーワードは、感情、または感情に関連付けられた表現的なキーワードを表す。図９と同様に、図１３の例示的な説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィカルオーバーレイが提供されているが、ライブビデオの画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、ワードクラウドに追加する際に使用される。
図１３に示す実施形態では、ワードクラウド内のキーワードの一部が他のキーワードよりも目立つようにレンダリングされる（つまり、視覚的に大きく表現される）。これは、観客のインタラクションにおけるそのキーワードの優位性のレベル（つまり、インタラクション中に特定のキーワードを表現した観客の数）を示すためである可能性がある。ワードクラウド自体は、実際にはいずれかのクライアントデバイスのいずれかの表示画面に表示されるわけではないが、観客のインタラクションにおいてどのキーワードが他のキーワードよりも支配的であるかを視覚的に表現するために、説明の目的で図１３に示されていることに留意されたい。ワードクラウド内のキーワードは、感情、または感情に関連付けられた表現的なキーワードを表す。図９と同様に、図１３の例示的な説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィカルオーバーレイが提供されているが、ライブビデオの画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、ワードクラウドに追加する際に使用される。
【0136】
図１４は、一実施形態における情緒表面化エンジン３０４の感情視覚化フェーズ３１３の表現例を示す。表現例に示すように、ワードクラウドが生成されると、情緒表面化エンジン３０４は、キーワードが表す感情に従ってキーワードを生成した観客をクラスタリングし、観客の各クラスタが別個の感情に関連付けられるようにする。観客のクラスタリングに基づいて、情緒表面化エンジン３０４は、感情ごとにアバターを識別し、アバターの表情を調整し、感情ごとに識別された様々な特徴をブレンドし、観客のクライアントデバイスでレンダリングするために感情ごとにブレンドされたアバターを転送する。図１４は、図９のインタラクション収集フェーズでキャプチャされた観客のサンプルライブビデオから識別された異なる感情に対して生成されたアバター表現の一部を示している。
説明のみを目的として、図１４に示す例では、アバターと観客の画像は、図９で説明された１対１の相関関係にあるように示されているが、実際には、アバターと観客の間の相関関係は１対多である。図１４に示す例では、観客のライブビデオの結果のみがワードクラウドへの追加とアバターの生成に使用されることが示されているが、実際には、テキストデータ、ビデオデータ、音声データ、ミーム、ＧＩＦ、絵文字、その他の観客によって生成されたグラフィックコンテンツなどの他のモーダルデータがまた、ワードクラウドに追加する、及び／または感情を表すアバターを識別する際に使用される。図９と同様に、図１４の例示的説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィックオーバーレイが提供されているが、実際には、画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、観客が表現した感情を判断し、アバターの表現を提供するために使用される。
説明のみを目的として、図１４に示す例では、アバターと観客の画像は、図９で説明された１対１の相関関係にあるように示されているが、実際には、アバターと観客の間の相関関係は１対多である。図１４に示す例では、観客のライブビデオの結果のみがワードクラウドへの追加とアバターの生成に使用されることが示されているが、実際には、テキストデータ、ビデオデータ、音声データ、ミーム、ＧＩＦ、絵文字、その他の観客によって生成されたグラフィックコンテンツなどの他のモーダルデータがまた、ワードクラウドに追加する、及び／または感情を表すアバターを識別する際に使用される。図９と同様に、図１４の例示的説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィックオーバーレイが提供されているが、実際には、画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、観客が表現した感情を判断し、アバターの表現を提供するために使用される。
【0137】
図１５は、一実施形態において、ワードクラウドを生成するために使用できる様々なタイプのインタラクションの視覚的表現を提供し、ワードクラウドは、観衆の画像表現上にレンダリングするための表情に富むアバターを生成するために使用される。インタラクションの種類には、チャットまたはメッセージコンテンツ（テキスト、絵文字、ＧＩＦ、ミーム、その他のグラフィックコンテンツなどを含む）、ライブビデオコンテンツ（ビデオゲームのオンラインゲームを見ている間の観客の表情をキャプチャする）、音声コメント／コンテンツ、及び絵文字の反応が含まれる。様々な観客は、ビデオゲームのゲームプレイを見ている間に、自分たちによって生成されるインタラクションをまったく共有しないことを選択することも、１つまたはすべてのタイプのインタラクションを選択することも可能である。
観客によって選択された共有オプションに基づいて、情緒表面化エンジン３０４は、異なる観客から対応するタイプのインタラクションを収集し、そのインタラクションを使用してワードクラウドを生成し、これは、観客の表情と共に使用されて、感情を識別し、識別された感情ごとにアバターを生成し、スケーリングする。図９、１３、及び１４と同様に、図１５の例示的な説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィカルオーバーレイが提供されているが、ライブビデオの画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、感情を決定する際に使用される。
観客によって選択された共有オプションに基づいて、情緒表面化エンジン３０４は、異なる観客から対応するタイプのインタラクションを収集し、そのインタラクションを使用してワードクラウドを生成し、これは、観客の表情と共に使用されて、感情を識別し、識別された感情ごとにアバターを生成し、スケーリングする。図９、１３、及び１４と同様に、図１５の例示的な説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィカルオーバーレイが提供されているが、ライブビデオの画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、感情を決定する際に使用される。
【0138】
一実施形態では、ライブビデオゲーム中に観客のインタラクションが収集される。収集されたインタラクションは、ワードクラウドの生成と、ワードクラウドから識別された感情を表すアバターの生成に使用され、ビデオゲームにアクセスしてビデオゲームのライブのゲームプレイを見る観客のクライアントデバイスにアバターが返される。生成されたワードクラウド及びアバターは、ビデオゲームの再生中に使用するために情緒収集データベース３３４に保存される。リプレイ中に、リプレイを見ている観客からのインタラクションが収集され、ワードクラウドと、ワードクラウドやその他のインタラクションから識別された感情を表すアバターを更新するために使用される。
【0139】
図１６は、一実施形態における、類似のバイブをクラスタリングすることによって生成されるバイブクリークの時間グラフの単純な表現を示す。図１６に示すバイブクリークは、感情の変化が検出されたときにビデオゲームの特定の時間に観客から検出された様々なバイブに対して生成されたバイブクリークの数を視覚的に表したものである。例えば、時間グラフは、ｘ軸に沿ってゲームプレイのタイムラインを、ｙ軸に沿ってバイブクリークの構成（及び対応する信頼スコア）をプロットすることができる。タイムラインは、ビデオゲームのゲームプレイ中に観客の感情の変化を引き起こしたイベントが発生した特定の時間を識別する。ビデオゲームのゲームプレイで検出された変化は、バイブクリークの構成に変化を引き起こす場合もあれば、引き起こさない場合もある。
一部の実施形態では、観客のインタラクションから識別された感情の数が多すぎる場合、情緒表面化エンジンは、本質的に似たバイブを単一のバイブクリークにクラスタリングする場合がある。代替実施形態では、観客から識別された各バイブを使用して、対応するバイブクリークを生成し、情緒表面化エンジンが、アバターを使用して表現する確率スコアが最も高い、事前に定義された数のバイブクリークを選択する。図１６に示す例では、４つの異なるタイプのバイブを含むように４つのバイブクリークが定義されているが、実際には、観客の感情から定義される４つ以上バイブクリークが存在する可能性がある。
一部の実施形態では、観客のインタラクションから識別された感情の数が多すぎる場合、情緒表面化エンジンは、本質的に似たバイブを単一のバイブクリークにクラスタリングする場合がある。代替実施形態では、観客から識別された各バイブを使用して、対応するバイブクリークを生成し、情緒表面化エンジンが、アバターを使用して表現する確率スコアが最も高い、事前に定義された数のバイブクリークを選択する。図１６に示す例では、４つの異なるタイプのバイブを含むように４つのバイブクリークが定義されているが、実際には、観客の感情から定義される４つ以上バイブクリークが存在する可能性がある。
【0140】
図１７は、一実施形態において、表情に富むアバターの画像がオーバーレイされる観衆の代表的な画像のサンプルビューを示す。表情に富むアバターは、観客のインタラクションから識別された異なる感情を表す。各感情を表すアバターのサイズ、色、その他の特徴は、観客から検出された様々な感情、識別された各感情を表現する観客の数、各感情の関連するバイブ評価などを適切に視覚的に表現できるようにスケーリングされる。一実施形態では、観衆の中の観客は異なる地理的位置に関連付けられ得て、各地理的位置の観客は特定の感情に関連付けられ得る。
例えば、地理的位置１の観客はプレイヤー１またはチーム１に関連付けられるかフォローすることができ、地理的位置２の観客はプレイヤー２またはチーム２に関連付けられるかフォローすることができる、などである。したがって、各プレイヤーまたはチームをサポートする観客が同様の感情を表現し得る。この例では、異なる感情（すなわち、バイブ）を表すアバターをマップにレンダリングすることができ、特定のバイブを表す各アバターが、特定のバイブのバイブクリークに関連付けられた観客に対応する地理的位置上にレンダリングされる。表情に富むアバターは、観衆に表現された様々な感情を視覚的に表示し、観客が自分自身の感情と一致する観客のグループ（つまり、バイブクリーク）を識別して参加することを可能にし、ビデオゲームのゲームプレイを鑑賞するときに、観客に、自分たちが友人または同じ考えを持つ観客と共に過ごしているという感覚を提供する。
例えば、地理的位置１の観客はプレイヤー１またはチーム１に関連付けられるかフォローすることができ、地理的位置２の観客はプレイヤー２またはチーム２に関連付けられるかフォローすることができる、などである。したがって、各プレイヤーまたはチームをサポートする観客が同様の感情を表現し得る。この例では、異なる感情（すなわち、バイブ）を表すアバターをマップにレンダリングすることができ、特定のバイブを表す各アバターが、特定のバイブのバイブクリークに関連付けられた観客に対応する地理的位置上にレンダリングされる。表情に富むアバターは、観衆に表現された様々な感情を視覚的に表示し、観客が自分自身の感情と一致する観客のグループ（つまり、バイブクリーク）を識別して参加することを可能にし、ビデオゲームのゲームプレイを鑑賞するときに、観客に、自分たちが友人または同じ考えを持つ観客と共に過ごしているという感覚を提供する。
【0141】
一実施形態では、バイブクリークが形成されると、各バイブクリークに含まれる観客の表情が監視され、表情のいずれかの変化が検出される。観客の表情は、ビデオゲームのゲームプレイの現在のゲーム状態に基づいて変化する可能性があり、これはゲームイベント及びプレイヤーのインタラクションの影響を受ける。プレイヤーがポイントまたはゲームの賞金またはゲームライフなどを獲得するかまたは失うと、観客の感情が変化し、プレイヤーやゲームプレイの結果などに対する感情が反映されることがある。ゲーム内の変化に加えて、観客の感情はまた、ゲームプレイに対する他の観客の反応、ゲームプレイ中のプレイヤーのコメントや行動、観客の反応／インタラクションに対する他の観客の反応などによって影響を受ける可能性がある。情緒表面化エンジン３０４は、各バイブクリークの観客の感情の変化を監視し、各バイブクリークのアバターの感情を動的に調整して、バイブクリークに含まれる観客のグループの現在の感情を反映する。
【0142】
一実施形態では、バイブクリークの感情を表現する各バイブクリークの観客の数を識別する信頼スコアは、時間の経過と共に変化する可能性がある。これは、バイブクリークを形成しているグループ内の一部の観客がグループを離れたか、または新しい観客がグループに参加したことが原因である可能性がある。新しい観客は、異なるバイブクリークを代表する第２のグループ（つまり、第２のクラスタ）から第１のグループ（つまり、第１のクラスタ）に参加することも、その逆の場合もあり得る。あるいは、ビデオゲームのゲームプレイを見るために新しい観客が参加する可能性もある。いくつかの実施形態では、観客のうちの何人かは、第１のグループの観客によって表現される感情及びインタラクションの感覚を得るだけのために、第１のグループに参加することがある。オプションは、ビデオゲームのコンテンツ及び第１のグループの観客に対する観衆の画像表現と共にレンダリングされるユーザインターフェイスで提供され、第１のグループに参加するべく異なるグループ（例えば、第２のグループ、第３のグループなど）の観客に許可を与えることができる。
第１のグループへの参加を要求するために、他のグループの観客（例えば、第２のグループ、第３のグループの観客など）に追加のオプションが提供されてもよい。要求が第１のグループによって受け入れられた場合、または第１のグループの設定に基づいて、第２、第３のグループなどの観客がそのグループに参加することを許可されてもよい。これは、例えば、スタジアムで行われるライブゲームを観戦しながら、観客が別のチームを応援している場合がある友人達と共に過ごすのに似ている可能性がある。第２のグループ、または第３のグループなどの観客が第１のグループへの参加を選択すると、観客は第２のグループまたは第３のグループから自動的に切り離されるか関連付けが解除され、第１のグループに接続または関連付けられる。第１のグループの観客が他のグループへの参加を選択したり、参加を要求したりする場合にも、同様の関連付けと関連付けの解除が想定される場合がある。
第１のグループへの参加を要求するために、他のグループの観客（例えば、第２のグループ、第３のグループの観客など）に追加のオプションが提供されてもよい。要求が第１のグループによって受け入れられた場合、または第１のグループの設定に基づいて、第２、第３のグループなどの観客がそのグループに参加することを許可されてもよい。これは、例えば、スタジアムで行われるライブゲームを観戦しながら、観客が別のチームを応援している場合がある友人達と共に過ごすのに似ている可能性がある。第２のグループ、または第３のグループなどの観客が第１のグループへの参加を選択すると、観客は第２のグループまたは第３のグループから自動的に切り離されるか関連付けが解除され、第１のグループに接続または関連付けられる。第１のグループの観客が他のグループへの参加を選択したり、参加を要求したりする場合にも、同様の関連付けと関連付けの解除が想定される場合がある。
【0143】
一実施形態では、観客をグループに関連付けることにより、観客はグループの観客のインタラクションにアクセスできるようになる。同様に、観客をグループから関連解除すると、その観客は、その観客が関連解除されたグループの観客のインタラクションにアクセスできなくなる。このオプションを提供すると、観客は自分のバイブクリークの観客だけでなく、異なるバイブクリークの他の観客のバイブも感じることができる。別の実施形態では、クラスタ内の観客（すなわち、バイブクリーク）は、クラスタ内の他の観客とインタラクションし、クラスタ内の他の観客のインタラクションにアクセスすることができる。この実施形態では、第１のクラスタの観客は他のクラスタの観客とインタラクションすることを許可されず、他のクラスタの観客のインタラクションにアクセスしない。
【0144】
一実施形態では、ビデオゲームの観客によって表現される、またはビデオゲームの観客から検出される異なる感情の反応強度を示すために、インタラクション型時間グラフが生成され、観衆の観客に提示され得る。図１６は、そのような例の１つを示している。異なる感情の反応の強さは、ビデオゲームのゲームプレイで発生する変化に基づいて変動し得る。一実施形態では、インタラクション型時間グラフでキャプチャされた反応強度は、ビデオゲームのゲームプレイの特定の部分にリンクされるため、観客は、時間グラフの特定の感情に対して表される反応強度を視覚化し、それをビデオゲームのゲームプレイで発生する特定の変化（イベントなど）に相関させることができる。
いくつかの実施形態では、観客は、特定の時間、時間グラフに含まれるバイブクリークのいずれか１つをクリックすることができ、観客は、特定の時間の時系列グラフで表現された特定のバイブクリークの反応強度に対応するビデオゲームのゲームプレイを視聴することができる場合がある。インタラクション型時間グラフは、ビデオゲームのゲームプレイのコンテンツと共にレンダリングされる観衆の画像表現の上に提示されるアバターに加えて、またはその代わりに存在することができる。時間グラフは、ビデオゲームのゲームプレイのライブストリーミング中に生成することができ、また、その後の取得及び表示のためにゲームプレイデータストア３３２に格納することもできる。
あるいは、時間グラフは、観客のインタラクションから識別されたワードクラウド及びバイブクリークと共に情緒データベース３３４に格納されてもよい。ビデオゲームがリプレイされる（すなわち、コンテンツが遅延時間でストリーミングされる）とき、保存された時間グラフが取得され、ビデオゲームの遅延リプレイを見ている観客に提示され得る。観客がリプレイ中にビデオゲームのゲームプレイで発生する様々なイベントやアクションに対してインタラクションまたは反応すると、保存された時間グラフからのデータと、ビデオゲームの遅延リプレイを見ている観客のインタラクションから識別された追加の反応を含む新しい時間グラフが生成され得る。新しい時間グラフは、ゲームプレイデータストア３３２または情緒データベース３３４のいずれかに格納され、ビデオゲームのリプレイが観客に提示されるときに取得される。
いくつかの実施形態では、観客は、特定の時間、時間グラフに含まれるバイブクリークのいずれか１つをクリックすることができ、観客は、特定の時間の時系列グラフで表現された特定のバイブクリークの反応強度に対応するビデオゲームのゲームプレイを視聴することができる場合がある。インタラクション型時間グラフは、ビデオゲームのゲームプレイのコンテンツと共にレンダリングされる観衆の画像表現の上に提示されるアバターに加えて、またはその代わりに存在することができる。時間グラフは、ビデオゲームのゲームプレイのライブストリーミング中に生成することができ、また、その後の取得及び表示のためにゲームプレイデータストア３３２に格納することもできる。
あるいは、時間グラフは、観客のインタラクションから識別されたワードクラウド及びバイブクリークと共に情緒データベース３３４に格納されてもよい。ビデオゲームがリプレイされる（すなわち、コンテンツが遅延時間でストリーミングされる）とき、保存された時間グラフが取得され、ビデオゲームの遅延リプレイを見ている観客に提示され得る。観客がリプレイ中にビデオゲームのゲームプレイで発生する様々なイベントやアクションに対してインタラクションまたは反応すると、保存された時間グラフからのデータと、ビデオゲームの遅延リプレイを見ている観客のインタラクションから識別された追加の反応を含む新しい時間グラフが生成され得る。新しい時間グラフは、ゲームプレイデータストア３３２または情緒データベース３３４のいずれかに格納され、ビデオゲームのリプレイが観客に提示されるときに取得される。
【0145】
一実施形態では、時間グラフの特定の時間を選択すると、情緒表面化エンジン３０４が、ビデオゲームのゲームプレイデータを保持するバッファにクエリを実行し、特定のゲームプレイデータを取得して、特定の時間における観衆の全体的な感情を決定するか、特定の時間に起こった様々な反応を判断する。時間グラフは感情ごとに個別に生成されてもよいし、観衆で識別された異なる感情に対して単一の時間グラフが生成されてもよい。時間グラフが情緒ごとに生成される場合、時間グラフは感情ごとに複数生成される可能性がある。各感情について生成された時間グラフは、それぞれの感情のアバターと並んで、またはクライアントデバイスの表示画面の下部にサムネイルとして表示される場合などがある。
【0146】
いくつかの実施形態では、アバター、反応トラック、及び時間グラフをレンダリングするために識別される感情は、確率的な種類の表現であり、支配的な感情のうち選択されたものだけが使用される。どの感情が支配的であるかは、観客が顔の特徴を通じて表現した感情の確率スコアとバイブクリークの信頼スコアに基づいて決定される。
【0147】
いくつかの実施形態では、時間グラフは折れ線グラフとして表されてもよい。この実施形態では、折れ線グラフは、異なる感情を表すグラフの線を含むことができ、各感情は異なるグラフの線で表される。いくつかの実施形態では、グラフの線によって表される感情をキャプチャするアバターは、対応するグラフの線と並んでまたは上に重ねてレンダリングされ、そのグラフの線に対応する感情の視覚的な表示を提供することができる。図１６に示される折れ線グラフ及び時間グラフは、観客の観衆の中の観客から検出される感情を示すいくつかの例であり、観客の感情を視覚的に表現する他の形式も想定され得る。
【0148】
いくつかの実施形態では、観客のクライアントデバイスでアバターを提示することは、観客がアバターをレンダリングするために選択するためのセグメント化オプションを有するユーザインターフェイスを提供することを含むことができる。観客は、ビデオゲームのコンテンツをレンダリングしているスクリーンを混雑させたり、他のコンテンツのレンダリングを妨げたりせずに、スクリーンの特定の位置で観衆の感情を見たいと望むかもしれない。これらの実施形態では、アバターはそれ自体でレンダリングされてもよく、または観衆の画像表現の上にレンダリングされてもよい。
表示画面は、複数のセグメント（例えば、下半分、上半分、左側、右側など）にセグメント化することができ、セグメント化オプションには、各観客がアバターのレンダリングのために選択するこれらのセグメントが含まれ得る。セグメントを識別することに加えて、アバターを単独で、または観衆の画像表現の上にレンダリングするためのオプション、及びアバターをフォーマットするためのオプションも、選択のために各観客に提供され得る。各観客の選択に基づいて、観衆で検出された異なる感情を表すアバターが、観客の画像表現の上に、または観客の画像表現なしで、指定されたセグメントにレンダリングされ得る。セグメント化オプションは、ビデオゲームのゲームプレイを妨げられずに視聴することができると同時に、観客が観衆の観客の感情を視覚化するための一定レベルの自主性を提供する。
表示画面は、複数のセグメント（例えば、下半分、上半分、左側、右側など）にセグメント化することができ、セグメント化オプションには、各観客がアバターのレンダリングのために選択するこれらのセグメントが含まれ得る。セグメントを識別することに加えて、アバターを単独で、または観衆の画像表現の上にレンダリングするためのオプション、及びアバターをフォーマットするためのオプションも、選択のために各観客に提供され得る。各観客の選択に基づいて、観衆で検出された異なる感情を表すアバターが、観客の画像表現の上に、または観客の画像表現なしで、指定されたセグメントにレンダリングされ得る。セグメント化オプションは、ビデオゲームのゲームプレイを妨げられずに視聴することができると同時に、観客が観衆の観客の感情を視覚化するための一定レベルの自主性を提供する。
【0149】
レンダリングオプションに加えて、観客が表情に富むアバターをレンダリングするために選択するための１つ以上のフォーマットオプションも、ユーザインターフェイスに提供され得る。観客選択用のユーザインターフェイスに含まれ得るフォーマットオプションには、透明フォーマット、オーバーレイフォーマット、提示フォーマットなどがある。もちろん、前述のフォーマットオプションは単なる例として提供されており、限定的なものとみなすべきではない。他のフォーマットオプションも含まれる場合がある。アバターは、各観客によって選択されたフォーマットオプション及びセグメントオプションに従ってレンダリングされてもよく、アバターは、それ自体において、または観衆の画像表現の上にレンダリングされる。
【0150】
一実施形態では、アバターを生成し、アバターの感情を調整することに加えて、情緒表面化エンジン３０４は、各バイブクリーク内の観客のうちの特定の１人を識別し、ゲームの瞬間を定義している間に特定の観客の反応をキャプチャし、キャプチャした反応をビデオゲームのコンテンツと共にレンダリングし、反応ハイライトを提供することができる。この実施形態では、表情に富むアバターの代わりに、バイブクリークとして識別された特定の観客の反応のビデオを提示することができる。他の実施形態では、バイブクリークの表情に富むアバターに加えて、特定の観客の反応が提供されてもよい。特定の観客は、グループ内の他の観客または他のグループから得られた特定の観客の反応のコメントの種類及び数に基づいて識別され得る。
【0151】
一実施形態では、ビデオゲームのゲームプレイで発生する予定のアクションを最初に識別することによって、特定のバイブクリークの特定の観客の反応をキャプチャし、提示することができる。アクションは、ビデオゲームの現在のゲーム状態を使用して、及びビデオゲームのゲームロジックから識別され得る。バイブクリーク内の観客のうちの特定の観客は、ビデオゲームの現在のゲームプレイ中またはビデオゲームの以前のゲームプレイ中に発生した様々なアクションに対して特定の観客が提供した反応の種類及び量に基づいて識別され得る。
この情報に基づいて、情緒表面化エンジン３０４は、観客のライブビデオをキャプチャするために使用される１つまたは複数の画像キャプチャデバイスに信号を予測的に送信して、特定の観客にズームインして、識別されたアクションの発生中の彼らの反応をキャプチャすることができる。特定の観客のキャプチャされたビデオは動的に分析され、特定のバイブクリーク用に生成された表情に富むアバターと一緒に、またはその代わりに提示される。
他の実施形態では、特定のグループの特定の観客は、特定のグループの残りの観客（すなわち、バイブクリーク）から収集された特定の観客の表現に関連するコメントの種類及び量に基づいて識別され得る。いくつかの実施形態では、ライブビデオストリーミング中にキャプチャされた表情を提示するために、特定のバイブクリークの１人または複数の観客が選択され得る。他の実施形態では、各バイブクリークは、観客のうちの特定の１人を識別し、各バイブクリークの特定の観客のそれぞれから検出された表情を提示することができる。このような実施形態では、特定の観客は、特定の観客の反応に反応している各観客グループの他の観客の反応に基づいて識別され得る。他の実施形態では、特定の観客がランダムに選択されてもよい。
この情報に基づいて、情緒表面化エンジン３０４は、観客のライブビデオをキャプチャするために使用される１つまたは複数の画像キャプチャデバイスに信号を予測的に送信して、特定の観客にズームインして、識別されたアクションの発生中の彼らの反応をキャプチャすることができる。特定の観客のキャプチャされたビデオは動的に分析され、特定のバイブクリーク用に生成された表情に富むアバターと一緒に、またはその代わりに提示される。
他の実施形態では、特定のグループの特定の観客は、特定のグループの残りの観客（すなわち、バイブクリーク）から収集された特定の観客の表現に関連するコメントの種類及び量に基づいて識別され得る。いくつかの実施形態では、ライブビデオストリーミング中にキャプチャされた表情を提示するために、特定のバイブクリークの１人または複数の観客が選択され得る。他の実施形態では、各バイブクリークは、観客のうちの特定の１人を識別し、各バイブクリークの特定の観客のそれぞれから検出された表情を提示することができる。このような実施形態では、特定の観客は、特定の観客の反応に反応している各観客グループの他の観客の反応に基づいて識別され得る。他の実施形態では、特定の観客がランダムに選択されてもよい。
【0152】
本明細書で説明する様々な実施形態により、観客は観衆の様々な反応を見ることができ、観客が特定の観客のグループと関連付けることができるようになる。特定の観客のグループは、観客がビデオゲームのオンラインゲームを一緒に見ることを望んでいる友人であってもよい。友人たちは同じ感情を表現している場合もあれば、表現していない場合もある（つまり、同じプレイヤーやチームを支持している場合もあれば、そうでない場合もある）。各観客が支持するプレイヤーやチームに関係なく、また観客やその友人が表現する感情に関係なく、この実施形態は観客に友人と交流する方法を提供すると同時に、オンラインビデオゲームの観衆の一般的なバイブを知る。
一実施形態では、バイブクリークにクラスタリングされた観客は、バイブクリークにとどまることを選択することができ、またはバイブクリークを離れて別のバイブクリークに参加することを選択することができる。別のバイブクリークへの参加を要求するか、または参加する別のバイブクリークを選択するオプションを観客に提供することができる。この実施形態では、このオプションにより、観客は情緒表面化エンジン３０４によって提供されるクラスタリングを無効にして、自分が選択したバイブクリークに参加することができる。
このオプションは、観衆の異なるバイブクリークを識別し、観客が参加したいバイブクリークを選択できるようにすることができる。選択は、アイコンまたは観客の画像を最初のバイブクリークから２番目のバイブクリークにドラッグアンドドロップすることによって行うことも、ラジオボタンやチェックボックスなどによって行うこともできる。１つのバイブクリークから別のものに移動するオプションは、観客に２番目のバイブクリークのバイブを体験する方法を提供する。各バイブクリークの観客によって生成されたインタラクションデータは、他のバイブクリークの観客ではなく、そのバイブクリークの観客と共有されることに留意されたい。他の実施形態では、各バイブクリークのインタラクションデータの選択されたものを、他のバイブクリークの観客と共有することができる。この実施形態では、他のバイブクリークと共有されるインタラクションデータは、他のバイブクリークの観客を扇動して、対戦チームのファンと一緒にスタジアムにいるのと同様の特定の方法で反応するようにすることができる。
一実施形態では、バイブクリークにクラスタリングされた観客は、バイブクリークにとどまることを選択することができ、またはバイブクリークを離れて別のバイブクリークに参加することを選択することができる。別のバイブクリークへの参加を要求するか、または参加する別のバイブクリークを選択するオプションを観客に提供することができる。この実施形態では、このオプションにより、観客は情緒表面化エンジン３０４によって提供されるクラスタリングを無効にして、自分が選択したバイブクリークに参加することができる。
このオプションは、観衆の異なるバイブクリークを識別し、観客が参加したいバイブクリークを選択できるようにすることができる。選択は、アイコンまたは観客の画像を最初のバイブクリークから２番目のバイブクリークにドラッグアンドドロップすることによって行うことも、ラジオボタンやチェックボックスなどによって行うこともできる。１つのバイブクリークから別のものに移動するオプションは、観客に２番目のバイブクリークのバイブを体験する方法を提供する。各バイブクリークの観客によって生成されたインタラクションデータは、他のバイブクリークの観客ではなく、そのバイブクリークの観客と共有されることに留意されたい。他の実施形態では、各バイブクリークのインタラクションデータの選択されたものを、他のバイブクリークの観客と共有することができる。この実施形態では、他のバイブクリークと共有されるインタラクションデータは、他のバイブクリークの観客を扇動して、対戦チームのファンと一緒にスタジアムにいるのと同様の特定の方法で反応するようにすることができる。
【0153】
他の実施形態では、観客が１つのバイブクリークから別のバイブクリークに移動できるようにする代わりに、情緒表面化エンジン３０４は、特定のバイブクリークから反応ハイライトを収集し、そのハイライトを他のバイブクリークと共有することができる。反応ハイライトの共有は、特定のイベントまたはアクションに対して行うことができ、事前に定義された期間にわたって共有することができる。特定のバイブクリークの反応ハイライトに応じた他のバイブクリークの観客の反応も、情緒表面化エンジン３０４によって使用されて、各バイブクリークに関連付けられたアバター及び反応トラックを更新することができる。
いくつかの実施形態では、アナウンサーアバターは、異なるバイブクリークの観客の反応を調整するために生成されてもよく、その調整は、他のバイブグループの観客がその反応ハイライトに反応するように仕向けるために、特定のバイブグループのリアクション（あるいは反応）ハイライトを提供し、特定のバイブグループの反応ハイライトに反応する他のバイブグループからの反応ハイライトを提供し、及び反応のハイライトとカウンター反応（あるいはカウンターリアクション）のハイライトをキャプチャした解説を提供し、様々なバイブクリークの観客のやり取りを示すことを含み得る。アナウンサーアバターと同様に、チアリーダーアバターは、バイブクリークのプレイヤー（複数可）及びプレイヤー（複数可）を支持する観客を応援するために、バイブクリークごとに生成され得る。
一実施形態では、アナウンサーアバター及びチアリーダーアバターは、人工知能（ＡＩ）によってＡＩロボットとして生成され得、アナウンサーアバター及びチアリーダーアバターの動作は、機械学習アルゴリズムを使用して制御される。アナウンサーアバターとチアリーダーアバターは、ゲームプレイ中にプレイヤーだけでなく観客を励ますためにも使用でき、これには、観客を煽ったり、プレイヤーを励ましたり、特に観客からの反応が本質的にいじめまたは虐待に近い場合に、様々なバイブクリークの観客の反応を和らげるために介入したりすることが含まれる。
いくつかの実施形態では、アナウンサーアバターは、異なるバイブクリークの観客の反応を調整するために生成されてもよく、その調整は、他のバイブグループの観客がその反応ハイライトに反応するように仕向けるために、特定のバイブグループのリアクション（あるいは反応）ハイライトを提供し、特定のバイブグループの反応ハイライトに反応する他のバイブグループからの反応ハイライトを提供し、及び反応のハイライトとカウンター反応（あるいはカウンターリアクション）のハイライトをキャプチャした解説を提供し、様々なバイブクリークの観客のやり取りを示すことを含み得る。アナウンサーアバターと同様に、チアリーダーアバターは、バイブクリークのプレイヤー（複数可）及びプレイヤー（複数可）を支持する観客を応援するために、バイブクリークごとに生成され得る。
一実施形態では、アナウンサーアバター及びチアリーダーアバターは、人工知能（ＡＩ）によってＡＩロボットとして生成され得、アナウンサーアバター及びチアリーダーアバターの動作は、機械学習アルゴリズムを使用して制御される。アナウンサーアバターとチアリーダーアバターは、ゲームプレイ中にプレイヤーだけでなく観客を励ますためにも使用でき、これには、観客を煽ったり、プレイヤーを励ましたり、特に観客からの反応が本質的にいじめまたは虐待に近い場合に、様々なバイブクリークの観客の反応を和らげるために介入したりすることが含まれる。
【0154】
図１８は、一実施形態において、ビデオゲームのゲームプレイを見ている観客の観衆の感情を表面化する方法を示す。この実施形態では、観客はビデオゲームのライブゲームプレイを見ている場合がある。他の実施形態では、観客はビデオゲームのゲームプレイのリプレイを見ている場合がある。一例では、動作１８０２は、ビデオゲームのゲームプレイを見ている観衆の観客からインタラクションデータをキャプチャするように構成され得る。インタラクションデータには、１つまたは複数の画像キャプチャデバイスによってキャプチャされたゲームプレイを見ているときの観客の顔の表情が含まれる場合や、インタラクションインターフェイス、例えばチャットインターフェイス、メッセージボード、ソーシャルメディアインターフェイスを介して音声、テキスト、ミーム、ＧＩＦ、絵文字などの観客によって生成されたインタラクション、またはマイクやその他の音声検出及び／または録音デバイスを介してキャプチャされた音声の場合がある。
画像キャプチャデバイスは、モバイルコンピューティングデバイス（例えば、電話、ラップトップコンピュータ、タブレットコンピューティングデバイスなど）などのクライアントデバイスの一部であるカメラまたは他の画像キャプチャデバイスであってもよいし、クライアントデバイスに通信可能に接続されている外部の画像キャプチャデバイスであってもよい。観客の画像は、画像キャプチャデバイスによってライブビデオとしてキャプチャされ、ゲームクラウドサーバ３００で実行される情緒表面化エンジン３０４に送信される。画像には、ビデオゲームのオンラインゲームを見ているときに観客から検出された感情を判断するために使用される顔の特徴が含まれている。観客のライブビデオと同様に、インタラクションインターフェイスを介して提供されるインタラクションも情緒表面化エンジン３０４に送信される。
画像キャプチャデバイスは、モバイルコンピューティングデバイス（例えば、電話、ラップトップコンピュータ、タブレットコンピューティングデバイスなど）などのクライアントデバイスの一部であるカメラまたは他の画像キャプチャデバイスであってもよいし、クライアントデバイスに通信可能に接続されている外部の画像キャプチャデバイスであってもよい。観客の画像は、画像キャプチャデバイスによってライブビデオとしてキャプチャされ、ゲームクラウドサーバ３００で実行される情緒表面化エンジン３０４に送信される。画像には、ビデオゲームのオンラインゲームを見ているときに観客から検出された感情を判断するために使用される顔の特徴が含まれている。観客のライブビデオと同様に、インタラクションインターフェイスを介して提供されるインタラクションも情緒表面化エンジン３０４に送信される。
【0155】
方法は動作１８０４に進み、情緒表面化エンジン３０４は、観客から受信したインタラクションデータから識別された感情を集約し、異なる観客から検出された感情に従って観客を異なるグループにクラスタリングする。一実施形態では、ライブビデオからの観客の画像は、顔の特徴のみを保持するようにトリミングされ、機械学習アルゴリズムを使用して各顔の特徴及び顔の特徴の組み合わせが分析されて、観客から検出された感情が判定される。機械学習アルゴリズムにより、チャット内容及び／または音声コンテンツに含まれるテキスト内容から感情を表すキーワードが識別される。
インタラクションインターフェイスを介して提供されるミーム、ＧＩＦ、絵文字などの他のインタラクションデータも、機械学習アルゴリズムを使用して、ライブビデオの観客の画像と同様の方法で分析され、感情を定義するキーワードが識別される。各観客の様々なインタラクション（ライブビデオからの画像、テキスト、絵文字、ミーム、ＧＩＦ、グラフィックなど）から識別された感情及び感情関連キーワードが集約される。集計された感情と感情関連のキーワードが評価されて、各感情の類似性スコアが定義される。類似性スコアは、支配的な感情を決定するために使用され、感情と感情関連のキーワードを提供した観客は、そのとき各観客のインタラクションから識別された感情に従ってグループ（つまり、バイブクリーク）にクラスタリングされ、各グループは別個の感情と結びついている。各グループ（つまり、バイブクリーク）の信頼スコアは、グループの感情を表現している観客の数に基づいて計算される。
インタラクションインターフェイスを介して提供されるミーム、ＧＩＦ、絵文字などの他のインタラクションデータも、機械学習アルゴリズムを使用して、ライブビデオの観客の画像と同様の方法で分析され、感情を定義するキーワードが識別される。各観客の様々なインタラクション（ライブビデオからの画像、テキスト、絵文字、ミーム、ＧＩＦ、グラフィックなど）から識別された感情及び感情関連キーワードが集約される。集計された感情と感情関連のキーワードが評価されて、各感情の類似性スコアが定義される。類似性スコアは、支配的な感情を決定するために使用され、感情と感情関連のキーワードを提供した観客は、そのとき各観客のインタラクションから識別された感情に従ってグループ（つまり、バイブクリーク）にクラスタリングされ、各グループは別個の感情と結びついている。各グループ（つまり、バイブクリーク）の信頼スコアは、グループの感情を表現している観客の数に基づいて計算される。
【0156】
方法は動作１８０６に進み、クラスタリング情報を使用して各グループのアバターが生成される。各グループのアバターは、そのグループに関連付けられた別個の感情を表現する。グループが形成され、そのグループに対してアバターが生成されると、グループの感情（すなわち、情緒）において検出された変化に応じて、アバターの表情が調整される。グループ内の感情は、ビデオゲームのゲームプレイで発生する変化に基づいて変化し得る。
例えば、最初のチームをサポートするグループは、最初のチームのゲームプレイなどに基づいた感情を表現する場合がある。表情の変化やその他のインタラクションデータがキャプチャされ、各グループのアバターの表情を調整するために使用される。この変更により、以前はネガティブなバイブを示していたアバターがポジティブなバイブを示し始める場合や、その逆の場合があり得る。その結果、各アバターの特徴は、グループ内の観客から検出された感情の変化、及びグループの信頼スコアに基づいて、色、サイズなどの特徴の変更を含むようにさらに調整される。いくつかの実施形態では、グループの信頼スコアは、グループから離れた観客またはグループに新たに参加した観客に基づいて変化し得る。その結果、アバターのサイズは、適宜、グループの感情を表現する観客の数を反映して動的に変化する可能性がある。
例えば、最初のチームをサポートするグループは、最初のチームのゲームプレイなどに基づいた感情を表現する場合がある。表情の変化やその他のインタラクションデータがキャプチャされ、各グループのアバターの表情を調整するために使用される。この変更により、以前はネガティブなバイブを示していたアバターがポジティブなバイブを示し始める場合や、その逆の場合があり得る。その結果、各アバターの特徴は、グループ内の観客から検出された感情の変化、及びグループの信頼スコアに基づいて、色、サイズなどの特徴の変更を含むようにさらに調整される。いくつかの実施形態では、グループの信頼スコアは、グループから離れた観客またはグループに新たに参加した観客に基づいて変化し得る。その結果、アバターのサイズは、適宜、グループの感情を表現する観客の数を反映して動的に変化する可能性がある。
【0157】
この方法は動作１８０８で終了し、観客が示す異なる感情に対して生成されたアバターが、ビデオゲームのコンテンツと共にレンダリングされた観衆の画像表現の上に提示される。各アバターのサイズは、アバターに関連付けられたそれぞれのグループの信頼スコアに従って動的にスケーリングされる。スケーリングされたアバターは、観客の感情を視覚的に表現し、観客が様々な感情と、それぞれの観衆の感情の支配レベルを測定できるようにする。これにより、観客は自分の反応が他の観客の反応とどのように比較されるかを判断し、自分の感情と一致する観客のグループを見つけることができるようになる。また、アバターにより、ゲームプレイヤーはゲームプレイ中の特定のインタラクションに対するフィードバックを評価することができる。
【0158】
様々な実施形態により、遠隔地の観客が群衆のバイブを感じ、また他のユーザと共有できるゲームプレイに反応する方法が提供され、彼らが、オンラインゲームを見ている観客のグループと物理的に一緒にいると感じることができる。オンラインゲーム（すなわち、ビデオゲームのライブゲームプレイ）を視聴している観客を参照して様々な実施形態を説明してきたが、その実施形態は、ビデオゲームのリプレイを含むように拡張することができ、リプレイを見ている観客からのすべてのインタラクションは、同様に収集され、リプレイを視聴している様々な観客グループの表情に富むアバターを調整するために使用され得る。
【0159】
図１９は、例示的な一実施形態における、図４に示す情緒表面化エンジン３０４のコンポーネントの変形を示す。情緒表面化エンジン３０４の様々なコンポーネントは、観客に関連するインタラクションデータを収集し、インタラクションデータを分析して異なる感情を決定し、感情を異なるバイブクリークにクラスタリングし、異なるバイブクリークのアバターを作成するために使用される。アバターに加えて、情緒表面化エンジン３０４のコンポーネントは、観客の観衆にレンダリングするための反応トラックを識別するために使用される。図１９の情緒表面化エンジン３０４に含まれるコンポーネントのほとんどは、図４で識別されたコンポーネントと同様であるため、図４と図１９の両方に共通するコンポーネントは同様に機能し、詳細には説明されなかった。
共通コンポーネントに加えて、図１９の情緒表面化エンジン３０４は、感情視覚化エンジン３１３内に反応トラック識別器３１７を含む。反応トラック識別器３１７は、観客のクライアントデバイスに返されるビデオゲームのコンテンツと共に、各バイブクリークで表現される感情に対応する反応トラックを識別し、取得し、含めるために使用される。反応トラック識別器３１７は、感情集約エンジン３１２によって識別された感情を使用して、観衆の観客によって表現された感情を決定し、反応トラックデータベース３１８から適切な反応トラックを識別し、取得することができる。
共通コンポーネントに加えて、図１９の情緒表面化エンジン３０４は、感情視覚化エンジン３１３内に反応トラック識別器３１７を含む。反応トラック識別器３１７は、観客のクライアントデバイスに返されるビデオゲームのコンテンツと共に、各バイブクリークで表現される感情に対応する反応トラックを識別し、取得し、含めるために使用される。反応トラック識別器３１７は、感情集約エンジン３１２によって識別された感情を使用して、観衆の観客によって表現された感情を決定し、反応トラックデータベース３１８から適切な反応トラックを識別し、取得することができる。
【0160】
いくつかの実施形態では、反応トラック識別器３１７は、アバター視覚化装置３１６によって表されている感情のみについての反応トラックを識別するために使用される。上述のように、アバター視覚化装置３１６は、アバターを作成するために観衆内で識別された感情のうちの特定のものを選択することができ、反応トラック識別器３１７は、感情視覚化エンジン３１３によって作成されたアバターによって表される感情の反応トラックを識別するように関与する。反応トラック識別器３１７は、反応トラックデータベース３１８に問い合わせて、アバターによって表される各感情に対する適切な反応トラックを取得することができる。
反応トラックデータベース３１８は、異なるコンテンツ、各コンテンツ内の異なるイベント、アクション、またはアクティビティ、及び異なる感情に対する反応トラックを含むことができる。反応トラックデータベース３１８内の反応トラックは、コンテンツのタイプ、各コンテンツ内のイベントまたはアクションまたはアクティビティ、イベントのコンテキスト、及び感情によって編成することができる。各バイブクリークの観客が表現する感情は、ビデオゲームのゲームプレイで検出された変化に基づいて時間の経過と共に変化する可能性があるため、各バイブクリークのアバターの表情は、ゲームプレイの変化に対応するように動的に調整される。各バイブクリークに関連付けられたアバターの表情の変化に応じて、各バイブクリークの観客の現在の感情と相関するように、各バイブクリークに対して異なる反応トラックが識別される。
反応トラックデータベース３１８は、異なるコンテンツ、各コンテンツ内の異なるイベント、アクション、またはアクティビティ、及び異なる感情に対する反応トラックを含むことができる。反応トラックデータベース３１８内の反応トラックは、コンテンツのタイプ、各コンテンツ内のイベントまたはアクションまたはアクティビティ、イベントのコンテキスト、及び感情によって編成することができる。各バイブクリークの観客が表現する感情は、ビデオゲームのゲームプレイで検出された変化に基づいて時間の経過と共に変化する可能性があるため、各バイブクリークのアバターの表情は、ゲームプレイの変化に対応するように動的に調整される。各バイブクリークに関連付けられたアバターの表情の変化に応じて、各バイブクリークの観客の現在の感情と相関するように、各バイブクリークに対して異なる反応トラックが識別される。
【0161】
一実施形態では、反応トラック識別器３１７は、ゲームプレイデータストア３３２に格納されたビデオゲームのゲームプレイデータを使用して、各バイブクリークの観客の感情の変化を引き起こしたビデオゲームのゲームプレイ内のイベントまたはアクションまたはアクティビティのコンテキストを決定することができる。コンテキスト及びイベントまたはアクションまたはアクティビティデータを使用して、観客に返す適切な反応トラックを識別することができる。反応トラック識別器３１７はまた、観客インタラクションデータストア３３２ａのインタラクションデータを使用して、観客から識別された反応のコンテキストにおける変化を決定することもでき、反応は、顔の特徴の画像からキャプチャされた表情、または音声記録装置を使用してキャプチャされた言葉によるインタラクション、またはチャットインターフェイス、メッセージボード、ソーシャルメディアインターフェイスなどの話型インターフェイスからキャプチャされたインタラクションであり得る。代替的にまたは追加的に、反応トラック識別器３１７は、情緒収集データベース３３４にクエリを実行することによって、適切な反応トラックを識別し、観客の観衆で識別された各バイブクリークの現在の感情を識別し、反応トラックデータベース３１８に問い合わせて、各バイブクリークの現在の感情に対する適切な反応トラックを取得することができる。
情緒収集データベース３３４は、ビデオゲームのゲームプレイの様々な時点で観客内で識別された様々な感情、ビデオゲームの観客の観衆で識別された各バイブクリークに対して作成されたアバター、及びビデオゲームのゲームプレイ中に観客から（表情、言葉による、またはインタラクション型インターフェイスを介したインタラクションを通じて）キャプチャされた変化に基づいて、それぞれのアバターの表情に生じるすべての変化を保存するためのリポジトリである。
情緒収集データベース３３４は、ビデオゲームのゲームプレイの様々な時点で観客内で識別された様々な感情、ビデオゲームの観客の観衆で識別された各バイブクリークに対して作成されたアバター、及びビデオゲームのゲームプレイ中に観客から（表情、言葉による、またはインタラクション型インターフェイスを介したインタラクションを通じて）キャプチャされた変化に基づいて、それぞれのアバターの表情に生じるすべての変化を保存するためのリポジトリである。
【0162】
一実施形態では、ビデオゲームの観客の観衆で検出されたバイブクリークごとに識別される反応トラックは、ビデオゲームのゲームプレイの現在のコンテキストに基づくことができる。現在のコンテキストは、ビデオゲームのゲームプレイで発生する１つまたは複数のイベントまたはアクティビティに依存し、ビデオゲームのプレイヤー（複数可）が実行するアクションに依存し得る。その結果、各バイブクリークの反応トラックは、バイブクリークの観客に関連するため、ビデオゲームのゲームプレイのコンテキストに対応するものとして識別され得る。
【0163】
異なるバイブクリークについて反応トラックデータベース３１８から取得された反応トラックは、生成及び更新されたアバターでレンダリングするために観客のクライアントデバイスに返される。一実施形態では、各バイブクリークの反応トラックは、対応するアバターと共に観衆の観客に提示され、その結果、観衆の観客は、観衆の観客によって表現された様々なバイブを視覚的及び聴覚的に感じることができる。この実施形態では、異なる感情を表現するアバターと反応トラックがすべての観衆の観客に提示される。この実施形態では、様々な感情の反応トラックが実際のバイブの聴覚的表現を提供し、アバターはビデオゲームのゲームプレイで発生するイベントやアクションに対して様々に反応する観衆の観客の感情の視覚的表現を提供し、観客に実際にアリーナやスタジアムにいて、自分の友人やスポーツゲームのファンと一緒にライブスポーツゲームのアクションを見て反応しているように感じさせる。
【0164】
他の実施形態では、各バイブクリークの観客には、そのバイブクリークの観客によって表現された特定の感情に対するアバター及び反応トラックが提供されてもよい。この代替実施形態では、各バイブクリークの観客は、バイブクリークの感情を表現するアバターを見て、他のバイブクリークのアバターや反応トラックではなく、特定のバイブクリークの反応トラックを体験する。この実施形態は、各バイブクリークの観客のクライアントデバイスでレンダリングされるコンテンツの混雑を軽減するため、及び／または観衆の他のバイブの反応トラックで観客を圧倒するのを避けるために、異なるバイブクリークの観客が選択できるオプションとして提供される場合がある。さらに別の実施形態では、最も支配的な感情（すなわち、情緒）の反応トラックが識別され、取得され、各観客のそれぞれのクライアントデバイスに提示される。各バイブクリークに関連付けられた信頼スコアに基づいて最も支配的な感情が識別され、最も支配的な感情の反応トラックが識別されて観客に提示される。この実施形態では、各バイブクリークの観客には、それぞれのバイブクリークに関連付けられた感情の表情に富むアバターが提示され得、支配的な感情を表す反応トラックが観衆のすべての観客に提示され、観衆の観客により表現される支配的な感情を表す。あるいは、観衆で識別されたすべての感情を表すアバターをすべての観客に提示し、支配的な感情の反応トラックを観衆のすべての観客に提示することができる。
【0165】
一実施形態では、観客がメンバーであるか、または遅延時間に視聴する（つまり、リアルタイムではなくその後に）ビデオゲームのオンラインゲームの観衆向けに識別された反応トラックをどのように体験したいかを選択するための観客のオプションをユーザインターフェイスに提供することができる。選択オプションは、各観客が自身のクライアントデバイスで観衆用に識別された反応トラックのレンダリングをカスタマイズできるように提供されてもよい。例えば、選択オプションには、観衆に対して識別された様々なバイブクリークで表現されるすべての感情について識別された反応トラックをレンダリングするための第１の選択オプションと、最も支配的な観衆の感情の反応トラックをレンダリングするための第２の選択オプションと、観客に関連付けられたバイブクリークで表現された感情の反応トラックのみをレンダリングするための第３の選択オプションなどが含まれ得る。
同様の選択オプションを、クライアントデバイスでレンダリングするアバターを選択するために観客に提供することもできる。観客による選択オプションの選択は、感情視覚化エンジン３１３によって検出され、アバター及びビデオゲームのコンテンツと共に適切な反応トラックを識別し、それぞれのクライアントデバイスでレンダリングするために使用される。さらに、アバター及び反応トラックのレンダリングは、観客によって選択されたセグメント化オプション及びフォーマットオプションに基づくことができる。ビデオゲームのコンテンツと並行して反応トラックをレンダリングすることにより、観客は観衆の中に存在する仲間意識を体験することができ、観客がビデオゲームのゲームプレイに参加するよう促すことができる。いくつかの実施形態では、反応トラックは、ビデオゲーム内で発生するイベントに対する観客の反応だけでなく、特定の観客（複数可）の反応に応じた他の観客の逆反応もキャプチャする。
同様の選択オプションを、クライアントデバイスでレンダリングするアバターを選択するために観客に提供することもできる。観客による選択オプションの選択は、感情視覚化エンジン３１３によって検出され、アバター及びビデオゲームのコンテンツと共に適切な反応トラックを識別し、それぞれのクライアントデバイスでレンダリングするために使用される。さらに、アバター及び反応トラックのレンダリングは、観客によって選択されたセグメント化オプション及びフォーマットオプションに基づくことができる。ビデオゲームのコンテンツと並行して反応トラックをレンダリングすることにより、観客は観衆の中に存在する仲間意識を体験することができ、観客がビデオゲームのゲームプレイに参加するよう促すことができる。いくつかの実施形態では、反応トラックは、ビデオゲーム内で発生するイベントに対する観客の反応だけでなく、特定の観客（複数可）の反応に応じた他の観客の逆反応もキャプチャする。
【0166】
図２０は、一実施形態において、観衆の観客によって表現された感情について識別された様々な反応トラックの例を示す。画像キャプチャデバイスで撮影した観客の画像を解析し、各観客の感情を識別する。図２０では、感情を識別するために観客のライブビデオからの画像のみが示されているが、図５～７を参照して前述したように、観客の音声と、インタラクション型インターフェイスを介して観客が提供するインタラクションデータがまた、観衆の観客が表現した感情を識別するのと同様の方法で分析されることに留意されたい。観衆の観客はバイブクリークにクラスタリングされ、各バイブクリークの観客が表現する感情に対応するアバターが、各バイブクリークに対して作成される。図２０の例示的な図解では、４つの異なるバイブクリークが識別されており、バイブクリークは、笑い、怒り、中立、及び驚きの感情（すなわち、バイブ）に対応する。バイブクリークが識別されると、各バイブクリークの感情に対応する反応トラックが識別される。
図２０は、様々なバイブクリークに対して識別された感情に対して識別された反応トラックを示している。ビデオゲームのゲームプレイで検出された変化により、各バイブクリークの観客の感情が時間の経過と共に変化するため、各バイブクリークに対して識別された反応トラックも、バイブクリークの感情で識別された変化に対応して変化する。図９、１３、１４、及び１５と同様に、図２０の例示的な説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィカルオーバーレイが提供されているが、ライブビデオの画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、感情を決定する際に使用される。
図２０は、様々なバイブクリークに対して識別された感情に対して識別された反応トラックを示している。ビデオゲームのゲームプレイで検出された変化により、各バイブクリークの観客の感情が時間の経過と共に変化するため、各バイブクリークに対して識別された反応トラックも、バイブクリークの感情で識別された変化に対応して変化する。図９、１３、１４、及び１５と同様に、図２０の例示的な説明では、観客のプライバシーを保護するために、観客の画像に取り込まれた観客の実際の顔の上にグラフィカルオーバーレイが提供されているが、ライブビデオの画像にキャプチャされた観客の実際の顔から得た実際の顔の特徴が、感情を決定する際に使用される。
【0167】
図２１は、一実施形態において、識別され、観衆の代表画像上に表情に富むアバターと共に提示される反応トラックの例を示す。一実施形態では、各バイブクリークの反応トラックのボリュームは、アバターのサイズに一致するように調整され、これは、バイブクリークに対応する感情に関連付けられた信頼スコアに対応する。観衆の代表画像上にレンダリングされるアバターのサイズは、そのアバターに関連付けられた感情を表現しているバイブクリーク内の観客の数（つまり、バイブクリークの信頼スコア）に対応するため、反応トラックのボリュームはバイブクリークに関連する観客の数と相関するように調整される。図２１に示す様々なバイブクリークの反応トラックは、観客のクライアントデバイスで各反応トラックがレンダリングされる相対的なボリュームを視覚的に示すために、様々なサイズで表されている。例えば、最も支配的な感情の反応トラック（つまり、最大サイズのアバターのバイブクリーク）は、支配的な感情の反応トラックのボリュームが、支配的でない感情よりも大きくレンダリングされることを示すために、それほど支配的ではない感情の反応トラックよりも大きくレンダリングされる。反応トラックのボリュームを変化させることで、観客に対して、観衆の感情をリアルに表現できる。
【0168】
各バイブクリークの観客の数は、バイブクリークを離れる観客、またはバイブクリークに参加する新しい観客に基づいて変更される場合がある。その結果、アバターのサイズと各バイブクリークの反応トラックのボリュームは、各感情に関連付けられたバイブクリークのサイズに対応するように動的に調整される。図２１は、様々なバイブクリークの対応するアバターと共に表示される反応トラックの視覚的な例を示している。各アバターの横にレンダリングされる反応トラックのサイズは、それぞれの反応トラックがレンダリングされるボリュームに対応し、反応トラックのボリュームは、観衆の画像上にレンダリングされる対応するアバターのサイズと相関する。アバターのサイズは、バイブクリークの観客の数に対応し、反応トラックのサイズは、対応する反応トラックがクライアントデバイスでレンダリングされるボリュームを示す。図２１の実施形態では、観客が観衆で識別されたすべてのバイブをより現実的に感じることができるように、各バイブクリークの反応トラックがレンダリング用に提供される。
【0169】
図２２は、一実施形態において、観衆で識別された各バイブクリークが、対応する反応トラックに関連付けられ、各バイブクリークの反応トラックが、それぞれのバイブクリークの観客に提示するための対応するアバターに含まれる例を示す。この実施形態では、各バイブクリークの観客には、観衆で識別されたすべてのバイブクリークのアバターと反応トラックではなく、観客がメンバーであるバイブクリークのアバターと反応トラックが提示される。バイブクリーク固有のアバター及び反応トラックの提示は、それぞれのバイブクリークの観客によって選択された選択オプションによって駆動されてもよく、提示は観客ごとに、及び／またはバイブクリークごとに異なってもよい。例えば、特定のバイブクリークの観客は、自分が関連付けられている、またはより連携している自分のバイブクリークのアバターと対応する反応トラックを受け取ることを選択できるが、残りのバイブクリークの観客は、観衆向けに識別されたすべての感情のアバターと反応トラックを受け取ることを選択できる。
さらに別の実施形態では、特定のバイブクリーク内の特定の観客は、特定のバイブクリークに関連付けられたアバター及び反応トラックを受け取ることを選択することができるが、バイブクリーク内の残りの観客は、観衆の中で識別されたすべての感情のアバターと反応トラックを受け取ることを選択することができる。感情視覚化エンジン３１３は、異なるバイブクリークの観客によって選択された選択オプション（複数可）を検出し、異なるバイブクリークの観客によって選択された選択オプションに従ってアバター（複数可）及び反応トラック（複数可）を識別し、提示する。
さらに別の実施形態では、特定のバイブクリーク内の特定の観客は、特定のバイブクリークに関連付けられたアバター及び反応トラックを受け取ることを選択することができるが、バイブクリーク内の残りの観客は、観衆の中で識別されたすべての感情のアバターと反応トラックを受け取ることを選択することができる。感情視覚化エンジン３１３は、異なるバイブクリークの観客によって選択された選択オプション（複数可）を検出し、異なるバイブクリークの観客によって選択された選択オプションに従ってアバター（複数可）及び反応トラック（複数可）を識別し、提示する。
【0170】
図２３は、一実施形態において、観衆の画像表現上に対応する表情に富むアバターを用いてレンダリングされる、支配的な感情に関連付けられた反応トラックの例示的な表現を示す。感情視覚化エンジン３１３のアバター視覚化装置３１６は、アバターが作成されるべき観衆の観客によって表現された各感情を識別し、識別された感情のアバターを提供する。反応トラック識別器３１７は、作成されたアバターに関連付けられた感情を使用して、それぞれのアバターでレンダリングするための適切な反応トラックを識別する。反応トラック識別器３１７はさらに、アバター（複数可）及び／または反応トラック（複数可）をレンダリングするために観客（複数可）によって選択された選択オプションを使用し、選択した選択オプションに従って適切なアバター（複数可）及び／または反応トラックを提供する。
図２３に示す例では、バイブクリーク内の観客は、観衆内で識別されたすべてのアバターと、観客のクライアントデバイスでレンダリングするために支配的な感情のみの反応トラックをレンダリングするための選択オプションを選択している可能性がある。したがって、反応トラック識別器３１７は、バイブクリークのそれぞれに関連付けられた信頼スコアを検査して、観衆の支配的な感情を決定し、クライアントデバイスでレンダリングするための支配的な感情に対する適切な反応トラックを取得する。図２３は、中立的な感情が観衆の支配的な感情として示され、反応トラックが中立的な感情に対して識別され、中立的な感情に関連付けられた表情に富むアバターと共にレンダリングされる例を示している。前述したように、最も支配的なアバターの反応トラックは、アバターと反応トラックを提示するための様々な選択オプションをレンダリングするインタラクション型インターフェイスから、観客またはバイブクリークの観客のグループによって選択された選択オプションに基づいて提示され得る。図２３の観衆の画像表現は、選択オプションに応じて観客または観客のグループに提示される。
図２３に示す例では、バイブクリーク内の観客は、観衆内で識別されたすべてのアバターと、観客のクライアントデバイスでレンダリングするために支配的な感情のみの反応トラックをレンダリングするための選択オプションを選択している可能性がある。したがって、反応トラック識別器３１７は、バイブクリークのそれぞれに関連付けられた信頼スコアを検査して、観衆の支配的な感情を決定し、クライアントデバイスでレンダリングするための支配的な感情に対する適切な反応トラックを取得する。図２３は、中立的な感情が観衆の支配的な感情として示され、反応トラックが中立的な感情に対して識別され、中立的な感情に関連付けられた表情に富むアバターと共にレンダリングされる例を示している。前述したように、最も支配的なアバターの反応トラックは、アバターと反応トラックを提示するための様々な選択オプションをレンダリングするインタラクション型インターフェイスから、観客またはバイブクリークの観客のグループによって選択された選択オプションに基づいて提示され得る。図２３の観衆の画像表現は、選択オプションに応じて観客または観客のグループに提示される。
【0171】
いくつかの実施形態では、観客を選択するために反応インターフェイスが提供されてもよく、反応インターフェイスは、アクセスして閲覧するための異なる観客の反応またはコメントのリストを含む。いくつかの実施形態では、特定の観客の反応またはコメントに応じた特定の観客または特定の観客のセットの反応またはコメントが、ビデオゲームのゲームプレイまたは異なるバイブクリークに関連付けられた反応トラックよりも人気がある可能性がある。その結果、反応インターフェイスは、特定の観客の反応またはコメントに応答する特定の観客または特定の観客のセットの反応またはコメントにアクセスして閲覧するためのオプションを提供する。オプションは、特定の観客または観客の特定のセットがメンバーであるバイブクリーク内の観客のみに提供されてもよく、または観衆のすべての観客に提供されてもよい。
【0172】
図２４は、一実施形態において、ビデオゲームのゲームプレイを見ている観客の観衆の感情及び対応する反応トラックを識別し、提示するための方法を示す。この実施形態では、観客はビデオゲームのライブゲームプレイを見ている場合がある。他の実施形態では、観客はビデオゲームのゲームプレイのリプレイを見ている場合がある。一例では、動作２４０２は、ビデオゲームのゲームプレイを見ている観客によって提供されるインタラクションデータを集約するように構成され得る。インタラクションデータには、１つまたは複数の画像キャプチャデバイスによってライブビデオでキャプチャされた観客の顔の表情、または観客によって表現され、マイクまたは他の音声検出及び／または記録デバイスを介してキャプチャされた音声コンテンツ、またはチャットインターフェイス、メッセージボード、ソーシャルメディアインターフェイスなどのインタラクションインターフェイスを介して観客によって生成されるインタラクションコンテンツ（例えば、音声、テキスト、ミーム、ＧＩＦ、絵文字など）が含まれ得る。観客の画像は、画像キャプチャデバイスによってライブビデオとしてキャプチャされる。観客のインタラクションデータは、処理のためにゲームクラウドサーバ３００上で実行される情緒表面化エンジン３０４に送信される。
【0173】
インタラクションデータは、ビデオゲームのゲームプレイを見ているときに観客が表現した感情を識別するために集約及び処理される。集計の一環として、観客によって表現された感情（顔の特徴を介して視覚的に、または口頭またはインタラクション型インターフェイスを介して）が識別され、様々な観客から検出された感情（つまり情緒）に従って、観客は様々なグループにクラスタリングされる。一実施形態では、インタラクションデータ（例えば、顔の特徴、インタラクションインターフェイスを介して提供されるインタラクションデータ、音声コンテンツなど）は、機械学習アルゴリズムを使用して分析され、観客から検出された感情を決定し、観客を同じまたは同様の感情を表現するグループにクラスタリングする。
【0174】
方法は動作２４０４に進み、クラスタリング情報を使用して、観客の各グループに関連付けられた別個の感情に対応する反応トラックを識別する。反応トラックは、グループの現在の感情に基づいて識別され、グループの感情が時間と共に変化するにつれて、グループの感情の変化に一致するように異なる反応トラックが識別される。反応トラックは、ビデオゲームの内容、ビデオゲームのコンテキスト、グループ内の観客の感情などに基づいて識別され得る。
【0175】
この方法は動作２４０６で終了し、観客の各グループに対して識別された反応トラックが、ビデオゲームのコンテンツと共にレンダリングされた観衆の画像表現の上に提示される。各グループに関連付けられた反応トラックのボリュームは、グループ内の観客の数に対応するように調整される。反応トラックは、観衆の感情の聴覚的表現を提供し、観客が、観衆の中で観客の感情を体験し、観客が示した同様の感情を共有する観客のグループを見つけることを可能にする。
【0176】
いくつかの実施形態では、特定のグループからの特定の観客の反応ハイライトは、その特定の観客が属する特定のグループの観客に提示されてもよいし、ビデオゲームのすべての観客に提示されてもよい。この実施形態では、特定の観客は、ビデオゲームのゲームプレイを見ている間に（ライブゲームプレイ中または遅延ゲームプレイ中に）観客によって以前に表現された感情に基づいて選択され得る。特定の観客が識別されると、感情を表現する特定の観客のビデオがキャプチャされ、ビデオゲームのゲームプレイで発生するイベントに関連する重要なゲームの瞬間に提示される。特定の観客が感情を表現しているキャプチャされたビデオが、ビデオゲームのコンテンツの反応ハイライトとして表示される。一実施形態では、特定の観客がランダムに選択される。別の実施形態では、特定の観客は、ビデオゲームのゲームプレイ中に特定の観客によって表現された以前の表現の予測分析を介して選択される。特定の観客の以前の表情は、現在のゲームプレイセッションから、またはビデオゲームの以前のゲームプレイセッションから、または別のビデオゲームのゲームプレイセッションから識別され得る。
情緒表面化エンジン３０４は、特定の観客が特定のグループの他の観客よりも特有の感情を提供すると判定することができ、そのような判定は、特定のグループの観客のインタラクションデータを分析することによって行うことができる。情緒表面化エンジン３０４は、ビデオゲームのゲームプレイを分析して、ビデオゲームの現在のゲーム状態を決定し、ゲームロジックとインタラクションして、ビデオゲームのゲーム状態に基づいて、ビデオゲーム内で主要なゲームイベントがいつ発生する予定であるかを決定し、特定のグループの特定の観客に焦点を合わせて特定の観客の表情をキャプチャするために、信号を１つまたは複数の画像キャプチャデバイスに応答的に送信することができる。特定の観客のキャプチャされたビデオは、特定のグループの観客、またはビデオゲームのゲームプレイを見ているすべての観客にライブストリーミングされる。観客のライブビデオは、ビデオゲームの観衆の観客によるゲームプレイ視聴の興味深い側面を提供する。
情緒表面化エンジン３０４は、特定の観客が特定のグループの他の観客よりも特有の感情を提供すると判定することができ、そのような判定は、特定のグループの観客のインタラクションデータを分析することによって行うことができる。情緒表面化エンジン３０４は、ビデオゲームのゲームプレイを分析して、ビデオゲームの現在のゲーム状態を決定し、ゲームロジックとインタラクションして、ビデオゲームのゲーム状態に基づいて、ビデオゲーム内で主要なゲームイベントがいつ発生する予定であるかを決定し、特定のグループの特定の観客に焦点を合わせて特定の観客の表情をキャプチャするために、信号を１つまたは複数の画像キャプチャデバイスに応答的に送信することができる。特定の観客のキャプチャされたビデオは、特定のグループの観客、またはビデオゲームのゲームプレイを見ているすべての観客にライブストリーミングされる。観客のライブビデオは、ビデオゲームの観衆の観客によるゲームプレイ視聴の興味深い側面を提供する。
【0177】
別の実施形態では、観客のビデオの代わりに、グラフィックインターチェンジフォーマット画像（ＧＩＦ）が識別され、ビデオゲームの反応ハイライトを提供する。ＧＩＦは、特定のグループに関連付けられた特定の感情を表現するために選択される。ＧＩＦは、特定のグループの特定の感情を識別するキーワードを使用して識別され得る。観客のビデオと同様に、識別されたＧＩＦは、ビデオゲームのイベントに関連する主要なゲームの瞬間の反応ハイライトとして提供され得る。
【0178】
ここで説明する様々な実施形態は、観客がビデオゲームのゲームプレイに参加し、同じくビデオゲームのゲームプレイを見ている他の観客とつながる方法を提供する。反応トラックとアバターの表現により、観客は、ビデオゲームのゲームプレイを視聴している観衆のバイブを素早く測定することができ、ゲームプレイを見るために同調すべき特定の観客のグループを識別することができる。
【0179】
図２５は、一実施形態において、ビデオゲームのゲームプレイを見ている観客の感情を表現するために使用される情緒表面化エンジン３０４のいくつかの例示的なコンポーネントを示す。図２５に示される情緒表面化エンジン３０４のコンポーネントは、図２５がグラフィカル交換フォーマットファイル（ＧＩＦ）識別エンジン３１９を含むという点で、図４及び１９に示されるコンポーネントとは異なる。図４、１９、及び２５に共通するコンポーネントは、図４及び１９を参照して説明した方法で機能するため、図２５を参照して詳細には説明しなかった。図４及び図１９を参照して前述したように、情緒表面化エンジン３０４のコンポーネントは、観客に関連するインタラクションデータを収集し、そのインタラクションデータを分析して、含まれるデータの１つまたは複数のモード（すなわち、モーダルデータストリーム）を決定するために使用される。
インタラクションデータから識別され得るモーダルデータストリームは、テキストデータ、ビデオデータ、音声データ、チャットデータ、絵文字、ミーム、グラフィックコンテンツなどに対応し得る。情緒表面化エンジン３０４は、機械学習アルゴリズムを使用した、ユニモーダルアプローチまたはマルチモーダルアプローチのいずれかで１つまたは複数のモーダルデータストリームを処理する。モーダルデータストリームの処理からの出力は、観客が表現した感情を識別するために必要に応じて集約される。識別された感情は、観衆の観客を異なるバイブクリークにクラスタリングするために使用され、各バイブクリークは感情に関連付けられ、バイブクリークの感情を表現する観客のグループを含む。一部の実施形態では、各バイブクリークに関連付けられた感情を表すアバターが作成される。アバターは、それぞれのバイブクリーク内の観客の数に応じてスケーリングされる。観客が明示的に（つまり、別のバイブクリークに参加または関連付けるための要求を生成する）、またはインタラクションデータを介して表現された感情を通じて、バイブクリークに参加または脱退すると、生成されたアバターは、バイブクリークの感情を表現する観客の数の変化を反映するために動的にスケーリングされる。
インタラクションデータから識別され得るモーダルデータストリームは、テキストデータ、ビデオデータ、音声データ、チャットデータ、絵文字、ミーム、グラフィックコンテンツなどに対応し得る。情緒表面化エンジン３０４は、機械学習アルゴリズムを使用した、ユニモーダルアプローチまたはマルチモーダルアプローチのいずれかで１つまたは複数のモーダルデータストリームを処理する。モーダルデータストリームの処理からの出力は、観客が表現した感情を識別するために必要に応じて集約される。識別された感情は、観衆の観客を異なるバイブクリークにクラスタリングするために使用され、各バイブクリークは感情に関連付けられ、バイブクリークの感情を表現する観客のグループを含む。一部の実施形態では、各バイブクリークに関連付けられた感情を表すアバターが作成される。アバターは、それぞれのバイブクリーク内の観客の数に応じてスケーリングされる。観客が明示的に（つまり、別のバイブクリークに参加または関連付けるための要求を生成する）、またはインタラクションデータを介して表現された感情を通じて、バイブクリークに参加または脱退すると、生成されたアバターは、バイブクリークの感情を表現する観客の数の変化を反映するために動的にスケーリングされる。
【0180】
アバターに加えて、情緒表面化エンジン３０４のコンポーネントはまた、各バイブクリークの反応トラックを識別するために使用され、反応トラックは、それぞれのバイブクリークの感情に対応するように識別される。識別されたバイブクリークの反応トラックは、アバターと共に、レンダリングのために観客のクライアントデバイスに転送される。アバターのスケーリングと同様に、各バイブクリークに関連付けられた反応トラックのボリュームは、それぞれのバイブクリークの感情を表現する観客の数に対応するように調整される。
【0181】
アバターを生成し、反応トラックを識別することに加えて、情緒表面化エンジン３０４は、情緒表面化エンジン３０４によって識別された各感情を視覚的に表すグラフィックインターチェンジフォーマットファイル（ＧＩＦ）を識別するためにも使用される。感情ごとに識別されるＧＩＦには、静止画像またはアニメーション画像が含まれ得る。静的画像またはアニメーション画像には、映画やテレビ番組のビデオスニペット、またはプロモーションコンテンツ、ユーザ生成コンテンツなどを含む他のコンテンツなど、ビデオのスニペットが含まれる場合がある。図２５に示す実施形態では、情緒表面化エンジン３０４は、異なるバイブクリークで識別された感情に適切なＧＩＦを識別するためのＧＩＦ識別エンジン３１９を含む。識別されたＧＩＦは、ビデオゲームのコンテンツをレンダリングするために観客のクライアントデバイスに転送される。
【0182】
一実施形態では、情緒表面化エンジン３０４は、ビデオゲームのビデオコンテンツと共にレンダリングするために、異なる感情を表すＧＩＦのみをクライアントデバイスに返す。この実施形態では、各バイブクリークのＧＩＦが、アバターではなく観客の画像表現の上に表示される。一実施形態では、ＧＩＦは、各バイブクリークの観客の数に対応するようにスケーリングされ得、スケーリングされたＧＩＦは、レンダリングのために観客のクライアントデバイスに転送される。一実施形態では、スケーリングされたＧＩＦは、ビデオゲームのゲームプレイを見ている観衆の観客を表す画像上のオーバーレイとして提示するように構成され得る。あるいは、スケーリングされたＧＩＦは、クライアントデバイスに関連付けられた表示画面において定義されたセグメントで提示されてもよく、ＧＩＦをレンダリングするためのセグメントは、異なる観客によって異なるように定義され、自分達の好みに含まれてもよい。したがって、ＧＩＦは、それぞれの観客の好みに基づいて、各観客のクライアントデバイスの表示画面の適切なセグメントまたは部分にレンダリングするように構成され得る。好みは、それぞれの観客のユーザプロファイルに含めることも、個別に維持して、観客のクライアントデバイスでレンダリングするためにコンテンツを転送するときに使用することもできる。
【0183】
他の実施形態では、ＧＩＦに加えて、感情ごとに適切な反応トラックが識別され、ビデオゲームのコンテンツと共にレンダリングするためにＧＩＦと共にクライアントデバイスに返される。さらに別の実施形態では、適切なＧＩＦに加えて、感情ごとに表情に富むアバターが生成され、ビデオゲームのコンテンツと共にレンダリングするためにＧＩＦと共にクライアントデバイスに返される。この実施形態では、反応トラックはＧＩＦ及びアバターと共に表示される場合とされない場合がある。一実施形態では、ＧＩＦは各観客によって定義された表示画面の一部に表示されるが、表情に富むアバターは観客の観衆の画像表現上のオーバーレイとして提供される。
【0184】
ＧＩＦ識別エンジン３１９は、機械学習アルゴリズムによってインタラクションデータから識別された感情を使用して、各バイブクリークに関連付けられた感情に適切なＧＩＦを識別する。適切なＧＩＦは、情緒表面化エンジン３０４に利用可能なＧＩＦデータベース３２１に問い合わせることによって識別され得る。ＧＩＦデータベース３２１は、ゲームクラウドサーバ３００内に維持されて情緒表面化エンジン３０４に利用可能にされてもよいし、情緒表面化エンジン３０４にアクセスが提供されるようにゲームクラウドサーバ３００の外部にあってもよい。ＧＩＦデータベース３２１は、異なる感情を表現するために異なる観客によって使用された様々なＧＩＦ、ならびに観客によって使用されなかったが異なる感情に適したＧＩＦを含むリポジトリであり得る。
例えば、様々な観客によって使用されるＧＩＦには、観客が、現在のセッションだけでなく、ビデオゲーム、他のビデオゲームの以前のゲームプレイセッション、ソーシャルメディア、他のインタラクション型アプリケーション及び／またはインタラクション型ユーザインターフェイスで使用したすべてのＧＩＦが含まれ得る。
ＧＩＦは、インタラクション型コンテンツ（例えば、ビデオゲーム、ソーシャルメディアコンテンツ、ユーザ生成コンテンツ、プロモーションコンテンツ、または他のインタラクション型コンテンツ）、インタラクション型セッション、観客の好み、観客のプロフィール及び人口統計、ＧＩＦの人気などに従って、ＧＩＦデータベース３２１内で整理され得る。様々なＧＩＦを提供するＧＩＦデータベース３２１に加えて、ネットワーク２００を介して１つまたは複数の外部ＧＩＦライブラリ（すなわち、ＧＩＦリポジトリ）３２３から追加のＧＩＦにアクセスするための１つまたは複数のリンクが提供されてもよい。
例えば、様々な観客によって使用されるＧＩＦには、観客が、現在のセッションだけでなく、ビデオゲーム、他のビデオゲームの以前のゲームプレイセッション、ソーシャルメディア、他のインタラクション型アプリケーション及び／またはインタラクション型ユーザインターフェイスで使用したすべてのＧＩＦが含まれ得る。
ＧＩＦは、インタラクション型コンテンツ（例えば、ビデオゲーム、ソーシャルメディアコンテンツ、ユーザ生成コンテンツ、プロモーションコンテンツ、または他のインタラクション型コンテンツ）、インタラクション型セッション、観客の好み、観客のプロフィール及び人口統計、ＧＩＦの人気などに従って、ＧＩＦデータベース３２１内で整理され得る。様々なＧＩＦを提供するＧＩＦデータベース３２１に加えて、ネットワーク２００を介して１つまたは複数の外部ＧＩＦライブラリ（すなわち、ＧＩＦリポジトリ）３２３から追加のＧＩＦにアクセスするための１つまたは複数のリンクが提供されてもよい。
【0185】
一実施形態では、ＧＩＦ識別エンジン３１９は、ＧＩＦデータベース３２１に問い合わせ、及び／または外部ＧＩＦライブラリ３２３へのリンクを使用して、特定のバイブクリーク内で表現される感情に適したＧＩＦのサブセットを識別することができる。ＧＩＦのサブセットは、ＧＩＦの事前の選択と、感情を表現するためにバイブクリーク内の１人以上の観客によるＧＩＦの使用頻度に基づいて、または特定の観客のセットまたは観客の好みのＧＩＦの人気に基づいて選択することができる。いくつかの実施形態では、観客の好みは、観客のユーザプロフィールで表現されてもよい。そのような場合、ＧＩＦ識別エンジン３１９は、観客のユーザプロファイルに問い合わせて、観客のユーザプロファイルに指定された何らかの好みがあるかどうかを判定し、その好みをバイブクリークに関連する感情のＧＩＦを識別する際に使用することができる。一実施形態では、ＧＩＦのサブセットが識別された後、バイブクリークと関連付けるために、識別されたサブセットからのＧＩＦのうちの特定の１つがＧＩＦ識別エンジン３１９によって自動的に選択され得る。特定のＧＩＦは、ＧＩＦの信頼度指標に基づいて選択されてもよく、ＧＩＦの信頼度指標は、バイブクリークに関連する感情を表すために特定のＧＩＦが観客によって選択された回数を示す。
この実施形態の拡張において、ＧＩＦ識別エンジン３１９は、バイブクリークの観客が自動選択をオーバーライドし、バイブクリーク用にＧＩＦをカスタマイズできるようにするためのオプションを、ユーザインターフェイスにおいて提供することができる。ユーザインターフェイスは、バイブクリークの感情について識別されたＧＩＦのサブセットをレンダリングするために使用でき、ユーザインターフェイスにレンダリングされたサブセットの各ＧＩＦの選択オプションを含めて、観客がサブセットから代替ＧＩＦを選択してＧＩＦをカスタマイズできるようにすることができ、サブセットから選択された代替ＧＩＦは、バイブクリークの情緒表面化エンジンによって自動的に選択されたＧＩＦとは異なる。１人以上の観客によって選択された代替ＧＩＦは、バイブクリークに関連付けられ、ビデオゲームのコンテンツと共にレンダリングするために観客のクライアントデバイスに返される。一実施形態では、代替ＧＩＦを選択したバイブクリークの観客のみ、ビデオゲームのコンテンツを含む代替ＧＩＦが提供されるが、バイブクリーク内の残りの観客は、ＧＩＦ識別エンジン３１９によって自動的に選択されたＧＩＦが提示される。一実施形態では、代替ＧＩＦを選択するオプションは、バイブクリークの観客にのみ提供される。
この実施形態の拡張において、ＧＩＦ識別エンジン３１９は、バイブクリークの観客が自動選択をオーバーライドし、バイブクリーク用にＧＩＦをカスタマイズできるようにするためのオプションを、ユーザインターフェイスにおいて提供することができる。ユーザインターフェイスは、バイブクリークの感情について識別されたＧＩＦのサブセットをレンダリングするために使用でき、ユーザインターフェイスにレンダリングされたサブセットの各ＧＩＦの選択オプションを含めて、観客がサブセットから代替ＧＩＦを選択してＧＩＦをカスタマイズできるようにすることができ、サブセットから選択された代替ＧＩＦは、バイブクリークの情緒表面化エンジンによって自動的に選択されたＧＩＦとは異なる。１人以上の観客によって選択された代替ＧＩＦは、バイブクリークに関連付けられ、ビデオゲームのコンテンツと共にレンダリングするために観客のクライアントデバイスに返される。一実施形態では、代替ＧＩＦを選択したバイブクリークの観客のみ、ビデオゲームのコンテンツを含む代替ＧＩＦが提供されるが、バイブクリーク内の残りの観客は、ＧＩＦ識別エンジン３１９によって自動的に選択されたＧＩＦが提示される。一実施形態では、代替ＧＩＦを選択するオプションは、バイブクリークの観客にのみ提供される。
【0186】
別の実施形態では、ＧＩＦ識別エンジン３１９がバイブクリークのＧＩＦを自動的に選択する代わりに、ＧＩＦ識別エンジン３１９は、観客が、特定のバイブクリークに関連付けるためサブセットからＧＩＦの１つを選択するために提供されたオプションを備えたインタラクション型インターフェイスで、特定のバイブクリークについて識別されたＧＩＦのサブセットを提示してもよい。次に、観客の選択を使用して、ＧＩＦを特定のバイブクリークに関連付ける。一実施形態では、複数の観客がインタラクション型インターフェイスからＧＩＦを選択し、複数のＧＩＦが特定のバイブクリークの１人または複数の観客によって識別される場合、最大数の観客選択を受け取るＧＩＦが、特定のバイブクリークに関連付けるために使用される。
【0187】
一実施形態では、バイブクリークのＧＩＦは、観客のクライアントデバイスの表示画面の特定の部分にレンダリングされるように構成される。クライアントデバイスの表示画面は、複数の部分（すなわち、セグメント）にセグメント化することができ、バイブクリークのＧＩＦをレンダリングするために特定の部分を識別することができる。表示画面の特定の部分は、各観客の好みに基づいて選択されてもよい。各観客は、様々なコンテンツ（ゲームコンテンツ、チャットコンテンツ、ＧＩＦなど）をレンダリングするための独自の設定を指定することができ、観客のバイブクリークに関連付けられた感情のＧＩＦ、またはすべての感情のバイブクリークが、観客が指定した好みに従ってレンダリングされる。表示画面で識別される様々なセグメントの詳細については、図２６を参照して提供する。
いくつかの実施形態では、識別されたバイブクリークのそれぞれのＧＩＦは、各観客によって指定された表示画面の特定の部分にレンダリングされ、特定の部分は、観客の観衆の画像表現がレンダリングされる表示画面の部分に関連して指定され、ＧＩＦをレンダリングするための表示画面の部分は、観衆の画像表現がレンダリングされている部分の右側に沿った、左側に沿った、下部、上部であってもよい。
他の実施形態では、各バイブクリークに関連付けられたＧＩＦが、ビデオゲームのコンテンツと共にレンダリングされた観客の画像表現の上に表示される。例えば、異なるバイブクリークのＧＩＦは、各バイブクリークを表すアバターの代わりに、対応するＧＩＦが提示されることを除いて、図１７でアバターが提示された方法と同様の方法で、観客の画像表現上に提示され得る。図１７の実施形態と同様に、ＧＩＦのサイズはバイブクリークのサイズに対応するようにスケーリングされる。一実施形態では、ＧＩＦのサイズは、各バイブクリークに関連付けられた信頼レベルに従ってスケーリングされ、バイブクリークの信頼レベルは、バイブクリークの別個の感情を表現している観客の数として決定される。
いくつかの実施形態では、識別されたバイブクリークのそれぞれのＧＩＦは、各観客によって指定された表示画面の特定の部分にレンダリングされ、特定の部分は、観客の観衆の画像表現がレンダリングされる表示画面の部分に関連して指定され、ＧＩＦをレンダリングするための表示画面の部分は、観衆の画像表現がレンダリングされている部分の右側に沿った、左側に沿った、下部、上部であってもよい。
他の実施形態では、各バイブクリークに関連付けられたＧＩＦが、ビデオゲームのコンテンツと共にレンダリングされた観客の画像表現の上に表示される。例えば、異なるバイブクリークのＧＩＦは、各バイブクリークを表すアバターの代わりに、対応するＧＩＦが提示されることを除いて、図１７でアバターが提示された方法と同様の方法で、観客の画像表現上に提示され得る。図１７の実施形態と同様に、ＧＩＦのサイズはバイブクリークのサイズに対応するようにスケーリングされる。一実施形態では、ＧＩＦのサイズは、各バイブクリークに関連付けられた信頼レベルに従ってスケーリングされ、バイブクリークの信頼レベルは、バイブクリークの別個の感情を表現している観客の数として決定される。
【0188】
一実施形態では、観客は特定の感情を異なる方法で表現することができる（すなわち、特定の感情は観客によって様々な強度で表現されることができる）。例えば、第１の観客は顔にわずかな笑みを浮かべて幸せな感情を表現でき、一方で第２の観客は満面の笑みで幸せな感情を表現でき、他方で第３の観客は、喜びで飛び跳ねる、または幸福のダンスを踊り、幸せな感情を表現できる。同様の範囲の幸せな感情の強さは、インタラクションデータに含まれるテキストデータ、または音声データ、またはＧＩＦ、またはミーム、またはグラフィック画像などの他のモーダルデータストリームを介して表現されてもよい。機械学習アルゴリズムは、インタラクションデータの様々なモーダルデータストリームを分析して、観客が様々な強度で表現した各感情を識別し、識別された感情に従って観客をグループにクラスタリングする。信頼レベルは、バイブクリークごとに決定され、信頼レベルは、バイブクリークの感情を表現する観客の数を示す。ＧＩＦは、各バイブグループの感情を識別する。各感情について識別されたＧＩＦのサイズは、それぞれのバイブクリークについて決定された信頼レベルに従ってスケーリングされ、最高の信頼レベルのバイブクリークの感情について識別されたＧＩＦは、最高の信頼レベルよりも低い信頼レベルのＧＩＦのサイズよりも大きくレンダリングされるようにスケーリングされる。
【0189】
他の実施形態では、ＧＩＦには、バイブクリークに関連付けられたアバターが表示され得る。アバターは、観客の表情を模倣することで、観客が表現した感情を視覚的に表現する一方、ＧＩＦは、観客の感情を表現するためのより直感的で楽しい方法を提供する。この実施形態では、図１７に示すように、アバターを観客の画像表現上にレンダリングすることができ、異なる感情のＧＩＦを、観客が指定した表示画面の一部に表示することができる。
【0190】
各バイブクリークの観客の感情がビデオゲームのゲームプレイで発生する変化と相関して変化するため、各バイブクリークに識別され提供されるＧＩＦは、各バイブクリークの観客の感情の変化に対応するように動的に更新される。更新されたＧＩＦは、観客の感情の変化がそれぞれのバイブクリークで検出されたときに、ビデオゲームのコンテンツと共にレンダリングするために観客のクライアントデバイスに返される。いくつかの実施形態では、各バイブクリークに対して選択されたＧＩＦは、観客によって指定されたレンダリングフォーマットに基づいてレンダリング用にフォーマットされてもよい。ＧＩＦのレンダリングに使用できるフォーマットには、透明フォーマット、オーバーレイフォーマット、提示フォーマットなどが含まれる。スケーリングされ、フォーマットされたＧＩＦは、レンダリングのために観客のクライアントデバイスに転送される。一実施形態では、観客の各グループに対して識別されたＧＩＦがそのグループの観客に提示され、観客は各観客が属するグループに関連付けられたＧＩＦのみを受信する。他の実施形態では、すべてのバイブグループのＧＩＦが観衆の観客のクライアントデバイスに転送される。
【0191】
図２６は、一実施形態における、観客の代表画像と、異なるバイブクリークに対して識別されたＧＩＦをレンダリングするための表示画面の様々なセグメントの例示的画面表示を示す。表示画面は、クライアントデバイス上でビデオゲームに関連する異なるコンテンツをレンダリングするための観客の好みに従ってセグメント化することができる。本明細書で説明する様々な実施形態では、ビデオゲーム用に識別または生成された様々な追加コンテンツ（アバター、ＧＩＦ、反応トラック）と共に観客の画像表現のみが示されているが、実際には、観客の画像表現は一部においてレンダリングされ、残りの部分はビデオゲームのコンテンツやその他いずれかのコンテンツを提示するために使用される。前述したように、観客の画像表現をレンダリングするための表示画面の部分は、観客の好みに従って定義することができ、各観客は、観衆の画像表現をレンダリングするための独自の好みを提供する。
同様に、ＧＩＦは、観客の好みに応じて、表示画面の特定の部分にレンダリングされる場合がある。例えば、ＧＩＦは、観衆の観客の画像表現と並んで定義された部分で提示することができ、観客の画像表現をレンダリングする表示画面の部分は、中央部分２５０１－Ｃ、下部２５０１－Ｂ、上部２５０１－Ｔ、右側部分２５０１－Ｒ、及び左側部分２５０１－Ｌにセグメント化することができ、観客の群衆のバイブクリークについて識別されたＧＩＦは、識別されたセグメントのいずれか１つにレンダリングされ得る。図２６に示す例では、観客の群衆の感情について識別されたＧＩＦが、観衆の画像表現の下部２５０１－Ｂにレンダリングされることが示されており、これは表示画面の一部に観客それぞれの好みに合わせてレンダリングされる。各感情を表すＧＩＦは、ＧＩＦ識別エンジン３１９によって自動的に選択されてもよいし、ＧＩＦのサブセットから観客によって選択されてもよい。
同様に、ＧＩＦは、観客の好みに応じて、表示画面の特定の部分にレンダリングされる場合がある。例えば、ＧＩＦは、観衆の観客の画像表現と並んで定義された部分で提示することができ、観客の画像表現をレンダリングする表示画面の部分は、中央部分２５０１－Ｃ、下部２５０１－Ｂ、上部２５０１－Ｔ、右側部分２５０１－Ｒ、及び左側部分２５０１－Ｌにセグメント化することができ、観客の群衆のバイブクリークについて識別されたＧＩＦは、識別されたセグメントのいずれか１つにレンダリングされ得る。図２６に示す例では、観客の群衆の感情について識別されたＧＩＦが、観衆の画像表現の下部２５０１－Ｂにレンダリングされることが示されており、これは表示画面の一部に観客それぞれの好みに合わせてレンダリングされる。各感情を表すＧＩＦは、ＧＩＦ識別エンジン３１９によって自動的に選択されてもよいし、ＧＩＦのサブセットから観客によって選択されてもよい。
【0192】
図２７は、一実施形態における、バイブクリークに関連する異なる感情について識別されたＧＩＦのサブセットの表現を示す。図２７に示す表現では、バイブクリークについて識別された感情の種類が左側にアバターまたは絵文字として表され、右側には、観衆の観客が一般的に表現したか、またはＧＩＦ識別エンジン３１９によって識別された感情のＧＩＦのサブセットが表示される。感情ごとに識別されるＧＩＦのサブセットには、キャラクターＧＩＦ、人物や有名人のビデオスニペット、人気キャラクターが登場する選択された映画のシーン、アニメコミックや映画のキャラクターのビデオスニペット、ユーザ生成コンテンツなどが含まれる場合がある。例えば、特定のバイブクリークの観客は、感情または異なる感情を表すために特定の漫画のキャラクターのＧＩＦを以前に選択している可能性がある。ＧＩＦ識別エンジン３１９は、機械学習アルゴリズムを利用して、特定のバイブクリークの感情を表現するため、または他の感情を表現するために、特定のバイブクリークの観客による特定のＧＩＦの好ましい使用法を決定することができる。したがって、ＧＩＦ識別エンジン３１９は、観客による好ましい使用法に基づいて、異なる感情に対するバイブクリークのサブセットを識別し、提示することができる。図２７は、ＧＩＦ識別エンジン３１９を使用して、ビデオゲームを見ている観客の中で識別された感情ごとにＧＩＦの別個のサブセットを識別するそのような一例を示す。各サブセット内のＧＩＦは、ビデオゲームまたは別のビデオゲームの観客によって以前に使用されているか、人気、観客と同様のプロフィールを持つ他のユーザとの使用頻度などに基づいてＧＩＦ識別エンジンによって識別されている可能性がある。幸せな感情について識別されたＧＩＦのサブセットはサブセット２５０１として示され、不幸な感情（または悲しい感情）についてはサブセット２５０２として示され、驚きの感情についてはサブセット２５０３として示される。図２７に表されている感情は例として提供されており、他の感情も同様に表され得て、ＧＩＦの適切なサブセットが識別され得る。
【0193】
図２８は、一実施形態における、観客の観衆の画像表現の画面表示と、観客の選択のための特定の感情に対して提供されるＧＩＦのサブセットとを示す。ＧＩＦのサブセットは、観客の観衆を表す画像の上部２５０１－Ｔのインタラクション型インターフェイス内に提示され、観客の好み、ＧＩＦの人気、バイブクリークの観客または異なるバイブクリークの他の観客などによるＧＩＦの以前の使用から識別されるＧＩＦを含む。ＧＩＦの以前の使用には、ビデオゲーム内、他のビデオゲーム、ソーシャルメディアアプリケーションその他のインタラクション型アプリケーションまたはその他のインタラクション型インターフェイス内での１人以上の観客による使用が含まれ得る。ＧＩＦのサブセットに加えて、インタラクション型インターフェイスは、観客がバイブクリークの感情を表す適切なＧＩＦを選択できるようにするために、ＧＩＦごとに提示される選択オプション２５０１ａも含む。選択オプション２５０１ａを使用したサブセットからのＧＩＦの観客の選択は、バイブクリークの観客に提示されるとき、またはビデオゲームの観客に提示されるときに、バイブクリークの感情を表すために使用され得る。
【0194】
図２９は、一実施形態における、観衆の観客によって表現された異なる感情を表すために識別されたＧＩＦのセットを伴う観客の観衆の画像表現の例示的な画面表示である。ＧＩＦのセットは、ＧＩＦ識別エンジン３１９によって自動的に識別され、観衆の画像の下部にあるインタラクション型インターフェイス２５０１に提示されるように構成され、インタラクション型インターフェイス２５０１でレンダリングされる各ＧＩＦは、観衆の観客のインタラクションデータから識別された特定の感情に対応する。識別されたＧＩＦに加えて、インタラクション型インターフェイス２５０１は、感情ごとにＧＩＦをカスタマイズするためのオプション２５０１ｂも提供する。図２９に示す実施形態では、カスタマイズするオプション２５０１ｂがチェックボックスとして提供される。実施形態は、チェックボックスオプションに限定されず、ラジオボタン、インタラクション型リンクなどを含むこともできる。一実施形態では、特定の感情を表すＧＩＦをカスタマイズするオプション２５０１ｂがアクティブ化され、対応するバイブクリークの一部である観客のみに提供され得る。この実施形態では、各バイブクリークの観客は、他のバイブクリークではなく、自分のバイブクリークに関連付けられた感情に合わせてＧＩＦをカスタマイズできる。
【0195】
感情を示す特定のＧＩＦをカスタマイズするオプション２５０１ｂが観客によって選択されると、第２のインタラクション型インターフェイス２９０１には、その感情に適したＧＩＦのサブセットが提供され得る。図２９は、幸せな感情をカスタマイズするオプション２５０１ｂがインタラクション型インターフェイス２５０１で選択された場合に、幸せな感情について識別されたＧＩＦのサブセットを有するそのような第２のインタラクション型インターフェイス２９０１の１つを示す。第２のインタラクション型インターフェイス２９０１上で提供されるＧＩＦのサブセットは、ランダムに選択されるか、またはバイブクリーク内の観客または他の観客、またはビデオゲームまたはその他のビデオゲームのその他の観客、観客と同様のプロフィールを持つ観客による感情の人気、ＧＩＦ識別エンジン３１９によって自動的に、などで、感情を表現するためのそのようなＧＩＦの以前の使用に基づいて選択される。観客が選択できるようにＧＩＦのサブセットを提示することに加えて、観客が独自のＧＩＦを選択できるオプションがまた、第２のインタラクション型インターフェイスで提供され得る。図２９はそのような一例を示しており、インタラクション型リンク２９０１ａが提供されている。インタラクション型リンク２９０１ａは、ネットワーク２００を介して他のＧＩＦへのアクセスを提供するように構成されている。第２のインタラクション型インターフェイス２９０１から、またはインタラクション型リンク２９０１ａを介して代替ＧＩＦを選択すると、ユーザインターフェイス２５０１において他の感情を表す他のＧＩＦと共に、その感情に対して代替ＧＩＦがレンダリングされる。
【0196】
いくつかの実施形態では、観客の観衆の画像は、観客によって表現された感情に従って編成され得る。この実施形態では、インタラクション型インターフェイスからＧＩＦを選択すると、選択されたＧＩＦによって表される感情に関連付けられたバイブクリークに対応する観客の観衆の画像の一部の上にＧＩＦがレンダリングされ得る。選択されたＧＩＦは、所定の期間、観客の観衆上にレンダリングされ得、所定の期間が経過すると、ＧＩＦがフェードアウトするように構成され得る。図２５～２９を参照して説明される様々な実施形態により、情緒表面化エンジン３０４は、表情に富むアバターの代わりに、またはそれに加えて、観客の感情をＧＩＦとして視覚的にレンダリングすることができる。視覚的表現により、観客は群衆の観客の一般的なバイブを理解できるようになり、最も合っているバイブクリークを判断できるようになる。
【0197】
図３０は、一実施形態による、観客の感情を識別し、ビデオゲームのコンテンツと共に識別された感情を表すグラフィックインターチェンジフォーマットファイル（ＧＩＦ）を提示するための方法の動作を示す。この方法は動作３００２で始まり、観客から検出されたインタラクションデータが集約される。インタラクションデータは、異なるモードで観客によって提供されてもよく、インタラクションデータから識別された異なるモーダルデータストリームは、情緒表面化エンジン３０４によって集約され、処理される。インタラクションデータから識別できるモーダルデータストリームの一部は、テキストコンテンツ、音声コンテンツ、ミーム、ＧＩＦ、グラフィックコンテンツなどに対応する。インタラクションデータは、観客の顔の表情からキャプチャされることもある。表情は、ビデオゲームを見ている間に観客の画像をキャプチャし、その画像を分析して観客の様々な顔の特徴から表情を識別することによって識別される。様々なモーダルデータストリームは、観客がビデオゲームのゲームプレイを見ている間に観客からリアルタイムで収集され、ゲームプレイはライブゲームプレイであっても遅延ゲームプレイであってもよい。
観客から収集されたインタラクションデータは、機械学習アルゴリズムを使用して集約及び処理され、観客をグループにクラスタリングする。機械学習アルゴリズムは、インタラクションデータの処理においてユニモーダルアプローチまたはマルチモーダルアプローチを使用する場合がある。ユニモーダルアプローチでは、機械学習アルゴリズムがインタラクションデータから特定された各モーダルデータストリームのモデルを生成し、トレーニングする。ユニモーダルアプローチでは、複数のモデルが生成され得、モデルの数は、インタラクションデータから識別されたモーダルデータストリームの数に対応する。様々なモデルからの出力が統合される。マルチモーダルアプローチでは、機械学習アルゴリズムが、様々なモーダルデータストリームを入力として使用して単一のモデルを生成及びトレーニングする。
観客から収集されたインタラクションデータは、機械学習アルゴリズムを使用して集約及び処理され、観客をグループにクラスタリングする。機械学習アルゴリズムは、インタラクションデータの処理においてユニモーダルアプローチまたはマルチモーダルアプローチを使用する場合がある。ユニモーダルアプローチでは、機械学習アルゴリズムがインタラクションデータから特定された各モーダルデータストリームのモデルを生成し、トレーニングする。ユニモーダルアプローチでは、複数のモデルが生成され得、モデルの数は、インタラクションデータから識別されたモーダルデータストリームの数に対応する。様々なモデルからの出力が統合される。マルチモーダルアプローチでは、機械学習アルゴリズムが、様々なモーダルデータストリームを入力として使用して単一のモデルを生成及びトレーニングする。
【0198】
方法は動作３００４に進み、トレーニングされたモデルからの出力を使用して、観客が表現した感情に基づいて観客をグループにクラスタリングし、各グループは観客が表現した別個の感情に対応する。観客のグループが識別されると、１人以上の観客からあるグループから別のグループに移動するという明示的な要求が受信されない限り、または観客の感情が別のグループにより一致しない限り、各グループ内の観客はそれぞれのグループに維持される。
【0199】
クラスタリングが完了すると、方法は動作３００６に進み、グラフィックインターチェンジフォーマットファイル（ＧＩＦ）がグループごとに識別される。各感情のＧＩＦは、ビデオゲームまたは複数のビデオゲームに対して維持されるＧＩＦデータベース３２１に問い合わせることによって識別される。異なる感情を表すＧＩＦは、観客の好み、ビデオゲーム内で関連する感情を表すＧＩＦの使用法、観客を含むユーザの間でのＧＩＦの人気などに基づいて識別され得る。一部の実施形態では観客のインタラクションデータから識別された感情の数が所定の値（例えば、４または５）を超える場合、情緒表面化エンジン３０４は、ＧＩＦを介して表現する特定の感情を選択することができる。例えば、８または１０の感情がインタラクションデータから識別される場合、情緒表面化エンジン３０４は、ＧＩＦを識別するために上位４または５の感情を識別し得る。感情の特定のものは、各グループの信頼レベルに基づいて選択され得る。グループの信頼レベルは、グループの感情を表現する観客の数によって決まる。各グループの識別されたＧＩＦは、それぞれの観客のグループに関連付けられる。一実施形態では、上位４つまたは５つの感情について識別されたＧＩＦはそれぞれのグループに関連付けられるが、残りのグループはＧＩＦによって表されない。
【0200】
この方法は動作３００８で終了し、識別されたＧＩＦが、ビデオゲームのコンテンツと共に、レンダリングのために観客のクライアントデバイスに返される。識別されたＧＩＦは、観客のグループの好みに従ってスケーリング及び／またはフォーマットされてもよい。フォーマットには、提示フォーマットだけでなく、レンダリングフォーマットも含まれる場合がある。表示形式は、ＧＩＦを表示する必要がある表示画面の部分に基づく場合がある。レンダリングフォーマットは、ＧＩＦをレンダリングする方法－つまり、透明フォーマット、オーバーレイフォーマット、または提示フォーマット－を指定する。いくつかの実施形態では、提示フォーマット及び／またはレンダリングフォーマットは、各観客の好みに基づいていてもよい。その結果、ＧＩＦが観客のクライアントデバイスでレンダリングするために提供されるとき、ＧＩＦが指定された形式で表示画面の適切な部分に表示され得るように、各観客によって指定されたプレゼンテーション及び／またはレンダリング形式が考慮される。提示されたＧＩＦは、観客の群衆の全体的なバイブを提供する。いくつかの実施形態では、各グループに提示されるＧＩＦは、グループの感情と一致し得る。他の実施形態では、各グループのＧＩＦがクライアントデバイスの表示画面に表示される。
【0201】
本明細書で説明される様々な実施形態は、多数の観客の感情を集約し、集約された感情を使用して表情に富むアバターまたはＧＩＦを提示する方法を提供する。表情に富むアバターまたはＧＩＦは、ゲームの観客の大規模なグループの反応の分布を迅速に（つまり、ほぼリアルタイムで）測定する方法を提供し、観客が自分達の反応がピアグループとどのように比較されるかを比較できるようにする。アバターとＧＩＦを使用することはまた、プレイヤーがビデオゲームの特定のゲームプレイに対するフィードバックを評価できるようにする。機械学習アルゴリズムによって生成されたモデル（複数可）からの出力は、観客の表情で検出された変化に応じて、現在の反応に基づいた新しい推論出力（つまり、モデルの微調整）を提供し、これは、観客の観衆の感情を測定する直感的な方法となる。本開示の様々な実施形態及び実施形態を概観した後、他の利点が当業者に明白である。
【0202】
図３１は、一実施形態における、本開示の様々な実施形態の態様を実行するために使用することができる例示的な情報サービスプロバイダアーキテクチャを示す。情報サービスプロバイダ（ＩＳＰ）１９０２は、ネットワーク１９５０を介して地理的に分散され、接続されたユーザ（すなわち、プレイヤー）１９００に多数の情報サービスを供給する。ＩＳＰは、株価の更新などの１種類だけのサービス、または放送メディア、ニュース、スポーツ、ゲーミングなどの様々なサービスを送達できる。さらに、各ＩＳＰによって提供されるサービスは動的であり、つまり、サービスはどの時点でも追加または削除できる。したがって、特定の個人に特定の種類のサービスを提供するＩＳＰは、時間の経過と共に変化し得る。
例えば、ユーザが地元にいる間、ユーザ付近のＩＳＰにより、ユーザはサービスを受けることができ、ユーザが別の町に移動した時、異なるＩＳＰにより、ユーザはサービスを受けることができる。地元のＩＳＰは、必要な情報及びデータを新しいＩＳＰに転送し、これにより、ユーザ情報は新しい街までユーザに「追従」し、ユーザはデータにより近くなり、アクセスしやすくなる。別の実施形態では、ユーザの情報を管理するマスタＩＳＰと、マスタＩＳＰの制御下のユーザと直接インターフェイスで接続するサーバＩＳＰとの間に、マスタ－サーバ関係が確立され得る。別の実施形態では、クライアントが世界中を移動すると、データが一方のＩＳＰから別のＩＳＰに転送され、ＩＳＰをこれらのサービスを提供することになるユーザにサービス提供するためのより良い位置にする。
例えば、ユーザが地元にいる間、ユーザ付近のＩＳＰにより、ユーザはサービスを受けることができ、ユーザが別の町に移動した時、異なるＩＳＰにより、ユーザはサービスを受けることができる。地元のＩＳＰは、必要な情報及びデータを新しいＩＳＰに転送し、これにより、ユーザ情報は新しい街までユーザに「追従」し、ユーザはデータにより近くなり、アクセスしやすくなる。別の実施形態では、ユーザの情報を管理するマスタＩＳＰと、マスタＩＳＰの制御下のユーザと直接インターフェイスで接続するサーバＩＳＰとの間に、マスタ－サーバ関係が確立され得る。別の実施形態では、クライアントが世界中を移動すると、データが一方のＩＳＰから別のＩＳＰに転送され、ＩＳＰをこれらのサービスを提供することになるユーザにサービス提供するためのより良い位置にする。
【0203】
ＩＳＰ１９０２は、アプリケーションサービスプロバイダ（ＡＳＰ）１９０６を含み、これは、ネットワーク（例えば、限定されるものではないが、任意の有線または無線ネットワーク、ＬＡＮ、ＷＡＮ、ＷｉＦｉ、ブロードバンド、ケーブル、光ファイバ、衛星、セルラー（例えば、４Ｇ、５Ｇなど）、インターネット、等を含む）を介して顧客にコンピュータベースのサービスを提供する。ＡＳＰモデルを使用して提供されるソフトウェアは、オンデマンドソフトウェアまたはサービスとしてのソフトウェア（ＳａａＳ）とも称されることもある。特定のアプリケーションプログラム（顧客関係管理など）へのアクセスを提供する簡単な形式には、ＨＴＴＰなどの標準プロトコルが使用される。アプリケーションソフトウェアは、ベンダのシステムに常駐し、ＨＴＭＬを使用するウェブブラウザを介して、ベンダが提供する専用クライアントソフトウェアを介して、またはシンクライアントなどの他のリモートインターフェイスを介して、ユーザによりアクセスされる。
【0204】
広い地理的地域にわたって供給されるサービスは、多くの場合、クラウドコンピューティングを使用する。クラウドコンピューティングは、動的にスケーラブルであり、かつ多くの場合仮想化されたリソースがインターネット経由のサービスとして提供される、コンピューティング様式である。ユーザは、ユーザを支援する「クラウド」の技術インフラストラクチャの専門家である必要はない。クラウドコンピューティングは、インフラストラクチャアズアサービス（ＩａａＳ）、プラットフォームアズアサービス（ＰａａＳ）、及びソフトウエアアズアサービス（ＳａａＳ）などの様々なサービスに分けられ得る。クラウドコンピューティングサービスは、多くの場合、ウェブブラウザからアクセスされる共通のビジネスアプリケーションをオンラインで提供するが、ソフトウェア及びデータはサーバ上に記憶される。クラウドという用語は、インターネットが、どのようにコンピュータネットワーク図に描かれているかに基づいて（例えば、サーバ、ストレージ、ロジックなどを使用して）インターネットのメタファーとして使用され、かつ、インターネットが秘匿する複雑なインフラストラクチャの抽象概念である。
【0205】
さらに、ＩＳＰ１９０２は、シングルビデオゲーム及びマルチプレイヤービデオゲームをプレイするためにゲームクライアントによって使用されているゲーム処理サーバ（ＧＰＳ）１９０８を含む。インターネットを介してプレイされるほとんどのビデオゲームは、ゲームサーバ（例えば、ゲームクラウドサーバ）への接続を介して操作する。通常、ゲームはプレイヤーからのデータを収集し、それを他のプレイヤーに配信する専用サーバアプリケーションを使用する。これは、ピアツーピア構成よりも効率的且つ効果的であるが、サーバアプリケーションをホストするために別個のサーバを必要とする。別の実施形態で、ＧＰＳは、プレイヤー及びそれぞれのゲームプレイデバイスの間の通信を確立し、集中型ＧＰＳに依存せずに情報を交換する。
【0206】
専用ＧＰＳは、クライアントとは無関係に稼働するサーバである。このようなサーバは、通常、データセンターに配置された専用ハードウェア上で稼働し、より多くの帯域幅及び専用処理能力を提供する。専用サーバは、大部分のＰＣベースのマルチプレイヤーゲームのためのゲームサーバをホスティングするのに好ましい方法である。大規模なマルチプレイヤーオンラインゲームは、通常、ゲームタイトルを所有しているソフトウェア会社がホストする専用サーバで実行され、コンテンツの制御及び更新をできるようにする。
【0207】
ブロードキャスト処理サーバ（ＢＰＳ）１９１０は、観衆に音声信号またはビデオ信号を配信する。非常に狭い範囲の観衆へのブロードキャストは、ナローキャスティングと呼ばれることがある。放送配信の最終工程は、信号が聴取者または観衆にどのように達するかであり、信号は、ラジオ局またはテレビ局と同様にアンテナ及び受信機に地上波で到来し得るか、または局を介してケーブルテレビもしくはケーブルラジオ（もしくは「無線ケーブル」）を通じて到来し得るか、またはネットワークから直接到来し得る。インターネットはまた、特に、信号及び帯域幅を共有できるマルチキャストを使用して、ラジオまたはテレビのいずれかを受信者に届け得る。歴史的に、放送は、全国放送または地域放送などの地理的領域により範囲が定められてきた。しかしながら、高速インターネットの急増に伴い、コンテンツが世界中のほぼすべての国に届くことができるように、ブロードキャストは地理によって規定されていない。
【0208】
ストレージサービスプロバイダ（ＳＳＰ）１９１２は、コンピュータストレージ空間及び関連する管理サービスを提供する。ＳＳＰはまた、定期的なバックアップとアーカイブも提供する。ストレージをサービスとして提供することにより、ユーザは必要に応じてより多くのストレージを注文することができる。別の大きな利点として、ＳＳＰはバックアップサービスを含み、コンピュータのハードドライブに障害が発生しても、ユーザがユーザの全てのデータを失うことはない。さらに、複数のＳＳＰは、ユーザデータの全体的または部分的なコピーを有することができ、これにより、ユーザの位置またはデータアクセスに使用されるデバイスとは無関係に、ユーザは効率的な方法でデータにアクセスすることが可能となる。例えば、ユーザは、ホームコンピュータの個人ファイルにアクセスでき、同様に、ユーザが移動している間に携帯電話内の個人ファイルにアクセスできる。
【0209】
通信プロバイダ１９１４は、ユーザに接続性を提供する。通信プロバイダの一種は、インターネットへのアクセスを提供するインターネットサービスプロバイダ（ＩＳＰ）である。ＩＳＰは、ダイヤルアップ、ＤＳＬ、ケーブルモデム、ファイバ、無線、または専用の高速相互接続など、インターネットプロトコルデータグラムの提供に好適なデータ伝送技術を使用して、顧客を接続する。通信プロバイダは、電子メール、インスタントメッセージング、及びＳＭＳテキストメッセージなどのメッセージングサービスも提供することができる。通信プロバイダの別の種類として、インターネットへの直接のバックボーンアクセスを提供することにより帯域幅またはネットワークアクセスを販売するネットワークサービスプロバイダ（ＮＳＰ）が挙げられる。ネットワークサービスプロバイダは、電気通信会社、データキャリア、ワイヤレス通信プロバイダ、インターネットサービスプロバイダ、高速インターネットアクセスを提供するケーブルテレビ事業者などで構成され得る。
【0210】
データ交換１９０４は、ＩＳＰ１９０２内側のいくつかのモジュールを相互接続し、これらのモジュールをネットワーク１９５０（図１の参照番号２００）を介してユーザ１９００（プレイヤー、観客）に接続する。データ交換１９０４は、ＩＳＰ１９０２の全てのモジュールが近接している小さい領域をカバーすることができ、または様々なモジュールが地理的に分散しているときには大きな地理的領域をカバーすることができる。例えば、データ交換１９０４は、データセンターのキャビネット内の高速ギガビットイーサネット（もしくは、それよりも高速）または大陸間仮想エリアネットワーク（ＶＬＡＮ）を含むことができる。
【0211】
ユーザ１９００（プレイヤー、観客）は、少なくともＣＰＵ、メモリ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイス１９２０（すなわち、図２のプレイヤー１０１または観客１０２のクライアントデバイス）を用いてリモートサービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、タブレット、ゲーミングシステム、ＰＤＡなどであり得る。一実施形態では、ＩＳＰ１９０２は、クライアントによって使用されるデバイスのタイプを認識し、使用される通信方法を調整する。その他の場合、クライアントデバイスは、ｈｔｍｌなどの標準的な通信方法を使用してＩＳＰ１９０２にアクセスする。
【0212】
図３２は、本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイス２０００のコンポーネントを示す。このブロック図は、本開示の実施形態を実施するのに好適なパーソナルコンピュータ、ビデオゲームコンソール、パーソナルデジタルアシスタント、サーバ、または他のデジタルデバイスを組み込むことができる、またはこれらであり得る、デバイス２０００を示す。デバイス２０００は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを実行するための中央処理装置（ＣＰＵ）２００２を含む。ＣＰＵ２００２は、１つ以上の同種または異種の処理コアで構成されてもよい。例えば、ＣＰＵ２００２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。
さらなる実施形態は、クエリの解釈、文脈的に関連するリソースの識別、及び文脈的に関連するリソースのビデオゲーム内での即時実施及びレンダリングなどの処理操作を、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用して、実施することができる。デバイス２０００は、ゲームセグメント（例えば、ゲームコンソール）をプレイするプレイヤーにローカライズされたもの、またはプレイヤーからリモートであるもの（例えば、バックエンドサーバプロセッサ）、またはクライアントへのゲームプレイのリモートストリーミングのためにゲームクラウドシステムで仮想化を使用する多くのサーバの１つであってもよい。
さらなる実施形態は、クエリの解釈、文脈的に関連するリソースの識別、及び文脈的に関連するリソースのビデオゲーム内での即時実施及びレンダリングなどの処理操作を、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用して、実施することができる。デバイス２０００は、ゲームセグメント（例えば、ゲームコンソール）をプレイするプレイヤーにローカライズされたもの、またはプレイヤーからリモートであるもの（例えば、バックエンドサーバプロセッサ）、またはクライアントへのゲームプレイのリモートストリーミングのためにゲームクラウドシステムで仮想化を使用する多くのサーバの１つであってもよい。
【0213】
機械学習アルゴリズム３２０は、アナライザ２０４０を使用してインタラクションデータを分析し、その中に含まれる異なるモーダルデータストリームを識別する。次いで、識別されたモーダルデータストリームは、ユニモーダルアプローチまたはマルチモーダルアプローチのいずれかを使用して機械学習アルゴリズム３２０によって処理され、１つまたは複数のＡＩモデル３２０ａが生成される。次いで、ＡＩモデル３２０ａからの出力は、観客によって表現された感情を識別するために使用される。
【0214】
メモリ２００４は、ＣＰＵ２００２が使用するアプリケーション及びデータを記憶する。ストレージ（例えば、データストレージ）２００６は、アプリケーション及びデータのための不揮発性ストレージ及びその他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ、またはその他の光学ストレージデバイス、ならびに信号伝送及びストレージメディアを含んでもよい。ユーザ入力デバイス２００８は、１人以上のユーザからのユーザ入力をデバイス２０００へ通信し、その例には、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルレコーダ／カメラもしくはビデオレコーダ／カメラ、ジェスチャを認識する追跡デバイス、及び／またはマイクロフォンが挙げられ得る。
ネットワークインターフェイス２０１４は、電子通信ネットワークを介してデバイス２０００が他のコンピュータシステムと通信することを可能にするものであり、ローカルエリアネットワークやインターネットなどのワイドエリアネットワークを介した有線または無線の通信を含み得る。音声プロセッサ２０１２は、ＣＰＵ２００２、メモリ２００４、及び／またはストレージ２００６によって提供される命令及び／またはデータから、アナログまたはデジタルの音声出力を生成するように適合されている。ＣＰＵ２００２、メモリ２００４、データストレージ２００６、ユーザ入力デバイス２００８、ネットワークインターフェイス２０１４、及び音声プロセッサ２０１２を含むデバイス２０００の構成要素は、１つ以上のデータバス２０２２を介して接続されている。
ネットワークインターフェイス２０１４は、電子通信ネットワークを介してデバイス２０００が他のコンピュータシステムと通信することを可能にするものであり、ローカルエリアネットワークやインターネットなどのワイドエリアネットワークを介した有線または無線の通信を含み得る。音声プロセッサ２０１２は、ＣＰＵ２００２、メモリ２００４、及び／またはストレージ２００６によって提供される命令及び／またはデータから、アナログまたはデジタルの音声出力を生成するように適合されている。ＣＰＵ２００２、メモリ２００４、データストレージ２００６、ユーザ入力デバイス２００８、ネットワークインターフェイス２０１４、及び音声プロセッサ２０１２を含むデバイス２０００の構成要素は、１つ以上のデータバス２０２２を介して接続されている。
【0215】
グラフィックサブシステム２０２０が、データバス２０２２及びデバイス２０００の構成要素とさらに接続されている。グラフィックサブシステム２０２０は、グラフィックプロセシングユニット（ＧＰＵ）２０１６とグラフィックメモリ２０１８とを含む。グラフィックメモリ２０１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えば、フレームバッファ）を含む。グラフィックメモリ２０１８は、ＧＰＵ２０１６と同じデバイスに統合する、ＧＰＵ２０１６に別個のデバイスとして接続する、かつ／またはメモリ２００４内に実装することができる。
画素データは、ＣＰＵ２００２から直接グラフィックメモリ２０１８に提供することができる。代わりに、ＣＰＵ２００２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ２０１６に提供し、ＧＰＵ２０１６は、そこから１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ２００４及び／またはグラフィックメモリ２０１８に記憶することができる。実施形態では、ＧＰＵ２０１６は、シーンのジオメトリ、照明、シェーディング、テクスチャ、モーション、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ２０１６は、シェーダプログラムを実行することが可能な１つ以上のプログラマブル実行ユニットをさらに含むことができる。
画素データは、ＣＰＵ２００２から直接グラフィックメモリ２０１８に提供することができる。代わりに、ＣＰＵ２００２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ２０１６に提供し、ＧＰＵ２０１６は、そこから１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ２００４及び／またはグラフィックメモリ２０１８に記憶することができる。実施形態では、ＧＰＵ２０１６は、シーンのジオメトリ、照明、シェーディング、テクスチャ、モーション、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ２０１６は、シェーダプログラムを実行することが可能な１つ以上のプログラマブル実行ユニットをさらに含むことができる。
【0216】
グラフィックサブシステム２０２０は、グラフィックメモリ２０１８から画像の画素データを定期的に出力して、ディスプレイデバイス２０１０に表示させる。ディスプレイデバイス２０１０は、ＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイを含む、デバイス２０００からの信号に応答して視覚情報を表示することができる任意のデバイスであり得る。デバイス２０００は、例えば、アナログ信号またはデジタル信号をディスプレイデバイス２０１０に提供することができる。
【0217】
現在の実施形態のゲームへのアクセス提供など、広範囲な地域にわたり配信されるアクセスサービスは、多くの場合、クラウドコンピューティングを使用することに留意されたい。クラウドコンピューティングとは、動的にスケーラブルで多くの場合仮想化されたリソースがインターネットを介したサービスとして提供されるコンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」の技術的インフラストラクチャのエキスパートである必要はない。クラウドコンピューティングは、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのソフトウェア（ＳａａＳ）などの異なるサービスに分類することができる。クラウドコンピューティングサービスは、多くの場合、ビデオゲームなどの共通のアプリケーションを、ウェブブラウザからアクセスするオンラインで提供するが、ソフトウェア及びデータは、クラウド内のサーバに記憶される。クラウドという用語は、インターネットが、どのようにコンピュータネットワーク図に描かれているかに基づいてインターネットのメタファーとして使用され、かつ、インターネットが秘匿する複雑なインフラストラクチャの抽象概念である。
【0218】
ゲームサーバは、いくつかの実施形態では、ビデオゲームプレイヤーのための持続的情報プラットフォームの動作を実行するために使用され得る。インターネット上でプレイされる大抵のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、プレイヤーからデータを収集し、収集したデータを他のプレイヤーに配信する専用サーバアプリケーションを使用する。他の実施形態では、ビデオゲームは、分散型ゲームエンジンによって実行されてよい。これらの実施形態では、分散型ゲームエンジンは、複数の処理エンティティ（ＰＥ）上で実行されてよく、その結果、各ＰＥは、ビデオゲームが実行される所与のゲームエンジンの機能セグメントを実行する。
各処理エンティティは、ゲームエンジンからは単なる計算ノードと見なされる。ゲームエンジンは通常、機能的に多様な一連の操作を行って、ユーザが体験する追加のサービスと共にビデオゲームアプリケーションを実行する。例えば、ゲームエンジンは、ゲームロジックを実装し、ゲーム計算、物理的過程、ジオメトリ変換、レンダリング、照明、シェーディング、音声、及び追加のゲーム内またはゲーム関連サービスを実行する。追加のサービスには、例えば、メッセージング、ソーシャルユーティリティ、音声通信、ゲームプレイ再生機能、ヘルプ機能などが含まれてよい。ゲームエンジンは、特定のサーバのハイパーバイザによって仮想化されたオペレーティングシステムで実行されてよいが、他の実施形態では、ゲームエンジン自体が複数の処理エンティティに分散され、各エンティティはデータセンターの異なるサーバユニットに常駐してよい。
各処理エンティティは、ゲームエンジンからは単なる計算ノードと見なされる。ゲームエンジンは通常、機能的に多様な一連の操作を行って、ユーザが体験する追加のサービスと共にビデオゲームアプリケーションを実行する。例えば、ゲームエンジンは、ゲームロジックを実装し、ゲーム計算、物理的過程、ジオメトリ変換、レンダリング、照明、シェーディング、音声、及び追加のゲーム内またはゲーム関連サービスを実行する。追加のサービスには、例えば、メッセージング、ソーシャルユーティリティ、音声通信、ゲームプレイ再生機能、ヘルプ機能などが含まれてよい。ゲームエンジンは、特定のサーバのハイパーバイザによって仮想化されたオペレーティングシステムで実行されてよいが、他の実施形態では、ゲームエンジン自体が複数の処理エンティティに分散され、各エンティティはデータセンターの異なるサーバユニットに常駐してよい。
【0219】
この実施形態によると、実行のための各処理エンティティは、各ゲームエンジンセグメントのニーズに応じて、サーバユニット、仮想マシン、またはコンテナであってよい。例えば、ゲームエンジンセグメントがカメラの変換を担当する場合、比較的単純な数学演算（例えば、行列変換）を多数行うことになるので、その特定のゲームエンジンセグメントは、グラフィック処理ユニット（ＧＰＵ）に関連付けられた仮想マシンと共にプロビジョニングされてよい。より少ないがより複雑な操作を必要とする他のゲームエンジンセグメントは、１つまたは複数のより高出力の中央処理装置（ＣＰＵ）に関連付けられた処理エンティティと共にプロビジョニングされてよい。
【0220】
ゲームエンジンを分散することにより、ゲームエンジンは、物理サーバユニットの能力に拘束されない弾力性のある計算特性を備える。代わりに、ゲームエンジンは、必要に応じて、ビデオゲームの要求を満たすためにより多いまたは少ない計算ノードと共にプロビジョニングされる。ビデオゲーム及びビデオゲームプレイヤーの観点からは、複数の計算ノードに分散されているゲームエンジンは、ゲームエンジンマネージャまたはスーパーバイザがワークロードを分散し、結果をシームレスに統合して、エンドユーザにビデオゲーム出力構成要素を提供するので、単一の処理エンティティで実行される非分散ゲームエンジンと区別できない。
【0221】
ユーザは、少なくともＣＰＵ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイスにより、遠隔サービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、ＰＤＡなどであってよい。一実施形態では、ゲームサーバ上で実行されるネットワークは、クライアントが使用するデバイスの種類を認識し、採用される通信方法を調整する。別の事例では、クライアントデバイスは、ＨＴＭＬなどの標準的な通信方法を使用して、インターネットを介してゲームサーバ上のアプリケーションにアクセスする。
【0222】
所与のビデオゲームまたはゲームアプリケーションは、特定のプラットフォーム及び特定の関連コントローラデバイス２０２４用に開発され得ることを、理解されたい。しかしながら、本明細書に提示されるようなゲームクラウドシステムを介してこのようなゲームを利用可能にするときに、ユーザは、異なるコントローラデバイス２０２４によってビデオゲームにアクセスすることができる。例えば、ゲームは、ゲームコンソール及びその関連したコントローラ２０２４のために開発されている可能性があるが、ユーザは、キーボード及びマウスを利用するパーソナルコンピュータからゲームのクラウドベースのバージョンにアクセスすることができる。このようなシナリオにおいて、入力パラメータ構成は、ユーザの利用可能なコントローラデバイス２０２４（この事例において、キーボード及びマウス）により生成されることが可能である入力から、ビデオゲームの実行のために許容可能である入力へのマッピングを定義することが可能である。
【0223】
別の実施例では、ユーザは、タブレットコンピューティングデバイス、タッチスクリーンスマートフォン、または他のタッチスクリーン駆動デバイスを介して、クラウドゲームシステムにアクセスし得る。この事例において、クライアントデバイス及びコントローラデバイス２０２４は、入力が検出されたタッチスクリーンの入力／ジェスチャとして提供されながら、同一のデバイスに統合化される。このようなデバイスについて、入力パラメータ構成は、ビデオゲームについてのゲーム入力に対応する特定のタッチスクリーン入力を定義することができる。例えば、ボタン、指向性パッド、または他のタイプの入力素子は、ビデオゲームの実行中に表示され、またはオーバーレイされ、ユーザがゲーム入力を生成するためにタッチすることが可能であるタッチスクリーン上の位置を示すことができる。特定の向きにおけるスワイプなどのジェスチャ、または特定のタッチモーションもゲーム入力として検出されることができる。一実施形態では、タッチスクリーン上での制御操作にユーザを慣れさせるために、例えばビデオゲームのゲームプレイを始める前に、タッチスクリーンを介してゲームプレイに入力する方法を示すチュートリアルが、ユーザに提供され得る。
【0224】
いくつかの実施形態では、クライアントデバイス２０２４は、コントローラデバイスについての接続ポイントとして機能する。すなわち、コントローラデバイス２０２４は、無線接続または有線接続を介してクライアントデバイスと通信し、コントローラデバイス２０２４からクライアントデバイスへ入力を送信する。次に、クライアントデバイスは、これらの入力を処理して、その後入力データを、ネットワーク（例えばルータなどのローカルネットワークデバイスを介してアクセスされるネットワーク）を介して、ゲームクラウドサーバへ送信し得る。しかしながら、他の実施形態において、コントローラデバイス２０２４自体は、ネットワークを介してゲームクラウドサーバへ直接に入力を通信する能力を有し、これらのような入力を最初にクライアントデバイスを通して通信する必要がなく、ネットワーク化されたデバイスであることが可能である。
例えば、コントローラデバイス２０２４は、ローカルネットワークデバイス（前述のルータなど）に接続し、ゲームクラウドサーバへデータを送信し、このゲームクラウドサーバからデータを受信することができる。したがって、クライアントデバイスは、クラウドベースのビデオゲームからビデオ出力を受信し、それをローカルディスプレイにレンダリングすることを必要とされたままであることができながら、コントローラデバイス（「コントローラ」とも呼ばれる）２０２４がゲームクラウドサーバへネットワーク経由で直接に入力を送信することを可能にし、クライアントデバイスをバイパスすることにより、入力レイテンシを減少させることが可能である。
例えば、コントローラデバイス２０２４は、ローカルネットワークデバイス（前述のルータなど）に接続し、ゲームクラウドサーバへデータを送信し、このゲームクラウドサーバからデータを受信することができる。したがって、クライアントデバイスは、クラウドベースのビデオゲームからビデオ出力を受信し、それをローカルディスプレイにレンダリングすることを必要とされたままであることができながら、コントローラデバイス（「コントローラ」とも呼ばれる）２０２４がゲームクラウドサーバへネットワーク経由で直接に入力を送信することを可能にし、クライアントデバイスをバイパスすることにより、入力レイテンシを減少させることが可能である。
【0225】
１つの実施形態において、ネットワーク化されたコントローラ及びクライアントデバイスは、特定のタイプの入力をコントローラからゲームクラウドサーバへ直接に、また他のタイプの入力をクライアントデバイスを介して送信するように構成されることが可能である。例えば、コントローラ自体は別として、任意の追加のハードウェアまたは処理に依存しない検出による入力は、クライアントデバイスをバイパスして、ネットワークを介して直接コントローラからゲームクラウドサーバへ送信することができる。これらのような入力は、ボタン入力、ジョイスティック入力、埋め込み型動き検出入力（例えば、加速度計、磁力計、ジャイロスコープ）などを含むことができる。しかしながら、追加のハードウェアを利用する、またはクライアントデバイスによる処理を必要とする入力は、クライアントデバイスによりゲームクラウドサーバへ送信されることが可能である。
これらは、ゲームクラウドサーバへ送信する前に、クライアントデバイスにより処理されることができるゲーム環境からキャプチャされたビデオまたは音声を含むことができる。加えて、コントローラの動き検出ハードウェアからの入力は、キャプチャされたビデオと併せてクライアントデバイスにより処理され、コントローラの位置及び動きを検出することができ、その後、クライアントデバイスによりゲームクラウドサーバへ通信される。様々な実施形態によるコントローラデバイスはまた、クライアントデバイスから、または直接クラウドゲームサーバから、データ（例えばフィードバックデータ）を受信し得ることを理解されたい。
これらは、ゲームクラウドサーバへ送信する前に、クライアントデバイスにより処理されることができるゲーム環境からキャプチャされたビデオまたは音声を含むことができる。加えて、コントローラの動き検出ハードウェアからの入力は、キャプチャされたビデオと併せてクライアントデバイスにより処理され、コントローラの位置及び動きを検出することができ、その後、クライアントデバイスによりゲームクラウドサーバへ通信される。様々な実施形態によるコントローラデバイスはまた、クライアントデバイスから、または直接クラウドゲームサーバから、データ（例えばフィードバックデータ）を受信し得ることを理解されたい。
【0226】
当然のことながら、本明細書で規定した種々の実施形態を、本明細書で開示した種々の特徴を用いて具体的な実施に結合するかまたは組み立ててもよい。したがって、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせることでより多くの実施形態を規定することが可能な様々な実施形態に制限を加えるものではない。ある例では、ある実施形態は、開示されたまたは同等の実施形態の趣旨から逸脱することなく、より少ない要素を含んでもよい。
【0227】
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル民生用エレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成によって実施してもよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。
【0228】
方法の操作は特定の順序で記載したが、修正されたゲーム状態を生成するためのテレメトリ及びゲーム状態データの処理が所望の方法で実行される限り、操作間に他のハウスキーピング操作が実行されてもよく、または操作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に操作を分散することで、処理に関連する様々な間隔で処理操作が起こることを可能にしてもよいことを、理解されたい。
【0229】
１つ以上の実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして作ることもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータ記憶装置とすることができる。データはその後にコンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データ記憶装置を含む。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で格納され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。
【0230】
前述の実施形態は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本実施形態は、本明細書に記載される詳細に限定されるべきではなく、添付の特許請求の範囲及び均等物の中で変更されてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】