特表 2024-540066 感情の視覚的タグ付け及びヒートマッピング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-31

(54)【発明の名称】感情の視覚的タグ付け及びヒートマッピング

(51)【国際特許分類】

   G06F 16/906 20190101AFI20241024BHJP

   G06F 16/9035 20190101ALI20241024BHJP

【ＦＩ】

G06F16/906

G06F16/9035

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525266

(86)(22)【出願日】2022-09-15

(85)【翻訳文提出日】2024-04-26

(86)【国際出願番号】 US2022043571

(87)【国際公開番号】W WO2023075945

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】17/510,877

(32)【優先日】2021-10-26

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】ヤン、ルイ

(72)【発明者】

【氏名】インリン、コートニー

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175FA03

5B175KA12

(57)【要約】

【解決手段】通信セッションにおける通信に視覚的にタグ付けするためのシステム及び方法を提供する。１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視する。現在の通信セッションは、ユーザデバイスに関連付けられたメッセージのセットを含む複数のメッセージを含む。ユーザデバイスのユーザに関するコンテキスト情報を考慮してメッセージのセットを分析することに基づいて、感情状態をセット内のメッセージの各々について識別し分類する。少なくとも１つのメッセージの分類された感情状態が、ユーザデバイスのユーザに関連付けられたタグ付けルールをトリガするものとして検出される。メッセージのセットの提示をタグ付けルールに基づいて現在の通信セッション内で変更する。変更された提示は、少なくとも１つのメッセージの分類された感情状態をインディケートする１つ以上のタグを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

通信セッションにおける通信を視覚的にタグ付けする方法であって、
１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視することであって、前記現在の通信セッションが、前記ユーザデバイスに関連付けられた前記メッセージのセットを含む複数のメッセージを含む、前記監視することと、
前記セット内の前記メッセージのそれぞれに関連付けられた感情状態を分類することであって、前記感情状態を分類することが、前記ユーザデバイスの前記ユーザに関するコンテキスト情報を考慮して、前記メッセージの前記セットを分析することに基づく、前記分類することと、
少なくとも１つの前記メッセージの分類された感情状態が、前記ユーザデバイスの前記ユーザに関連付けられたタグ付けルールをトリガするのを検出することと、
前記タグ付けルールに基づいて、前記現在の通信セッション内の前記メッセージの前記セットの提示を変更することであって、前記提示が、前記少なくとも１つのメッセージの前記分類された感情状態をインディケートする１つ以上のタグを含む、前記変更することと、
を含む、方法。

【請求項2】

ユーザ感情プロファイルを前記ユーザのメモリに記憶することであって、前記ユーザ感情プロファイルが、複数のタグ付けルールの中の前記タグ付けルールを含む、前記記憶すること、をさらに含む、請求項１に記載の方法。

【請求項3】

前記タグ付けルールのそれぞれは、前記ユーザの感情状態と、１つ以上の対応するタグとを指定する、請求項２に記載の方法。

【請求項4】

前記メッセージのそれぞれが前記ユーザデバイスに入力されるとき、前記メッセージの前記セットの前記提示がリアルタイムで変更される、請求項１に記載の方法。

【請求項5】

前記メッセージの前記セットに関連するアクティビティを検出することと、
前記メッセージの前記セットの前記分類された感情状態に基づいて、利用可能なタグをフィルタリングすることと、
前記フィルタリングされたタグのセットを表示するメニューを生成することと、
をさらに含む、請求項１に記載の方法。

【請求項6】

前記ユーザに関連付けられた複数の感情状態を追跡することと、前記追跡された感情状態に基づいて表示を生成することと、
をさらに含む、請求項１に記載の方法。

【請求項7】

前記表示は、前記追跡された感情状態が、１つ以上の通信セッション中に検出されたシーケンスに従って、前記追跡された感情状態を提示するタイムラインである、請求項１に記載の方法。

【請求項8】

複数の他のユーザに関連する複数の感情状態を追跡することであって、前記表示が、１つ以上のパラメータにわたって前記ユーザと前記他のユーザとに関連付けられた前記追跡された感情状態を視覚的に提示するヒートマップである、前記追跡すること、
をさらに含む、請求項６に記載の方法。

【請求項9】

通信セッションにおける通信を視覚的にタグ付けするシステムであって、
通信ネットワークを介して通信する通信インタフェースであって、前記通信インタフェースが、１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視し、前記現在の通信セッションが、前記ユーザデバイスに関連付けられた前記メッセージのセットを含む複数のメッセージを含む、前記通信インタフェースと、
メモリに記憶された命令を実行するプロセッサであって、前記プロセッサが、前記命令を実行して、
前記セット内の前記メッセージのそれぞれに関連付けられた感情状態を分類することであって、前記感情状態を分類することが、前記ユーザデバイスの前記ユーザに関するコンテキスト情報を考慮して、前記メッセージの前記セットを分析することに基づく、前記分類することと、
少なくとも１つの前記メッセージの分類された感情状態が、前記ユーザデバイスの前記ユーザに関連付けられたタグ付けルールをトリガするのを検出することと、
前記タグ付けルールに基づいて、前記現在の通信セッション内の前記メッセージの前記セットの提示を変更することであって、前記提示が、前記少なくとも１つのメッセージの前記分類された感情状態をインディケートする１つ以上のタグを含む、前記変更することと、
を行う、前記プロセッサと、
を備える、システム。

【請求項10】

前記ユーザのユーザ感情プロファイルを記憶するメモリであって、前記ユーザ感情プロファイルが、複数のタグ付けルールの中の前記タグ付けルールを含む、前記メモリ、
をさらに備える、請求項９に記載のシステム。

【請求項11】

前記タグ付けルールのそれぞれは、前記ユーザの感情状態と、１つ以上の対応するタグとを指定する、請求項１０に記載のシステム。

【請求項12】

前記メッセージのそれぞれが前記ユーザデバイスに入力されるとき、前記メッセージの前記セットの前記提示がリアルタイムで変更される、請求項９に記載のシステム。

【請求項13】

前記プロセッサは、
前記メッセージの前記セットに関連するアクティビティを検出することと、
前記メッセージの前記セットの前記分類された感情状態に基づいて、利用可能なタグをフィルタリングすることと、
前記フィルタリングされたタグのセットを表示するメニューを生成することと、
を行う命令をさらに実行する、請求項９に記載のシステム。

【請求項14】

前記ユーザに関連付けられた複数の感情状態を追跡するメモリをさらに備えており、前記プロセッサが、前記追跡された感情状態に基づいて、表示を生成する命令をさらに実行する、請求項９に記載のシステム。

【請求項15】

前記表示は、前記追跡された感情状態が、１つ以上の通信セッション中に検出されたシーケンスに従って、前記追跡された感情状態を提示するタイムラインである、請求項９に記載のシステム。

【請求項16】

前記メモリは、さらに、複数の他のユーザに関連する複数の感情状態を追跡し、前記表示が、１つ以上のパラメータにわたって前記ユーザと前記他のユーザとに関連付けられた前記追跡された感情状態を視覚的に提示するヒートマップである、請求項１５に記載のシステム。

【請求項17】

通信セッションにおける通信を視覚的にタグ付けする方法の方法を行うように、プロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法が、
１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視することであって、前記現在の通信セッションが、前記ユーザデバイスに関連付けられた前記メッセージのセットを含む複数のメッセージを含む、前記監視することと、
前記セット内の前記メッセージのそれぞれに関連付けられた感情状態を分類することであって、前記感情状態を分類することが、前記ユーザデバイスの前記ユーザに関するコンテキスト情報を考慮して、前記メッセージの前記セットを分析することに基づく、前記分類することと、
少なくとも１つの前記メッセージの分類された感情状態が、前記ユーザデバイスの前記ユーザに関連付けられたタグ付けルールをトリガするのを検出することと、
前記タグ付けルールに基づいて、前記現在の通信セッション内の前記メッセージの前記セットの提示を変更することであって、前記提示が、前記少なくとも１つのメッセージの前記分類された感情状態をインディケートする１つ以上のタグを含む、前記変更することと、
を含む、非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に、感情を視覚的にマッピングすることに関する。より詳細には、本発明は、感情の視覚的タグ付け及びヒートマッピングに関する。

【背景技術】

【0002】

現在利用可能なデジタルコンテンツタイトルは、そのようなタイトルの関連デジタル環境における様々なデジタル要素とインタラクトするそれぞれのユーザに、各種の感情的反応を引き起こし得る。さらに、一部のデジタルコンテンツタイトルとの関わりでは、デジタル（例えば、仮想）環境内または関連通信セッション内での他のユーザとのインタラクションを伴う場合がある。そのような他のユーザは、自分自身の感情を示すことがあり、したがって、他のユーザとのインタラクション自体が、ユーザのその種類及び程度の感情状態を引き起こすことがあり、または別の形でそれに影響を及ぼすことがある。

【0003】

ある程度まで、ユーザは、インタラクティブ（例えば、ゲームプレイ）セッション内及び関連通信セッション（複数可）内で感じたり示したりする感情種に気付いていない可能性がある。例えば、ユーザの中には、現在のゲームプレイセッションがうまくいかないと不満を感じるものがいることもある。他の状況では、他のユーザがどなったり、または別の形で怒りを示したりすると、ユーザはストレスを感じることがある。このような場合、または似たような場合、長期間にわたって他者の否定的な感情にさらされると、ユーザの精神的健康または感覚処理状態が悪化することがあり、またはその他の苦痛を受けることがある。別の例としては、冒涜的な言葉、生々しいコンテンツ、いじめの言葉、性別錯誤の言葉、またはその他の攻撃的、敵対的、もしくは暴力的な言葉（例えば、嫌がらせ、脅迫）にさらされたくないと望み得るプレイヤが挙げられ得る。特に、若いプレイヤ（例えば、子供）には、そのような否定的な感情及び関連する言葉にプレイヤがさらされるのを制限したいと望む親、保護者、または他の監督者（例えば、親戚、育児専門家）がいる場合がある。

【0004】

特定の状況では、ユーザは、他者が感じている感情種、または他者が示している感情種に気づかないこともある。そのような認識の欠如は、ユーザが、他者の顔の表情、またはその他のありきたりの感情のインディケータを見ること、または読み取ることができない場合、さらに悪化する可能性がある。例えば、ゲームプレイセッション中、多くのプレイヤは、アバターを使用して、現実世界の外観（表情及び身振りを含む）が露出するのを避けながら、他のプレイヤとインタラクトする。さらに、チャットベースの通信セッション中に、声のトーンが必ずしも単純なテキストに変換されるとは限らない場合がある。したがって、そのようなコンテキストの中では、感情的な手がかりが見逃される可能性がある。

【0005】

そのために、当技術分野では、感情の視覚的タグ付け及びヒートマッピングの改良されたシステム及び方法が必要とされている。

【発明の概要】

【0006】

本発明の実施形態は、感情の視覚的タグ付け及びヒートマッピングのためのシステム及び方法を含む。１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視し得る。現在の通信セッションは、ユーザデバイスに関連付けられたメッセージのセットを含む複数のメッセージを含み得る。ユーザデバイスのユーザに関するコンテキスト情報を考慮してメッセージのセットを分析することに基づいて、感情状態が、セット内のメッセージのそれぞれについて識別され、分類され得る。少なくとも１つのメッセージの分類された感情状態が、ユーザデバイスのユーザに関連付けられたタグ付けルールをトリガするものとして検出され得る。メッセージのセットの提示を、タグ付けルールに基づいて、現在の通信セッション内で変更し得る。変更された提示は、少なくとも１つのメッセージの分類された感情状態をインディケートする１つ以上のタグを含み得る。

【図面の簡単な説明】

【0007】

【図1】感情の視覚的タグ付け及びヒートマッピングのためのシステムを実装し得るネットワーク環境を示す。

【0008】

【図2】感情の視覚的タグ付け及びヒートマッピングのためのシステムにデータを提供するために使用され得る例示的な統一データシステム（ＵＤＳ）を示す。

【0009】

【図3】感情の視覚的タグ付け及びヒートマッピングのための例示的な方法を示すフローチャートである。

【0010】

【図4A】感情に基づいて視覚的にタグ付けされた例示的なチャットストリームを示す。

【0011】

【図4B】通信セッション内での絵文字の感情ベースのフィルトレーションの例示的な実装を示す。

【0012】

【図4C】インタラクティブコンテンツタイトルのプレイヤに関連する感情の例示的なヒートマップを示す。

【0013】

【図4D】複数のインタラクティブアクティビティにわたる複数のプレイヤに関連する感情の例示的なヒートマップを示す。

【0014】

【図5】本発明の実施形態で使用され得る例示的な電子エンターテインメントシステムのブロック図である。

【発明を実施するための形態】

【0015】

本発明の実施形態は、感情の視覚的タグ付け及びヒートマッピングのためのシステム及び方法を含む。１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視し得る。現在の通信セッションは、ユーザデバイスに関連付けられたメッセージのセットを含む複数のメッセージを含み得る。ユーザデバイスのユーザに関するコンテキスト情報を考慮してメッセージのセットを分析することに基づいて、感情状態が、セット内のメッセージのそれぞれについて識別され、分類され得る。少なくとも１つのメッセージの分類された感情状態が、ユーザデバイスのユーザに関連付けられたタグ付けルールをトリガするものとして検出され得る。メッセージのセットの提示を、タグ付けルールに基づいて、現在の通信セッション内で変更し得る。変更された提示は、少なくとも１つのメッセージの分類された感情状態をインディケートする１つ以上のタグを含み得る。

【0016】

図１は、感情の視覚的タグ付け及びヒートマッピングのためのシステムを実装し得るネットワーク環境を示す。ネットワーク環境１００は、配信用のデジタルコンテンツ（例えば、ゲーム、他のアプリケーション及びサービス）を提供する１つ以上のコンテンツソースサーバ１１０、１つ以上のコンテンツプロバイダサーバアプリケーションプログラムインタフェース（ＡＰＩ）１２０、コンテンツ配信ネットワークサーバ１３０、感情分析サーバ１４０、及び１つ以上のユーザデバイス１５０を含み得る。ネットワーク環境１００のデバイスは、１つ以上の通信ネットワークを使用して互いに通信し、通信ネットワークは、専用ローカルネットワーク（例えば、イントラネット）を含み得る、及び／またはより大きな広域ネットワークの一部であり得る。通信ネットワークは、インターネット等の広域ネットワーク（ＷＡＮ）に通信可能に結合され得るローカルエリアネットワーク（ＬＡＮ）であり得る。インターネットは、ネットワークサービスプロバイダを経由して接続されたユーザ間でインターネットプロトコル（ＩＰ）データの伝送及び交換を可能にする相互接続したコンピュータ及びサーバのブロードネットワークである。ネットワークサービスプロバイダの例として、公衆交換電話網、ケーブルサービスプロバイダ、デジタル加入者線（ＤＳＬ）サービスのプロバイダまたは衛星サービスプロバイダがある。１つ以上の通信ネットワークは、ネットワーク環境１００の様々なコンポーネント間の通信を可能にする。

【0017】

本明細書に説明されるサーバは、ネットワーク及びメディアインタフェース、非一時的コンピュータ可読媒体（メモリ）、ならびにメモリに記憶され得る命令を実行するための、または情報にアクセスするためのプロセッサ等の標準ハードウェアコンピューティングコンポーネントを含む、当技術分野で既知の任意のタイプのサーバを含み得る。複数のサーバの機能は、単一のサーバに統合されてよい。前述のサーバ（または統合されたサーバ）のいずれも、特定のクライアント側、キャッシュまたはプロキシサーバの特性を呈し得る。これらの特性は、サーバの特定のネットワーク配置またはサーバの特定の構成に依存し得る。

【0018】

コンテンツソースサーバ１１０は、通信ネットワークを通じて配信に利用可能である様々なデジタルコンテンツ及びデジタルサービスを維持及び提供し得る。コンテンツソースサーバ１１０は、そのコンテンツを、通信ネットワークを通じたアクセスに対して利用可能にする任意のコンテンツプロバイダに関連付けられ得る。したがって、コンテンツソースサーバ１１０は、インタラクティブセッション中にデジタル環境または仮想環境で表示されるデジタルオブジェクトまたは仮想オブジェクトに関するオブジェクトデータ（例えば、アクティビティ情報、ゾーン情報、キャラクタ情報、プレイヤ情報、他のゲームメディア情報等）にさらに関連付けられ得る様々な異なるコンテンツタイトルをホストし得る。

【0019】

そのようなコンテンツは、デジタルビデオ及びゲームだけでなく、他のタイプのデジタルアプリケーション及びサービスも含み得る。そのようなアプリケーション及びサービスは、チャット及び他の通信チャネルを提供及びサポートすることを含む、ユーザデバイス１５０に提供され得る任意の様々な異なるデジタルコンテンツ及び機能を含み得る。チャット及び通信サービスは、ボイスベース、テキストベース、及びビデオベースのメッセージを含み得る。したがって、ユーザデバイス１５０は、１つ以上の通信セッションと同時にゲームプレイセッションに参加し得、ゲームプレイ及び通信セッションは、１つ以上のコンテンツソースサーバ１１０でホストされ得る。

【0020】

コンテンツソースサーバ１１０からのコンテンツは、コンテンツプロバイダサーバＡＰＩ１２０を経由して提供され得、コンテンツプロバイダサーバＡＰＩ１２０により、様々なタイプのコンテンツソースサーバ１１０がネットワーク環境１００の他のサーバ（例えば、ユーザデバイス１５０）と通信することが可能になる。コンテンツプロバイダサーバＡＰＩ１２０は、コンテンツを提供するコンテンツソースサーバ１１０、ならびにネットワーク環境１００のユーザデバイス１５０及び他のデバイスの特定のオペレーティング言語、システム、プラットフォーム、プロトコル等に固有であり得る。複数の異なるタイプのコンテンツソースサーバ１１０を含むネットワーク環境１００では、同様に対応する数のコンテンツプロバイダサーバＡＰＩ１２０があり得、コンテンツプロバイダサーバＡＰＩ１２０は、コンテンツ及び他のサービスを異なるユーザデバイス１５０に提供するための様々なフォーマット、変換、ならびに他のクロスデバイス及びクロスプラットフォーム通信プロセスを可能にし、異なるユーザデバイスはそれぞれ、各々、異なるオペレーティングシステム、プロトコル等を使用して、そのようなコンテンツを処理し得る。したがって、様々な異なるユーザデバイス１５０に互換性があるように、異なるフォーマットにおいてアプリケーション及びサービスを利用可能にし得る。複数の異なるタイプのコンテンツソースサーバ１１０、コンテンツ配信ネットワークサーバ１３０、感情分析サーバ１４０、ユーザデバイス１５０、及びデータベース１６０を含むネットワーク環境１００では、同様に、コンテンツプロバイダサーバＡＰＩ１２０によって管理される対応する数のＡＰＩがあり得る。

【0021】

コンテンツプロバイダサーバＡＰＩ１２０は、さらに、直接、またはコンテンツ配信ネットワークサーバ１３０を介してのいずれかで、コンテンツソースサーバ１１０によってホストされるコンテンツまたはコンテンツソースサーバ１１０によって提供されるサービスへのユーザデバイス１５０のそれぞれのアクセスを容易にし得る。アクセスされたコンテンツまたはサービスに関するメタデータ等の追加情報もまた、コンテンツプロバイダサーバＡＰＩ１２０によってユーザデバイス１５０に提供できる。下記に説明されるように、追加情報（例えば、オブジェクトデータ、メタデータ）は、ユーザデバイス１５０に提供されるコンテンツまたはサービスに関する詳細を提供するために使用可能であり得る。いくつかの実施形態では、コンテンツソースサーバ１１０からユーザデバイス１５０にコンテンツプロバイダサーバＡＰＩ１２０を介して提供されるサービスは、特定のゲーム、チーム、コミュニティ等に関連付けられるチャットサービス、レーティング、及びプロファイル等、他のコンテンツまたはサービスに関連付けられるサービスをサポートすることを含み得る。そのような場合、コンテンツソースサーバ１１０は、また、コンテンツプロバイダサーバＡＰＩ１２０を介して互いに通信し得る。

【0022】

コンテンツ配信ネットワークサーバ１３０は、ユーザデバイス１５０との様々なコンテンツ及びサービス構成を含む、コンテンツソースサーバ１１０からのコンテンツに関連する、リソース、ファイルなどを提供するサーバを含み得る。コンテンツ配信ネットワークサーバ１３０は、特定のコンテンツまたはサービスにアクセスすることを要求するユーザデバイス１５０によって呼び出すこともできる。コンテンツ配信ネットワークサーバ１３０は、ユニバース管理サーバ、ゲームサーバ、ストリーミングメディアサーバ、ダウンロード可能なコンテンツをホストするサーバ、及び当技術分野で既知の他のコンテンツ配信サーバを含み得る。

【0023】

感情分析サーバ１４０は、異なるコンテンツソースサーバ１１０、コンテンツプロバイダサーバＡＰＩ１２０、コンテンツ配信ネットワークサーバ１３０、ユーザデバイス１５０、及びデータベース１６０と通信することが可能である当技術分野で既知の任意のデータサーバを含み得る。そのような感情分析サーバ１４０は、インタラクティブコンテンツ（例えば、ゲーム、アクティビティ、ビデオ、ポッドキャスト、ユーザ生成コンテンツ（「ＵＧＣ」）、パブリッシャーコンテンツ等）に関連付けられた命令を実行する１つ以上のクラウドサーバに実装され得る。感情分析サーバ１４０は、例えば、１つ以上の他のユーザデバイスと通信している指定されたユーザデバイスに関連付けられた現在の通信セッションを監視することと、ユーザデバイスのユーザに関するコンテキスト情報を考慮して、メッセージのセットを分析することに基づいて、指定されたユーザデバイスに関連付けられたメッセージのそれぞれに関連付けられた感情状態を分類することと、少なくとも１つのメッセージの分類された感情状態が、ユーザデバイスのユーザに関連付けられたタグ付けルールをトリガするのを検出することと、少なくとも１つのメッセージの分類された感情状態をインディケートする１つ以上のタグを含むように、タグ付けルールに基づいて、現在の通信セッション内のメッセージのセットの提示を変更することと、を行うための命令をさらに実行し得る。

【0024】

ユーザデバイス１５０は、複数の異なるタイプのコンピューティングデバイスを含み得る。ユーザデバイス１５０は、ネットワーク環境１００で内部サービスを（例えば、他のサーバに）提供するサーバであり得る。そのような場合、ユーザデバイス１５０は、本明細書に説明されるコンテンツサーバ１１０のうちの１つに対応し得る。代替として、ユーザデバイス１５０は、任意の数の異なるゲーム機、モバイルデバイス、ラップトップ、及びデスクトップを含み得るコンピューティングデバイスであり得る。また、そのようなユーザデバイス１５０は、限定ではないが、ダウンロードされたサービスの場合に適切であり得るメモリカードまたはディスクドライブ等の他の記憶媒体からデータにアクセスするように構成され得る。それらのようなユーザデバイス１５０は、ネットワークインタフェース、メディアインタフェース、非一時的コンピュータ可読ストレージ（メモリ）、及び、メモリに記憶され得る命令を実行するプロセッサ等であるが、これらに限らない標準的ハードウェアコンピューティングコンポーネントを含んでよい。また、これらのユーザデバイス１５０は、様々な異なるオペレーティングシステム（例えば、ｉＯＳ、Ａｎｄｒｏｉｄ（登録商標））、アプリケーションまたはコンピューティング言語（例えば、Ｃ＋＋、Ｊａｖａ（登録商標）Ｓｃｒｉｐｔ）を使用して起動し得る。例示的なクライアントデバイス１５０は、図５に関して本明細書で詳細に説明される。ユーザデバイス１５０のそれぞれは、デジタルコンテンツストリームのコレクションに関連する参加者（例えば、プレイヤ）または他のタイプのユーザ（例えば、観客）に関連付けられ得る。

【0025】

別々に描かれているが、データベース１６０は、同じサーバ、異なるサーバ、またはユーザデバイス１５０のいずれかのネットワーク環境１００に示されるサーバ及びデバイスのいずれかに記憶され得る。そのようなデータベース１６０は、様々な音声－感情学習モデル、言語－感情モデル、顔の表情－感情モデル、または他の感情モデルを記憶すること、またはこれらのモデルにリンクすることができ、これらのモデルのそれぞれは、異なる感情、ユーザ、またはユーザグループに特有であり得る。データベース１６０は、通信セッション中に示される感情状態を評価するために使用される他のリソースを記憶することもできる。さらに、データベース１６０は、感情プロファイル、ならびに特定の感情、ユーザ、ユーザグループまたはチーム、ユーザカテゴリ、ゲームタイトル、ゲームジャンル、言語カテゴリ等に固有であり、さらにこれらに合わせてカスタマイズ可能であり得るタグ付けルールを記憶し得る。１つ以上のユーザ感情プロファイル及び関連する感情学習モデルもまた、ユーザごとにデータベース１６０に記憶され得る。ユーザに関するゲームプレイデータ（例えば、アクティビティにおけるユーザの進行状況及び／またはメディアコンテンツタイトル、ユーザＩＤ、ユーザゲームキャラクタ等）に加えて、ユーザ感情プロファイルは、ユーザに固有の感情データベースを含み得る。

【0026】

感情の識別に関連する例示的な学習モデルは、テキストインディケータ（例えば、語法または単語選択、下品な言葉、キーワード、用語、フレーズなど）、話し言葉インディケータ（例えば、声のイントネーション、ピッチまたは周波数、話の速さまたはテンポ、リズム、音量などの変化）、視覚的インディケータ（例えば、顔の表情、穏やかな状態と比べて顔が紅潮している、または青ざめているなどの肌の色調）、生理学的インディケータまたは挙動インディケータ（例えば、心拍数などの生体測定の変化、ストレスの兆候、入力エラーの増加など）、ゲーム内インディケータ（例えば、ゲームプレイにおけるエラー、キャラクタの挙動など）、及び当技術分野で知られている気分、感傷、感情などに関連する他のインディケータ、を含む、様々な検出可能なインディケータを含み得る。学習モデルは、特定の感情に対して異なるインディケータを示す可能性のある様々なプレイヤに合わせて、さらに精緻化することができる。さらに、特定のプレイヤを、異なる感情に対応する複数の異なる学習モデルに関連付けることができる。ユーザからのユーザ入力、または特定のユーザの感情状態に関するフィードバックを提供し得る他のユーザからのユーザ入力に基づいて、さらに精緻化することができる。したがって、学習モデルは、所与のユーザの所与の感情をインディケートする異なるインディケータまたはそのレベルで継続的に更新され得る。

【0027】

データベース１６０は、さらに、視覚タグ（例えば、絵文字）を異なる感情状態及びそのレベルと相関させる１つ以上のタグ付けルールを格納し得る。タグ付けルールは、例えば、タグ付けアクションの実行に関連する特定の感情に基づくトリガ条件を指定してもよい。特定の感情に関連付けられたトリガ条件には、関連付けられたタグ付けルールをトリガする感情インディケータの１つ以上の閾値レベルが含まれ得る。例えば、あるタグ付けルールは、メッセージ内の高レベルの怒りのインディケータ（例えば、大音量、どなること、下品な言葉、ヘイトスピーチ、人種差別的言葉、性差別的言葉、同性愛嫌悪的言葉、性別錯誤の言葉）が、怒りに関連するタグでタグ付けすることをトリガする可能性があることを指定し得る。タグ付けルールは、さらに、顔の表情、声の変化、ならびにゲーム内の状態及び挙動に関するインディケータなど、本明細書で説明される様々なタイプのインディケータの組み合わせを指定することがある。

【0028】

したがって、タグ付けルールが通信セッションに適用される場合、様々なタグ付けルールをトリガする様々なメッセージが、リアルタイムで、またはほぼリアルタイムで、タグ付けされ得る。異なるメッセージが異なるユーザに関連付けられ得るので、各メッセージは、感情インディケータ（学習モデルによって定義され、精緻化される）だけでなく、メッセージを発信した特定のユーザに関するコンテキスト情報にも基づいて評価され得る。そのようなコンテキスト情報には、ユーザ、ユーザの身体ステータス、ユーザのゲーム内ステータスなどに関するリアルタイムデータまたは履歴データが含まれる場合がある。そのようなコンテキスト情報は、カメラ、センサ、コンテンツソースサーバ１１０、ＵＤＳシステム２００などを含む様々なソースから取得され得る。

【0029】

会話のコンテキストにより、最初に割り当てられたタグがユーザの感情状態をインディケートしていないことがインディケートされると、タグが更新される場合もある。例えば、（口頭であるか、全て大文字で入力されているかにかかわらず）どなられるまたは叫ばれるメッセージは、最初は怒りとしてタグ付けされる可能性があるが、その後の会話により、関連するユーザが、単に、興奮している、驚いている、耳が聞こえにくい、騒がしい実世界の環境にいる、または他の状況である、だけであることが明らかになる場合がある。さらに、タグは、通信セッション内の指定されたユーザまたは他のユーザからの入力またはフィードバックに基づいて更新される場合がある。

【0030】

タグ付けルールに従って割り当てられたタグは、さらに、メッセージ、検索結果、オプションのフィルタリング、及び動作の制御の基礎として機能する場合がある。例えば、ユーザは、通信セッションで他のユーザとインタラクトするときに、自身の精神的及び感情的な健康を保護し、そのような感情に関連するストレスを回避するために、望ましくない感情に関連付けられているメッセージをフィルタリングしたい場合がある。そのようなユーザは、自身の感情状態に応じて、通信セッションの提示、対話型セッション、及びデバイス制御を指定またはカスタマイズすることもできる。そのようなカスタマイズには、ゲームの難易度を下げること、攻撃的なゲームプレイのレベルを下げること、様々な感情的トリガに対する閾値を高くすること、下品な言葉の自己検閲、自身の声を無力化または変更すること、心を落ち着かせる効果（例えば、音楽、映像、扇風機などの温度調整装置など）をトリガすることが含まれ得る。

【0031】

様々なタイプのタグを使用して、通信セッション内で、参加している各ユーザの感情状態をインディケートする視覚的表示を提供することができる。そのような視覚的表示は、様々な感情、及びそのような感情のレベル（例えば、低、中、高）をインディケートしてもよい。様々な感情は、例えば、様々なタイプの測定値またはメトリック提示を含む感情ダッシュボードで視覚化されることがある。そのような視覚的表示は、特定の感情のインディケータに関連付けられた閾値に関するカスタムアラートまたは通知設定に基づいてトリガされ得る。さらに、感情分析サーバ１４０は、複数のユーザの感情インディケータに関するデータを、経時的に追跡すること、及び複数のセッションにわたって追跡することもできる。そのようなデータは、感情に関連する学習モデルを発達させ、精緻化するのに使用されることに加えて、ユーザの感情データの様々な視覚的提示を生成し、提供するのに使用されることもある。

【0032】

ユーザは、感情ダッシュボード（自分自身の感情データまたは他人の感情データに関連付けられたもの）の閲覧をリクエストすることができる。感情ダッシュボードでは、感情データを、ゲームタイトル、ゲームセッション、異なる特定のユーザまたはユーザグループとのインタラクション、期間、または追跡され、感情分析サーバ１４０にアクセス可能とされる他のパラメータ（ＵＤＳシステム２００によって追跡されるデータを含む）によって、さらに細分することができる。感情データの例示的な提示を、本明細書でさらに詳細に説明される図４Ａ～図４Ｄに示す。

【0033】

いくつかの実装では、フィルタは、ユーザ自身だけでなく、下品な言葉、生々しいコンテンツ、いじめの言葉、性別錯誤の言葉、またはその他の攻撃的、敵対的、もしくは暴力的な言葉（例えば、嫌がらせ、脅迫）を含む特定の種類の感情及びそのインディケータにさらされることをユーザに避けてほしいと望み得るユーザの親、保護者、監督者などによっても設定され得る。したがって、割り当てられたタグは、通信セッションの提示から特定のメッセージまたはメッセージの集まりをフィルタリングするための基礎として使用することができる。例えば、望ましくない感情に関連しているとして検出され、それに応じてタグ付けされた音声ベースのメッセージを、ミュート、変調、自動調整、または音声発生器による置き換えによって、ユーザに提示されている通信セッションのバージョンからフィルタリングすることもできる。場合によっては、ユーザが自分自身を検閲し、自分のメッセージが他のユーザに提示されないようにフィルタリングすることを選択することがある。例えば、ユーザは、割り当てられたタグによって識別される特定の感情状態の下でユーザによって生成された特定のタイプのコンテンツを、特定のオーディエンス（例えば、若い年齢層のプレイヤ）が、見ること、聞くこと、またはアクセスすることができないように指定することがある。

【0034】

通信セッションの過程において、参加している各ユーザは、自分または他のユーザのメッセージにタグを付けて感情をインディケートすることのみならず、さらにそのユーザまたは他のユーザ自身にタグを付けることもできる。タグ付けは、テキスト言語コミュニケーション、話し言葉の写し、記録されたゲーム内挙動（例えば、ＵＤＳシステム２００によってキャプチャされたユーザ生成コンテンツ）、現在の通信セッションに存在するものとして検出された様々なインディケータの自動生成メニュー、自由形式の記述、または当技術分野で知られている他の選択メカニズムの選択に基づいてもよい。その後、タグ付けされた感情インディケータを学習モデルに追加して、タグ付けルールを更新し、現在の通信セッション内で来信する通信を評価することができる。

【0035】

図２は、感情の視覚的タグ付け及びヒートマッピングのためのシステムにデータを提供するために使用され得る例示的な統一データシステム（ＵＤＳ）を示す。ＵＤＳ２００によって提供されるデータに基づいて、感情分析サーバ１４０は、現在のセッション条件、例えば、ユーザ及び関連キャラクタ（複数可）が携わっているゲーム内オブジェクト、エンティティ、アクティビティ、及びイベントを認識し、ひいては、現在のゲームプレイ及びゲーム内アクティビティとともに、感情分析サーバ１４０による感情検出及び感情に基づく反応の分析及び調整をサポートできる。各ユーザインタラクションは、ゲーム内インタラクションのタイプ、ゲーム内環境内の場所、ゲーム内タイムライン内の時点、及び関与する他のプレイヤ、オブジェクト、エンティティ等のメタデータに関連付けられ得る。したがって、メタデータは、関連するアクティビティ、エンティティ、設定、結果、アクション、効果、場所、キャラクタの統計等を含む、ゲームセッション中に発生する可能性のある様々なユーザインタラクションのいずれかについて追跡できる。そのようなデータはさらに集約され、データモデルに適用され、分析の対象となり得る。そのようなＵＤＳデータモデルを使用して、複数のゲームにわたって統一した方法でコンテキスト情報を情報の各部に割り当て得る。

【0036】

例えば、様々なコンテンツタイトルは、ユーザがインタラクトできる１つ以上のオブジェクト（例えば、ゲーム内アクティビティに関与する）、及び／またはピア、メディアコンテンツタイトルのパブリッシャー及び／またはサードパーティーのパブリッシャーによって作成されるＵＧＣ（例えば、スクリーンショット、ビデオ、実況解説、マッシュアップ等）を描写し得る。そのようなＵＧＣは、そのようなＵＧＣを検索するためのメタデータを含み得る。そのようなＵＧＣは、メディア及び／またはピアに関する情報も含み得る。このようなピア情報は、インタラクティブコンテンツタイトル（例えば、ビデオゲーム、インタラクティブブックなど）のオブジェクトとのピアインタラクション中に収集されるデータから導出されることができ、ＵＧＣに「バインド」され、ＵＧＣと共に格納されることができる。そのようなバインドは、ＵＧＣがオブジェクトにディープリンク（例えば、直接起動）し得ること、ＵＧＣのオブジェクト及び／もしくはピアに関する情報を提供し得ること、ならびに／またはユーザがＵＧＣとインタラクトすることを可能にし得るため、ＵＧＣを拡張する。

【0037】

図２に示されるように、例示的なコンソール２２８（例えば、ユーザデバイス１３０）及び例示的なサーバ２１８（例えば、ストリーミングサーバ２２０、アクティビティフィードサーバ２２４、ユーザ生成コンテンツ（ＵＧＣ）サーバ２３２、及びオブジェクトサーバ２２６）が示される。一例では、コンソール２２８は、プラットフォームサーバ１２０、クラウドサーバ、またはサーバ２１８のいずれかに実装され得る。ある例示的な例では、コンテンツレコーダ２０２は、プラットフォームサーバ１２０、クラウドサーバ、または任意のサーバ２１８に実装されてよい。そのようなコンテンツレコーダ２０２は、インタラクティブコンテンツタイトル２３０からコンテンツ（例えば、メディア）を受信し、コンテンツリングバッファ２０８上に記録する。このようなリングバッファ２０８は、複数のコンテンツセグメント（例えば、ｖ１、ｖ２及びｖ３）、セグメントごとの開始時刻（例えば、Ｖ１＿ＳＴＡＲＴ＿ＴＳ、Ｖ２＿ＳＴＡＲＴ＿ＴＳ、Ｖ３＿ＳＴＡＲＴ＿ＴＳ）、及びセグメントごとの終了時刻（例えば、Ｖ１＿ＥＮＤ＿ＴＳ、Ｖ２＿ＥＮＤ＿ＴＳ、Ｖ３＿ＥＮＤ＿ＴＳ）を記憶してよい。そのようなセグメントは、コンソール２２８によってメディアファイル２１２（例えば、ＭＰ４、ＷｅｂＭ等）として記憶され得る。そのようなメディアファイル２１２は、ストレージ及び後続のストリーミングまたは後続の使用のためにストリーミングサーバ２２０にアップロードされ得るが、メディアファイル２１２は、任意のサーバ、クラウドサーバ、任意のコンソール２２８、または任意のユーザデバイス１３０に記憶され得る。セグメントごとのそのような開始時間及び終了時間は、コンソール２２８によってコンテンツタイムスタンプファイル２１４として記憶され得る。そのようなコンテンツタイムスタンプファイル２１４は、また、メディアファイル２１２のストリーミングＩＤにマッチするストリーミングＩＤを含み得、それによって、コンテンツタイムスタンプファイル２１４をメディアファイル２１２に関連付ける。そのようなコンテンツタイムスタンプファイル２１４は、アクティビティフィードサーバ２２４及び／またはＵＧＣサーバ２３２にアップロードして記憶され得るが、コンテンツタイムスタンプファイル２１４は、任意のサーバ、クラウドサーバ、任意のコンソール２２８、または任意のユーザデバイス１３０に記憶され得る。

【0038】

コンテンツレコーダ２０２がインタラクティブコンテンツタイトル２３０からコンテンツを受信して記録すると同時に、オブジェクトライブラリ２０４はインタラクティブコンテンツタイトル２３０からデータを受信し、オブジェクトレコーダ２０６は、データを追跡して、オブジェクトの開始時間及び終了時間を決定する。オブジェクトライブラリ２０４及びオブジェクトレコーダ２０６は、プラットフォームサーバ１２０、クラウドサーバ、またはサーバ２１８のいずれかに実装され得る。オブジェクトレコーダ２０６がオブジェクトの開始を検出するとき、オブジェクトレコーダ２０６は、オブジェクトライブラリ２０４からオブジェクトデータ（例えば、オブジェクトがアクティビティであった場合、アクティビティとのユーザインタラクション、アクティビティＩＤ、アクティビティ開始時間、アクティビティ終了時間、アクティビティ結果、アクティビティタイプ等である場合のデータ）を受信し、このアクティビティデータ（例えば、ＡｃｔｉｖｉｔｙＩＤ１、ＳＴＡＲＴ＿ＴＳ；ＡｃｔｉｖｉｔｙＩＤ２、ＳＴＡＲＴ＿ＴＳ；ＡｃｔｉｖｉｔｙＩＤ３、ＳＴＡＲＴ＿ＴＳ）をオブジェクトリングバッファ２１０に記録する。オブジェクトリングバッファ２１０上に記録されるそのようなアクティビティデータは、オブジェクトファイル２１６に記憶され得る。そのようなオブジェクトファイル２１６は、また、アクティビティ開始時間、アクティビティ終了時間、アクティビティＩＤ、アクティビティ結果、アクティビティタイプ（例えば、対抗試合、クエスト、タスク等）、アクティビティに関連するユーザまたはピアデータを含み得る。例えば、オブジェクトファイル２１６は、アクティビティ中に使用されるアイテムに関するデータを記憶し得る。そのようなオブジェクトファイル２１６はオブジェクトサーバ２２６に記憶され得るが、オブジェクトファイル２１６は任意のサーバ、クラウドサーバ、任意のコンソール２２８、または任意のユーザデバイス１３０に記憶され得る。

【0039】

そのようなオブジェクトデータ（例えば、オブジェクトファイル２１６）は、コンテンツデータ（例えば、メディアファイル２１２及び／またはコンテンツタイムスタンプファイル２１４）に関連付けられ得る。一例では、ＵＧＣサーバ２３２は、コンテンツタイムスタンプファイル２１４のストリーミングＩＤと、オブジェクトファイル２１６の対応するアクティビティＩＤとのマッチに基づいて、オブジェクトファイル２１６とともにコンテンツタイムスタンプファイル２１４を記憶し、コンテンツタイムスタンプファイル２１４をオブジェクトファイル２１６に関連付ける。別の例では、オブジェクトサーバ２２６は、オブジェクトファイル２１６を記憶し得、オブジェクトファイル２１６に関するクエリをＵＧＣサーバ２３２から受信し得る。そのようなクエリは、クエリとともに伝送されるコンテンツタイムスタンプファイル２１４のストリーミングＩＤにマッチするオブジェクトファイル２１６のアクティビティＩＤを検索することによって実行され得る。さらに別の例では、コンテンツタイムスタンプファイル２１４の開始時間及び終了時間を、クエリとともに伝送される対応するオブジェクトファイル２１６の開始時間及び終了時間とマッチさせることによって、記憶されたコンテンツタイムスタンプファイル２１４のクエリを実行し得る。そのようなオブジェクトファイル２１６は、また、ＵＧＣサーバ２３２によって、マッチしたコンテンツタイムスタンプファイル２１４に関連付けられ得るが、この関連付けは、任意のサーバ、クラウドサーバ、任意のコンソール２２８、または任意のユーザデバイス１３０によって行われ得る。別の例では、オブジェクトファイル２１６及びコンテンツタイムスタンプファイル２１４は、ファイル２１６、２１４のそれぞれの作成中にコンソール２２８によって関連付けられ得る。

【0040】

例示的な実施形態では、メディアファイル２１２及びアクティビティファイル２１６は、現在のセッション条件に関する情報を感情分析サーバ１４０に提供し得る。したがって、感情分析サーバ１４０は、そのようなメディアファイル２１２及びアクティビティファイル２１６を使用して、特定のメッセージのコンテキストが、監視された通信セッションに関連付けられたタグ付けルールのトリガ条件のいずれかを満たすかどうかを判定し得る。例えば、メディアファイル２１２及びアクティビティファイル２１６は、現在のゲームプレイセッションで表示され、インタラクトする特定のキャラクタ、場所、及びオブジェクトへの参照を含み得る。したがって、そのようなファイル２１２及び２１６に基づいて、感情分析サーバ１４０は、ゲーム内の挙動が、競争的なゲームプレイではなく、感情をインディケートしている場合があることを識別することができる。例えば、下品な言葉を叫びながらチームメイトを攻撃するような異常な挙動は、ゲームセッションのコンテキスト内で競争するための誠実な努力ではなく、怒りのインディケータであると識別される可能性がある。したがって、現在のゲーム内データがトリガ条件を満たすコンテキストを提供するかどうかの評価には、ユーザまたは他のユーザの特定のゲーム内ステータスの評価が含まれる場合がある。そのような場合、感情分析サーバ１４０は、メディアファイル２１２及びアクティビティファイル２１６を使用して、そのようなゲーム内ステータスがトリガ条件を満たす、またはトリガ条件に寄与するかどうかを評価し、判定することができる。

【0041】

図３は、感情の視覚的タグ付け及びヒートマッピングのための例示的な方法を示すフローチャートである。図３の方法３００は、ＣＤ、ＤＶＤ、またはハードドライブ等の不揮発性メモリを含むがこれらに限定されない非一時的コンピュータ可読記憶媒体内の実行可能命令として具現化されてよい。格納媒体の命令は、プロセッサ（または複数のプロセッサ）によって実行され得、格納媒体をホストするまたはそれ以外の方法でアクセスしているコンピューティングデバイスの様々なハードウェアコンポーネントに、方法を達成させる。図３で指定されたステップ（及びその順序）は例示的なものであり、その実行順序を含むが、それに限定されない、その様々な代替形態、均等形態、または派生形態を含み得る。

【0042】

ステップ３１０において、感情プロファイルが、利用可能なタグに対してメモリ（例えば、データベース１６０）に記憶され得る。異なるタグには異なる感情プロファイルを関連付けることができ、さらにそれぞれのユーザに合わせてカスタマイズすることができる。各感情プロファイルは、感情状態を識別することに関する１つ以上の学習モデルと関連付けられるばかりでなく、１つ以上の感情ベースのタグ付けルールと関連付けられることもでき、感情ベースのタグ付けルールのそれぞれは、１つ以上のタグ付けアクションに関連付けられた１つ以上のトリガ感情条件を指定することができる。トリガ感情条件は、ユーザ、他のユーザ、特定の通信セッションのメッセージ、及び関連するコンテンツセッション（複数可）に関する任意の感情条件及びコンテキストに関し得る。一方、タグには、絵文字、色、テキスト、アイコンなどの任意の組み合わせを含む、任意のタイプの視覚的インディケータが含まれ得る。

【0043】

ステップ３２０において、現在の通信セッションは、感情プロファイルに基づいて、感情分析サーバ１４０によって監視され得る。考えられるそれぞれの感情は特定の感情プロファイルに関連付けられ得るため、感情分析サーバ１４０は、データベース１６０から関連する感情プロファイルを取得し、関連するタグ付けルールを使用して、通信セッションをリアルタイム（またはほぼリアルタイム）で監視し得る。さらに、関連のタグ付けルールが他のセッションまたは関連セッション（例えば、ゲームプレイセッション）を含むトリガ条件を指定し得る場合、感情分析サーバ１４０はまた、そのようなトリガ条件を指定したユーザに関連付けられるメディアファイル２１２及びアクティビティファイル２１６を取得し得る。メディアファイル２１６及びアクティビティファイル２１６は、トリガ条件が満たされているかどうかを判定するために、通信セッションの条件と併せて感情分析サーバ１４０によって使用され得る。

【0044】

ステップ３３０では、通信セッション内の異なるメッセージに関連付けられた１つ以上の感情状態を識別して、分類し得る。そのような識別及び分類は、通信セッション内の１つ以上のメッセージに関連付けられた、タグ付けルールをトリガするものとして検出され得るインディケータのセットに基づき得る。上記のように、タグ付けルールによって指定されたトリガ条件がインディケータによって満たされた場合、インディケータのセットは、そのタグ付けルールをトリガすることができる。異なるユーザは、所与の感情に対して異なるインディケータを示す可能性があるため、ある１ユーザに対してタグ付けルールをトリガするインディケータのセットが、別のユーザに対してはタグ付けルールをトリガしない可能性がある。全てのユーザが監視されている可能性があるマルチユーザ通信セッションでは、様々な感情ベースの学習モデルとトリガ条件とを使用して、各ユーザの感情状態（複数可）を評価し、特徴付けることができる。

【0045】

ステップ３４０では、リアルタイムまたはほぼリアルタイムでユーザの対応する感情状態を視覚的にインディケートするために、タグ付けルールの条件をトリガする通信セッション内のメッセージにタグ付けすることができる。そのようなタグ付けは、通信セッションの提示に視覚的なタグを追加することを含む場合がある。通信セッションがテキストベースのチャットストリームを含む場合、タグは、関連するチャットメッセージの隣に表示されてもよい。通信セッションがビデオベースのチャットストリームを含む場合、タグは、メッセージの写しまたはメッセージを発信したユーザの隣に表示されてもよい。

【0046】

ステップ３５０において、感情分析サーバ１４０は、所与の通信セッションの、または複数のセッションにわたる感情に関する分析マップを生成することができる。そのような分析マップは、感情のタイムライン、感情の遍歴の概要、ヒートマップ、及びその他のグラフィックマップ表示を含み得る。いくつかの実装では、分析マップは、同じセッションまたは複数のセッションにわたる他のユーザ及び各自の感情状態に関するデータをさらに含み得る。任意のセッションパラメータ（特定のゲームタイトル、特定のゲーム内アクティビティ、競合相手、ピア）をヒートマップの生成に使用することもできる。その結果、１つ以上のパラメータにわたってユーザまたはユーザのグループが示す感情の種類及び範囲を図示する、様々な種類の感情ヒートマップが生成され得る。

【0047】

図４Ａは、感情に基づいて視覚的にタグ付けされた例示的なチャットストリームを示す。図示のように、感情ベースのタグ４１０の集まりをチャットストリーム４２０の表示に追加することができる。図示のチャットストリーム４２０は、２人の異なるユーザからのメッセージを含み、そのうちの１人は、丸囲みＣアイコンに関連付けられており、感情状態の変化をほとんど示さない。しかし、＠アイコンに関連付けられた他のユーザは、チャットストリーム４２０が進行するときに、複数の異なる感情状態を示す。感情ベースのタグ４１０は、＠ユーザから発信されたチャットストリーム４２０内の最初のメッセージには、考え込むまたは考えている絵文字がタグ付けされていたが、その後、イライラ、つり上げた眉、湯気が立つ息、及び怒りによる紅潮の絵文字がタグ付けされたことを示している。

【0048】

感情ベースのタグ４１０の追加は、各メッセージがチャットストリーム４２０に送信される際に、リアルタイムまたはほぼリアルタイムで自動的に追加され得る。感情ベースのタグは、各ユーザのプライバシーまたは好みの設定に応じて、ユーザ、他のユーザ、または選択されたユーザグループに見えるようにされている場合がある。その結果、表示が動的に更新されて、メッセージが送信された時点の発信元ユーザの感情状態をインディケートする感情ベースのタグ４１０が追加され得る。したがって、通信セッションの過程を通じて、参加しているユーザの感情状態が追跡され、感情ベースのタグによって視覚的にタグ付けされ得る。参加しているユーザに、自分の感情状態やピアの感情状態を通知することに加え、感情ベースのタグは、さらに追跡され、感情ベースのフィルタリング及びマッピングを含む、さらなるアクションを実行するために使用されることがある。

【0049】

図４Ｂは、図４Ａの通信セッション内での絵文字の感情ベースのフィルトレーションの例示的な実装を示す。図示のように、チャットストリーム４２０の最後のメッセージに関連付けられた感情ベースのタグ４１０は、怒りによる紅潮をインディケートしている。発信元のユーザ（例えば、＠ユーザ）は、感情ベースのタグの精度に関するフィードバックを提供するために、または追加のメッセージ入力を入力するために、最後のメッセージを選択することができる。そのような例では、代替であるが関連する感情ベースのタグのフィルタリングされたメニュー４３０が、最後の感情ベースのタグ４１０に基づいて生成され得る。そのようなフィルタリングされたメニュー４３０はまた、別のユーザがタグ割り当ての認識された正確さに関するフィードバックを提供するために、生成されてもよい。発信元のユーザまたは別のユーザは、メッセージに関連する感情状態をより正確に、または反映していると考えられる別のタグを選択することもできる。

【0050】

図４Ｃは、図４Ａの通信セッションに関連する例示的な感情の遍歴４４０を示す。図示するように、感情の遍歴４４０は、通信セッション中の丸囲みＣユーザに関連する感情状態の変化を示す。感情の遍歴４４０は、丸囲みＣユーザの感情状態を図示するために生成されていてもよいため、他のユーザに関連付けられた感情及びメッセージは表示されない場合がある。ただし、感情の変化が発生したと同時に、通信セッション中に何が起こっていたかを示すために、感情の変化に関連する特定のメッセージが含まれる場合がある。

【0051】

図４Ｄは、複数のインタラクティブアクティビティにわたる複数のプレイヤに関連する感情の例示的なヒートマップ４５０を示す。図示するように、ヒートマップ４５０は、（例えば、異なるゲームタイトル、または所与のゲームタイトル内の異なるレベル、場所、クエストなどにおける）アクティビティＡ～Ｄに関連して、ゲームプレイ中にピアＡ～Ｄによって示される異なる感情状態の強度をマッピングすることができる。そのようなヒートマップ４５０は、例えば、比較可能な興奮または関与のレベルをインディケートすることができ、それによって、開発者、トーナメント主催者、マッチメイキングシステム、及びユーザ自身に、どのタイプのアクティビティとの関与を推奨すべきかに関しての有用な情報をさらに提供することができる。ヒートマップ４５０はアクティビティによるマッピングに焦点を当てているが、異なるタイプのセッションパラメータに対して、異なるヒートマップ４５０を生成することができる。例えば、ヒートマップ４５０は、異なるピア、ゲームタイトル、ゲーム内イベント、ゲーム内オブジェクト、及びセッションの他の識別可能な条件に関して示される感情に対して生成されてもよい。

【0052】

図５は、本発明の実施形態で使用され得る例示的な電子エンターテインメントシステムのブロック図である。図５のエンターテインメントシステム５００は、メインメモリ５０５、中央処理装置（ＣＰＵ）５１０、ベクトルユニット５１５、グラフィックスプロセッシングユニット５２０、入出力（Ｉ／Ｏ）プロセッサ５２５、Ｉ／Ｏプロセッサメモリ５３０、コントローラインタフェース５３５、メモリカード５４０、ユニバーサルシリアルバス（ＵＳＢ）インタフェース５４５、及びＩＥＥＥインタフェース５５０を含む。エンターテインメントシステム５００はさらに、オペレーティングシステムリードオンリメモリ（ＯＳ ＲＯＭ）５５５、音声処理ユニット５６０、光ディスク制御ユニット５７０、及びハードディスクドライブ５６５を含み、これらはバス５７５を介してＩ／Ｏプロセッサ５２５に接続される。

【0053】

エンターテインメントシステム５００は、電子ゲームコンソールであり得る。あるいは、エンターテインメントシステム５００は、汎用コンピュータ、セットトップボックス、ハンドヘルドゲームデバイス、タブレットコンピューティングデバイス、モバイルコンピューティングデバイス、または、携帯電話として実装されてよい。エンターテインメントシステムは、特定のフォームファクタ、目的、または設計に応じてより多くのまたはより少ない操作構成要素を含む場合がある。

【0054】

図５のＣＰＵ５１０、ベクトルユニット５１５、グラフィックスプロセッシングユニット５２０、及びＩ／Ｏプロセッサ５２５は、システムバス５８５を介して通信する。さらに、図５のＣＰＵ５１０は専用バス５８０を介してメインメモリ５０５と通信し、ベクトルユニット５１５及びグラフィックスプロセッシングユニット５２０は専用バス５９０を介して通信し得る。図５のＣＰＵ５１０は、ＯＳ ＲＯＭ５５５及びメインメモリ５０５に格納されたプログラムを実行する。図５のメインメモリ５０５は、予め格納されたプログラム、及び光ディスク制御ユニット５７０を使用し、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光ディスク（図示せず）からＩ／Ｏプロセッサ５２５を介して転送されたプログラムを含む場合がある。図５のＩ／Ｏプロセッサ５２５は、また、無線または他の通信ネットワーク（例えば、４Ｇ、ＬＴＥ、３Ｇ等）を通じて転送されるコンテンツの導入を可能にし得る。図５のＩ／Ｏプロセッサ５２５は、主に、ＣＰＵ５１０、ベクトルユニット５１５、グラフィックスプロセッシングユニット５２０、及びコントローラインタフェース５３５を含むエンターテインメントシステム５００の様々なデバイス間のデータ交換を制御する。

【0055】

図５のグラフィックスプロセッシングユニット５２０は、ＣＰＵ５１０及びベクトルユニット５１５から受信したグラフィックス命令を実行して、表示デバイス（図示せず）で表示するための画像を生成する。例えば、図５のベクトルユニット５１５は、オブジェクトを三次元座標から二次元座標に変換し、二次元座標をグラフィックスプロセッシングユニット５２０に送信し得る。さらに、音声処理ユニット５６０は、命令を実行して音声信号を生成し、音声信号はスピーカ（図示せず）などのオーディオデバイスに出力される。他のデバイスは、ＵＳＢインタフェース５４５、及び無線トランシーバ等のＩＥＥＥ１３９４インタフェース５５０を介してエンターテインメントシステム５００に接続され得、これらのインタフェースは、また、システム５００に、またはプロセッサ等のいくつかの他のコンポーネントの一部として埋め込まれ得る。

【0056】

図５のエンターテインメントシステム５００のユーザは、コントローラインタフェース５３５を介して命令をＣＰＵ５１０に提供する。例えば、ユーザは、特定のゲーム情報をメモリカード５４０もしくは他の非一時的コンピュータ可読記憶媒体に記憶することをＣＰＵ５１０に命令し得る、またはゲーム内のキャラクタにいくつかの特定のアクションを行うことを命令し得る。

【0057】

本発明は、様々なエンドユーザデバイスによって動作可能であり得るアプリケーションに実装され得る。例えば、エンドユーザデバイスは、パソコン、ホームエンターテインメントシステム（例えば、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ２（登録商標）またはＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ３（登録商標）またはＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ４（登録商標））、ポータブルゲームデバイス（例えば、Ｓｏｎｙ ＰＳＰ（登録商標）またはＳｏｎｙ Ｖｉｔａ（登録商標））、または、下位ではあるが異なる製造業者のホームエンターテインメントシステムであり得る。本明細書に記載する本方法は、様々なデバイスで操作可能であることを十分に意図している。本発明は、また、クロスタイトル中立状態で実装され得、本発明のシステムの実施形態は、様々なパブリッシャーからの様々なタイトルにわたって利用され得る。

【0058】

本発明は、様々なデバイスを使用して操作可能であり得るアプリケーションに実装されてよい。非一時的なコンピュータ可読格納媒体は、命令を実行のために中央処理装置（ＣＰＵ）に提供することに関与する任意の媒体または複数の媒体を指す。そのような媒体は、光学ディスク、磁気ディスクなどの不揮発性媒体、及び動的メモリなどの揮発性媒体を含むが、これらに限定されない多くの形態を取ることができる。非一時的なコンピュータ可読媒体の一般的形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ－ＲＯＭディスク、デジタルビデオディスク（ＤＶＤ）、任意の他の光学媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨＥＰＲＯＭ、ならびに任意の他のメモリチップもしくはカートリッジを含む。

【0059】

様々な形態の伝送媒体は、１つ以上の命令の１つ以上のシーケンスを実行するためにＣＰＵに伝達することに関与し得る。バスは、データを、システムＲＡＭに伝達し、そこからＣＰＵが命令を取得し実行する。システムＲＡＭによって受信された命令は、任意選択で、ＣＰＵによって実行される前にまたは後のいずれかに、固定ディスク上に記憶することができる。様々な形のストレージが同様に、同じものを実装するために必要なネットワークインタフェース及びネットワークトポロジに加えて実装され得る。

【0060】

前述の技術の詳細な説明は、例示及び説明の目的で提示されている。上記詳細な説明は、包括的であることまたは本技術を開示された正確な形態に限定することを意図するものではない。上記の教示に照らして、多くの修正形態及び変形形態が可能である。記載した実施形態は、技術の原理、その実際の適用を最も良く説明するために、且つ、様々な実施形態で、及び企図された特定の用途に適した様々な修正形態で当業者が技術を利用することを可能にするために選択された。本技術の範囲は、特許請求の範囲により定義されることが意図される。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【手続補正書】

【提出日】2024-04-30

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

通信セッションにおける通信を視覚的にタグ付けする方法であって、
通信ネットワークを介して、１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視することであって、前記現在の通信セッションが、前記ユーザデバイスによって制御されるキャラクタを含む現在の仮想環境に関連付けられており、前記ユーザデバイスからメッセージのセットが通信されている間に、前記現在の仮想環境内で、１つ以上のキャラクタの挙動を示す、前記監視することと、
前記メッセージのセットが、前記ユーザデバイスから通信されている間に、前記現在の仮想環境内で示される前記キャラクタの挙動に基づいて、前記セット内の前記メッセージの１つ以上に関連付けられた感情状態を分類することと、
前記セット内の少なくとも１つの前記メッセージの分類された感情状態が、前記ユーザデバイスの前記ユーザに合わせてカスタマイズされたタグ付けルールをトリガするのを検出することと、
前記少なくとも１つのメッセージの前記分類された感情状態をインディケートする１つ以上の視覚的タグを含むように、前記カスタマイズされたタグ付けルールに基づいて、前記現在の通信セッション内のメッセージの視覚的提示の１つ以上のバージョンを変更することであって、前記ユーザデバイスに提供される前記視覚的提示のバージョンが、前記現在の通信セッションで前記他のユーザデバイスの１つ以上に提供される前記視覚的提示のバージョンとは異なる、前記変更することと、
を含む、方法。

【請求項2】

ユーザ感情プロファイルを前記ユーザのメモリに記憶することであって、前記ユーザ感情プロファイルが、複数のタグ付けルールの中の前記タグ付けルールを含む、前記記憶すること、をさらに含む、請求項１に記載の方法。

【請求項3】

前記タグ付けルールのそれぞれは、前記ユーザの感情状態と、１つ以上の対応する視覚的タグとを指定する、請求項２に記載の方法。

【請求項4】

前記少なくとも１つのメッセージが前記ユーザデバイスに入力されるとき、前記視覚的提示が前記視覚的タグを含むように、リアルタイムで変更される、請求項１に記載の方法。

【請求項5】

前記メッセージの前記セットに関連するアクティビティを検出することと、
前記メッセージの前記セットの前記分類された感情状態に基づいて、利用可能な視覚的タグをフィルタリングすることと、
前記フィルタリングされた視覚的タグのセットを表示するメニューを生成することと、
をさらに含む、請求項１に記載の方法。

【請求項6】

前記ユーザに関連付けられた複数の感情状態を追跡することと、前記追跡された感情状態に基づいて表示を生成することと、
をさらに含む、請求項１に記載の方法。

【請求項7】

前記表示は、前記追跡された感情状態が、１つ以上の通信セッション中に検出されたシーケンスに従って、前記追跡された感情状態を提示するタイムラインである、請求項６に記載の方法。

【請求項8】

複数の他のユーザに関連する複数の感情状態を追跡することであって、前記表示が、１つ以上のパラメータにわたって前記ユーザと前記他のユーザとに関連付けられた前記追跡された感情状態を視覚的に提示するヒートマップである、前記追跡すること、
をさらに含む、請求項６に記載の方法。

【請求項9】

通信セッションにおける通信を視覚的にタグ付けするシステムであって、
通信ネットワークを介して通信する通信インタフェースであって、前記通信インタフェースが、１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視し、前記現在の通信セッションが、前記ユーザデバイス及び前記他のユーザデバイスから通信される複数のメッセージの視覚的提示を含み、前記現在の通信セッションが、前記ユーザデバイスによって制御されるキャラクタを含む現在の仮想環境に関連付けられており、前記ユーザデバイスからメッセージのセットが通信されている間に、前記現在の仮想環境内で、１つ以上のキャラクタの挙動を示す、前記通信インタフェースと、
メモリに記憶された命令を実行するプロセッサであって、前記プロセッサが、前記命令を実行して、
前記メッセージのセットが、前記ユーザデバイスから通信されている間に、前記現在の仮想環境内で示される前記キャラクタの挙動に基づいて、前記セット内の前記メッセージの１つ以上に関連付けられた感情状態を分類することと、
前記セット内の少なくとも１つの前記メッセージの分類された感情状態が、前記ユーザデバイスの前記ユーザに合わせてカスタマイズされたタグ付けルールをトリガするのを検出することと、
前記少なくとも１つのメッセージの前記分類された感情状態をインディケートする１つ以上の視覚的タグを含むように、前記カスタマイズされたタグ付けルールに基づいて、前記現在の通信セッション内のメッセージの前記視覚的提示の１つ以上のバージョンを変更することであって、前記ユーザデバイスに提供される前記視覚的提示のバージョンが、前記現在の通信セッションで前記他のユーザデバイスの１つ以上に提供される前記視覚的提示のバージョンとは異なる、前記変更することと、
を行う、前記プロセッサと、
を備える、システム。

【請求項10】

前記ユーザのユーザ感情プロファイルを記憶するメモリであって、前記ユーザ感情プロファイルが、複数のタグ付けルールの中の前記タグ付けルールを含む、前記メモリ、
をさらに備える、請求項９に記載のシステム。

【請求項11】

前記タグ付けルールのそれぞれは、前記ユーザの感情状態と、１つ以上の対応する視覚的タグとを指定する、請求項１０に記載のシステム。

【請求項12】

前記少なくとも１つのメッセージが前記ユーザデバイスに入力されるとき、前記視覚的提示が前記視覚的タグを含むように、リアルタイムで変更される、請求項９に記載のシステム。

【請求項13】

前記プロセッサは、
前記メッセージの前記セットに関連するアクティビティを検出することと、
前記メッセージの前記セットの前記分類された感情状態に基づいて、利用可能な視覚的タグをフィルタリングすることと、
前記フィルタリングされた視覚的タグのセットを表示するメニューを生成することと、
を行う命令をさらに実行する、請求項９に記載のシステム。

【請求項14】

前記ユーザに関連付けられた複数の感情状態を追跡するメモリをさらに備えており、前記プロセッサが、前記追跡された感情状態に基づいて、表示を生成する命令をさらに実行する、請求項９に記載のシステム。

【請求項15】

前記表示は、前記追跡された感情状態が、１つ以上の通信セッション中に検出されたシーケンスに従って、前記追跡された感情状態を提示するタイムラインである、請求項１４に記載のシステム。

【請求項16】

前記メモリは、さらに、複数の他のユーザに関連する複数の感情状態を追跡し、前記表示が、１つ以上のパラメータにわたって前記ユーザと前記他のユーザとに関連付けられた前記追跡された感情状態を視覚的に提示するヒートマップである、請求項１４に記載のシステム。

【請求項17】

通信セッションにおける通信を視覚的にタグ付けする方法を行うように、プロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法が、
通信ネットワークを介して、１つ以上の他のユーザデバイスと通信しているユーザデバイスに関連付けられた現在の通信セッションを監視することであって、前記現在の通信セッションが、前記ユーザデバイスによって制御されるキャラクタを含む現在の仮想環境に関連付けられており、前記ユーザデバイスからメッセージのセットが通信されている間に、前記現在の仮想環境内で、１つ以上のキャラクタの挙動を示す、前記監視することと、
前記メッセージのセットが、前記ユーザデバイスから通信されている間に、前記現在の仮想環境内で示される前記キャラクタの挙動に基づいて、前記セット内の前記メッセージの１つ以上に関連付けられた感情状態を分類することと、
前記セット内の少なくとも１つの前記メッセージの分類された感情状態が、前記ユーザデバイスの前記ユーザに合わせてカスタマイズされたタグ付けルールをトリガするのを検出することと、
前記少なくとも１つのメッセージの前記分類された感情状態をインディケートする１つ以上の視覚的タグを含むように、前記カスタマイズされたタグ付けルールに基づいて、前記現在の通信セッション内のメッセージの視覚的提示の１つ以上のバージョンを変更することであって、前記ユーザデバイスに提供される前記視覚的提示のバージョンが、前記現在の通信セッションで前記他のユーザデバイスの１つ以上に提供される前記視覚的提示のバージョンとは異なる、前記変更することと、
を含む、非一時的コンピュータ可読記憶媒体。

【請求項18】

前記感情状態を分類することが、前記ユーザデバイスの前記ユーザに固有の感情ベースの学習モデルにさらに基づいている、請求項１に記載の方法。

【請求項19】

前記感情状態を分類することが、前記現在の仮想環境内の１つ以上のゲーム内エラーにさらに基づいている、請求項１に記載の方法。

【請求項20】

前記視覚的提示の１つ以上のバージョンを変更することが、前記タグ付けルールをトリガする前記少なくとも１つのメッセージの前記分類された感情状態に基づいて、１つ以上のゲームベースの変更を実装すること
を含む、請求項１に記載の方法。

【国際調査報告】