特開 2024-161342 ビデオゲーム内の人工知能（ＡＩ）支援コミュニケーションのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161342

(43)【公開日】2024-11-19

(54)【発明の名称】ビデオゲーム内の人工知能（ＡＩ）支援コミュニケーションのためのシステム及び方法

(51)【国際特許分類】

   A63F 13/85 20140101AFI20241112BHJP

   A63F 13/211 20140101ALI20241112BHJP

   A63F 13/212 20140101ALI20241112BHJP

   A63F 13/87 20140101ALI20241112BHJP

【ＦＩ】

A63F13/85

A63F13/211

A63F13/212

A63F13/87

【審査請求】有

【請求項の数】28

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024074024

(22)【出願日】2024-04-30

(31)【優先権主張番号】18/309,833

(32)【優先日】2023-05-01

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】310021766

【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント

(74)【代理人】

【識別番号】100099324

【弁理士】

【氏名又は名称】鈴木 正剛

(72)【発明者】

【氏名】グレン ブラック

(72)【発明者】

【氏名】ジェフリー スタッフォード

(57)【要約】      （修正有）

【課題】適切にメッセージを伝達する。
【解決手段】ターゲットプレイヤへのメッセージを含む入力データを受信し、メッセージを定義する入力データの部分は、第一人工知能モデルコンポーネントを使用して自動的に識別される。第二人工知能モデルコンポーネントを使用して、入力データの部分によって定義されたメッセージの意味を自動的に決定する。第三人工知能モデルコンポーネントを使用して、メッセージの意味に基づいて、メッセージがターゲットプレイヤの現在のゲーム状態及びゲームコンテキストに関連性があるかどうかを自動的に決定する。メッセージがターゲットプレイヤの現在のゲーム状態及びゲームコンテキストに関連性があると決定される場合、第四人工知能モデルコンポーネントの使用を通じて、メッセージの意味を伝達するコミュニケーションをターゲットプレイヤに自動的に作成する。コミュニケーションはターゲットプレイヤに配信される。
【選択図】図１

【特許請求の範囲】

【請求項1】

ビデオゲーム内の人工知能支援コミュニケーションのためのシステムであって、
前記ビデオゲーム内のターゲットプレイヤへのコミュニケーションのためのメッセージを含む入力データを受信するように構成された入力プロセッサと、
前記入力データを自動的に処理して前記メッセージを定義する前記入力データの部分を識別するように構成されて訓練された第一人工知能モデルコンポーネントを有するメッセージ識別エンジンと、
前記メッセージ識別エンジンによって識別された前記入力データの前記部分によって定義された前記メッセージの意味を自動的に決定するように構成されて訓練された第二人工知能モデルコンポーネントを有するメッセージ解釈エンジンと、
前記メッセージ解釈エンジンによって決定された前記メッセージの前記意味に基づいて、前記メッセージが前記ターゲットプレイヤの現在のゲーム状態及び前記ターゲットプレイヤの現在のゲームコンテキストに関連性があるかどうかを自動的に決定するように構成されて訓練された第三人工知能モデルコンポーネントを有するメッセージ関連性評価エンジンと、
前記メッセージが前記メッセージ関連性評価エンジンによって関連性があると決定される場合、前記メッセージ解釈エンジンによって決定された前記メッセージの前記意味を伝達する、前記ターゲットプレイヤへのコミュニケーションを自動的に作成するように構成されて訓練された第四人工知能モデルコンポーネントを有するコミュニケーション伝達エンジンと、
前記ターゲットプレイヤへの前記コミュニケーション伝達エンジンによって作成された前記コミュニケーションを配信するように構成された出力プロセッサと、
を有するシステム。

【請求項2】

前記入力データは、ジェスチャを行っている人物のビデオ、及び前記ジェスチャを行っている前記人物に関連する追跡メタデータのうちの１つ以上を含み、前記ターゲットプレイヤへの前記コミュニケーションのための前記メッセージは、前記ジェスチャによって少なくとも部分的に提供される、
請求項１に記載のシステム。

【請求項3】

前記追跡メタデータは、前記人物の姿勢、前記人物の運動、コントローラデバイスの位置、前記コントローラデバイスの向き、前記コントローラデバイスの運動、前記人物によって装着されたウェアラブルデバイスの位置、前記人物によって装着された前記ウェアラブルデバイスの向き、及び前記人物によって装着された前記ウェアラブルデバイスの運動のうちの１つ以上を定義する、
請求項２に記載のシステム。

【請求項4】

前記入力データは、オーディオクリップ及びビデオゲームコントローラ入力のうちの１つ以上を含み、前記ターゲットプレイヤへの前記コミュニケーションのための前記メッセージは、前記オーディオクリップ及び前記ビデオゲームコントローラ入力のうちの１つ以上によって少なくとも部分的に提供される、
請求項２に記載のシステム。

【請求項5】

前記メッセージを定義する前記入力データの前記部分は、前記ジェスチャを行っている前記人物の前記ビデオのいくつかのビデオフレームのそれぞれの内の画素領域として識別される、
請求項２に記載のシステム。

【請求項6】

前記第二人工知能モデルコンポーネントは、前記ジェスチャを行うために使用された身体部位の識別を通じ、かつ前記身体部位の測位及び前記身体部位の運動方法のうちの１つ以上の識別を通じて、前記メッセージの前記意味を決定するように構成されて訓練される、
請求項２に記載のシステム。

【請求項7】

前記第二人工知能モデルコンポーネントは、前記人物が前記ジェスチャを行うことを終了する前に、前記メッセージの前記意味を決定するように構成されて訓練される、
請求項２に記載のシステム。

【請求項8】

前記第三人工知能モデルコンポーネントは、前記メッセージの前記意味を評価して前記メッセージの件名及び前記メッセージの前記件名に関連するアクションを識別するように構成されて訓練され、前記第三人工知能モデルコンポーネントは、前記メッセージの前記件名が前記ターゲットプレイヤの前記現在のゲームコンテキスト内にまだ存在し、かつ前記メッセージの前記件名に関連する前記アクションが、依然として前記ターゲットプレイヤの前記現在のゲーム状態に関連していると決定される場合、前記メッセージを関連性があるとみなすように構成されて訓練される、
請求項１に記載のシステム。

【請求項9】

前記第三人工知能モデルコンポーネントは、前記メッセージの前記件名が、もはや前記ターゲットプレイヤの前記現在のゲームコンテキスト内に存在しなくなったと決定される場合、または前記メッセージの前記件名に関連する前記アクションが、もはや前記ターゲットプレイヤの前記現在のゲーム状態に関連しなくなったと決定される場合、前記システムによる前記メッセージのさらなる処理をキャンセルするように構成されて訓練される、
請求項８に記載のシステム。

【請求項10】

前記第三人工知能モデルコンポーネントは、前記メッセージの前記件名に関連する前記アクションが前記ターゲットプレイヤの前記現在のゲーム状態を改善するために有益ではないと決定される場合、前記システムによる前記メッセージのさらなる処理をキャンセルするように構成されて訓練される、
請求項８に記載のシステム。

【請求項11】

前記第三人工知能モデルコンポーネントは、前記メッセージの前記件名及び前記メッセージの前記件名に関連する前記アクションが前記ターゲットプレイヤに既に伝達された別のコミュニケーションと冗長性があると決定される場合、前記システムによる前記メッセージのさらなる処理をキャンセルするように構成されて訓練される、
請求項８に記載のシステム。

【請求項12】

前記第四人工知能モデルコンポーネントは、前記メッセージ解釈エンジンによって決定された複数のメッセージと同様の意味を伝達する前記ターゲットプレイヤへの統合されたコミュニケーションを、前記複数のメッセージに対して前記ターゲットプレイヤへと複数のコミュニケーションを自動的に作成する代わりに、自動的に作成するように構成されて訓練される、
請求項１に記載のシステム。

【請求項13】

前記第四人工知能モデルコンポーネントは、前記コミュニケーションを前記ターゲットプレイヤに伝達するためにより高い緊急度レベルを自動的に認識するように構成されて訓練され、前記第四人工知能モデルコンポーネントは、前記コミュニケーションを前記ターゲットプレイヤに伝達するために前記より高い緊急度レベルを認識することに応答して、前記メッセージのより短いバージョンを伝達する短縮コミュニケーションを前記ターゲットプレイヤに自動的に作成するように構成されて訓練される、
請求項１に記載のシステム。

【請求項14】

前記第四人工知能モデルコンポーネントは、前記ターゲットプレイヤへの前記コミュニケーションのフォーマットを自動的に決定するように構成されて訓練され、前記フォーマットは、テキストフォーマット、可聴フォーマット、グラフィカルフォーマット、及びハプティックフォーマットのうちの１つ以上である、
請求項１に記載のシステム。

【請求項15】

ビデオゲーム内の人工知能支援コミュニケーションのための方法であって、
前記ビデオゲームのターゲットプレイヤへのコミュニケーションのためのメッセージを含む入力データを受信し、
第一人工知能モデルコンポーネントの実行を通じて、前記メッセージを定義する前記入力データの部分を自動的に識別し、
第二人工知能モデルコンポーネントの実行を通じて、前記入力データの前記部分によって定義された前記メッセージの意味を自動的に決定し、
第三人工知能モデルコンポーネントの実行を通じて、前記メッセージの前記意味に基づいて、前記メッセージが前記ターゲットプレイヤの現在のゲーム状態及びゲームコンテキストに関連性があるかどうかを自動的に決定し、
前記メッセージが前記ターゲットプレイヤの前記現在のゲーム状態及び前記ゲームコンテキストに関連性があると決定される場合、第四人工知能モデルコンポーネントの実行を通じて、前記メッセージの前記意味を伝達するコミュニケーションを前記ターゲットプレイヤに自動的に作成し、
前記コミュニケーションを前記ターゲットプレイヤに配信する、
方法。

【請求項16】

前記入力データは、ジェスチャを行っている人物のビデオと、前記ジェスチャを行っている前記人物に関連する追跡メタデータのうちの１つ以上を含み、前記ターゲットプレイヤへの前記コミュニケーションのための前記メッセージは、前記ジェスチャによって少なくとも部分的に提供される、
請求項１５に記載の方法。

【請求項17】

前記追跡メタデータは、前記人物の姿勢、前記人物の運動、コントローラデバイスの位置、前記コントローラデバイスの向き、前記コントローラデバイスの運動、前記人物によって装着されたウェアラブルデバイスの位置、前記人物によって装着された前記ウェアラブルデバイスの向き、及び前記人物によって装着された前記ウェアラブルデバイスの運動のうちの１つ以上を定義する、
請求項１６に記載の方法。

【請求項18】

前記入力データは、オーディオクリップ及びビデオゲームコントローラ入力のうちの１つ以上を含み、前記ターゲットプレイヤへの前記コミュニケーションのための前記メッセージは、前記オーディオクリップ及び前記ビデオゲームコントローラ入力のうちの１つ以上によって少なくとも部分的に提供される、
請求項１６に記載の方法。

【請求項19】

前記メッセージを定義する前記入力データの前記部分は、前記ジェスチャを行っている前記人物の前記ビデオのいくつかのビデオフレームのそれぞれの内の画素領域として識別される、
請求項１６に記載の方法。

【請求項20】

前記第二人工知能モデルコンポーネントを実行して、前記ジェスチャを行うために使用された身体部位を自動的に識別し、前記身体部位の測位及び前記身体部位の運動方法のうちの１つ以上を自動的に識別し、
前記第二人工知能モデルコンポーネントを実行して、前記身体部位、前記身体部位の前記測位、及び前記身体部位の前記運動方法を分析し、前記メッセージの前記意味を決定し、
をさらに含む、
請求項１６に記載の方法。

【請求項21】

前記第二人工知能モデルコンポーネントを実行して、前記人物が前記ジェスチャを行うことを終了する前に、前記メッセージの前記意味を決定することをさらに含む、
請求項１６に記載の方法。

【請求項22】

前記第三人工知能モデルコンポーネントを実行して、前記メッセージの前記意味を評価し、前記メッセージの件名及び前記メッセージの前記件名に関連するアクションを識別し、
前記第三人工知能モデルコンポーネントを実行して、前記メッセージの前記件名が前記ターゲットプレイヤの前記現在のゲームコンテキスト内にまだ存在しており、かつ前記メッセージの前記件名に関連する前記アクションが、依然として前記ターゲットプレイヤの前記現在のゲーム状態に関連していると決定される場合、前記メッセージを関連性があるとみなすことと、
をさらに含む、
請求項１５に記載の方法。

【請求項23】

前記第三人工知能モデルコンポーネントを実行して、前記メッセージの前記件名が、もはや前記ターゲットプレイヤの前記現在のゲームコンテキスト内に存在しなくなったと決定される場合、または前記メッセージの前記件名に関連する前記アクションが、もはや前記ターゲットプレイヤの前記現在のゲーム状態に関連しなくなったと決定される場合、前記メッセージのさらなる処理をキャンセルすることをさらに含む、
請求項２２に記載の方法。

【請求項24】

前記第三人工知能モデルコンポーネントを実行して、前記メッセージの前記件名に関連する前記アクションが前記ターゲットプレイヤの前記現在のゲーム状態を改善するために有益ではないと決定される場合、前記メッセージのさらなる処理をキャンセルすることをさらに含む、
請求項２２に記載の方法。

【請求項25】

前記第三人工知能モデルコンポーネントを実行して、前記メッセージの前記件名及び前記メッセージの前記件名に関連する前記アクションが前記ターゲットプレイヤに既に伝達された別のコミュニケーションに対し冗長性があると決定される場合、前記メッセージのさらなる処理をキャンセルすることをさらに含む、
請求項２２に記載の方法。

【請求項26】

前記第四人工知能モデルコンポーネントを実行して、前記メッセージ解釈エンジンによって決定された複数のメッセージと同様の意味を伝達する前記ターゲットプレイヤへの統合されたコミュニケーションを、前記複数のメッセージに対して前記ターゲットプレイヤへと複数のコミュニケーションを自動的に作成する代わりに、自動的に作成する、
請求項１５に記載の方法。

【請求項27】

さらに、前記第四人工知能モデルコンポーネントを実行して、前記ターゲットプレイヤに前記コミュニケーションを伝達するためのより高い緊急度レベルを自動的に認識し、
前記第四人工知能モデルコンポーネントを実行して、前記ターゲットプレイヤに前記コミュニケーションを伝達するための前記より高い緊急度レベルを認識することに応答して、前記メッセージのより短いバージョンを伝達する短縮コミュニケーションを前記ターゲットプレイヤに自動的に作成する、
請求項１５に記載の方法。

【請求項28】

さらに、前記第四人工知能モデルコンポーネントを実行して、前記ターゲットプレイヤへの前記コミュニケーションのフォーマットを自動的に決定し、前記フォーマットはテキストフォーマット、可聴フォーマット、グラフィカルフォーマット、及びハプティックフォーマットのうちの１つ以上である、
請求項１５に記載の方法。

【発明の詳細な説明】

【背景技術】

【0001】

ビデオゲーム業界は、長年にわたって多くの変化を経験し、プレイヤのビデオゲームプレイエクスペリエンスを向上させて、ビデオゲーム及び／またはオンラインゲームシステムとのプレイヤの関与を増加させる方法を見つけようとしてきた。プレイヤのビデオゲームとの関与を増加させると、そのプレイヤはビデオゲームをプレイし続ける可能性、及び／またはビデオゲームを頻繁にプレイする可能性がより高くなり、最終的には、ビデオゲームの開発者及びプロバイダならびにビデオゲーム業界全体の収益が増加する。したがって、ビデオゲームの開発者及びプロバイダは、特にプレイヤの関与を増加させてプレイヤエクスペリエンスを向上させるためにビデオゲームのプレイヤ間のコミュニケーションをメッセージで行う方法に関して、ビデオゲーム操作の改善を求め続けている。本開示の実施態様はこのような背景の下でなされたものである。

【発明の概要】

【0002】

ビデオゲーム内での人工知能（ＡＩ）支援コミュニケーションのためのシステムが開示される。システムは、ビデオゲームのターゲットプレイヤへのコミュニケーションのためのメッセージを含む入力データを受信するように構成された入力プロセッサを含む。またシステムは、入力データを自動的に処理してメッセージを定義する入力データの部分を識別するように構成されて訓練（あるいはトレーニング）された第一ＡＩモデルコンポーネントを有するメッセージ識別エンジンを含む。またシステムは、メッセージ識別エンジンによって識別された入力データの部分によって定義されたメッセージの意味を自動的に決定するように構成されて訓練された第二ＡＩモデルコンポーネントを有するメッセージ解釈エンジンを含む。またシステムは、メッセージ解釈エンジンによって決定されたメッセージの意味に基づいて、メッセージがターゲットプレイヤの現在のゲーム状態及びターゲットプレイヤの現在のゲームコンテキストに関連性があるかどうかを自動的に決定するように構成されて訓練された第三ＡＩモデルコンポーネントを有するメッセージ関連性評価エンジンを含む。またシステムは、メッセージがメッセージ関連性評価エンジンによって関連性があると決定される場合、メッセージ解釈エンジンによって決定されたメッセージの意味を伝達する、ターゲットプレイヤへのコミュニケーションを自動的に作成するように構成されて訓練された第四ＡＩモデルコンポーネントを有するコミュニケーション伝達エンジンを含む。またシステムは、ターゲットプレイヤへのコミュニケーション伝達エンジンによって作成されたコミュニケーションを配信するように構成された出力プロセッサを含む。

【0003】

ビデオゲーム内でのＡＩ支援コミュニケーション方法が開示される。方法は、ビデオゲームのターゲットプレイヤへのコミュニケーションのためのメッセージを含む入力データを受信することを含む。また方法は、第一ＡＩモデルコンポーネントの実行を通じて、メッセージを定義する入力データの部分を自動的に識別することを含む。また方法は、第二ＡＩモデルコンポーネントの実行を通じて、入力データの部分によって定義されたメッセージの意味を自動的に決定することを含む。また方法は、第三ＡＩモデルコンポーネントの実行を通じて、メッセージの意味に基づいて、メッセージがターゲットプレイヤの現在のゲーム状態及びゲームコンテキストに関連性があるかどうかを自動的に決定することを含む。また方法は、メッセージがターゲットプレイヤの現在のゲーム状態及びゲームコンテキストに関連性があると決定される場合、第四ＡＩモデルコンポーネントの実行を通じて、メッセージの意味を伝達する、ターゲットプレイヤへのコミュニケーションを自動的に作成することを含む。また方法は、コミュニケーションをターゲットプレイヤに配信することを含む。

【図面の簡単な説明】

【0004】

【図1】いくつかの実施形態による、ビデオゲーム内でのＡＩ支援コミュニケーションシステムの図を示す。

【図2】いくつかの実施形態による、図１のシステムによって実現されるメッセージコミュニケーションのアクセラレーションを図示するチャートを示す。

【図3】いくつかの実施形態による、ニューラルネットワークを実装する例示的なＡＩモデルを示す。

【図4】いくつかの実施形態による、ビデオゲーム内でのＡＩ支援コミュニケーション方法のフローチャートを示す。

【図5】いくつかの実施形態による、ビデオゲーム内でＡＩ支援コミュニケーションのための図１のシステム及び図４の方法の態様を実行するために使用されることができるクラウドベースのコンピューティングシステム内の例示的なサーバデバイスの様々なコンポーネントを示す。

【発明を実施するための形態】

【0005】

以下の発明を実施するための形態では、本開示の完全な理解をもたらすために、いくつかの具体的な詳細が示されている。しかしながら、本開示の実施形態は、これらの具体的な詳細の一部または全てがなくとも実践できることは、当業者には明らかであろう。他の例では、周知のプロセス動作は、本開示を不必要に不明瞭にしないために、詳細に説明されていない。

【0006】

ビデオゲーム、仮想現実アプリケーション、拡張現実アプリケーション、仮想世界アプリケーションなどの多くの最新のコンピュータアプリケーションは、コンピュータアプリケーションのユーザに様々なコミュニケーション形式を提供する。説明を簡単にするために、本明細書で使用される「ビデオゲーム」という用語は、コンピュータアプリケーションの実行にユーザが参加できる、上述のタイプのコンピュータアプリケーションのいずれかを指す。また、説明を簡単にするために、本明細書で使用される「プレイヤ」（ビデオゲームプレイヤのような）という用語は、上述のタイプのコンピュータアプリケーションのいずれかの実行に参加するユーザを指す。

【0007】

様々な実施形態では、ビデオゲームの異なるプレイヤ間のゲーム内コミュニケーションが行われる。また、いくつかの実施形態では、ビデオゲームの観客とビデオゲームのプレイヤとの間でゲーム内コミュニケーションが行われる。また、いくつかの実施形態では、仮想エンティティ（例えば、ビデオゲーム生成エンティティ）とビデオゲームのプレイヤとの間でコミュニケーションが行われる。また、いくつかの実施形態では、観客と仮想エンティティとの間でコミュニケーションが行われる。また、いくつかの実施形態では、ビデオゲームの２人以上の観客の間でコミュニケーションが行われる。様々な実施形態では、ビデオゲームの観客は、実際の人々及び／または仮想（例えば、ＡＩ生成）観客であることができる。また、いくつかの実施形態では、実際の人物に代わって仮想観客をインスタンス化することができる。様々な実施形態では、ビデオゲーム内でプレイヤに伝達されるコミュニケーションは、基本的にビデオゲーム内で実装されることができる他のあらゆるフォーマットの中でも、テキストフォーマット、画像フォーマット、ビデオフォーマット、オーディオフォーマット、及びハプティックフォーマットのうちの１つ以上を有することができる。様々な実施形態では、ビデオゲーム内で行われるコミュニケーションのコンテンツは、ジェスチャ（実際の人体またはビデオゲーム内の仮想エンティティのいずれかによって行われる）、音声言語文／語句（音声または書面のいずれかの形式で行われる）、及びビデオゲームコントローラ入力のうちの１つ以上である。様々な実施形態では、ビデオゲームコントローラは、ビデオゲームを実行するコンピュータシステムに任意のタイプのユーザ入力を伝達するために使用される任意のタイプのデバイスであることができる。例えば、様々な実施形態では、ビデオゲームコントローラは、ハンドヘルドビデオゲームコントローラ、ヘッドマウントディスプレイ（ＨＭＤ）デバイス、センサ埋め込みウェアラブルデバイス（例えば、手袋、眼鏡、ベスト、シャツ、パンツ、ケープ、帽子など）、及び振り回し式制御デバイス（例えば、杖、棍棒、銃、弓矢、剣、ナイフ、バット、ラケット、盾など）のうちの１つ以上である。

【0008】

様々な実施形態では、ビデオゲームのコンテキスト内でビデオゲームのプレイヤにコミュニケーションが行われるため、これらのコミュニケーションはビデオゲームのゲーム状態及びゲームコンテキストに見合った形式で伝達される。例えば、ビデオゲームのターゲットプレイヤに、通常のビデオゲームのプレイの一部としてヘッドアップディスプレイが示される場合、プレイヤ間のコミュニケーションは、ターゲットプレイヤのヘッドアップディスプレイ内で画像及び／またはテキストメッセージとして伝達され得る。説明を簡単にするために、本明細書で使用される「ターゲットプレイヤ」という用語は、メッセージの発信元に関係なく、メッセージの発信先であるビデオゲームのプレイヤを指す。また、説明を簡単にするために、本明細書で使用される「メッセージ発信元」という用語は、ターゲットプレイヤに伝達される必要があるメッセージを発信したエンティティを指す。様々な実施形態では、メッセージ発信元は、人間及び仮想エンティティの一方または両方であり、人間はビデオゲームをプレイしているか、ビデオゲームを観戦しているかのいずれかであり、仮想エンティティはビデオゲームのオブジェクトまたはアスペクトとして生成される。様々な実施形態では、メッセージ発信元は、基本的にビデオゲームの環境／コンテキスト内に存在しても、またはそれにインタフェースされてもよい他のあらゆるエンティティの中でも、ビデオゲームのプレイヤ、ビデオゲームの観客、ビデオゲーム内のコンピュータ生成エンティティ（例えば、アバター、オブジェクトなど）のうちの１つ以上であり、メッセージ発信元は、ビデオゲームのルールによって、ターゲットプレイヤとのコミュニケーションを行うことが許可されている。

【0009】

最近の多くのビデオゲームでは、ビデオゲームのプレイ中にゲーム状態及び／またはゲームコンテキストが急速に変化するため、メッセージ発信元からターゲットプレイヤへのメッセージのタイムリーな処理と伝達が困難になることがある。また、コンピュータ処理能力が向上し続けるにつれて、多くのビデオゲームは、ビデオゲーム内でのプレイヤのアクション、インタラクション、及びコミュニケーションを制御するために、よりジェスチャに基づいた入力を使用する方向に進んでいる。いくつかの実施形態では、メッセージのコンテキストがメッセージ発信元によって行われた人間のジェスチャである場合、ビデオゲームシステムは、その人間のジェスチャを識別し、ターゲットプレイヤに伝達されることができるバーバルコミュニケーションに変換する必要がある場合がある。従来の線形プロシージャ処理技術では、ジェスチャを識別して変換し、最終的にターゲットプレイヤにバーバルコミュニケーションを伝達するためのプロシージャは、ビデオゲームの実行中にゲーム状態及び／またはゲームコンテキストが変化している速度に比べてかなりの時間がかかる可能性があるため、バーバルコミュニケーションがターゲットプレイヤによって受信される場合、バーバルコミュニケーションはターゲットプレイヤに関連する現在のゲーム状態及び／またはゲームコンテキストにもはや関連性がなくなっている場合があり、それによりターゲットプレイヤが混乱し及び／または苛立ち、場合によっては、ターゲットプレイヤのビデオゲームのプレイが悪影響を受ける可能性がある。例えば、ビデオゲームで１番目の右折が出口につながるが、２番目の右折が底なしの穴につながる迷路の中をターゲットプレイヤが移動していた場合、その次の右折を促すために、バーバルコミュニケーションでのメッセージ発信元からターゲットプレイヤへのジェスチャメッセージを処理するが、ジェスチャメッセージの処理の際、及びターゲットプレイヤに対応するバーバルコミュニケーションの生成／伝達の際に過度のレイテンシ／遅延があると、ターゲットプレイヤが底なしの穴に落ちる可能性がある。したがって、メッセージ処理（特にジェスチャに基づいたメッセージ処理）の際のレイテンシ／遅延のため、ターゲットプレイヤの利益のために善意で発信されたメッセージでも、実際にはターゲットプレイヤに悪影響を与えることで終わる可能性がある。

【0010】

リアルタイムのビデオゲーム開発において、タイムリーなコミュニケーションが常に課題となる。リアルタイムのビデオゲームプレイコンテキスト内でのコミュニケーション遅延の理由の一部として、メッセージ発信元がメッセージを送る際の遅さ、システムがメッセージを処理して対応するコミュニケーションをターゲットプレイヤに伝達する際のレイテンシ、及び処理中のメッセージのタイプが挙げられる。特に、ジェスチャに基づいたメッセージは、解釈されて、ターゲットプレイヤに伝達可能なコミュニケーションフォーマットに変換されるために、かなりのコンピュータ処理を必要とする。ビデオゲームコンテキストでは、ジェスチャに基づいたメッセージは、ビデオゲームに参加している人物の１つ以上の実際の人体部位の測位及び運動を通じて、かつ／またはビデオゲームコンテキスト内の仮想エンティティの１つ以上の視覚的部分の測位及び運動を通じて、伝達される任意のタイプのメッセージであることができる。様々な実施形態では、ジェスチャに基づいたメッセージは、ビデオゲームのコンテキスト内で意味のある、基本的に１つ以上の身体部位（または仮想エンティティ部分）のあらゆる姿勢及び／または運動の形態を取ることができる。また、いくつかの実施形態では、ジェスチャに基づいたメッセージは、アメリカ手話など、正式な／標準化された手話の形態を取ることができる。

【0011】

ジェスチャメッセージの複雑さによっては、ビデオゲームシステムは、ジェスチャメッセージの意味を決定し得ず、かつ／またはジェスチャメッセージに対応する単語を、ターゲットプレイヤ、または第三者、またはビデオゲームシステム自体にとってメッセージが意味をなすほど迅速に作成し得ない。本明細書に開示される様々な実施形態では、現在のゲーム状態及びゲームコンテキストに基づいて、ジェスチャメッセージがビデオゲームのその現在の時点では意味をなさないとビデオゲームシステムが決定する場合、対応するコミュニケーションがターゲットプレイヤに送信されないように、ジェスチャメッセージの処理を停止することができる。例えば、ジェスチャメッセージが森の中に熊がいることをターゲットプレイヤに警告するためのものであり、ターゲットプレイヤが既に熊を目撃した場合、ビデオゲームシステムはジェスチャメッセージの処理を停止し、ターゲットプレイヤにコミュニケーションを送信しない。いくつかの実施形態では、ビデオゲームシステムは、ジェスチャメッセージが何らかの理由でターゲットプレイヤに送信されない場合、メッセージ発信元に通知するように動作する。例えば、森の中の熊に注意するジェスチャでターゲットプレイヤに指示したメッセージ発信元は、ターゲットプレイヤが既に熊を目撃したことをビデオゲームシステムから通知される場合がある。

【0012】

いくつかの実施形態では、特定のジェスチャメッセージがレイテンシ（または予想されるレイテンシ）のため、送信されない場合、その特定のジェスチャメッセージの意味は、ビデオゲームシステムによって調べられて、代わりにその他の何らかの対応する代替コミュニケーションをタイムリーな方法でターゲットプレイヤに送信することができるかどうかを決定することができる。例えば、上述の森の中の熊の例では、ビデオゲームシステムは、ターゲットプレイヤが熊とその子熊との間に現在位置していることをターゲットプレイヤに通知する代替コミュニケーションを生成して送信する場合がある。このように、メッセージ発信元はビデオゲームに関与し、疎外感を感じない。

【0013】

また、いくつかの実施形態では、メッセージ発信元が複雑すぎるメッセージを送信しようとしている場合、ビデオゲームシステムは、ターゲットプレイヤへのコミュニケーションのために、複雑なメッセージをより単純なメッセージに自動的に短縮し、または要約することができる。例えば、メッセージ発信元がターゲットプレイヤに次の「熊がみえる。木の後ろに隠れているから、気をつけたほうがよい」というメッセージをジェスチャで指示する場合、ジェスチャメッセージの処理にレイテンシがあると、最終的に、ターゲットプレイヤへのメッセージのコミュニケーションが着信するのが遅すぎて役に立たない可能性がある。ジェスチャコミュニケーションの処理の際にレイテンシが問題であるとビデオゲームシステムによって決定／予測される場合、ビデオゲームシステムは、メッセージ発信元によって提供された元のメッセージの意図を伝達するために、要約またはトランケートされたコミュニケーションを自動的に生成することができる。例えば、木の後ろに隠れている熊に関する上記の例示的なメッセージを参照すると、ビデオゲームシステムは、「木の後ろに熊がいる」などのトランケート文を自動的に生成するように動作することができるため、よりタイムリーにターゲットプレイヤにコミュニケーションを行うことができる。

【0014】

図１は、いくつかの実施形態による、ビデオゲーム内での人工知能（ＡＩ）支援コミュニケーションシステム１００の図を示す。システム１００は、矢印１１３で示されるように、１つ以上のメッセージ発信元（複数可）１０１から入力データを受信するように構成される入力プロセッサ１１１を含む。入力データは、ビデオゲームのターゲットプレイヤ１４９へのコミュニケーションのためのメッセージを含む。様々な実施形態では、１つ以上のメッセージ発信元（複数可）１０１は、人間１０３、オーディオクリップ１０７、及びゲームコントローラ１０９を含む。いくつかの実施形態では、オーディオクリップ１０７は人間１０３によって生成される。いくつかの実施形態では、オーディオクリップ１０７は、ビデオゲーム内の仮想エンティティなど、人間１０３以外のエンティティによって提供される。ゲームコントローラ１０９は、ハンドヘルドビデオゲームコントローラ、ＨＭＤデバイス、センサ埋め込みウェアラブルデバイス、及び振り回し式コントロールデバイスのうちの１つ以上を含むがこれらに限定されない、あらゆるタイプのゲームコントローラであることができる。いくつかの実施形態では、人間１０３はビデオゲーム内のターゲットプレイヤ１４９の共同プレイヤであり、メッセージはメッセージ発信元（複数可）１０１からターゲットプレイヤ１４９に送信される。いくつかの実施形態では、人間１０３は、メッセージ発信元（複数可）１０１によってメッセージが送信されるターゲットプレイヤ１４９がプレイしているビデオゲームの観客である。いくつかの実施形態では、人間１０３は、人間１０３がビデオゲームとインタフェースして参加することを可能にする機器を使用する。例えば、図１では、ＨＭＤ１０４及びカメラ１０２を使用している人間１０３が示される。ＨＭＤ１０４により、人間１０３は没入感のある方法でビデオゲームに参加することが可能になる。人間１０３によって提供されるジェスチャに基づいたメッセージを含む画像／ビデオをキャプチャするためにカメラ１０２が提供される。例えば、人間１０３は、自分の左の腕及び手１０６によって、ターゲットプレイヤ１４９に向けたメッセージとして解釈されることを意図したものであるジェスチャ１０５を行っていることが示されている。さらに、ジェスチャがビデオゲームのコンテキスト内で意味を有するものとしてシステム１００によって解釈されることができる限り、基本的にあらゆるタイプのジェスチャが人間１０３によって行われることができることを理解されたい。

【0015】

いくつかの実施形態では、入力プロセッサ１１１は、１つ以上のメッセージ発信元（複数可）１０１から受信した入力データのうち、ターゲットプレイヤ１４９とコミュニケーションを取る必要があるメッセージに関連性がない部分を除去することにより、メッセージ関連入力データを有利に分離するためのフィルタリングプロセスを実装するように構成される入力フィルタ１１１Ａを含む。いくつかの実施形態では、１つ以上のメッセージ発信元（複数可）１０１から受信した入力データは、ジェスチャを行っている人間１０３のビデオを含み、ターゲットプレイヤ１４９へのコミュニケーションのためのメッセージは、ジェスチャによって少なくとも部分的に提供される。いくつかの実施形態では、メッセージを定義する入力データの部分は、ジェスチャを行っている人間１０３のビデオのいくつかのビデオフレームのそれぞれの内の画素領域として識別される。いくつかの実施形態では、ジェスチャを行っている人間１０３のビデオに加えて、１つ以上のメッセージ発信元（複数可）１０１から受信した入力データは、オーディオクリップ１０７及びビデオゲームコントローラ１０９からの入力信号のうちの１つ以上も含み、ターゲットプレイヤ１４９へのコミュニケーションのためのメッセージは、オーディオクリップ１０７及びビデオゲームコントローラ１０９からの入力信号のうちの１つ以上によって少なくとも部分的に提供される。

【0016】

また、ターゲットプレイヤ１４９がプレイしているビデオゲームの現在のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂにシステム１００がリアルタイムでアクセスできることも理解されたい。いくつかの実施形態では、ゲーム状態１５３Ａは、特定の時点でビデオゲームの特定のプレイヤのゲームプレイの状態を定義する。いくつかの実施形態では、ゲーム状態１５３Ａは、ユーザ／プレイヤが保存したデータを含み、このデータは、対応するプレイヤのビデオゲームをパーソナライズする情報を含む。例えば、ゲーム状態１５３Ａはユーザのキャラクタに関連する情報を含むことができるため、ビデオゲームには、例えば形状、外観、衣類、武器などに関してキャラクタがレンダリングされ、このキャラクタは、そのユーザに固有の、あるいはそのユーザに一意のものであってもよい。また、ゲームコンテキスト１５３Ｂは、基本的にビデオゲームのプレイヤが存在するシーン、及び／またはビデオゲームのプレイヤが関連付けられるシーンを定義するあらゆるすべてのデータである。いくつかの実施形態では、ゲームコンテキスト１５３Ｂは、ビデオゲームの特定のプレイヤによるビデオゲームのプレイ履歴も含む。いくつかの実施形態では、ゲームコンテキスト１５３Ｂは、ビデオゲーム内の様々なエンティティによって実行されるアクション／決定に応じて、ビデオゲームの特定のプレイヤが遷移する可能性のあるビデオゲームの１つ以上の他のシーンに関する情報も含む。

【0017】

またシステム１００は、矢印１１７で示されるように、入力プロセッサ１１１からメッセージ関連入力データを受信するメッセージ識別エンジン１１５も含む。メッセージ識別エンジン１１５は、メッセージ関連入力データを処理して、ターゲットプレイヤ１４９にコミュニケーションを取る必要があるメッセージを定義するメッセージ関連入力データの部分を識別するように構成される。いくつかの実施形態では、メッセージ識別エンジン１１５は、人間１０３によって行われたジェスチャを含む画像／ビデオデータの部分を自動的に識別するように構成されて訓練されるジェスチャメッセージ識別子ＡＩモデルコンポーネント１１９を含み、ジェスチャは、ターゲットプレイヤ１４９にメッセージを伝達している。また、いくつかの実施形態では、メッセージ識別エンジン１１５は、ターゲットプレイヤ１４９へのメッセージを含むオーディオクリップの部分、またはターゲットプレイヤ１４９へのジェスチャに基づいたメッセージを拡張するオーディオクリップの部分を自動的に識別するように構成されて訓練されるオーディオメッセージ識別子ＡＩモデルコンポーネント１２１を含む。また、いくつかの実施形態では、メッセージ識別エンジン１１５はターゲットプレイヤ１４９へのメッセージを含むコントローラ入力信号、またはターゲットプレイヤ１４９へのジェスチャに基づいたメッセージを拡張するコントローラ入力信号を自動的に識別するように構成されて訓練されるコントローラメッセージ識別子ＡＩモデルコンポーネント１２３を含む。このように、システム１００全体内で、メッセージ識別エンジン１１５は少なくとも第一ＡＩモデルコンポーネント（１１９、１２１、及び１２３のうちの１つ以上）を含み、この第一ＡＩモデルコンポーネントは、メッセージ発信元（複数可）１０１から受信した入力データを処理し、ターゲットプレイヤ１４９へのメッセージを定義する入力データの部分を自動的に識別するように構成されて訓練される。

【0018】

またシステムは、矢印１２７で示されるように、メッセージ識別エンジン１１５によって決定されたターゲットプレイヤ１４９へのメッセージを定義する入力データの部分を受信するメッセージ解釈エンジン１２５も含む。メッセージ解釈エンジン１２５は、ターゲットプレイヤ１４９へのメッセージを定義する入力データの部分を処理し、ターゲットプレイヤ１４９へのメッセージの意味を決定するように構成される。いくつかの実施形態では、メッセージ解釈エンジン１２５は、ターゲットプレイヤ１４９へのメッセージ内のジェスチャの意味を自動的に決定するように構成されて訓練される、ジェスチャインタプリタＡＩモデルコンポーネント１２９を含む。いくつかの実施形態では、ジェスチャインタプリタＡＩモデルコンポーネント１２９は、ジェスチャを行うために使用された身体部位の識別を通じて、そして身体部位の測位及び／または身体部位の運動方法の識別を通じて、ジェスチャメッセージの意味を決定するように構成されて訓練される。いくつかの実施形態では、このジェスチャインタプリタＡＩモデルコンポーネント１２９は、人間１０３がジェスチャを行うことを終了する前に、ターゲットプレイヤ１４９へのメッセージの意味を決定することにより、ターゲットプレイヤ１４９へのメッセージ伝達のアクセラレーションを提供するように構成されて訓練される。

【0019】

また、いくつかの実施形態では、メッセージ解釈エンジン１２５は、ターゲットプレイヤ１４９へのメッセージに関連するオーディオクリップの意味を自動的に決定するように構成されて訓練されるオーディオインタプリタＡＩモデルコンポーネント１３１を含む。また、いくつかの実施形態では、メッセージ解釈エンジン１２５は、ターゲットプレイヤ１４９へのメッセージに関連するコントローラ入力信号の意味を自動的に決定するように構成されて訓練されるコントローラインタプリタＡＩモデルコンポーネント１３３を含む。このように、システム１００全体内で、メッセージ解釈エンジン１２５は、ターゲットプレイヤ１４９へのメッセージを定義する入力データの部分を（メッセージ識別エンジン１１５によって決定されたものとして）自動的に処理し、ターゲットプレイヤ１４９へのメッセージの意味を自動的に決定するように構成されて訓練される、少なくとも第二ＡＩモデルコンポーネント（１２９、１３１、及び１３３のうちの１つ以上）を含む。

【0020】

いくつかの実施形態では、メッセージ解釈エンジン１２５は、メッセージ自動完了プロセスを実装するために使用される。いくつかの実施形態では、現在のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂに基づいて、メッセージ発信元１０１が実際にメッセージの提供を終了する前に、メッセージ発信元１０１が提供しようとしているメッセージについて確率論的決定が行われることができる。所与のメッセージが提供される確率が一定の閾値に達すると、メッセージ解釈エンジン１２５は、メッセージ発信元１０１がまだメッセージの提供を終了していなくても、所与のメッセージが提供されていると自動的に決定することができる。この自動完了プロセスは、ジェスチャメッセージの解釈に関して特に有効である。様々な実施形態では、メッセージ解釈エンジン１２５は、多くの様々な入力タイプ、信号、及びデータを使用して、メッセージ発信元１０１によって提供されているメッセージの可能なオプションを絞り込むことができる。例えば、メッセージ発信元１０１に関連する視線方向、感情検出、及び／またはその他の任意の入力パラメータを使用して、メッセージ発信元１０１によって提供されているメッセージの意図を直感することができる。いくつかの実施形態では、メッセージ自動完了プロセスの基礎となる確率論的決定を容易にするために、異なるメッセージ発信元１０１に異なるジェスチャインタプリタＡＩモデルコンポーネント１２９が構築されることができる。

【0021】

いくつかの実施形態では、ビデオゲームのプレイ中に行われたメッセージコミュニケーションの記録を、対応するゲーム状態及びゲームコンテキストデータと共に、オフラインで、例えばゲームプレイ後に合わせて分析し、特定のゲーム状態及び／またはゲームコンテキストの／内のメッセージコミュニケーションの予測を可能にするＡＩモデル１２９、１３１、及び１３３を構築して訓練することができる。そして、ビデオゲームをプレイすると、ＡＩモデル１２９、１３１、及び１３３を使用して、メッセージコミュニケーションの意図及びメッセージの解釈に関する予測的決定を行い、ビデオゲームのプレイ中にメッセージコミュニケーションを高速化することができる。いくつかの実施形態では、オーディオインタプリタＡＩモデルコンポーネント１３１は、キーワード及び応答を学習して、メッセージコミュニケーションの意図及び解釈を決定する正確度及び速度を支援することができる。例えば、システム１００がターゲットプレイヤ１４９からキーワード「グリッチ」を聞くと、システム１００は、キーワード「グリッチ」を一種のネガティブフィードバックとして使用して、メッセージの解釈及び／または配信に何らかの不具合があったことを学習することができる。１つ以上のメッセージ発信元（複数可）１０１によってターゲットプレイヤ１４９に対して行われたコミュニケーションのゲーム後分析を使用して、メッセージの予測的解釈を行う際にＡＩモデル１２９、１３１、及び１３３を訓練することができる。このタイプのＡＩモデル訓練は、メッセージ発信元（複数可）１０１がプレイする様々なビデオゲームにわたって行われ、メッセージコミュニケーションの傾向及びモードを学習することができる。

【0022】

システム１００は、矢印１３７で示されるように、メッセージ解釈エンジン１２５によって決定されたターゲットプレイヤ１４９へのメッセージの意味を受信するメッセージ関連性評価エンジン１３５も含む。メッセージ関連性評価エンジン１３５は、メッセージ解釈エンジン１２５によって決定されたメッセージの意味に基づいて、ターゲットプレイヤ１４９に意図したものであるメッセージがターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及びターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂに関連性があるかどうかを自動的に決定するように構成される。このように、システム１００は、メッセージによってターゲットプレイヤ１４９にコミュニケーションを行う前に、１つ以上のメッセージ発信元（複数可）１０１からのメッセージが現在のゲーム状態１５３Ａ及び現在のゲームコンテキスト１５３Ｂに有意義に関連することを保証するように構成される。いくつかの実施形態では、メッセージ関連性評価エンジン１３５は、ビデオゲームの現在のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂを考慮して、ターゲットプレイヤ１４９へのメッセージの関連性を評価するように構成されて訓練されたＡＩモデルコンポーネント１３６を含む。いくつかの実施形態では、ＡＩモデルコンポーネント１３６は、メッセージが個人の間のコミュニケーションであることを意図したものであるかどうか、またはメッセージが複数の人物にブロードキャストされることを意図したものであるかどうかに基づいて、現在のゲームコンテキスト１５３Ｂの範囲を決定するように構成され、確立された現在のゲームコンテキスト１５３Ｂの範囲は、メッセージのすべてのターゲット受信者を包含する。メッセージ関連性エンジン１３５は、メッセージのターゲットプレイヤ１４９に関連する現在のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂを連続して分析し、ターゲットプレイヤ１４９へのメッセージの伝達がターゲットプレイヤ１４９にとって適切で、タイムリーで、かつ／または有益であるかどうかを決定する。このように、システム１００は、メッセージ関連性評価エンジン１３５を介して、ターゲットプレイヤ１４９によって現在（リアルタイムで）何が起こっているかの認識を使用して、ターゲットプレイヤ１４９にメッセージを伝達する必要があるかどうかを決定する。

【0023】

いくつかの実施形態では、ＡＩモデルコンポーネント１３６は、様々なゲーム状態及びゲームコンテキストで伝達される多くの異なるメッセージに対して大きい母集団のメッセージ関連性アウトカムに基づいて構成されて訓練される。いくつかの実施形態では、メッセージがターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及び／またはターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂに十分な関連性がないとメッセージ関連性評価エンジン１３５が決定する場合、メッセージ関連性評価エンジン１３５は、システム１００によるメッセージのさらなる処理が実行されないように指示することができる。このように、システム１００全体内に、メッセージ関連性評価エンジン１３５は、メッセージ解釈エンジン１２５によって決定されたメッセージの意味に基づいて、メッセージがターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及びターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂに関連性があるかどうかを自動的に決定するように構成されて訓練された第三ＡＩモデルコンポーネント（１３６）を含む。

【0024】

いくつかの実施形態では、メッセージ関連性評価エンジン１３５のＡＩモデルコンポーネント１３６は、ターゲットプレイヤ１４９へのメッセージの意味を評価して、メッセージの件名及びメッセージの件名に関連するアクションを識別するように構成されて訓練される。これらの実施形態では、メッセージ関連性評価エンジン１３５のＡＩモデルコンポーネント１３６は、メッセージの件名がターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂ内にまだ存在しており、かつメッセージの件名に関連するアクションが、依然としてターゲットプレイヤ１４９の現在のゲーム状態１５３Ａに関連していると決定される場合、ターゲットプレイヤ１４９へのメッセージを関連性があるとみなすように構成されて訓練される。いくつかの実施形態では、メッセージ関連性評価エンジン１３５のＡＩモデルコンポーネント１３６は、メッセージの件名が、もはやターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂ内に存在しなくなり、またはメッセージの件名に関連するアクションが、もはやターゲットプレイヤ１４９の現在のゲーム状態１５３Ａに関連していないと決定される場合、システム１００によるターゲットプレイヤ１４９へのメッセージのさらなる処理をキャンセルするように構成されて訓練される。また、いくつかの実施形態では、メッセージ関連性評価エンジン１３５のＡＩモデルコンポーネント１３６は、メッセージの件名に関連するアクションがターゲットプレイヤ１４９の現在のゲーム状態１５３Ａを改善するために有益ではないと決定される場合、システム１００によるターゲットプレイヤ１４９へのメッセージのさらなる処理をキャンセルするように構成されて訓練される。また、いくつかの実施形態では、メッセージ関連性評価エンジン１３５のＡＩモデルコンポーネント１３６は、メッセージの件名及びメッセージの件名に関連するアクションがターゲットプレイヤ１４９に既に伝達された別のコミュニケーションに対し冗長性があると決定される場合、システム１００によるターゲットプレイヤ１４９へのメッセージのさらなる処理をキャンセルするように構成されて訓練される。

【0025】

またシステム１００は、矢印１４１で示されるようにメッセージ解釈エンジン１２５によって決定されたターゲットプレイヤ１４９へのメッセージの意味と、矢印１４２で示されるようにメッセージ関連性評価エンジン１３５によって決定されたターゲットプレイヤ１４９へのメッセージの関連性の決定との両方を受信するコミュニケーション伝達エンジン１３９も含む。コミュニケーション伝達エンジン１３９は、ターゲットプレイヤ１４９へのメッセージがメッセージ関連性評価エンジン１３５によって関連性があると決定される場合、メッセージ解釈エンジン１２５によって決定されたターゲットプレイヤ１４９へのメッセージの意味を伝達する、ターゲットプレイヤ１４９へのコミュニケーションを自動的に作成するように構成される。いくつかの実施形態では、コミュニケーション伝達エンジン１３９はＡＩモデルコンポーネント１４０を含み、このＡＩモデルコンポーネントは、ターゲットプレイヤ１４９へのメッセージの緊急度及び重要度のレベルに見合った最適化方法でコミュニケーションを提供するように、ターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及び現在のゲームコンテキスト１５３Ｂに基づいて、ターゲットプレイヤ１４９へのコミュニケーションを作成するように構成されて訓練される。コミュニケーション伝達エンジン１３９がターゲットプレイヤ１４９に伝達されるコミュニケーションのフォーマット及びコンテンツを決定することを理解されたい。例えば、ターゲットプレイヤ１４９がＨＭＤ１５２を使用している場合、コミュニケーション伝達エンジン１３９は、ＨＭＤ１５２を介して伝達するためのコミュニケーションを作成する。様々な実施形態では、コミュニケーション伝達エンジン１３９によって作成されたコミュニケーションのフォーマットは、プレイ中のビデオゲームに適用可能な基本的に他のあらゆる可能なコミュニケーションフォーマットの中でも、画像、ビデオ、テキストメッセージ、オーディオクリップ、及びハプティックアクションのうちの１つ以上である。いくつかの実施形態では、コミュニケーション伝達エンジン１３９のＡＩモデルコンポーネント１４０は、ターゲットプレイヤ１４９へのコミュニケーションのフォーマットを自動的に決定するように構成されて訓練され、そのフォーマットは、テキストフォーマット、可聴フォーマット、グラフィカルフォーマット、及びハプティックフォーマットのうちの１つ以上である。また、コミュニケーション伝達エンジン１３９は、最終的にターゲットプレイヤ１４９に伝達されるコミュニケーションにおいて、ターゲットプレイヤ１４９へのメッセージが短縮される程度を決定する。このように、システム１００全体内に、コミュニケーション伝達エンジン１３９は第四ＡＩモデルコンポーネント（１４０）を含み、この第四ＡＩモデルコンポーネントは、メッセージがメッセージ関連性評価エンジン１３５によって関連性があると決定される場合、メッセージ解釈エンジン１２５によって決定されたメッセージの意味を伝達する、ターゲットプレイヤ１４９へのコミュニケーションを自動的に作成するように構成されて訓練される。

【0026】

いくつかの実施形態では、コミュニケーション伝達エンジン１３９のＡＩモデルコンポーネント１４０は、メッセージ解釈エンジン１２５により複数のメッセージと同様であると決定された意味を伝達する統合コミュニケーションを、これら複数のメッセージのそれぞれについてターゲットプレイヤ１４９への複数の別々のコミュニケーションを自動的に作成する代わりに、ターゲットプレイヤ１４９へと自動的に作成するように構成されて訓練される。例えば、複数のプレイヤのグループプレイを伴うビデオゲームでは、幾人かのプレイヤがターゲットプレイヤ１４９への同一または類似の情報のコミュニケーションを同時に行おうとしている場合、コミュニケーション伝達エンジン１３９のＡＩモデルコンポーネント１４０は、その状況を検出し、それら幾人かのプレイヤからの複数の冗長なコミュニケーションの代わりに、ターゲットプレイヤ１４９への単一のタイムリーで簡潔なコミュニケーションを生成することによって応答する。いくつかの実施形態では、コミュニケーション伝達エンジン１３９のＡＩモデルコンポーネント１４０は、コミュニケーションをターゲットプレイヤ１４９に伝達するためにより高い緊急度レベルを自動的に認識するように構成されて訓練される。これらの実施形態のいくつかでは、コミュニケーション伝達エンジン１３９のＡＩモデルコンポーネント１４０は、ターゲットプレイヤ１４９にコミュニケーションを伝達するための緊急度レベルがより高いことを認識することに応答して、メッセージのより短いバージョンを伝達する短縮コミュニケーションをターゲットプレイヤ１４９に自動的に作成するように構成されて訓練される。

【0027】

コミュニケーション伝達エンジン１３９によって、システム１００は、ターゲットプレイヤ１４９に現在（リアルタイムで）何が起こっているかについてのその認識を使用して、ターゲットプレイヤ１４９にメッセージをどのように伝達するのが最良であるかを決定し、例えば、ターゲットプレイヤ１４９の利益のためにメッセージを最良に伝達するために、ターゲットプレイヤ１４９へのコミュニケーションがどのようなコンテンツ及びフォーマットを有する必要があるかを決定する。いくつかの実施形態では、コミュニケーション伝達エンジン１３９は、メッセージの１つ以上のニュアンスを効率的かつ効果的に伝達するために、ターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂ内の特定の要素を視覚的にハイライトするように動作する。システム１００は、メッセージ関連性評価エンジン１３５及びコミュニケーション伝達エンジン１３９の両方を使用することで、ターゲットプレイヤ１４９に関連する現在のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂに基づいてメッセージを処理して伝達するように動作するため、ターゲットプレイヤ１４９に関連性があり、タイムリーで、簡潔で、有益なコミュニケーションのみが伝達される。

【0028】

またシステムは出力プロセッサ１４３も含み、この出力プロセッサは、矢印１４５で示されるようにコミュニケーション伝達エンジン１３９によって作成されたコミュニケーションを受信し、矢印１４７で示されるようにコミュニケーション伝達エンジン１３９によって作成されたコミュニケーションをターゲットプレイヤ１４９に配信するように構成される。一部の実施形態では、出力プロセッサ１４３は、データ信号を送信することができる基本的に他の任意のタイプのネットワークの中でも、ローカルエリアネットワーク（有線及び／または無線及び／または光）、ワイドエリアネットワーク（有線及び／または無線及び／または光）、セルラーネットワーク、衛星ネットワーク、及びインターネットのうちの１つ以上などのネットワークを介して、データパケット内にコミュニケーションを準備してターゲットプレイヤ１４９に送信するように定義される。これらの実施形態では、データパケットは、いずれかの既知で利用可能なネットワークコミュニケーションプロトコルに従って出力プロセッサ１４３によって準備される。いくつかの実施形態では、出力プロセッサ１４３は、システム１００からターゲットプレイヤ１４９に送信される発信データのパケット化を提供するためのネットワークインタフェースカード（ＮＩＣ）を含む。

【0029】

図１に示されるシステム１００の配置は、ビデオゲーム内のＡＩ支援コミュニケーションのためのシステム１００が本明細書に開示される様々な操作及び方法を実装するように構成されることができる様々な方法の一例であることを理解されたい。例えば、代替の実施形態では、メッセージ識別エンジン１１５、メッセージ解釈エンジン１２５、メッセージ関連性評価エンジン１３５、及びコミュニケーション伝達エンジン１３９のうちの２つ以上を、結合ＡＩモデルに合わせて実装する。また、いくつかの実施形態では、メッセージ関連性エンジン１３５は省略されるか、オフにされるかのいずれかであるため、すべてのメッセージはデフォルトで関連性があるとみなされる。また、いくつかの実施形態では、入力プロセッサ１１１への着信データは、入力データのメッセージ部分を識別するメタデータを含む。これらの実施形態では、メッセージ識別エンジン１１５がバイパスされるため、付随するメタデータを通じて識別された入力データのメッセージ部分は、入力プロセッサ１１１からメッセージ解釈エンジン１２５に直接提供される。また、いくつかの実施形態では、システム１００はアクセシビリティオプションとして実装されるため、システム１００はメッセージ発信元１０１及び／またはターゲットプレイヤ１４９によって有効にされることも、無効にされることもできる。

【0030】

図２は、いくつかの実施形態による、図１のシステム１００によって実現されるメッセージコミュニケーションのアクセラレーションを図示するチャートを示す。システム１００内でＡＩを活用することにより、ターゲットプレイヤ１４９へのメッセージの線形プロシージャ（非ＡＩ）処理を通じて可能なものよりも迅速で最適化された方法で、ターゲットプレイヤ１４９へのメッセージを処理し、伝達することが可能であることを理解されたい。図２は、所与のメッセージの線形プロシージャ（非ＡＩ）処理を使用して、所与のメッセージを配信するために必要な第一持続時間２０１を示す。第一持続時間２０１は、時間ゼロ（０）から第一配信時間（ＤＴ１）２０３まで延長される。また図２は、ＡＩベースのシステム１００を使用して所与のメッセージを配信するために必要な第二持続時間２０５も示す。第二持続時間２０５は、時間ゼロ（０）から第二配信時間（ＤＴ２）２１５までの時間である。図２は、システム１００が時間２１７だけメッセージの処理及びターゲットプレイヤ１４９への配信をアクセラレートすることを示す。また図２は、システム１００による所与のメッセージの非線形ＡＩベースの処理における様々なポイントも示す。例えば、所与のメッセージは、矢印２０７で示される時点でメッセージ識別エンジン１１５によって識別される。次に、所与のメッセージは、矢印２０９で示される時点でメッセージ解釈エンジン１２５によって解釈される。次に、所与のメッセージの関連性は、矢印２１１で示される時点でメッセージ関連性評価エンジン１３５によって決定される。次に、所与のメッセージに対するターゲットプレイヤ１４９へのコミュニケーションは、矢印２１３で示される時点でコミュニケーション伝達エンジン１３９によって作成される。次に、コミュニケーションは、最終的に第二配信時間（ＤＴ２）２１５にターゲットプレイヤ１４９に伝達される。

【0031】

図２に示されるように、システム１００は、メッセージ発信元１０１からターゲットプレイヤ１４９へのより高速なメッセージコミュニケーションを提供する。いくつかの実施形態では、メッセージ識別エンジン１１５を使用して、より高速なＡＩベースの入力データ内のメッセージの識別を通じて、少なくとも部分的に、より高速なメッセージコミュニケーションが提供される。また、いくつかの実施形態では、メッセージ解釈エンジン１２５を使用して、メッセージのより高速なＡＩベースの解釈を通じて、少なくとも部分的に、より高速なメッセージコミュニケーションが提供される。また、いくつかの実施形態では、コミュニケーション伝達エンジン１３９内のＡＩモデルコンポーネント１４０を使用して、メッセージの短縮形の生成及び伝達を通じて、少なくとも部分的に、より高速なメッセージコミュニケーションが提供される。また、いくつかの実施形態では、コミュニケーション伝達エンジン１３９内のＡＩモデルコンポーネント１４０を使用して、最も迅速／効率的かつ効果的なメッセージ伝達方法の決定及び選択を通じて、少なくとも部分的に、より高速なメッセージコミュニケーションが提供される。

【0032】

図３は、いくつかの実施形態による、ニューラルネットワーク３０１を実装する例示的なＡＩモデル３００を示す。いくつかの実施形態では、ＡＩモデル３００は、ジェスチャメッセージ識別子ＡＩモデルコンポーネント１１９、オーディオメッセージ識別子ＡＩモデルコンポーネント１２１、コントローラメッセージ識別子ＡＩモデルコンポーネント１２３、ジェスチャインタプリタＡＩモデルコンポーネント１２９、オーディオインタプリタＡＩモデルコンポーネント１３１、コントローラインタプリタＡＩモデルコンポーネント１３３、メッセージ関連性評価エンジン１３５内のＡＩモデルコンポーネント１３６、及びコミュニケーション伝達エンジン１３９内のＡＩモデルコンポーネント１４０を含む、システム１００内の各ＡＩモデルコンポーネントを表す。

【0033】

入力が与えられると、ＡＩモデル３００は入力を分析し、入力に対し適切な応答を提供することができる。例えば、ＡＩモデル３００がジェスチャメッセージ識別子ＡＩモデルコンポーネント１１９として訓練される場合、ＡＩモデル３００を使用して、画像及び／またはビデオフレーム及び／または一連のビデオフレーム内にメッセージを伝達するジェスチャを識別することができる。また、ＡＩモデル３００がオーディオメッセージ識別子ＡＩモデルコンポーネント１２１として訓練されると、ＡＩモデル３００を使用してオーディオクリップ内のメッセージを識別することができる。また、ＡＩモデル３００がコントローラメッセージ識別子ＡＩモデルコンポーネント１２３として訓練されると、ＡＩモデル３００を使用して、コントローラ入力信号またはコントローラ入力信号の組み合わせに関連するメッセージを識別することができる。また、ＡＩモデル３００がジェスチャインタプリタＡＩモデルコンポーネント１２９として訓練されると、ＡＩモデル３００を使用して、所与のジェスチャによって伝達されるメッセージの意味を決定することができる。また、ＡＩモデル３００がオーディオインタプリタＡＩモデルコンポーネント１３１として訓練されると、ＡＩモデル３００を使用して、オーディオクリップ内のメッセージの意味を決定することができる。また、ＡＩモデル３００がコントローラインタプリタＡＩモデルコンポーネント１３３として訓練されると、ＡＩモデル３００を使用して、１つ以上のコントローラ入力信号によって伝達されたメッセージの意味を決定することができる。また、ＡＩモデル３００がメッセージ関連性評価エンジン１３５内のＡＩモデルコンポーネント１３６として訓練されると、ＡＩモデル３００を使用して、現在のゲーム状態１５３Ａ及び現在のゲームコンテキスト１５３Ｂに対するメッセージの関連性を決定することができる。また、ＡＩモデル３００がコミュニケーション伝達エンジン１３９内のＡＩモデルコンポーネント１４０として訓練されると、ＡＩモデル３００を使用して、ターゲットプレイヤ１４９へのコミュニケーションを作成し、最も適切で効率的な方法でメッセージを伝達することができる。

【0034】

いくつかの実施形態では、メッセージ識別エンジン１１５は１つ以上のモデラを含み、これら１つ以上のモデラは、所与のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂのメッセージ識別プロセスについて学習するために必要に応じて、ジェスチャメッセージ識別子ＡＩモデルコンポーネント１１９、オーディオメッセージ識別子ＡＩモデルコンポーネント１２１、及びコントローラメッセージ識別子ＡＩモデルコンポーネント１２３のそれぞれを構築するように構成される。いくつかの実施形態では、メッセージ解釈エンジン１２５は１つ以上のモデラを含み、これら１つ以上のモデラは、所与のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂのメッセージ解釈プロセスについて学習するために必要に応じて、ジェスチャインタプリタＡＩモデルコンポーネント１２９、オーディオインタプリタＡＩモデルコンポーネント１３１、及びコントローラインタプリタＡＩモデルコンポーネント１３３のそれぞれを構築するように構成される。いくつかの実施形態では、メッセージ関連性評価エンジン１３５はモデラを含み、このモデラは、所与のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂのメッセージ関連性評価プロセスについて学習するために必要に応じて、ＡＩモデルコンポーネント１３６を構築するように構成される。いくつかの実施形態では、コミュニケーション伝達エンジン１３９はモデラを含み、このモデラは、所与のゲーム状態１５３Ａ及びゲームコンテキスト１５３Ｂのコミュニケーション作成プロセスについて学習するために必要に応じて、ＡＩモデルコンポーネント１４０を構築するように構成される。様々な実施形態では、システム１００は、ディープラーニングアルゴリズム、強化学習、及び／またはその他のＡＩベースのアルゴリズムを含む、ＡＩを利用して、様々なＡＩモデルコンポーネント１１９、１２１、１２３、１２９、１３１、１３３、１３６、及び１４０を構築して訓練する。また、いくつかの実施形態では、システム１００は、いずれかの更新された訓練データが与えられると、様々なＡＩモデルコンポーネント１１９、１２１、１２３、１２９、１３１、１３３、１３６、及び１４０のうちの１つ以上の訓練を連続して洗練するように構成される。

【0035】

様々な実施形態では、教師ありまたは教師なしの訓練を用いたディープニューラルネットワーク、畳み込みディープニューラルネットワーク、及び／またはリカレントニューラルネットワークとして、ニューラルネットワーク３０１を実装することができる。いくつかの実施形態では、ニューラルネットワーク３０１は、（例えば、成功基準、成功メトリクスなどの使用による）強化学習、または報酬ベースの学習をサポートするディープラーニングネットワークを含む。例えば、いくつかの実施形態では、ニューラルネットワーク３０１は、強化学習アルゴリズムをサポートするマルコフ決定過程（ＭＤＰ）としてセットアップされる。

【0036】

ニューラルネットワーク３０１は、人工ニューラルネットワークなどの相互接続されたノードのネットワークを表す。図３において、各円はノードを表す。各ノードは、訓練データからある情報を学習する。相互接続を介して、ノード間で知識を交換することができる。図３において、ノード間の各矢印は相互接続を表す。ニューラルネットワーク３０１への入力により、ノードのセットがアクティブ化される。次に、このノードのセットは、他のノードをアクティブ化し、それにより入力に関する知識が伝播される。このアクティブ化プロセスは、出力が提供されるまで、他のノードにわたって繰り返される。例示的なニューラルネットワーク３０１はノードの階層を含む。最下位階層に、入力層３０２が存在する。入力層３０２は、入力ノードのセットを含む。いくつかの実施形態では、ＡＩモデル３００の中間予測は、出力、特徴、ノード、分類などのラベルを作成する分類子を通じて決定される。最上位階層には、出力層３０４が存在する。出力層３０４は、出力ノードのセットを含む。各出力ノードは、ＡＩモデル３００に提供される所与の入力セットに可能なＡＩモデル３００の出力を表す。様々な実施形態では、ＡＩモデル３００によって生成されたこれらの結果は、所定及び真の結果、または学習済み変化及び結果と比較されることができると、システム１００によって使用されるパラメータを洗練し、かつ／または修正して、所与の入力セットに適切な予測されるまたは予想される応答及び／または変化を反復的に決定することができる。ニューラルネットワーク３０１内のノードは、パラメータを洗練する場合にそのような決定を行うために使用されることができる訓練済みＡＩモデル３００のパラメータを学習する。

【0037】

いくつかの実施形態では、ニューラルネットワーク３０１内で入力層３０２と出力層３０４との間に１つ以上の隠れ層（複数可）あるいはヒドゥンレイヤー（hidden layer(s)）３０３が存在する。隠れ層（複数可）３０３は、「Ｘ」個の隠れ層を含み、「Ｘ」は、１以上の整数である。隠れ層（複数可）３０３のそれぞれは、隠れノードのセットを含む。入力層３０２の入力ノードは、第一隠れ層３０３の隠れノードに相互接続される。最後の（「第Ｘ」）隠れ層３０３の隠れノードは、出力層３０４の出力ノードに相互接続されるため、入力ノードは、出力ノードに直接相互接続されない。複数の隠れ層３０３が存在する場合、入力層３０２の入力ノードは、最下位（第一）隠れ層３０３の隠れノードに相互接続される。次に、第一隠れ層３０３の隠れノードは、その次の隠れ層３０３の隠れノードに相互接続され、最上位（「第Ｘ」）隠れ層３０３の隠れノードが出力層３０４の出力ノードに相互接続されるまで、これが続く。

【0038】

相互接続は、ニューラルネットワーク３０１内で２つのノードを接続する。例示的なニューラルネットワーク３０１内の相互接続は矢印で示される。各相互接続は、学習することができる数値の重みを有し、ニューラルネットワーク３０１を入力に適応させて、学習可能にする。一般に、隠れ層（複数可）３０３により、入力層３０２の入力ノードに関する知識が、出力層３０４の出力ノードに対応するすべてのタスク間で共有されることが可能となる。この点に関して、いくつかの実施形態では、変換関数ｆは、隠れ層（複数可）３０３を介して入力層３０２の入力ノードに適用される。場合によっては、変換関数ｆは非線形である。また、例えば正規化線形関数ｆ（ｘ）＝ｍａｘ（０，ｘ）を含む、様々な非線形変換ｆが利用可能である。

【0039】

いくつかの実施形態では、ニューラルネットワーク３０１はまた、最適解を見つけるためにコスト関数ｃを使用する。コスト関数ｃは、所与の入力ｘに関してｆ（ｘ）と定義されたニューラルネットワーク３０１によって出力される予測値と、グラウンドトゥルースまたはターゲット値ｙ（例えば、期待結果）との間の偏差を測定する。最適解は、最適解のコストよりコストの低い解がない状況を表す。コスト関数ｃの例として、グラウンドトゥルースラベルが利用可能なデータの場合、予測値とグラウンドトゥルースとの平均二乗誤差が挙げられる。学習プロセス中に、ニューラルネットワーク３０１は、誤差逆伝播アルゴリズムを使用して、様々な最適化方法を採用し、コスト関数ｃを最小化するモデルパラメータを学習することができる（例えば、隠れ層（複数可）３０３内のノード間の相互接続の重みを学習することができる）。このような最適化方法の一例として、確率的勾配降下法が挙げられる。

【0040】

図４は、いくつかの実施形態による、ビデオゲーム内でのＡＩ支援コミュニケーション方法のフローチャートを示す。方法は、ビデオゲームのターゲットプレイヤ１４９へのコミュニケーションのためのメッセージを含む入力データを受信するための操作４０１を含む。いくつかの実施形態では、入力データは、（Ａ）ジェスチャを行っている人物１０３のビデオと、（Ｂ）ジェスチャを行っている人物１０３に関連する追跡メタデータとのうちの１つ以上を含み、ターゲットプレイヤ１４９へのコミュニケーションのためのメッセージは、ジェスチャによって少なくとも部分的に提供される。いくつかの実施形態では、追跡メタデータは、人物１０３の姿勢、人物１０３の運動、コントローラデバイスの位置、コントローラデバイスの向き、コントローラデバイスの運動、人物１０３によって装着されたウェアラブルデバイスの位置、人物１０３によって装着されたウェアラブルデバイスの向き、及び人物１０３によって装着されたウェアラブルデバイスの運動のうちの１つ以上を定義する。いくつかの実施形態では、追跡メタデータは、並進３自由度（ｘ、ｙ、ｚ）及び回転３自由度（ｘ軸周り、ｙ軸周り、ｚ軸周り）を含む、６自由度（６ＤＯＦ）に関して定義される。いくつかの実施形態では、入力データは、ジェスチャと、オーディオクリップ１０７及びビデオゲームコントローラ１０９の入力のうちの１つ以上との両方を含み、ターゲットプレイヤ１４９へのコミュニケーションのためのメッセージは、オーディオクリップ１０７及びビデオゲームコントローラ１０９の入力のうちの１つ以上によって少なくとも部分的に提供される。いくつかの実施形態では、メッセージを定義する入力データの部分は、カメラ１０２によってキャプチャされるような、ジェスチャを行っている人物１０３のビデオのいくつかのビデオフレームのそれぞれの内の画素領域として識別される。また方法は、第一ＡＩモデルコンポーネント（例えば、１１９、１２１、１２３のうちの１つ以上）の実行を通じて、メッセージを定義する入力データの部分を自動的に識別するための操作４０３を含む。

【0041】

また方法は、第二ＡＩモデルコンポーネント（例えば、１２９、１３１、１３３のうちの１つ以上）の実行を通じて、入力データの部分によって定義されたメッセージの意味を自動的に決定するための操作４０５を含む。いくつかの実施形態では、方法は、第二ＡＩコンポーネントを実行して、ジェスチャを行うために使用された人物１０３の身体部位を自動的に識別し、身体部位の測位及び身体部位の運動方法のうちの１つ以上を自動的に識別することを含む。また、これらの実施形態では、方法は、第二ＡＩコンポーネントを実行して、身体部位、身体部位の測位、及び／または身体部位の運動方法を分析し、メッセージの意味を決定することを含む。ジェスチャを行うために使用される人物１０３の身体部位が人物の任意の身体部位（例えば、顔、目、腕、脚、手、足、指など）または人物の身体部位の任意の組み合わせであることができることを理解されたい。いくつかの実施形態では、ジェスチャを行うために使用される人物１０３の身体部位（複数可）は人物の目を含む。これらの実施形態では、第二ＡＩコンポーネントは、人物１０３の片目または両目の視線方向及び／または運動方法を分析して、人物１０３の目（複数可）によって伝達されるメッセージの意味を決定するように構成される。また、いくつかの実施形態では、ジェスチャを行うために使用される人物１０３の身体部位が人物の顔であることを理解されたい。これらの実施形態では、第二ＡＩコンポーネントは、人物１０３の顔の表情を分析して、人物１０３の顔によって伝達されるメッセージの意味を決定するように構成される。また、いくつかの実施形態では、第二ＡＩモデルは、人物１０３に関連する様々なコンポーネント及び／または部分の追跡に対応する追跡メタデータ、例えば、基本的に他のあらゆるタイプの追跡メタデータの中でも、コントローラ追跡メタデータ（例えば、６ＤＯＦ）、体肢追跡メタデータ、手（複数可）／指（複数可）追跡メタデータの形式であるメッセージのジェスチャ情報を処理するように構成されて訓練される。第二ＡＩモデルによる追跡メタデータの処理は、仮想現実及び拡張現実を実装するビデオゲームに特に関連性がある。いくつかの実施形態では、方法は、人物１０３がジェスチャを行うことを終了する前に、第二ＡＩモデルコンポーネントを実行して、メッセージの意味を決定することによって、メッセージの処理及びターゲットプレイヤ１４９への伝達のアクセラレーションを提供することを含む。

【0042】

また方法は、第三ＡＩモデルコンポーネント（例えば、１３６）の実行を通じて、メッセージの意味に基づいて、メッセージがターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及び現在のゲームコンテキスト１５３Ｂに関連性があるかどうかを自動的に決定するための操作４０７を含む。いくつかの実施形態では、第三ＡＩモデルコンポーネントを実行して、メッセージの意味を評価し、メッセージの件名及びメッセージの件名に関連するアクションを識別することを含む。また、これらの実施形態では、方法は、第三ＡＩモデルコンポーネントを実行して、メッセージの件名がターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂ内にまだ存在しており、かつメッセージの件名に関連するアクションが、依然としてターゲットプレイヤ１４９の現在のゲーム状態１５３Ａに関連していると決定される場合、メッセージを関連性があるとみなすことを含む。また、これらの実施形態では、方法は、第三ＡＩモデルコンポーネントを実行して、メッセージの件名が、もはやターゲットプレイヤ１４９の現在のゲームコンテキスト１５３Ｂ内に存在しなくなり、またはメッセージの件名に関連するアクションが、もはやターゲットプレイヤ１４９の現在のゲーム状態１５３Ａに関連していないと決定される場合、メッセージのさらなる処理をキャンセルすることを含む。

【0043】

いくつかの実施形態では、方法は、第三ＡＩモデルコンポーネントを実行して、メッセージの件名に関連するアクションがターゲットプレイヤ１４９の現在のゲーム状態１５３Ａを改善するために有益ではないと決定される場合、メッセージのさらなる処理をキャンセルすることを含む。また、いくつかの実施形態では、方法は、第三ＡＩモデルコンポーネントを実行して、メッセージの件名及びメッセージの件名に関連するアクションがターゲットプレイヤ１４９に既に伝達された別のコミュニケーションに対し冗長性があると決定される場合、メッセージのさらなる処理をキャンセルすることを含む。

【0044】

また方法は、メッセージがターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及び現在のゲームコンテキスト１５３Ｂに関連性があると決定される場合、第四ＡＩモデルコンポーネント（例えば、１４０）の実行を通じて、メッセージの意味を伝達するコミュニケーションをターゲットプレイヤ１４９に自動的に作成するための操作４０９を含む。また方法は、コミュニケーションをターゲットプレイヤ１４９に配信するための操作４１１を含む。

【0045】

いくつかの実施形態では、方法は、第四ＡＩモデルコンポーネントを実行して、第二ＡＩモデルコンポーネントによって決定された複数のメッセージのために、ターゲットプレイヤ１４９への複数のコミュニケーションをそれぞれ自動的に作成する代わりに、複数のメッセージと同様の意味を伝達する、ターゲットプレイヤ１４９への統合コミュニケーションを自動的に作成することを含む。また、いくつかの実施形態では、方法は、第四ＡＩモデルコンポーネントを実行して、ターゲットプレイヤ１４９にコミュニケーションを伝達するためのより高い緊急度レベルを自動的に認識することを含む。これらの実施形態では、方法はまた、第四ＡＩモデルを実行して、ターゲットプレイヤ１４９にコミュニケーションを伝達するためのより高い緊急度レベルを認識することに応答して、メッセージのより短いバージョンを伝達する短縮コミュニケーションをターゲットプレイヤ１４９に自動的に作成することも含む。さらに、いくつかの実施形態では、方法は、第四ＡＩモデルコンポーネントを実行して、ターゲットプレイヤ１４９へのコミュニケーションのフォーマットを自動的に決定することを含み、このフォーマットはテキストフォーマット、可聴フォーマット、グラフィカルフォーマット、及びハプティックフォーマットのうちの１つ以上である。

【0046】

システム１００は、メッセージ発信元１０１がターゲットプレイヤ１４９に（ジェスチャ、音声言語、及び／またはコントローラ入力によるかどうかにかかわらず）メッセージでコミュニケーションを行おうとしていることを認識するように構成される。システム１００がメッセージの意図を理解するとすぐに、システム１００は、ターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及び現在のゲームコンテキスト１５３Ｂに関するその知識を利用し、メッセージを処理してターゲットプレイヤ１４９にメッセージを伝達する方法について情報に基づいた決定を行う。このように、システム１００は、ターゲットプレイヤ１４９が受信したコミュニケーションがメッセージ発信元１０１の意図と一致しない場合に発生する、ミスアライメントコミュニケーションの発生を軽減する。いくつかの実施形態では、システム１００は、メッセージがターゲットプレイヤ１４９に送信されるか、メッセージがターゲットプレイヤ１４９に送信されるのを遮断するかいずれかを可能にするために、連続フィルタリングプロセス（メッセージ関連性エンジン１３５によるもの）を実装する。ターゲットプレイヤ１４９にとってタイムリーではないか関連性がないかいずれかであるメッセージの処理をインタラプトして停止する機能により、プロセッササイクル及びメモリ使用量が節約されるため、ビデオゲームシステムの全体的な計算効率が向上することができることを理解されたい。また、いくつかの実施形態では、システムは、メッセージ最適化プロセス（コミュニケーション伝達エンジン１３９によるもの）を実装して、ターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及び／または現在のゲームコンテキスト１５３Ｂが与えられると、ターゲットプレイヤ１４９に最も適切なものに基づいて、ターゲットプレイヤ１４９に伝達される前にメッセージのコンテンツ及び／またはフォーマットを自動的に変更する。システム１００がメッセージ発信元（複数可）１０１からターゲットプレイヤ１４９（または複数のターゲットプレイヤ）へのメッセージコミュニケーションの管理を、少なくとも次の方法：Ａ）メッセージによってタイムリーにターゲットプレイヤ１４９にコミュニケーションを行うことを確保し、Ｂ）必要に応じてメッセージを短縮して、ターゲットプレイヤ１４９へのメッセージのコミュニケーションのレイテンシを減少させ、Ｃ）ターゲットプレイヤ１４９の現在のゲーム状態１５３Ａ及び現在のゲームコンテキスト１５３Ｂに関連性のない、または関連性をなくした、ターゲットプレイヤ１４９へのメッセージのコミュニケーションを回避し、Ｄ）ターゲットプレイヤ１４９に有益でない、ターゲットプレイヤ１４９へのメッセージのコミュニケーションを回避し、Ｅ）ターゲットプレイヤ１４９への冗長なメッセージのコミュニケーションを回避することで提供することを理解されたい。

【0047】

図５は、いくつかの実施形態による、ビデオゲーム内でＡＩ支援コミュニケーションのためのシステム１００及び方法の態様を実行するために使用されることができるクラウドベースのコンピューティングシステム内の例示的なサーバデバイス５００の様々なコンポーネントを示す。このブロック図は、本開示の実施形態を実施するのに好適なパーソナルコンピュータ、ビデオゲームコンソール、パーソナルデジタルアシスタント、ヘッドマウントディスプレイ（ＨＭＤ）、ウェアラブルコンピューティングデバイス、ラップトップもしくはデスクトップコンピューティングデバイス、サーバ、またはその他の任意のデジタルコンピューティングデバイスを組み込むことができ、またはこれらであってもよい、サーバデバイス５００を示す。サーバデバイス（または単純に「サーバ」もしくは「デバイス」と称される）５００は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを実行するための中央演算処理装置（ＣＰＵ）５０２を含む。ＣＰＵ５０２は、１つ以上の同種または異種の処理コアで構成され得る。例えば、ＣＰＵ５０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。さらなる実施形態は、クエリの解釈、文脈的に関連するリソースの識別、及び文脈的に関連するリソースのビデオゲーム内での即時実施及びレンダリングなど、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つまたは複数のＣＰＵを使用して、実施することができる。デバイス５００は、ゲームセグメント（例えば、ゲームコンソール）をプレイするプレイヤ、またはプレイヤからリモート（例えば、バックエンドサーバプロセッサ）、またはクライアントにリモートのゲームプレイストリーミングのためにクラウドベースのゲームシステム５００に仮想化を使用する多くのサーバの１つにローカライズされてもよい。

【0048】

メモリ５０４は、ＣＰＵ５０２が使用するアプリケーション及びデータを記憶する。ストレージ５０６は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、かつ、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体を含み得る。ユーザ入力デバイス５０８は、１人以上のユーザからのユーザ入力をデバイス５００へ通信し、ユーザ入力デバイス５０８の例には、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルレコーダ／カメラもしくはビデオレコーダ／カメラ、ジェスチャを認識する追跡デバイス、及び／またはマイクロフォンが挙げられ得る。ネットワークインタフェース５１４は、デバイス５００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークにわたる有線通信または無線通信を含み得る。オーディオプロセッサ５１２は、ＣＰＵ５０２、メモリ５０４、及び／またはストレージ５０６により提供される命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合される。ＣＰＵ５０２、メモリ５０４、データストレージ５０６、ユーザ入力デバイス５０８、ネットワークインタフェース５１４、及びオーディオプロセッサ５１２を含むデバイス５００の構成要素は、１つ以上のデータバス５２２を介して接続される。

【0049】

グラフィックスサブシステム５２０が、データバス５２２及びデバイス５００のコンポーネントとさらに接続されている。グラフィックスサブシステム５２０は、グラフィックスプロセシングユニット（ＧＰＵ）５１６とグラフィックスメモリ５１８とを含む。グラフィックメモリ５１８は、出力画像の各画素の画素データを記憶するために使用される表示メモリ（例えばフレームバッファ）を含む。グラフィックメモリ５１８は、ＧＰＵ５１６と同じデバイスに統合されてもよく、ＧＰＵ５１６と別個のデバイスとして接続されてもよく、及び／またはメモリ５０４内に実装されてもよい。画素データは、ＣＰＵ５０２から直接グラフィックメモリ５１８に提供することができる。あるいは、ＣＰＵ５０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ５１６に提供し、これを基に、ＧＰＵ５１６は、１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ５０４及び／またはグラフィックメモリ５１８に記憶することができる。実施形態では、ＧＰＵ５１６は、シーンの幾何学的構造、照明、陰影、質感、モーション、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ５１６はさらに、シェーダプログラムを実行することができる１つ以上のプログラム可能実行ユニットを含み得る。

【0050】

グラフィックスサブシステム５２０は、グラフィックスメモリ５１８から画像の画素データを定期的に出力して、ディスプレイデバイス５１０に表示させる。ディスプレイデバイス５１０は、デバイス５００からの信号に応じて視覚情報を表示することができる任意のデバイスであり得、これにはＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。ディスプレイデバイス５１０に加えて、画素データを投影面上に投影することもできる。デバイス５００は、ディスプレイデバイス５１０に、例えばアナログ信号またはデジタル信号を提供することができる。

【0051】

コンピューティングデバイス間のコミュニケーションのための本開示の実施態様は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータ、ヘッドマウントディスプレイ、ウェアラブルコンピューティングデバイスなどを含む、様々なコンピュータデバイス構成を用いて実践できる。本開示の実施形態はまた、有線ベースまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散計算環境においても、実施することができる。

【0052】

いくつかの実施形態では、通信は、無線技術を使用して促進され得る。このような技術には、例えば、５Ｇ無線通信技術が含まれていてもよい。５Ｇは第５世代のセルラーネットワーク技術である。５Ｇネットワークはデジタルセルラーネットワークであり、ここでは、プロバイダがカバーするサービスエリアが、セルと言われる小さい地理的領域に分割される。音及び映像を表すアナログ信号は、電話でデジタル化され、アナログーデジタルコンバータによって変換され、ビットストリームとして伝送される。セル内のすべての５Ｇワイヤレスデバイスは、他のセルで再利用される周波数プールからトランシーバによって割り当てられた周波数チャネルを介して、セル内のローカルアンテナアレイ及び低電力自動トランシーバ（送信器及び受信機）と電磁波で通信する。ローカルアンテナは、高帯域幅光ファイバまたは無線バックホール接続によって、電話網及びインターネットに接続される。他のセルネットワークと同様に、あるセルから別のセルに移るモバイルデバイスは、自動的に新しいセルに移される。当然のことながら、５Ｇネットワークは単に通信ネットワークのタイプ例であり、本開示の実施形態では、前の世代の無線または有線通信、ならびに５Ｇの後に来る後の世代の有線または無線技術を用いてもよい。

【0053】

上記の実施形態を考慮すると、当然ながら、本開示はコンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施動作を採用することができる。これらの動作は、物理量の物理的操作を要する動作である。本開示の一部を形成する本明細書で説明される動作のいずれも、有用なマシン動作である。本開示はまた、これらの動作を実行するためのデバイスまたは装置に関する。装置は、必要な目的のために特別に構築され得る、または装置は、コンピュータに格納されたコンピュータプログラムにより選択的に有効化または構成される汎用コンピュータであり得る。具体的には、様々な汎用機械を、本明細書の教示にしたがって書かれたコンピュータプログラムと共に使用することができ、あるいは、必要な動作を実行するためにより専門的な装置を構築する方がより好都合である場合もある。

【0054】

方法動作が特定の順序で説明されたが、他のハウスキーピング操作が動作の間に実行されてもよく、または動作が、わずかに異なる時刻に生じるように調整されてもよく、もしくは処理に関連する様々な間隔で処理動作の発生を可能にするシステム内に分散されてもよいことが理解されるべきである。

【0055】

１つ以上の実施形態は、コンピュータ可読媒体上のコンピュータ可読コード（プログラム命令）として作ることもできる。コンピュータ可読媒体は、データを記憶できる任意のデータストレージデバイスであり、データは後にコンピュータシステムにより読み出すことができる。コンピュータ可読媒体の例には、ハードドライブ、ネットクワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスが含まれる。コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶及び実行されるように、ネットワーク接続されたコンピュータシステムに分散されたコンピュータ可読有形媒体を含み得る。

【0056】

前述の実施形態は、理解を明確にするためにある程度詳細に記載したが、添付の特許請求の範囲内で一定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は例示的であって限定的ではないとみなされるべきであり、実施形態は本明細書に記載された詳細に限定されるものではなく、添付の特許請求の範囲及び均等物の範囲内で修正され得る。

【0057】

本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実施態様に組み合わされてもよく、または組み立てられもよいことを、理解されたい。従って、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせることでより多くの実施態様を規定することが可能な様々な実施態様に制限を加えるものではない。ある例では、ある実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】