特許 7405329 コンピュータ実装方法、プログラムおよびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】コンピュータ実装方法、プログラムおよびシステム

(51)【国際特許分類】

   G06F 21/55 20130101AFI20231219BHJP

   G06N 3/08 20230101ALI20231219BHJP

   A63F 13/75 20140101ALI20231219BHJP

【ＦＩ】

G06F21/55

G06N3/08

A63F13/75

【請求項の数】 21

(21)【出願番号】P 2020545643

(86)(22)【出願日】2019-03-14

(65)【公表番号】

(43)【公表日】2021-07-15

(86)【国際出願番号】 US2019022298

(87)【国際公開番号】W WO2019182868

(87)【国際公開日】2019-09-26

【審査請求日】2022-02-21

(31)【優先権主張番号】15/927,989

(32)【優先日】2018-03-21

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】517160525

【氏名又は名称】バルブ コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】コックス、アンソニー ジョン

(72)【発明者】

【氏名】マクドナルド、ジョン

(72)【発明者】

【氏名】ヴァン エンゲル、ガブリエル

(72)【発明者】

【氏名】ローテン、マット

【審査官】安田 明央

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０２９４０７５（ＵＳ，Ａ１）

【文献】特開２０１４－２２３３２１（ＪＰ，Ａ）

【文献】特開２０１７－０９１４９６（ＪＰ，Ａ）

【文献】特開２０１６－０７６１８９（ＪＰ，Ａ）

【文献】Luca Galli，A Cheating Detection Framework for Unreal Tournament III: a Machine Learning Approach，2011 IEEE Conference on Computational Intelligence and Games (CIG’11)，IEEE，2011年08月31日，p.266-272

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ２１／５５

Ｇ０６Ｎ ３／０８

Ａ６３Ｆ １３／００－１３／９８

(57)【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
１または複数のコンピューティングシステムによって複数の判定についての訓練データを受信する段階であって、前記複数の判定の各々は、対話型ゲーム環境でのユーザのゲームプレイ行為が、前記ゲームプレイ行為を支援するチートソフトウェアの使用により、前記対話型ゲーム環境への前記ユーザのアクセスを制限されることになるかどうかを特定する、前記受信する段階と、
前記１または複数のコンピューティングシステムによって、前記対話型ゲーム環境での更なるゲームプレイ行為が、前記対話型ゲーム環境での前記更なるゲームプレイ行為を援助するチートソフトウェアの使用により、前記対話型ゲーム環境へのアクセスを制限されることになるかどうかを分類するディープニューラルネットワークモデルを、前記受信された訓練データに基づいて、将来の使用のために訓練する段階と、
前記１または複数のコンピューティングシステムによって、前記対話型ゲーム環境でのチートソフトウェアの使用を制御する訓練済の前記ディープニューラルネットワークモデルを用いる段階であって、
前記対話型ゲーム環境と対話している複数のユーザの各々に対し、前記訓練済のディープニューラルネットワークモデルが、前記対話型ゲーム環境の前記ユーザの監視されたゲームプレイ行為を、不正であって、前記監視されたゲームプレイ行為が、前記受信された訓練データからの、チートソフトウェアの使用によって支援されていた他のユーザのゲームプレイ行為と同様であるために、前記対話型ゲーム環境への前記ユーザのアクセスが制限されることになるものとして分類すると、前記１または複数のコンピューティングシステムが決定する段階と、
前記１または複数のコンピューティングシステムによって、前記複数のユーザの１または複数の第１のユーザの各々に対し、前記第１のユーザの監視されたゲームプレイ行為が不正であり前記対話型ゲーム環境への前記第１のユーザのアクセスが制限されることになることの検証を得る段階であって、前記訓練済のディープニューラルネットワークモデルとは別個で前記第１のユーザの前記監視されたゲームプレイ行為を更に評価する１または複数の他のチートソフトウェア検知システムと対話することを含む、前記検証を得る段階と、
前記１または複数のコンピューティングシステムによって、前記第１のユーザの各々の前記対話型ゲーム環境への前記アクセスを制限する段階と
を含む、前記訓練済のディープニューラルネットワークモデルを用いる段階と、
前記１または複数のコンピューティングシステムによって、前記対話型ゲーム環境でのチートソフトウェアの使用の更なる制御を向上させるため前記訓練済のディープニューラルネットワークモデルを更新する段階であって、
前記１または複数のコンピューティングシステムによって、前記第１のユーザとは別個の前記複数のユーザの１または複数の第２のユーザの各々に対し、前記第２のユーザの前記監視されたゲームプレイ行為が不正でなく前記対話型ゲーム環境への前記第２のユーザの前記アクセスが制限されないことになることの検証を得る段階であって、前記第２のユーザの前記監視されたゲームプレイ行為を更に評価する前記１または複数の他のチートソフトウェア検知システムと対話することを含む、前記検証を得る段階と、
前記１または複数のコンピューティングシステムによって、前記第２のユーザの各々に対し、前記第２のユーザの前記監視されたゲームプレイ行為が不正でなく前記対話型ゲーム環境への前記第２のユーザの前記アクセスが制限されないことになることを反映するよう、前記訓練済のディープニューラルネットワークモデルを更新する段階と
を含む更新する段階と
を備えるコンピュータ実装方法。

【請求項2】

前記訓練データを受信する段階は、前記対話型ゲーム環境での他のユーザの前記複数の前のゲームプレイ行為に対する過去の判定であって、前記複数の前のゲームプレイ行為が、以前に、前記対話型ゲーム環境への前記他のユーザの前記アクセスを制限されることになったことを特定する、前記過去の判定についての情報を、前記１または複数の他のチートソフトウェア検知システムから得る段階を含み、前記複数のユーザの各々に対して決定する段階は、前記訓練済のディープニューラルネットワークモデルを用いて、前記ユーザの前記監視されたゲームプレイ行為が、前記対話型ゲーム環境への前記ユーザの前記アクセスを制限されることになる可能性を決定する段階と、前記決定された可能性が不正のゲームプレイ行為に対して定められた閾値を超えることを識別する段階とを含む請求項１に記載のコンピュータ実装方法。

【請求項3】

コンピューティングシステムによって、対話型実行環境でのユーザの監視された行為が、不正ソフトウェアの使用によって支援された不正行為と同様であるために、前記対話型実行環境への前記ユーザのアクセスを制限されることになると決定する段階であって、前記決定する段階は、１または複数の他の不正ソフトウェア検知システムによるユーザ行為のレビューによって、前記ユーザ行為が不正ソフトウェアの使用によって支援されていると決定する場合に前記対話型実行環境での前記ユーザ行為を、不正であって、前記対話型実行環境へのアクセスを制限されることになるものとして分類するよう訓練されたモデルを用いる段階を含む、前記決定する段階と、
前記監視された行為を更に評価する前記１または複数の他の不正ソフトウェア検知システムと対話する段階を含み、前記コンピューティングシステムによって、前記決定する段階に少なくとも部分的に基づき、前記ユーザの前記監視された行為が不正であり、前記不正ソフトウェアの前記使用によって支援されているために、前記対話型実行環境への前記ユーザの前記アクセスが制限されることになるかどうかの判定を得る段階と、
前記コンピューティングシステムによって、前記対話型実行環境での前記ユーザの監視された行為が前記不正行為と同様であるために、前記対話型実行環境への前記ユーザの前記アクセスが制限されることになるとの前記決定についての情報を格納する段階と
を少なくとも備える方法をコンピューティングシステムに実行させるプログラム。

【請求項4】

前記方法は、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階であって、前記監視された行為が不正であることを前記得られた判定が示すならば前記対話型実行環境への前記ユーザの前記アクセスを制限する段階、および、そうでなければ前記ユーザの前記監視された行為が不正ではないことを反映させるように前記訓練されたモデルを更新する段階を含む、前記制御する段階を更に備える請求項３に記載のプログラム。

【請求項5】

前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、前記ユーザが前記対話型実行環境にアクセスすることを禁止する段階を含む請求項４に記載のプログラム。

【請求項6】

前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、定められた期間、または、１または複数の特定された基準が満されるまで、のうちの少なくとも１つの間、前記ユーザが前記対話型実行環境を使用することを停止させる段階を含む請求項４に記載のプログラム。

【請求項7】

前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、前記対話型実行環境が前記ユーザにどのように機能を提供するかに影響する、前記ユーザに割り当てられた信頼スコアを減じる段階を含む請求項４に記載のプログラム。

【請求項8】

前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、前記ユーザに対する累積に１または複数のペナルティ表示を追加する段階を含み、前記累積は、前記累積が特定の閾値に達した場合に前記ユーザへ他の制限をもたらす、請求項４に記載のプログラム。

【請求項9】

前記対話型実行環境はオンラインゲーム環境であり、前記ユーザの前記監視された行為はゲームプレイ行為であり、前記不正ソフトウェアは前記ユーザのクライアントコンピューティングデバイス上で実行されるチートソフトウェアであり、前記アクセスを制限する段階は、少なくとも特定量の時間、前記ユーザによる前記オンラインゲーム環境の使用を防ぐ段階を含む請求項４から８のいずれか１項に記載のプログラム。

【請求項10】

前記方法は、前記決定する段階の前に、前記対話型実行環境でのユーザ行為が、不正ソフトウェアの使用によって支援されているか、不正ソフトウェアの使用によって支援されていないかを分類する前記モデルを、将来の使用のために訓練する段階であって、前記対話型実行環境での表示されたユーザ行為が、前記ユーザ行為を支援する不正ソフトウェアの使用により、前記対話型実行環境へのアクセスを制限されることになるかどうかを各々が特定する複数の判定についての訓練データを取得して使用する段階を含む、前記訓練する段階を更に備える、請求項３から９のいずれか１項に記載のプログラム。

【請求項11】

前記モデルは複数の隠れ層を含むディープニューラルネットワークであり、前記モデルを訓練する段階は、ユーザ行為に関連付けられた属性値および前記ユーザ行為が不正ソフトウェアの使用によって支援されているか不正ソフトウェアの使用によって支援されていないかの判定結果のパターンを識別するための複数の隠れ層を用いる段階を含む請求項１０に記載のプログラム。

【請求項12】

前記モデルを訓練する段階は、ユーザ行為に関連付けられた属性値および前記ユーザ行為が不正ソフトウェアの使用によって支援されているか不正ソフトウェアの使用によって支援されていないかの判定結果のパターンを識別するための深層学習技術を用いる段階を含む請求項１０に記載のプログラム。

【請求項13】

前記決定する段階は、前記１または複数の他の不正ソフトウェア検知システムと対話する段階の前に、前記訓練されたモデルを用いて、前記１または複数の他の不正ソフトウェア検知システムが、前記ユーザの前記監視された行為が不正ソフトウェアの使用によって支援されていると判定する可能性を決定する段階と、前記決定された可能性が不正なユーザ行為に対して定められた閾値を超えることを識別する段階とを含む請求項３から１２のいずれか１項に記載のプログラム。

【請求項14】

前記方法は、前記１または複数の他の不正ソフトウェア検知システムのうちの少なくとも１つでの動作を実行する段階であって、前記不正ソフトウェアの前記使用によって支援された前記ユーザの前記監視された行為について前記対話型実行環境の複数の他のユーザから入力を得ることを含む、前記動作を実行する段階を更に備える請求項１３に記載のプログラム。

【請求項15】

更に前記ユーザのクライアントコンピューティングデバイスに、１または複数の既知の不正ソフトウェアプログラム用の、前記クライアントコンピューティングデバイス上の少なくとも１つのメモリまたは前記クライアントコンピューティングデバイス上のストレージを調査させることによって、前記１または複数の他の不正ソフトウェア検知システムのうちの少なくとも１つでの動作を実行させる請求項１３に記載のプログラム。

【請求項16】

システムであって、
１または複数のコンピューティングシステムの１または複数のハードウェアプロセッサと、
前記１または複数のハードウェアプロセッサのうちの少なくとも１つで実行された場合に、前記システムに少なくとも以下を含むモデル使用コンポーネントに対する自動化された操作を実行させる格納された命令を有する１または複数のメモリと
を備え、
前記操作は、
対話型ゲーム環境でのユーザの監視されたゲームプレイ行為が、前記ユーザの前記監視されたゲームプレイ行為以外の他のゲームプレイ行為であってチートソフトウェアの使用によって支援された前記他のゲームプレイ行為と同様であるために不正であると決定する段階であって、前記決定する段階は前記対話型ゲーム環境でのユーザのゲームプレイ行為がチートソフトウェアの使用によって支援されているかチートソフトウェアの使用によって支援されていないかを分類する訓練済のモデルを使用する段階を含む、前記決定する段階と、
前記決定する段階に少なくとも部分的に基づいて、前記監視されたゲームプレイ行為を更に評価する１または複数の他のチートソフトウェア検知システムから、前記ユーザの前記監視されたゲームプレイ行為が前記チートソフトウェアの使用によって支援されていることにより不正であるという判定を得る段階と、
前記対話型ゲーム環境での前記ユーザの前記監視されたゲームプレイ行為が不正であるとの前記決定する段階または前記ユーザの前記監視されたゲームプレイ行為が不正であるという前記判定のうちの少なくとも１つについての情報を提供する段階と
を含むシステム。

【請求項17】

前記格納された命令は更に、前記システムに、前記得られた判定を用いて前記対話型ゲーム環境への前記ユーザのアクセスを制限させる請求項１６に記載のシステム。

【請求項18】

前記得られた判定を用いて前記対話型ゲーム環境への前記ユーザのアクセスを制限させることは、定められた期間、または、１または複数の特定の基準が満たされるまで、のうちの少なくとも１つの間、前記対話型ゲーム環境への前記ユーザの前記アクセスを防ぐ段階を含む請求項１７に記載のシステム。

【請求項19】

前記モデルは更に、前記対話型ゲーム環境での前記ユーザのゲームプレイ行為を、複数のタイプの不正なユーザのゲームプレイ行為の１つに属するものとして分類するように訓練され、前記対話型ゲーム環境での前記ユーザの前記監視されたゲームプレイ行為が不正であると前記決定する段階は、前記ユーザの前記監視されたゲームプレイ行為が属する、前記複数のタイプの不正なユーザのゲームプレイ行為の１つを識別する段階を含む請求項１６に記載のシステム。

【請求項20】

前記モデルは更に、前記対話型ゲーム環境での前記ユーザのゲームプレイ行為を、複数のタイプのチートソフトウェアの１つを使用することによって支援されているものとして分類するように訓練され、前記対話型ゲーム環境での前記ユーザの前記監視されたゲームプレイ行為が不正であると前記決定する段階は、前記ユーザの前記監視されたゲームプレイ行為を支援するのに用いられた、前記複数のタイプのチートソフトウェアの１つを識別する段階を含む請求項１６に記載のシステム。

【請求項21】

前記モデルは、前記対話型ゲーム環境での第２のユーザの追加的な監視されたゲームプレイ行為が、チートソフトウェアの使用によって支援される他のゲームプレイ行為と同様であるために、不正である、と示す訓練済のディープニューラルネットワークであり、前記格納された命令は更に、前記システムに、モデル訓練コンポーネントに対する追加的な動作を実行させ、前記追加的な動作は、前記第２のユーザの前記追加的な監視されたゲームプレイ行為が前記チートソフトウェアの使用によって支援されていないという前記１または複数の他のチートソフトウェア検知システムからの第２の得られた判定に応答して、前記第２のユーザの前記追加的な監視されたゲームプレイ行為が前記チートソフトウェアの使用によって支援されていないということを反映させるべく前記訓練済のディープニューラルネットワークモデルを更新する段階を少なくとも含む、請求項１６から２０のいずれか１項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

以下の開示は概して対話型実行環境内のチートを自動的に減らすための技術に関連し、より具体的には、オンラインゲーム環境または他の対話型実行環境内のチートソフトウェアの使用を検出および停止する深層学習分類を用いた自動化された操作を実行するための技術に関連する。

【背景技術】

【0002】

コンピュータゲームの使用が急増しているのにしたがい、それが、チートにより不公平な優位性を得る試みを含む、そのようなコンピュータゲームの何人かのユーザの不適切な行為がある。そのようなチートの例は、ゲームソフトウェア内の既知のバグを利用すること、ユーザに代わって自動化された行為を行う（場合により「ボット」を呼ばれる）ソフトウェアプログラムを用いること、および、ゲーム内のデータおよび／または機能を変更するソフトウェアプログラムを用いること（例えば、強化された能力を提供する、ユーザのスコアまたは他の関連付けられたデータを変更すること、等）を含む。

【0003】

様々な技術がゲーム内のチートを防止するために試られてきているが、そのような技術は全て課題に悩まされている。例えば、ユーザが１または複数の遠隔ゲームサーバコンピューティングシステムによって提供された機能にアクセスためのクライアントコンピューティングデバイスを用いている状況において、技術が既知のチート関連のセットアップコンフィギュレーションを識別しようとしてクライアントコンピューティングデバイスのセットアップ（例えば、実行されているプログラム）を監視するために用いられてきているが、ユーザは様々なやり方で彼らのクライアントコンピューティングデバイス上のそのようなセットアップコンフィギュレーションを隠すよう試みるであろうし、そのような技術は彼らの使用より先に既知になっているそれらのセットアップコンフィギュレーションだけに限定される。

【0004】

従って、オンラインゲーム環境または他の対話型実行環境内のチートを自動的に減らすための向上された技術を実装することは有益になるであろう。

【図面の簡単な説明】

【0005】

【図1】ゲームチートソフトウェア検知（ＧＣＳＤ）システムの実施形態を含む、本開示で説明される少なくともいくつかの技術を実行するのに適したした１または複数のシステムを含む環境の図である。

【0006】

【図2A】記載される技術の少なくともいくつかを実行することの一部として使用される、ゲームプレイ行為の分析および対応するモデルの例を図示する。

【図2B】記載される技術の少なくともいくつかを実行することの一部として使用される、ゲームプレイ行為の分析および対応するモデルの例を図示する。

【0007】

【図3】記載される技術の少なくともいくつかを実行するための例示的なデバイスおよびシステムを示すブロック図である。

【0008】

【図4】ＧＣＳＤモデル訓練ルーチンの例示的な実施形態のフロー図である。

【0009】

【図5】ＧＣＳＤモデル使用ルーチンの例示的な実施形態のフロー図である。

【発明を実施するための形態】

【0010】

本開示は概して、オンラインゲーム環境内のチートソフトウェアの使用を検出および停止する自動化された操作を実行し、チートソフトウェアを用いたと識別されたユーザに対しオンラインゲーム環境への後続のアクセスを制限するなど、オンラインゲーム環境（または他の対話型実行環境）内のチートを自動的に減らす技術に関連する。少なくともいくつかのそのような実施形態において、その技術は、チートソフトウェアの使用が検出されたら、オンラインゲーム環境内の特定のタイプの行為（本明細書で概して「ゲームプレイ行為」と呼ばれる）を不正であるとして分類する１または複数のモデルを訓練する深層学習技術を用いることを含み得、それは追加的なチートソフトウェア検知判定システムが特定のゲームプレイ行為を評価するなら、特定のゲームプレイ行為がチートソフトウェアの使用を伴うと別個のチートソフトウェア検知判定システムが判定するであろうか否かの可能性を決定することを含む。そのようなオンラインゲーム環境（または他の対話型実行環境）は、例えば、１または複数のコンピュータネットワークを介してオンラインゲーム環境にアクセスするクライアントコンピューティングデバイスを用いる１または複数のユーザとともに、１または複数のサーバコンピューティングシステムによって提供され得る。少なくともいくつかのそのような実施形態において、オンラインゲーム環境は複数のユーザに同時に共有され得、自動化されたチートソフトウェア検知技術はオンラインゲーム環境の機能性に影響する不正なチートソフトウェアをユーザが用いる能力を制限する（例えば、不正なチートソフトウェアを用いていたことが見つかったユーザを入室禁止またはそうでなければ罰するなど、特定のユーザが、他のユーザに比較して不公平な優位性を得るために不正な行為を意図的に実行することを防止する）ために用いられ得る。本明細書で説明される技術のいくつかまたは全ては、少なくともいくつかの実施形態において、ゲームチートソフトウェア検知（ＧＣＳＤ）システムの自動化された操作で実行され得、以下でより詳細に議論される。

【0011】

少なくともいくつかの実施形態において、当該技術は、オンラインゲーム環境内のチートソフトウェアの使用を自動的に検出することの一部として、オンラインゲーム環境内のそのようなチートソフトウェアの使用に関連した特定のユーザにペナルティを課すことを更に含む。例えば、記載される技術がチートソフトウェアの使用に関与する１または複数の不正なゲームプレイ行為に参加していた（または参加を試みていた）可能性のある特定のユーザを自動的に決定するなら、当該技術はその決定の結果としていくつかの実施形態において、ユーザに１または複数のペナルティを自動的に課すことを更に含み得る一方、他の実施形態において、代わりに当該技術はゲームプレイ行為がペナルティの正当な理由となるか否かを判定する１または複数の他のチートソフトウェア検知判定システムによる更なる評価および／または確認のためにゲームプレイ行為を照会することによって、その決定の結果としてそのようなペナルティを潜在的に課すことを開始し得る。ペナルティのタイプは少なくともいくつかの実施形態において、以下の１または複数などに基づいて変わり得る。すなわち、不正なゲームプレイ行為のタイプ、不正なゲームプレイ行為の効果、ゲームプレイ行為が不正であった可能性、ユーザの代わりの１または複数の以前の不正なゲームプレイ行為の履歴、等。ペナルティのタイプの非排他的な例は以下の１または複数を含み得る。すなわち、ユーザがオンラインゲーム環境、または、オンラインゲーム環境内の特定のタイプの機能を用いることを永久的に禁止すること。ユーザがオンラインゲーム環境、または、オンラインゲーム環境内の特定のタイプの機能を用いることを、定められた期間の間および／または１または複数の他の特定された基準を満足するまでなど、一時的に禁止または停止すること。不正なゲームプレイ行為のそのような追跡された累積が１または複数の上限閾値レベルに達すると１または複数の評価されたペナルティを生じさせ得るような、ユーザの代わりの不正なゲームプレイ行為を表す追跡された累積の点数その他を増大させること。そのような評価された信頼その他のスコアが１または複数の下限閾値レベルに達すると１または複数の評価されたペナルティを生じさせ得るような、ユーザの評価された信頼またはユーザに対する評価された他のスコア（例えば、経験または成功スコア）を低減させること。等、である。不正なゲームプレイ行為に参加しているユーザに課すペナルティに関して、さらなる詳細は以下に含まれる。

【0012】

加えて、１または複数のモデルは記載される技術の性能の一部として様々な実施形態において様々な方式で訓練されかつ用いられ得、少なくともいくつかのそのような実施形態においてモデル（例えば、ディープニューラルネットワークモデル）を訓練する深層学習技術を用いることを含む。特に、訓練データはゲームプレイ行為の例、および、それらのゲームプレイ行為がチートソフトウェアの使用の有無によって不正であるか否かをラベル付けされたまたはそうでなければ分類されるか否かを含むよう集められ得、そのような訓練データは他の類似したゲームプレイ行為が正当であるか否かを、任意選択的に関連付けられた重み（例えば、類似のゲームプレイ行為が正当であるか否かの可能性）とともに、モデルが認識するよう訓練するのに用いられ得る。そのような訓練データは、以下でより詳細に議論されるように、ゲームプレイ行為に関連付けられた様々な属性に対する値を含み得る。加えて、１または複数の他のチートソフトウェア検知判定システムは、少なくともいくつかの実施形態において、少なくともいくつかのゲームプレイ行為を評価し、チートソフトウェアの使用かどうかによってそれらゲームプレイ行為が不正であるか否かについて判定を行うことに利用可能であり得る。そうである場合、他のチートソフトウェア検知判定システムによって特定のゲームプレイ行為についての以前の判定は訓練データのいくつかまたは全てを提供し得る。訓練済モデルが現在のゲームプレイ行為の分析に用いされ、かつ、そのような他のチートソフトウェア検知判定システムが利用可能である場合に、訓練済モデルによる、特定のゲームプレイ行為がチートソフトウェアの使用により正当でないとの決定は、そのゲームプレイ行為の更なる評価のための他のチートソフトウェア検知判定システムへのそのゲームプレイ行為の照会を開始し得、チートソフトウェアの使用の有無によるそのゲームプレイ行為の不正の有無の判定をもたらす。もしそうである場合、モデルの訓練（および訓練データ内の特定のゲームプレイ行為が正当であるかどうかのラベル付けまたは分類）は、それら他のチートソフトウェア検知判定システムがそれらゲームプレイ行為を評価したとしたなら、他のチートソフトウェア検知判定システムがそのようなゲームプレイ行為が正当であるか否かを判定するであろう可能性を更に表し得、結果としての訓練済モデルは、他のチートソフトウェア検知判定システムがチートソフトウェアの使用によりゲームプレイ行為が正当でないと判定するであろう評価された可能性が予め定められた閾値（例えば、５５％）を超えたら特定のゲームプレイ行為が正当でないと決定し得る。そのような他のチートソフトウェア検知判定システムは、例えば、他の自動化システム、１または複数の人間による（例えば、オンラインゲーム環境の他のユーザによる）直接システムレビュー等を含み得る。さらなる詳細は、モデルを訓練することおよびゲームプレイ行為を分析する訓練済モデルを用いることに関して以下に含まれる。

【0013】

記載される技術は更に、様々な実施形態において、様々なタイプのオンラインゲーム環境または他の対話型実行環境で用いられ得る。例えば、対話型実行環境の使用に直接または間接に影響する不正ソフトウェアを使用するユーザのアクティビティを追跡し得る（例えば、ユーザが使用しているクライアントコンピューティングデバイスによって、対話型実行環境を提供している１または複数のサーバコンピューティングシステムによって、等）ところの、および、ゲームプレイ行為（または対話型実行環境での他の対話行為）のいくつかのタイプが少なくとも何人かのユーザに対して正当でないとされるところの、すべての環境である。上述したように、そのような対話型実行環境の非排他的な一例は、１または複数のゲーム中のまたはそうでなければオンラインゲーム環境での１または複数の対話セッションの一部として、１または複数の目的（例えば、１または複数のユーザと同時にまたはそれに代えて１または複数のユーザとは別個に１または複数の他の時点のいずれかになど、より多くの点を取ること、または、そうでなければオンラインゲーム環境に競合的に参加している１または複数の他のユーザを倒すこと）を実現しようとして１または複数のユーザがアクティビティを実行するオンラインゲーム環境である。そのような対話型実行環境の別の例は、仮想世界または他の仮想拡張情報との１または複数の対話セッション中に、情報にアクセスする、タスクを実行する、等などのための、仮想現実（ＶＲ）および／または拡張現実（ＡＲ）技術およびデバイス（例えば、ヘッドマウントディスプレイデバイス）を用いてユーザによりアクセスされる仮想世界または他の仮想拡張情報である。そのような状況において、仮想現実システムは一般的に、装着者の眼を完全に包み込み、装着者の前面の実際の視聴（または実際の現実）を「仮想の」現実で置換する一方で、拡張現実システム（場合により「混合現実」または「ハイブリッド現実」と呼ばれる）は一般的に１または複数のスクリーンを装着者の眼の前に半透過または透過的に重畳して提供し、それにより、実際の設定（例えば、実際の周囲の環境）の視聴が追加の情報で拡張される。

【0014】

加えて、そのようなオンラインゲーム環境でのゲームプレイ行為のタイプの例は、例えば、環境内のユーザの移動、ユーザの選択または環境内の仮想物体との他の対話、環境内の仮想ツール若しくは他の仮想物体のユーザアクティベーションまたは他の使用（例えば、乗り物の駆動、武器の発砲、等）、そうでなければ可視またはアクセス可能ではない環境内の追加の情報のユーザアクセス、クライアントコンピューティングデバイスの入力／出力（Ｉ／Ｏ）デバイス）のユーザ操作、等を含み得る。加えて、特定のゲームプレイ行為についての情報を用いる場合（例えば、モデルを訓練する、ゲームプレイ行為が正当であるか評価する、等）、ゲームプレイ行為についての様々なタイプの関連情報が用いられ得る。例えば以下のような１または複数の属性の値である。ゲームプレイ行為の前および／またはゲームプレイ行為の後（例えば、０．５秒前の期間および０．２５秒後の期間の間）の１または複数の時点でのユーザの位置および／または動き、ゲームプレイ行為の前および／またはゲームプレイ行為の後（例えば、０．５秒前の期間および０．２５秒後の期間の間）の１または複数の時点でのユーザによる仮想物体の位置および／または動き、仮想物体のタイプ、仮想物体の選択または他の対話のタイプ、仮想物体のアクティベーションまたは他の使用のタイプ、影響が及ぼされる他のすべての他の仮想物体についての情報（例えば、他の仮想物体への距離、他の仮想物体への効果のタイプ、等）を含む仮想物体とのユーザの対話または使用の結果、そうでなければ可視またはアクセス可能でない環境内の追加の情報にアクセスするタイプおよび／または方式、環境内のそのような追加の情報へのユーザのアクセスの結果、クライアントコンピューティングデバイスのＩ／Ｏデバイスのユーザ操作の結果、等である。ユーザのアクティビティを評価する場合に、個々のゲームプレイ行為はいくつかの実施形態において別個に評価され得るが、他の実施形態において複数のゲームプレイ行為のグループ（例えば、単一の対話セッション中または期間の間の単一のタイプの）が共に評価され得る。さらなる詳細は、オンラインゲーム環境および対応するゲームプレイ行為に関して以下に含まれる。

【0015】

少なくともいくつかの実施形態において記載される技術の利益は、ユーザを不正な行為の実行から制限することを含む、オンラインゲーム環境へのユーザのアクセスの向上された制御を含む。従って、そのような技術は、非排他的な例として、不正なゲームプレイ行為のさらに正確な自動化された識別による制限された情報および機能のより優れた保護（例えば、不正なゲームプレイ行為の新たなタイプを識別することを含み、以前に既知の特定の不正のゲームプレイ行為と一致しない不正なゲームプレイ行為をより正確に識別すること）、チートソフトウェア検知をさらに迅速な実行、および／または、評価時のより少ないコンピューティングリソースの使用（記載される技術に対して、他の技術は正確さがより低く、したがって、それらの精度の欠乏を低下しようとしてコンピューティングリソースがより多く必要であろう）、等によりコンピュータの動作を向上し得る。

【0016】

例示的な目的のために、いくつかの実施形態は、特定のタイプの情報が取得され、対話型実行環境の特定のタイプに対する特定のタイプのやり方で特定のタイプのデバイスを用いることによって、用いられるよう以下に説明される。例えば、少なくともいくつかの実施形態はオンラインゲーム環境の使用およびチートソフトウェアの使用検知を伴うよう以下で説明される。しかしながら、そのような記載される技術は他の実施形態において、対話型実行環境の他のタイプおよびそれらの環境内の不正ソフトウェアの使用の他のタイプに対するものを含む、他の方式で用いられ得、従って、本発明が提供された例示的な詳細に限定されないことが理解されるであろう。加えて、いくつかの実施形態はディープニューラルネットワークに基づいた訓練済モデルを用いることを議論している一方、（全結合層およびリカレント層に加えてまたは代わりに）畳み込み層を用いるニューラルネットワークモデルと同様に、他のタイプの深層学習技術および／または深層学習を用いない他の機械学習技術を含む、他の実施形態において他のタイプのモデルおよび／または学習技術が用いられ得る。加えて、様々な詳細が例示的な目的のために図面およびテキストで提供されるが、本発明の範囲を限定することは意図されない。

【0017】

図１は、ゲームチートソフトウェア検知（ＧＣＳＤ）システムの実施形態を含む、本開示で説明される少なくともいくつかの技術を実行するのに適した１または複数のシステムを含む環境の図である。特に、図１は、訓練アクティビティ（ＧＣＳＤモデル訓練コンポーネント１０５の自動化された操作によって制御されるような）を実行するために用いられる要素１０５、１６０、１６５および１７０ａを含み、それは、チートソフトウェアの使用が検出されたか否か（ＧＣＳＤモデル使用コンポーネント１１０の自動化された操作によって制御されるような）に基づいてゲームプレイ行為の特定の候補の正当性を評価するための後続の評価アクティビティに用いられる１または複数の訓練済モデル１７０ｂをもたらす。

【0018】

訓練アクティビティの一部として、ＧＣＳＤモデル訓練コンポーネント１０５は、ラベル付けされたチートソフトウェア検知判定付きゲームプレイ行為を含む訓練データ１６０を取得し、１または複数のモデル１６５（新しいモデルであれ、以前に訓練済モデルであれ）を訓練するのに訓練データを用い、チートソフトウェア使用検知に基づいてゲームプレイ行為の正当性を決定することに後続使用するための訓練された１または複数のモデル１７０ａを生成する。他の箇所で議論されるように、モデル１７０ａは各々、１または複数の実行環境に対してゲームプレイ行為の１または複数のタイプを評価するよう訓練され得、チートソフトウェアの使用によって１または複数のゲームプレイ行為のグループが不正であると関連付けられた可能性を提供することを含む（例えば、システム１６５のような１または複数の他のチートソフトウェア検知判定システムが、それらのゲームプレイ行為が評価されたとするとそれらのゲームプレイ行為がチートソフトウェアの使用を伴うと判定するであろうという評価に基づいて）。さらに、少なくともいくつかの実施形態において、深層学習技術は当該モデルに対して用いられる１または複数のディープニューラルネットワークに関するような、訓練に対して用いられ得、図２Ａおよび２Ｂはそのような訓練およびモデルに関する更なる例示的な例を提供する。

【0019】

訓練済モデル１７０ａは、その後、１または複数の実行環境内（例えば、オンラインゲーム環境１２０と対話するクライアントコンピューティングデバイスのユーザ１１５によって）でのチートソフトウェアの使用を検知および防止を実装する引き続くアクティビティにおける使用のために利用できるよう作成され、ＧＣＳＤモデル使用コンポーネント１１０が実装アクティビティ中にモデル１７０ｂとして訓練された１または複数の訓練済モデル１７０ａを用いるなど、もし彼らがチートソフトウェアの使用に関与する１または複数の不正なアクティビティに参加していたと識別されたならそれらのユーザのオンラインゲーム環境１２０の使用を禁止またはそうでなければユーザを罰することを含む。特に、ユーザ１１５は１または複数のオンラインゲーム環境１２０と対話し（例えば、共有された同時的オンラインゲーム環境）、対話セッション中に様々なアクティビティを実行し、チートソフトウェアの使用の潜在的に関与していると評価された候補ゲームプレイ行為１８５を生成する。いくつかの実施形態において、１または複数の定められたタイプのゲームプレイ行為をもたらす全てのユーザの全てのアクティビティは評価されるゲームプレイ行為の候補と考えられ、一方、他の実施形態において、ゲームプレイ行為は以下の１または複数のような他の方式でゲームプレイ行為の候補として選択され得る。すなわち、ランダムサンプリング。ユーザの信頼スコアの増大に伴ってユーザに対してゲームプレイ行為を評価する可能性を無くすまたは減らすことによって。ユーザのペナルティスコア又は他のペナルティ累積の増大に伴ってユーザに対してゲームプレイ行為を評価する可能性を常に選択するまたは増やすことによって。人間によって指定されているユーザまたはユーザのゲームプレイ行為によって（例えば、対話型実行環境に同時に参加しているユーザなど、対話型実行環境の１または複数の他のユーザによって、対話型実行環境および／またはＧＣＳＤシステムの操作者の１または複数の代表者によって、等）。他のシステムによって指定されているユーザまたはユーザのゲームプレイ行為によって（例えば、不正なチートソフトウェアの裏付けを探すユーザのクライアントコンピューティングデバイス上で実行するソフトウェア、またはクライアントコンピューティングデバイスのメモリ内で実行されるその他のソフトウェア、のような、モニタリングシステムによって）。等、である。

【0020】

候補となる不正なゲームプレイ行為１８５が利用できる場合に、コンポーネント１１０はそれらを１または複数の訓練済モデル１７０ｂへの入力として供給し、正当性の決定に対する関連付けられた可能性で、それらがチートソフトウェアの使用を伴うか否かに基づいて１または複数のゲームプレイ行為の各グループに対して正当性の決定を得ており、他の箇所で議論されるように、少なくともいくつかの実施形態において、可能性は、システム１６５のような１または複数の他のチートソフトウェア検知判定システムによって評価されるなら、それらのゲームプレイ行為が不正であるという判定の結果をもたらすあろうそれらのゲームプレイ行為の可能性を表す。例示された実施形態において、ゲームプレイ行為の各グループに対する正当性の決定は、１または複数の後続のアクティビティをもたらし１３０、それはゲームプレイ行為が十分に正当である可能性があることを正当性の決定が示すなら（例えば、定められた閾値以下である不正の可能性で）、さらなる動作を取らないこと１９５を含む。いくつかの実施形態において、ゲームプレイ行為が十分に不正である可能性があるという正当性の決定は、それらのゲームプレイ行為が不正であると取り扱われるかどうかに関するそれらの確認及び判定に対する１または複数の他のチートソフトウェア検知判定システム１６５へ照会される。例示された実施形態においてはしかしながら、少なくともいくつかの正当性の決定はコンポーネント１１０がユーザに直接ペナルティを課す１９７結果をもたらし得る。一例として、行為が不正である可能性が上限閾値（例えば、８０％または９０％または９５％または９８％または９９％）を超えるなら、コンポーネント１１０は直接ペナルティを課す１９７よう進行し得、一方、可能性が下限閾値（例えば、５０％または５５％または６０％）を超えるなら、コンポーネント１１０は他のチートソフトウェア検知判定システム１６５による確認のための不正評価を照会するよう進行し得る。いくつかの実施形態において、いくつかのまたは全てのそのような可能性閾値は構成可能および／または自動的に学習され得、他の閾値（例えば、以前のアクティビティおよび／またはペナルティに関する、信頼レベルに関する、等）も同様に構成可能および／または自動的に学習され得る。加えて、他の実施形態においてアクティビティがブロック１３０からブロック１９７のペナルティを直接課すことに進行した場合に、アクティビティはそれにもかかわらず、結果としての判定のためにゲームプレイ行為を他のチートソフトウェア検知システムへもまた照会し得、判定の結果がチートソフトウェアの使用を検出しなかったことを見出したなら当初に課されたペナルティを除去する。

【0021】

もしゲームプレイ行為及び不正性の可能性の決定が１または複数の他のチートソフトウェア検知判定システム１６５へ照会されるなら、他のチートソフトウェア検知判定システムは、チートソフトウェアの使用が検出されたか否かに基づいてその行為が不正であるか否かの判定結果を生成し得る。もしブロック１３５においてチートソフトウェアの使用が検出されたことが決定されたら、そのフローはペナルティを課すこと１９７を継続し、一方そうでなければ、そのフローは１９９のさらなる動作を取らないこと（または上述したようにペンディング中の判定について直接課された当初のペナルティを撤回すること）に進む。加えて、少なくともいくつかの実施形態において、使用が検知されたか否か、という他のチートソフトウェア検知判定システムからのチートソフトウェア使用検知判定は、追加的な訓練データ１６０として後に用いられ得、それはいくつかの実施形態において、１または複数の実行環境内の実際のゲームプレイ行為に対する他のチートソフトウェア検知判定システムによる以前の判定からそのような訓練データ１６０を全て得ることを含む。そのような他のチートソフトウェア検知判定システム１６５は、例えば、他の自動化システム、１または複数の人間による（例えば、ゲームプレイ行為が行われているところの同一オンラインゲーム環境の他のユーザによる）直接システムレビュー等を含み得る。加えて、少なくともいくつかの実施形態において、（ＧＣＳＤモデル使用コンポーネントによって直接、または、他のチートソフトウェア検知判定システム１６５によってのいずれかで）課された１または複数のペナルティのタイプは１または複数の要因で変わり得、それは、関連付けられた可能性（例えば、もし可能性が上限閾値を超えたら第１のペナルティタイプを課すこと、および、第１のペナルティタイプに代えてまたは加えてのいずれかで、もし可能性が、上限閾値よりも高いような別の閾値を超えたら第２のペナルティタイプを課すこと）、ユーザについての他の情報（例えば、ユーザに対する信頼スコア、ユーザの以前の行動、累積されたペナルティ点数若しくは他の類似したペナルティ累積、以前のペナルティからの時間量、等）を含む。

【0022】

従って、このようにＧＣＳＤシステムはオンラインゲーム環境内のチートを自動的に減らすよう自動化された操作を実行し得、それは、そのようなオンラインゲーム環境内に提供された機能に対するそのようなチートソフトウェア検知を少なくともいくつかの実施形態において実装する深層学習分類技術を用いることを含む。

【0023】

図２Ａ－２Ｂは、記載される技術の少なくともいくつかを実行することの一部として使用される、ゲームプレイ行為の分析および対応するモデルの例を図示する。特に、図２Ａは図１の例に続き、１または複数のコンピュータネットワーク２０１上の１または複数のサーバコンピューティングシステム（図示せず）によって提供されたオンラインゲーム環境１２０と対話するためのクライアントコンピューティングデバイス（図示せず）を用いている特定のユーザ１１５ａ（ユーザ１）を説明し、それは例示的なタイムライン２１０で示される時間に様々なゲームプレイ行為２１５でユーザが参加するところの対話セッションに参加することを含む。

【0024】

非排他的な一例として、オンラインゲーム環境は、ユーザが仮想世界内で互いにおよび仮想物体を移動および対話し得るところの仮想世界を含むオンラインゲーム環境で、当該オンラインゲーム環境内に同時に参加している他のユーザ（図示せず）に敵対するユーザ１を伴い得る。例えば、もしオンラインゲーム環境が「ファーストパーソンシューティング」ゲームと呼ばれるタイプのものであれば、各ユーザはそのユーザの仮想視点（例えば、仮想壁および他の仮想物体によって潜在的にブロックされた視点と共に、仮想世界内の位置及び姿勢）から世界の一部を視聴し得、武器および乗り物のような仮想物体を対話し得、それは仮想世界内の他のユーザの仮想アバター（または目に見える代表物）に発砲して潜在的に「殺す」ことを含む。そのようなゲーム環境において、そのようなアクティビティのいくつかまたは全てから生じる関連付けられたゲームプレイ行為とともに、ユーザの移動アクティビティは仮想世界内のユーザの３次元（３Ｄ）位置及び姿勢が変化を含み得、他のユーザアクティビティは仮想武器で狙いをつけて発砲するまたは仮想乗り物を動作させることなどの仮想物体の選択およびアクティブ化であり得、他のユーザアクティビティは壁を透視する機能（例えば、Ｘ線視機能）等をアクティブ化するような追加の情報を得ることであり得る。他のタイプオンラインゲーム環境または他の実行環境は他のタイプのユーザアクティビティおよびゲームプレイ行為を含み得ることが理解されるであろう。例えば、オンライン探検ゲームは２つの近接していない場所の間を瞬間移動すること（例えば、仮想の門を通って）を含むユーザの移動を含み得るが、武器の発砲またはそうでなければ動作させる行動を含まないであろう。

【0025】

そのようなオンラインゲーム環境において、多くのゲームプレイ行為が許容され、かつ、実行環境の成功に必要でさえあるだろう。しかしながら、多くのそのような実行環境の競合的性質を考えると、何人かのユーザは、仮想世界内で追加的な能力を提供すべく、標準の実行環境の一部ではない追加的なチートソフトウェアを実行することなどによって、不正行為を実行することを試みるであろう。一例として、もしユーザが最大規定速度での足だけの移動が許容されているなら、不正な行為は、瞬間移動またはそうでなければ不正なやり方（例えば、最大速度より速く、壁または他の障壁を通る、等）での移動をユーザに可能にする不正な修正を提供するチートソフトウェアを用いることを含み得る。別の例として、もしユーザが指定されたタイプの武器および手動での狙いだけを用いて他のユーザに発砲することが許容されているなら、不正な行為はより優れた能力の他の武器を提供および／または強化された狙い（例えば、発砲が失敗しないよう、自動化された目標物追跡および照準）を提供するチートソフトウェアを用いることを含み得る。そうでなければ見えないであろう他のユーザがどこの位置にいるかについての制限された情報へのアクセスを得ること（例えば、壁または他の障壁を「透視」すること、全てのユーザの場所を示す地図を見ること等）など、様々な他のタイプの不正な行為が、チートソフトウェアの使用でそのようなオンラインゲーム環境および仮想世界に同様に提供され得る。

【0026】

図２Ａに示された例において、ユーザ１は、第１の指定されたタイプの動きのゲームプレイ（各々が１または複数前に歩むことを含むような、行為Ｍ－Ａ_１ ２２５ａ、Ｍ－Ａ_２ ２２５ｂおよびＭ－Ａ_３ ２２５ｃ）、第２の指定されたタイプの動きのゲームプレイ（回転するまたはかがむまたは起き上がるなどのような、行為Ｍ－Ｂ_１ ２２７ａ）、指定されたタイプの仮想物体のアクティベーションのゲームプレイ（各々が武器を発砲することなどのような、行為ＯＡ－Ａ_１ ２２０ａ、ＯＡ－Ａ_２ ２２０ｂ）等を含むアクティビティの列を実行する。モデル（図示せず）がチートソフトウェアの使用で武器を発砲することに関連する不正な行為を識別するよう訓練され、および、対応するゲームプレイ行為のタイプがユーザ対話セッションから抽出されかつ評価されるべきゲームプレイ行為の候補として用いられるような状況を考える。本例において、ゲームプレイ行為の候補は行為ＯＡ－Ａ_１ ２２０ａおよびＯＡ－Ａ_２ ２２０ｂを含み、それはタイムライン２１０に示されるように、それぞれ時間Ｔ_４およびＴ_９に生じる。以前に注記したように、そのようなゲームプレイ行為の各々に対して関連付けられた様々な属性は、１または複数のそのようなゲームプレイ行為が正当であるか否かを評価するのに有用であり得る。いくつかの実施形態において、そのような属性のいくつかまたは全ては、モデルの訓練の一部として自動的に学習され得（例えば、各ゲームプレイ行為に対して利用できる全ての属性に対する値を含む訓練データを提供し、いずれの属性値がチートソフトウェアの使用が検出されたか否かによって不正である行為の結果的な分類決定に互いに関係のあるまたはそうでなければ影響するかを決定することによって）、一方で、いくつかの実施形態において、そのような属性のいくつかまたは全ては、ＧＣＳＤシステムの形成および実装形態の一部として手動で規定され得る（例えば、ＧＣＳＤシステムの操作者の代表者によって）。ゲームプレイ行為２１５についての情報は、本明細書の他の箇所でより詳細に議論されるように様々な実施形態において様々な方式で取得され得る。非排他的な一例として、ユーザ対話セッションのいくつかまたは全ては記録され得、行われる各ゲームプレイ行為が関連情報に沿って抽出されることを可能にするやり方で後に再生され得る。

【0027】

図２Ａに示された例において、情報２３０はタイプＯＡ－Ａのゲームプレイ行為の各候補に対するユーザ１の対話セッションから抽出され、ゲームプレイ行為ＯＡ－Ａ_１に対する情報２３０ａおよびゲームプレイ行為ＯＡ－Ａ_２に対する情報２３０ｂを含む。本例において、情報２３０は、関連付けられた時間、行為タイプ、サンプル数（分離しているサンプルであるタイプＯＡ－Ａの各ゲームプレイ行為とともに）およびユーザ識別子（ＩＤ）、並びに、ゲームプレイ行為タイプＯＡ－Ａに関連付けられかつそのタイプの特定のゲームプレイ行為の候補に対応する属性に対する値を含む行為機能２３５、のようなメタデータを含む。属性値は、少なくとも一部はゲームプレイ行為の候補の時間の前および／または後の時間間隔（例えば、０．５秒前および０．２５秒後）に対応し得、例えば以下のような属性の値を含み得る。すなわち、武器の発砲の１／２秒前と１／４秒後の間のピッチの変化の絶対値、武器の発砲の１／２秒前と１／４秒後のヨーの変化の絶対値、用いられた武器のタイプの表示、発砲の結果（例えば、失敗、成功した頭部発砲、他のタイプのヒット等）、１または複数の他の影響された仮想物体（例えば、ヒットされた他のユーザ）、もしヒットが生じたなら１または複数の他の影響された仮想物体への距離、等である。加えて、もし１または複数の他のゲームプレイ行為がタイプＯＡ－Ａのゲームプレイ行為の候補の近接近で生じたなら、そのような他のゲームプレイ行為についての情報は、ゲームプレイ行為の候補の属性値の一部としてとして含まれ得、例えば、ユーザの移動行為Ｍ－Ｂ_１がゲームプレイ行為の候補ＯＡ－Ａ_１の１／４秒後内に生じ、従って、ゲームプレイ行為のその候補に対するピッチおよび／またはヨーの変化のような対応する属性値に影響し得る。

【0028】

情報２３０がゲームプレイ行為の候補の各々に対して集められた後に、エンコード情報２４０内ゲームプレイ行為の候補の各々に対する属性値のベクトルを作成しかつ含めることによって、更なるエンコード情報２４０の１または複数のセットがそのようなゲームプレイ行為の候補の複数について組み立てられる。示された例において、エンコード情報２４０は、対話セッションのいくつかまたは全ての間いに生じたゲームプレイ行為の候補の１２８サンプルまで連続したセットを含む（例えば、９回勝利すると１位になることを成功が含むところの複数回ゲームにおいて、８回ウィンドウが用いられ得る）。そのような例において、ゲームプレイ行為の候補の各々はいくつかの実施形態において、エンコード情報の唯一のセットに含まれ得る一方、他の実施形態において、ゲームプレイ行為の候補はエンコード情報のそのような複数のセットに含まれ得る（例えば、もし８回ウィンドウが用いられそれがスライドウィンドウであれば、エンコード情報の一番目のセットは１－８回で生じた武器の発砲を含み得、エンコード情報の第２のセットは２－９回で生じた武器の発砲を含み得る、等）。

【0029】

図２Ｂは図２Ａの例を続けて述べており、ゲームプレイ行為の候補に対する関連付けられた可能性とともに、チートソフトウェアの使用が検知された否かに基づいた正当性の決定２８５を得る訓練済モデル２７０への入力として、ユーザ１のゲームプレイ行為の候補についての情報２４０のエンコードセットを用いることを説明する。図２Ｂに示された例において、訓練済モデルは、ノード２７５の２５６幅の全結合層の入力層、ノード２８０の２５６幅の４つの隠れＧＲＵ（ゲート付きのリカレント層）、および、１または複数の出力層ノード２９０を有し、１２８の最大入力シーケンス長で、勾配降下訓練、ＲｅＬＵ（ＲＥｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）整流器アクティベーション関数、バイナリ交差エントロピー損失関数およびシグモイド出力層を用いたディープニューラルネットワークである。例示的なディープニューラルネットワークモデル２７０は、密に接続されたリカレント層の合成を提供し、エンコード情報２４０内のそれらのような特徴ベクトルのシーケンスを摂取し、１または複数の他のチートソフトウェア検知判定システムによってそのケースが裁かれるなら言い渡されるであろう期待される評決に対応するケースの分類を出力する。いくつかの実施形態において、出力分類は、バイナリ分類であり得（不正であるとして「有罪」であるかないか、それは、他のチートソフトウェア検知判定システムがチートソフトウェアの使用の検知に基づいてゲームプレイ行為が不正であると判断するおおよその確率を表す０と１との間の１つの浮動小数点としての出力などであり得）、一方、他の実施形態において、出力分類は、識別された不正なゲームプレイ行為の複数のタイプの一つを示す複数クラス分類であり得る（例えば、不正なゲームプレイ行為を識別するファーストパーソンシューティングゲームの例において、武器を発砲する不正なゲームプレイ行為を、不正な照準の支援、または、見えない目標物の不正な追跡、または、発砲場所へ到達する不正な動きのいずれか一つとして分類すること）。加えて、畳み込み層を有するニューラルネットワーク（全結合層およびリカレント層に加えてまたは代えて）、ニューラルネットワークを用いない他のタイプの深層学習など、モデルアーキテクチャの他のタイプが用いられ得る。

【0030】

図２Ａおよび２Ｂの詳細は例示的な目的のためだけに提供されており、様々な他のタイプのデータが訓練に用いられ得、他の方式で取得され得ることが理解されるであろう。

【0031】

図３は、記載される技術の少なくともいくつかを実行するのに適した１または複数のサーバコンピューティングシステム３００の実施形態を示すブロック図であり、例えば、オンラインゲーム環境内のチートを自動的に減らす自動化された操作を実行するＧＣＳＤシステム３４０の実施形態を実行することによってなされ、例えば、そのようなオンラインゲーム環境内のゲームプレイ行為に対してチートソフトウェアの使用の検知を実装する深層学習分類を用いることによってなされる。例示的なサーバコンピューティングシステム３００は、１または複数のハードウェア中央演算子（ＣＰＵ）プロセッサ３０５、様々なハードウェア入力／出力（Ｉ／Ｏ）コンポーネント３１０、ストレージ３２０およびメモリ３３０を含むが、他の実施形態において、複数のそのようなサーバコンピューティングシステムが分散された方式でシステム３４０を実行するために共に動作し得る。本例示的実施形態において示されたＩ／Ｏコンポーネントは、ディスプレイ３１１、ネットワーク接続３１２、コンピュータ可読媒体ドライブ３１３、および、他のＩ／Ｏデバイス３１５（例えば、キーボード、マウスまたは他のポインティングデバイス、マイク、スピーカーヘッドマウントディスプレイデバイス、特定のゲーム環境またはシステムのためのまたはオンラインゲーム環境の他のタイプのための特化したコントローラ、等）を含む。そのようなＩ／Ｏコンポーネントは、例えば音声制御、ジェスチャー制御等を含む対話タイプの様々なタイプを可能にし得る。

【0032】

１または複数のクライアントコンピューティングデバイス３５０は同様に、各々が１または複数のハードウェアＣＰＵプロセッサ３５１、１または複数のハードウェアＩ／Ｏコンポーネント３５２（例えば、オンラインゲーム環境で使用するための１または複数の特化したコントローラ３５３、１または複数の他のＩ／Ｏデバイス３５４等）、メモリ３５７およびストレージ３５５を有しているとして示される。他のＩ／Ｏデバイス３５４は同様にサーバコンピューティングシステム３００に対して示されるように、同じ種類のコンポーネントのいくつかまたは全てを含み得るが、そのようなコンポーネントは本例では簡潔性のため不図示である。そのようなクライアントコンピューティングデバイスの各々は、（例えば、オンラインゲーム環境を動作するエンティティによって、それらを提供する他のエンティティに対して１または複数のそのようなオンラインゲーム環境をホストするコンピューティングサーバおよび関連付けられたソフトウェアを実行するエンティティによって、等で提供される）対応するクライアントソフトウェア３６０をメモリ３５７内でおよび／または他の任意的なアプリケーション３５９をメモリ３５７内で実行することなどによって、１または複数のネットワーク３８５を介して１または複数のオンラインゲーム環境と対話する１または複数の関連付けられたユーザ（図示せず）によって用いられ得る。クライアントコンピューティングデバイスは、１または複数のユーザに代わってオンラインゲーム環境と対話を実行するするにつれ、任意選択的に、対応するユーザ対話セッション情報３５６を作成してストレージ３５５に格納し得、いくつかの実施形態において、同様に不図示の他のタイプの関連情報を格納し得る（例えば、ユーザ固有の情報、１または複数のゲームまたは他の実行環境の情報、等）。

【0033】

１または複数の他のサーバコンピューティングシステム３７０は、この例示された実施形態においてクライアントコンピューティングデバイス３５０のユーザが使用するため１または複数のオンラインゲーム環境３７５を提供することを更に示すが、他の実施形態においてサーバコンピューティングシステム３００は、ＧＣＳＤシステム３４０と少なくとも１つのオンラインゲーム環境との両方を提供し得る。１または複数のクライアントコンピューティングデバイスが１または複数のユーザに代わってオンラインゲーム環境３７７と対話を実行するするにつれ、サーバコンピューティングシステム３７０は、任意選択的に、対応するユーザ対話セッション情報３７７を作成して（例えば、不図示のサーバコンピューティングシステム３７０のストレージ上）に格納し得、いくつかの実施形態において、同様に不図示の他のタイプの関連情報を格納し得る（例えば、ユーザ固有の情報、１または複数のゲームまたは他の実行環境の情報、等）。１または複数の他のコンピューティングシステム３９０は追加的なタイプの機能をも任意選択的に実行し得る。例えば、ＧＣＳＤシステムが使用するためためのユーザ対話セッション情報を生成および／または取得するため１または複数のオンラインゲーム環境および／またはクライアントコンピューティングデバイスと対話するソフトウェア（図示せず）を実行すること、少なくとも何人かのユーザおよびクライアントコンピューティングデバイスに利用できる１または複数の他の実行環境（図示せず）を提供すること、少なくとも何人かのユーザおよびクライアントコンピューティングデバイスへ他のタイプのコンテンツおよび／または機能（図示せず）を提供すること、等である。他のコンピューティングシステム３７０および３９０は同様に、サーバコンピューティングシステム３００および／またはクライアントコンピューティングデバイス３５０のような同じ種類のコンポーネントのいくつかまたは全てを含み得るが、そのようなコンポーネントは簡潔性のため本例では不図示である。サーバコンピューティングシステム３００およびクライアントコンピューティングデバイス３５０（およびＧＣＳＤシステム３４０、および、コンポーネント３４２、３４４および３４９、および、ソフトウェア３５９および３６０）は、１または複数のネットワーク３８５（例えば、インターネット、１または複数のセルラー方式電話ネットワーク、等）によるものを含む、様々な方式で互いにおよび／または他のコンピューティングデバイスおよびシステムと通信もし得る。

【0034】

例示された実施形態において、ＧＣＳＤシステム３４０の少なくとも一部は、サーバコンピューティングシステム３００のメモリ３３０内を実行しており、本例においてＧＣＳＤモデル訓練コンポーネント３４２（例えば、図１のコンポーネント１０５）およびＧＣＳＤモデル使用コンポーネント３４４（例えば、図１のコンポーネント１１０）を含む。１または複数の他のコンポーネント３４９（例えば、情報３５６および／または３７７を取得し、対応するゲームプレイ行為情報を抽出するなどの、評価するゲームプレイ行為情報を得るためのコンポーネント）および／または他のソフトウェアアプリケーション（不図示）もまたメモリ３３０内を任意選択的に実行している。同様に、本例では不図示であるが、他の実施形態において、ＧＣＳＤシステムのいくつかまたは全ては、任意選択的にはクライアントコンピューティングデバイスのメモリ３５７および／またはサーバコンピューティングシステム３７０のメモリ（図示せず）内を実行し得る。例えば、クライアントコンピューティングデバイス３５０および／またはサーバコンピューティングシステム３７０が記載される技術の全てを実行することを可能するためである。さらなる詳細は様々なＧＣＳＤシステム構成要素が実行し得る自動化された操作のタイプに関して本明細書の他の箇所で議論される。システム３４０および／またはシステム構成要素３４２、３４４および３４９は、いくつかの実施形態において、実行された場合に、プロセッサ３０５およびサーバコンピューティングシステム３００、および／または、プロセッサ３５１およびクライアントコンピューティングデバイス３５０、および／または、サーバコンピューティングシステム３７０およびそのプロセッサ（図示せず）をプログラムしまたはそうでなければ構成するソフトウェア命令を含み得、記載される技術の少なくともいくつかを実装する自動化された操作を実行する。

【0035】

ＧＣＳＤシステム３４０およびそのコンポーネントは、それらの自動化された操作の一部として様々な情報を取得かつ用い得もする。例えば、ユーザデータ３２１（例えば、ユーザアイデンティティ、過去のゲームプレイ行為についての情報、信頼スコアまたはユーザの他の評価、等）、訓練データ３２３（１または複数のモデルを訓練するのにコンポーネント３４２が使用するため）、１または複数の訓練済モデル（訓練モデルを用いてオンラインゲーム環境内のチートソフトウェアの使用を検知して停止するためにコンポーネント３４４が使用するため）および／または訓練されるべきモデルに対するモデルデータ３２５、および、サーバコンピューティングシステム３００のストレージ３２０上でコンポーネント３４４により評価されるゲームプレイ行為情報３２７の候補である。そのようなデータおよびその使用は、図１のデータ１８５および／または図２Ａの情報２４０に対しておよび／または本明細書の他の箇所で説明されたのと同様であり得る。例えば、ＧＣＳＤシステム３４０は様々なタイプのユーザ関連情報を取得し得る。例えば、対応するクライアントコンピューティングデバイス３５０および／またはサーバコンピューティングシステム３７０と対話すること（例えば、ユーザにシステム３４０で登録することおよび／または他のタイプのユーザ固有の情報を提供することと可能にする対応するオプションのコンポーネント３４９で）によってなどである。さらに、ユーザデータ３２１内のそのような情報のいくつかまたは全てをストレージ３２０に格納し得る。ここでは不図示だが、他の実施形態において、ＧＣＳＤシステム３４０のいくつかまたは全ては、単一のクライアントまたは単一のエンティティ（例えば、複数の従業員または他の構成員を有する組織）に代わって実行し得る。加えて、ＧＣＳＤシステムは更に、少なくともいくつかの実施形態において追加的なタイプのデータを取得および用い得る。例えば、１または複数のサーバコンピューティングシステム３７０および／または他のコンピューティングシステム３９０からの特定の実行環境についての情報である。そのような他の情報は、本明細書の他の箇所で議論されるように、対話型実行環境においてチートソフトウェアの使用を自動的に検知する場合に、様々な方式で用いられ得る。

【0036】

示されたコンピューティングシステムおよびデバイスは単に例示的なものであって、本願発明の範囲を限定することを意図されないものと理解されるであろう。例えば、コンピューティングシステム３００、クライアントコンピューティングデバイス３５０、サーバコンピューティングシステム３７０および／または他のコンピューティングシステム３９０は、インターネットなど１または複数のネットワークを通じてまたはウェブを介することを含み、不図示の他のデバイスに接続され得る。より一般的に、「クライアント」または「サーバ」コンピューティングシステムまたはデバイスは、プログラムされまたはそうでなければソフトウェアで構成される場合になど、説明されたタイプの機能と対話および実行するハードウェアのいかなる組み合わせも含み得る。それは、デスクトップコンピュータ、ラップトップコンピュータ、スレートコンピュータ、タブレットコンピュータ、組み込まれたコンピュータ、ＡＳＩＣまたは他のコンピュータなどの特化されたハードウェア、スマートフォンコンピューティングデバイスおよび他の移動電話、インターネットアプリケーション、ＰＤＡおよび他の電子組織、データベースサーバ、ネットワーク記憶装置および他のネットワークデバイス、無線電話、ページャー、テレビに基づたシステム（例えば、セットトップボックスおよび／またはパーソナル／デジタルビデオレコーダーおよび／またはゲームコンソールおよび／または媒体サーバを用いて）、および、適切な相互通信能力を含む様々な他の消費者製品、を限定せずに含む。例えば、例示のシステム３４０および／またはそのコンポーネントは、少なくともいくつかの実施形態において実行可能ソフトウェア命令および／またはデータ構造を含み得、それは特定のコンピューティングシステムまたはデバイス上にロードされおよび／または実行された場合に、それらのシステムまたはデバイスのプロセッサを構成するなど、それらのシステムまたはデバイスをプログラムまたはそうでなければ構成するよう用いられ得る。代替的に、他の実施形態において、ソフトウェアコンポーネントおよび／またはシステムのいくつかまたは全ては、他のデバイス上のメモリ内を実行し、示されたコンピューティングシステム／デバイスと相互コンピュータ通信で通信し得る。加えて、様々なアイテムが様々な時点で（例えば、用いられている間）メモリまたはストレージに格納されるように示されているが、これらアイテムまたはそれらの一部は、メモリ管理および／またはデータ統合性の目的で、メモリとストレージ間および／またはストレージデバイス間（例えば、異なる位置の）で伝送されることができる。さらに例示のシステムコンポーネントによって提供される機能は、いくつかの実施形態において、より少ないコンポーネントの結合または追加的なコンポーネント内へ分散され得る。同様に、いくつかの実施形態において、示されるコンポーネントのいくつかの機能は、提供されなくてもよくおよび／または他の追加的な機能が利用でき得る。

【0037】

従って、少なくともいくつかの実施形態において、示されるコンポーネントおよび／またはシステムはソフトウェアに基づくコンポーネント／システムであり、それは、ＣＰＵ３０５および／またはＣＰＵ３５１および／または他のプロセッサ手段によって実行された場合に、そのコンポーネント／システムに対する説明された動作を自動的に実行するためにプロセッサをプログラムするソフトウェア命令を含む。さらに、いくつかの実施形態において、コンポーネントおよび／またはシステムのいくつかまたは全ては、少なくとも部分的にファームウェアおよび／またはハードウェア手段など、他の方式で実装または提供され得、それは限定ではなく、１または複数の特定用途向け集積回路（ＡＳＩＣ）、標準の集積回路、コントローラ（例えば、適切な命令を実行することによって、および、マイクロコントローラおよび／または組み込まれたコントローラと含む）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複雑なプログラム可能のロジックデバイス（ＣＰＬＤ）等を含む。システム、コンポーネントまたはデータ構造のいくつかまたは全ては、（例えば、ソフトウェア命令コンテンツまたは構造化されたデータコンテンツとして）ハードディスクまたはフラッシュドライブまたは他の不揮発性ストレージデバイスなどの非一時的コンピュータ可読ストレージ媒体、揮発性または不揮発性メモリ（例えば、ＲＡＭ）、ネットワーク記憶装置、または、適切なドライブによってまたは適切な接続を介して読まれる可搬型媒体物（例えば、ＤＶＤディスク、ＣＤディスク、光ディスク、フラッシュメモリデバイス、等）にも格納され得る。システム、コンポーネントおよびデータ構造はまたいくつかの実施形態において、無線に基づくおよび有線／ケーブルに基づく媒体を含む、様々なコンピュータ可読送信媒体上に生成されたデータ信号（例えば、搬送波または他のアナログまたはデジタルの伝搬される信号の一部として）として送信され得、様々な形式を取ることができる（例えば、単一のまたは多重のアナログ信号の一部として、または、複数の個別デジタルパケットまたはフレームとして）。そのようなコンピュータプログラムプロダクトはまた、他の実施形態において他の形式をとり得る。従って、本願発明は他のコンピュータシステム構成で実践され得る。

【0038】

図４はＧＣＳＤモデル訓練ルーチン４００の例示的な実施形態のフロー図である。ルーチン４００は、例えば、図１のＧＣＳＤモデル訓練コンポーネント１０５および／または図３のＧＣＳＤモデル訓練コンポーネント３４２および／または図２Ａ－２Ｂおよび本明細書の他の箇所に関して議論されたようにモデル訓練動作を実行するコンポーネントによって実行され得、ゲームプレイ行為についての訓練データを受信して用いるなどし、更なる使用のために１または複数のモデルを訓練する。

【0039】

ルーチン４００の例示された実施形態は訓練データグループを受信すること、追加的な訓練データに基づいてそれらのモデルを潜在的に後で再訓練する前に、そしてそれを１または複数のモデルを訓練するために用いることについて議論したが、ルーチン４００の動作は追加的な訓練ケースが利用できるようになるに従い動的なやり方でモデルを増加的に訓練（または再訓練）することを含み、他の実施形態において他の方式で実行され得ることが理解されるであろう。ルーチンの例示された実施形態は適切なソフトウェアおよび／またはハードウェアに実装され得、例えば、以下のようなものによって実行され得ることももまた理解されるであろう。オンラインゲーム環境または他の対話型実行環境をもまた動作している１または複数のサーバコンピューティングシステム、オンラインゲーム環境または他の対話型実行環境にアクセスするユーザによって用いられる１または複数のクライアントコンピューティングデバイス、オンラインゲーム環境または他の対話型実行環境のプロバイダーおよびユーザとは別個のエンティティの制御下にある１または複数のコンピューティングシステム（例えば、複数の他のエンティティに対して複数のゲームを実行するオンライン環境の操作者によって）、等である。さらにルーチン４００の単一の実施形態は対応するＧＣＳＤモデル訓練コンポーネントに対して示されるが、訓練データの異なるタイプ（例えば、異なるユーザ、異なるゲームプレイ行為のタイプ、等）に対しておよび／または異なるモデルに対してなど、他の実施形態において複数のそのようなコンポーネントおよびルーチンは同時に実行し得ることが理解されるであろう。

【0040】

ルーチン４００の例示された実施形態はブロック４０５で開始し、そこでは訓練データが受信され、それは１または複数のゲームプレイ行為、および、チートソフトウェア使用判定に基づいてゲームプレイ行為（個々にまたは１または複数のグループとして）が不正であるか否かとして分類される対応するラベル付けされた判定を含む。本明細書の他の箇所でより詳細に議論されるように、そのような訓練データは、様々なシステム（例えば、実際の以前のゲームプレイ行為をレビューし対応する判定を行う１または複数の他のチートソフトウェア検知判定システムによって）によって生成され得、様々なタイプの関連情報（例えば、各ゲームプレイ行為に対して関連付けられた属性値のベクトル）を含み得る。加えて、訓練データの受信は、様々な方式で実行され得る。例えば訓練データが利用できるようになった場合に（またはＧＣＳＤシステムの操作者によって供給されるような他のとき）、ルーチンへプッシュされ、または、他のソースからルーチンによってプルされる（例えば、周期的に、特定された基準が満たされた場合に、等）。

【0041】

ブロック４０５の後に、ルーチンはブロック４１０に進み、ユーザによって（もしデータが複数のユーザに対して受信されたなら）、および、任意選択的に異なるゲームプレイ行為のタイプによって（もしデータが対応する異なる訓練済モデルを有するゲームプレイ行為の複数のタイプに対して受信されたなら）、訓練データを分離すると共に、もしそれが受信された訓練データの中に既に提供されていないならば各ゲームプレイ行為に対する属性値のベクトル（ゲームプレイ行為のタイプによって任意選択的に変動する属性で）を作成する。ルーチンはその後、ゲームプレイ行為の異なるタイプに対応する各訓練済モデルに対してブロック４１５－４５０のループを実行するよう進行する。特にブロック４１５においてルーチンは、一番目（またはゲームプレイ行為の分離タイプが使用されないまたは分離した訓練済モデルを有さない場合にはその唯一のもの）で始めてゲームプレイ行為の次のタイプを選択し、再訓練する対応するモデルの前バージョンを取得するか訓練する新しいモデルの形成を開始する（例えば、新たなディープニューラルネットワークモデル構成を作成する）かのいずれかをし、各々が各ユーザに対して選択されたユーザタイプの行為の１または複数の訓練サンプルを有する１または複数の訓練例を生成し（例えば、図２Ａ－２Ｂに関して議論されたように、モデルで期待される入力データのサイズに対応する訓練例内の行為の量で）、各々が１または複数のユーザに対して１または複数の訓練例を有する１または複数の訓練グループを作成する（例えば、訓練グループごとに１０００の訓練例）。

【0042】

ブロック４１５の後に、ルーチンは、ブロック４３０でゲームプレイ行為の次の１または複数の訓練グループ（一番目の１または複数のそのようなグループでまたは複数のグループが作成されないならその唯一のグループで始めて）を選択することによって、１または複数のユーザに対するゲームプレイ行為の各訓練グループに対してブロック４３０－４３５のループの実行を継続する。ブロック４３５において、本明細書の他の箇所で議論されているように、ルーチンはその後、選択された１または複数のグループの中のゲームプレイ行為に対する属性値ベクトルをモデル（取得された再訓練する前バージョンまたは訓練されつつある新しいモデル）への入力として、モデル構造および／または少なくともいくつかの実施形態において深層学習技術を用いかつ入力に基づいたモデルを更新する訓練方法とともに提供する。ブロック４３５の後に、ルーチンはブロック４４０に進んでゲームプレイ行為のそのタイプの訓練データに対するゲームプレイ行為のグループがさらにあるか否かを決定し、もしそうならブロック４３０に戻る。

【0043】

もし代わりにブロック４４０においてさらに訓練データがないと決定されたら、ルーチンはブロック４５０に進んで、後の使用のために訓練済モデルを格納する。いくつかの実施形態および状況において、訓練済モデル使用の状態におかれる前に、最低限の量の訓練が実行され得る。そうである場合、訓練済モデルはそれが使用の準備が整ったか否かを示す追加的な関連情報とともに格納され得る。加えて、もし格納されたモデルが使用可能であるなら（例えば、訓練済モデルをそれらに提供することによって）、ブロック４５０において、ルーチンは任意選択的にＧＣＳＤモデル使用コンポーネント（図５に関してより詳細に議論されるように）のような１または複数の他のコンポーネントまたはシステムに通知し得る。ブロック４５０の後に、ルーチンはブロック４７０に進んで訓練される対応するモデルとともにゲームプレイ行為のタイプがさらにあるかどうかを決定し、もしそうならブロック４１５に戻る。

【0044】

もし代りにブロック４７０において訓練される対応するモデルともにゲームプレイ行為のタイプがさらにないと決定されたなら、ルーチンは代りにブロック４９５に進み、終了する明示的な指示が受信されるまでのように、継続するかどうかを決定する。もし継続することが決定されたなら、ルーチンはブロック４０５に戻り、そうでなければブロック４９９に進んで終了する。

【0045】

図５は、ＧＣＳＤモデル使用ルーチン５００の例示的な実施形態のフロー図である。ルーチン５００は、例えば、図１のＧＣＳＤモデル使用コンポーネント１１０および／または図３のＧＣＳＤモデル使用コンポーネント３４４および／または図２Ａ－２Ｂおよび本明細書の他の箇所に関して議論されたように１または複数のオンラインゲーム環境または他の対話型実行環境内のチートソフトウェアの使用を検出および停止する自動化された操作を実行する訓練済モデルを用いるコンポーネントによって実行され得る。例えば、チートソフトウェアの使用の検知に基づいてゲームプレイ行為が不正である可能性があるかどうかを決定する訓練済モデルを受信して用いること、および、ゲームプレイ行為が正当でないなら様々なタイプの更なる対応を実行することである。

【0046】

ルーチン５００の例示された実施形態は、それが起った後にオンラインゲーム環境とのユーザの対話セッションについてのデータを受信すること、そして対話セッション中に以前起ったゲームプレイ行為を評価することについて議論しており、それによってチートソフトウェアの使用に基づいた以前の不正なゲームプレイ行為（もしあれば）がユーザにペナルティを後に課すのに用いられ得る一方、ルーチン５００の動作は他の実施形態において他の方式で実行され得、それは、ゲームプレイ行為をそれらが生じている従いまたはその後即座に（例えば、リアルタイム方式で）対話セッション中に評価することを含み、それは、ゲームプレイ行為についての情報をそれらが生じているに従いオンラインゲーム環境を提供するサーバコンピューティングシステムからおよび／または対話セッションのためにユーザによって用いられているクライアントコンピューティングデバイスから得ることなどによってなされる、ことが理解されるであろう。ルーチンの例示された実施形態は適切なソフトウェアおよび／またはハードウェアに実装され得、例えば、以下のようなものによって実行され得ることももまた理解されるであろう。オンラインゲーム環境または他の対話型実行環境をもまた動作している１または複数のサーバコンピューティングシステム、オンラインゲーム環境または他の対話型実行環境にアクセスするユーザによって用いられる１または複数のクライアントコンピューティングデバイス、オンラインゲーム環境または他の対話型実行環境のプロバイダーおよびユーザとは別個のエンティティの制御下にある１または複数のコンピューティングシステム（例えば、複数の他のエンティティに対して複数のゲームを実行するオンライン環境の操作者によって）、等である。さらにルーチン５００の単一の実施形態は対応するＧＣＳＤモデル使用コンポーネントに対して示される一方、異なる実行環境、対話セッション、タイプのデータ（例えば、異なるユーザ、異なるゲームプレイ行為のタイプ、等）および／または異なるモデルに対してなど、他の実施形態において複数のそのようなコンポーネントおよびルーチンは同時に実行し得ることが理解されるであろう。

【0047】

ルーチン５００の例示された実施形態はブロック５０３から開始し、そこで、図４のブロック４５０で格納された訓練済モデルに対してなど、１または複数の訓練済モデルが１または複数の対応するゲームプレイ行為のタイプを評価する使用のため取得される。ルーチンの例示された実施形態はそして、ゲームプレイ行為を評価して関連したアクティビティを実行するために訓練済モデルを用いるブロック５０５－５８０のループの実行に進む。不図示であるが、ルーチンは、もし使用中の訓練済モデルが後に再訓練されおよび／または置換されたならなど、いくつかの実施形態および状況において、更新された訓練済モデルを更に取得して用い得る（例えば、周期的に、特定された基準が満たされた場合に、等）。訓練済モデルを取得することは様々な方式で実行され得る。例えば、訓練済モデルが利用できるようになった場合に（例えば、図４のルーチン４００によって）またはＧＣＳＤシステムの操作者によって供給されるような他のときにルーチンにプッシュされ、または、他のソースからルーチンによってプルされる。

【0048】

ブロック５０５において、ルーチンはユーザ対話セッションからデータを受信し、セッション中に起きたゲームプレイ行為についての情報を抽出する。他の箇所でより詳細に議論されるように、いくつかの実施形態および状況において、ゲームプレイ行為およびそれらに関連付けられた属性値を識別する対話セッションの記録版を再生することを含み得る一方、他の実施形態および状況において、ゲームプレイ行為についての情報は他の方式で得られ得る（例えば、他の方式で抽出されたまたはそうでなければ識別された後にルーチン５００に供給され得る）。加えて、例示された実施形態において単一のユーザ対話セッションが受信されて評価されている一方、ゲームプレイ行為データは他の実施形態において他の方式で受信されて用いられ得る（例えば、対話セッションの一部でないまたはサブセットである１または複数のゲームプレイ行為に対して、複数の対話セッションに対して、等）。加えて、例示された実施形態において単一のユーザの１または複数のゲームプレイ行為が共に評価される一方、他の実施形態において複数のユーザのゲームプレイ行為が共に評価され得（例えば、もしユーザがチームの一部またはそうでなければ彼らの行為が関するなら）、もしそうなら、前の対応するモデル訓練は同様に複数のそのようなユーザのゲームプレイ行為についての情報を共に用い得る。

【0049】

ブロック５０５の後に、ルーチンはブロック５１０に進み、異なるゲームプレイ行為のタイプによって（もしデータが異なる対応する訓練済モデルを有するゲームプレイ行為の複数のタイプに対して受信されたら）、データを任意選択的に分離すると共に、もしそれが受信されたデータの中に既に提供されていないならば各ゲームプレイ行為に対する属性値のベクトル（ゲームプレイ行為のタイプによって任意選択的に変動する属性で）を作成する。ルーチンはその後、ゲームプレイ行為の異なるタイプに対応する各訓練済モデルに対してブロック５１５－５４０のループを実行するよう進行する。特に、ブロック５１５においてルーチンは、一番目（またはゲームプレイ行為の分離タイプが使用されないまたは分離した訓練済モデルを有さない場合にはその唯一のもの）で始めてゲームプレイ行為の次のタイプを選択し、選択されたユーザタイプの行為の１または複数のグループを作成する（例えば、図２Ａ－２Ｂに関して議論されたように、モデルで期待される入力データのサイズに対応するグループ内の行為の量で）。

【0050】

ブロック５１５の後に、ルーチンは、ブロック５３０でゲームプレイ行為の次のグループ（一番目でまたは複数のグループが作成されないならその唯一のグループで始めて）を選択することによって、ユーザに対するゲームプレイ行為の各グループに対してブロック５３０－５３７のループの実行を継続する。ブロック５３５において、ルーチンはそして、チートソフトウェア使用検知かどうかに基づいて不正かどうかのゲームプレイ行為の分類決定を得るために、本明細書の他の箇所で議論されたように、１または複数の他のチートソフトウェア検知判定システムがゲームプレイ行為を評価するならそれらがチートソフトウェアの使用の検知の対応する判定を行うであろう関連付けられた可能性でなど、選択されたグループ内のゲームプレイ行為に対する属性値ベクトルを訓練済モデルへの入力として提供する。ブロック５３７において、もしルーチンが評価の結果を定められた閾値を超えた可能性でチートソフトウェア使用の検知に基づいてゲームプレイ行為が不正であると決定する決定をしたなら、ルーチンはブロック５８０での後続する使用のために評価の表示を格納する（例えば、ユーザ、ゲームプレイ行為、チートソフトウェア使用の検知に基づいた正当性の決定、および、関連付けられた可能性）。ブロック５３７の後に、ルーチンはブロック５４０に進んでゲームプレイ行為のそのタイプのデータに対するゲームプレイ行為のグループがさらにあるか否かを決定し、もしそうならブロック５３０に戻る。もしブロック５４０で代わりにさらにデータがないと決定されたら、ルーチンはブロック５７０に進んで対応する訓練済モデルを用いて評価されるべきゲームプレイ行為のタイプがさらにあるかどうかを決定し、もしそうならブロック５１５に戻る。

【0051】

もしブロック５７０で代わりに対応する訓練済モデルを用いて評価されるべきゲームプレイ行為のタイプがさらにないと決定されたら、ルーチンは代わりにブロック５８０に進み、ブロック５３７からチートソフトウェアの使用の検知に基づいた不正の評価の格納された表示を取得し、１または複数の結果的な行為をとるために進行する。いくつかの実施形態において、そのような不正の評価の各々は確認のため１または複数の他のチートソフトウェア検知判定システムへ、他のチートソフトウェア検知判定システムによりチートソフトウェア使用により不正と確認されたゲームプレイ行為と共に、照会され得、その後、対応するペナルティが課されることをもたらす。他の実施形態において、そのような不正の評価の各々は、確認のため不正の評価が他のチートソフトウェア検知判定システムに照会される代わりにまたは独立して、関連付けられたユーザに対応するペナルティを直接課すルーチンによって用いられ得る。さらに他の実施形態において、決定は、ペナルティを直接課すか否か、および、更なる確認のため他チートソフトウェア検知判定システムへ不正な評価が照会されるかどうか、の１または複数のそのような不正の評価の各々に対してなされ得、それは例えば、不正の評価に対する関連付けられ評価された可能性に少なくとも部分的に基づく（例えば、可能性が９０％のような上限閾値を超えたら、ペナルティを直接課す。可能性が５０％または５５％または６０％のような下限閾値を超えたら、他のチートソフトウェア検知判定システムによって確認のため不正な評価を照会する。可能性が下限閾値を超えないなら、更なる動作はとらない、等。）。加えて、少なくともいくつかの実施形態において、（ＧＣＳＤモデル使用コンポーネントによって直接、または、他のチートソフトウェア検知判定システムによってのいずれかで）課された１または複数のペナルティのタイプは１または複数の要因に基づいて変わり得、それは、関連付けられた可能性（例えば、もし可能性が上限閾値を超えたら第１のペナルティタイプを課すこと、および、第１のペナルティタイプに代えてまたは加えてのいずれかで、もし可能性が、上限閾値よりも高いような別の閾値を超えたら第２のペナルティタイプを課すこと）、ユーザについての他の情報（例えば、ユーザに対する信頼スコア、ユーザの以前の行動、累積されたペナルティ点数若しくは他の類似した累積、以前のペナルティからの時間量、等）を含む。

【0052】

ブロック５８０の後に、ルーチンはブロック５９５に進み、終了の明示的な指示が受信されるまでのように、継続するか否かを決定する。もし継続することが決定されたなら、ルーチンはブロック５０５に戻り、そうでなければブロック５９９に進んで終了する。

【0053】

いくつかの実施形態において、上で議論されたルーチンによって提供された機能は、より多くのルーチンの間に分割されまたはより少ないルーチン内に統合されるなど、代替的なやり方で提供され得ることが理解されるであろう。同様に、いくつかの実施形態において、示されたルーチンは説明されたものより多いまたは少ない機能を提供し得る。それは、他の示されたルーチンがそのような機能をそれぞれ代わって欠如または含有する場合または提供された機能の量が変更される場合などである。加えて、様々動作が特定のやり方（例えば、シリアルでまたは平行で）および／または特定の順序で実行するよう示され得る一方、当業者は他の実施形態において動作が他の順序および他の方式で実行され得ることを理解するであろう。上で議論されたデータ構造は、単一のデータ構造を複数のデータ構造へ分割させることによって、または、複数のデータ構造を単一のデータ構造に統合させることによってなど、データベースまたはユーザインターフェーススクリーン／ページまたはデータ構造の他のタイプを含む、異なるやり方で構造化され得ることが同様に理解されるであろう。同様に、いくつかの実施形態において、示されたデータ構造は説明されたものより多いまたは少ない情報を格納し得る。それは、他の示されたデータ構造がそのような情報をそれぞれ代わって欠如または含有する場合または格納された情報の量またはタイプが変更される場合などである。加えて、図面中の要素の位置関係およびサイズは必ずしも正確な比率ではなく、それは様々な要素の形状および角度のことも含み、図面の読みやすさを向上すべくいくつかの要素が拡大され位置付けされること、および、少なくともいくつかの要素の特定の形状はそれらの要素の実際の形状またはスケールに関する情報を表すことなく認識を容易にするために選択されていることを伴う。加えて、いくつかの要素はわかりやすくするためまたは強調のために省略され得る。さらに、異なる図面で繰り返される参照番号は同一または類似の要素を意味し得る。

【0054】

前述したことから、特定の実施形態は図示の目的で本明細書で説明されてきたが、様々な修正が本発明の主旨および範囲に外れずに行われ得ることが理解されるであろう。加えて、本発明の特定の態様は、特定の請求項の形で時々提示され、または、ある時点でいずれの請求項にも具現化され得ないが、本発明者らはあらるゆる利用できる請求項の形で発明の様々な態様を予期している。例えば、本発明のいくつかの態様だけがコンピュータ可読媒体内に具現化されているとして特定の時点で記載され得るが、他の態様も同じくそのように具現化され得る。

【0055】

２０１８年３月２１日に出願された米国特許出願番号１５／９２７，９８９は、本願で優先権を主張しており、その全体がここにおいて参照によって本明細書に組み込まれる。
［他の考え得る項目］
［項目１］
コンピュータ実装方法であって、
１または複数のコンピューティングシステムによって複数の判定についての訓練データを受信する段階であって、前記複数の判定の各々は、対話型ゲーム環境でのユーザのゲームプレイ行為が、前記ゲームプレイ行為を支援するチートソフトウェアの使用により、前記対話型ゲーム環境への前記ユーザのアクセスを制限されることになるかどうかを特定する、前記受信する段階と、
前記１または複数のコンピューティングシステムによって、前記対話型ゲーム環境での更なるゲームプレイ行為が、前記対話型ゲーム環境での前記更なるゲームプレイ行為を援助するチートソフトウェアの使用により、前記対話型ゲーム環境へのアクセスを制限されることになるかどうかを分類するディープニューラルネットワークモデルを、前記受信された訓練データに基づいて、将来の使用のために訓練する段階と、
前記１または複数のコンピューティングシステムによって、前記対話型ゲーム環境でのチートソフトウェアの使用を制御する前記訓練済のディープニューラルネットワークモデルを用いる段階であって、
前記対話型ゲーム環境と対話している複数のユーザの各々に対し、前記訓練済のディープニューラルネットワークモデルが、前記対話型ゲーム環境の前記ユーザの監視されたゲームプレイ行為を、不正であって、前記監視されたゲームプレイ行為が、前記受信された訓練データからの、チートソフトウェアの使用によって支援されていた他のユーザのゲームプレイ行為と同様であるために、前記対話型ゲーム環境への前記ユーザのアクセスが制限されることになるものとして分類すると、前記１または複数のコンピューティングシステムが決定する段階と、
前記１または複数のコンピューティングシステムによって、前記複数のユーザの１または複数の第１のユーザの各々に対し、前記第１のユーザの監視されたゲームプレイ行為が不正であり前記対話型ゲーム環境への前記第１のユーザのアクセスが制限されることになることの検証を得る段階であって、前記訓練済のディープニューラルネットワークモデルとは別個で前記第１のユーザの前記監視されたゲームプレイ行為を更に評価する１または複数の他のチートソフトウェア検知システムと対話することを含む、前記検証を得る段階と、
前記１または複数のコンピューティングシステムによって、前記第１のユーザの各々の前記対話型ゲーム環境への前記アクセスを制限する段階と
を含む、前記訓練済のディープニューラルネットワークモデルを用いる段階と、
前記１または複数のコンピューティングシステムによって、前記対話型ゲーム環境でのチートソフトウェアの使用の更なる制御を向上させるため前記訓練済のディープニューラルネットワークモデルを更新する段階であって、
前記１または複数のコンピューティングシステムによって、前記第１のユーザとは別個の前記複数のユーザの１または複数の第２のユーザの各々に対し、前記第２のユーザの前記監視されたゲームプレイ行為が不正でなく前記対話型ゲーム環境への前記第２のユーザの前記アクセスが制限されないことになることの検証を得る段階であって、前記第２のユーザの前記監視されたゲームプレイ行為を更に評価する前記１または複数の他のチートソフトウェア検知システムと対話することを含む、前記検証を得る段階と、
前記１または複数のコンピューティングシステムによって、前記第２のユーザの各々に対し、前記第２のユーザの前記監視されたゲームプレイ行為が不正でなく前記対話型ゲーム環境への前記第２のユーザの前記アクセスが制限されないことになることを反映するよう、前記訓練済のディープニューラルネットワークモデルを更新する段階と
を含む更新する段階と
を備えるコンピュータ実装方法。
［項目２］
前記訓練データを受信する段階は、前記対話型ゲーム環境での他のユーザの前記複数の前のゲームプレイ行為に対する過去の判定であって、前記複数の前のゲームプレイ行為が、以前に、前記対話型ゲーム環境への前記他のユーザの前記アクセスを制限されることになったことを特定する、前記過去の判定についての情報を、前記１または複数の他のチートソフトウェア検知システムから得る段階を含み、前記複数のユーザの各々に対して決定する段階は、前記訓練済ディープニューラルネットワークモデルを用いて、前記ユーザの前記監視されたゲームプレイ行為が、前記対話型ゲーム環境への前記ユーザの前記アクセスを制限されることになる可能性を決定する段階と、前記決定された可能性が不正のゲームプレイ行為に対して定められた閾値を超えることを識別する段階とを含む項目１に記載のコンピュータ実装方法。
［項目３］
コンピュータ実装方法であって、
１または複数のコンピューティングシステムによって、対話型ゲーム環境でのゲームプレイ行為をもしチートソフトウェアの使用によって支援されたなら不正であると分類するよう訓練されたモデルを用い、チートソフトウェアの使用によって支援された他の不正なゲームプレイ行為と類似していることを理由に前記対話型ゲーム環境でのユーザの監視されたゲームプレイ行為を不正であると決定する段階と、
前記１または複数のコンピューティングシステムによって、前記決定する段階に少なくとも部分的に基づき、前記対話型ゲーム環境での前記ユーザによるチートソフトウェアの更なる使用を制限する段階であって、前記対話型ゲーム環境へのアクセスに関連した前記ユーザにペナルティを課す段階を含む、前記更なる使用を制限する段階と
を備えるコンピュータ実装方法。
［項目４］
前記１または複数のコンピューティングシステムによって、前記チートソフトウェアの前記更なる使用の前記制限する段階の前に、前記決定する段階に応答して、前記ユーザの前記監視されたゲームプレイ行為がチートソフトウェアの使用によって支援されたという更なる判定を得る段階であって、前記訓練済モデルとは別個でかつ前記監視されたゲームプレイ行為を更に評価する１または複数の他のチートソフトウェア検知システムと対話する段階を含む、前記更なる判定を得る段階を更に備え、前記ペナルティを課す段階は、前記得られた更なる判定の一部に更に基づく項目３に記載のコンピュータ実装方法。
［項目５］
前記モデルはディープニューラルネットワークであり、前記方法はさらに、前記１または複数のコンピューティングシステムによって、前記決定する段階の前に、前記対話型ゲーム環境でのゲームプレイ行為を、チートソフトウェアの使用によって支援されているか、チートソフトウェアの使用によって支援されていないかを分類する前記ディープニューラルネットワークを、将来の使用のために訓練する段階であって、前記対話型ゲーム環境での表示されたユーザゲームプレイ行為が、前記ユーザゲームプレイ行為を支援するチートソフトウェアの使用により、前記対話型ゲーム環境へのアクセスを制限されることになるかどうかを各々が特定する複数の判定についての訓練データを取得して使用する段階を含む、前記訓練する段階を更に備える項目３または４に記載のコンピュータ実装方法。
［項目６］
前記１または複数のコンピューティングシステムによって、前記対話型ゲーム環境での前記ゲームプレイ行為を、チートソフトウェアの使用によって支援されていれば不正であり、そうでなければ認証されていると分類する前記モデルを訓練する段階であって、前記対話型ゲーム環境でのユーザの前のゲームプレイ行為を含み、かつ、前記ユーザの前記前のゲームプレイ行為が制限された前記対話型ゲーム環境への前記ユーザの前記アクセスをもたらしたか否かの決定を含む訓練データを前記モデルに供給する段階を含む、前記モデルを訓練する段階を更に備え、
前記対話型ゲーム環境での前記ユーザの前記監視されたゲームプレイ行為を不正であると決定する段階は、前記訓練済モデルを用いて、前記ユーザの前記監視されたゲームプレイ行為が、前記対話型ゲーム環境への前記ユーザの前記アクセスが制限されることになる可能性を決定する段階と、前記決定された可能性が不正なゲームプレイ行為に対して定められた閾値を超えることを識別する段階とを含む項目３から５のいずれか１項に記載のコンピュータ実装方法。
［項目７］
コンピューティングシステムによって、対話型実行環境でのユーザの監視された行為が、不正ソフトウェアの使用によって支援された不正行為と同様であるために、前記対話型実行環境への前記ユーザのアクセスを制限されることになると決定する段階であって、前記決定する段階は、１または複数の他の不正ソフトウェア検知システムによるユーザ行為のレビューによって、前記ユーザ行為が不正ソフトウェアの使用によって支援されていると決定する場合に前記対話型実行環境での前記ユーザ行為を、不正であって、前記対話型実行環境へのアクセスを制限されることになるものとして分類するよう訓練されたモデルを用いる段階を含む、前記決定する段階と、
前記監視された行為を更に評価する前記１または複数の他の不正ソフトウェア検知システムと対話する段階を含み、前記コンピューティングシステムによって、前記決定する段階に少なくとも部分的に基づき、前記ユーザの前記監視された行為が不正であり、前記不正ソフトウェアの前記使用によって支援されているために、前記対話型実行環境への前記ユーザの前記アクセスが制限されることになるかどうかの判定を得る段階と、
前記コンピューティングシステムによって、前記対話型実行環境での前記ユーザの監視された行為が前記不正行為と同様であるために、前記対話型実行環境への前記ユーザの前記アクセスが制限されることになるとの前記決定についての情報を格納する段階と
を少なくとも備える自動化された動作をコンピューティングシステムに実行させるプログラム。
［項目８］
前記自動化された動作は、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階であって、前記監視された行為が不正であることを前記得られた判定が示すならば前記対話型実行環境への前記ユーザの前記アクセスを制限する段階、および、そうでなければ前記ユーザの前記監視された行為が不正ではないことを反映させるように前記訓練済モデルを更新する段階を含む、前記制御する段階を更に備える項目７に記載のプログラム。
［項目９］
前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、前記ユーザが前記対話型実行環境にアクセスすることを禁止する段階を含む項目８に記載のプログラム。
［項目１０］
前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、定められた期間、または、１または複数の特定された基準が満されるまで、のうちの少なくとも１つの間、前記ユーザが前記対話型実行環境を使用することを停止させる段階を含む項目８に記載のプログラム。
［項目１１］
前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、前記対話型実行環境が前記ユーザにどのように機能を提供するかに影響する、前記ユーザに割り当てられた信頼スコアを減じる段階を含む項目８に記載のプログラム。
［項目１２］
前記得られた判定は前記監視された行為が不正であることを示し、前記得られた判定を用いて前記対話型実行環境へのアクセスを更に制御する段階は、前記ユーザに対する累積に１または複数のペナルティ表示を追加する段階を含み、前記累積は、前記累積が特定の閾値に達した場合に前記ユーザへ他の制限をもたらす、項目８に記載のプログラム。
［項目１３］
前記対話型実行環境はオンラインゲーム環境であり、前記ユーザの前記監視された行為はゲームプレイ行為であり、前記不正ソフトウェアは前記ユーザのクライアントコンピューティングデバイス上で実行されるチートソフトウェアであり、前記アクセスを制限する段階は、少なくとも特定量の時間、前記ユーザによる前記オンラインゲーム環境の使用を防ぐ段階を含む項目８から１２のいずれか１項に記載のプログラム。
［項目１４］
前記自動化された動作は、前記決定する段階の前に、前記対話型実行環境でのユーザ行為が、不正ソフトウェアの使用によって支援されているか、不正ソフトウェアの使用によって支援されていないかを分類する前記モデルを、将来の使用のために訓練する段階であって、前記対話型実行環境での表示されたユーザ行為が、前記ユーザ行為を支援する不正ソフトウェアの使用により、前記対話型実行環境へのアクセスを制限されることになるかどうかを各々が特定する複数の判定についての訓練データを取得して使用する段階を含む、前記訓練する段階を更に備える、項目７から１３のいずれか１項に記載のプログラム。
［項目１５］
前記モデルは複数の隠れ層を含むディープニューラルネットワークであり、前記モデルを訓練する段階は、ユーザ行為に関連付けられた属性値および前記ユーザ行為が不正ソフトウェアの使用によって支援されているか不正ソフトウェアの使用によって支援されていないかの判定結果のパターンを識別するための複数の隠れ層を用いる段階を含む項目１４に記載のプログラム。
［項目１６］
前記モデルを訓練する段階は、ユーザ行為に関連付けられた属性値および前記ユーザ行為が不正ソフトウェアの使用によって支援されているか不正ソフトウェアの使用によって支援されていないかの判定結果のパターンを識別するための深層学習技術を用いる段階を含む項目１４に記載のプログラム。
［項目１７］
前記決定する段階は、前記１または複数の他の不正ソフトウェア検知システムと対話する段階の前に、前記訓練済モデルを用いて、前記１または複数の他の不正ソフトウェア検知システムが、前記ユーザの前記監視された行為が不正ソフトウェアの使用によって支援されていると判定する可能性を決定する段階と、前記決定された可能性が不正なユーザ行為に対して定められた閾値を超えることを識別する段階とを含む項目７から１６のいずれか１項に記載のプログラム。
［項目１８］
前記自動化された動作は、前記１または複数の他の不正ソフトウェア検知システムのうちの少なくとも１つでの動作を実行する段階であって、前記不正ソフトウェアの前記使用によって支援された前記ユーザの前記監視された行為について前記対話型実行環境の複数の他のユーザから入力を得ることを含む、前記動作を実行する段階を更に備える項目１７に記載のプログラム。
［項目１９］
更に前記ユーザのクライアントコンピューティングデバイスに、１または複数の既知の不正ソフトウェアプログラム用の、前記クライアントコンピューティングデバイス上の少なくとも１つのメモリまたは前記クライアントコンピューティングデバイス上のストレージを調査させることによって、前記１または複数の他の不正ソフトウェア検知システムのうちの少なくとも１つでの動作を実行させる項目１７に記載のプログラム。
［項目２０］
システムであって、
１または複数のコンピューティングシステムの１または複数のハードウェアプロセッサと、
前記１または複数のハードウェアプロセッサのうちの少なくとも１つで実行された場合に、前記システムに少なくとも以下を含むモデル使用コンポーネントに対する自動化された操作を実行させる格納された命令を有する１または複数のメモリと
を備え、
前記操作は、
対話型ゲーム環境でのユーザの監視されたゲームプレイ行為が、チートソフトウェアの使用によって支援された他のゲームプレイ行為と同様であるために不正であると決定する段階であって、前記決定する段階は前記対話型ゲーム環境でのユーザのゲームプレイ行為がチートソフトウェアの使用によって支援されているかチートソフトウェアの使用によって支援されていないかを分類する訓練済のモデルを使用する段階を含む、前記決定する段階と、
前記決定する段階に少なくとも部分的に基づいて、前記監視されたゲームプレイ行為を更に評価する１または複数の他のチートソフトウェア検知システムから、前記ユーザの前記監視されたゲームプレイ行為が前記チートソフトウェアの使用によって支援されていることにより不正であるという判定を得る段階と、
前記対話型ゲーム環境での前記ユーザの前記監視されたゲームプレイ行為が不正であるとの前記決定する段階または前記ユーザの前記監視されたゲームプレイ行為が不正であるという前記判定のうちの少なくとも１つについての情報を提供する段階と
を含むシステム。
［項目２１］
前記格納された命令は更に、前記システムに、前記得られた判定を用いて前記対話型ゲーム環境への前記ユーザのアクセスを制限させる項目２０に記載のシステム。
［項目２２］
前記得られた判定を用いて前記対話型ゲーム環境への前記ユーザのアクセスを制限させることは、定められた期間、または、１または複数の特定の基準が満たされるまで、のうちの少なくとも１つの間、前記対話型ゲーム環境への前記ユーザの前記アクセスを防ぐ段階を含む項目２１に記載のシステム。
［項目２３］
前記モデルは更に、前記対話型ゲーム環境での前記ユーザのゲームプレイ行為を、複数のタイプの不正なユーザのゲームプレイ行為の１つに属するものとして分類するように訓練され、前記対話型ゲーム環境での前記ユーザの前記監視されたゲームプレイ行為が不正であると前記決定する段階は、前記ユーザの前記監視されたゲームプレイ行為が属する、前記複数のタイプの不正なユーザのゲームプレイ行為の１つを識別する段階を含む項目２０に記載のシステム。
［項目２４］
前記モデルは更に、前記対話型ゲーム環境での前記ユーザのゲームプレイ行為を、複数のタイプのチートソフトウェアの１つを使用することによって支援されているものとして分類するように訓練され、前記対話型ゲーム環境での前記ユーザの前記監視されたゲームプレイ行為が不正であると前記決定する段階は、前記ユーザの前記監視されたゲームプレイ行為を支援するのに用いられた、前記複数のタイプのチートソフトウェアの１つを識別する段階を含む項目２０に記載のシステム。
［項目２５］
前記モデルは、前記対話型ゲーム環境での第２のユーザの追加的な監視されたゲームプレイ行為が、チートソフトウェアの使用によって支援される他のゲームプレイ行為と同様であるために、不正である、と示す訓練済のディープニューラルネットワークであり、前記格納された命令は更に、前記システムに、モデル訓練コンポーネントに対する追加的な動作を実行させ、前記追加的な動作は、前記第２のユーザの前記追加的な監視されたゲームプレイ行為が前記チートソフトウェアの使用によって支援されていないという前記１または複数の他のチートソフトウェア検知システムからの第２の得られた判定に応答して、前記第２のユーザの前記追加的な監視されたゲームプレイ行為が前記チートソフトウェアの使用によって支援されていないということを反映させるべく前記訓練済のディープニューラルネットワークモデルを更新する段階を少なくとも含む、項目２０から２４のいずれか１項に記載のシステム。

【図1】

【図2A】

【図2B】

【図3】

【図4】

【図5】