特開 2024-176602 電子ゲーム提供システム及び電子ゲーム提供プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176602

(43)【公開日】2024-12-19

(54)【発明の名称】電子ゲーム提供システム及び電子ゲーム提供プログラム

(51)【国際特許分類】

   A63F 13/67 20140101AFI20241212BHJP

   A63F 13/79 20140101ALI20241212BHJP

   G06N 20/00 20190101ALI20241212BHJP

【ＦＩ】

A63F13/67

A63F13/79

G06N20/00

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2023095293

(22)【出願日】2023-06-09

(71)【出願人】

【識別番号】599115217

【氏名又は名称】株式会社 ディー・エヌ・エー

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】大沼 諒昌

(72)【発明者】

【氏名】宇佐美 優

(72)【発明者】

【氏名】小東 祥

(72)【発明者】

【氏名】柳辺 十武

(72)【発明者】

【氏名】田中 一樹

(57)【要約】

【課題】ユーザの嗜好に応じたアクションを起こすように学習されたＡＩエージェントによって電子ゲームをプレイすることが可能な電子ゲーム提供システム及び電子ゲーム提供プログラムを提供する。
【解決手段】電子ゲームの状況を入力として、状況に対するアクションを出力するように学習されたＡＩエージェントを使用して電子ゲームをプレイすることが可能であり、電子ゲームに関する質問に対するユーザの回答を用いて、ＡＩエージェントをユーザに対応付けられたＡＩエージェントとなるように学習する。
【選択図】図６

【特許請求の範囲】

【請求項1】

電子ゲームを提供する電子ゲーム提供システムであって、
電子ゲームの状況を入力として、前記状況に対するアクションを出力するように学習されたＡＩエージェントを使用して電子ゲームをプレイすることが可能であり、
電子ゲームに関する質問に対するユーザの回答を用いて、前記ＡＩエージェントを前記ユーザに対応付けられたＡＩエージェントとなるように学習することを特徴とする電子ゲーム提供システム。

【請求項2】

請求項１に記載の電子ゲーム提供システムであって、
前記質問は、電子ゲームにおけるプレイについての前記ユーザの嗜好に関することを特徴とする電子ゲーム提供システム。

【請求項3】

請求項１又は２に記載の電子ゲーム提供システムであって、
前記質問は、電子ゲームにおける１つの状況に対して前記ユーザが選択するアクションに関することを特徴とする電子ゲーム提供システム。

【請求項4】

請求項３に記載の電子ゲーム提供システムであって、
前記１つの状況は、前記ＡＩエージェントが電子ゲームをプレイした際に遭遇した状況であることを特徴とする電子ゲーム提供システム。

【請求項5】

請求項３に記載の電子ゲーム提供システムであって、
前記１つの状況は、人間が電子ゲームをプレイした際に遭遇した状況であることを特徴とする電子ゲーム提供システム。

【請求項6】

請求項３に記載の電子ゲーム提供システムであって、
前記１つの状況は、電子ゲームにおける状況のうち人間が選択した状況であることを特徴とする電子ゲーム提供システム。

【請求項7】

請求項２に記載の電子ゲーム提供システムであって、
前記ＡＩエージェントから前記ユーザの嗜好に沿ったアクションが出力されるように前記ＡＩエージェントを学習することを特徴とする電子ゲーム提供システム。

【請求項8】

請求項１に記載の電子ゲーム提供システムであって、
前記１つの状況に対して、前記ＡＩエージェントから前記ユーザの選択したアクションが出力されるように前記ＡＩエージェントを学習することを特徴とする電子ゲーム提供システム。

【請求項9】

電子ゲームを提供する電子ゲーム提供プログラムであって、
コンピュータを、
電子ゲームの状況を入力として、前記状況に対するアクションを出力するように学習されたＡＩエージェントを使用して電子ゲームをプレイすることが可能であり、
電子ゲームに関する質問に対するユーザの回答を用いて、前記ＡＩエージェントを前記ユーザに対応付けられたＡＩエージェントとなるように学習することを特徴とする電子ゲーム提供プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子ゲーム提供システム及び電子ゲーム提供プログラムに関する。

【背景技術】

【0002】

電子ゲームを実際にプレイして得られたプレイヤログを用いて、複数のオブジェクトを使用する電子ゲームをプレイする人工知能エージェント（ＡＩエージェント）を効率的に学習する技術が開示されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－９５９７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、従来の電子ゲームでは、ＡＩエージェントは専ら人間のプレイヤとの対戦に使用されることが一般的であり、その用途が限定的であった。

【課題を解決するための手段】

【0005】

本発明の１つの態様は、電子ゲームを提供する電子ゲーム提供システムであって、電子ゲームの状況を入力として、前記状況に対するアクションを出力するように学習されたＡＩエージェントを使用して電子ゲームをプレイすることが可能であり、電子ゲームに関する質問に対するユーザの回答を用いて、前記ＡＩエージェントを前記ユーザに対応付けられたＡＩエージェントとなるように学習することを特徴とする電子ゲーム提供システムである。

【0006】

本発明の別の発明は、電子ゲームを提供する電子ゲーム提供プログラムであって、コンピュータを、電子ゲームの状況を入力として、前記状況に対するアクションを出力するように学習されたＡＩエージェントを使用して電子ゲームをプレイすることが可能であり、電子ゲームに関する質問に対するユーザの回答を用いて、前記ＡＩエージェントを前記ユーザに対応付けられたＡＩエージェントとなるように学習することを特徴とする電子ゲーム提供プログラムである。

【0007】

ここで、前記質問は、電子ゲームにおけるプレイについての前記ユーザの嗜好に関することが好適である。

【0008】

また、前記質問は、電子ゲームにおける１つの状況に対して前記ユーザが選択するアクションに関することが好適である。

【0009】

また、前記１つの状況は、前記ＡＩエージェントが電子ゲームをプレイした際に遭遇した状況であることが好適である。

【0010】

また、前記１つの状況は、人間が電子ゲームをプレイした際に遭遇した状況であることが好適である。

【0011】

また、前記１つの状況は、電子ゲームにおける状況のうち人間が選択した状況であることが好適である。

【0012】

また、前記ＡＩエージェントから前記ユーザの嗜好に沿ったアクションが出力されるように前記ＡＩエージェントを学習することが好適である。

【0013】

また、前記１つの状況に対して、前記ＡＩエージェントから前記ユーザの選択したアクションが出力されるように前記ＡＩエージェントを学習することが好適である。

【発明の効果】

【0014】

本発明によれば、ユーザの嗜好に応じたアクションを起こすように学習されたＡＩエージェントによって電子ゲームをプレイすることが可能な電子ゲーム提供システム及び電子ゲーム提供プログラムを提供することができる。

【0015】

本発明の実施の形態の他の目的は、本明細書全体を参照することにより明らかになる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施の形態における電子ゲームシステムの構成を示す図である。

【図2】本発明の実施の形態におけるサーバの構成を示す図である。

【図3】本発明の実施の形態におけるクライアントの構成を示す図である。

【図4】本発明の実施の形態における電子ゲームサービスの処理を示すフローチャートである。

【図5】本発明の実施の形態におけるプレイスタイル選択画面の例を示す図である。

【図6】本発明の実施の形態におけるＡＩエージェントの学習処理を示すフローチャートである。

【図7】本発明の実施の形態におけるサーバの構成を示す機能ブロック図である。

【図8】本発明の実施の形態におけるＡＩエージェントの学習処理を示す図である。

【図9】本発明の実施の形態におけるプレイスタイル選択画面の例を示す図である。

【図10】本発明の実施の形態における選択要求画面の例を示す図である。

【図11】本発明の実施の形態におけるアクション選択画面の例を示す図である。

【図12】本発明の実施の形態における選択要求画面の例を示す図である。

【発明を実施するための形態】

【0017】

［システム構成］
本発明の実施の形態における電子ゲームシステム１００は、図１に示すように、サーバ１０２及びクライアント１０４を含んで構成される。クライアント１０４は、単数であってもよいし、複数であってもよい。サーバ１０２及びクライアント１０４は、インターネット等の情報通信網１０６を介して相互に情報交換可能に接続される。

【0018】

なお、情報通信網１０６は、インターネットに限定されるものではなく、サーバ１０２及びクライアント１０４の間を通信可能に相互に接続できるものであればよい。情報通信網１０６は、例えば、専用回線、公衆回線（電話回線、移動体通信回線等）、有線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、無線ＬＡＮ等であってもよく、又はインターネットとこれらを組み合わせてもよい。

【0019】

サーバ１０２は、図２に示すように、処理部１０、記憶部１２、入力部１４、出力部１６及び通信部１８を含んで構成される。処理部１０は、ＣＰＵ等の演算処理を行う手段を含む。処理部１０は、記憶部１２に記憶されている電子ゲームサーバプログラムを実行することによって、本実施の形態における電子ゲームシステム１００においてクライアント１０４に対して電子ゲームを提供するための機能を実現する。記憶部１２は、半導体メモリやメモリカード等の記憶手段を含む。記憶部１２は、処理部１０とアクセス可能に接続され、電子ゲームサーバプログラム、その処理に必要な情報を記憶する。入力部１４は、情報を入力する手段を含む。入力部１４は、例えば、管理者からの入力を受けるキーボード、タッチパネル、ボタン等を備える。出力部１６は、管理者から入力情報を受け付けるためのユーザインターフェース画面（ＵＩ）等のサーバ１０２での処理結果を出力する手段を含む。出力部１６は、例えば、管理者に対して画像を呈示するディスプレイを備える。通信部１８は、情報通信網１０６を介して、クライアント１０４との情報の通信を行うインターフェースを含んで構成される。通信部１８による通信は有線及び無線を問わない。

【0020】

サーバ１０２は、電子ゲームをプレイする各ユーザのクライアント１０４からの情報通信網１０６を介したアクセスを受け付けて、各ユーザに関する情報を記憶装置に蓄積して管理し、各ユーザに情報通信網１０６を介した電子ゲームを提供する。

【0021】

クライアント１０４は、図３に示すように、処理部２０、記憶部２２、入力部２４、出力部２６及び通信部２８を含んで構成される。クライアント１０４は、通信端末とも称される。処理部２０は、ＣＰＵ等の演算処理を行う手段を含む。処理部２０は、記憶部２２に記憶されている電子ゲームクライアントプログラムを実行することによって、本実施の形態における電子ゲームシステム１００におけるクライアント端末としての機能を実現する。記憶部２２は、半導体メモリやメモリカード等の記憶手段を含む。記憶部２２は、処理部２０とアクセス可能に接続され、電子ゲームクライアントプログラム、その処理に必要な情報を記憶する。入力部２４は、情報を入力する手段を含む。入力部２４は、例えば、ユーザからの入力を受けるキーボード、タッチパネル、ボタン、モーションセンサー等を備える。出力部２６は、ユーザから入力情報を受け付けるための画面や電子ゲームする際の画像を表示するディスプレイ等、クライアント１０４での処理に必要な情報を出力する手段を含む。通信部２８は、情報通信網１０６を介して、サーバ１０２との情報の通信を行うインターフェースを含んで構成される。通信部２８による通信は有線及び無線を問わない。

【0022】

クライアント１０４は、電子ゲームを提供するためのクライアントプログラムを実行可能な情報処理装置であれば様々なものを適用できる。例えば、クライアント１０４としては、ゲーム店等に設置された据置型または携帯型の電子ゲーム端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピュータ、スマートフォン、携帯電話端末、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙ－ｐｈｏｎｅＳｙｓｔｅｍ）端末、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、情報処理機能を備えた多機能型テレビジョン受像機（いわゆるスマートテレビ）等が適用できる。

【0023】

［電子ゲームの概要］
電子ゲームシステム１００によってＡＩエージェント同士、ＡＩエージェント対人間のプレイヤ、人間のプレイヤ同士が対戦可能な電子ゲームが提供される。

【0024】

本実施の形態では、電子ゲームとしてテキサス・ホールデムポーカーを例に説明する。テキサス・ホールデムポーカーは、ポーカーの一種であり、各プレイヤに配られる２枚の手札と、コミュニティ・カードと呼ばれる全プレイヤに共通のカード（最大５枚）を組み合わせて役（ハンド）を作り、各プレイヤの役（ハンド）の強弱によって勝ち負けを決定する。

【0025】

テキサス・ホールデムでは、ゲームに参加している各プレイヤに対して順番にディーラ・ボタンが付与される。ディーラ・ボタンは１ゲームごとに時計回りに移動し、ディーラの位置の変更が行われる。ディーラ・ボタンが付与されたプレイヤの左隣にいるプレイヤは、スモールブラインドと呼ばれ、最低ベット額の半額を賭ける義務がある。スモールブラインドの左隣にいるプレイヤは、ビッグブラインドと呼ばれ、当該ゲームにおける最低ベット額を賭ける義務がある。なお、ゲームに参加しているプレイヤが２名である場合、ディーラ・ボタンのないプレイヤがビッグブラインドを、ディーラ・ボタンがあるプレイヤがスモールブラインドとなる。

【0026】

各プレイヤに２枚のカードが表を伏せた状態で配られてゲーム開始となる。この２枚のカードを「ホールカード」あるいは「ポケットカード」と呼ぶ。カードが配られたら、賭けが開始される。最初の賭けのラウンドは「プリフロップ」と呼ばれ、ビッグブラインドの左隣のプレイヤから時計回りに行われる。最初のプレイヤは「チェック」（賭けずにパスすること）することはできず、「フォールド」（降りること）しないのであれば「コール」（同等の賭け金を出すこと）または「レイズ」（賭け金を釣り上げること）をする必要がある。（「レイズ」されていない場合に）スモールブラインドを出したプレイヤがコールするには残りの半額を出す。

【0027】

プリフロップでの賭けが終わった段階で２名以上プレイヤが残っている場合、ディーラは表向きに３枚のカードをテーブルに出す。これらのカードは、「フロップ」と呼ばれ、全てのプレイヤに共通のカード（コミュニティ・カード）である。

【0028】

続けて、プロップに対する賭けのラウンド（ベットラウンド）が開始され、ディーラ・ボタンの左隣のプレイヤから賭けが時計回りに行われる。フロップのベットラウンドが終わると、ディーラは更に１枚の共通カードをテーブルに出す。このカードは、「ターン」と呼ばれ、ターンに対するベットラウンドが行われる。ターンに対するベットラウンドが終了すると、ディーラは最後の１枚となる共通カードをテーブルに出す。このカードは、「リバー」と呼ばれ、リバーに対するベットラウンドが行われる。リバーに対するベットラウンドが終了した時点で残っているプレイヤが２名以上いる場合、勝者を決めるためにショーダウンが行われる。

【0029】

２名以上のプレイヤが最後の賭けを終えて残っている場合はショーダウンが行われる。ショーダウンでは、プレイヤの手元の２枚と場に出された５枚のコミュニティ・カードの中から最も強い５枚の組み合わせを用いて役（ハンド）の強弱によって勝敗を決定する。

【0030】

［電子ゲーム提供サービス］
電子ゲームシステム１００では、複数のユーザがプレイヤとなり、それぞれのクライアント１０４を使用して電子ゲームをプレイすることができる。また、このような人間がプレイヤとなる場合に加えて、ユーザに対応付けられたＡＩエージェントによって電子ゲームをプレイすることもできる。

【0031】

本実施の形態では、図４のフローチャートを参照して、テキサス・ホールデムポーカーの電子ゲームの処理について説明する。ただし、電子ゲームは、これに限定されるものではなく、他の電子ゲームであってもＡＩエージェントを用いてプレイができるものであればよい。なお、以下の処理において、賭け金は電子ゲーム上で使用できるポイント等としてもよい。

【0032】

ステップＳ１０では、ユーザによるログイン処理が行われる。当該ステップにおける処理によって、電子ゲームシステム１００は初期設定手段として機能する。

【0033】

電子ゲームをプレイしようとするユーザは、自身が使用するクライアント１０４の入力部２４を使用してログイン処理に必要なログイン情報を入力する。ログイン情報は、例えば、ユーザＩＤ及びパスワードとすることができる。クライアント１０４は、通信部２８を介して、情報通信網１０６を通じてサーバ１０２へログイン情報を送信する。サーバ１０２は、通信部１８を介してログイン情報を受信すると、ログイン情報がログインを許可する条件を満たしていればログインを許可する。例えば、ログイン情報に含まれるユーザＩＤとパスワードの組み合わせが予め登録されているユーザＩＤとパスワードの組み合わせに合致すればログインを許可する。

【0034】

また、テキサス・ホールデムポーカーのように複数のプレイヤによって行われる電子ゲームでは、プレイヤとなるユーザ同士を組み合わせるマッチング処理が行われる。サーバ１０２は、ログインを行ったユーザを組み合わせて１つのテーブルでポーカーを行うプレイヤとして組み合わせる。なお、プレイヤは、人間であるユーザ自身とするか、ユーザに対応付けられたＡＩエージェントとするかを選択できるようにすることが好適である。

【0035】

ステップＳ１２では、ゲーム画像の表示処理が行われる。当該ステップにおける処理によって、電子ゲームシステム１００はゲーム画像表示手段として機能する。サーバ１０２は、ログイン処理及びマッチング処理が終了すると、通信部１８を介して、情報通信網１０６を通じてクライアント１０４へゲーム画面を表示するための情報を送信する。クライアント１０４は、通信部２８を介してゲーム画面を表示するための情報を受信すると、出力部２６において当該情報に基づいてゲーム画面を表示させる。

【0036】

本実施の形態のテキサス・ホールデムポーカーでは、図５に示すように、ゲーム画面３００が表示される。ゲーム画面３００には、ゲーム状況表示領域３０２及びアクション選択領域３０４が設けられる。ゲーム状況表示領域３０２には、電子ゲームの状況を示す情報が表示される。テキサス・ホールデムポーカーの場合、ゲーム状況表示領域３０２には、プレイヤ、共通のカード（コミュニティ・カード）の状況、自身に配られたカード（ポケットカード）の状況、賭けの状況（各プレイヤの賭けにおけるアクション）が含まれる。また、電子ゲームの状況には、各プレイヤの対戦履歴やスタッツが含まれてもよい。アクション選択領域３０４には、ゲーム状況表示領域３０２に表示されている電子ゲームの状況に対してプレイヤが選択可能なアクションが表示される。

【0037】

ステップＳ１４では、カードの配布処理が行われる。当該ステップにおける処理によって、電子ゲームシステム１００はカード配布手段として機能する。サーバ１０２は、電子ゲームに参加しているプレイヤのハンド及びコミュニティ・カードの配布を行う処理を行う。サーバ１０２は、通信部１８を介して、情報通信網１０６を通じて配布されたカードの情報を各プレイヤが使用するクライアント１０４へ送信する。クライアント１０４は、配布されたカードの情報を受信すると、出力部２６においてゲーム画面３００のゲーム状況表示領域３０２に表示させる。

【0038】

ステップＳ１６では、賭けのラウンドの処理が行われる。当該ステップにおける処理によって、電子ゲームシステム１００は賭け処理手段として機能する。ユーザ自身がプレイヤである場合、ゲーム状況表示領域３０２に表示された電子ゲームの状況を確認したうえで、クライアント１０４の入力部２４を用いてアクション選択領域３０４に表示されているアクションの選択肢からアクションを選択する。クライアント１０４は、通信部２８を介して、情報通信網１０６を通じて選択されたアクションの情報をサーバ１０２へ送信する。ＡＩエージェントがユーザの代理としてプレイヤである場合、後述するサーバ１０２のＡＩプレイ処理部の処理によって電子ゲームの状況がＡＩエージェントに入力され、当該入力に応じてＡＩエージェントから出力されたアクションが自動的に選択される。

【0039】

ステップＳ１８では、カードの配布が終わったか否かの判定が行われる。当該ステップにおける処理によって、電子ゲームシステム１００は配布判定手段として機能する。サーバ１０２は、各プレイヤのハンド及びコミュニティ・カードとして配布するべき枚数のカードがすでに配布されたか否かを判定する。さらにカードの配布が必要であればステップＳ１４に処理を戻し、カードの配布が不要であればステップＳ２０に処理を移行させる。

【0040】

ステップＳ２０では、カードの配布が終了した後、さらに賭けのラウンドの処理が行われる。当該ステップにおける処理によって、電子ゲームシステム１００は賭け処理手段として機能する。ユーザ自身がプレイヤである場合、ゲーム状況表示領域３０２に表示された電子ゲームの状況を確認したうえで、クライアント１０４の入力部２４を用いてアクション選択領域３０４に表示されているアクションの選択肢からアクションを選択する。クライアント１０４は、通信部２８を介して、情報通信網１０６を通じて選択されたアクションの情報をサーバ１０２へ送信する。ユーザの代理としてＡＩエージェントがプレイヤである場合、後述するサーバ１０２の処理によって電子ゲームの状況がＡＩエージェントに入力され、当該入力に応じてＡＩエージェントから出力されたアクションが自動的に選択される。

【0041】

ステップＳ２２では、ショーダウンの処理が行われる。当該ステップにおける処理によって、電子ゲームシステム１００はゲーム後処理手段として機能する。サーバ１０２は、賭け金を賭ける処理が終了すると、ショーダウンを行い、各プレイヤのハンドの強弱に応じて賭け金をプレイヤに分配する。各プレイヤに付与された賭け金の情報は、サーバ１０２の記憶部１２においてユーザデータベース等として記憶される。また、上記処理における電子ゲームをプレイしたときの状況、当該状況に対して選択されたアクション、及びショーダウンの結果（賭け金の授受の結果等）をサーバ１０２の記憶部１２においてゲームログ情報として記憶させてもよい。

【0042】

以上の処理を繰り返すことによって、電子ゲームシステム１００によって電子ゲームの提供サービスが実現される。

【0043】

［ＡＩエージェントの学習方法］
電子ゲームシステム１００では、クライアント１０４を操作するユーザに対応付けられたＡＩエージェントによって電子ゲームをプレイすることができる。以下、図６に示すフローチャートを参照しつつ、電子ゲームシステム１００におけるＡＩエージェントの学習方法について説明する。

【0044】

サーバ１０２の処理部１０は、図７の機能ブロック図に示すように、教師あり学習部３０、ＡＩプレイ処理部３２、ＡＩログ収集部３４、強化学習部３６、プレイスタイル学習部３８、質問処理部４０、ＡＩ選択部４２、ＡＩ調整部４４及びユーザ学習部４６として機能する。また、サーバ１０２の記憶部１２には、ＡＩエージェント５０、教師あり学習用データ５２、ＡＩログデータベース（ＡＩログＤＢ）５４、プレイスタイル別ＡＩエージェント５６、質問回答データベース（質問回答ＤＢ）５８及びユーザ別ＡＩエージェント６０が記憶される。なお、上記機能の一部の処理をクライアント１０４が担うようにしてもよい。

【0045】

ＡＩエージェント５０は、電子ゲームをプレイする人工知能プログラムである。ＡＩエージェント５０は、後述のディープラーニングを用いた方法によって学習される。ＡＩエージェント５０は、多層ニューラルネットワークを含んで構成される。多層ニューラルネットワークは、各種パラメータ（層構造、各層におけるニューロン構造、各ニューロンの重みあるいはバイアスなど）により定義される。

【0046】

ステップＳ３０では、ＡＩエージェントに対する教師あり学習が行われる。当該ステップにおける処理は、教師あり学習部３０による処理に該当する。教師あり学習部３０は、教師あり学習用データ５２を用いてＡＩエージェント５０を学習させる処理を行う。教師あり学習用データ５２は、電子ゲームをプレイしたときの状況に対するアクションに対して報酬を定めたデータである。

【0047】

電子ゲームをプレイしたときの状況には、現在のゲーム（ラウンド）について、テキサス・ホールデムポーカーに参加しているプレイヤの人数、プレイヤの対戦履歴やスタッツ、全てのプレイヤに共通のカード（コミュニティ・カード）の状況、自身に配られたカード（ポケットカード）の状況、賭けの状況（各プレイヤの賭けにおけるアクション）が含まれる。また、電子ゲームをプレイしたときの状況には、過去のゲーム（ラウンド）について、テキサス・ホールデムポーカーに参加しているプレイヤの人数、プレイヤの対戦履歴やスタッツ、全てのプレイヤに共通のカード（コミュニティ・カード）の状況、自身に配られたカード（ポケットカード）の状況、賭けの状況（各プレイヤの賭けにおけるアクション）を含めてもよい。

【0048】

報酬は、プレイヤが行ったアクションに対する結果に基づいて設定される。報酬は、教師あり学習用データ５２において対にされた電子ゲームをプレイしたときの状況に対してプレイヤが行ったアクションによって電子ゲームにおいて好ましい結果が得られたときは報酬を高く設定し、好ましくない結果が得られたときは報酬を低く設定する。

【0049】

例えば、テキサス・ホールデムポーカーにおいてショーダウンを複数回行った際に得られた賭け金の総額が高いほど報酬をより高く設定する。また、例えば、ショーダウンを複数回行った際に得られた賭け金の総額をプレイヤの比較し、得られた賭け金の総額が多い順に報酬をより高く設定してもよい。また、例えば、ショーダウン毎に勝者となった場合には報酬をより高く設定し、敗者となった場合には報酬をより低く設定するようにしてもよい。また、例えば、ショーダウン毎に勝者となった場合に獲得した掛け金が多いほど報酬をより高く設定してもよい。

【0050】

教師あり学習用データ５２は、実際にテキサス・ホールデムポーカーをプレイした際に得られたゲームの状況、当該状況に対するアクション及びその結果から設定することができる。また、教師あり学習用データ５２は、テキサス・ホールデムポーカーの専門家（プロ等）がテキサス・ホールデムポーカーをプレイした際に生ずるであろうゲームの状況、当該状況に対して専門家が行うであろうアクションを組み合わせて、当該アクションについて報酬を設定してもよい。また、テキサス・ホールデムポーカーに対してゲーム理論（ＧＴＯ）を適用して、ゲームの状況に対して好適であるとされたアクションを用いて学習するようにしてもよい。

【0051】

教師あり学習部３０は、教師あり学習用データ５２を用いてＡＩエージェント５０を学習させる。すなわち、図８に示すように、教師あり学習用データ５２に含まれる電子ゲームをプレイしたときの状況を入力として、より報酬が高いアクションが出力されるようにＡＩエージェント５０を学習させる。

【0052】

ステップＳ３２では、ＡＩエージェントを使用した電子ゲームのプレイが行われる。当該ステップにおける処理は、ＡＩプレイ処理部３２による処理に該当する。ＡＩプレイ処理部３２は、ＡＩエージェント５０（後述するプレイスタイル別ＡＩエージェント５６及びユーザ別ＡＩエージェント６０を含む）によって電子ゲームをプレイさせる処理を行う。本実施の形態では、テキサス・ホールデムポーカーを複数のＡＩエージェント５０をプレイヤとしてプレイさせる。ＡＩエージェント５０は、学習において得られた多層ニューラルネットワーク及びそれに対する各種パラメータ（層構造、各層におけるニューロン構造、各ニューロンの重みあるいはバイアスなど）を適用して、電子ゲームをプレイする際の現在の状況を入力としたときにＡＩエージェント５０から出力されるアクションを行うことによって電子ゲームをプレイすることを可能にする。

【0053】

ＡＩログ収集部３４は、ＡＩプレイ処理部３２におけるＡＩエージェント５０による電子ゲームのプレイに関する情報をログ情報として収集する。ＡＩログ収集部３４によって収集されたログ情報は、サーバ１０２の記憶部１２にＡＩログＤＢ５４として記憶される。ログ情報には、ＡＩエージェント５０によって電子ゲームをプレイした際における電子ゲームの状況、その状況に対して行ったアクション及びその結果が含まれる。電子ゲームがテキサス・ホールデムポーカーの場合、電子ゲームの状況は、プレイヤとして参加しているＡＩエージェント５０の数、ＡＩエージェント５０の対戦履歴やスタッツ、共通のカード（コミュニティ・カード）の状況、自身のＡＩエージェント５０に配られたカード（ポケットカード）の状況、賭けの状況（各ＡＩエージェント５０の賭けにおけるアクション）を含む。電子ゲームの状況には、現在の状況のみならず、過去の状況を含んでもよい。また、電子ゲームがテキサス・ホールデムポーカーの場合、電子ゲームの結果には、ショーダウンにおいて勝者となったか敗者となったか、勝者となった場合に獲得した掛け金の情報が含まれる。

【0054】

ステップＳ３４では、ＡＩエージェントの強化学習が行われる。当該ステップにおける処理は、強化学習部３６による処理に該当する。強化学習部３６は、ＡＩエージェント５０を強化するための学習である強化学習を行う。強化学習とは、教師あり学習とは異なる手法であり、強化学習としては例えばＱ学習などを用いることができる。具体的には、強化学習においては、電子ゲームにおける状況を入力として、ＡＩエージェント５０が出力したアクションの結果に基づいてＡＩエージェント５０に報酬が与えられ、ＡＩエージェント５０は、当該報酬に基づいて出力するべきアクションを学習する。

【0055】

本実施形態では、強化学習部３６は、ＡＩプレイ処理部３２によるＡＩエージェント５０による電子ゲームのプレイの結果に基づいて学習を行う。

【0056】

強化学習部３６によるＡＩエージェント５０の強化学習における報酬設計は、特に限定されるものではない。例えば、電子ゲームをプレイした際に得られた電子ゲームの状況を入力データとして、当該電子ゲームの状況に対して行われたアクションについてショーダウンを複数回行った際に得られた賭け金の総額が高いほど報酬をより高く設定する。そして、当該電子ゲームの状況をＡＩエージェント５０に入力した際に、ＡＩエージェント５０からより高い報酬となるアクションが出力されるようにＡＩエージェント５０を学習する。また、例えば、ショーダウンを複数回行った際に得られた賭け金の総額をプレイヤ間で比較し、得られた賭け金の総額が多い順に報酬をより高く設定してＡＩエージェント５０を学習してもよい。また、例えば、ショーダウン毎に勝者となった場合には報酬をより高く設定し、敗者となった場合には報酬をより低く設定してＡＩエージェント５０を学習してもよい。また、例えば、ショーダウン毎に勝者となった場合に獲得した掛け金が多いほど報酬をより高く設定してＡＩエージェント５０を学習してもよい。

【0057】

強化学習部３６による強化学習は、電子ゲームのログ情報を用いて行うことができる。ログ情報に含まれる電子ゲームの状況をＡＩエージェント５０へ入力し、当該入力に対してＡＩエージェント５０が出力したアクションに応じて報酬を付与して学習を行うことができる。なお、ログ情報は、ＮＰＣ（Ｎｏｎ Ｐｌａｙｅｒ Ｃｈａｒａｃｔｅｒ；ＡＩエージェント５０ではないルールベースのＡＩ）が電子ゲームをプレイしたときのログ情報、又は、ユーザである人間がプレイヤとして電子ゲームをプレイしたときのログ情報を使用することができる。

【0058】

また、ＡＩプレイ処理部３２によってＡＩエージェント５０同士で新たに電子ゲームをプレイしつつ、ＡＩエージェント５０から出力されたアクションとそれに伴う電子ゲームでの結果に応じて報酬を付与して学習を行ってもよい。

【0059】

ステップＳ３６では、プレイスタイルに応じたＡＩエージェントを生成する処理が行われる。当該ステップにおける処理は、プレイスタイル学習部３８による処理に該当する。教師あり学習部３０及び強化学習部３６によって電子ゲームについてＡＩエージェント５０をある程度強くするための学習が行われた後、プレイスタイル学習部３８においてプレイスタイル毎にＡＩエージェント５０を学習してプレイスタイル別ＡＩエージェント５６を生成する。プレイスタイル学習部３８では、様々な報酬設計によってプレイスタイルに応じた複数のプレイスタイル別ＡＩエージェント５６が生成されるように学習を行う。

【0060】

例えば、電子ゲームをプレイした際の電子ゲームの状況を入力データとして、当該電子ゲームの状況においてブラフに該当するアクション、すなわち自分のハンドが他のプレイヤのハンドよりも不利であるにも関わらず賭けを続けるアクション、を行った後に賭け金が得られたときに報酬をより高く設定する。そして、当該電子ゲームの状況をＡＩエージェント５０に入力した際に、より高い報酬が得られるブラフに該当するアクションがＡＩエージェント５０から出力され易くなるようにＡＩエージェント５０を学習する。これによって、ブラフが得意なプレイスタイルであるプレイスタイル別ＡＩエージェント５６が生成される。

【0061】

また、例えば、電子ゲームをプレイした際の電子ゲームの状況を入力データとして、当該電子ゲームの状況においてルースなアクション、すなわち「プリフロップ」や「フロップ」の時点で自分のハンドの勝率が低いにもかかわらず賭けを続けるアクション、を行った後に賭け金が得られたときに報酬をより高く設定する。そして、当該電子ゲームの状況をＡＩエージェント５０に入力した際に、より高い報酬が得られるルースに該当するアクションがＡＩエージェント５０から出力され易くなるようにＡＩエージェント５０を学習する。これによって、ルースなプレイスタイルであるプレイスタイル別ＡＩエージェント５６が生成される。

【0062】

また、例えば、電子ゲームをプレイした際の電子ゲームの状況を入力データとして、当該電子ゲームの状況においてアグレッシブなアクション、すなわち「ベット」や「レイズ」のアクション、を行った後に賭け金が得られたときに報酬をより高く設定する。そして、当該電子ゲームの状況をＡＩエージェント５０に入力した際に、より高い報酬が得られるアグレッシブに該当するアクションがＡＩエージェント５０から出力され易くなるようにＡＩエージェント５０を学習する。これによって、アグレッシブなプレイスタイルであるプレイスタイル別ＡＩエージェント５６が生成される。

【0063】

また、例えば、電子ゲームをプレイした際の電子ゲームの状況を入力データとして、当該電子ゲームの状況においてパッシブなアクション、すなわち「コール」や「レイズ」のアクションを行った後に賭け金を失ったようなアクション、を行ったときに報酬をより低く設定する。そして、当該電子ゲームの状況をＡＩエージェント５０に入力した際に、より低い報酬となるアクションがＡＩエージェント５０から出力され難くなるようにＡＩエージェント５０を学習する。これによって、パッシブなプレイスタイルであるプレイスタイル別ＡＩエージェント５６が生成される。

【0064】

報酬設計の１例として、電子ゲームをプレイした際に得られた電子ゲームの状況を入力データとして、当該電子ゲームの状況に対して行われたアクションについてショーダウンを複数回行った際に得られた賭け金の総額が高いほど報酬をより高く設定する。例えば、複数回のショーダウンを行ったときに他のプレイヤと比較して高い賭け金を獲得したときには報酬を＋１し、他のプレイヤと比較して低い賭け金しか獲得できなかったときには報酬を－１する。これによって、ＡＩエージェント５０は、より高い賭け金が得られるアクションを出力するように学習される。さらに、ショーダウン毎に各プレイスタイルに合致したアクションが行われた場合に報酬を付与する。例えば、プレイスタイルに合致したアクションが行われた場合に報酬を＋０．１し、プレイスタイルに合致しないアクションが行われた場合に報酬を－０．１する。このように報酬を調整しつつ、電子ゲームのプレイの状況を入力としてできるだけ高い報酬となるアクションが出力されるようにＡＩエージェント５０を学習してプレイスタイル別ＡＩエージェント５６を生成する。

【0065】

なお、プレイスタイルは上記のブラフ、ルース、アグレッシブ、パッシブに限定されるものではなく、他のプレイスタイルについても同様にＡＩエージェント５０を学習させることによって各プレイスタイルに対応したプレイスタイル別ＡＩエージェント５６を生成することができる。

【0066】

また、電子ゲームがテキサス・ホールデムポーカーでない場合であっても、ＡＩエージェント５０から出力されるアクションに対する報酬をプレイスタイルに応じて設定してＡＩエージェント５０の学習を行うことによってプレイスタイル別ＡＩエージェント５６を生成することができる。

【0067】

ステップＳ３８では、ユーザに応じたプレイスタイルのプレイスタイル別ＡＩエージェント５６を選択する処理が行われる。当該ステップにおける処理は、質問処理部４０及びＡＩ選択部４２による処理に該当する。

【0068】

質問処理部４０は、電子ゲームに関する質問をユーザに提示し、ユーザから当該質問の回答を取得する。ユーザから取得した回答は、サーバ１０２の記憶部１２に質問回答ＤＢ５８として記憶される。

【0069】

電子ゲームに関する質問は、例えば、電子ゲームにおけるユーザの嗜好に関する質問とすることが好適である。例えば、図９に示すように、クライアント１０４の出力部２６においてプレイスタイル選択画面２００を表示させて、ユーザに対して「あなたのプレイスタイルはどれに近いですか？」という質問を提示させる。また、プレイスタイル選択画面２００には、当該質問の回答として、電子ゲームにおけるプレイについてのユーザの嗜好を示す選択肢を表示させ、ユーザに電子ゲームにおけるプレイについての嗜好を選択させる。例えば、図９に示すように、「ブラフで相手を翻弄するプレイをしたい」、「ハンドによらずプレイをしたい」、「アグレッシブに攻めて勝ちたい」、「守備を堅実にプレイをしたい」等の選択肢を表示させ、ユーザにいずれかの選択肢を選択させる。選択肢は、電子ゲームに関するユーザの嗜好を確認できる内容を含んでいればよく、予めサーバ１０２の記憶部１２に質問回答ＤＢ５８として記憶させておけばよい。ユーザは、クライアント１０４の入力部２４を用いて、プレイスタイル選択画面２００に表示された選択肢のうち１つを選択（タップ等）する。

【0070】

ユーザによって選択された選択肢の情報は、クライアント１０４からサーバ１０２へ送信される。サーバ１０２は、クライアント１０４から受信した選択肢の情報を記憶部１２に質問回答ＤＢ５８として記憶させる。

【0071】

ＡＩ選択部４２は、質問回答ＤＢ５８を参照して、ユーザの回答に基づいて電子ゲームにおいて使用されるプレイスタイル別ＡＩエージェント５６を選択する。

【0072】

例えば、図９に示したプレイスタイル選択画面２００において「ブラフで相手を翻弄するプレイをしたい」という回答が選択された場合には、当該回答を行ったユーザに対してブラフに対応したプレイスタイル別ＡＩエージェント５６を選択する。「ハンドによらずプレイをしたい」という回答が選択された場合には、当該回答を行ったユーザに対してルースに対応したプレイスタイル別ＡＩエージェント５６を選択する。「アグレッシブに攻めて勝ちたい」という回答が選択された場合には、当該回答を行ったユーザに対してアグレッシブに対応したプレイスタイル別ＡＩエージェント５６を選択する。「守備を堅実にプレイをしたい」という回答が選択された場合には、当該回答を行ったユーザに対してパッシブに対応したプレイスタイル別ＡＩエージェント５６を選択する。

【0073】

また、質問処理部４０は、電子ゲームにおける１つの状況に対してユーザが選択するアクションに関する質問を行うようにしてもよい。当該質問は、電子ゲームの効果が得られる期待値（例えば、獲得できる賭け金の期待値）が同程度となるアクションが複数存在するような電子ゲームの状況に対してユーザがどのようなアクションを選択するかを確認する質問であることが好適である。すなわち、電子ゲームの効果が同等程度となるような複数のアクションのうちどのアクションをユーザが選択するかによってユーザのプレイスタイルを反映されるような質問とすることが好適である。

【0074】

例えば、図１０に示すように、クライアント１０４の出力部２６において選択要否画面２０２を表示させて、アクション選択を行うか否かをユーザに選択させる。選択要否画面２０２では、「今から５０問出題するので、あなたのアクションをみて学習します」と表示させると共に、ユーザのアクションの選択を受けるための選択肢「アクションによる学習」とスキップしてすぐに電子ゲームを始めるための選択肢「スキップする」を呈示してユーザにいずれかを選択させる。ユーザによって選択された選択肢の情報は、クライアント１０４からサーバ１０２へ送信される。

【0075】

サーバ１０２は、「スキップする」が選択された場合、後述するユーザ学習部４６によるユーザ別ＡＩエージェント６０の学習処理に移行する。一方、サーバ１０２は、「アクションによる学習」が選択された場合、ユーザからアクションの選択を取得する処理に移行する。

【0076】

「アクションによる学習」が選択された場合、図１１に示すように、クライアント１０４の出力部２６においてアクション選択画面２０４を表示させる。アクション選択画面２０４には、問題数と質問について回答を促す「アクションを選択してください」という表示が行われる。また、アクション選択画面２０４にはゲーム状況表示領域２１０及びアクション選択領域２１２が設けられる。ゲーム状況表示領域２１０には、電子ゲームの状況を示す情報が表示される。電子ゲームがテキサス・ホールデムポーカーである場合、ゲーム状況表示領域２１０には、プレイヤ、共通のカード（コミュニティ・カード）の状況、自身に配られたカード（ポケットカード）の状況、賭けの状況（各プレイヤの賭けにおけるアクション）が含まれる。また、電子ゲームの状況には、各プレイヤの対戦履歴やスタッツが含まれてもよい。アクション選択領域２１２には、ゲーム状況表示領域２１０に表示されている電子ゲームの状況に対してプレイヤが選択可能なアクションが表示される。電子ゲームの状況とアクションの選択肢は、電子ゲームに関するユーザの嗜好を確認できる内容を含んでいればよく、予めサーバ１０２の記憶部１２に質問回答ＤＢ５８として記憶させておけばよい。ユーザは、ゲーム状況表示領域２１０に表示された電子ゲームの状況を確認したうえで、クライアント１０４の入力部２４を用いてアクション選択領域２１２に表示されているアクションの選択肢からユーザが行うことを望むアクションを選択する。

【0077】

ユーザによって選択されたアクションの選択肢の情報は、クライアント１０４からサーバ１０２へ送信される。サーバ１０２は、クライアント１０４から受信した選択肢の情報をゲーム状況表示領域２１０に表示させた電子ゲームの状況に関連付けて記憶部１２に質問回答ＤＢ５８として記憶させる。

【0078】

ＡＩ選択部４２は、質問回答ＤＢ５８を参照して、ユーザの回答に基づいて電子ゲームにおいて使用されるプレイスタイル別ＡＩエージェント５６を選択する。

【0079】

例えば、各質問に対して回答として容易されたアクション毎にプレイスタイル別ＡＩエージェント５６の各プレイスタイルに対する類似度を設定しておき、各質問に対してユーザが選択回答したアクションとプレイスタイル別ＡＩエージェント５６の各プレイスタイルとの類似度に基づいて電子ゲームにおいて使用されるプレイスタイル別ＡＩエージェント５６を選択することができる。質問が複数の場合、複数の質問に対して選択された各アクションと各プレイスタイルとの類似度の累積値や平均値等に応じて、最も類似度が高いプレイスタイル別ＡＩエージェント５６を選択すればよい。また、例えば、複数の電子ゲームの状況の各々に対してユーザが選択回答したアクションとプレイスタイル別ＡＩエージェント５６の各プレイスタイルとの損失分布のＫＬ距離を算出することによって類似度を求めてもよい。

【0080】

本実施の形態の場合、複数のポーカーのプレイ状況に関する質問においてユーザが選択したアクションとの類似度に基づいてブラフに対応したプレイスタイル別ＡＩエージェント５６、ルースに対応したプレイスタイル別ＡＩエージェント５６、アグレッシブに対応したプレイスタイル別ＡＩエージェント５６、パッシブに対応したプレイスタイル別ＡＩエージェント５６のいずれかが選択される。

【0081】

なお、プレイスタイル選択画面２００によるユーザのプレイスタイルの選択と、アクション選択画面２０４によるユーザのアクションの選択と、を組み合わせてユーザが望むプレイスタイルに応じたプレイスタイル別ＡＩエージェント５６を選択するようにしてもよい。

【0082】

ステップＳ４０では、プレイスタイル別ＡＩエージェント５６をユーザの腕前に合わせて調整する処理が行われる。当該ステップにおける処理は、質問処理部４０及びＡＩ調整部４４による処理に該当する。

【0083】

質問処理部４０は、電子ゲームにおける１つの状況に対してユーザが腕前を評価するための質問を行う。当該質問は、電子ゲームの効果が得られるアクションが１つに絞られるような電子ゲームにおける状況に対してユーザがどのようなアクションを選択するかを確認する質問であることが好適である。すなわち、電子ゲームの状況に対して行い得る複数のアクションのうち電子ゲームで得られる好ましい効果の期待値が最大となるアクションを正解とし、ユーザが正解であるアクションを選択するか否かによってユーザの電子ゲームの腕前を評価できるような質問とすることが好適である。例えば、ポーカーにおける状況において得られる賭け金の期待値が最大となるアクションを正解とし、当該ポーカーにおける状況を質問して示したときにユーザが正解であるアクションを選択するか否かによってユーザの電子ゲームの腕前を評価できるような質問とすることが好適である。また、例えば、テキサス・ホールデムポーカーに対してゲーム理論（ＧＴＯ）を適用して、ゲームの状況に対して好適であるとされたアクションを正解とする質問を用いるようにしてもよい。

【0084】

図１２に示すように、クライアント１０４の出力部２６において選択要否画面２０６を表示させて、アクション選択を行うか否かをユーザに選択させる。選択要否画面２０６では、「今から５０問出題するので、あなたのアクションをみて腕前を評価します」と表示させると共に、ユーザのアクションの選択を受けるための選択肢「アクションによる腕前の評価」とスキップしてすぐに電子ゲームを始めるための選択肢「スキップする」を呈示してユーザにいずれかを選択させる。ユーザによって選択された選択肢の情報は、クライアント１０４からサーバ１０２へ送信される。

【0085】

サーバ１０２は、「スキップする」が選択された場合、後述するユーザ学習部４６によるユーザ別ＡＩエージェント６０の学習処理に移行する。一方、サーバ１０２は、「アクションによる学習」が選択された場合、ユーザからアクションの選択を取得する処理に移行する。なお、当該選択要否画面２０６による選択を行わず、ユーザの腕前の評価を必ず行うようにしてもよい。また、該選択要否画面２０６による選択を行わず、ユーザの腕前の評価を行わないようにしてもよい。

【0086】

「アクションによる腕前の評価」が選択された場合、図１１と同様に、クライアント１０４の出力部２６においてアクション選択画面２０４を表示させる。アクション選択画面２０４には、問題数と質問について回答を促す「アクションを選択してください」という表示が行われる。また、アクション選択画面２０４にはゲーム状況表示領域２１０及びアクション選択領域２１２が設けられる。ゲーム状況表示領域２１０には、電子ゲームの状況を示す情報が表示される。アクション選択領域２１２には、ゲーム状況表示領域２１０に表示されている電子ゲームの状況に対してプレイヤが選択可能なアクションが表示される。電子ゲームの状況とアクションの選択肢は、電子ゲームに関するユーザの腕前を評価できる内容を含んでいればよく、予めサーバ１０２の記憶部１２に質問回答ＤＢ５８として記憶させておけばよい。ユーザは、ゲーム状況表示領域２１０に表示された電子ゲームの状況を確認したうえで、クライアント１０４の入力部２４を用いてアクション選択領域２１２に表示されているアクションの選択肢からユーザが行うことを望むアクションを選択する。

【0087】

ＡＩ調整部４４は、質問回答ＤＢ５８を参照し、質問処理部４０によって得られた「アクションによる腕前の評価」の質問へのユーザの回答に応じてＡＩ選択部４２によって選択されたプレイスタイル別ＡＩエージェント５６の調整が行われる。ＡＩ調整部４４は、ユーザが選択回答したアクションの正解率に応じて、電子ゲームにおけるプレイスタイル別ＡＩエージェント５６の強さを調整する。

【0088】

弱いプレイスタイル別ＡＩエージェント５６を強いプレイスタイル別ＡＩエージェント５６に対して何らかの精度が劣っていると定義し、強いプレイスタイル別ＡＩエージェント５６の推論に対して弱いプレイスタイル別ＡＩエージェント５６では推論の精度を阻害するような調整を行うことでプレイスタイル別ＡＩエージェント５６の強さを調整することができる。具体的には、電子ゲームのプレイの状況に関する情報の一部を欠損させてプレイスタイル別ＡＩエージェント５６に入力することでプレイスタイル別ＡＩエージェント５６の強さを調整することができる。例えば、ポーカーゲームの場合、プレイヤ自身や他のプレイヤの保持するハンドの情報の一部を欠損させてプレイスタイル別ＡＩエージェント５６に入力することでプレイスタイル別ＡＩエージェント５６の強さを調整する。

【0089】

ステップＳ４２では、ユーザに合わせてプレイスタイル別ＡＩエージェント５６を学習する処理が行われる。当該ステップにおける処理は、ユーザ学習部４６による処理に該当する。ユーザ学習部４６は、プレイスタイル別ＡＩエージェント５６をユーザに近づけるために、ユーザの電子ゲームにおけるプレイの特徴を示す情報を用いてプレイスタイル別ＡＩエージェント５６を学習させる。

【0090】

ユーザ学習部４６は、電子ゲームに関する質問に対するユーザの回答を用いて、ＡＩエージェント５０をユーザに対応付けられたユーザ別ＡＩエージェント６０となるように学習することができる。例えば、過去にユーザ自身がプレイヤとして電子ゲームをプレイしたときのゲームログ情報が記憶部１２に記憶されている場合、当該ログ情報に含まれる電子ゲームをプレイしたときの状況をプレイスタイル別ＡＩエージェント５６に入力し、当該状況に対してユーザが選択したアクションが出力されるように学習を行ってユーザ別ＡＩエージェント６０を生成する。また、例えば、ステップＳ３８においてユーザのプレイスタイルを把握する際に行った質問に含まれている電子ゲームの状況を示す情報をプレイスタイル別ＡＩエージェント５６に入力し、当該状況に対してユーザが選択したアクションが出力されるように学習を行ってユーザ別ＡＩエージェント６０を生成してもよい。また、例えば、ステップＳ４０においてユーザの腕前を把握する際に行った質問に含まれている電子ゲームの状況を示す情報をプレイスタイル別ＡＩエージェント５６に入力し、当該状況に対してユーザが選択したアクションが出力されるように学習を行ってユーザ別ＡＩエージェント６０を生成してもよい。

【0091】

なお、ユーザ学習部４６によるユーザ別ＡＩエージェント６０を生成処理は、これらに限定されるものではない。例えば、ユーザに対して新たに電子ゲームの状況の例を示す質問を行い、当該質問に対してユーザが選択したアクションを取得し、これらの情報を用いてプレイスタイル別ＡＩエージェント５６を学習させてユーザ別ＡＩエージェント６０を生成してもよい。

【0092】

ユーザは、上記のように生成されたユーザ別ＡＩエージェント６０を用いて電子ゲームをプレイすることができる。すなわち、ユーザのプレイスタイル及びユーザの腕前に応じたユーザ別ＡＩエージェント６０を自身の代理として用いて電子ゲームをプレイすることができる。具体的には、ＡＩプレイ処理部３２によって、電子ゲームのプレイの状況をユーザ別ＡＩエージェント６０に入力して、ユーザ別ＡＩエージェント６０から出力されたアクションを適用することで電子ゲームをプレイすることができる。

【0093】

なお、本実施の形態では、ステップＳ３０における教師あり学習、ステップＳ３４における強化学習、ステップＳ３６におけるプレイスタイル別の学習、ステップＳ４０におけるＡＩエージェントの調整、ステップＳ４２におけるユーザに合わせた学習のすべてを適用したが、これらの一部の処理を除いて処理を行ってもよい。

【0094】

以上のように、本実施の形態によれば、従来にない電子ゲームシステム、電子ゲームプログラム及び電子ゲーム方法を提供することができる。

【0095】

［発明の構成］
［構成１］
電子ゲームを提供する電子ゲーム提供システムであって、
電子ゲームの状況を入力として、前記状況に対するアクションを出力するように学習されたＡＩエージェントを使用して電子ゲームをプレイすることが可能であり、
電子ゲームに関する質問に対するユーザの回答を用いて、前記ＡＩエージェントを前記ユーザに対応付けられたＡＩエージェントとなるように学習することを特徴とする電子ゲーム提供システム。
［構成２］
構成１に記載の電子ゲーム提供システムであって、
前記質問は、電子ゲームにおけるプレイについての前記ユーザの嗜好に関することを特徴とする電子ゲーム提供システム。
［構成３］
構成１又は２に記載の電子ゲーム提供システムであって、
前記質問は、電子ゲームにおける１つの状況に対して前記ユーザが選択するアクションに関することを特徴とする電子ゲーム提供システム。
［構成４］
構成３に記載の電子ゲーム提供システムであって、
前記１つの状況は、前記ＡＩエージェントが電子ゲームをプレイした際に遭遇した状況であることを特徴とする電子ゲーム提供システム。
［構成５］
構成３に記載の電子ゲーム提供システムであって、
前記１つの状況は、人間が電子ゲームをプレイした際に遭遇した状況であることを特徴とする電子ゲーム提供システム。
［構成６］
構成３に記載の電子ゲーム提供システムであって、
前記１つの状況は、電子ゲームにおける状況のうち人間が選択した状況であることを特徴とする電子ゲーム提供システム。
［構成７］
構成２に記載の電子ゲーム提供システムであって、
前記ＡＩエージェントから前記ユーザの嗜好に沿ったアクションが出力されるように前記ＡＩエージェントを学習することを特徴とする電子ゲーム提供システム。
［構成８］
構成３～６のいずれか１項に記載の電子ゲーム提供システムであって、
前記１つの状況に対して、前記ＡＩエージェントから前記ユーザの選択したアクションが出力されるように前記ＡＩエージェントを学習することを特徴とする電子ゲーム提供システム。
［構成９］
電子ゲームを提供する電子ゲーム提供プログラムであって、
コンピュータを、
電子ゲームの状況を入力として、前記状況に対するアクションを出力するように学習されたＡＩエージェントを使用して電子ゲームをプレイすることが可能であり、
電子ゲームに関する質問に対するユーザの回答を用いて、前記ＡＩエージェントを前記ユーザに対応付けられたＡＩエージェントとなるように学習することを特徴とする電子ゲーム提供プログラム。

【符号の説明】

【0096】

１０ 処理部、１２ 記憶部、１４ 入力部、１６ 出力部、１８ 通信部、２０ 処理部、２２ 記憶部、２４ 入力部、２６ 出力部、２８ 通信部、３０ 教師あり学習部、３２ ＡＩプレイ処理部、３４ ＡＩログ収集部、３６ 強化学習部、３８ プレイスタイル学習部、４０ 質問処理部、４２ ＡＩ選択部、４４ ＡＩ調整部、４６ ユーザ学習部、５０ ＡＩエージェント、５２ 学習用データ、５４ ＡＩログデータベース、５６ プレイスタイル別ＡＩエージェント、６０ ユーザ別ＡＩエージェント、１００ 電子ゲームシステム、１０２ サーバ、１０４ クライアント、１０６ 情報通信網、２００ プレイスタイル選択画面、２０２ 選択要否画面、２０４ アクション選択画面、２０６ 選択要否画面、２１０ ゲーム状況表示領域、２１２ アクション選択領域、３００ ゲーム画面、３０２ ゲーム状況表示領域、３０４ アクション選択領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】