特開 2024-1520 情報処理装置、情報処理方法およびゲームシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024001520

(43)【公開日】2024-01-10

(54)【発明の名称】情報処理装置、情報処理方法およびゲームシステム

(51)【国際特許分類】

   A63F 13/65 20140101AFI20231227BHJP

   A63F 13/79 20140101ALI20231227BHJP

   A63F 13/54 20140101ALI20231227BHJP

   A63F 13/215 20140101ALI20231227BHJP

   A63F 13/52 20140101ALI20231227BHJP

   A63F 13/86 20140101ALI20231227BHJP

   A63F 13/212 20140101ALI20231227BHJP

   G06F 3/16 20060101ALI20231227BHJP

   G06F 3/01 20060101ALI20231227BHJP

【ＦＩ】

A63F13/65

A63F13/79

A63F13/54

A63F13/215

A63F13/52

A63F13/86

A63F13/212

G06F3/16 650

G06F3/16 620

G06F3/16 690

G06F3/01 515

G06F3/01 510

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022100219

(22)【出願日】2022-06-22

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】長谷川 渉

(72)【発明者】

【氏名】村下 君孝

(72)【発明者】

【氏名】加藤 徹洋

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA46

5E555AA71

5E555AA76

5E555BA20

5E555BA46

5E555BB20

5E555BC01

5E555CA42

5E555CA47

5E555CB64

5E555CB65

5E555CB67

5E555CB69

5E555DA23

5E555DB41

5E555DC13

5E555DD06

5E555EA05

5E555EA23

5E555FA00

(57)【要約】

【課題】ゲーム配信に関する音声コンテンツを充実させること。
【解決手段】実施形態に係る情報処理装置は、ゲームのプレーヤーのバイタルデータに基づいてプレーヤーの心理状態を分析し、分析した心理状態に基づいて出力用の仮想音声情報を生成し、生成した仮想音声情報を情報出力装置に出力するコントローラを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

ゲームのプレーヤーのバイタルデータに基づいてプレーヤーの心理状態を分析し、
前記分析した心理状態に基づいて出力用の仮想音声情報を生成し、
前記生成した仮想音声情報を情報出力装置に出力するコントローラ
を備えることを特徴とする情報処理装置。

【請求項2】

前記コントローラは、
プレーヤーによる発話音声に基づき前記仮想音声情報を生成する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記コントローラは、
前記仮想音声情報として仮想音声内容を画像化した画像データを生成する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項4】

前記コントローラは、
プレーヤーの個人特性に応じた前記仮想音声情報を生成する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項5】

前記コントローラは、
予め設定された複数のキャラクタに対する個人特性から選択された個人特性に応じた前記仮想音声情報を生成する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項6】

前記コントローラは、
前記分析した心理状態に応じた内容の前記仮想音声情報を生成する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項7】

前記コントローラは、
前記ゲームの進行状況を分析し、
前記分析したゲームの進行状況に応じた前記仮想音声情報を生成する
ことを特徴とする請求項１に記載の情報処理装置。

【請求項8】

ゲームのプレーヤーのバイタルデータに基づいてプレーヤーの心理状態を分析し、
前記分析した心理状態に基づいて出力用の仮想音声情報音声を生成する
ことを特徴とする情報処理方法。

【請求項9】

プレーヤーがゲームをプレイするゲーム装置と、ゲーム装置により行われるゲームの観戦用コンテンツを配信する装置と、観戦用コンテンツを受信して再生するゲーム観戦装置とからなるゲームシステムにおいて、
ゲームのプレーヤーのバイタルデータに基づいてプレーヤーの心理状態を分析し、
前記分析した心理状態に基づいて出力用の仮想音声情報を生成し、
前記生成した仮想音声情報を前記観戦用コンテンツに含ませる情報処理装置
を備えることを特徴とするゲームシステム。

【発明の詳細な説明】

【技術分野】

【0001】

開示の実施形態は、情報処理装置、情報処理方法およびゲームシステムに関する。

【背景技術】

【0002】

従来、コンピュータゲームの分野において、プレーヤーの感情を推定し、キャラクタの表情や、キャラクタによる音声の強弱を変更する技術が知られている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１－２５９２２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術は、ゲーム配信に関する音声コンテンツを充実させるうえで、さらなる改善の余地がある。

【0005】

たとえば、近年、ｅスポーツが世界的に流行し、その内容をネット配信する機会も増えてきている。ところが、特にｅスポーツのようなゲームの配信を行う場合、チーム対戦のゲームである場合には、作戦など秘匿性の高い情報を漏らさないようにプレーヤーによる発話音声を配信しない場合がある。また、たとえば、プレーヤーがゲームに集中するあまり、プレーヤーが終始無言になるなど、プレーヤーの発話音声を配信しても盛り上がりに欠ける場合がある。

【0006】

実施形態の一態様は、上記に鑑みてなされたものであって、ゲーム配信に関する音声コンテンツを充実させることができる情報処理装置、情報処理方法およびゲームシステムを提供することを目的とする。

【課題を解決するための手段】

【0007】

実施形態の一態様に係る情報処理装置は、ゲームのプレーヤーのバイタルデータに基づいてプレーヤーの心理状態を分析し、前記分析した心理状態に基づいて出力用の仮想音声情報を生成し、前記生成した仮想音声情報を情報出力装置に出力するコントローラを備える。

【発明の効果】

【0008】

本発明によれば、ゲーム配信に関する音声コンテンツを充実させることができる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施形態に係るゲームシステムの構成例を示す図である。

【図2】図２は、実施形態に係る情報処理方法の概要説明図である。

【図3】図３は、実施形態に係るプレーヤー装置の構成例を示すブロック図である。

【図4】図４は、ラッセルの円環モデルを示す図である。

【図5】図５は、実施形態に係る発話出力テーブルの一例を示す図である。

【図6】図６は、実施形態に係る音源情報記憶部の一例を示す図である。

【図7】図７は、ゲームの配信状況の一例を示す図である。

【図8】図８は、プレーヤー装置が実行する処理手順を示すフローチャートである。

【図9】図９は、変形例に係る情報処理の一例を示す図（その１）である。

【図10】図１０は、変形例に係る情報処理の一例を示す図（その２）である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法およびゲームシステムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

【0011】

まず、図１を用いて実施形態に係るゲームシステムの構成例について説明する。図１は、実施形態に係るゲームシステム１の構成例を示す図である。図１に示すように、ゲームシステム１は、複数のプレーヤー装置１０と、ゲームサーバ１００と、配信サーバ３００と、配信者装置３１０と、大型映像装置５００と、複数の視聴者装置７００とを含む。

【0012】

また、少なくとも、プレーヤー装置１０と、ゲームサーバ１００と、配信サーバ３００と、視聴者装置７００とは、インターネットやイントラネット、携帯電話回線網といったネットワークＮによって相互に接続され、ネットワークＮを介して相互にデータを送受信可能に設けられる。

【0013】

プレーヤー装置１０は、後述するように、競技者であるプレーヤーＰがゲームをプレイするための装置であり、ゲーム専用機として特化された、あるいは、ゲーム機としてカスタマイズされた各種のコンピュータである。プレーヤー装置１０は、据え置き型として設けられてもよいし、スマートフォンやタブレット端末のような携帯型として設けられてもよいし、ＨＭＤ（Head Mounted Display）やＶＲ（Virtual Reality）グラスのようなウェアラブル型として設けられてもよい。

【0014】

本実施形態において、プレーヤー装置１０は、プレーヤーＰがゲームをプレイするゲーム装置と、ゲーム装置によるゲームの配信コンテンツを出力する出力装置とを兼ねている。なお、ゲーム装置と、出力装置とを別体に構成するようにしてもよく、例えば、出力装置は、プレーヤー装置１０とネットワークＮとの間に別途設けられた装置であってもよく、配信サーバ３００であってもよい。

【0015】

ゲームサーバ１００は、プレーヤー装置１０と接続され、各プレーヤーによって行われるゲームの進行等を制御・管理するコンピュータである。

【0016】

配信サーバ３００は、プレーヤー装置１０から送信される各プレーヤーＰの配信画面を編集および配信するコンピュータである。なお、図１ではゲームサーバ１００と配信サーバ３００とを別体に構成しているが、ゲームサーバ１００と配信サーバ３００とは一体に構成されてもよい。

【0017】

配信者装置３１０は、配信サーバ３００の端末装置であり、配信者によって用いられる。配信者は、たとえばｅスポーツ大会を実況する実況者や、ディレクターやスイッチャーといった映像の制作者である。配信者は、かかる配信者装置３１０を用いて、たとえば映像の切り換え操作を行うことができる。

【0018】

大型映像装置５００は、ｅスポーツ大会の会場に設置され、配信サーバ３００によって編集され、配信される映像を表示する大型ディスプレイである。大型映像装置５００は、たとえばＣＲＴ（cathode-ray tube）やＬＥＤ（light emitting diode）を表示素子として実現される。

【0019】

視聴者装置７００は、ｅスポーツ大会の会場ではなく遠隔地からｅスポーツ大会を視聴する視聴者が利用する装置であり、ネットワークＮを介して配信サーバ３００に接続し、配信サーバ３００からの配信映像を視聴可能なプラットフォームを有する。視聴者装置７００は、たとえば、ＰＣ（Personal Computer）や、スマートフォンなどの携帯電話機、タブレット端末等で構成され、ＬＣＤ（Liquid Crystal Display）等の内蔵ディスプレイ、あるいは外部ディスプレイにゲーム画像等を表示し、また内蔵スピーカや外部スピーカからゲーム音声等を出力する。また、視聴者装置７００は、ＨＭＤや、ＶＲグラス（ＰＣを内蔵、あるいはＰＣ等に接続）等であってもよい。

【0020】

次に、実施形態に係る情報処理方法の概要について、図２を用いて説明する。図２は、実施形態に係る情報処理方法の概要説明図である。なお、実施形態に係る情報処理方法は、プレーヤー装置１０によって実行される。

【0021】

ところで、近年、ｅスポーツが世界的に流行し、その内容をネット配信する機会も増えてきている。ところが、特にｅスポーツのようなゲームの配信を行う場合、チーム対戦のゲームである場合には、作戦など秘匿性の高い情報を漏らさないようにプレーヤーによる発話音声を配信しない場合がある。また、たとえば、プレーヤーがゲームに集中するあまり、プレーヤーが終始無言になるなど、プレーヤーの発話音声を配信しても盛り上がりに欠ける場合がある。

【0022】

そこで、実施形態に係る情報処理方法では、ゲームのプレーヤーのバイタルデータに基づいてプレーヤーの仮想的な音声を生成することとした。例えば、実施形態に係る情報処理方法は、プレーヤーによる発話音声をバイタルデータに基づいて生成した音声、つまり仮想的な音声に置き換えて配信する。

【0023】

具体的には、図２に示すように、プレーヤー装置１０は、マイク７と、カメラ８と、バイタルセンサ９とが接続される。マイク７は、ゲームをプレイ中のプレーヤーＰの発話音声を収音する。カメラ８は、プレイ中のプレーヤーＰを撮影する。

【0024】

バイタルセンサ９は、プレーヤーＰのバイタルデータを取得するセンサであり、たとえばプレーヤーＰに装着され、プレイ中のプレーヤーＰの心拍や脳波、血中酸素濃度、発汗、体温等を測定する。なお、バイタルセンサ９は、カメラ８によって撮影された映像に基づき、たとえばプレーヤーＰの視線や表情等を検知してもよい。

【0025】

プレーヤー装置１０は、音声認識（ステップＳ１）、心理状態分析（ステップＳ２）およびゲーム状況分析（ステップＳ３）を、繰り返し、例えば所定周期（各動作に支障が出ない、また違和感が生じないような周期）で、随時行う。

【0026】

プレーヤー装置１０による音声認識は、マイク７によって収音されたプレーヤーＰの発話音声をテキスト変換し、各種言語解析処理によってその内容や意味を推定することで行われる。

【0027】

また、プレーヤー装置１０による心理状態分析は、バイタルセンサ９から取得したプレーヤーＰのバイタルデータを用いたラッセルの円環モデルを用いて行われる。この点については、図４等を用いた説明で後述する。

【0028】

また、プレーヤー装置１０によるゲーム状況分析は、プレーヤーＰがプレイ中のゲーム画面を解析することで行われる。ゲーム状況とは、プレーヤーＰがプレイするゲームにおけるキャラクタの当該ゲーム上の状況種別や危険度（例えば、敵キャラクタ群に包囲されている等）などが含まれる。

【0029】

つづいて、プレーヤー装置１０は、例えば、プレーヤーＰによる発話をトリガーとして、心理状態分析の結果と、ゲーム状況分析の結果とに基づいて、音声を生成する際に音声内容やイントネーションを選択するためのパラメータを設定する（ステップＳ４）。

【0030】

つづいて、プレーヤー装置１０は、設定したパラメータに応じた音声、つまりプレーヤーＰの発声した音声自体ではないがプレーヤーＰの特徴やその時の状況等に応じた仮想的な音声を生成する（ステップＳ５）。この際、実施形態に係るプレーヤー装置１０は、プレーヤーＰの性格情報に基づき、パラメータに応じた内容の音声を生成する。例えば、性格情報は、プレーヤーＰの性格に関する性格特性を数値化した情報が含まれ、プレーヤーＰの心理状態とゲーム状況とに基づき、プレーヤーＰの過去の発言内容をパターン化した情報である。なお、プレーヤーＰの発声した音声がゲーム進行に支障の無いものである場合は、仮想的な音声の内容をプレーヤーＰの発声した音声の内容と等しいものとしてもよい。

【0031】

例えば、プレーヤー装置１０は、性格情報に基づき、音声認識の結果から得られる音声と、意味が類似する（ゲーム進行に支障がない）仮想的な音声を生成する。そして、プレーヤー装置１０は、生成した仮想的な音声に関する出力処理を行う（ステップＳ６）。例えば、プレーヤー装置１０は、ステップＳ４にて生成したプレーヤーＰの音声の内容に基づく仮想的な音声を音源として、ステップＳ４にて設定したパラメータに応じたイントネーションを設定し音声を他のユーザへ提供する（視聴者装置７００等に出力する）。つまり、プレーヤー装置１０は、ゲーム観戦に適した（ゲームを盛り上げる効果等を有するように編集された）ゲーム観戦用コンテンツを観戦者等のユーザに提供する。

【0032】

ここでの他のユーザは、視聴者や、他のプレーヤーである。図２に示す例において、プレーヤー装置１０は、プレーヤーＰによる「あっ」と発した音声に基づき、プレーヤーＰ自身の声で「くっ危なかった」という仮想的な音声を生成し、視聴者装置７００ではその音声が音声出力される場合を示す。

【0033】

このように、実施形態に係る情報処理方法では、心理状態分析、ゲーム状況分析の結果に基づき、プレーヤーＰによる仮想的な音声を生成する。したがって、実施形態に係る情報処理方法によれば、ゲーム配信に関する音声コンテンツを充実させることができる。

【0034】

また、実施形態に係る情報処理方法では、生成されたプレーヤーＰの音声が配信されるので、プレーヤーＰは発言を気にすることなく集中してゲームをプレイすることができる。

【0035】

また、実施形態に係る情報処理方法では、例えば、ゲーム進行に関するチーム内の作戦などゲーム進行に関する重要な発言をカットしたうえで、音声を視聴者装置７００等に配信することも可能である。これにより、ゲーム進行に悪影響を与えることなく、ゲーム配信を盛り上げることができる。

【0036】

次に、図３は、実施形態に係るプレーヤー装置１０の構成例を示すブロック図である。なお、図３では、本実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

【0037】

換言すれば、図３に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

【0038】

また、図３を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。また、図３では、外部装置との通信（電波や電気信号の送受信）を行うＮＩＣ（Network Interface Card）や通信モジュール等に相当する通信インタフェース部品については、図示を省略している。

【0039】

図３に示すように、実施形態に係るプレーヤー装置１０は、記憶部１１と、制御部１２とを備える。また、プレーヤー装置１０は、表示部３と、ゲームコントローラ５と、マイク７と、カメラ８と、バイタルセンサ９とを有する。

【0040】

表示部３は、プレーヤー装置１０に接続される表示装置であり、ＬＥＤディスプレイ（Liquid Crystal Display）等によって実現される。ゲームコントローラ５は、プレーヤーＰのゲーム操作用の入力装置で、キーボード、マウス、ジョイスティック、加速度センサ等により操作者の動きを検出して操作出力とするモーションセンサ等によりって実現される。マイク７、カメラ８およびバイタルセンサ９については説明済みのため、ここでの説明は省略する。

【0041】

記憶部１１は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１１は、図３の例では、分析モデル記憶部１１ａと、発話出力テーブル１１ｂと、音源情報記憶部１１ｃを記憶する。

【0042】

分析モデル記憶部１１ａは、プレーヤーＰのバイタルデータに基づいてプレーヤーＰの心身状態を分析するモデルＭを記憶する。分析モデルＭは、たとえば予め学習されたＤＮＮ（Deep Neural Network）により実現される。具体的には、分析モデルＭは、たとえばラッセルの円環モデル等の技術（心理分析）思想を用いて生成され、プレーヤーＰの心身状態を分析する。

【0043】

図４は、ラッセルの円環モデルを示す図である。図４に示すように、ラッセルの円環モデルでは、覚醒軸の値（以下、「覚醒度」と言う）および快適軸の値（以下、「快適度」と言う）に応じて、被験者の感情が推定される。

【0044】

覚醒度は、被験者が活発であるか、沈静であるかを示す指標である。覚醒度は、副交感神経活性度に対し逆相関が高いことが知られている。副交感神経活性度は、たとえば、被験者の脳波に基づいて推定される。

【0045】

また、快適度は、被験者が快適であるか、不快であるかを示す指標である。快適度は、交感神経活性度に対し相関が高いことが知られている。交感神経活性度は、たとえば、被験者の心拍に基づいて推定される。

【0046】

つまり、脳波や心拍と言ったバイタルデータ（被験者に取り付けられたセンサで測定）に基づき副交感神経活性度および交感神経活性度を推定し、それらに相関のある覚醒度と快適度を推定する。そして、ラッセルの円環モデルのパラメータとして、推定した覚醒度と快適度をラッセルの円環モデル適用し、被験者の心身状態（感情）を推定する。

【0047】

分析モデルＭは、たとえば、学習データとして収集された被験者のバイタルデータとその状態での心身状態（感情）のデータにより学習を行なうことにより生成され、生成された分析モデルＭはプレーヤーＰのバイタルデータが入力された場合に、かかる円環モデルにおける座標位置に相当するスコア値を出力する。

【0048】

図３の説明に戻る。発話出力テーブル１１ｂは、プレーヤーＰの発話（音声）内容および心理状態とゲーム状況とに応じて発話出力を生成するためのデータを記憶するデータテーブルである。図５は、実施形態に係る発話出力テーブル１１ｂの一例を示す図である。

【0049】

図５に示すように、発話出力テーブル１１ｂには、心理状況およびゲーム状況と発話内容に対応する発話出力データ、ここでは発声出力内容と発声出力状態とが記憶される。つまり、発話出力テーブル１１ｂは心理状況およびゲーム状況と発話内容を軸（パラメータ）とし、発声出力内容と発声出力状態とを出力値とする３次元テーブルとなっている。なお、具体的には発声出力内容は発声音のテキストデータであり、また発声出力状態は発声音の音質、音量、発声速度、テンポ等の音声の質に関するデータである。つまり、発話出力テーブル１１ｂにデータに基づき、プレーヤーＰの発話（音声）内容および心理状態とゲーム状況とに応じた内容の音声が、それらに応じた音質で生成されることになる。

【0050】

なお、図５に示す発話出力テーブル１１ｂでは、各データ例を「Ｙ１」、「Ｘ１－１」と言った記号で示しているが、実際にはテキストデータ、音量制御値、音質等を制御するための各種パラメータの値が記憶されている。

【0051】

また、ゲーム状況はゲーム種別により特有のものであり、またプレーヤーＰの発話内容も各ゲームにおける各ゲーム状況に応じて発声されるであろう発声内容（当該状況でどのような発声が生じる可能性があるか）が異なるため、発話出力テーブル１１ｂは上述のような発話出力テーブル１１ｂは心理状況およびゲーム状況と発話内容を軸とする３次元テーブルとなる。

【0052】

なお、例えば、これらデータはゲーム毎にゲーム製作者等が作成され、作成されたデータはゲームサーバ１００あるいは配信サーバ３００等に記憶される。そして、ゲームプレイ時（配信時）に当該ゲームに対応するデータが、ゲームサーバ１００あるいは配信サーバ３００等からプレーヤー装置１０に送信されて、記憶部１１に記憶され（本実施形態の場合）、発声出力制御に使用されることになる。

【0053】

そして具体的には、ゲーム状況が「Ｙ１」である場合において、プレーヤーＰが「Ｖ１－１」の発声を行い、その際のプレーヤーＰの心理状態が「Ｔ１－１－１」であった場合は、発声出力内容が「Ｗ１－１－１」で、発声出力状態（音質）が「Ｔ１－１－１」である音声出力データ（信号）が生成されることになる。

【0054】

これにより、プレーヤーＰの発話（音声）内容および心理状態とゲーム状況とに応じた内容の音声が、それらに応じた音質で生成されることになる。

【0055】

図３の説明に戻る。音源情報記憶部１１ｃは、音源情報を記憶する。図６は、実施形態に係る音源情報記憶部１１ｃの一例を示す図である。図６に示すように、音源情報記憶部１１ｃは、キャラクタ毎の音源情報を記憶する。具体的に、音源情報は、音声内容（テキスト）を音声に変換するためのデータで、例えば音素波形、例えば単位テキスト（例えば「あ」）の音声波形データ、イントネーション調整用データ（音素波形を変形して音の強弱変化、音の高低変化）、音素間の繋がり具合調整用データ（音素端の波形のなまらせ方等）等からなる。これら音源情報は、人により異なり、またゲームにおいてはキャラクタ（ゲームにおける登場人物（人物化した動物やロボット等も含む））によって異なるため、ゲームに関係する（登場する）人、キャラクタ毎のデータが準備されることになる。これらの音源情報は、ゲーム毎にゲーム製作者等が生成する、またゲームプレーヤーが音源情報生成用のアプリ（例えば、ゲームプレーヤーの発声音を解析して音源情報を生成するアプリ）等を用いて生成する。そして、このように生成された音源情報はゲームサーバ１００あるいは配信サーバ３００等に記憶され、ゲームプレイ時（配信時）に当該ゲームに対応する音源情報がプレーヤー装置１０の記憶部１１に記憶され（本実施形態の場合）、発声出力制御に使用されることになる。

【0056】

図６に示す例では、キャラクタとして、本人（プレーヤーＰ自身）や、プレイ対象のゲームに登場するキャラＡやキャラＢなど本人以外が含まれる場合を示す。例えば、本人の音源情報である「Ｓ１１」は、プレーヤーＰの発話音声に基づいて生成された音源情報である。また、キャラＡやキャラＢの音源情報「Ｓ１Ａ」、「Ｓ１Ｂ」は、例えば、ゲーム内に登場するキャラクタの声優などの音声に基づいて生成された音源情報である。

【0057】

これにより、プレーヤーＰやキャラクタの音源としての特徴に応じた音声出力が可能となり、プレーヤーＰ本人や各キャラクタ本人の発声の特徴を模した音声出力が可能となり、臨場感の高い発声音の出力が期待できる。

【0058】

図３の説明に戻る。制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

【0059】

制御部１２は、ゲームプレイ制御部１２ａと、心理分析部１２ｂと、ゲーム分析部１２ｃと、音声認識部１２ｄと、設定部１２ｅと、生成部１２ｆと、出力処理部１２ｇと、送信部１２ｈとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

【0060】

ゲームプレイ制御部１２ａは、ゲームサーバ１００と通信を行いつつ、ゲームの進行を制御する。ゲームプレイ制御部１２ａは、ゲームの進行状況を表示部３に表示しつつ、ゲームコントローラ５を通じて入力されたプレーヤーＰのゲーム操作をゲームの進行状況に反映させる。ゲームの進行状況は、逐次ゲームサーバ１００によって管理される。具体的に、ゲームサーバ１００は各プレーヤー装置１０のゲームプレイ制御部１２ａからプレーヤーＰのゲーム操作情報を受信し、これらゲーム操作情報に基づきゲームを進行（制御）し、各プレーヤー装置１０に各プレーヤー装置１０に対応する進行したゲームの情報を送信する。そして、各プレーヤー装置１０のゲームプレイ制御部１２ａは、取得したゲームの最新進行情報に基づきゲーム映像を生成して表示部３に表示する等、ゲームをプレーヤーＰに提供する。

【0061】

心理分析部１２ｂは、バイタルセンサ９から入力されるプレイ中のプレーヤーＰのバイタルデータに基づいて、逐次プレーヤーＰの心理状態を分析する。心理分析部１２ｂは、バイタルセンサ９から受け取ったバイタルデータを分析モデル記憶部１１ａに記憶された分析モデルＭを用いて分析することで、心理状態に関する心理パラメータを得て、心理パラメータを設定部１２ｅへ渡す。

【0062】

ゲーム分析部１２ｃは、プレーヤーＰがプレイ中のゲーム状況を分析する。例えば、ゲーム分析部１２ｃは、ゲームプレイ制御部１２ａからゲーム画像を受け取り、ゲーム画像に対する画像解析を行うことで、ゲーム状況を分析する。

【0063】

ゲーム分析部１２ｃは、例えば、ゲーム状況別に対応するゲーム画像の特徴を学習したモデルへゲーム画像を適用し、当該モデルの出力値としてゲーム状況に関するゲーム状況パラメータを得る。例えば、ゲーム状況パラメータは、例えば、ゲーム内のプレーヤーＰがどのような状況であるかを示すパラメータである。

【0064】

より具体的な例を挙げると、ゲーム状況パラメータは、「敵に攻撃されている」、「敵に囲まれている」、「敵に追われている」、「敵を攻撃している」などといった各種状況を識別するためのパラメータである。なお、例えば、ゲーム状況パラメータは、プレーヤーＰが操作するキャラクタの現在の危険度を示す数値であってもよい。

【0065】

なお、ゲーム分析部１２ｃは、例えば、ゲームサーバ１００からゲーム状況に関する各種パラメータ（例えば、敵の位置に関する情報など）を適宜取得して、ゲーム状況を分析するようにしてもよい。

【0066】

また、ゲームの付加情報としてゲームで発生する各場面（状況）におけるゲーム状況パラメータをデータベース化しておき（ゲーム制作者が作成）、ゲーム分析部１２ｃがゲームにおいて発生した場面に応じたゲーム状況を当該データベースからゲーム状況パラメータを抽出する、と言ったゲーム状況分析方法も適用可能である。

【0067】

音声認識部１２ｄは、マイク７によって収音されたプレーヤーＰの発話音声に対して音声認識処理を行なう。具体的には、音声認識部１２ｄは、発話音声をテキスト変換し、各種言語解析処理によってその内容や意味を推定し、その音声処理データを出力する。

【0068】

また、音声認識部１２ｄは、音声認識処理の結果に基づき、チーム内のメンバーだけで共有すべき発話など、一般公開、あるいは敵チームに知られることによりゲームの進行に影響を与える発話については、それに対応する音声処理データを後段の処理対象から除外する。

【0069】

つまり、チーム内のプレーヤーＰ間の秘匿性の高い会話については配信対象から除外する。これにより、ゲーム進行に影響しない音声のみが視聴者装置７００等に配信されることになるので、ゲーム進行に悪影響を与えることなく、ゲーム配信の盛り上がりが期待できる。

【0070】

なお、例えば、音声認識部１２ｄは、感情的な発話の音声の特徴を学習したモデルへプレーヤーＰの発話音声を入力し、当該モデルの出力結果に基づいて、プレーヤーＰの発話が感情的な発話か否かを判定することができる。また、逆に、後段の処理対象とする発話内容のデータベース（ゲームの進行場面に応じたデータベースが好ましい）を作成しておき、当該データベースに存在する発話内容については、それに対応する音声処理データを後段の処理対象とする方法も適応可能である。

【0071】

設定部１２ｅは、音声を生成する際に用いる音質や音量等のパラメータ、また音源情報を設定（選択）する。具体的には、設定部１２ｅは、心理分析部１２ｂ、ゲーム分析部１２ｃおよび音声認識部１２ｄから出力された解析結果等のデータ（心理状態、ゲーム状況、発話内容）に基づき、発話出力テーブル１１ｂを参照することで、音声を生成する際に用いる発声出力状態（音質、音量等）のパラメータ値を設定する。

【0072】

具体的には、設定部１２ｅは、選択した音声を生成する際に用いる発声出力状態のパラメータ値を、記憶部１１における音声を生成する際に用いる音声処理実行用データテーブル（図示略）に記憶し、後述の生成部１２ｆが音声生成処理を行なう際に当該音声処理実行用データテーブルに記憶されたデータを読み出し、必要な音声処理を行なえるようにする。

【0073】

生成部１２ｆは、心理分析部１２ｂによる分析結果に基づいてプレーヤーＰあるいはゲームのキャラクタ（プレーヤーＰに対応）に対応する配信用の音声を生成する。具体的には、生成部１２ｆは、心理分析部１２ｂ、ゲーム分析部１２ｃおよび音声認識部１２ｄから出力された解析結果等のデータ（心理状態、ゲーム状況、発話内容）に基づき、発話出力テーブル１１ｂを参照することで、発声出力内容を生成（選択）する。

【0074】

出力処理部１２ｇは、生成部１２ｆによって生成された発声出力内容（例えば、テキストデータ）を音声データに変換して出力する。具体的には、出力処理部１２ｇは、発声出力内容に基づき音源情報記憶部１１ｃに記憶された音声出力対象者（プレーヤーＰやキャラクタ）における音素データ等のデータを抽出して組み立てる処理等により加工元となる元音声波形（データ）を生成する。さらに、出力処理部１２ｇは、元音声波形（データ）に対して、上述の音声処理実行用データテーブルに記憶されたデータ（発声出力状態のパラメータ値）を用いて必要な音声処理（音質、音量等の調整処理）を行い、音声出力用の音声波形（データ）を生成し、出力する。

【0075】

なお、発声出力状態のパラメータとしては、例えば、音質（周波数特性、残響特性等）、音量（強弱）、速さ、抑揚、明瞭度などが適用できる。例えば、プレーヤーＰの怒りを音声出力で表現するような場合、元音声波形に対して、怒りに対応する音質、音量、抑揚、イントネーション等を付加する処理を施すことになる。これにより、例えば、プレーヤーＰの感情などを考慮した臨場感のある音声データを生成することができる。

【0076】

また、出力処理部１２ｇは、発声出力内容のテキストデータ、あるいはそれに基づくアイコン等の画像を生成し（例えば、各テキストデータに対応する画像データが記憶されたデータベースを用いて生成する）、ゲーム画面に重畳した配信画面を生成し、出力する。

【0077】

そして、送信部１２ｈは出力処理部１２ｇが出力した音声波形（データ）を配信サーバ３００へ向けて送信する。また、送信部１２ｈは出力処理部１２ｇが出力した上述の配信画面を配信サーバ３００へ向けて送信する。

【0078】

図７は、ゲームの配信状況の一例を示す図である。なお、図７では、視聴者装置７００に表示される配信画面Ｇ、配信音声等のゲームの配信状況を模式的に示す。例えば、図７に示すように、配信画面Ｇは、現在のゲーム映像が表示される第１表示領域Ｒ１や実況者が表示される第２表示領域Ｒ２を含む。また、ステレオ（左右）配置されたスピーカＳＬ、ＳＲからは配信音声が出力される。

【0079】

図７に示すように、例えば、配信画面Ｇの第１表示領域Ｒ１には、出力処理部１２ｇによって生成されたプレーヤーＰによる発声内容がコメントＴ（テキストデータ）として画面の一方から他方（発声したプレーヤー（本例では左側の「ロン」）から他方のプレーヤー側）へ流れる配信画面が表示される。また、発声したプレーヤー側のスピーカ（本例では、左側の「ロン」に対応するスピーカＳＬ）からは、対応する音声（図７の例では「ヤバー」）が、プレーヤーの感情に応じた音量・音質等の音響加工が施されて出力される。

【0080】

なお、この際、配信画面Ｇは、第１表示領域Ｒ１に表示するコメントＴのフォント、大きさ、色、などの表示形態に対しても各種状況（心理状態等）に応じて変化させることができる。この場合、例えば、図５に示した発話出力テーブル１１ｂに配信画面加工用のパラメータ（フォント、大きさ、色）を記憶するようにし、各種状況（心理状態等）対応した配信画面加工用のパラメータを発話出力テーブル１１ｂから読み出し画面加工用に使用すれば良い。つまり、プレーヤーの仮想的な音声の内容を画像化した画像データを生成して表示すると言うことになる。

【0081】

このような表示、また音声出力により、視聴者は視覚的にプレーヤーＰの感情を把握することができるので、ゲーム配信に対する盛り上げに寄与することが期待される。

【0082】

配信サーバ３００は、送信部１２ｈから受信した音声情報、画像情報等の各種情報を編集し、視聴者装置７００へ配信する。また、配信サーバ３００は、大型映像装置５００に配信画面を表示する。つまり、配信サーバ３００は各プレーヤー装置１０から音声情報、画像情報等の各種情報を受信するので、これら各種情報を視聴者装置７００で表示等するのに適した画像、音声に編集、加工して各視聴者装置７００へ配信し、また大型映像装置５００で表示等するのに適した画像、音声に編集、加工して大型映像装置５００へ配信する。

【0083】

次に、図８を用いて、実施形態に係るプレーヤー装置１０が実行する処理手順について説明する。図８は、プレーヤー装置１０（制御部１２）が実行する処理手順を示すフローチャートであり、ゲーム配信において音声配信を行う状態となった場合（プレーヤーが発声した状態や、プレーヤーの感情状態が音声によりゲーム観戦者に報知するのが好ましい状態となった場合（生体信号により判断する場合はゲーム開始に伴い、生体信号の検出および生体信号による感情判断処理は、継続的に実行される））に実行される。

【0084】

図８に示すように、まず、プレーヤー装置１０の制御部１２は、プレーヤーＰの発話音声に対して音声認識処理を行なう（ステップＳ１０１）。なお、プレーヤーの感情状態に基づく発声を行う場合は、音声認識結果は「無し（空白）」となる。つづいて、制御部１２は、プレーヤーＰの生体信号に基づき心理状況を分析（推定）し、またゲームの進行状況情報（ゲーム管理装置から取得、あるいは自己の持つ（ゲーム実行処理で使用している情報）ゲーム関連情報）等によりゲーム状況を分析する（ステップＳ１０２）。

【0085】

つづいて、制御部１２は、プレーヤーＰの発話音声の音声認識結果と、分析で得られた心理状況およびゲーム状況の情報とに基づいて、出力する音声の発声出力内容と音量・音質等の制御のための音響パラメータ（発声出力状態）を設定する（ステップＳ１０３）。つづいて、制御部１２は、設定された発声出力内容と音響パラメータ（発声出力状態）に基づいて、出力する仮想的な音声のデータである仮想音声データを生成する（ステップＳ１０４）。

【0086】

その後、制御部１２は、他のユーザのプレーヤー装置１０等（配信サーバ３００他）に向けて、生成した仮想音声データを出力（送信）し（ステップＳ１０５）、処理を終了する。他のユーザのプレーヤー装置１０等のゲーム対戦・観戦を行う装置は、この送信された仮想音声データを受信し、受信した仮想音声データの復号処理、デジタルアナログ変換、電力増幅等の処理を行ない、スピーカから音声として出力する。

【0087】

上述したように、実施形態に係るプレーヤー装置１０（情報処理装置の一例）は、ゲームのプレーヤーＰのバイタルデータ（生体信号）に基づいてプレーヤーの心理状態を分析し、分析した心理状態に基づいてプレーヤーＰの仮想的な音声を生成し、生成した仮想的な音声を他のユーザに向けて提供する。したがって、実施形態に係るプレーヤー装置１０によれば、ゲーム配信に関する音声コンテンツを充実させることができる。

【0088】

ところで、上述した実施形態では、プレーヤーＰの性格や発話特性（声の質や音量、あるいはイントネーション、方言等）と言った個人特性に応じてプレーヤーＰの仮想的な音声を生成する場合について説明したが、これに限定されるものではない。そこで、以下では、プレーヤーＰ以外の個人特性に基づいてプレーヤーＰの音声を生成する場合について説明する。

【0089】

図９および図１０は、変形例に係る情報処理の一例を示す図である。なお、以下では、ステップＳ１～Ｓ４等の処理については既に説明したため、同等の処理については同じ符号を付し、その説明を省略する。図１０に示す例では、各々が固有の個人特性を有する複数のキャラクタを事前に設定しておき、ユーザ（ここでは、仮想的な音声の対象プレーヤーＰ）に任意に選択されたキャラクタ（たとえば、キャラクタＡ）の個人特性情報を用いて、仮想的な音声を生成する場合について説明する。

【0090】

この場合、プレーヤー装置１０は、ステップＳ１５の音声生成処理において、キャラクタＡの個人特性情報（音源情報記憶部１１ｃにおける音源情報に相当）を用いて仮想的な音声を生成する。つまり、この場合においては、仮想的な音声を生成には、元の発声源であるプレーヤーＰの個人特性情報とは異なる、キャラクタＡの個人特性情報が用いられることになる。

【0091】

したがって、この場合においては、元の発声源であるプレーヤーＰではなく、キャラクタＡの個人特性に応じた音声が再生されることになるので、ゲームの配信内容により効果的な編集を加えることが可能となり、ゲーム配信をより一層盛り上げることが期待できる。

【0092】

また、図１０では、異なる二つの個人特性を用いて、仮想的な音声を生成する場合を示している。例えば、この場合、プレーヤー装置１０は、ステップＳ２５における音声生成処理において、個人特性が異なるキャラクタＡおよびキャラクタＢの個人情報（音源情報記憶部１１ｃにおける音源情報に相当）を用いて音声を生成する。

【0093】

例えば、プレーヤー装置１０は、音声認識による結果から双方の個人性格情報に応じて、二つの音声を生成することになる。そして、プレーヤー装置１０は、例えば、ステップＳ２６の再生処理において、一方（キャラクタＡ）の音声を音声出力用のデータとして出力して視聴者装置７００に音声出力させ、他方（キャラクタＢ）の音声（音声内容のテキストデータ）を配信画面用のデータとして出力して視聴者装置７００に表示される配信画面の第１表示領域Ｒ１にテキスト表示を行う。なお、これらの音声出力や画面表示は、視聴者装置７００以外のゲーム観戦装置、たとえば大型映像装置５００やプレーヤー装置１０で行ってもよい。

【0094】

ところで、上述した実施形態では、プレーヤーＰの発話音声を生成した仮想的な音声で置き換える場合について説明したが、これに限定されるものではない。プレーヤー装置１０は、プレーヤーＰの心理状態およびゲーム状況から自動的に適当な音声を生成するようにしてもよい。

【0095】

また、上述した実施形態では、プレーヤー装置１０がプレーヤーＰの音声を生成する場合について説明したが、これに限定されるものではない、例えば、ゲームサーバ１００、配信サーバ３００、あるいは各視聴者装置７００側でプレーヤーＰの仮想的な音声を生成するようにしてもよい。この場合、図３に示したプレーヤー装置１０の各構成要素と同等の構成要素が、ゲームサーバ１００、配信サーバ３００、あるいは各視聴者装置７００に内蔵されることになる。そして、プレーヤー装置１０、ゲームサーバ１００、配信サーバ３００、および各視聴者装置７００との間で処理に必要なデータがお互いに送受信されることになる。

【0096】

たとえば、プレーヤー装置１０から各視聴者装置７００へプレーヤーＰの心理状態およびゲーム状況の分析結果が送信される。そして、視聴者装置７００は、これらのプレーヤーＰの心理状態およびゲーム状況の分析結果、および視聴者装置７００を使用している視聴者によって選択されたキャラクタに基づき、仮想的な音声を生成して再生することになる。

【0097】

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

【符号の説明】

【0098】

１ ゲームシステム
１０ プレーヤー装置
１１ａ 分析モデル記憶部
１１ｂ 発話出力テーブル
１１ｃ 音源情報記憶部
１２ａ ゲームプレイ制御部
１２ｂ 心理分析部
１２ｃ ゲーム分析部
１２ｄ 音声認識部
１２ｅ 設定部
１２ｆ 生成部
１２ｇ 出力処理部
１２ｈ 送信部
１００ ゲームサーバ
３００ 配信サーバ
３１０ 配信者装置
５００ 大型映像装置
７００ 視聴者装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】