特許 7492104 音声再生プログラム、音声再生装置、および音声生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-21

(45)【発行日】2024-05-29

(54)【発明の名称】音声再生プログラム、音声再生装置、および音声生成方法

(51)【国際特許分類】

   A63F 13/54 20140101AFI20240522BHJP

   G06F 3/16 20060101ALI20240522BHJP

   G10L 19/00 20130101ALI20240522BHJP

【ＦＩ】

A63F13/54

G06F3/16 690

G10L19/00 312F

【請求項の数】 9

(21)【出願番号】P 2019204737

(22)【出願日】2019-11-12

(65)【公開番号】P2021074396

(43)【公開日】2021-05-20

【審査請求日】2022-01-18

【前置審査】

(73)【特許権者】

【識別番号】000129149

【氏名又は名称】株式会社カプコン

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】黒岩 若菜

(72)【発明者】

【氏名】五十嵐 佑樹

【審査官】西村 民男

(56)【参考文献】

【文献】特開２０１８－２０１７９１（ＪＰ，Ａ）

【文献】特開２０１４－０３３９００（ＪＰ，Ａ）

【文献】特開２０１０－０１０８４４（ＪＰ，Ａ）

【文献】特表２０１９－５２２４２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｆ ９／２４，１３／００－１３／９８

Ｇ０６Ｆ ３／１６，

Ｇ１０Ｌ １９／００，

Ｈ０４Ｓ １／００，７／００

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
仮想空間において動作する複数の動的オブジェクトであって、前記仮想空間内に配置されたものの全部または一部を、クラスタリングによって、複数のクラスタに分けるクラスタリング手段と、
全クラスタのそれぞれ、または一部のクラスタのそれぞれに対して、１または複数の音声を対応付ける音声選択手段と、
上記クラスタに対応付けられた音声を再生する再生手段と、
して機能させ、
上記クラスタリング手段は、予め定められたタイミングで上記クラスタリングをやり直し、
上記音声選択手段は、予め定められた条件が成立した場合に、上記音声の対応付けをやり直し、
上記クラスタリング手段による上記クラスタリングのやり直しの頻度は、上記音声選択手段が上記条件を確認する頻度よりも少ない
ことを特徴とする音声再生プログラム。

【請求項2】

請求項１において、
上記仮想空間には、仮想の基準点が設定されており、
上記クラスタリング手段は、上記基準点からの距離が、予め定められた範囲内にある上記動的オブジェクトを、上記クラスタリングの対象とすることを特徴とする音声再生プログラム。

【請求項3】

請求項１において、
上記仮想空間には、仮想の基準点が設定されており、
上記音声選択手段は、上記基準点までの距離が、予め定められた閾値以下のクラスタについては、上記音声の対応付けを行わないことを特徴とする音声再生プログラム。

【請求項4】

請求項１から請求項３の何れかにおいて、
上記動的オブジェクトのそれぞれには、特性値が設定されており、
上記音声選択手段は、上記クラスタを構成する動的オブジェクトに設定されている特性値を、上記音声の選択に用いることを特徴とする音声再生プログラム。

【請求項5】

請求項１から請求項４の何れかにおいて、
上記音声は、複数種類の音源の音を合成したものであることを特徴とする音声再生プログラム。

【請求項6】

請求項１から請求項５の何れかにおいて、
上記音声選択手段は、上記クラスタの上記仮想空間における位置情報を、上記音声の選択に用いることを特徴とする音声再生プログラム。

【請求項7】

請求項１から請求項６の何れかにおいて、
上記クラスタリング手段は、動的オブジェクトの上記仮想空間における位置情報に基づいて、上記クラスタリングを行うことを特徴とする音声再生プログラム。

【請求項8】

請求項１から請求項７の何れかの音声再生プログラムを記憶した記憶部と、
上記音声再生プログラムを実行する制御部と、
を備えたことを特徴とする音声再生装置。

【請求項9】

コンピュータを用いて音声を生成する音声生成方法において、
仮想空間において動作する複数の動的オブジェクトであって、前記仮想空間内に配置されたものの全部または一部を、クラスタリングによって、複数のクラスタに分けるクラスタリング工程と、
全クラスタのそれぞれ、または一部のクラスタのそれぞれに対して、１または複数の音声を対応付ける音声選択工程と、
上記クラスタに対応付けられた音声を再生する再生工程と、
を含んでおり、
上記クラスタリング工程では、予め定められたタイミングで上記クラスタリングをやり直し、
上記音声選択工程では、予め定められた条件が成立した場合に、上記音声の対応付けをやり直し、
上記クラスタリング工程における上記クラスタリングのやり直しの頻度は、上記音声選択工程において上記条件を確認する頻度よりも少ない
ことを特徴とする音声生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声再生プログラム、音声再生装置、および音声生成方法に関する。

【背景技術】

【0002】

ゲームプログラムの中には、演出の手法として、ノンプレイヤキャラクタがざわめいている雰囲気を表現する音声（後述のガヤ音声の一例）を発生するものがある（例えば特許文献１を参照）。特許文献１の例では、所定エリア内のノンプレイヤキャラクタの数に応じた態様で音声を発生させている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６１９８３７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の特許文献の例では、音のリアルな演出が可能とされているが、改良も必要である。

【0005】

本発明の目的は、臨場感のあるガヤ音声の再生が可能な音声再生プログラム、音声再生装置、および音声生成方法を提供することにある。

【課題を解決するための手段】

【0006】

第１の発明は、コンピュータを、仮想空間において動作する複数の動的オブジェクトの全部または一部を、クラスタリングによって、複数のクラスタに分けるクラスタリング手段と、全クラスタのそれぞれ、または一部のクラスタのそれぞれに対して、１または複数の音声を対応付ける音声選択手段と、上記クラスタに対応付けられた音声を再生する再生手段と、して機能させることを特徴とする音声再生プログラムである。

【0007】

第１発明において、上記仮想空間には、仮想の基準点が設定されており、上記クラスタリング手段は、上記基準点からの距離が、予め定められた範囲内にある上記動的オブジェクトを、上記クラスタリングの対象としてもよい。

【0008】

上記発明においては、上記仮想空間には、仮想の基準点が設定されており、上記音声選択手段は、上記基準点までの距離が、予め定められた閾値以下のクラスタについては、上記音声の対応付けを行わないようにしてもよい。

【0009】

上記発明においては、上記クラスタリング手段は、予め定められたタイミングで上記クラスタリングをやり直してもよい。

【0010】

上記発明においては、上記音声選択手段は、予め定められた条件が成立した場合に、上記音声の対応付けをやり直し、上記クラスタリング手段による上記クラスタリングのやり直しの頻度は、上記音声選択手段が上記条件を確認する頻度よりも少なくするとよい。

【0011】

上記発明においては、上記動的オブジェクトのそれぞれには、特性値が設定されており、上記音声選択手段は、上記クラスタを構成する動的オブジェクトに設定されている特性値を、上記音声の選択に用いてもよい。

【0012】

上記発明においては、上記音声は、複数種類の音源の音を合成したものであってもよい。

【0013】

上記発明においては、上記音声選択手段は、上記クラスタの上記仮想空間における位置情報を、上記音声の選択に用いてもよい。

【0014】

上記発明においては、上記クラスタリング手段は、動的オブジェクトの上記仮想空間における位置情報に基づいて、上記クラスタリングを行ってもよい。

【0015】

第２の発明は、上記の何れかの音声再生プログラムを記憶した記憶部と、上記音声再生プログラムを実行する制御部と、を備えたことを特徴とする音声再生装置である。

【0016】

第３の発明は、コンピュータを用いて音声を生成する音声生成方法において、仮想空間において動作する複数の動的オブジェクトの全部または一部を、クラスタリングによって、複数のクラスタに分けるクラスタリング工程と、全クラスタのそれぞれ、または一部のクラスタのそれぞれに対して、１または複数の音声を対応付ける音声選択工程と、上記クラスタに対応付けられた音声を再生する再生工程と、を含んでいることを特徴とする音声生成方法である。

【発明の効果】

【0017】

本発明によれば、臨場感のあるガヤ音声の再生が可能になる。

【図面の簡単な説明】

【0018】

【図1】実施形態におけるゲーム装置の構成を示すブロック図である。

【図2】クラスタリング結果の一例を示す。

【図3】実施形態における音源データの波形の例を模式的に示す。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態にかかる音声再生プログラム、音声再生装置、および音声生成方法について、図面を参照して説明する。本発明の音声再生プログラムは、ゲームプログラムとして実装されている。音声再生装置は、ゲーム装置として実現されている。音声生成方法は、ゲームプログラム、およびゲーム装置によって実現される。

【0020】

［実施形態１］
本実施形態で説明するゲームプログラムは、例えば、パーソナルコンピュータ、プレイステーション（登録商標）、ＸＢｏｘ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）などのゲーム装置において実行される。

【0021】

このゲームプログラムによるゲームでは、ユーザの操作を受けて、プレイヤキャラクタを三次元の仮想ゲーム空間（以下、単に仮想空間という）で活動させたり、プレイヤキャラクタ同士でグループを編成して様々なアクションを行わせたりする。この仮想空間内には、ノンプレイヤキャラクタが存在する。

【0022】

ノンプレイヤキャラクタとは、動作を自立的に実行可能なオブジェクト（以下、動的オブジェクトという）である。ノンプレイヤキャラクタは、例えばＡＩ（Artificial Intelligence）によって、仮想空間内で動作する。つまり、ノンプレイヤキャラクタは、ユーザによる操作の対象外である。

【0023】

本ゲームにおける動的オブジェクトには、酒場に集う人々、市場を行き交う人々などを例示できる。本ゲームプログラムでは、各動的オブジェクトには、特性値として性別（男性、女性）が設定されているものとする。所定の動的オブジェクトは、いわゆるガヤ音声（後述）を発生する。

【0024】

〈ゲーム装置の構成〉
ゲーム装置５は、ユーザの操作に基づいて所定のゲームを実行する。図１は、本実施形態のゲーム装置５の構成を示すブロック図である。ゲーム装置５には、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。ゲーム装置５では、例えば、インストールされたゲームプログラムおよびゲームデータに基づいてゲームが進行する。なお、ゲーム装置５同士も、通信ネットワーク（図示を省略）または近距離無線通信装置（図示せず）を用いて、互いにデータ通信を行うことができる。

【0025】

ゲーム装置５は、ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、記憶部５５および制御部５６を有する。ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４および記憶部５５は、バス５９を介して制御部５６と電気的に接続されている。

【0026】

ネットワークインターフェース５１は、例えばゲーム装置５や外部のサーバ装置（図示を省略）との間で各種データを送受信するために、上記通信ネットワークに通信可能に接続される。

【0027】

グラフィック処理部５２は、制御部５６から出力されるゲーム画像情報に従って、プレイヤキャラクタおよびゲーム空間に関する各種オブジェクトを含むゲーム画像を、動画形式で描画する。グラフィック処理部５２は、動画表示の際には、所定のフレームレートで、画像を更新する。グラフィック処理部５２はディスプレイ６１と接続されており、動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ６１上に表示される。

【0028】

オーディオ処理部５３は、制御部５６の指示に従ってデジタルのゲーム音声を再生および合成する。オーディオ処理部５３はスピーカ６２と接続されており、再生および合成されたゲーム音声は、スピーカ６２から出力される。オーディオ処理部５３の詳細については後述する。

【0029】

操作部５４は、コントローラ６３と接続され、操作入力に関するデータをコントローラ６３との間で送受信する。例えば、ユーザは、コントローラ６３に設けられたボタン等の操作子（図示略）を操作することにより、ゲーム装置５に操作信号を入力する。

【0030】

記憶部５５は、ＨＤＤ、ＲＡＭおよびＲＯＭ等で構成される。記憶部５５は、ゲームプログラムおよびゲームデータを記憶することができる。また、記憶部５５には、他のゲーム装置５から受信した他アカウント情報なども記憶される。

【0031】

制御部５６は、ＣＰＵおよび半導体メモリを含むマイクロコンピュータで構成され、ゲーム装置５の動作を制御する。例えば、制御部５６は、上記ゲームプログラムを実行することにより、グラフィック処理部５２、オーディオ処理部５３等を動作させる。

【0032】

〈オーディオ処理部の機能的構成〉
オーディオ処理部５３は、音声（音源データ）を再生する。オーディオ処理部５３は、音源データの再生において、ゲーム音声の音像定位を行う。具体的に、オーディオ処理部５３は、音声の再生の際に、仮想空間に仮想のマイク（以下、仮想マイクＬ）を設定する。この例では仮想マイクＬは、プレイヤキャラクタの近傍に設定されている。仮想マイクＬは、プレイヤキャラクタの移動にともなって移動する。

【0033】

このゲームでは、仮想空間内に設定された音源から音声が発せられたように、音響的な演出が行われる。オーディオ処理部５３は、仮想空間内に設定された音源（オブジェクトなど）から発せられた音声を、あたかも仮想マイクＬで集音したかのような音響表現で、スピーカ６２に出力する。すなわち、仮想マイクＬは、仮想の聴取者であり、オーディオ処理部５３による音像定位の基準点である。

【0034】

オーディオ処理部５３は、音声データの再生や合成の機能を司る、いわゆるミドルウエアを実行する。オーディオ処理部５３は、ミドルウエアを実行することにより、再生手段５３１として機能する。

【0035】

再生手段５３１は、音声（音源データ）を再生する機能を有している。このゲームプログラムの実行中には、例えば、BGM（Back Ground Music）、環境音、ユーザの操作に応じて流れる効果音などの種々のゲーム音声が、オーディオ処理部５３によって再生される。更に、再生手段５３１は、ガヤ音声の再生も行う。

【0036】

ガヤ音声とは、所定のノンプレイヤキャラクタ（動的オブジェクト）が発音したものとして再生される音である。ガヤ音声は、仮想空間の雰囲気を演出するために、効果音として再生される。ガヤ音声には、多人数が集まった場所における人々の話し声を例示できる。また、ガヤ音声には、物音や、足音などの動作により生じる音も含まれる。換言すると、ガヤ音声は、人の声のみには限定されない。

【0037】

〈制御部の機能的構成〉
このゲームプログラムでは、制御部５６は、ゲームプログラムを実行することにより、クラスタリング手段５６１、音声選択手段５６２、および再生制御手段５６３として機能する。これらの機能の説明にあたり、以下を規定する。

【0038】

本ゲームプログラムでは、ガヤ音声の再生用に、種々の雰囲気の音源データが用意されている。具体的に、本ゲームプログラムでは、楽しそうな会話、怒ったような声、歌声など種々のパターンの音源データが用意されている。

【0039】

本ゲームプログラムでは、各パターンに対して複数種類の音源データが用意されている。各パターンの音声には、男性による発音を想定したものと、女性による発音を想定したものがそれぞれ用意されている。例えば、本ゲームプログラムは、女性の発音を想定した楽しそうな声の音源データを複数種類含み、男性の発音を想定した楽しそうな声の音源データも複数種類含んでいる。これらの音源データは、データファイルとして記憶部５５に格納される。

【0040】

仮想空間には、ガヤ音声の発音が想定される動的オブジェクト（以下、発音オブジェクトという）が存在する。仮想空間には、複数の発音オブジェクトが配置された領域（以下、ガヤ領域という）がある。ガヤ領域としては、仮想空間に設定された、酒場、市場、集会場などを例示できる。

【0041】

クラスタリング手段５６１は、ガヤ領域内の発音オブジェクトに対してクラスタリング（クラスタ分析）を行って、発音オブジェクトを複数のクラスタに分ける。クラスタリング手段５６１は、クラスタリングの素性ベクトルとして、動的オブジェクトの、仮想空間における座標値（例えば３次元の座標値）を用いている。

【0042】

クラスタリング手段５６１におけるクラスタリングの手法には、K-means法を採用している。K-means法では、与えられたクラスタ数に分類対象を分類する。クラスタリング手段５６１は、ガヤ領域内の発音オブジェクトの総数に応じて、クラスタ数を決定している。このゲームプログラムには、発音オブジェクトの総数に基づいてクラスタ数を決定するテーブルが実装されている。

【0043】

クラスタリング手段５６１は、予め定められたタイミングでクラスタリングをやり直す。本ゲームプログラムでは、クラスタリング手段５６１は、数秒毎にクラスタリングをやり直している。

【0044】

音声選択手段５６２は、ガヤ領域において所定の条件を満たすクラスタ（以下、対象クラスタという）のそれぞれに対して、ガヤ音声として再生する音声（音源データ）を対応付ける。音声の対応付けに際して、音声選択手段５６２は、対象クラスタのそれぞれに対して、次の処理を行う。

【0045】

音声選択手段５６２は、クラスタの代表点（後述）と、仮想マイクＬ（基準点）との距離が、予め定めた下限値ＤＬ以上、かつ予め定めた上限値ＤＵ以下のクラスタを対象クラスタとして選択する。換言すると、全てのクラスタに、音源データが対応付けられるとはかぎらない。

【0046】

音声選択手段５６２は、対象クラスタを構成している動的オブジェクトの特性値、およびガヤ領域の状況（雰囲気）に応じて、再生する音声を決定する。この決定を行うには、音声選択手段５６２は、ガヤ領域の状況（雰囲気）を取得する必要がある。

【0047】

ガヤ領域の状況取得を可能にするために、本実施形態では、ガヤ領域の位置情報と、ガヤ領域に対応する雰囲気（例えば、楽しい、賑やか、殺気立っている等）とがテーブル化されている。音声選択手段５６２は、ガヤ領域の位置情報をキーとして上記テーブルを検索することによって、希望するガヤ領域の雰囲気を取得する。

【0048】

音声選択手段５６２は、ガヤ領域の雰囲気を確認できたら、対象クラスタに属する動的オブジェクトの数だけ、音源データを選択する、という動作を各対象クラスタについて行う。音源データの選択に際して、音声選択手段５６２は、処理中の対象クラスタに属する各動的オブジェクトの特性値を取得する。音声選択手段５６２は、特性値を取得した後、対象クラスタが属するガヤ領域の雰囲気に合致する音源データの中から、特性値に対応した音源データを選択する。

【0049】

本実施形態では、それぞれの動的オブジェクトには、特性値として性別が設定されている。そこで、音声選択手段５６２は、各対象クラスタについて、特性値が男性である動的オブジェクトの数（男性の人数）、および特性値が女性である動的オブジェクトの数（女性の人数）を確認する。

【0050】

対象クラスタを構成する男女の人数が分かったら、音声選択手段５６２は、対象クラスタが属するガヤ領域の雰囲気に合致する音源データの中から、男性の音声として用意された音源データを、男性の人数分だけ選択する。同様に、音声選択手段５６２は、対象クラスタが属するガヤ領域の雰囲気に合致する音源データの中から、女性の音声として用意された音源データを、女性の人数分だけ選択する。

【0051】

複数の音源データの中からいくつかの音源データを選ぶ手法には、種々のアルゴリズムを採用できる。一例として、選択可能な音源データの中から、乱数を用いて、ランダムに音源データを選択するように、音声選択手段５６２を構成することが考えられる。

【0052】

音声選択手段５６２は、選択した音源データを示す情報、および対象クラスタの位置情報を再生制御手段５６３に送る。音源データを示す情報としては、例えば、音源データが格納されているファイル名が考えられる。クラスタの位置情報としては、一例として、仮想空間における、クラスタの代表点の座標を採用できる。このゲームプログラムでは、代表点は、クラスタの重心である。

【0053】

再生制御手段５６３は、音声選択手段５６２によって選択された音源データの再生を、再生手段５３１に指示する。この指示において、再生制御手段５６３は、音源の位置情報として、各対象クラスタに設定されている代表点の位置情報を再生手段５３１に送る。

【0054】

〈動作例〉
ゲーム中にプレイヤキャラクタが、ガヤ領域に入ったとする。そうすると、クラスタリング手段５６１は、ガヤ領域内の発音オブジェクトに対して、クラスタリングを行う。発音オブジェクト以外の動的オブジェクトは、ガヤ領域に存在しても、クラスタリングの対象外である。換言すると、クラスタを構成する動的オブジェクトは、発音オブジェクトである。

【0055】

図２にクラスタリング結果を例示する。図２の例では、クラスタ数は３である。図２では、説明の便宜のため、仮想空間ＶＳ（ガヤ領域Ａ）を２次元（Ｘ－Ｚ平面）で表している。

【0056】

図２には、クラスタＣ１，Ｃ２，Ｃ３を破線で示してある。図２には、動的オブジェクトＮＰＣを丸印で示してある。図２に示すように、互いに近接した動的オブジェクトＮＰＣ同士がクラスタを形成している。近接した動的オブジェクトＮＰＣ同士によってクラスタが形成されるのは、素性ベクトルとして、動的オブジェクトの座標値を用いているからである。

【0057】

クラスタが定まったら、音声選択手段５６２は、対象クラスタを決定する。図２の例では、クラスタＣ３の代表点Ｒ３とプレイヤキャラクタＰＬとの距離ｄ３が、下限値ＤＬよりも小さかったとする。その他のクラスタの代表点Ｒ１，Ｒ２は、プレイヤキャラクタＰＬとの距離が、下限値ＤＬ以上、かつ上限値ＤＵ以下であったとする。この場合には、音声選択手段５６２は、対象クラスタとして、クラスタＣ１，Ｃ２を選択する。

【0058】

対象クラスを決定した後、音声選択手段５６２は、対象クラスタＣ１，Ｃ２に対して、男女の数に応じた音声を対応付ける。ここでは、対象クラスタＣ１は、男性の人数が１人（白抜きの丸印）、女性の人数２人（黒塗りの丸印）であったとする。また、ガヤ領域Ａは、夜の楽しい雰囲気の酒場であるものとする。

【0059】

音声選択手段５６２は、クラスタＣ１に対しては、楽しい雰囲気の声の音源データの中から、男性による発音を想定した音源データを１つ選ぶ。更に、音声選択手段５６２は、クラスタＣ１に対しては、楽しい雰囲気の声の音源データの中から、女性による発音を想定した音源データを２つ選ぶ。同様に、音声選択手段５６２は、クラスタＣ２に対しては、楽しい雰囲気の声の音源データの中から、男性による発音を想定した音源データを２つ選ぶ。

【0060】

音声選択手段５６２は、各対象クラスタについて音源データが定まると、各対象クラスタの代表点Ｒ１，Ｒ２の位置情報とともに、選択した音源データを示す情報を再生制御手段５６３に送る。再生制御手段５６３は、音声選択手段５６２から受け取った情報に基づいて、再生手段５３１に、音声の再生を指示する。

【0061】

再生を指示された再生手段５３１は、スピーカ６２に音声信号（アナログ信号）を出力する。この再生において、再生手段５３１は、代表点Ｒ１、および代表点Ｒ２のそれぞれから発音が行われたと聞こえるように、音像の定位を行う。

【0062】

以上をまとめると、本件開示は、コンピュータを、仮想空間において動作する複数の動的オブジェクトの全部または一部を、クラスタリングによって、複数のクラスタに分けるクラスタリング手段と、全クラスタのそれぞれ、または一部のクラスタのそれぞれに対して、１または複数の音声を対応付ける音声選択手段と、上記クラスタに対応付けられた音声を再生する再生手段として機能させることを特徴とする音声再生プログラムである。

【0063】

〈本実施形態の効果〉
以上のように、本実施形態では、動的オブジェクト（ノンプレイヤキャラクタ）のクラスタリングを行っている。そして、本実施形態では、クラスタから発音されたものとして、ガヤ音声を再生している。そのため、本実施形態では、臨場感のあるガヤ音声の再生が可能になる。

【0064】

本実施形態では、下限値ＤＬ、および上限値ＤＵを設定することによって、ガヤ音声の再生に関わるクラスタを制限している。下限値ＤＬおよび上限値ＤＵを適宜、設定することによって、仮想マイクＬに近いクラスタ、および仮想マイクＬから遠いクラスタに関しては、ガヤ音が再生されないようにできる。こうすることで、より臨場感のあるガヤ音声の再生が可能になる。

【0065】

また、下限値ＤＬ、上限値ＤＵを利用すれば、仮想マイクＬに近いノンプレイヤキャラクタに対して、そのノンプレイヤキャラクタに個別に設定された音声出力をオンにしたりオフにしたりするといった演出もできる。個別に設定された音声出力としては、例えば、プレイヤキャラクタへの呼びかけなの意味のある発話、独り言などが考えられる。

【0066】

［実施形態２］
実施形態２では、音源データの他の構成例を説明する。実施形態２では、ひとつの対象クラスタに対応付ける音源データがひとつですむように、音源データが構成されている。

【0067】

本実施形態でも、ガヤ音声の音源データとして、種々の雰囲気の、音源データが用意されている。本実施形態でも、楽しそうな会話、怒ったような声、楽しそうな歌声など種々のパターンの音源データが用意されている。

【0068】

各音源データは、複数種類の音源の音を合成したものである。具体的には、各音源データは、複数の人の声を含んでいる。図３に、本実施形態における音源データの波形の例を模式的に示す。

【0069】

図３の例は、３人のノンプレイヤキャラクタＮＰＣ１～ＮＰＣ３の会話を想定した音源データである。この音源データでは、ＮＰＣ１（男性）、ＮＰＣ２（女性）、ＮＰＣ３（男性）、ＮＰＣ１（男性）、ＮＰＣ２（男性）の順に発言が行われている。本実施形態では、複数種類の男女数の組み合わせについて、このような音源データが用意されている。

【0070】

本実施形態では、各パターンの音源データとして、複数の男性のみの声を含んだ音源データ、および複数の女性のみの含んだ音源データも用意されている。これらの音源データも、少人数のグループの音源データ、多人数のグループの音源データなど、種々の人数構成の音源データが用意されている。

【0071】

音源データの構成変更に応じて、本実施形態では、音声選択手段５６２の機能が実施形態１とは異なっている。本実施形態の音声選択手段５６２は、対象クラスタが属するガヤ領域の雰囲気に合致する音源データの中から、対象クラスタの人員構成に類似した音源データをひとつだけ選択する。この場合、音源データに収録されている男女の声の数と、対象クラスタを構成する男女の数とは、正確に一致する必要はない。

【0072】

対象クラスタ毎に音源データが定まると、再生制御手段５６３、再生手段５３１が実施形態１と同様に動作する。これにより、本実施形態でもガヤ音声の再生が行われる。

【0073】

この例においても、所定のクラスタから発音されたものとして、ガヤ音声が再生される。本実施形態でも、臨場感のあるガヤ音声の再生が可能になる。

【0074】

本実施形態では、ひとつの対象クラスタに対応付けられる音源データは、ひとつのみである。そのため、本実施形態では、オーディオ処理部５３の処理負荷を軽減することが可能になる。

【0075】

［その他の実施形態］
クラスタリングの対象とする動的オブジェクトは、プレイヤキャラクタから所定範囲の距離のものに限定してもよい。こうすることで、クラスタリングに要する時間を低減できる。

【0076】

クラスタリングの手法は、K-means法には限定されない。その他のクラスタリング法を採用してもかまわない。

【0077】

クラスタリング手段５６１において、クラスタリングをやり直す周期は例示である。例えば、画像が数フレーム更新される毎にクラスタリングを行ってもよい。

【0078】

音声選択手段５６２では、下限値ＤＬ、および上限値ＤＵの何れか一方の境界値を用いるようにしてもよい。

【0079】

また、音声選択手段５６２において、両方の境界値ＤＬ，ＤＵを使用しない構成でもよい。換言すると、音声選択手段５６２は、全部のクラスタに音声を対応付けるように構成してもよい。

【0080】

クラスタ数の設定は任意である。

【0081】

クラスタ内のデータの分散が所定値よりも大きい場合には、クラスタ数を増やすとよい。こうすることで、より臨場感のあるガヤ音声の再生が可能になる。

【0082】

クラスタリングをやり直したことによって代表点の変更が必要になった場合には、次の（１）、（２）の両方、または何れか一方の処理を行ってもよい。

【0083】

（１）クラスタに対応付けられる音源データが変更されない場合
この場合には、代表点の座標値を、旧代表点の位置から新代表点の位置まで、徐々に移動させるとよい。こうすることで、ガヤ音声の不自然な変化が抑制される。

【0084】

（２）クラスタに対応付けられる音源データが変更される場合
この場合には、新旧のガヤ音声をクロスフェードさせるとよい。こうすることで、ガヤ音声が自然に変化する。

【0085】

音声選択手段５６２は、所定の周期で、音源データの対応付けを見直すように構成してもよい。対応付けを見直す周期は任意である。例えば、音声選択手段５６２において、所定の周期で、予め定められた条件が成立したかどうかを確認することが考えられる。条件としては、プレイヤキャラクタＰＬとクラスタとの距離を例示できる。

【0086】

クラスタリングをやり直す頻度は、音声の対応付けを見直す頻度よりも少なくてもよい。これは、一般的に、ノンプレイヤキャラクタの移動速度が比較的小さいからである。

【0087】

対象クラスタを構成するノンプレイヤキャラクタの数が所定数以下の場合には、その対象クラスタに対応したガヤ音を再生しないようにしてもよい。こうすることで、臨場感のある音響的表現が可能になる。また、こうすることで、オーディオ処理部５３の処理負荷の低減が可能になる。

【0088】

音声選択手段５６２では、仮想空間における時間帯（例えば、昼、夜など）に応じて、音源データを選択するようにしてもよい。例えば、昼間の市場では、賑やかな雰囲気の音声を選択し、夜の市場では、静かな雰囲気の音声を選択するといった応用が考えられる。

【0089】

クラスタの代表点の決め方は任意である。例えば、対象クラスタのメンバーについて回帰直線を求め、回帰直線上の点で、かつ仮想マイクＬに最近傍の点を代表点としてもよい。

【0090】

音声選択手段５６２では、ノンプレイヤキャラクタの体の向きを考慮して、音源データを決定してもよい。例えば、クラスタ内のノンプレイヤキャラクタがプレイヤキャラクタＰＬに背中を向けているような場合に、プレイヤキャラクタＰＬの方を向いている場合よりも静かな感じの音声を選択することなどが考えられる。

【0091】

ノンプレイヤキャラクタに対応付ける特性値は、性別には限定されない。ノンプレイヤキャラクタの特性値として、性別に代えて別の特性値を採用してもよいし、別の特性値をつけ加えてもよい。特性値の他の例としては、年齢、人間かモンスターかの区別、ノンプレイヤキャラクタの行動（感情）といった特性値を挙げることができる。

【0092】

音源データの長さが、再生したい時間に満たない場合には、再生手段５３１において、その音源データを繰り返して再生（いわゆるループ再生）するようにしてもよい。ループ再生においては、音源データにおける再生の終了位置、および再生の再開位置をランダムに変更するとよい。こうすることで、再生の周期性をユーザに気づかれにくくできる。

【0093】

ゲームプログラムは、いわゆるオンラインゲーム用のゲームプログラムとして実装してもよい。ゲームプログラムがオンラインゲーム用である場合には、グラフィック処理部５２、オーディオ処理部５３、制御部５６などで行っていた処理をそれらに代わってサーバ側で行ってもよいし、サーバ側とクライアント（ゲーム装置５）側とで分担してもよい。

【0094】

音声再生プログラムをゲームプログラムとして実装する場合には、ゲームの種類に限定はない。

【0095】

音声再生プログラムは、ゲームプログラム以外に適用してもよい。例えば、映画、アニメーションなどに音響効果を付すプログラムおよび装置にも応用できる。

【0096】

ガヤ音声の出力とともに、ディスプレイ６１に何らかの画像を表示してもよい。例えば、賑わいを示すようなエフェクト（漫画的な表現など）を画面に描画することが考えられる。

【0097】

これらの他の実施形態を採用した場合においても、本発明の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。

【符号の説明】

【0098】

５ ゲーム装置
５５ 記憶部
５６ 制御部
５３１ 再生手段
５６１ クラスタリング手段
５６２ 音声選択手段
Ｌ 基準点
ＶＳ 仮想空間

【図1】

【図2】

【図3】