特許 7248913 音声情報生成プログラム、音声再生プログラム、および音声再生装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-22

(45)【発行日】2023-03-30

(54)【発明の名称】音声情報生成プログラム、音声再生プログラム、および音声再生装置

(51)【国際特許分類】

   H04R 3/00 20060101AFI20230323BHJP

   H04S 5/00 20060101ALI20230323BHJP

   H04S 7/00 20060101ALI20230323BHJP

   G10L 19/00 20130101ALN20230323BHJP

【ＦＩ】

H04R3/00 310

H04S5/00 500

H04S7/00 300

G10L19/00 312E

【請求項の数】 10

(21)【出願番号】P 2020137506

(22)【出願日】2020-08-17

(65)【公開番号】P2022033546

(43)【公開日】2022-03-02

【審査請求日】2022-01-18

(73)【特許権者】

【識別番号】000129149

【氏名又は名称】株式会社カプコン

(74)【代理人】

【識別番号】110001427

【氏名又は名称】弁理士法人前田特許事務所

(72)【発明者】

【氏名】小島 健二

(72)【発明者】

【氏名】松下 翔

(72)【発明者】

【氏名】櫻井 赳

【審査官】西村 純

(56)【参考文献】

【文献】米国特許出願公開第２０１８／００２７３５０（ＵＳ，Ａ１）

【文献】特開２００２－１５９０９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｒ １／００－３１／００

Ｈ０４Ｓ １／００－ ７／００

Ｇ１０Ｌ １９／００－１９／２６

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
画像で示された空間における音圧と粒子速度を、シミュレーションによって、前記空間の複数箇所について算出し、前記粒子速度と前記音圧の組の複数から、時系列の複数のベクトルを求める算出部と、
前記算出部が求めたベクトルの数を減らす圧縮処理を行う第１圧縮部と、
して機能させることを特徴とする音声情報生成プログラム。

【請求項2】

請求項１において、
前記第１圧縮部は、前記算出部が求めたベクトルの一部または全部を、時間軸上で複数の時間領域に区分し、前記時間領域毎に前記圧縮処理を行う
ことを特徴とする音声情報生成プログラム。

【請求項3】

請求項２において、
前記第１圧縮部は、前記音圧と閾値との比較結果に基づいて、前記区分を行う
ことを特徴とする音声情報生成プログラム。

【請求項4】

請求項２または請求項３において、
前記第１圧縮部は、各時間領域における所定数のベクトルについて、前記音圧の合計値、および音の伝播方向を示す角度の平均値を算出し、算出した合計値および平均値を用いて、前記時間領域に対応する１つまたは複数のベクトルを生成する
ことを特徴とする音声情報生成プログラム。

【請求項5】

請求項１において、
前記第１圧縮部は、音の伝播方向毎に前記音圧の合算値を求めることによって、前記伝播方向に対応するベクトルを生成する
ことを特徴とする音声情報生成プログラム。

【請求項6】

請求項１から請求項５の何れかにおいて、
前記第１圧縮部は、時系列で並んだ所定数のベクトルを用いて、球面調和関数を生成する
ことを特徴とする音声情報生成プログラム。

【請求項7】

請求項１から請求項６の何れかにおいて、
前記コンピュータを、
前記画像における位置によって前記第１圧縮部が生成したデータを探索するための探索データを生成する探索データ生成部として機能させる
ことを特徴とする音声情報生成プログラム。

【請求項8】

請求項７において、
前記コンピュータを、
前記探索データを、前記画像における位置を基準にグループ化し、前記グループ内において互いに類似する探索データを間引く第２圧縮部として機能させる
ことを特徴とする音声情報生成プログラム。

【請求項9】

コンピュータを、
与えられた再生情報にしたがって音声を再生する再生部と、
画像で示された空間における位置によって前記再生情報を探索するための探索データを保持する探索データ保持部と、
前記位置と前記探索データに基づいて前記再生情報を探索して前記再生部に与える探索部と、
して機能させ、
前記再生情報は、前記空間における音圧と粒子速度の組に基づいて生成されたベクトルであり、
前記音圧と前記粒子速度の組は、予め求められたものであり、
前記探索データは、時間軸において圧縮された前記ベクトルに基づいて生成されたものである
ことを特徴とする音声再生プログラム。

【請求項10】

請求項９の音声再生プログラムを記憶した記憶部と、
前記音声再生プログラムを実行する制御部と、
を備えたことを特徴とする音声再生装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声情報生成プログラム、音声再生プログラム、および音声再生装置に関する。

【背景技術】

【0002】

ゲームソフトウェアには、説得力のある音を生成するために、仮想空間について、シミュレーションを行うものがある（例えば特許文献１を参照）。特許文献１の例では、散乱する音のシミュレーションを行うとされている。

【先行技術文献】

【特許文献】

【0003】

【文献】米国特許第１０，６０２，２９８号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

シミュレーションは、リアルな音を生成するには有効な手段である。しかしながら、シミュレーションの結果は、一般的には容量が大きいので、コンピュータの資源（メモリなど）の消費量が大きくなりがちである。

【0005】

本発明の目的は、必要なデータ容量を抑えつつ音場を再現できるようにすることにある。

【課題を解決するための手段】

【0006】

第１の発明は、コンピュータを、
画像で示された空間における音圧と粒子速度を、シミュレーションによって、前記空間の複数箇所について算出し、前記粒子速度と前記音圧の組の複数から、時系列の複数のベクトルを求める算出部と、
前記算出部が求めたベクトルの数を減らす圧縮処理を行う第１圧縮部と、
して機能させることを特徴とする音声情報生成プログラムである。

【0007】

また、第１発明において、前記第１圧縮部は、前記算出部が求めたベクトルの一部または全部を、時間軸上で複数の時間領域に区分し、前記時間領域毎に前記圧縮処理を行ようにしてもよい。

【0008】

また、前記発明においては、前記第１圧縮部は、前記音圧と閾値との比較結果に基づいて、前記区分を行うようにしてもよい。

【0009】

また、前記発明においては、前記第１圧縮部は、各時間領域における所定数のベクトルについて、前記音圧の合計値、および音の伝播方向を示す角度の平均値を算出し、算出した合計値および平均値を用いて、前記時間領域に対応する１つまたは複数のベクトルを生成してもよい。

【0010】

また、前記発明においては、前記第１圧縮部は、音の伝播方向毎に前記音圧の合算値を求めることによって、前記伝播方向に対応するベクトルを生成してもよい。

【0011】

また、前記発明においては、前記第１圧縮部は、時系列で並んだ所定数のベクトルを用いて、球面調和関数を生成してもよい。

【0012】

また、前記発明においては、前記コンピュータを、前記第１圧縮部が生成したデータを、前記画像における位置によって探索するための探索データを生成する探索データ生成部として機能させてもよい。

【0013】

また、前記発明においては、前記コンピュータを、前記探索データを、前記画像における位置を基準にグループ化し、前記グループ内において互いに類似する探索データを間引く第２圧縮部として機能させてもよい。

【0014】

また、第２の発明は、コンピュータを、
与えられた再生情報にしたがって音声を再生する再生部と、
前記再生情報を、画像で示された空間における位置によって探索するための探索データを保持する探索データ保持部と、
前記位置と前記探索データに基づいて前記再生情報を探索して前記再生部に与える探索部と、
して機能させ、
前記再生情報は、前記空間における音圧と粒子速度の組に基づいて生成されたベクトルであり、
前記音圧と前記粒子速度の組は、予め求められたものであり、
前記探索データは、時間軸において圧縮された前記ベクトルに基づいて生成されたものである
ことを特徴とする音声再生プログラムである。

【0015】

また、第３の発明は、前記音声再生プログラムを記憶した記憶部と、
前記音声再生プログラムを実行する制御部と、
を備えたことを特徴とする音声再生装置である。

【発明の効果】

【0016】

本発明によれば、必要なデータ容量を抑えつつ音場を再現できる。

【図面の簡単な説明】

【0017】

【図1】音声情報生成装置の構成を示すブロック図である。

【図2】圧縮処理の概念を説明する図である。

【図3】探索データと仮想空間との関係を例示する図である。

【図4】空間圧縮後の探索データと仮想空間との関係を例示する図である。

【図5】音声情報生成装置の動作例を示すフローチャートである。

【図6】ゲーム装置の構成を示すブロック図である。

【図7】ドロネー図情報で規定された三角形とプレイヤキャラクタとの位置関係を例示する図である。

【図8】ゲーム装置の動作例を示すフローチャートである。

【図9】実施形態２における、時間圧縮処理の概念を説明する図である。

【発明を実施するための形態】

【0018】

本発明の実施形態にかかる音声情報生成プログラム、音声再生プログラム、および音声再生装置について、図面を参照して説明する。本発明の音声情報生成プログラムは、音声情報生成装置１０（後述）を動作させるプログラムとして実装されている。音声再生プログラムは、ゲームプログラムとして実装されている。音声再生装置は、ゲーム装置５（後述）として実現されている。
［実施形態１］
《概要》
このゲームプログラムによるゲームでは、ユーザの操作を受けて、プレイヤキャラクタを仮想ゲーム空間（以下、単に仮想空間という）で活動させたり、プレイヤキャラクタ同士でグループを編成して様々なアクションを行わせたりする。以下の説明では、仮想空間は三次元である。

【0019】

このゲームでは、種々のゲーム音声が再生される。この明細書における、ゲーム音声とは、ゲーム中にスピーカ６２（後述）から流れる音声である。例えば、仮想空間内に配置された種々のオブジェクト（例えば電話機を示すオブジェクトなど）が発する音や人の話し声などがゲーム音声の一例である。

【0020】

また、機械の動作音、洞窟において入口から出口に向かう風の音、町の雑踏の音（通行人の声や付近を通過する自動車の音等）、森や草原に吹く風の音等の環境音もゲーム音声の一例である。

【0021】

《音声情報生成装置１０》
〈ハードウェアの構成〉
音声情報生成装置１０は、３次元的な音の再生を行うための情報を生成する装置である。音声情報生成装置１０は、例えば、パーソナルコンピュータに所定のソフトウェアをインストールすることによって構成できる。音声情報生成装置１０には、音声情報生成プログラムがインストールされる。

【0022】

図１は、音声情報生成装置１０の構成を示すブロック図である。図１に示すように、音声情報生成装置１０には、ディスプレイ９１、スピーカ９２、およびキーボード９３が接続されている。

【0023】

音声情報生成装置１０は、ネットワークインターフェース８１、グラフィック処理部８２、オーディオ処理部８３、操作部８４、記憶部８５、および制御部８６を有する。グラフィック処理部８２、オーディオ処理部８３、操作部８４、および記憶部８５は、バス８７を介して制御部８６と電気的に接続されている。

【0024】

ネットワークインターフェース８１は、例えば、他のゲーム開発装置や外部のサーバ装置（何れも図示を省略）との間で各種データを送受信するために、前記通信ネットワークに通信可能に接続される。

【0025】

グラフィック処理部８２は、ディスプレイ９１（例えば液晶ディスプレイ）と接続されている。グラフィック処理部８２は、制御部８６から出力される画像情報に従って、ディスプレイ９１に各種画像を表示する。

【0026】

オーディオ処理部８３は、スピーカ９２と接続されている。オーディオ処理部８３は、制御部８６から出力される音声情報に従って、音声をスピーカ９２から出力（再生）させる。

【0027】

オーディオ処理部８３は、３次元的な音の再生を行うために、多チャンネルの音声出力ができるように構成されている。それに合わせて、音声情報生成装置１０には、複数のスピーカ９２が接続されている。これらのスピーカ９２は、３次元的な音の再生ができるように、聴取者の左右、前後、上方などに配置される。聴取者は、例えば、音声情報生成装置１０を使用するゲーム開発者である。

【0028】

操作部８４は、キーボード９３と接続されている。操作部８４には、使用者（例えばゲーム開発者）によるキーボード９３の操作に応じて、操作信号が入力される。例えば、使用者は、キーボード９３を操作することにより、記憶部８５に記憶された各種プログラムを実行させることができる。使用者は、キーボード９３を操作することで、種々の情報を入力することができる。

【0029】

記憶部８５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部８５には、各種プログラムなどが格納されている。

【0030】

制御部８６は、音声情報生成装置１０を制御する。制御部８６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。例えば、半導体メモリには、音声情報生成プログラムが格納される。

【0031】

〈音声情報生成装置１０における制御部８６の機能的構成〉
音声情報生成装置１０の制御部８６は、そのＣＰＵが音声情報生成プログラムを実行することによって、算出部８６１、第１圧縮部８６２、探索データ生成部８６３、第２圧縮部８６４、およびドロネー図生成部８６５として機能する。

【0032】

算出部８６１は、画像で示された空間（ここでは、仮想空間）における音圧と粒子速度を、シミュレーションによって、この空間の複数箇所（離散的な点）について算出する。以下では、シミュレーションが行われた空間内の点を計算点と呼ぶ。

【0033】

本実施形態では、シミュレーションの手法として、有限差分時間領域(Finite Difference Time Domain; FDTD)法を採用している。FDTD法によって、各計算点について、粒子速度と音圧の組を複数組求めることができる。FDTD法による音場解析では、原理上、計算点は等間隔（グリッド状）に配置される。

【0034】

算出部８６１は、粒子速度と音圧の組から、時系列のベクトル（以下、インテンシティベクトルＩ）を求める。インテンシティベクトルＩは、次の式で表せる。

【0035】

【数1】

【0036】

式（１）において、p(t)は音圧（スカラー）であり、u(t)は粒子速度（ベクトル）である。インテンシティベクトルＩは、瞬時音響インテンシティと呼ばれることがある。各計算点では、時系列で、粒子速度と音圧の組が複数求められる。したがって、算出部８６１は、ひとつの計算点に対して、複数のインテンシティベクトルＩを求める。

【0037】

第１圧縮部８６２は、計算点毎に次の処理を行う。
（１）算出部８６１が求めたインテンシティベクトルＩの数を減らす圧縮処理。
（２）圧縮処理で得たデータ（後述の方向ベクトルＶ）を球面調和関数で表す処理。

【0038】

図２は、圧縮処理の概念を説明する図である。図２の（Ａ）は、ある計算点における、インテンシティベクトルＩの絶対値の時間推移を示している。

【0039】

まず、第１圧縮部８６２は、インテンシティベクトルＩ（瞬時音響インテンシティ）の大きさの時間平均を求めることによって、波形を平滑化する。図２の（Ｂ）に、ある計算点における、インテンシティベクトルＩを平滑化した波形を例示する。

【0040】

第１圧縮部８６２は、圧縮処理の過程において、着目している計算点におけるインテンシティベクトルＩの一部または全部（以下、ベクトル集合と呼ぶ）を、時間軸上で複数の時間領域に区分する。具体的に、第１圧縮部８６２は、音圧pと閾値λとを比較し、閾値λを超える音圧ｐが連続している時間範囲をひとつの区分とする。

【0041】

図２では、ハッチングで示した区間が、閾値λを超える音圧ｐが連続している時間範囲である。この区分の手法は、ある点で観測される音波が、反射波毎に分かれて到来することに着目した手法である。

【0042】

第１圧縮部８６２は、ひとつの区間に対して、ひとつまたは複数の方向ベクトルＶを対応付ける。方向ベクトルＶは、所定数のインテンシティベクトルＩから生成したベクトルである。方向ベクトルＶの生成方法は、次の通りである。

【0043】

第１圧縮部８６２は、区間毎（換言すると到来波毎）のインテンシティベクトルＩの大きさの合計値と、進行方向（角度）の平均値とを求める。図２の（Ｃ）に、ある計算点における、インテンシティベクトルＩの進行方向の時間推移を例示する。

【0044】

次に、第１圧縮部８６２は、1つの区間あたりの音波の大きさと進行方向を示すベクトル量として、合計値と、進行方向（角度）の平均値とを要素とする新たな方向ベクトルＶを作る。本実施形態では、複数のインテンシティベクトルＩを含んだひとつの区間（ひとつの到来波）が、ひとつの方向ベクトルＶで表される。

【0045】

第１圧縮部８６２によって生成された方向ベクトルＶの数は、その元になるインテンシティベクトルＩの数よりも少なくなる。つまり、本実施形態では、所定の計算点に対応した複数のインテンシティベクトルＩ（ベクトル集合）が、時間軸上で圧縮される。以下では、第１圧縮部８６２が、時間軸上で行うベクトル集合の圧縮を時間圧縮と呼ぶ。

【0046】

３次元空間における球面座標の表現方法の一つとして球面調和関数がある。第１圧縮部８６２は、計算点毎に、方向ベクトルＶを用いて球面調和関数を作成する。

【0047】

ある方向(θ,φ)におけるｍ次ｎ番目の球面調和関数は、次の式で一意に定まることが知られている。

【0048】

【数2】

【0049】

【数3】

【0050】

上式において、ｍ，ｎは整数であり、ｍ≧｜ｎ｜である。

【0051】

ここで、計算点に対応するＫ個の方向ベクトルＶの集合をＱとする。集合Ｑは、極座標系を用いると、次のように表すことができる。

【0052】

【数4】

【0053】

また、集合Ｑのｍ次ｎ番目の球面調和関数Ｑｍｎは、次の式で表すことができる。

【0054】

【数5】

【0055】

式（５）から分かるように、Ｎ次までの球面調和関数を用いることによって、方向ベクトルの数Ｋが大きくても、方向ベクトルの集合Ｑを、（Ｎ＋１）^２個の係数（Ｑｍｎ）によって表現することができる。以下では、集合Ｑを表現する（Ｎ＋１）^２個の係数を係数群Ｃという。

【0056】

探索データ生成部８６３は、第１圧縮部８６２が生成したデータを、画像における位置（ここでは仮想空間における位置）によって探索するためのデータ（以下、探索データという）を生成する。探索データは、計算点の位置情報と、その計算点に対応する係数群Ｃとを対にしたデータである。

【0057】

図３は、探索データと仮想空間ＶＳとの関係を例示している。図３では、仮想空間ＶＳ内には、壁Ｗ、音源Ｓ（オブジェクト）が存在する。探索データは、仮想空間ＶＳ内の計算点に対応する。すなわち、探索データは、仮想空間ＶＳ内の点と考えて差し支えない。この時点では、探索データは、仮想空間ＶＳにおいて、等間隔に配置される。

【0058】

以下では、探索データに対応する仮想空間ＶＳ内の点をサウンドプローブＳＰとよぶ。探索データ生成部８６３は、仮想空間ＶＳに配置されたサウンドプローブＳＰを、グラフィック処理部８２を介して、ディスプレイ９１に表示するように構成してもよい。

【0059】

探索データ生成部８６３は、計算点の数だけ、係数群Ｃを第１圧縮部８６２から受け取る。探索データ生成部８６３は、一旦、計算点の数と同数の探索データを生成する。これらの探索データは、位置情報をキーとして係数群Ｃを探索可能な構造のデータ（例えば、連想配列）として、音声情報生成装置１０の記憶部８５に格納される。

【0060】

第２圧縮部８６４は、探索データを間引く処理を行う。以下では、説明の便宜のため、探索データを間引く処理を空間圧縮という。具体的に、第２圧縮部８６４は、間引くことができる探索データが無くなるまで、次の（１）～（２）の処理を行う。

【0061】

（１）近傍の探索データをグループ化する処理
（２）類似する探索データを間引く処理
近傍の探索データのグループ化を行うために、まず、第２圧縮部８６４は、何れかひとつの探索データ（ここでは着目データという）を選択する。着目データと、着目データの近傍にある探索データとをグループ化する。

【0062】

第２圧縮部８６４は、「近傍にある探索データ」か否かを、計算点の位置情報に応じて判断している。具体的に、第２圧縮部８６４では、計算点同士の距離が、予め定めた閾値（距離閾値という）よりも小さい探索データ同士は、互いに近傍にあると判断している。

【0063】

次に、第２圧縮部８６４は、グループ内において互いに類似する探索データを間引く処理を行う。探索データ同士が類似するか否かは、例えば、探索データの係数群Ｃを比較することで判断できる。

【0064】

本実施形態では、第２圧縮部８６４は、着目データが持つ係数と、比較対象の検索データの係数との差分を合計する。これにより、着目データとその周囲の探索データとの間における音の変化量の大きさが数値化される。換言すると、第２圧縮部８６４は、探索点が音場へ与える影響力の大きさを数値化している。第２圧縮部８６４は、差分の合計値が予め定めた閾値（以下、影響度閾値という）よりも小さい探索データを削除する。

【0065】

以上の処理により、探索データの数を減らすことが可能になる。図４は、空間圧縮後の探索データ（サウンドプローブＳＰ）と仮想空間ＶＳとの関係を例示している。図４に示すように、空間圧縮の後（間引き後）は、サウンドプローブＳＰ（探索データ）同士の間隔が一定ではない。第２圧縮部８６４は、間引かれずに残った探索データ（空間圧縮後の探索データ）をドロネー図生成部８６５に送る。

【0066】

ドロネー図生成部８６５は、第２圧縮部８６４から受け取った探索データの位置情報に基づいて、ドロネー図を作成する。すなわち、ドロネー図生成部８６５は、各サウンドプローブＳＰを頂点とした三角形によって仮想空間ＶＳを分割する（図４参照）。

【0067】

ドロネー図生成部８６５は、ドロネー図を構成する各三角形の頂点を特定する情報（以下、ドロネー図情報という）を生成する。ドロネー図情報は、例えばサウンドプローブＳＰのＩＤ番号の組で表すことができる。

【0068】

ドロネー図生成部８６５は、ドロネー図情報を、他のプログラム（例えばゲームプログラム）で利用できるフォーマットのデータとして出力する。なお、ドロネー図生成部８６５は、ディスプレイ９１に、グラフィック処理部８２を介して、ドロネー図を表示するように構成してもよい。

【0069】

〈音声情報生成装置１０の動作例〉
図５は、音声情報生成装置１０の動作例を示すフローチャートである。図５は、探索データと、ドロネー図情報の生成手順を示している。

【0070】

探索データを生成するには、仮想空間ＶＳの構成（オブジェクトの形状や位置など）を示すデータ（以下、背景データ）を、音声情報生成装置１０内に準備する。この背景データに基づいて、算出部８６１が、数値シミュレーションを行って、仮想空間ＶＳ内の離散的な計算点における音圧と粒子速度を計算する（ステップＳ１１）。ここでは、算出部８６１は、FDTD法によって、各計算点における音圧と粒子速度を求める。

【0071】

算出部８６１は、音圧と粒子速度から、インテンシティベクトルＩ（瞬時音響インテンシティ）を算出する（ステップＳ１２）。複数のインテンシティベクトルＩからは、各計算点における音の大きさと進行方向の時間推移が分かる。

【0072】

第１圧縮部８６２は、計算点毎に、インテンシティベクトルＩを時間圧縮して、方向ベクトルＶを生成する（ステップＳ１３）。また、第１圧縮部８６２は、計算点毎に、方向ベクトルＶを用いて球面調和関数を作成する（ステップＳ１４）。

【0073】

探索データ生成部８６３は、第１圧縮部８６２が生成したデータを、画像における位置（ここでは仮想空間における位置）によって探索するための探索データ（サウンドプローブＳＰ）を生成する（ステップＳ１５）。

【0074】

第２圧縮部８６４は、探索データ生成部８６３が生成した探索データ（サウンドプローブＳＰ）の中から余分な探索データを判別し、余分なものを間引く処理（空間圧縮）を行う（ステップＳ１６）。

【0075】

ドロネー図生成部８６５は、間引かれずに残った探索データに基づいてドロネー図を作成する（ステップＳ１７）。探索データとドロネー図情報とは、ゲーム装置５等において、後述するように、音声の再生に利用できる。探索データとドロネー図情報は、ゲームプログラムなどに組み込まれる。

【0076】

ドロネー図生成部８６５は、ドロネー図情報を、所定フォーマットのデータとして出力する。ドロネー図情報の出力先は、例えば、自身の記憶部８５や、他のゲーム開発装置である。

【0077】

《ゲーム装置５の構成》
〈ハードウェアの構成〉
ゲーム装置５は、ユーザの操作に基づいて所定のゲームを実行する。図６は、ゲーム装置５の構成を示すブロック図である。ゲーム装置５には、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。

【0078】

ゲーム装置５には、例えば、パーソナルコンピュータ、プレイステーション（登録商標）、ＸＢｏｘ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）、Nintendo Switch（登録商標）などの、市販の装置を利用できる。

【0079】

ゲーム装置５では、例えば、インストールされたゲームプログラムおよびゲームデータに基づいてゲームが進行する。なお、ゲーム装置５同士も、通信ネットワーク（図示を省略）または近距離無線通信装置（図示せず）を用いて、互いにデータ通信を行うことができる。

【0080】

ゲーム装置５は、ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、記憶部５５および制御部５６を有する。ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４および記憶部５５は、バス５９を介して制御部５６と電気的に接続されている。

【0081】

ネットワークインターフェース５１は、例えばゲーム装置５や外部のサーバ装置（図示を省略）との間で各種データを送受信するために、前記通信ネットワークに通信可能に接続される。

【0082】

グラフィック処理部５２は、制御部５６から出力されるゲーム画像情報に従って、プレイヤキャラクタおよびゲーム空間に関する各種オブジェクトを含むゲーム画像を、動画形式で描画する。グラフィック処理部５２はディスプレイ６１（例えば液晶ディスプレイ）と接続されている。動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ６１上に表示される。

【0083】

オーディオ処理部５３は、制御部５６の指示に従ってデジタルのゲーム音声を再生および合成する。オーディオ処理部５３はスピーカ６２と接続されている。オーディオ処理部５３によって再生および合成されたゲーム音声は、スピーカ６２から出力される。

【0084】

オーディオ処理部５３は、３次元的な音の再生を行うために、多チャンネルの音声出力ができるように構成されている。それに合わせて、ゲーム装置５には、複数のスピーカ６２が接続されている。これらのスピーカ６２は、３次元的な音の再生ができるように、聴取者（例えばゲームのプレイヤ）の左右、前後、上方などに配置される。

【0085】

操作部５４は、コントローラ６３と接続されている。操作部５４は、操作入力に関するデータをコントローラ６３との間で送受信する。ゲームのプレイヤは、コントローラ６３のボタン等の各種操作子を操作することで、ゲーム装置５に操作信号を入力する。

【0086】

記憶部５５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部５５には、サーバ装置２からダウンロードされたゲームデータ、ゲームプログラムの一部を含む各種プログラムなどが格納されている。

【0087】

制御部５６は、ゲーム装置５の動作を制御する。制御部５６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。

【0088】

〈ゲーム装置５における制御部５６の機能的構成〉
ゲーム装置５における制御部５６は、そのＣＰＵがゲームプログラムを実行することによって、探索データ保持部５６１、および再生部５６２として機能する。このゲームプログラムには、音声情報生成装置１０が生成した、探索データとドロネー図情報とが組み込まれている。

【0089】

探索データ保持部５６１は、複数の探索データを保持している。探索データ保持部５６１が保持する探索データは、空間圧縮後の探索データである。探索データ保持部５６１は、これらの探索データを、位置情報をキーとして係数群Ｃを探索可能な構造のデータ（例えば、連想配列）として保持している。なお、ゲーム装置５におけるゲームでは、探索データ（サウンドプローブＳＰ）は、画面（ディスプレイ６１）には表示されない。

【0090】

探索データ保持部５６１は、更に、ドロネー図情報も保持している。この例では、探索データ保持部５６１は、ドロネー図を構成する各三角形の頂点の情報を、サウンドプローブＳＰのＩＤ番号によって定めている。

【0091】

再生部５６２は、与えられた再生情報に従って音声を再生する。再生部５６２は、音声の再生において、音像定位を行う。再生部５６２は、音像定位を行うため、音声が聴取される仮想の受音点（以下、仮想マイクＬ）を仮想空間に設定する。この例では仮想マイクＬは、プレイヤキャラクタの近傍に設定されている。仮想マイクＬは、プレイヤキャラクタの移動にともなって移動する。

【0092】

このゲームでは、仮想空間内に配置された音源（仮想の音源）から音声が発せられたように、音響的な演出が行われる。再生部５６２は、仮想の音源（オブジェクトなど）から発せられた音声を、あたかも仮想マイクＬで集音したかのような音響表現で、スピーカ６２に出力する。すなわち、仮想マイクＬは、仮想の聴取者であり、オーディオ処理部５３による音像定位の基準点である。

【0093】

再生部５６２は、音声を再生する場合に、探索データを用いる。具体的には、再生部５６２は、次の処理を行う。

【0094】

図７は、ドロネー図情報で規定された三角形と、プレイヤキャラクタＰＣとの位置関係を例示する図である。図７に示すように、プレイヤキャラクタＰＣ（すなわち仮想マイクＬ）は、ドロネー図内の所定の三角形に内包される。再生部５６２は、ドロネー図情報を用いて、プレイヤキャラクタＰＣが、ドロネー図内の何れの三角形に内包されるかを判定する。

【0095】

次に、再生部５６２は、プレイヤキャラクタＰＣを内包する三角形の頂点に対応したサウンドプローブＳＰがそれぞれ備える情報を取得する。具体的には、再生部５６２は、球面調和関数を特定する情報（係数群Ｃ）を取得する。

【0096】

再生部５６２は、取得した情報を用いて各頂点の球面調和関数を合成することによって、仮想マイクＬにおける球面調和関数を生成する。ここで、球面調和関数の合成を説明するにあたり、３つのサウンドプローブＡ、Ｂ、ＣがプレイヤキャラクタＰＣを囲んでいると仮定する（図７参照）。

【0097】

また、仮想マイクＬ、サウンドプローブＡ，Ｂ，Ｃによって形成される三角形の面積を、それぞれ、Ｓ_ＡＢＣ，Ｓ_ＬＡＢ，Ｓ_ＬＢＣ，Ｓ_ＬＣＡとする（図７参照）。サウンドプローブＡ、Ｂ、Ｃが持つｍ次ｎ番目の球面調和関数をそれぞれＹｍｎ_Ａ，Ｙｍｎ_Ｂ，Ｙｍｎ_Ｃとする。また、Ｙｍｎ_Ａ，Ｙｍｎ_Ｂ，Ｙｍｎ_Ｃを合成した球面調和関数をＹｍｎ_Ｌとする。

【0098】

本実施形態では、仮想マイクＬにおける球面調和関数Ｙｍｎ_Ｌを、次の式で表す。

【0099】

【数6】

【0100】

仮想マイクＬにおける球面調和関数Ｙｍｎ_Ｌが定まると、仮想マイクＬに到来する音波を再現できる。本実施形態では、再生部５６２は、球面調和関数を用いて、高次のAmbisonics（High Order Ambisonics：HOA）と呼ばれるフォーマット（以下、ＨＯＡフォーマットという）のデータを生成する。ＨＯＡフォーマットは、オーディオ処理部５３の各チャンネルから出力する音に容易にデコードできる。

【0101】

〈ゲーム装置５の動作例〉
図８は、ゲーム装置５の動作例を示すフローチャートである。図８に示すように、再生部５６２は、プレイヤキャラクタＰＣの現在の位置を特定する（ステップＳ２１）。次に、再生部５６２は、プレイヤキャラクタＰＣを囲む、ドロネー図の三角形を探索する。再生部５６２は、この探索において、探索データ保持部５６１が備える探索データを用いる。

【0102】

再生部５６２は、見つかった三角形の各頂点に対応する探索データが持っている係数群Ｃを用いて、仮想マイクＬにおける球面調和関数を合成する（ステップＳ２２）。再生部５６２は、合成して得た球面調和関数を用いて、スピーカ６２から出力する音声信号を生成する（ステップＳ２３）。

【0103】

具体的には、再生部５６２は、球面調和関数を用いて、ＨＯＡフォーマットのデータを生成する。更に、再生部５６２は、ＨＯＡフォーマットを、オーディオ処理部５３の各チャンネルから出力する音声信号にデコードする。以上の動作により、スピーカ６２からは、３次元的な音声が出力される。

【0104】

以上をまとめると、本件発明は、コンピュータを、画像で示された空間における音圧と粒子速度を、シミュレーションによって、前記空間の複数箇所について算出し、前記粒子速度と前記音圧の組の複数から、時系列の複数のベクトルを求める算出部８６１と、前記算出部８６１が求めたベクトルの数を減らす圧縮処理を行う第１圧縮部８６２と、して機能させることを特徴とする音声情報生成プログラムである。

【0105】

《本実施形態における効果》
本実施形態では、シミュレーションで得たデータが時間圧縮される。これにより、本実施形態では、音声の再生に必要なデータ容量を抑えつつ音場を再現できる。

【0106】

更に、本実施形態では、探索データが空間圧縮される。この点においても、音声の再生に必要なデータ容量を抑えつつ音場を再現できる。

【0107】

本実施形態では、圧縮したデータを、球面調和関数の係数として保持している。球面調和関数を用いたことによって、分解能（換言するとデータ容量）の調整が容易になる。

【0108】

［実施形態１の変形例］
探索テータには、球面調和関数を示す係数群Ｃに代えて、方向ベクトルＶを用いてもよい。この場合には、ドロネー図を用いた情報の合成法も実施形態１とは異なる。

【0109】

ここで、仮想マイクＬ、サウンドプローブＡ，Ｂ，Ｃによって形成される三角形の面積を、Ｓ_ＡＢＣ，Ｓ_ＬＡＢ，Ｓ_ＬＢＣ，Ｓ_ＬＣＡとする（図７参照）。また、サウンドプローブＡ、Ｂ、Ｃにおける方向ベクトルをそれぞれｖ_ａ，ｖ_ｂ，ｖ_ｃとする。本変形例では、仮想マイクＬにおける方向ベクトルＶ_Ｌを次の式によって表す。

【0110】

【数7】

【0111】

方向ベクトルＶ_Ｌが定まると、方向ベクトルＶ_Ｌの大きさを音量、方向を到来方向と解釈することで、音声を再生することができる。

【0112】

［実施形態２］
実施形態２では、時間圧縮の他の例を説明する。本実施形態では、第１圧縮部８６２の構成が、実施形態１と異なっている。図９に、実施形態２における、時間圧縮処理の概念を説明する図を示す。

【0113】

図９の（Ａ）は、ある計算点における、インテンシティベクトルＩの絶対値の時間推移を例示している。また、図９の（Ｂ）は、ある計算点における、インテンシティベクトルＩの方向（θ）（音の伝播方向）の時間推移を例示している。

【0114】

本実施形態の第１圧縮部８６２は、音の伝播方向毎に音圧の合算値を求めることによって、伝播方向に対応する方向ベクトルＶを生成する。図９の（Ｃ）に、音の伝播方向毎の、音圧の合算値を例示する。

【0115】

例えば、複雑な音場では、音の反射や回折が多重に発生する場合がある。この場合、インテンシティベクトルＩと閾値λとの比較によっては、到来波（インテンシティベクトルＩ）の波形を到来波毎に分割することが困難になる。本実施形態では、到来波を区分せずに、算出されたインテンシティベクトルＩを、所望の全範囲に対して時間圧縮を行っている。そのため、本実施形態では、反射や回折が多重に発生する状況下でも容易に時間圧縮を行うことが可能になる。

【0116】

［その他の実施形態］
仮想ゲーム空間は、３次元には限定されない。仮想ゲーム空間は、２次元でもよい。

【0117】

音声情報生成プログラム（音声情報生成装置）、および音声再生プログラムの用途は、ゲームには限定されない。音声情報生成プログラム（音声情報生成装置）、および音声再生プログラムは、例えば、映画、アニメーションなど、空間が画像で表現されたものであれば適用できる。

【0118】

探索データの類似度の判断には、係数の差分合計値とは異なる指標を用いてもよい。例えば、各探索データの係数群Ｃをベクトルと見なして、探索データの類似度判定において、２つのベクトルのコサイン類似度を指標としたり、２つのベクトルのユークリッド距離を指標にしたりできる。

【0119】

実施形態１における、インテンシティベクトルＩの平滑化は必須ではない。一方、実施形態２において、時間圧縮の際にインテンシティベクトルＩを平滑化してもよい。

【0120】

実施形態２においても、探索テータとして、球面調和関数の代わりに方向ベクトルＶを用いてもよい。

【0121】

ゲームプログラムは、いわゆるオンラインゲーム用のゲームプログラムとして実装してもよい。ゲームプログラムがオンラインゲーム用である場合には、制御部５６で行っていた処理をそれに代わってサーバ側で行ってもよいし、サーバ側とクライアント（ゲーム装置５）側とで分担してもよい。

【0122】

これらの他の実施形態を採用した場合においても、本発明の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。

【符号の説明】

【0123】

５ ゲーム装置
１０ 音声情報生成装置
５５ 記憶部
５６ 制御部
５６１ 探索データ保持部
５６２ 再生部
８６１ 算出部
８６２ 第１圧縮部
８６３ 探索データ生成部
８６４ 第２圧縮部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】