特許 7199930 音声処理プログラム、情報処理装置、音声処理方法、および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-23

(45)【発行日】2023-01-06

(54)【発明の名称】音声処理プログラム、情報処理装置、音声処理方法、および情報処理システム

(51)【国際特許分類】

   H04S 7/00 20060101AFI20221226BHJP

   A63F 13/54 20140101ALI20221226BHJP

   A63F 13/525 20140101ALI20221226BHJP

【ＦＩ】

H04S7/00 300

A63F13/54

A63F13/525

【請求項の数】 28

(21)【出願番号】P 2018218377

(22)【出願日】2018-11-21

(65)【公開番号】P2020088527

(43)【公開日】2020-06-04

【審査請求日】2021-03-09

【前置審査】

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】110001276

【氏名又は名称】弁理士法人小笠原特許事務所

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】安田 拓朗

【審査官】大石 剛

(56)【参考文献】

【文献】特開２０１３－１０２８４３（ＪＰ，Ａ）

【文献】特開２０００－２１０４７１（ＪＰ，Ａ）

【文献】特開平０９－１６０５４９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｓ ７／００

Ａ６３Ｆ １３／５４

Ａ６３Ｆ １３／５２５

(57)【特許請求の範囲】

【請求項1】

情報処理装置のコンピュータに、
仮想空間内に少なくとも１つの仮想的な音源を配置させ、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出させ、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出させ、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力させ、
前記第１の基準は、前記仮想空間内に定義される線分であって、
前記第２の基準は、前記仮想空間内に定義される点である、音声処理プログラム。

【請求項2】

前記第２の基準は、前記線分の一方端に位置する、請求項１記載の音声処理プログラム。

【請求項3】

前記第１の基準は、前記仮想空間内に設定される第１の点であって、
前記第２の基準は、前記仮想空間内の前記第１の点とは異なる位置に設定される第２の点である、請求項１記載の音声処理プログラム。

【請求項4】

前記音声処理プログラムは、前記コンピュータに、さらに、
前記仮想空間内において仮想カメラを制御させ、
前記第１の基準および前記第２の基準の位置をそれぞれ前記仮想カメラの移動に応じて移動させる、請求項１乃至３のいずれかに記載の音声処理プログラム。

【請求項5】

前記第２の基準は、前記仮想カメラの注視点となる位置に設定される、請求項４に記載の音声処理プログラム。

【請求項6】

前記音量に関するパラメータは、前記第１の基準と前記仮想的な音源との距離が近いと音量が大きく、当該距離が遠いと音量が小さくなるように算出される、請求項１乃至４のいずれかに記載の音声処理プログラム。

【請求項7】

前記音質に関するパラメータは、周波数特性の変化の度合いを示すパラメータである、請求項１乃至６のいずれかに記載の音声処理プログラム。

【請求項8】

前記周波数特性の変化の度合いを示すパラメータは、特定の周波数成分を減少させるためのパラメータであり、前記第２の基準と前記仮想的な音源との距離が近いと減少度合いが小さく、前記第２の基準と前記仮想的な音源との距離が遠くなるほど減少度合いが大きくなるように算出される、請求項７に記載の音声処理プログラム。

【請求項9】

前記音質に関するパラメータは、残響効果に関するパラメータである、請求項１乃至７のいずれかに記載の音声処理プログラム。

【請求項10】

情報処理装置のコンピュータに、
仮想空間内に少なくとも１つの仮想的な音源を配置させ、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出させ、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出させ、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力させ、
前記仮想空間内において仮想カメラを制御させ、
前記第１の基準および前記第２の基準の位置をそれぞれ前記仮想カメラの移動に応じて移動させ、
前記第２の基準は、前記仮想カメラの注視点となる位置に設定される、音声処理プログラム。

【請求項11】

情報処理装置のコンピュータに、
仮想空間内に少なくとも１つの仮想的な音源を配置させ、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出させ、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出させ、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力させ、
前記音質に関するパラメータは、残響効果に関するパラメータであり、当該残響効果に関するパラメータは、第２基準から音源までの距離が近いほど直接音と間接音との時間差を大きく、当該距離が遠くなるほど当該時間差を小さくするように算出される、音声処理プログラム。

【請求項12】

音声処理を実行する情報処理装置であって、
仮想空間内に少なくとも１つの仮想的な音源を配置し、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出し、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出し、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力し、
前記第１の基準は、前記仮想空間内に定義される線分であって、
前記第２の基準は、前記仮想空間内に定義される点である、情報処理装置。

【請求項13】

前記第２の基準は、前記線分の一方端に位置する、請求項１２に記載の情報処理装置。

【請求項14】

前記第１の基準は、前記仮想空間内に設定される第１の点であって、
前記第２の基準は、前記仮想空間内の前記第１の点とは異なる位置に設定される第２の点である、請求項１２に記載の情報処理装置。

【請求項15】

前記情報処理装置は、さらに、
前記仮想空間内において仮想カメラを制御し、
前記第１の基準および前記第２の基準の位置をそれぞれ前記仮想カメラの移動に応じて移動する、請求項１２乃至１４のいずれかに記載の情報処理装置。

【請求項16】

前記第２の基準は、前記仮想カメラの注視点となる位置に設定される、請求項１５に記載の情報処理装置。

【請求項17】

前記音量に関するパラメータは、前記第１の基準と前記仮想的な音源との距離が近いと音量が大きく、当該距離が遠いと音量が小さくなるように算出される、請求項１２乃至１５のいずれかに記載の情報処理装置。

【請求項18】

前記音質に関するパラメータは、周波数特性の変化の度合いを示すパラメータである、請求項１２乃至１７のいずれかに記載の情報処理装置。

【請求項19】

前記周波数特性の変化の度合いを示すパラメータは、特定の周波数成分を減少させるためのパラメータであり、前記第２の基準と前記仮想的な音源との距離が近いと減少度合いが小さく、前記第２の基準と前記仮想的な音源との距離が遠くなるほど減少度合いが大きくなるように算出される、請求項１８に記載の情報処理装置。

【請求項20】

前記音質に関するパラメータは、残響効果に関するパラメータである、請求項１２乃至１９のいずれかに記載の情報処理装置。

【請求項21】

音声処理を実行する情報処理装置であって、
仮想空間内に少なくとも１つの仮想的な音源を配置し、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出し、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出し、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力し、
前記仮想空間内において仮想カメラを制御し、
前記第１の基準および前記第２の基準の位置をそれぞれ前記仮想カメラの移動に応じて移動し、
前記第２の基準は、前記仮想カメラの注視点となる位置に設定される、情報処理装置。

【請求項22】

音声処理を実行する情報処理装置であって、
仮想空間内に少なくとも１つの仮想的な音源を配置し、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出し、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出し、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力し、
前記音質に関するパラメータは、残響効果に関するパラメータであり、当該残響効果に関するパラメータは、第２基準から音源までの距離が近いほど直接音と間接音との時間差を大きく、当該距離が遠くなるほど当該時間差を小さくするように算出される、情報処理装置。

【請求項23】

情報処理装置を制御するコンピュータに実行させる音声処理方法であって、
前記コンピュータに、
仮想空間内に少なくとも１つの仮想的な音源を配置させ、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出させ、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出させ、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力させ、
前記第１の基準は、前記仮想空間内に定義される線分であって、
前記第２の基準は、前記仮想空間内に定義される点である、音声処理方法。

【請求項24】

情報処理装置を制御するコンピュータに実行させる音声処理方法であって、
前記コンピュータに、
仮想空間内に少なくとも１つの仮想的な音源を配置させ、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出させ、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出させ、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力させ、
前記仮想空間内において仮想カメラを制御させ、
前記第１の基準および前記第２の基準の位置をそれぞれ前記仮想カメラの移動に応じて移動させ、
前記第２の基準は、前記仮想カメラの注視点となる位置に設定される、音声処理方法。

【請求項25】

情報処理装置を制御するコンピュータに実行させる音声処理方法であって、
前記コンピュータに、
仮想空間内に少なくとも１つの仮想的な音源を配置させ、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出させ、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出させ、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力させ、
前記音質に関するパラメータは、残響効果に関するパラメータであり、当該残響効果に関するパラメータは、第２基準から音源までの距離が近いほど直接音と間接音との時間差を大きく、当該距離が遠くなるほど当該時間差を小さくするように算出される、音声処理方法

【請求項26】

音声処理を実行する情報処理システムであって、
仮想空間内に少なくとも１つの仮想的な音源を配置し、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出し、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出し、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力し、
前記第１の基準は、前記仮想空間内に定義される線分であって、
前記第２の基準は、前記仮想空間内に定義される点である、情報処理システム。

【請求項27】

音声処理を実行する情報処理システムであって、
仮想空間内に少なくとも１つの仮想的な音源を配置し、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出し、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出し、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力し、
前記仮想空間内において仮想カメラを制御し、
前記第１の基準および前記第２の基準の位置をそれぞれ前記仮想カメラの移動に応じて移動し、
前記第２の基準は、前記仮想カメラの注視点となる位置に設定される、情報処理システム。

【請求項28】

音声処理を実行する情報処理システムであって、
仮想空間内に少なくとも１つの仮想的な音源を配置し、
前記仮想空間内の第１の基準から前記仮想的な音源までの距離に基づいて音量に関するパラメータを算出し、
前記第１の基準とは異なる前記仮想空間内の第２の基準から前記仮想的な音源までの距離に基づいて音質に関するパラメータを算出し、
前記音量に関するパラメータに基づいた音量と、前記音質に関するパラメータに基づいた音質で、前記仮想的な音源に関連付けられた音声を出力し、
前記音質に関するパラメータは、残響効果に関するパラメータであり、当該残響効果に関するパラメータは、第２基準から音源までの距離が近いほど直接音と間接音との時間差を大きく、当該距離が遠くなるほど当該時間差を小さくするように算出する、情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声制御処理に関する。

【背景技術】

【0002】

従来から、仮想的な音源と仮想マイクとの距離に基づいて、音量を制御する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－９４１６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記の技術においては、音質に関しては何も触れられていなかった。

【0005】

それ故に、本発明の目的は、仮想音源からの距離に基づいた音声制御において音量と音質とを別々に制御する、今までにない新たな音声処理が可能な音声処理プログラム、情報処理装置、音声処理方法、情報処理システムを提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、例えば以下のような構成例が挙げられる。

【0007】

構成例の一例は、音声処理プログラムであって、情報処理装置のコンピュータに、仮想空間内に少なくとも１つの仮想的な音源を配置させ、仮想空間内の第１の基準から仮想的な音源までの距離に基づいて音量に関するパラメータを算出させ、第１の基準とは異なる仮想空間内の第２の基準から仮想的な音源までの距離に基づいて音質に関するパラメータを算出させ、音量に関するパラメータに基づいた音量と音質に関するパラメータに基づいた音質とで、仮想的な音源に関連付けられた音声を出力させる。

【0008】

上記構成例によれば、音量にかかる処理で用いる基準と音質に係る処理で用いる基準とで異なる基準を用いるため、音量とは別で、演出としてどこに注目させたいかを考慮した音声表現が可能となる。

【0009】

他の構成例として、第１の基準は、仮想空間内に定義される線分であって、第２の基準は、仮想空間内に定義される点であってもよい。

【0010】

上記構成例によれば、３人称視点で画像を表示するゲーム処理等において、特にプレイヤオブジェクトの位置から手前側に存在する音源の音量について、プレイヤに与える違和感を少なくすることができる。

【0011】

他の構成例として、第２の基準は、線分の一方端に位置していてもよい。

【0012】

他の構成例として、第１の基準は、仮想空間内に設定される第１の点であって、第２の基準は、仮想空間内の第１の点とは異なる位置に設定される第２の点であってもよい。

【0013】

上記構成例によれば、第１の点と第２の点とで異なる位置を設定するため、音量とは別で音質を制御でき、演出としてどこに注目させたいかを考慮した音声表現が可能となる。

【0014】

他の構成例として、音声処理プログラムは、コンピュータに、さらに、仮想空間内において仮想カメラを制御させ、第１の基準および第２の基準の位置をそれぞれ仮想カメラの移動に応じて移動させてもよい。

【0015】

上記構成例によれば、仮想カメラの移動に伴って第１の基準および第２の基準を移動するため、プレイヤオブジェクトの位置に応じた適切な音声演出が可能となる。

【0016】

他の構成例として、第２の基準は、仮想カメラの注視点となる位置に設定されてもよい。

【0017】

上記構成例によれば、画像において注目させたい位置と音声において注目させたい位置とを一致させることができる。

【0018】

他の構成例として、音量に関するパラメータは、第１の基準と仮想的な音源との距離が近いと音量が大きく、当該距離が遠いと音量が小さくなるように算出されてもよい。

【0019】

上記構成例によれば、音量に関する表現として、違和感の少ない表現が可能となる。

【0020】

他の構成例として、音質に関するパラメータは、周波数特性の変化の度合いを示すパラメータであってもよい。

【0021】

上記構成例によれば、第２の基準と仮想的な音源との距離に基づいて、当該音源に係る音声の周波数特性を変化させることができる。

【0022】

他の構成例として、周波数特性の変化の度合いを示すパラメータは、特定の周波数成分を減少させるためのパラメータであり、第２の基準と仮想的な音源との距離が近いと減少度合いが小さく、第２の基準と仮想的な音源との距離が遠くなるほど減少度合いが大きくなるように算出されてもよい。

【0023】

上記構成例によれば、特定周波数成分のみ変化させることで、より効率的に音質を変化させ、音質の制御によってプレイヤの注目度を変えることができる。

【0024】

他の構成例として、音質に関するパラメータは、残響効果に関するパラメータであってもよい。

【0025】

上記構成例によれば、第２の基準と仮想的な音源との距離に基づいて、当該音源にかかる音声の残響効果を変化させることができる。

【0026】

他の構成例として、残響効果に関するパラメータは、第２基準から音源までの距離が近いほど直接音と間接音との時間差を大きく、当該距離が遠くなるほど当該時間差を小さくするように算出されるようにしてもよい。

【0027】

上記構成例によれば、違和感の少ない残響効果を表現しつつ、プレイヤの注目度を音質の制御によって変えることができる。

【発明の効果】

【0028】

本実施形態によれば、音量にかかる処理で用いる基準と音質に係る処理で用いる基準とで異なる基準を用いるため、音量とは別に、プレイヤの音に対する注目度を変化させることができる。

【図面の簡単な説明】

【0029】

【図1】本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図

【図2】本体装置２の内部構成の一例を示すブロック図

【図3】本実施形態に係るゲーム画面の一例

【図4】図３の状態を俯瞰した模式図

【図5】音量に関する基準を説明するための図

【図6】音量に関する基準を説明するための図

【図7】音質に関する基準を説明するための図

【図8】周波数特性の変化について説明するための図

【図9】周波数特性の変化について説明するための図

【図10】近距離残響を説明するための図

【図11】遠距離残響を説明するための図

【図12】残響効果について説明するための図

【図13】残響効果にかかる処理概要を説明するための図

【図14】近距離残響パラメータ、遠距離残響パラメータの音量と音質距離との関係を示す図

【図15】本体装置２の記憶部８４に記憶される各種データの一例を示すメモリマップ

【図16】音源オブジェクトデータ３０５のデータ構成の一例

【図17】本ゲーム処理の詳細を示すフローチャート

【図18】音源オブジェクトのパラメータ設定処理の詳細を示すフローチャート

【図19】音質パラメータ算出処理の詳細を示すフローチャート

【図20】第２の実施形態における音量に関する基準を説明するための図

【発明を実施するための形態】

【0030】

以下、本発明の実施形態について説明する。

【0031】

まず、本実施形態にかかる情報処理を実行するための情報処理システムについて説明する。本実施形態では、情報処理システムの一例として、ゲームシステムを例として説明する。このゲームシステムはどのようなものでもよいが、図１に、一例として本例で用いるゲームシステムの外観図を示す。図１で示すゲームシステム１は、本体装置（情報処理装置；本実施形態ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４とを含む。本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能である。つまり、ゲームシステム１は、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用できる。また、ゲームシステム１は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる。なお、図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２を備える。左コントローラ３および右コントローラ４は、プレイヤが入力を行うための操作部を備える装置である。

【0032】

図２は、本体装置２の内部構成の一例を示すブロック図である。本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部８４に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。なお、記憶部８４は、例えば、フラッシュメモリやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の内部記憶媒体であってもよいし、図示しないスロットに装着される外部記憶媒体等を利用する構成でもよい。

【0033】

本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用する場合において、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

【0034】

また、本体装置２は、本体装置２が左コントローラ３と有線通信を行うための端子である左側端子１７と、本体装置２が右コントローラ４と有線通信を行うための右側端子２１を備える。

【0035】

また、ディスプレイ１２は、プロセッサ８１に接続される。プロセッサ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。

【0036】

本体装置２は、コーデック回路８７およびスピーカ（具体的には、左スピーカおよび右スピーカ）８８を備える。コーデック回路８７は、スピーカ８８および音声入出力端子２５に接続されるとともに、プロセッサ８１に接続される。コーデック回路８７は、スピーカ８８および音声入出力端子２５に対する音声データの入出力を制御する回路である。

【0037】

なお、図示は省略するが、本体装置２で生成された画像や音声については、所定の出力端子を介して、外部モニタ／外部スピーカに出力することも可能である。

【0038】

［コントローラについて］
また、図示は省略するが、左コントローラ３、右コントローラ４は、それぞれ、本体装置２との間で通信を行う通信制御部を備えている。本体装置２に左コントローラ３および右コントローラ４を装着した状態では、上記左側端子１７および右側端子２１を介した有線通信が可能である。また、本体装置２と左コントローラ３および右コントローラ４とを別体として利用する場合は、上記端子を介さない無線通信で本体装置２と通信を行うことが可能である。通信制御部は、コントローラの各入力部から、入力に関する情報（具体的には、操作に関する情報を取得する。そして、通信制御部は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データを本体装置２へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報が本体装置２へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。

【0039】

［第１の実施形態における音声制御処理の概要］
次に、第１の実施形態にかかるゲームシステムで実行される処理の動作概要を説明する。本実施形態で想定する処理は、主に音声制御に関する処理である。具体的には、音の注目度を制御する処理を行う。

【0040】

図３に、第１の実施形態におけるゲーム画面の一例を示す。本実施形態では、仮想３次元空間（以下、単に仮想空間と呼ぶ）の様子を仮想カメラで撮像したものをゲーム画像として表示している。本実施形態では、３人称視点でゲーム画像を表示する場合を例とする。図３では、画面の略中央にプレイヤオブジェクト１０１が表示されている。本実施形態では、仮想カメラの注視点はプレイヤオブジェクト１０１の位置に設定されるものとする。また、プレイヤオブジェクト１０１が仮想空間内で移動すれば、仮想カメラについても、プレイヤオブジェクトが画面の略中央に表示され続けるように、その位置を移動させる。また、図３のゲーム画像では、音源オブジェクト１０２Ａ、１０２Ｂ、１０２Ｃも表示されている。当該図３の状態における仮想カメラ、プレイヤオブジェクト１０１、各音源オブジェクト１０２の位置関係をわかりやすくするため、当該仮想空間を俯瞰した場合の模式図を図４として示す。図４において、仮想カメラから見てプレイヤオブジェクト１０１の手前側で右側の位置に、音源オブジェクト１０２Ａが存在している。また、プレイヤオブジェクト１０１から奥行き側であって左側の位置に音源オブジェクト１０２Ｂが存在している。また、プレイヤオブジェクト１０１から更に奥行き側で右側の位置に、音源オブジェクト１０２Ｃも表示されている。これらの音源オブジェクト１０２は、仮想空間内において、所定の音声を発するオブジェクトである。本例では、音源オブジェクト１０２のそれぞれが異なる内容の音声を発するものとする。以下の説明では、このような位置関係であることを前提として、音声制御処理の説明を行う。

【0041】

本実施形態の音声制御処理では、後述する「基準」と各音源オブジェクト１０２との間の距離に基づき、音量に関する処理と音質に関する処理とが行われる。ここで、本実施形態において、音量とは、音の大きさを示す。また、音質とは、その音声の明瞭さ（聞き取りやすさ）を示す。そして、本実施形態では、音量に関する処理と音質に関する処理について、それぞれ異なる基準を用いるものである。以下、この２つの異なる基準を用いる理由および本実施形態に係る処理の原理に関して説明する。

【0042】

まず、プレイヤの音に対する注目度を変化させるには、音量を変化させることが考えられる、すなわち、音量を上げるとその音の注目度が高くなることが考えられる。また、同じく音の注目度を変化させるため、音質を変化させることも有効と考えられる。例えば、音質が高い音声（クリアな音声）のほうが音質の低い音声（不明瞭な音声）よりも注目度が高くなると考えられる。ここで、音量と音質の変化度合いを計算する際に、両者の変化度合いを、例えば仮想カメラの位置から音源オブジェクトまでの距離に応じて計算すると、結果的に、音の注目度は音量の大きさと一致してしまう。つまり、音量、音質共に、「仮想カメラの位置」を基準として計算する場合である。例えば、距離が近い音源のほうが、音量が大きく、かつ、音質も高くなり、距離が遠い音源のほうが、音量が小さく、音質も低くなる。その結果、単純に音量が大きい音源のほうが、その注目度が高いものとなる。換言すれば、音量の注目点と音質の注目点とが一致している状態といえる。

【0043】

上記のように、音量の注目点と音質の注目点とが一致する状態では、結果的に音の注目度が音量の大きさに一致してしまうことになる。そこで、本実施形態の処理では、音量の変化度合いの計算に用いる基準と音質の変化度合いの計算に用いる基準とで別々の基準を用いて処理を行う。これにより、音量は大きいが音質は低く、音の注目度としては低い、あるいは、音量は小さいが音質は高く、音の注目度は高い、という表現を可能とする。一例を挙げると、仮想カメラの近くに大きく写っているが、ゲーム演出的には重要度が低い音については、その音質を下げることで、ピントがずれたような音の表現が可能となる。そして、仮想カメラからは遠いが、プレイヤオブジェクト１０１のすぐ側にあり、プレイヤに注目させたい音源の音について、相対的に音質を高めることで、その注目度を高める、という表現が可能となる。換言すれば、音量とは別で、演出としてどこにプレイヤを注目させたいのか、という点を考慮した表現が可能となる。

【0044】

次に、本実施形態の処理の原理について図５～図７を用いてより具体的に説明する。

【0045】

［音量の基準について］
まず、図５および図６を用いて、音量に関する基準について説明する。一般に、音量の大きさは、受音点（音声を聴取する位置）となる所定の基準位置、例えば、仮想カメラ（仮想マイク）の位置から音源までの距離に比例すると考えられる。この点、本実施形態では、音源オブジェクトまでの距離の算出の基準として、図５に示すような線分１０６を用いている。以下、この線分のことを、「音量基準線」と呼ぶ。本実施形態では、音量基準線１０６は、仮想カメラと注視点（プレイヤオブジェクト１０１の位置）とを結ぶ線分として定義される。そして、本実施形態では、各音源オブジェクト１０２と当該音量基準線１０６とを最短距離で結ぶ直線距離に基づいて、各音源オブジェクトにかかる音量に関するパラメータ（以下、音量パラメータと呼ぶ）を算出する。図５の例では、各音源オブジェクト１０２と音量基準線１０６との最短距離となる直線距離（以下ではこの距離のことを音量距離と呼ぶ）を比較すると、音源オブジェクト１０２Ａにかかる音量距離が一番短く、次に音源オブジェクト１０２Ｂ、最後に音源オブジェクト１０２Ｃ、という順で音量距離が長くなっている。そのため、音量パラメータとして、音源オブジェクト１０２Ａにかかる音量が一番大きくなるようなパラメータが算出される。例えば音量を１～１０の１０段階（値が小さいものほど音量も小さい）で表した場合は、音源オブジェクト１０２Ａの音量は２、音源オブジェクト１０２Ｂの音量は３、音源オブジェクト１０２Ｃの音量は８、となるように音量パラメータが算出される。

【0046】

なお、音量基準線１０６からの最短距離に基づいて音量パラメータを算出するため、この最短距離が同じであれば、仮想カメラからの距離にかかわらず同じ音量を示す音量パラメータが算出され得る。例えば図６に示すように、音源オブジェクト１０２Ｄが存在しているとする。この音源オブジェクト１０２Ｄの位置は、音源オブジェクト１０２Ａと、そのｘ、ｙ座標は同一であり、ｚ座標のみが仮想カメラ側に近い位置である。すなわち、仮想カメラからの距離で考えると、音源オブジェクト１０２Ｄのほうが音源オブジェクト１０２Ａよりも仮想カメラに近い位置にある。しかし、音量基準線１０６からの最短距離で見た場合、両者共に同じ音量距離となる。そのため、この場合は、音源オブジェクト１０２Ａと１０２Ｄとは、同じ音量として算出されることになる。

【0047】

このように、線分を用いて音量を算出することで、上記図３で示したようなプレイヤオブジェクトが表示される３人称視点でゲーム画像を表示する場合において、プレイヤに違和感の少ない音声表現ができる。例えば、仮想カメラの位置～プレイヤオブジェクト間に存在する複数の音源オブジェクトについては、これらの音量は同じ程度にしたほうが、プレイヤに与える違和感は少ないものとなる。

【0048】

［音質の基準について］
次に、音質に関する基準について説明する。図７は、音質に関する基準について説明するための図である。本実施形態では、音量については、上記「音量基準線」という線分を用いているのに対して、音質に関しては、図７に示すような音質基準点１０８という基準を利用する。つまり、概念的には、音量に関する処理における受音点と音質に関する処理における受音点を異ならせて処理を行うものといえる。当該音質基準点１０８は、仮想空間内に定義されるものである。本実施形態では、当該音質基準点１０８は、注視点と同じ位置に設定される（結果的に、本例ではプレイヤオブジェクト１０１の位置と重なることになる）。そのため、結果的には音質基準点１０８は音量基準線１０６の一端と同じ位置に設定されることになる。

【0049】

本実施形態では、上記音質基準点と各音源オブジェクトとの最短距離となる直線距離に基づいて、各音源オブジェクトにかかる音質に関するパラメータ（以下、音質パラメータ）を算出する。図７の例では、各音源オブジェクト１０２と音質基準点１０８との最短距離となる直線距離（以下ではこの距離のことを音質距離と呼ぶ）を比較すると、音源オブジェクト１０２Ｂに係る音質距離が最短となっている。つまり、上記音量距離で考えた場合は音源オブジェクトＡが最短距離に存在する音源オブジェクトであるが、音質距離で考えた場合は、音源オブジェクトＢが最短距離に存在する音源オブジェクトということになる。この場合、本実施形態では、音源オブジェクト１０２Ａよりも音源オブジェクト１０２Ｂの音の注目度が高くなるように、各音源オブジェクト１０２の音質パラメータを算出する。具体的には、音源オブジェクト１０２Ａの音質が音源オブジェクト１０２Ｂの音質よりも低くなるように音質パラメータを算出する。これにより、相対的に音質が高くなる音源オブジェクト１０２Ｂに対するプレイヤの注目度を上げることが可能となる。

【0050】

ここで、本実施形態における具体的な音質パラメータの内容に関して説明する。本実施形態では、音質を変化させる処理の例として、「周波数特性の変化させる処理」と「残響を変化させる処理」を行う。

【0051】

［周波数特性の変化について］
まず、周波数特性を変化させる処理の概念について説明する。図８はある音声の（本来の）周波数スペクトラムを示す図である。図８において、縦軸は音量、横軸は周波数を示す。また、図９は、同じ音声について周波数特性を変化させた後の周波数スペクトラムを示す図である。図９において点線で囲んで示しているように、３００ｈｚの周波数成分、および、２ｋｈｚの周波数成分（より正確には、これらの周波数成分を中心とした周波数帯の成分）の音量を図８のものより減少させる処理を行うことで、当該音声に係る周波数特性を変化させている。そして、本実施形態では、この減少させる量（変化させる量）を上記音質距離に基づいて算出する。具体的には、上記音質距離が長いほど、当該減少させる量も大きくなるように算出する。以下の説明では、この減少させる量を示す値のことを「周波数特性パラメータ」と呼ぶ。

【0052】

なお、図８および図９の例では、３００ｈｚ、および、２ｋｈｚの周波数成分について減少させる例を示しているが、これは一例であって、減少させる具体的な周波数成分はこれに限るものではない。上記の例は、図８で例示する音声についてはこれらの周波数成分を減少させることで、より効果的にその音声の明瞭性を調整できる、というものの一例である。なお、本実施形態の処理では、全ての音源オブジェクトについて一律に３００ｈｚ、および、２ｋｈｚの周波数成分の音量を変化させるものとする。但し、他の実施形態では、例えば音源オブジェクト毎に、減少させる周波数成分を異ならせてもよい。つまり、その音源オブジェクトが発する音声内容に応じて、音質の変化がより効果的に現れるような周波数成分を変化させるようにしてもよい。

【0053】

また、本実施形態では、周波数特性の変化として、その音源から発せられる本来の音声をデフォルトとして、周波数成分を「減少」だけさせる場合を例としている。すなわち、周波数成分をデフォルトの値から増加はさせないような処理としている。この点についても、他の実施形態では、周波数成分を減少させる他、増加させるような処理を行ってもよい。

【0054】

［残響の変化について］
次に、残響を変化させる処理の概念について説明する。本実施形態では、直接音と間接音（反射音とも呼ばれる）との時間差の大きさを変化させることで、その音に対するプレイヤの注目度を変えようとするものである。この時間差は、例えば受音点と音源との距離に応じて変化するものである。例えば、受音点が音源に近い場合の残響と受音点が音源から遠い場合の残響とでは、直接音と間接音との時間差も異なってくる。以下の説明では、前者の残響のことを「近距離残響」と呼び、後者の残響のことを「遠距離残響」と呼ぶ。

【0055】

ここで、この「近距離残響」および「遠距離残響」の概念について図を用いて補足説明する。図１０は、本実施形態における近距離残響の概念を示す模式図である。図１０では、四方が壁に囲まれている空間を俯瞰した状態を示しており、この空間内には音源１２１と、受音点１２２が存在している例を示す。図１０においては、図の左端近くに音源１２１が存在し、そのすぐ右側に受音点１２２が存在している。このような位置関係の場合、音源から発せられた直接音については直接受音点に到達する。一方、間接音については、図１０の例では、一旦、図の右端の壁まで到達した後反射して、受音点１２２に到達することになる。そのため、直接音が受音点１２２に到達する時間と、間接音が受音点１２２に到達する時間の差は大きいと考えられる。一方、図１１は、本実施形態における遠距離残響の概念を示す模式図である。この図では、上記図１０に対して、受音点１２２の位置が図の右端の壁付近に存在している。つまり、音源１２１と受音点１２２との距離は、図１０の場合よりも長くなっている。このような場合、直接音が受音点１２２に到達する時間と、右端壁で反射した間接音が受音点１２２に到達する時間との差は、上記図１０の場合よりも小さなものになると考えられる。これらのことから、本実施形態では、近距離残響における直接音と間接音との時間差が遠距離残響における時間差よりも大きくなるようにする。図１２に、近距離残響の場合の時間差と遠距離残響の場合の時間差との一例を示す。図１２において、左のグラフは近距離残響の一例を示し、右のグラフは遠距離残響の一例を示す。また、グラフの縦軸は音の強度を示し、横軸は時間を示している。図１２で示されるように、近距離残響の場合の直接音と間接音との時間差は、遠距離残響の場合よりも大きなものとなっている。

【0056】

そして、本実施形態の処理では、上記近距離残響を想定した間接音（以下、近距離残響音）と、遠距離残響を想定した間接音（以下、遠距離残響音）とを生成し、これらを直接音と合成することで、出力する音声を生成するという処理を行う。このような間接音の生成に際して、近距離残響に係る音量と遠距離残響にかかる音量を上記音質距離に応じて変化させる。例えば、音質距離が短い場合は、近距離残響にかかる音量のほうが遠距離残響に係る音量よりも大きくなるようにする。より具体的には、近距離残響に係る処理で用いる音量と遠距離残響に係る処理で用いる音量との振り分け比率を算出し、振り分けられた音量で近距離残響音と遠距離残響音とがそれぞれ生成される。

【0057】

ここで、図１３を用いて、本実施形態における残響に関する処理について補足説明する。図１３は、ある音源から発せられた音声の音量について、直接音と間接音とにどのように振り分けて処理されるかを示す処理ブロック図である。図１３において、ある音源から、音量１００の音声が発せられたとする。これに対して、まず、上記音量距離に基づいて出力すべき音声の音量を決定する処理が行われる。ここでは、音量が５０に決定されたとする。したがって、音量５０の直接音が出力されることになる。さらに、当該決定された５０の音量を用いて、間接音を生成する処理が実行される。つまり、当該音量５０の直接音の残響を生成する処理が実行される。上記のように、本実施形態では近距離残響の間接音と遠距離残響の間接音を生成する処理が実行される。この処理に先立って、各処理に振り分ける音量の比率が決定される。以下の説明では、近距離残響にかかる処理に振り分ける音量を示す値を「近距離残響パラメータ」と呼ぶ。また、遠距離残響にかかる処理に振り分ける音量を示す値を「遠距離残響パラメータ」と呼ぶ。また、両者を総称して「残響パラメータ」と称することもある。この残響パラメータは、音質距離に応じて決められる。例えば、図１４で示すグラフのような関係となるように残響パラメータが算出される。図１４は、近距離残響パラメータ、遠距離残響パラメータのそれぞれの音量と音質距離との関係を示すグラフである。図１４に示すように、音質距離が０～距離Ａまでは、処理に用いる音量の近距離残響パラメータの比率が１００％となり、距離Ａ～距離Ｂにかけて、近距離残響パラメータの比率が徐々に下がっていくと共に遠距離残響パラメータの比率が徐々に上がっていく。そして。距離Ｂ以降になると、遠距離残響パラメータの比率が１００％となっている。一例ではあるが、本実施形態では、このグラフで示される関係となるように残響パラメータが音質距離に応じて算出される。

【0058】

図１３に戻り、上記残響パラメータの算出の結果、例えば、近距離残響効果の処理に対して音量４０、遠距離残響効果の処理に対して音量１０として音量が振り分けられたとする。その結果、音量が４０の近距離残響音と、音量が１０の遠距離残響音とが出力され、上記音量５０の直接音と合成されて、出力されるべき音声信号が生成されることになる。

【0059】

なお、近距離残響を想定した間接音の生成の際には、時間差を設定することの他、近距離における残響らしく聞こえるように、適切な音響効果を付する処理が適宜行われてもよい。遠距離残響を想定した間接音の生成の場合も同様に、適切な音響効果を付する処理が適宜行われてもよい。

【0060】

このように、本実施形態では、音量にかかる処理で用いる基準と音質に係る処理で用いる基準とで異なる基準を用いている。これにより、従来の表現に加えて、「音量とは別で演出としてどこに注目させたいか」を考慮した今までに無い音声表現・音声演出が可能となる。

【0061】

［本実施形態のゲーム処理の詳細］
次に、図１５～図１９を参照して、本実施形態におけるゲーム処理についてより詳細に説明する。

【0062】

［使用データについて］
まず、本ゲーム処理にて用いられる各種データに関して説明する。図１５は、本体装置２の記憶部８４に記憶される各種データの一例を示すメモリマップである。本体装置２の記憶部８４には、ゲームプログラム３０１、操作データ３０２、仮想カメラパラメータ３０３、プレイヤオブジェクトデータ３０４、音源オブジェクトデータ３０５、音量基準線データ３０６、および、音質基準点データ３０７等が記憶されている。

【0063】

ゲームプログラム３０１は、本実施形態にかかるゲーム処理を実行するためのプログラムである。

【0064】

操作データ３０２は、上記左コントローラ３および右コントローラ４から得られるデータであり、プレイヤの操作内容を示すデータである。当該操作データ３０２には、各コントローラが有する各種ボタンの押下状態を示すデータやアナログスティックに対する操作内容を示すためのデータ等が含まれている。

【0065】

仮想カメラパラメータ３０３は、仮想空間内における仮想カメラの位置、向き（撮像方向）、画角、注視点等の仮想カメラ制御に用いるための各種パラメータである。

【0066】

プレイヤオブジェクトデータ３０４は、上記プレイヤオブジェクト１０１に関するデータであり、その外観を示すデータや、当該プレイヤオブジェクトの仮想空間内における現在位置を示すデータ等が含まれている。

【0067】

音源オブジェクトデータ３０５は、上記音源オブジェクト１０２に関するデータであり、それぞれの音源オブジェクトに対応した複数の音源オブジェクトデータ３０５が記憶される。図１５では、音源オブジェクトデータ＃ｎ（ｎは１から始まる整数とする）と示している。各音源オブジェクトデータ３０５には、図１６で示されるようなデータが含まれる。図１６は、各音源オブジェクトデータ３０５のデータ構成の一例である。音源オブジェクトデータ３０５には、音源オブジェクトＩＤ３１０、原音声データ３１１、音量パラメータ３１２、音質パラメータ３１３、等が含まれる。音源オブジェクトＩＤ３１０は、各音源オブジェクトを一意に識別するためのＩＤである。原音声データ３１１は、その音源オブジェクトが発する音声を定義したデータである。例えば、音源オブジェクトが「洗濯機」であれば、洗濯機が発する動作音等をサンプリングした音声データである。換言すれば、当該音源オブジェクトに関連づけられた音声とも言える。音量パラメータ３１２は、上述した音量距離に基づいて算出されるパラメータであり、その音源オブジェクトが発する音声の音量を示すパラメータでもある。音質パラメータ３１３は、上記音質距離に基づいて算出されるパラメータである。音質パラメータ３１３には、上述したような周波数特性パラメータ３１４、近距離残響パラメータ３１５、遠距離残響パラメータ３１６が含まれる。その他、図示は省略するが、その音源オブジェクトの外観を示すデータ等も音源オブジェクトデータ３０５に含まれている。

【0068】

図１５に戻り、音量基準線データ３０６は、上述した音量基準線１０６を示すためのデータである。また、音質基準点データ３０７は、上述した音質基準点１０８を示すためのデータである。

【0069】

［プロセッサ８１が実行する処理の詳細］
次に、図１７～図１９のフローチャートを参照して、第１の実施形態にかかるゲーム処理の詳細を説明する。以下の説明では、主に音源オブジェクトに関する制御を中心として説明し、その他のゲーム処理についての詳細な説明は割愛する。

【0070】

図１７は、本ゲーム処理の詳細を示すフローチャートである。まず、ステップＳ１で、ゲームを開始するための各種の準備処理が実行される。具体的には、プロセッサ８１は、記憶部８４に記憶されているデータに基づいて仮想空間を構築し、プレイヤオブジェクト１０１、各音源オブジェクト１０２等の各種オブジェクトと仮想カメラとを、初期位置として設定されている仮想空間内の位置に配置する処理を実行する。そして、仮想カメラで仮想空間を撮像してゲーム画像を生成し、ディスプレイ１２に出力する。また、当該初期配置状態における各種の音声（ＢＧＭ、各種効果音等）の出力も開始する。

【0071】

次に、ステップＳ２で、プレイヤオブジェクト１０１を含む各種オブジェクトにかかる動作処理が実行される。プレイヤオブジェクト１０１については、操作データ３０２で示される操作内容に基づいて、プレイヤオブジェクトを移動させたり、所定の動作を行わせたりする処理が実行される。また、その他のオブジェクトに関しては、例えば自律的に移動するよう設定されているオブジェクトについては、適宜移動させる処理が実行される。

【0072】

次に、ステップＳ３で、仮想カメラのパラメータを設定する処理が実行される。具体的には、上記ステップＳ２の処理が反映されたプレイヤオブジェクトの位置に基づいて、仮想カメラの位置、向き、画角、注視点等のパラメータが設定され、仮想カメラパラメータ３０３として記憶部８４に記憶される。なお、本実施形態では、仮想カメラについては、一例として、プレイヤオブジェクトから一定の距離を保つようにして、プレイヤオブジェクトに追従移動するものとする。このことは、プレイヤオブジェクト１０１の移動に伴って仮想カメラが移動し、その結果、上記音量基準線１０６および音質基準点１０８の位置も変化し得ることを意味する。

【0073】

次に、ステップＳ４で、各音源オブジェクトに関するパラメータを設定するための処理が実行される。すなわち、各音源オブジェクトについて、その音量および音質に関するパラメータを設定する処理が実行される。図１８は、当該音源オブジェクトのパラメータを設定するための処理の詳細を示すフローチャートである。図１８において、まず、ステップＳ１１で、上記音量基準線１０６を算出する処理が実行される。具体的には、プロセッサ８１は、現在の仮想カメラの位置と注視点（本例ではプレイヤオブジェクト１０１の位置）とを結ぶ線分を算出し、当該線分を示すデータを音量基準線データ３０６として記憶部８４に記憶する。

【0074】

次に、ステップＳ１２で、上記音質基準点１０８を算出する処理が実行される、本実施形態では、注視点の位置を音質基準点１０８として算出し、その位置を示す音質基準点データ３０７として記憶部８４に記憶する。

【0075】

次に、ステップＳ１３で、仮想空間内に存在する音源オブジェクト１０２を検出する処理が実行される。例えば、プレイヤオブジェクト１０１あるいは仮想カメラから所定範囲内に存在する音源オブジェクト１０２を検出する処理が実行される。次に、ステップＳ１４で、上記検出した音源オブジェクト１０２の中から、以下に説明するステップＳ１５～Ｓ１６の処理対象とする音源オブジェクト１０２を一つ選択する処理が実行される。すなわち、ステップＳ１５～Ｓ１６の処理がまだ実行されていない音源オブジェクト１０２の中から１つを選択する処理が実行される。以下、ここで選択された音源オブジェクト１０２のことを、処理対象オブジェクトと呼ぶ。

【0076】

次に、ステップＳ１５で、処理対象オブジェクトに係る音量を示す音量パラメータを算出する処理が実行される。具体的には、まず、処理対象オブジェクトと上記音量基準線１０６との最短距離である上記音量距離が算出される。次に、当該算出した音量距離に基づいて、処理対象オブジェクトにかかる音量が算出される。そして、当該算出した音量を示す値が音量パラメータ３１２として記憶部８４に格納される。

【0077】

次に、ステップＳ１６で、音質パラメータ算出処理が実行される。この処理では、上記音質距離に基づき上記周波数特性パラメータおよび残響パラメータを算出する処理が実行される。図１９は、当該音質関連処理の詳細を示すフローチャートである。図１９において、まずステップＳ２１で、上記音質基準点１０８と処理対象オブジェクトとの間の上記音質距離が算出される。

【0078】

次に、ステップＳ２２で、上記算出された音質距離に応じた周波数特性パラメータが算出される。すなわち、上記図８および図９を用いて説明したような、所定の周波数成分にかかる音量の減少度合いが算出される。本実施形態では、音質距離が長いほど（つまり、音源から遠いほど）減少度合いが大きくなり、音質距離が短いほど（つまり、音源に近いほど）減少度合いも小さくなるように算出される。例えば、このような算出が可能な所定の関数を用いてもよいし、このような関係を定義したテーブルデータ等を用いてもよい。そして、当該算出された減少度合いを示す値が周波数特性パラメータ３１４として記憶部８４に格納される。

【0079】

次に、ステップＳ２４で、音質距離に基づいて、近距離残響パラメータ３１５および遠距離残響パラメータ３１６を算出する処理が実行される。例えば、上述の図１４のグラフで示される結果が導出されるような関数（あるいは当該グラフの内容を定義したテーブルデータでもよい）が用いられ、音質距離に基づき近距離残響パラメータ３１５および遠距離残響パラメータ３１６が算出されて、記憶部８４に記憶される。以上で、音質パラメータ算出処理は終了する。

【0080】

図１８に戻り、次に、ステップＳ１７で、検出された全ての音源オブジェクトに対して上記ステップＳ１５～Ｓ１６の処理が行われたか否かが判定され、未処理の音源オブジェクトが残っている場合は（ステップＳ１７でＮＯ）、上記ステップＳ１４に戻り、処理が繰り返される。全ての音源オブジェクトが処理済みであれば（ステップＳ１７でＹＥＳ）、音源オブジェクトのパラメータ設定処理は終了する。

【0081】

図１７に戻り、次に、ステップＳ５で、上記ステップＳ４で算出された各種パラメータに基づき、各音源オブジェクトにかかる音声を生成する処理が実行される。

【0082】

次に、ステップＳ６で、上記各音源オブジェクトにかかる音声を合成して、出力用のゲーム音声を生成する処理が実行される。

【0083】

次に、ステップＳ７で、出力用ゲーム画像を生成する処理が実行される。具体的には、上記仮想カメラで仮想空間を撮像することで、出力用のゲーム画像が生成される。

【0084】

なお、当該ステップＳ７のゲーム画像の生成処理において、ゲーム内容に応じて、被写界深度を設定する処理を併用してもよい。例えば、ゲーム画像上で、注視点から所定距離以上離れている位置の画像をぼやかして表示するための画像処理を行ってもよい。これにより、ゲーム画像上における注目点（プレイヤに注目させたい点）をわかりやすく表現することができる。

【0085】

次に、ステップＳ８で、上記生成された出力用ゲーム音声および出力用ゲーム画像を出力する処理が実行される。その後、ステップＳ９で、ゲームを終了する条件が満たされたか否かが判定される。例えばプレイヤによるゲーム終了操作が行われたか否か、等が判定される。その結果、ゲーム終了条件が満たされていない場合は（ステップＳ９でＮＯ）、上記ステップＳ２に戻り、処理が繰り返される。ゲーム終了条件が満たされていた場合は（ステップＳ９でＹＥＳ）、本実施形態にかかるゲーム処理が終了する。

【0086】

このように、本実施形態では、音量に関するパラメータの算出に用いる基準と、音質に関するパラメータの算出に用いる基準とで、異なる基準を用いてそれぞれのパラメータを算出している。これにより、「音量とは別で演出としてどこに注目させたいか」を考慮した今までに無い音声表現・音声演出が可能となる。例えば、仮想カメラの近くに大きく写っているが、ゲームの内容的には重要度が低い音声については、ピントがずれたような音声の表現が可能となる。また、プレイヤに注目させたい音、すなわち、重要度の高い音声について、相対的にクリアな音声で表現して、プレイヤの注目度を高めることも可能となる。

【0087】

また、例えば、ゲーム画像の処理において被写界深度を設定し、画像上で注目させたいオブジェクトにピントを合わせた映像表現を行った場合を想定する。このような場合に、音声の観点からもこのオブジェクトにピントを合わせたような表現ができ、映像における演出意図と音声における演出意図とを一致させることが可能となる。

【0088】

［第２の実施形態］
次に、第２の実施形態について説明する。上記第１の実施形態では、音量距離の算出の基準として、音量基準線１０６という「線分」を用いる例を示した。第２の実施形態では、このような線分ではなく、音量距離算出の基準として「点」を用いるものである。このような音量距離算出の基準以外の構成については、上記第１の実施形態と同様である。

【0089】

図２０は、第２の実施形態における音量距離の算出基準について説明するための図である。図２０では、仮想カメラの位置に音量基準点１０９を定義している。第２の実施形態では、この音量基準点１０９と各音源オブジェクトとの最短となる直線距離を上記音量距離として用いるものである。このように「点」の位置を用いる場合は、例えば仮想カメラとプレイヤオブジェクトの位置（つまり視点）が同じとなる１人称視点のゲームにおいて、音量に関してプレイヤに与える違和感を軽減できる。

【0090】

一方、音質基準点１０８については、第１の実施形態同様に注視点の位置としている。そのため、音量距離の算出基準を「点」の位置にしても、その位置は音質基準点１０８とは異なる位置、すなわち、異なる基準となっているため、上記第１の実施形態と同様に、音質を変化させて音の注目度を変えることができ、第２の実施形態でも、「音量とは別で演出としてどこに注目させたいか」を考慮した音声表現が可能となる。

【0091】

なお、具体的な処理に関しては、上記第１の実施形態における音量基準線データ３０６の代わりに、上記音量基準点を示すデータを用いるようにすればよい。

【0092】

このように、第２の実施形態では、音量距離算出の基準として、「点」となる位置を用いている。これにより、特に１人称視点のゲームにおいて、音量についての違和感を軽減させつつ、第１の実施形態の場合と同様に、音質の変化によるプレイヤの音の注目度を変えることができ、今までに無い新たな音声表現が可能となる。

【0093】

［その他の変形例］

【0094】

なお、上記第１の実施形態では、音量基準線１０６については音量基準線データ３０６として一時的に記憶部に保持する構成であったが、他の実施形態では、音量基準線データ３０６を用いない構成であってもよい。例えば、上記図１８におけるステップＳ１５の処理において、処理対象オブジェクトの位置と仮想カメラの位置および注視点の位置に基づいて、その都度音量距離を算出するような構成としてもよい。この場合、ステップＳ１１の処理は不要となる。

【0095】

また、音質基準点１０８について、上記実施形態では、注視点の位置に設定する例を示した。この音質基準点１０８について、ゲーム処理中にその位置を移動させるようにしてもよい。例えば、ゲーム開始当初は注視点と音質基準点１０８とを一致させた状態であるが、その後のゲーム展開等に応じて、音質基準点１０８だけ仮想空間内の他の位置に移動させてもよい。上記図７の例で言うと、音質基準点１０８の位置を図の右上方向、すなわち音源オブジェクト１０２Ｃに近づけるようにしてもよい。また、その他、画面外（画角の範囲外）に音質基準点１０８を移動させるようにしてもよい。これにより、音質の注目点を変化させることによるプレイヤの視線誘導が可能となる。特に、ＶＲ（バーチャルリアリティ）コンテンツにおいて、プレイヤの没入感を損なわずに視線誘導を行わせることも可能となる。

【0096】

また、残響効果の処理に関して、上記実施形態では、近距離残響用の処理と遠距離残響用の処理と２つの残響効果を用意し、これらで用いる音量の振り分け比率を上記残響パラメータとして算出していた。他の実施形態では、上記のような振り分け比率は用いずに、音質距離に基づいて近距離残響から遠距離残響、あるいは遠距離残響から近距離残響に徐々に切り替えていくような処理を行ってもよい。つまり、近距離残響音と遠距離残響音とを生成して合成する処理ではなく、音質距離に応じた単体の残響音を生成して出力するような処理でもよい。

【0097】

また、例えば、ゲーム処理中に１人称視点と３人称視点とを切り替え可能なゲームにおいては、音量距離算出の基準について、上記第１の実施形態にかかる音量基準線１０６と第２の実施形態に係る音量基準点１０９とを切り替えるような構成としてもよい。これにより、視点の変化に応じて違和感の少ない音声表現が可能となる。

【0098】

また、上記実施形態では、ゲームシステムにおけるゲーム処理に適用する場合を例に挙げたが、ゲーム処理に限るものではなく、仮想３次元空間における音声制御を行う情報処理全般について、上記のような処理は適用可能である。例えば、ゲーム的な要素のないＶＲコンテンツ等にも適用可能である。

【0099】

また、上記実施形態においては、ゲーム処理にかかる一連の処理が単一の装置において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。更には、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

【符号の説明】

【0100】

１ ゲームシステム
２ 本体装置
３ 左コントローラ
４ 右コントローラ
１２ ディスプレイ
８１ プロセッサ
８４ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】