特許 7287826 音声処理プログラム、音声処理システム、音声処理装置、および音声処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-29

(45)【発行日】2023-06-06

(54)【発明の名称】音声処理プログラム、音声処理システム、音声処理装置、および音声処理方法

(51)【国際特許分類】

   G10L 21/0364 20130101AFI20230530BHJP

   A63F 13/54 20140101ALI20230530BHJP

   G10K 15/04 20060101ALI20230530BHJP

   H04R 3/00 20060101ALI20230530BHJP

【ＦＩ】

G10L21/0364

A63F13/54

G10K15/04 302F

H04R3/00 310

【請求項の数】 20

(21)【出願番号】P 2019081014

(22)【出願日】2019-04-22

(65)【公開番号】P2020177184

(43)【公開日】2020-10-29

【審査請求日】2021-03-09

【審判番号】

【審判請求日】2022-08-08

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】110001276

【氏名又は名称】弁理士法人小笠原特許事務所

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】喜多 薫

(72)【発明者】

【氏名】関河 義人

【合議体】

【審判長】畑中 高行

【審判官】樫本 剛

【審判官】田中 啓介

(56)【参考文献】

【文献】特開２０１８－１４３４７９（ＪＰ，Ａ）

【文献】大脇渉 他、「音声を埋もれさせない音信号混合法－スマートミキサーの提案－」、日本音響学会２０１２年春季研究発表会講演論文集ＣＤ－ＲＯＭ、２０１２年３月１５日、社団法人日本音響学会、ｐ．６９９～７０２

【文献】高橋弘太 他、「優先度付き非線形演算による新しいサウンドミキサー－スマートミキサーの提案－」、日本音響学会２０１２年春季研究発表会講演論文集ＣＤ－ＲＯＭ、２０１２年３月１５日、社団法人日本音響学会、ｐ．１０３５～１０３８

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G10L 13/00 - 25/93

(57)【特許請求の範囲】

【請求項1】

情報処理装置のコンピュータに、
ＢＧＭの音声であるＢＧＭ信号を時間経過に沿って出力させ、
情報処理に基づいて決定された所定のタイミングで、効果音の音声である効果音信号を出力させ、
前記効果音信号およびＢＧＭ信号はステレオ信号であり、
出力される前記効果音の所定周波数成分の音の強さが小さい、または前記ＢＧＭの前記所定周波数成分の音の強さが大きいと判定された場合に、同じタイミングで出力される前記ＢＧＭの当該所定周波数成分の音の強さを下げる調整をさせ、
前記効果音信号の右チャンネル信号および左チャンネル信号の和信号として得られるモノラル成分を算出し、当該モノラル成分における所定周波数成分の音の強さが小さいと判定された場合に、前記調整が行われたＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整をさせ、
前記ＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整が行われたＢＧＭの音声と前記効果音の音声を含む最終音声信号を合成によって生成して外部に出力させる、
音声処理プログラム。

【請求項2】

前記コンピュータにさらに、
前記効果音信号および前記ＢＧＭ信号に対して複数の所定の周波数成分の音の強さを算出させ、
前記効果音の前記複数の周波数成分のうち音の強さが小さいと判定された周波数成分それぞれに関して、同じタイミングで出力される前記ＢＧＭの当該周波数成分の音の強さを下げる調整をさせる、請求項１に記載の音声処理プログラム。

【請求項3】

前記音声処理プログラムは、前記コンピュータに、離散フーリエ変換に基づいて前記複数の所定の周波数成分の音の強さを算出させる、請求項２に記載の音声処理プログラム。

【請求項4】

前記効果音の所定周波数成分の音の強さが、前記ＢＧＭにおける当該周波数成分の音の強さに対して所定量以上小さいとき、前記効果音の所定周波数成分の音の強さが小さいまたは前記ＢＧＭの前記所定周波数成分の音の強さが大きいと判定する、請求項１から３のいずれかに記載の音声処理プログラム。

【請求項5】

前記効果音の所定周波数成分の音の強さが所定の閾値より小さいとき、当該効果音の所定周波数成分の音の強さが小さいと判定する、請求項１から３のいずれかに記載の音声処
理プログラム。

【請求項6】

前記ＢＧＭの前記所定周波数成分の音の強さが所定の閾値より大きいとき、当該ＢＧＭの当該所定周波数成分の音の強さが大きいと判定する、請求項１から３のいずれかに記載の音声処理プログラム。

【請求項7】

前記ＢＧＭの音の強さを前記効果音の強さに基づいて設定し、
前記効果音の所定周波数成分の音の強さが所定の閾値より大きいとき、当該ＢＧＭの所定周波数成分の音の強さが大きいと判定する、請求項１から３のいずれかに記載の音声処理プログラム。

【請求項8】

前記音声処理プログラムは、前記コンピュータにさらに、操作装置に対する操作入力に基づいてゲーム処理を実行させ、
前記効果音信号は、前記ゲーム処理の実行中に仮想ゲーム空間において所定のイベントが発生したときに出力される効果音である、請求項１から７のいずれかに記載の音声処理
プログラム。

【請求項9】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
ＢＧＭの音声であるＢＧＭ信号を時間経過に沿って出力し、
情報処理に基づいて決定された所定のタイミングで、効果音の音声である効果音信号を出力し、
前記効果音信号およびＢＧＭ信号はステレオ信号であり、
出力される前記効果音の所定周波数成分の音の強さが小さい、または前記ＢＧＭの前記所定周波数成分の音の強さが大きいと判定された場合に、同じタイミングで出力される前記ＢＧＭの当該所定周波数成分の音の強さを下げる調整を行い、
前記効果音信号の右チャンネル信号および左チャンネル信号の和信号として得られるモノラル成分を算出し、当該モノラル成分における所定周波数成分の音の強さが小さいと判定された場合に、前記調整が行われたＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整を行い、
前記ＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整が行われたＢＧＭの音声と前記効果音の音声を含む最終音声信号を合成によって生成して外部に出力する
、音声処理システム。

【請求項10】

前記プロセッサは、更に、
前記効果音信号および前記ＢＧＭ信号に対して複数の所定の周波数成分の音の強さを算出し、
前記効果音の前記複数の周波数成分のうち音の強さが小さいと判定された周波数成分それぞれに関して、同じタイミングで出力される前記ＢＧＭの当該周波数成分の音の強さを下げる調整を行う、請求項９に記載の音声処理システム。

【請求項11】

前記プロセッサは、離散フーリエ変換に基づいて前記複数の所定の周波数成分の音の強さを算出する、請求項１０に記載の音声処理システム。

【請求項12】

前記プロセッサは、前記効果音の所定周波数成分の音の強さが、前記ＢＧＭにおける当該周波数成分の音の強さに対して所定量以上小さいとき、前記効果音の所定周波数成分の音の強さが小さいまたは前記ＢＧＭの前記所定周波数成分の音の強さが大きいと判定する、請求項９から１１のいずれかに記載の音声処理システム。

【請求項13】

前記プロセッサは、前記効果音の所定周波数成分の音の強さが所定の閾値より小さいとき、当該効果音の所定周波数成分の音の強さが小さいと判定する、請求項９から１１のいずれかに記載の音声処理システム。

【請求項14】

前記ＢＧＭの前記所定周波数成分の音の強さが所定の閾値より大きいとき、当該ＢＧＭの当該所定周波数成分の音の強さが大きいと判定する、請求項９から１１のいずれかに記載の音声処理システム。

【請求項15】

前記ＢＧＭの音の強さを前記効果音の強さに基づいて設定し、
前記効果音の所定周波数成分の音の強さが所定の閾値より大きいとき、当該ＢＧＭの所定周波数成分の音の強さが大きいと判定する、請求項９から１１のいずれかに記載の音声処理システム。

【請求項16】

前記プロセッサはさらに、操作装置に対する操作入力に基づいてゲーム処理を実行し、
前記効果音信号は、前記ゲーム処理の実行中に仮想ゲーム空間において所定のイベント
が発生したときに出力される効果音である、請求項９から１５のいずれかに記載の音声処理システム。

【請求項17】

プロセッサを備える音声処理装置であって、
前記プロセッサは、
ＢＧＭの音声であるＢＧＭ信号を時間経過に沿って出力し、
情報処理に基づいて決定された所定のタイミングで、効果音の音声である効果音信号を出力し、
前記効果音信号およびＢＧＭ信号はステレオ信号であり、
出力される前記効果音の所定周波数成分の音の強さが小さい、または前記ＢＧＭの前記所定周波数成分の音の強さが大きいと判定された場合に、同じタイミングで出力される前記ＢＧＭの当該所定周波数成分の音の強さを下げる調整を行い、
前記効果音信号の右チャンネル信号および左チャンネル信号の和信号として得られるモノラル成分を算出し、当該モノラル成分における所定周波数成分の音の強さが小さいと判定された場合に、前記調整が行われたＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整を行い、
前記ＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整が行われたＢＧＭの音声と前記効果音の音声を含む最終音声信号を合成によって生成して外部に出力する、
音声処理装置。

【請求項18】

前記プロセッサは、さらに、
前記効果音信号および前記ＢＧＭ信号に対して複数の所定の周波数成分の音の強さを算出し、
前記効果音の前記複数の周波数成分のうち音の強さが小さいと判定された周波数成分それぞれに関して、同じタイミングで出力される前記ＢＧＭの当該周波数成分の音の強さを下げる調整を行う、請求項１７に記載の音声処理装置。

【請求項19】

情報処理装置を制御するコンピュータが実行する音声処理方法であって、
前記コンピュータに、
ＢＧＭの音声であるＢＧＭ信号を時間経過に沿って出力させ、
情報処理に基づいて決定された所定のタイミングで、効果音の音声である効果音信号を出力させ、
前記効果音信号およびＢＧＭ信号はステレオ信号であり、
出力される前記効果音の所定周波数成分の音の強さが小さい、または前記ＢＧＭの前記所定周波数成分の音の強さが大きいと判定された場合に、同じタイミングで出力される前記ＢＧＭの当該所定周波数成分の音の強さを下げる調整をさせ、
前記効果音信号の右チャンネル信号および左チャンネル信号の和信号として得られるモノラル成分を算出し、当該モノラル成分における所定周波数成分の音の強さが小さいと判定された場合に、前記調整が行われたＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整をさせ、
前記ＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整が行われたＢＧＭの音声と前記効果音の音声を含む最終音声信号を合成によって生成して外部に出力させる、音声処理方法。

【請求項20】

前記コンピュータにさらに、
前記効果音信号および前記ＢＧＭ信号に対して複数の所定の周波数成分の音の強さを算出させ、
前記効果音の前記複数の周波数成分のうち音の強さが小さいと判定された周波数成分それぞれに関して、同じタイミングで出力される前記ＢＧＭの当該周波数成分の音の強さを下げる調整をさせる、請求項１９に記載の音声処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＢＧＭと効果音の出力を制御する音声制御処理に関する。

【背景技術】

【0002】

従来から、ＢＧＭと効果音とを出力する音声制御処理が知られている（例えば、特許文献１）。ゲーム処理等において、ＢＧＭを流しながら各種効果音を出力することで、ゲームの興趣性を高めることができる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－０６０６９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の技術において、ＢＧＭと効果音とが重なって出力される場合、ＢＧＭに効果音が沈んでしまい、効果音が聴き取りにくくなることがあった。この点、効果音を聴き取りやすくするために改良の余地があった。

【0005】

それ故に、本発明の目的は、ＢＧＭと効果音が重なって出力されても、効果音を聴き取りやすくするような音声制御が可能な音声処理プログラム、音声処理システム、音声処理装置、音声処理方法を提供することである。

【課題を解決するための手段】

【0006】

上記目的を達成するために、例えば以下のような構成例が挙げられる。

【0007】

構成例の一例は、情報処理装置のコンピュータに、以下の処理を実行させる音声処理プログラムである。コンピュータに、ＢＧＭの音声であるＢＧＭ信号を時間経過に沿って出力させ、情報処理に基づいて決定された所定のタイミングで、効果音の音声である効果音信号を出力させる。更に、出力される効果音の所定周波数成分の音の強さが小さい、またはＢＧＭの所定周波数成分の音の強さが大きいと判定された場合に、同じタイミングで出力されるＢＧＭの当該所定周波数成分の音の強さを下げる調整をさせる。そして、調整が行われたＢＧＭの音声と効果音の音声を含む最終音声信号を合成によって生成して外部に出力させる。

【0008】

上記構成例によれば、出力される効果音の所定周波数成分の音の強さが小さいとき、その効果音と同じタイミングで出力されるＢＧＭの同じ所定周波数成分の音の強さを下げて出力する。これにより、効果音とＢＧＭの音量バランスを調整して効果音をよりしっかりと聴かせることができる。

【0009】

他の構成例として、コンピュータにさらに、効果音信号およびＢＧＭ信号に対して複数の所定の周波数成分の音の強さを算出させ、効果音の複数の周波数成分のうち、音の強さが小さいと判定された周波数成分それぞれに関して、同じタイミングで出力されるＢＧＭの当該周波数成分の音の強さを下げる調整をさせてもよい。

【0010】

上記構成例によれば、複数の周波数成分について音の強さの判定および調整を行う。これにより、より細やかで適切な調整が可能となる。

【0011】

他の構成例として、音声処理プログラムは、コンピュータに、離散フーリエ変換に基づいて複数の所定の周波数成分の音の強さを算出させてもよい。

【0012】

他の構成例として、効果音の所定周波数成分の音の強さが、ＢＧＭにおける当該周波数成分の音の強さに対して所定量以上小さいとき、効果音の所定周波数成分の音の強さが小さいまたはＢＧＭの所定周波数成分の音の強さが大きいと判定するようにしてもよい。

【0013】

上記構成例によれば、同時に出力されるＢＧＭとの相対的な関係に基づいた判定を行うため、ＢＧＭおよび効果音の内容に応じたより柔軟で適切な調整が可能となる。

【0014】

他の構成例として、効果音の所定周波数成分の音の強さが所定の閾値より小さいとき、当該効果音の所定周波数成分の音の強さが小さいと判定してもよい。

【0015】

上記構成例によれば、判定の処理について簡素化しつつ、効果音とＢＧＭの音量バランスを調整することができる。

【0016】

他の構成例として、ＢＧＭの所定周波数成分の音の強さが所定の閾値より大きいとき、当該ＢＧＭの所定周波数成分の音の強さが大きいと判定してもよい。

【0017】

さらに他の構成例として、ＢＧＭの音の強さを効果音の強さに基づいて設定し、効果音の所定周波数成分の音の強さが所定の閾値より大きいとき、当該ＢＧＭの所定周波数成分の音の強さが大きいと判定してもよい。

【0018】

他の構成例として、効果音信号およびＢＧＭ信号はステレオ信号であってもよい。そして、効果音信号の右チャンネル信号および左チャンネル信号の和信号として得られるモノラル成分を算出し、当該モノラル成分における所定周波数成分の音の強さが小さいと判定された場合に、ＢＧＭのモノラル成分における所定周波数成分の音の強さを下げる調整をさせてもよい。

【0019】

上記構成例によれば、センター付近の音であるモノラル成分について更に調整を行う。これにより、ＢＧＭに沈みがちなモノラル成分の効果音について、よりしっかりと聴かせることが可能となる。

【0020】

他の構成例として、音声処理プログラムは、コンピュータにさらに、操作装置に対する操作入力に基づいてゲーム処理を実行させてもよい。更に、効果音信号は、ゲーム処理の実行中に仮想ゲーム空間において所定のイベントが発生したときに出力される効果音であってもよい。

【0021】

上記構成例によれば、ゲーム処理において、いつ発生するかわからない、すなわち、発生タイミングがランダムな各種効果音について、その発生タイミングに関わらず、そのときに同時に出力されるＢＧＭとの音の強さのバランス調整を行うことができる。これにより、効果音をユーザによりしっかりと聴かせることができ、ゲーム内の所定のイベントにユーザを注目させたり、より臨場感の高い音響効果を楽しませたりすることができる。

【発明の効果】

【0022】

本実施形態によれば、同時に出力されるＢＧＭと効果音について、効果音とＢＧＭとの音の強さのバランスを調整して出力することで、ＢＧＭに沈みがちな効果音をよりしっかりと聴かせることができる。

【図面の簡単な説明】

【0023】

【図1】本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図

【図2】本体装置２の内部構成の一例を示すブロック図

【図3】本実施形態に係るゲーム画面の一例

【図4】本実施形態の音声制御処理の概要を説明するための図

【図5】周波数特性の調整の一例を説明するための図

【図6】周波数特性の調整の一例を説明するための図

【図7】記憶部８４に記憶される各種データの一例を示すメモリマップ

【図8】本実施形態に係る音声出力制御処理の詳細を示すフローチャート

【図9】第１制御処理の詳細を示すフローチャート

【図10】第２制御処理の詳細を示すフローチャート

【発明を実施するための形態】

【0024】

以下、本発明の実施形態について説明する。

【0025】

まず、本実施形態に係る情報処理を実行するための情報処理システムについて説明する。本実施形態では、情報処理システムの一例として、ゲームシステムを例として説明する。このゲームシステムはどのようなものでもよいが、図１に、一例として本例で用いるゲームシステムの外観図を示す。図１で示すゲームシステム１は、本体装置（情報処理装置；本実施形態ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４とを含む。本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能である。つまり、ゲームシステム１は、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用できる。また、ゲームシステム１は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる。なお、図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２を備える。左コントローラ３および右コントローラ４は、プレイヤが入力を行うための操作部を備える装置である。

【0026】

図２は、本体装置２の内部構成の一例を示すブロック図である。本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部８４に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。なお、記憶部８４は、例えば、フラッシュメモリやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の内部記憶媒体であってもよいし、図示しないスロットに装着される外部記憶媒体等を利用する構成でもよい。

【0027】

本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用する場合において、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

【0028】

また、本体装置２は、本体装置２が左コントローラ３と有線通信を行うための端子である左側端子１７と、本体装置２が右コントローラ４と有線通信を行うための右側端子２１を備える。

【0029】

また、ディスプレイ１２は、プロセッサ８１に接続される。プロセッサ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。

【0030】

本体装置２は、コーデック回路８７およびスピーカ（具体的には、左スピーカおよび右スピーカ）８８を備える。コーデック回路８７は、スピーカ８８および音声入出力端子２５に接続されるとともに、プロセッサ８１に接続される。コーデック回路８７は、スピーカ８８および音声入出力端子２５に対する音声データの入出力を制御する回路である。

【0031】

なお、図示は省略するが、本体装置２で生成された画像や音声については、所定の出力端子を介して、外部モニタ／外部スピーカに出力することも可能である。

【0032】

［コントローラについて］
また、図示は省略するが、左コントローラ３、右コントローラ４は、それぞれ、本体装置２との間で通信を行う通信制御部を備えている。本体装置２に左コントローラ３および右コントローラ４を装着した状態では、上記左側端子１７および右側端子２１を介した有線通信が可能である。また、本体装置２と左コントローラ３および右コントローラ４とを別体として利用する場合は、上記端子を介さない無線通信で本体装置２と通信を行うことが可能である。通信制御部は、コントローラの各入力部から、入力に関する情報（具体的には、操作に関する情報）を取得する。そして、通信制御部は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データを本体装置２へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報が本体装置２へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。

【0033】

［本実施形態における音声制御処理の概要］
次に、本実施形態に係るゲームシステムで実行される処理の動作概要を説明する。本実施形態で想定する処理は、音声制御に関する処理である。具体的には、所定の効果音を出力する際に、この効果音と同時に出力されるＢＧＭ（バックグラウンドミュージック）との音の強さ（音量）のバランスを調整する処理を行う。これにより、効果音がＢＧＭに沈んでしまって聴き取りにくくなることを軽減して、効果音をよりしっかりユーザに聴かせることができる。

【0034】

以下の説明では、次のような状況を想定して説明する。本実施形態に係るゲームは、仮想３次元ゲーム空間（以下、単に仮想空間と呼ぶ）内でプレイヤオブジェクトを操作するゲームである。図３に、本実施形態におけるゲーム画面の一例を示す。また、ゲームのプレイ中、所定のＢＧＭデータに基づいたＢＧＭがストリーミング形式で出力されている。すなわち、時間経過に沿ってＢＧＭ信号が出力されている状態であるとする。なお、当該ＢＧＭとのそれぞれのとの音信号はステレオ信号であるとする。更に、図３で示されるように、当該仮想空間内には、鐘オブジェクト１０２が配置されている。プレイヤが上記コントローラを操作して、プレイヤオブジェクト１０１に当該鐘オブジェクト１０２を叩く動作を行わせると、当該動作が行われたタイミングで当該鐘オブジェクト１０２から「鐘の音」が効果音として出力される。当該効果音も、ステレオ信号であるとする。本実施形態の説明では、このように所定のＢＧＭが出力されている状態で、プレイヤオブジェクト１０１が操作されて、任意のタイミングで「鐘の音」が鳴らされる、という状況を例として説明する。

【0035】

まず、本実施形態に係る音声制御処理の原理・概要を説明する。上記のようにＢＧＭが出力されている状況で、更に効果音が出力された場合、ＢＧＭの音量と効果音の音量との関係次第で、効果音がＢＧＭに沈みがちになってしまい、プレイヤにとって当該効果音が聴きとりにくい、という状況があり得る。この場合、例えばＢＧＭ全体の音量を下げることで効果音を聞き取りやすくすることも考えられるが、こうすると、逆にＢＧＭが聞き取りにくくなってしまう可能性がある。また、効果音とＢＧＭとの音量バランスが崩れ、プレイヤに違和感を与える可能性もある。そこで、本実施形態に係る処理では、効果音について、予め定義した複数の周波数帯域毎に音の強さを検出し、これに対応するＢＧＭ側の周波数帯域についてその周波数特性を変化（より具体的にはゲインを下げるような調整）を行う、という制御を行う。つまり、ＢＧＭを構成する全体の周波数帯域のうち一部の周波数の特性だけを下げることで、ＢＧＭ全体の音量（きこえやすさ）についてはほぼ維持したまま、これと同時に出力される効果音をプレイヤに聴こえやすくするものである。

【0036】

図４に、本実施形態に係る音声制御処理の概要を示す。図４では、入力ソースとして、効果音データおよびＢＧＭデータが示されている。そして、効果音に係る処理とＢＧＭに係る処理が連動しながら並列的に処理されている。まず、効果音側の処理の大きな流れについて説明する。本実施形態では、効果音データに基づく効果音信号が生成され、第１分析処理Ｐ０１に出力される。また、これと同時に、後述の音声合成処理Ｐ０６にも当該効果音信号は出力される。つまり、効果音信号が２つの経路に出力される。以下では、前者に係る効果音信号を「合成用効果音信号」と呼び、後者を「分析用効果音信号」と呼ぶ。

【0037】

第１分析処理Ｐ０１では、後述するような分析処理が行われ、その結果を示す情報が第１分析結果として第１調整処理Ｐ０２に出力される。第２分析処理Ｐ０３では、後述する分析処理が行われ、その分析結果を示す情報が第２分析結果として第２調整処理Ｐ０４に出力される。第２分析処理Ｐ０３が終了した分析用効果音信号に対しては、ミュート処理Ｐ０５によって音声をミュートする処理が行われ、結果的に、この分析用効果音信号は出力されないことになる。

【0038】

次に、ＢＧＭに係る処理の大きな流れを説明する。まず、ＢＧＭデータに基づくＢＧＭ信号が生成され、第１調整処理Ｐ０２に出力される。また、上記のように、第１調整処理Ｐ０２には、第１分析結果も入力される。第１調整処理Ｐ０２では、第１分析結果に基づき、ＢＧＭ信号に後述するような周波数特性を変化させる処理を実行する。そして、この処理の実行結果であるＢＧＭ信号を「第１調整後のＢＧＭ信号」として第２調整処理Ｐ０４に出力する。

【0039】

第２調整処理Ｐ０４では、上記のように、第２分析結果も入力される。そして、第２調整処理Ｐ０４では、第２分析結果に基づき、第１調整後のＢＧＭ信号に対して更に周波数特性を変化させる処理を実行する。そして、その処理結果であるＢＧＭ信号を「第２調整後のＢＧＭ信号」として音声合成処理Ｐ０６に出力する。

【0040】

音声合成処理Ｐ０６では、上記「合成用効果音信号」と「第２調整後のＢＧＭ信号」とを合成することで最終的に出力する音声信号であるゲーム音声信号を生成し、音声出力処理Ｐ０７に出力する。音声出力処理Ｐ０７では、当該ゲーム音声信号をスピーカ等に出力する。

【0041】

［第１分析処理の概要］
次に、上記第１分析処理Ｐ０１における処理の概要を説明する。第１分析処理Ｐ０１では、次のような処理が行われる。まず、入力された効果音について例えばＦＦＴ（Ｆａｓｔ Ｆｏｅｒｉｅｒ ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）を用いて周波数帯域毎の音の強さが検出される（なお、ＦＦＴとは、離散フーリエ変換をプロセッサ８１に高速に計算させるためのアルゴリズムの一種である）。当該音の強さは、例えばデシベル単位で表現可能である（すなわち、音量として捉えてもよい）。次に、当該効果音の周波数帯域を８つの周波数帯域に分け、当該帯域毎にその音の強さが、ＢＧＭ側の調整が必要となるための条件を満たしているか否かが判定される。ここで、周波数帯域の分け方について、一例として、本実施形態では、１３５Ｈｚ、２４０Ｈｚ、４２６Ｈｚ、７５７Ｈｚ、１０００Ｈｚ、１３４６Ｈｚ、２３９１Ｈｚ、４２４９Ｈｚの８つの周波数成分がそれぞれ各帯域の中心周波数となるように分けるものとする。また、上記ＢＧＭ側の調整が必要となるのは、効果音がＢＧＭに隠れて聞こえづらくなる状況である。すなわち、効果音が小さい状況や、ＢＧＭが大きい状況が考えられる。そのための条件の判定手法に関しては、以下のような手法がある。まず、効果音の音量とＢＧＭの音量が独立している場合においては、上記効果音の周波数帯域における音の強さが、予め設定された所定の閾値より小さいか否かを判定する手法がある。また、上記ＢＧＭの周波数帯域における音の強さが、予め設定された所定の閾値より大きいか否かを判定してもよい。別の手法としては、同じタイミングで出力されるＢＧＭの音の強さとの差が所定の閾値を超えたか否かを判定する手法がある。すなわち、同時に出力されるＢＧＭの音の強さとの相対的な関係に基づいた判定を行う手法もある。さらに、効果音の音の強さとＢＧＭの音の強さを連動させる場合もあるが、そのような場合には、効果音またはＢＧＭの音の強さが所定の閾値を超えた場合に調整をするという手法もある。これは、効果音とＢＧＭの音の強さの差が同じであっても、両方の音の強さが大きい場合にはＢＧＭの音の強さが大きいので、効果音がＢＧＭに隠れて聞こえづらくなるという理由による。本実施形態では、効果音の音の強さとＢＧＭの音の強さの差に基づいた手法を用いるものとする。具体的には、上記８つの各周波数帯域について、効果音の音の強さがＢＧＭの音の強さに対して閾値を超えて小さいか否かを判定する。つまり、効果音の音の強さがＢＧＭに対してどの程度相対的に小さいかを判定している。そして、効果音の音の強さがＢＧＭの音の強さよりも所定量以上小さい場合は、後述するＢＧＭ側の調整処理が必要であると判定することになる。また、そうではない場合は、調整処理は不要と判定される。そして、このような判定結果を示す情報を第１分析結果として第１調整処理Ｐ０２に出力する。なお、この情報は、第１調整処理Ｐ０１における処理の制御信号としての機能も有するものである。

【0042】

［第１調整処理の概要］
次に、第１調整処理Ｐ０１における処理の概要を説明する。この処理では、上記第１分析結果に基づき、周波数特性の調整が必要な周波数帯域が判別される。そして、その帯域の周波数特性を変化させる処理が実行される。具体的には、「ピーキング」と呼ばれるイコライザー処理を行う。ここで、ピーキングとは、選択した周波数の周辺を増減する処理であるが、本例では、ゲインを下げる方向に周波数帯域を調整するものとする。つまり、ＢＧＭ側の音の強さを下げるような調整を行う。図５および図６に、このような調整の一例を示す。図５は、上記調整前のＢＧＭの周波数特性の一部分（例えば上記８つの周波数帯域のうち、２４０ｈｚに係る部分）を示す図である。図６は、調整後のＢＧＭ信号の周波数特性の一部分を示す図である。双方ともに、縦軸が音の強さ（音量）を示し、横軸は周波数を示すものとする。この例では、図５の所定の周波数Ａについてゲインを下げるよう調整した結果、図６に示すようにＢＧＭの周波数特性が調整された例を示している。このように調整されたＢＧＭ信号が第１調整後のＢＧＭ信号として第２調整処理Ｐ０４に出力される。

【0043】

［第２分析処理の概要］
次に、第２分析処理Ｐ０３における処理概要を説明する。この処理では、まず、効果音信号について、いわゆるＭＳ処理（ｍｉｄ／ｓｉｄｅ ｐｒｏｃｅｓｓｉｎｇ）が行われて、モノラル成分（以下、モノ成分）とステレオ成分（サイド成分と呼ばれることもある）との分離処理が行われる。当該モノ成分は、Ｍｉｄ成分とも呼ばれるものであり、左と右の２チャンネルの信号で構成されるステレオ音声信号に基づき、右チャンネル信号＋左チャンネル信号である和信号として得られる成分である。また、当該モノ成分は、センター定位の音であるともいえる。次に、当該モノ成分の音の強さが検出され、ＢＧＭ側のモノ成分の調整が必要となるための条件を満たしているか否かが判定される。ここで、本実施形態では、当該モノ成分用の周波数帯域として５１０Ｈｚと２８５０Ｈｚとの２つの周波数をそれぞれ中心周波数とするような周波数帯域が予め定義されているとする。そのため、この２つの周波数帯域に分けて音の強さが検出される。そして、各帯域において、効果音側の当該モノ成分の音の強さがＢＧＭ側のモノ成分の音の強さに対して閾値を超えて小さい場合に、ＢＧＭ側のモノ成分の調整が必要であると判定される。そして、このような判定結果を示す情報が第２分析結果として第２調整処理Ｐ０４に出力されることになる。また、ここで用いた分析用効果音信号は、ミュート処理Ｐ０５に出力される。

【0044】

［第２調整処理の概要］
次に、第２調整処理Ｐ０４の処理概要を説明する。この処理では、第１調整後のＢＧＭ信号に対して上記ＭＳ処理を行い、上記第２分析結果に基づいて、ＢＧＭのモノ成分について上記同様のピーキングの処理を行う。本例では、モノ成分用の周波数帯域として定義されている５１０Ｈｚと２８５０Ｈｚの周波数帯域について、ピーキングの処理が更に行われることになる。これにより、ＢＧＭに沈みがちであるセンター付近の効果音を、よりしっかりと聴かせることが可能になる。そして、このように更に調整されたＢＧＭ信号が第２調整後のＢＧＭ信号として音声合成処理Ｐ０６に出力されることになる

【0045】

このように、本実施形態では、８つの周波数帯域で個別に効果音とＢＧＭとのそれぞれの音の強さを比較する。そして、効果音側の音の強さがＢＧＭ側の音よりも閾値を超えて小さいような場合、その周波数帯域に係るＢＧＭの周波数成分について、そのゲインが下がるように調整している。そして、調整後のＢＧＭと（何ら調整はしていない）効果音とを合成してゲーム音声として出力している。これにより、ＢＧＭと効果音の音量バランスを大きく崩すことなく、ＢＧＭに沈みがちな効果音をよりしっかりと聴かせることが可能となる。

【0046】

なお、本実施形態では、効果音側の音の強さがＢＧＭ側の音の強さに対してある程度小さい場合に、ＢＧＭ側の（一部の周波数帯域の）音の強さを小さくするような調整を行う。この点、ＢＧＭ側の音の強さを変化させずに、効果音側の音の強さを大きくするような調整手法も考えられる。しかし、このようにすると、大きくなった効果音の音量が上乗せされることで、音が飽和してしまって逆に聴き取りにくくなる可能性がある。そのため、本実施形態では、ＢＧＭ側の（一部の周波数帯域の）音の強さを小さくするような調整手法を採っている。

【0047】

［本実施形態のゲーム処理の詳細］
次に、図７～図１０を参照して、本実施形態におけるゲーム処理についてより詳細に説明する。

【0048】

［使用データについて］
まず、本ゲーム処理にて用いられる各種データに関して説明する。図７は、本体装置２の記憶部８４に記憶される各種データの一例を示すメモリマップである。本体装置２の記憶部８４には、ゲームプログラム３０１、操作データ３０２、プレイヤオブジェクトデータ３０３、ＢＧＭデータ３０４、効果音データ３０５、ＢＧＭバッファ３０８、合成用効果音バッファ３０９、分析用効果音バッファ３１０、第１調整後ＢＧＭ信号３１１、第２調整後ＢＧＭ信号３１２、第１分析結果情報３１３、および第２分析結果情報３１４等が記憶されている。

【0049】

ゲームプログラム３０１は、本実施形態に係るゲーム処理を実行するためのプログラムである。

【0050】

操作データ３０２は、上記左コントローラ３および右コントローラ４から得られるデータであり、プレイヤの操作内容を示すデータである。当該操作データ３０２には、各コントローラが有する各種ボタンの押下状態を示すデータやアナログスティックに対する操作内容を示すためのデータ等が含まれている。

【0051】

プレイヤオブジェクトデータ３０３は、上記プレイヤオブジェクト１０１に関するデータであり、その外観を示すデータや、当該プレイヤオブジェクトの仮想空間内における現在位置を示すデータ等が含まれている。

【0052】

ＢＧＭデータ３０４は、上述したようなＢＧＭの音声データである。

【0053】

効果音データ３０５は、各種効果音の音声データである。ここで、本実施形態では、効果音として以下の２つの種類が定義されている。まず、第１種効果音として、その出力の際に上述したような音声制御処理が行われる効果音が定義される。また、第２種効果音として、その出力の際に上記のような音声制御処理が行われない効果音が定義される。第１種効果音は、例えば、プレイヤの操作に基づいてゲーム内で所定のイベントが発生したときに出力されるタイプの効果音である。上記の「鐘の音」の例でいうと、プレイヤの操作に基づいてプレイヤオブジェクト１０１が鐘オブジェクト１０２を叩く動作を行うことで、「プレイヤオブジェクト１０１が鐘を鳴らす」というイベントが発生したことになる。そして、「鐘の音」の効果音が出力されるが、この際に、上記のような音声制御処理が行われ、当該「鐘の音」とＢＧＭとのバランスを調整した状態で「鐘の音」およびＢＧＭ（を合成したゲーム音声）が出力されることになる。一方、第２種効果音は、例えば風の音等のような、背景的な役割の効果音等である。換言すれば、第１種効果音は、その出力の際に、プレイヤにはっきり聴かせたい、あるいは、その効果音が鳴ったことをしっかりとプレイヤに認識させたいタイプの効果音である。また、第２種効果音は、そこまでの意図はないような背景的な効果音、例えば、その効果音が鳴っていることを積極的にプレイヤに認識させるほどの意図はないような効果音であるといえる。そして、効果音データ３０５には、上記第１種効果音についての音声データである第１種効果音データ３０６、および、上記第２種効果音についての音声データである第２種効果音データ３０７が含まれている。

【0054】

なお、どの効果音を第１種効果音あるいは第２種効果音として定義するかについては、ゲーム処理の内容に応じて開発者が適宜設定すればよい。

【0055】

ＢＧＭバッファ３０８は、出力されるＢＧＭ信号を一時的に記憶するためのものである。本実施形態では、ＢＧＭはストリーミング形式でスピーカ等に出力されるが、この出力に際して、当該ＢＧＭバッファ３０８に出力すべきＢＧＭ信号格納され、当該ＢＧＭバッファ３０８からスピーカ等への出力が行われる。また、上記のような効果音とのバランス調整対象となるＢＧＭ信号も、当該ＢＧＭバッファから取得される。

【0056】

合成用効果音バッファ３０９、および、分析用効果音バッファ３１０は、後述するフローチャートの処理の過程において、効果音信号を一時的に格納するための領域である。合成用効果音バッファ３０９は、効果音データから生成される効果音信号を加工せずに上記の音声合成処理Ｐ０６に出力するために用いられるものといえる。分析用効果音バッファ３１０は、上記第１分析処理Ｐ０１および第２分析処理Ｐ０３における処理に用いるために一時的に効果音信号を記憶する機能を有する。

【0057】

第１調整後ＢＧＭ信号３１１は、上記図４で示した第１調整処理Ｐ０２の処理結果として出力されるＢＧＭ信号である。また、第２調整後ＢＧＭ信号３１２は、上記第２調整処理Ｐ０４の処理結果として出力されるＢＧＭ信号である。つまり、上記同時に出力される効果音に合わせてＢＧＭの周波数特性を一部変更するための一連の処理の過程で用いられる一時的なデータである。

【0058】

第１分析結果情報３１３、第２分析結果情報３１４も、上記のような音声制御処理の処理過程で用いられる一時的なデータである。第１分析結果情報３１３は、上記第１分析処理Ｐ０１における分析結果を示す情報であり、本例では、１３５Ｈｚ、２４０Ｈｚ、４２６Ｈｚ、７５７Ｈｚ、１０００Ｈｚ、１３４６Ｈｚ、２３９１Ｈｚ、４２４９Ｈｚの８つの周波数成分を中央値とする８つの周波数帯域について、それぞれの分析結果を示す情報、すなわち、差が上記閾値を超えているか否かを示す情報が格納される。第２分析結果情報３１４は、上記第２分析処理Ｐ０３における分析結果を示す情報である。本例では、５１０Ｈｚと２８５０Ｈｚの２つの（モノ成分用の）帯域について、それぞれの分析結果を示す情報、すなわち、差が上記閾値を超えているか否かを示す情報が格納される。

【0059】

［プロセッサ８１が実行する処理の詳細］
次に、図８～図１０のフローチャートを参照して、本実施形態に係る音声出力制御処理の詳細を説明する。図８で示すフローチャートは、ゲーム処理において、上述したような第１種効果音を出力するときに実行される処理を示す。上記の例で言うと、「鐘の音」を出力するときに実行される処理となる。なお、ここでは、上述したような第１種効果音とＢＧＭとの出力バランスを調整するための処理を主に説明し、その他のゲーム処理についての説明は割愛する。また、図８で示すステップＳ１～Ｓ８の処理ループは、例えば１フレーム毎に繰り返し実行される。

【0060】

なお、当該フローチャートは、処理過程の単なる一例にすぎない。そのため、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例であり、必要に応じて他の値を採用してもよい。

【0061】

図８において、まず、ステップＳ１で、プロセッサ８１は、今回のフレームにかかる処理で出力されるＢＧＭ信号をＢＧＭバッファ３０８から取得する。本実施形態では、図８に示すフローとは別のプロセスでＢＧＭデータ３０４に基づいてＢＧＭ信号が生成され、当該ＢＧＭ信号が時間経過に沿って（ストリーミングで）ＢＧＭバッファ３０８に出力（バッファリング）されているものとする。そして、プロセッサ８１は、当該ＢＧＭバッファ３０８から今回のフレームでの出力対象となるＢＧＭ信号を取得する。

【0062】

次に、ステップＳ２で、プロセッサ８１は、第１種効果音データ３０６に基づいて、今回のフレームで出力する効果音の音声データを取得する。更に、当該データに基づいて効果音信号を生成する。

【0063】

次に、ステップＳ３で、プロセッサ８１は、上記生成した効果音信号を、合成用効果音バッファ３０９および分析用効果音バッファ３１０に格納する。

【0064】

次に、ステップＳ４で、プロセッサ８１は、第１制御処理を実行する。当該第１制御処理では、上記図４で示した第１分析処理Ｐ０１および第１調整処理Ｐ０２に相当する処理が実行される。図９は、当該第１制御処理の詳細を示すフローチャートである。まず、ステップＳ２１で、プロセッサ８１は、分析用効果音バッファ３１０から効果音信号を取得し、ＦＦＴ解析を行い、周波数帯域毎の音の強さを検出する。更に、プロセッサ８１は、検出した周波数帯域毎の音の強さを上述したような１３５Ｈｚ、２４０Ｈｚ、４２６Ｈｚ、７５７Ｈｚ、１０００Ｈｚ、１３４６Ｈｚ、２３９１Ｈｚ、４２４９Ｈｚを中心周波数とする８つの周波数帯域に分け、各周波数帯域における音の強さの最大値を算出する。

【0065】

次に、ステップＳ２２で、プロセッサ８１は、上記８つの周波数帯域のそれぞれについて、上記算出された音の最大値が条件を満たしているか否かを判定する。本実施形態では、一例として、次のような判定が行われる。すなわち、効果音の最大値（ｄｂ値）が、上記ステップＳ１で取得されたＢＧＭ信号における、同じ周波数帯域における音の最大値（ｄｂ値）に対して４６ｄｂ以上小さいか否かを判定する。例えば、１３５ｈｚを例にすると、分析用効果音信号および上記ＢＧＭ信号の１３５ｈｚの周波数成分におけるｄｂ値を比較し、効果音のｄｂ値がＢＧＭのｄｂ値に対して閾値を超えて小さい値であるか否かが判定される。換言すれば、「効果音のｄｂ値－ＢＧＭのｄｂ値」で得られる差が閾値を超え超える小ささであるか否かが判定される。このような判定が８つの周波数帯域のそれぞれについて行われる。

【0066】

次に、ステップＳ２３で、プロセッサ８１は、上記ステップＳ２２における分析結果を示す情報、すなわち、各帯域において差が上記閾値を超えているか否かを示す情報を第１分析結果情報３１３として記憶部８４に記憶する。

【0067】

次に、ステップＳ２４で、プロセッサ８１は、上記第１分析結果情報３１３に基づき、ＢＧＭ信号を調整する処理を実行する。具体的には、上記ステップＳ１で取得したＢＧＭ信号の上記８つの周波数帯域のそれぞれについて、上記第１分析結果情報３１３に基づくピーキング処理を実行する。具体的には、プロセッサ８１は、上記８つの周波数帯域のうち、効果音のｄｂ値がＢＧＭのｄｂ値に対して閾値を超えて小さい値であると判定された帯域について、当該周波数帯域の周波数特性を、ゲインを下げる方向に変化させる。つまり、ＢＧＭ側の音の強さを小さくする処理を行うことになる。なお、効果音のｄｂ値がＢＧＭのｄｂ値に対して閾値を超えて小さい値であるとは判定されなかった帯域については、このような周波数特性を変化させる処理は行わない。

【0068】

次に、ステップＳ２５で、プロセッサ８１は、上記ステップＳ２４の処理が施されたＢＧＭ信号を第１調整後ＢＧＭ信号３１１として記憶部８４に格納する。なお、もし上記８つの帯域全てについて、上記の周波数特性の変更が行われていなかった場合は、結果的に、上記ステップＳ１で取得したＢＧＭ信号と同じものが第１調整後ＢＧＭ信号３１１として記憶部８４に格納されることになる。以上で、第１調整制御処理は終了する。

【0069】

図８に戻り、次に、ステップＳ５で、プロセッサ８１は、第２制御処理を実行する。この処理では、上記図４で示した第２分析処理Ｐ０３および第２調整処理Ｐ０４に相当する処理が実行される。すなわち、上記のようなモノ成分について更に調整を行うための処理が実行される。

【0070】

図１０は、当該第２制御処理の詳細を示すフローチャートである。図１０において、まず、ステップＳ３１で、プロセッサ８１は、分析用効果音バッファ３１０から効果音信号を取得する。更に、第１調整後ＢＧＭ信号３１１から、上記第１制御処理が行われた後のＢＧＭ信号を取得する。

【0071】

次に、ステップＳ３２で、プロセッサ８１は、上記ステップＳ３１で取得した効果音信号およびＢＧＭ信号のそれぞれについて、上述したようなＭＳ処理を実行して、それぞれの信号をモノ成分とステレオ成分とに分離する。

【0072】

次に、ステップＳ３３で、プロセッサ８１は、上記効果音のモノ成分に係る音の強さを検出する。本実施形態では、モノ成分に対応する周波数帯域として、上記のように５１０Ｈｚと２８５０Ｈｚの２つの周波数帯域を定義している。そのため、プロセッサ８１は、この２つの周波数帯域それぞれの音の強さを検出する。

【0073】

次に、ステップＳ３４で、プロセッサ８１は、上記効果音のモノ成分の音の強さが所定の閾値を超えているか否かを判定する。本実施形態では、効果音の５１０Ｈｚと２８５０Ｈｚとの周波数成分のそれぞれの最大値（ｄｂ値）が、第１調整後ＢＧＭ信号３１１における同じ周波数成分（同じモノ成分）の最大値（ｄｂ値）に対して閾値以上小さいか否かを判定する。

【0074】

次に、ステップＳ３５で、プロセッサ８１は、上記ステップＳ３４の判定結果、すなわち、各帯域において上記閾値を超えているか否かを示す情報を第２分析結果情報３１４として記憶部８４に格納する。

【0075】

次に、ステップＳ３６で、プロセッサ８１は、上記第２分析結果情報３１４に基づき、第１調整後ＢＧＭ信号３１１を調整する処理を実行する。具体的には、上記モノ成分の２つの周波数帯域について、上記第２分析結果情報３１４に基づくピーキング処理を実行する。具体的には、プロセッサ８１は、上記２つのモノ成分の周波数帯域のうち、効果音のｄｂ値がＢＧＭのｄｂ値に対して閾値を超えて小さい値であると判定された帯域について、当該帯域の周波数特性を、ゲインを下げる方向に変化させる。なお、効果音のｄｂ値がＢＧＭのｄｂ値に対して閾値を超えて小さい値であると判定されなかった帯域については、上記第１制御処理の場合と同様に、このような周波数特性を変化させる処理は行わない。

【0076】

次に、ステップＳ３７で、プロセッサ８１は、上記ステップＳ３６の処理が施されたモノ成分のＢＧＭ信号と上記分離したステレオ成分のＢＧＭ信号とを合成し、第２調整後ＢＧＭ信号３１２として記憶部８４に格納する。なお、もし上記２つの帯域全てについて周波数特性の変更が行われていなかった場合は、結果的に、上記ステップＳ３１で取得した第１調整後ＢＧＭ信号３１１と同じものが第２調整後ＢＧＭ信号３１２として記憶部８４に格納されることになる。以上で、第２調整制御処理は終了する。

【0077】

図８に戻り、次に、ステップＳ６で、プロセッサ８１は、上記第１制御処理および第２制御処理の処理結果を反映した出力用ゲーム音声を生成する処理を実行する。具体的には、プロセッサ８１は、上記合成用効果音バッファ３０９から効果音信号を取得する。更に、第２調整後ＢＧＭ信号３１２からＢＧＭ信号を取得する。そして、当該取得した効果音信号とＢＧＭ信号とを合成することで、出力用ゲーム音声の信号を生成する。すなわち、加工が施されていない第１種効果音と上記の調整が施されたＢＧＭとが合成された出力用ゲーム音声が生成されることになる。

【0078】

次に、ステップＳ７で、プロセッサ８１は、出力用ゲーム音声をスピーカ等に出力する処理を実行する。

【0079】

次に、ステップＳ８で、プロセッサ８１は、今回出力対象となっている第１種効果音の出力が完了したか否かを判定する。例えば、効果音の再生時間が３秒である場合は、プロセッサ８１は、この３秒分の効果音および同時に出力されるＢＧＭについて上述したような制御処理が行われたか否かを判定する。当該判定の結果、まだ未処理の部分が残っていれば（ステップＳ８でＮＯ）、上記ステップＳ１に戻り処理を繰り返す。未処理の部分が残っていなければ（ステップＳ８でＹＥＳ）、当該音声出力制御処理は終了する。

【0080】

なお、他の実施形態では、上記ステップＳ７の上記出力用ゲーム音声についても所定の出力用バッファに格納しておき、当該バッファ経由でスピーカ等に出力するようにしてもよい。

【0081】

このように、本実施形態では、効果音の所定の周波数帯域の音の強さに基づいて、ＢＧＭの対応する周波数帯域の周波数特性についてゲインを下げるように調整し、出力している。これにより、効果音とＢＧＭの全体的な音量バランスを大きく変化させることなく、効果音がＢＧＭに沈んでしまうことで効果音が聴き取りにくくなることを防ぐことができる。その結果、音の飽和を緩和し、所定の効果音（本例では第１種効果音）についてユーザにしっかりと聴かせることが可能となる。

【0082】

［変形例］
なお、上記実施形態では、周波数帯域を８つ（モノ成分は２つ）に分けて処理する例を示したが、他の実施形態では、より多くの帯域数に分けて上記のような処理を行ってもよい。周波数帯域をより細かく分けることで、上記のようなＢＧＭ側の調整について、より精度の高い調整が可能となる。

【0083】

また、上記実施形態では、第１種効果音の例として、プレイヤオブジェクト１０１が鐘オブジェクト１０２を叩いた場合に、鐘の音を出力するという場合を例に挙げた。このような、プレイヤオブジェクト１０１の動作に起因して発生する音声を出力する場合の他、例えば、プレイヤオブジェクト１０１が近づくだけで爆発する爆弾の爆発音等、プレイヤオブジェクト１０１が音声を発生させるための具体的な動作を行っていない場合でも発生し得る効果音を第１種効果音として定義してもよい。

【0084】

また、上記実施形態では、ゲームシステムにおけるゲーム処理に上記のような制御処理を適用する場合を例に挙げたが、ゲーム処理に限るものではなく、例えば、ゲーム的な要素のないＶＲコンテンツ等にも上記の制御処理は適用可能である。

【0085】

また、上記実施形態においては、ゲーム処理に係る一連の処理が単一の装置において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。更には、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

【符号の説明】

【0086】

１ ゲームシステム
２ 本体装置
３ 左コントローラ
４ 右コントローラ
１２ ディスプレイ
８１ プロセッサ
８４ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】