特許 6243595 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6243595

(24)【登録日】2017年11月17日

(45)【発行日】2017年12月6日

(54)【発明の名称】情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置

(51)【国際特許分類】

   A63F 13/54 20140101AFI20171127BHJP

   A63F 13/211 20140101ALI20171127BHJP

【ＦＩ】

   A63F13/54

   A63F13/211

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2012-234074(P2012-234074)

(22)【出願日】2012年10月23日

(65)【公開番号】特開2014-83205(P2014-83205A)

(43)【公開日】2014年5月12日

【審査請求日】2015年9月7日

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】110001276

【氏名又は名称】特許業務法人 小笠原特許事務所

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】長田 潤也

【審査官】 鈴木 崇雅

(56)【参考文献】

【文献】 特開昭６０−１１６３８７（ＪＰ，Ａ）

【文献】 特開２００８−２３６０６１（ＪＰ，Ａ）

【文献】 特開２００７−３０１０３６（ＪＰ，Ａ）

【文献】 特開昭６２−１５５８７９（ＪＰ，Ａ）

【文献】 特開２００２−３２５８８６（ＪＰ，Ａ）

【文献】 特開２００８−２７６６１５（ＪＰ，Ａ）

【文献】 特開２００９−０６１１６１（ＪＰ，Ａ）

【文献】 特開２００６−１７４２７７（ＪＰ，Ａ）

【文献】 特開２０１０−０３４６８７（ＪＰ，Ａ）

【文献】 特開２００５−２１６２６１（ＪＰ，Ａ）

【文献】 特開２００８−２５２８３４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／００−９８

(57)【特許請求の範囲】

【請求項1】

所定の情報処理部および複数の音声出力部を備える情報処理システムであって、
前記複数の音声出力部の位置関係を認識する位置関係認識部と、
所定の情報処理に基づいて、仮想空間内に存在する音源オブジェクトに対応する音声を生成する音声生成部と、
前記生成された音声を前記複数の音声出力部のそれぞれから出力させる音声出力制御部と、を備え、
前記音声出力制御部は、前記複数の音声出力部の位置関係に応じて前記音源オブジェクトに基づく音声の出力音量を前記複数の音声出力部毎に決定し、
前記情報処理システムは、ハウジングと、当該ハウジングと一体的になるよう設けられた第１の表示部および前記複数の音声出力部と、自身の動きを検出可能な動きセンサとを有する第１出力装置と、
前記動きセンサからの出力に基づいて前記第１出力装置の姿勢を検出する姿勢検出部とを更に備え、
前記位置関係認識部は、前記検出された第１出力装置の姿勢に基づいて前記複数の音声出力部の位置関係を認識し、
前記音声出力制御部は、前記第１出力装置の姿勢に基づいて認識された前記複数の音声出力部の位置関係に基づいて各音声出力部の前記出力音量を決定する、情報処理システム。

【請求項2】

前記情報処理部は、前記仮想空間の座標系と現実空間の座標系との軸方向を一致させて所定の情報処理を実行し、
前記第１の表示部には、前記音源オブジェクトを含む前記仮想空間の様子が表示され、
前記音声出力制御部は、前記仮想空間内における前記音源オブジェクトの位置に対応する実空間の位置により近くにある前記音声出力部ほど前記出力音量を大きくし、当該実空間の位置からより遠くにある当該音声出力部ほど前記出力音量を小さくする、請求項１に記載の情報処理システム。

【請求項3】

前記情報処理システムは、前記第１出力装置に設けられたものとは異なる複数の音声出力部および第２の表示部を有する第２出力装置を更に備え、
前記音声出力制御部は、前記第１出力装置が有する複数の音声出力部および前記第２出
力装置が有する複数の音声出力部の位置関係に応じて各音声出力部の前記出力音量を決定する、請求項１に記載の情報処理システム。

【請求項4】

前記第１出力装置はヘッドホンが接続可能なヘッドホン接続部を更に有し、
前記情報処理システムは、前記第１出力装置にヘッドホンが接続されているか否かを検出するヘッドホン検出部を更に備え、
前記音声出力制御部は、前記第１出力装置にヘッドホンが接続されていることが検出されているときは、当該第１出力装置の姿勢にかかわらず、前記複数の音声出力部の位置関係が予め定められた所定の位置関係にあるとして前記出力音量の決定を行う、請求項１に記載の情報処理システム。

【請求項5】

所定の情報処理部および複数の音声出力部を備える情報処理システムのコンピュータに実行させる情報処理プログラムであって、
前記コンピュータを、
前記複数の音声出力部の位置関係を認識する位置関係認識手段と、
所定の情報処理に基づいて、仮想空間内に存在する音源オブジェクトに対応する音声を生成する音声生成手段と、
前記生成された音声を前記複数の音声出力部のそれぞれから出力させる音声出力制御手段として機能させ、
前記音声出力制御手段は、前記複数の音声出力部の位置関係に応じて前記音源オブジェクトに基づく音声の出力音量を前記複数の音声出力部毎に決定し、
前記情報処理システムは、ハウジングと、当該ハウジングと一体的になるよう設けられた第１の表示部および前記複数の音声出力部と、自身の動きを検出可能な動きセンサとを有する第１出力装置を更に備えており、
前記情報処理プログラムは、前記コンピュータを、前記動きセンサからの出力に基づいて前記第１出力装置の姿勢を検出する姿勢検出手段として更に機能させ、
前記位置関係認識手段は、前記検出された第１出力装置の姿勢に基づいて前記複数の音声出力部の位置関係を認識し、
前記音声出力制御手段は、前記第１出力装置の姿勢に基づいて認識された前記複数の音声出力部の位置関係に基づいて各音声出力部の前記出力音量を決定する、情報処理プログラム。

【請求項6】

所定の情報処理部および複数の音声出力部を備える情報処理システムを制御するための情報処理制御方法であって、
前記複数の音声出力部の位置関係を認識する位置関係認識ステップと、
所定の情報処理に基づいて、仮想空間内に存在する音源オブジェクトに対応する音声を生成する音声生成ステップと、
前記生成された音声を前記複数の音声出力部のそれぞれから出力させる音声出力制御ステップと、を備え、
前記音声出力制御ステップでは、前記複数の音声出力部の位置関係に応じて前記音源オブジェクトに基づく音声の出力音量を前記複数の音声出力部毎に決定し、
前記情報処理システムは、ハウジングと、当該ハウジングと一体的になるよう設けられた第１の表示部および前記複数の音声出力部と、自身の動きを検出可能な動きセンサとを有する第１出力装置を更に備えており、
前記情報処理制御方法は、前記動きセンサからの出力に基づいて前記第１出力装置の姿勢を検出する姿勢検出ステップを更に備え、
前記位置関係認識ステップでは、前記検出された第１出力装置の姿勢に基づいて前記複数の音声出力部の位置関係を認識し、
前記音声出力制御ステップでは、前記第１出力装置の姿勢に基づいて認識された前記複数の音声出力部の位置関係に基づいて各音声出力部の前記出力音量を決定する、情報処理制御方法。

【請求項7】

複数の音声出力部に音声信号が出力可能な情報処理装置であって、
前記複数の音声出力部の位置関係を認識する位置関係認識部と、
所定の情報処理に基づいて、仮想空間内に存在する音源オブジェクトに対応する音声を生成する音声生成部と、
前記生成された音声を前記複数の音声出力部のそれぞれから出力させる音声出力制御部と、を備え、
前記音声出力制御部は、前記複数の音声出力部の位置関係に応じて前記音源オブジェクトに基づく音声の出力音量を前記複数の音声出力部毎に決定し、
前記情報処理装置は、ハウジングと、表示部と、動きセンサと、当該動きセンサからの出力に基づき、当該情報処理装置自身の姿勢を検出する姿勢検出部と、を有し、
前記表示部および前記複数の音声出力部は、前記ハウジングと一体的になるよう設けられており、
前記位置関係認識部は、前記検出された情報処理装置の姿勢に基づいて前記複数の音声出力部の位置関係を認識し、
前記音声出力制御部は、前記情報処理装置の姿勢に基づいて認識された前記複数の音声出力部の位置関係に基づいて各音声出力部の前記出力音量を決定する、情報処理装置。

【請求項8】

複数の音声出力部に音声信号が出力可能な情報処理装置であって、
前記複数の音声出力部の位置関係を認識する位置関係認識部と、
所定の情報処理に基づいて、仮想空間内に存在する音源オブジェクトに対応する音声を生成する音声生成部と、
前記生成された音声を前記複数の音声出力部のそれぞれから出力させる音声出力制御部と、を備え、
前記音声出力制御部は、前記複数の音声出力部の位置関係に応じて前記音源オブジェクトに基づく音声の出力音量を前記複数の音声出力部毎に決定し、
前記情報処理装置は、
ハウジングと、当該ハウジングと一体的になるよう設けられた第１の表示部および前記複数の音声出力部と、自身の動きを検出可能な動きセンサとを有する第１出力装置と接続可能であり、
前記動きセンサからの出力に基づいて前記第１出力装置の姿勢を検出する姿勢検出部を更に備え、
前記位置関係認識部は、前記検出された第１出力装置の姿勢に基づいて前記複数の音声出力部の位置関係を認識し、
前記音声出力制御部は、前記第１出力装置の姿勢に基づいて認識された前記複数の音声出力部の位置関係に基づいて各音声出力部の前記出力音量を決定する、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置に関し、より特定的には、複数の音声出力部に音声出力が可能な情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置に関する。

【背景技術】

【0002】

従来、一般的なテレビ装置（第１の映像出力装置）と、これとは別の、映像出力可能な表示部を備えたコントローラ（第２の映像出力装置）とを併用するゲームシステムについて知られている。このようなゲームシステムでは、例えば、第１のゲーム映像をテレビ装置に表示し、この第１のゲーム映像とは異なる第２のゲーム映像をコントローラの表示部に表示したりすることで、新しい遊びを提案していた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１３５３３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上記提案は、主にどのような映像を表示し、また、これらをゲーム処理との関係でどのように連携させて表示するかを主眼としたものであった。そのため、音声に関する処理に関しては特に言及や提案をするものではなかった。

【0005】

それ故に、本発明の目的は、複数のスピーカを用いた臨場感の高い音響効果が得られる新たなユーザ体験が提供可能な情報処理システム等を提供することである。

【課題を解決するための手段】

【0006】

上記目的は、例えば以下のような構成により達成される。

【0007】

構成例の一例は、所定の情報処理部および複数の音声出力部を備える情報処理システムであって、位置関係認識部と、音声生成部と、音声出力制御部とを備える。位置関係認識部は、複数の音声出力部の位置関係を認識する。音声生成部は、所定の情報処理に基づいて、仮想空間内に存在する音源オブジェクトに対応する音声を生成する。音声出力制御部は、生成された音声を複数の音声出力部のそれぞれから出力させる。そして、音声出力制御部は、複数の音声出力部の位置関係に応じて音源オブジェクトに基づく音声の出力音量を複数の音声出力部毎に決定する。

【0008】

上記構成例によれば、音源オブジェクトが発する音声に関して、より臨場感の高いユーザ体験を提供できる。

【0009】

また、情報処理システムは、第１出力装置と姿勢検出部を更に備えていてもよい。当該第１出力部は、ハウジングと、当該ハウジングと一体的になるよう設けられた第１の表示部および上記複数の音声出力部と、自身の動きを検出可能な動きセンサとを有する。また、姿勢検出部は、動きセンサからの出力に基づいて第１出力装置の姿勢を検出する。そして、位置関係認識部は、検出された第１出力装置の姿勢に基づいて複数の音声出力部の位置関係を認識してもよい。更に、音声出力制御部は、第１出力装置の姿勢に基づいて認識された複数の音声出力部の位置関係に基づいて各音声出力部の出力音量を決定してもよい。

【0010】

上記構成例によれば、音声出力部を有する第１出力装置自身の姿勢をプレイヤが変化させることで、音源オブジェクトが発する音声に関してより臨場感の高い音声出力が可能となる。

【0011】

また、情報処理部は、前記仮想空間の座標系と現実空間の座標系との軸方向を一致させて所定の情報処理を実行してもよい。第１の表示部には、音源オブジェクトを含む前記仮想空間の様子が表示され、音声出力制御部は、仮想空間内における音源オブジェクトの位置に対応する実空間の位置により近くにある音声出力部ほど出力音量を大きくし、当該実空間の位置からより遠くにある当該音声出力部ほど出力音量を小さくするようにしてもよい。

【0012】

上記構成例によれば、例えば、音源オブジェクトが音声を発しながら仮想空間内を移動しているような場合に、当該移動にかかる臨場感をより高めた音声出力が可能となる。

【0013】

また、情報処理システムは、第１出力装置に設けられたものとは異なる複数の音声出力部および第２の表示部を有する第２出力装置を更に備えていてもよい。そして、音声出力制御部は、第１出力装置が有する複数の音声出力部および第２出力装置が有する複数の音声出力部の位置関係に応じて各音声出力部の出力音量を決定するようにしてもよい。

【0014】

上記構成例によれば、例えば、ゲームコントローラとして利用可能な第１出力装置にかかる第１の組のスピーカと、モニタとして利用可能な第２出力装置にかかる第２の組のスピーカのそれぞれを用いてより臨場感の高い音声出力が可能となる。例えば、プレイヤから見て上下方向にかかる音声出力を第１出力装置にかかるスピーカに担当させ、左右方向にかかる音声出力を第２出力装置にかかるスピーカに担当させることで、仮想空間における空間の広がり、空間的感覚をプレイヤにより体感させることが可能となる。

【0015】

また、第１出力装置はヘッドホンが接続可能なヘッドホン接続部を更に有していてもよい。そして、情報処理システムは、前記第１出力装置にヘッドホンが接続されているか否かを検出するヘッドホン検出部を更に備えていてもよい。そして、音声出力制御部は、第１出力装置にヘッドホンが接続されていることが検出されているときは、当該第１出力装置の姿勢にかかわらず、複数の音声出力部の位置関係が予め定められた所定の位置関係にあるとして出力音量の決定を行うようにしてもよい。

【0016】

上記構成例によれば、例えばプレイヤが第１出力装置に接続したヘッドホンを装着してゲームをプレイしているような場合に、違和感の無い音声出力が可能となる。

【発明の効果】

【0017】

本発明によれば、仮想空間内に存在する音源オブジェクトが発する音声に関して、より臨場感を高めた音声出力を行うことができる。

【図面の簡単な説明】

【0018】

【図1】本発明の一実施形態に係るゲームシステム１の一例を示す外観図

【図2】図１のゲーム装置本体５の一例を示す機能ブロック図

【図3】図１の端末装置６の外観構成の一例を示す図

【図4】端末装置６の内部構成の一例を示すブロック図

【図5】ゲーム音声の出力状態の一例を示す図

【図6】ゲーム音声の出力状態の一例を示す図

【図7】ゲーム音声の出力状態の一例を示す図

【図8】ゲーム音声の出力状態の一例を示す図

【図9】仮想マイクの姿勢を説明するための図

【図10】仮想マイクの姿勢を説明するための図

【図11】ゲーム音声の出力状態の一例を示す図

【図12】ゲーム音声の出力状態の一例を示す図

【図13】メモリ１２のメモリマップ

【図14】端末操作データ８３の構成の一例

【図15】ゲーム処理プログラム８１に基づくゲーム処理の流れを示すフローチャート

【図16】図９のゲーム音声生成処理の詳細を示すフローチャート

【図17】端末装置６の制御処理の流れを示すフローチャート

【図18】外付けスピーカの配置の一例を示す図

【図19】外付けスピーカの配置の一例を示す図

【図20】ゲーム音声の出力状態の一例を示す図

【発明を実施するための形態】

【0019】

図１を参照して、本発明の一実施形態に係るゲームシステムについて説明する。

【0020】

図１において、ゲームシステム１は、表示手段の一例である家庭用テレビジョン受像機（以下、モニタと記載する）２と、モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。モニタ２は、２ｃｈのステレオスピーカであるスピーカ２Ｌ、２Ｒを備える。また、ゲーム装置３は、ゲーム装置本体５と、端末装置６とを含む。

【0021】

モニタ２は、ゲーム装置本体５から出力されるゲーム画像を表示する。モニタ２は左スピーカ２Ｌおよび右スピーカ２Ｒを有している。スピーカ２Ｌおよび２Ｒは、ゲーム装置本体５から出力されるゲーム音声を出力する。なお、この例ではモニタ２がこれらスピーカを有する例を示したが、この他、モニタ２に別途外部のスピーカを接続するような形態であってもよい。

【0022】

ゲーム装置本体５は、当該ゲーム装置本体５で読み取り可能な光ディスクに記憶されたゲームプログラム等に基づいてゲーム処理等を実行する。

【0023】

端末装置６は、ユーザが把持可能な入力装置である。ユーザは端末装置６を手に持って動かしたり、あるいは、端末装置６を自由な位置に配置したりして使用することが可能である。端末装置６は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）２１、２ｃｈのステレオスピーカであるスピーカ２３Ｌおよび２３Ｒ（以降では総称してスピーカ２３と示すこともある）、ヘッドホン端子、および入力手段（アナログスティックや押下型のボタン、タッチパネル等）等を備える。端末装置６とゲーム装置本体５とは無線（有線であってもよい）によって通信可能である。端末装置６は、ゲーム装置本体５で生成された画像（例えばゲーム画像）のデータをゲーム装置本体５から受信し、当該データが示す画像をＬＣＤ６１に表示する。また、端末装置６は、ゲーム装置本体５で生成された音声（例えばゲームの効果音やＢＧＭ）のデータをゲーム装置本体５から受信し、当該データが示す音声をスピーカ２３、あるいは、ヘッドホンが接続されている場合は当該ヘッドホンから出力する。また、端末装置６は、ゲーム装置本体５へ、自機に対して行われた操作の内容を表す操作データを送信する。

【0024】

図２は、ゲーム装置本体５のブロック図である。図２において、ゲーム装置本体５は、情報処理装置の一例である。本実施形態においては、ゲーム装置本体５はＣＰＵ（制御部）１１およびメモリ１２、システムＬＳＩ１３、無線通信部１４およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。

【0025】

ＣＰＵ１１は、メモリ１２やシステムＬＳＩ１３等を用いて所定の情報処理プログラムを実行する。これにより、ゲーム装置３における各種機能（例えば、ゲーム処理）が実現される。

【0026】

システムＬＳＩ１３には、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１６、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１７、入出力プロセッサ１８、等が含まれる。

【0027】

ＧＰＵ１６は、ＣＰＵ１１からのグラフィクスコマンド（作画命令）に従って画像を生成する。なお、本実施形態においては、ゲーム装置本体５は、モニタ２に表示するゲーム画像と、端末装置６に表示するゲーム画像との両方を生成することがある。以下では、モニタ２に表示されるゲーム画像を「モニタ用ゲーム画像」と呼び、端末装置６に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。

【0028】

ＤＳＰ１７は、オーディオプロセッサとして機能し、メモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、モニタ２のスピーカ２ａから出力するゲーム音声と、端末装置６のスピーカ２３（あるいは端末装置６に接続されたヘッドホン）から出力するゲーム音声との両方が生成されることがある。以下では、モニタ２から出力されるゲーム音声を「モニタ用ゲーム音声」と呼び、端末装置６から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。

【0029】

入出力プロセッサ３１は、無線通信部１４を介して、端末装置６との間でデータの送受信を実行したりする。本実施形態では、入出力プロセッサ１８は、ＧＰＵ１６が生成したゲーム画像（端末用ゲーム画像）、および、ＤＳＰ１７が生成したゲーム音声（端末用ゲーム音声）のデータを、無線通信部１４を経由して端末装置６に送信する。この際、端末用ゲーム画像については、表示画像の遅延が生じないように圧縮して送信するようにしても良い。また、入出力プロセッサ１８は、上記無線通信部１４を介して、端末装置６から送信される操作データ等を受信し、メモリ１２のバッファ領域に記憶（一時記憶）する。

【0030】

また、ゲーム装置本体５において生成される画像および音声のうち、モニタ２に出力される画像データおよび音声データは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、図示しないＡＶコネクタを介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２ａに出力する。これによって、モニタ２に画像が表示されるとともにスピーカ２ａから音声が出力される。

【0031】

図３は、端末装置６の外観構成の一例を示す図である。図３に示すように、端末装置６は略板状のハウジング２０を備える。ハウジング２０は、ユーザが両手または片手で把持可能な大きさ（形状）である。また、端末装置６は、表示部の一例であるＬＣＤ２１を備える。ＬＣＤ２１には、上記端末用ゲーム画像が表示される。

【0032】

また、端末装置６は、スピーカ２３を備える。当該スピーカ２３はステレオスピーカである。スピーカ２３からは、上記端末用ゲーム音声が出力される。また、端末装置６は、所定のヘッドホンが着脱可能なヘッドホン端子２４を備える。ここで、端末装置６は、当該ヘッドホン端子にヘッドホンが接続されていないときはスピーカ２３からの音声出力を行うが、当該ヘッドホン端子にヘッドホンが接続されているときは、スピーカ２３からの音声出力は行わない。つまり、本実施形態では、両者の同時出力は行われず、スピーカ２３からの出力とヘッドホンからの出力とは排他的な関係になっている（但し、他の実施例においては同時出力可能としてもよい）。

【0033】

また、端末装置６はタッチパネル２２を備える。タッチパネル２２は、ハウジング２０に設けられる所定の入力面（表示部の画面）に対して入力された位置を検出する位置検出部の一例である。さらに、端末装置６は、操作部（図４に示す操作部３１）として、アナログスティック２５、十字キー２６、およびボタン２７等を備える。

【0034】

図４は、端末装置６の電気的な構成を示すブロック図である。図４に示すように、端末装置６は、上述のＬＣＤ２１、タッチパネル２２、スピーカ２３、および操作部３１を備える。また、ヘッドホン端子２４を介してヘッドホンが接続可能である。また、端末装置６の姿勢を検出するためのモーションセンサ３２を備える。本実施形態では、当該モーションセンサ３２として、加速度センサおよびジャイロセンサが備えられている。加速度センサは、ｘｙｚの３軸の加速度が検出可能である。ジャイロセンサは、ｘｙｚの３軸の角速度が検出可能である。

【0035】

また、端末装置６は、ゲーム装置本体５との無線通信が可能な無線通信部３４を備える。本実施形態においては、端末装置６とゲーム装置本体５との間では無線通信が行われるが、他の実施形態においては有線で通信が行われてもよい。

【0036】

また、端末装置６は、端末装置６における動作を制御する制御部３３を備える。具体的には、制御部３３は、各入力部（タッチパネル２２、操作部３１、モーションセンサ３２）からの出力データを受け取り、操作データとして無線通信部３４を介してゲーム装置本体５へ送信する。また、制御部３３は、ヘッドホン端子２４の接続状態を検知し、その接続状態（接続／未接続）を示すデータ（検知結果）も上記操作データに含めてゲーム装置本体５に送信する。また、制御部３３は、ゲーム装置本体５からの端末用ゲーム画像が無線通信部３４において受信されると、必要に応じて適宜の処理（例えば、画像データが圧縮されている場合には伸張処理）を行い、ゲーム装置本体５からの画像をＬＣＤ２１に表示させる。更に、ゲーム装置本体５からの端末用ゲーム音声が無線通信部３４において受信されると、制御部３３は、ヘッドホンが接続されていない場合はスピーカ２３に当該端末用ゲーム音声を出力し、ヘッドホンが接続されているときは当該ヘッドホンに当該端末用ゲーム音声を出力する。

【0037】

次に、図５〜図１２を参照して、本実施形態のシステムにおいて実行される処理の概要を説明する。

【0038】

本実施形態で行う処理は、仮想３次元空間（以下、単に仮想空間と称す）内に存在する音源オブジェクトが発する音声を複数のスピーカ、例えばステレオスピーカ（左右２つのスピーカで１組のステレオスピーカ）から出力するときの出力制御にかかるものである。具体的には、このような音声出力に際して、実空間における各スピーカの位置関係を考慮した音声出力制御を行うものである。なお、音源オブジェクトとは、所定の音声を発することが可能なオブジェクトとして定義されたオブジェクトである。

【0039】

本実施形態の処理の一例として、次のようなゲーム処理を想定する。本ゲーム処理で実現されるゲームは、仮想空間内をプレイヤキャラクタが自由に移動できるゲームである。このゲームでは、端末装置６のＬＣＤ２１にこの仮想空間の様子、および、プレイヤキャラクタ等が表示される。図５は、当該端末装置６に表示されるゲーム画面の一例である。図５では、プレイヤキャラクタ１０１、および、音源オブジェクト１０２が表示されている。図５では、音源オブジェクト１０２はロケットの外観を有している。

【0040】

ここで、本ゲームでは、ゲーム画面の表示に関して、実空間の座標系と仮想空間の座標系とを常に一致させて表示している。換言すれば、重力方向と仮想空間内の地面が常に垂直交差しているようにしている。また、端末装置６には、上記のようにモーションセンサ３２が備えられている。これを利用することで、端末装置６自体の姿勢が検出可能である。そして、本ゲームでは、端末装置６の姿勢にあわせて仮想カメラも同時に傾けることで、端末装置６を、あたかも仮想空間を覗く「覗き窓」のように扱うことができる。例えば、端末装置６のＬＣＤ２１がプレイヤの顔の正面に対面するように把持した姿勢を想定する。このとき、当該ＬＣＤ２１には、仮想空間内のＺ軸正方向の様子が表示されているとする。この状態から、プレイヤが１８０度回転して真後ろを向いたとする。すると、当該ＬＣＤ２１には、仮想空間内のＺ軸負方向の様子が表示されていることになる。

【0041】

このような仮想空間の表示システムの下で、例えば、端末装置６の姿勢が、図５で示すように、端末装置座標系と実空間座標系が一致している状態の姿勢である場合を想定する。以下では、この姿勢を「横向き姿勢」と呼ぶ。そして、この姿勢であるときに、図５の音源オブジェクト１０２（ロケット）が飛び立つ場合を想定する。当該音源オブジェクト１０２が飛び立つ動きに伴って、端末側ゲーム音声として所定の効果音（例えばロケットの移動音）が再生される。つまり、音源オブジェクト１０２は、音声を発しながら移動する。このときの音声の聞こえ方（出力のされ方）に関して、図５の状態（ロケットの飛び立ち初めの状況であるとする）では、音源オブジェクト１０２がＬＣＤ２１のほぼ中央に表示されている。そのため、スピーカ２３Ｌからの音量とスピーカ２３Ｒからの音量とは、ほぼ同じ大きさで出力される。音量を１〜１０の１０段階で示すと、例えば、スピーカ２３Ｌ＝６：スピーカ２３Ｒ＝６の音量で出力される。

【0042】

その後、図６に示すように、音源オブジェクト１０２が仮想空間における上方向（ｙ軸正方向）に移動していくに連れて、音源オブジェクト１０２とプレイヤキャラクタ１０１との距離が離れていく。このような、飛び立ったロケットが徐々に遠ざかっていく様子を音声に反映するために、ロケットの移動音が徐々に小さくなっていくように音量調整は行われる。ここで、この音量調整は、スピーカ２３Ｌおよび２３Ｒとで同じように行われる。換言すれば、左右のスピーカの音量バランス自体には変化はないまま、全体として、ロケットの移動音の音量が小さくなっていく。つまり、音源オブジェクトの上下方向の移動については、左右のスピーカの音量バランス自体は変化させずに音声出力制御が行われる。

【0043】

なお、この「横向き姿勢」のときに、仮に左右方向への音源オブジェクトの移動があった場合は、その移動に伴ってスピーカ２３Ｌおよび２３Ｒの音量バランスが調整される。例えば、プレイヤキャラクタ１０１の目の前を横切るように右から左へと音源オブジェクトが移動すれば、スピーカ２３からの音声が右から左へ変化するように聞こえる。すなわち、スピーカ２３Ｒの音量が徐々に小さくなっていくと共に、スピーカ２３Ｌの音量が徐々に大きくなっていくように音量バランスが制御される。

【0044】

次に、上記図５の状態から、端末装置６を左に９０度回転させたような場合を想定する。図７は、このような状態の端末装置６とそのときのゲーム画面を示した図である。端末装置６の回転に伴って、スピーカ２３の位置関係も左に９０度回転した状態となっている。すなわち、スピーカ２３Ｌがプレイヤから見て下側、スピーカ２３Ｒがプレイヤから見て上側に位置するような関係となっている。以下では、この状態を「縦向き姿勢」と呼ぶ。そして、この状態で音源オブジェクト１０２が音声を発しながら上方向に移動すると、スピーカ２３Ｌと２３Ｒの音量バランス自体が変化しながらロケットの移動音が出力される。

【0045】

例えば、図７において、音源オブジェクト１０２は、画面の中央よりやや下に表示されている状態である。この状態では、ロケットの移動音は、スピーカ２３Ｌのほうがスピーカ２３Ｒのよりもやや大きい音量で出力される。例えば、この時点では、スピーカ２３Ｌ＝６：スピーカ２３Ｒ＝５の音量で出力されるとする。その後、図８に示すように、音源オブジェクト１０２が上方向に移動していくに連れて、ロケットの移動音について、スピーカ２３Ｌの音量は徐々に小さくなっていき、スピーカ２３Ｒの音量が徐々に大きくなっていく。例えば、スピーカ２３Ｌの音量は６→０のように徐々に小さくなっていくと共に、スピーカ２３Ｒの音量は、５→１０のように徐々に大きくなっていく。

【0046】

このように、本実施形態では、仮想空間内に存在する音源オブジェクト１０２から発せられる音声のスピーカ２３への出力制御に際して、スピーカ２３Ｌおよび２３Ｒの実空間における位置関係を反映させた制御を行う。これにより、例えば、上記ロケットが飛び立つときに、プレイヤが端末装置６を「横向き姿勢」から「縦向き姿勢」にすることで、臨場感の高い音響効果が得られる。

【0047】

本実施形態では、上記のような音声制御を概ね次のような処理で実現している。まず、仮想空間内の所定の位置、典型的には、プレイヤキャラクタ１０１の位置に仮想マイクが配置されている。本実施形態では、この仮想マイクで音源オブジェクト１０２の発する音声を拾い、ゲーム音声として出力する。当該仮想マイクには、ローカル座標系としてのマイク座標系が設定されている。図９は、仮想空間と仮想マイクとの関係を示す模式図である。図９では、仮想空間の空間座標系の各軸の向きとマイク座標系の各軸の向きとが一致している状態である（ゲーム開始時の初期状態は、このような状態である）。そして、このマイク座標系における仮想マイクと音源オブジェクト１０２との位置関係を見れば、音源オブジェクト１０２が仮想マイクから見て右側に位置するか左側に位置するかが認識できる。具体的には、音源オブジェクトの位置が仮想マイク座標系におけるｘ軸方向について正方向か負方向かによって、仮想マイクから見て右か左かを判断でき、この位置関係によって左右スピーカの音量バランスを決定することができる。また、仮想マイクから音源オブジェクトまでの仮想空間内における距離も認識できる。これにより、スピーカ２３Ｌおよび２３Ｒそれぞれの音量（左右の音量バランス）を調整することは可能である。そして、本実施形態では、端末装置６の姿勢に合わせて、仮想マイクの姿勢も変化させる。例えば、上記図５のような「横向き姿勢」から図７のような「縦向き姿勢」に端末装置６の姿勢が変化したとする。すると、これに併せて、仮想マイクの姿勢もＺ軸回りに９０度左に回転する。その結果、図１０に示すように、マイク座標系のｘ軸方向が仮想空間座標系のｙ軸方向に対応するような関係となる。この状態で、マイク座標系を基準に音声出力制御処理を行うことで、上述したような制御が実現できる。つまり、スピーカ２３Ｌおよび２３Ｒは端末装置６（ハウジング２０）に固定的に設けられているため、端末装置６の姿勢が判れば、スピーカ２３の位置関係も認識できる。そのため、端末装置６の姿勢を仮想マイクの姿勢に反映させることで、スピーカ２３の位置関係の変化も反映することができる。

【0048】

ここで、本実施形態では、端末用ゲーム音声の生成のための仮想マイク（以下、端末用仮想マイク）と、モニタ用ゲーム音声の生成のための仮想マイク（以下、モニタ用仮想マイク）との２つの仮想マイクを利用する。但し、本実施形態にかかる処理は主に端末装置６のスピーカ２３Ｌおよび２３Ｒを対象にする。そのため、以下の説明において、単に「仮想マイク」、あるいは「マイク座標系」と示した場合は、基本的には端末用仮想マイクのことを指すものとする。

【0049】

なお、端末装置６にヘッドホンが接続されているときは、端末装置６の姿勢に関わらず、常にスピーカが左右に配置されているものとして処理される。具体的には、ヘッドホン接続時は、マイク座標系のｘ軸方向を仮想３次元空間の空間座標系におけるｘ軸方向に常に一致させる。図１１および図１２は、ヘッドホン接続時における音声出力の様子を示す模式図である。図１１では、端末装置６は「横向き姿勢」である。また、図１２では、端末装置６は「縦向き姿勢」である。いずれの場合も、仮想マイクの姿勢は変化されずに音声出力処理が行われる。その結果、端末装置６が「縦向き姿勢」のときであっても、「横向き姿勢」のときと同様に音声出力処理が行われることになる。つまり、ヘッドホン接続時は、音声出力処理に関しては、端末装置６が「横向き姿勢」であるものとして上記のような処理が行われる。

【0050】

次に、図１３〜図１７を参照して、上記のようなゲーム処理を実現するためのシステム１の動作について詳細に説明する。

【0051】

図１３は、上記ゲームを実行するときにゲーム装置本体５のメモリ１２に記憶される各種データの一例を示している。

【0052】

ゲーム処理プログラム８１は、ゲーム装置本体５のＣＰＵ１１に、上記ゲームを実現するためのゲーム処理を実行させるためのプログラムである。ゲーム処理プログラム８１は、例えば、光ディスクからメモリ１２にロードされる。

【0053】

処理用データ８２は、ＣＰＵ１１において実行されるゲーム処理において用いられるデータである。処理用データ８２は、端末操作データ８３、端末送信用データ８４、ゲーム音声データ８５、端末装置姿勢データ８６、仮想マイク姿勢データ８７、オブジェクトデータ８８等を含む。

【0054】

端末操作データ８３は、端末装置６から周期的に送信される操作データである。図１４は、端末操作データ８３の構成の一例を示す図である。端末操作データ８３には、操作ボタンデータ９１、タッチ位置データ９２、モーションセンサデータ９３、ヘッドホン接続状態データ９４等が含まれる。操作ボタンデータ９１は、操作部３１（アナログスティック２５、十字キー２６、およびボタン２７）に対する入力状態を示すデータである。また、モーションセンサ３２に対する入力内容も操作ボタンデータ９１に含まれる。タッチ位置データ９２は、タッチパネル２２の入力面において入力が行われた位置（タッチ位置）を示すデータである。モーションセンサデータ９３は、上記モーションセンサに含まれる加速度センサおよび角速度センサで検出された加速度および角速度を示すデータである。ヘッドホン接続状態データ９４は、ヘッドホン端子２４にヘッドホンが接続されているか否かを示すためのデータである。

【0055】

図１３に戻り、端末送信用データ８４は、端末装置６へ周期的に送信するデータである。端末送信用データ８４には、上記端末用ゲーム画像や端末用ゲーム音声が含まれる。

【0056】

ゲーム音声データ８５は、上記端末用ゲーム音声およびモニタ用ゲーム音声の素になるデータである。ゲーム音声データ８５には、例えば、上記図５等で示したような音源オブジェクト１０２が発する音声としてのロケットの移動音、等の音声が含まれる。

【0057】

端末装置姿勢データ８６は、端末装置６の姿勢を示すデータである。仮想マイク姿勢データ８７は、上記仮想マイクの姿勢を示すデータである。これらの姿勢データは、例えば、３軸のベクトルデータの組み合わせとして示される。なお、仮想マイク姿勢データ８７には、端末用仮想マイクの姿勢データとモニタ用仮想マイクの姿勢データのそれぞれが含まれる。但し、以下の説明では、単に「仮想マイク姿勢データ８７」と示した場合は端末用仮想マイクの姿勢データを指すものとする。

【0058】

オブジェクトデータ８８は、プレイヤキャラクタ１０１や上記音源オブジェクト１０２等のデータである。特に、音源オブジェクト１０２を示すデータについては、当該音源オブジェクトが発する音声として定義されている音声データを示す情報が含まれている。当該音声データは、上記ゲーム音声データ８５に含まれている音声データのいずれかである。また、その他、当該音源オブジェクト１０２が音声発生中か否かを示す情報や、当該音源オブジェクトが発する音声の音量値やその音の指向性等を定義した情報等、音源オブジェクトが発する音声に関する情報も適宜含まれている

【0059】

次に、図１５〜図１６のフローチャートを参照し、ゲーム処理プログラム８１に基づいてゲーム装置本体５のＣＰＵ１１によって実行されるゲーム処理の流れを説明する。

【0060】

図１５において、ゲーム処理プログラム８１の実行が開始されると、ステップＳ１において、ＣＰＵ１１は、初期化処理を行う。この初期化処理では、仮想マイクの姿勢（仮想マイク姿勢データ８７）が初期値に設定される（端末用、モニタ用の双方ともに）。この初期値とは、マイク座標系の各軸の向きを仮想３次元空間の空間座標系の各軸の向きに一致させた状態である。

【0061】

次に、ステップＳ２において、ＣＰＵ１１は、端末操作データ８３の取得を行う。

【0062】

次に、ステップＳ３において、ＣＰＵ１１は、モーションセンサデータ９３（加速度データおよび角速度データ）に基づいて、端末装置６の現在の姿勢を算出する。算出された姿勢を示すデータは、端末装置姿勢データ８６としてメモリ１２に格納される。

【0063】

次に、ステップＳ４において、ＣＰＵ１１は、端末装置６の現在の姿勢を仮想マイク（端末用仮想マイク）の姿勢に反映する。具体的には、端末装置姿勢データ８６で示される姿勢を仮想マイク姿勢データ８７に反映させる。但し、端末装置６にヘッドホンが接続されているときは、ＣＰＵ１１は、端末装置６の現在の姿勢を反映させる代わりに、仮想マイクのマイク座標系におけるｘ軸の向きが仮想空間の空間座標系のｘ軸の向きに一致するように仮想マイクの姿勢を調整する。換言すれば、スピーカ２３Ｌおよび２３Ｒの位置関係が、左右に配置されている位置関係となるような姿勢に調整する。なお、ヘッドホンが端末装置６に接続されているか否かは、ヘッドホン接続状態データ９４を参照することで判定できる。また、ここでは、モニタ用仮想マイクの姿勢については変化させないものとする。

【0064】

次に、ステップＳ５において、ＣＰＵ１１は、端末操作データ８３で示される操作内容（主に操作ボタンデータ９１やタッチ位置データ９２で示される操作内容）に基づき、所定のゲーム処理を実行する。例えば、プレイヤキャラクタ等の各種キャラクタや上記音源オブジェクトを移動させる処理等が行われる。

【0065】

次に、ステップＳ６において、ＣＰＵ１１は、上記ゲーム処理の結果が反映されたゲーム画像を生成する処理を実行する。例えば、上記操作内容に基づいてプレイヤキャラクタが移動した後の仮想ゲーム空間を仮想カメラで撮影することでゲーム画像が生成される。また、このとき、ＣＰＵ１１は、ゲーム内容に応じて、適宜、モニタ用ゲーム画像と端末用ゲーム画像の２つの画像を生成する。例えば、２つの仮想カメラを用いることでそれぞれの画像が生成される。

【0066】

次に、ステップＳ７において、ＣＰＵ１１は、モニタ用ゲーム音声および端末用ゲーム音声を生成するためのゲーム音声生成処理を実行する。図１６は、上記ステップＳ７で示したゲーム音声生成処理の詳細を示すフローチャートである。図１６において、まず、ステップＳ２１で、ＣＰＵ１１は、処理対象とする音源オブジェクトを一つ選択する。音源オブジェクトが仮想空間内に複数存在する場合に、これらを一つずつ順番に処理していくためである。また、処理対象となる音源オブジェクトは、例えば、現在音声発生中の状態にある音源オブジェクトである。

【0067】

次に、ステップＳ２２において、ＣＰＵ１１は、上記処理対象の音源オブジェクトのマイク座標系における位置を算出する。これにより、マイク座標系において、音源オブジェクトが仮想マイクの右側に位置するか左側に位置するかを認識することができる。

【0068】

次に、ステップＳ２３で、ＣＰＵ１１は、マイク座標系における仮想マイクから音源オブジェクトまでの直線距離を算出する。続くステップＳ２４において、ＣＰＵ１１は、上記算出したマイク座標系における音源オブジェクトの位置および距離に基づいて、スピーカ２３Ｌおよび２３Ｒのそれぞれの音量値を決定する。つまり、スピーカ２３Ｌおよび２３Ｒの左右の音量バランスが決定される。

【0069】

次に、ステップＳ２５において、ＣＰＵ１１は、当該音源オブジェクトに対応付けられているゲーム音声データ８５を再生する。その再生音量は、上記ステップＳ２４で決定された音量に従う。

【0070】

次に、ステップＳ２６において、ＣＰＵ１１は、処理対象となる音源オブジェクトの全てについて上記のような処理を行ったか否かを判定する。そして、まだ未処理の音源オブジェクトが残っていれば（ステップＳ２６でＮＯ）、ＣＰＵ１１は、上記ステップＳ２１に戻り処理を繰り返す。一方、全て処理が終わっていれば（ステップＳ２６でＹＥＳ）、ステップＳ２７において、ＣＰＵ１１は、上記処理を行った各音源オブジェクトにかかる音声を含む端末用ゲーム音声を生成する。

【0071】

続くステップＳ２７で、ＣＰＵ１１は、モニタ用仮想マイクを用いて、ゲーム処理の結果に応じたモニタ用ゲーム音声を適宜生成する。ここでは、当該モニタ用ゲーム音声も、その対象をスピーカ２Ｌおよび２Ｒとして、基本的には上記端末用ゲーム音声と同様の処理で生成されるものとする。以上で、ゲーム音声生成処理は終了する。

【0072】

図１５に戻り、ゲーム音声生成処理の次に、ステップＳ８において、ＣＰＵ１１は、上記ステップＳ３で生成された端末用ゲーム画像およびステップＳ７で生成された端末用ゲーム音声を端末送信用データ８４に格納し、当該端末送信用データ８４を端末装置６に送信する。なお、ここでは説明の便宜上、端末用ゲーム音声の送信周期を端末用ゲーム画像の送信周期を合わせている例を挙げているが、他の実施形態では、端末用ゲーム音声の送信周期については端末用ゲーム画像の送信周期よりも短くしてもよい。例えば、端末用ゲーム画像については１／６０秒周期で送信するようにし、端末用ゲーム音声については１／１８０秒周期で送信するようにしてもよい。

【0073】

次に、ステップＳ９において、ＣＰＵ１１は、上記ステップＳ６で生成されたモニタ用ゲーム画像をモニタ２に出力する。続くステップＳ１０において、ＣＰＵ１１は、上記ステップＳ７で生成されたモニタ用ゲーム音声をスピーカ２Ｌおよび２Ｒに出力する。

【0074】

次に、ステップＳ１１で、ＣＰＵ１１は、ゲーム処理を終了するための所定の条件が満たされたか否かを判定する。その結果、所定の条件が満たされていないときは（ステップＳ１１でＮＯ）、上記ステップＳ２に戻り、上述の処理を繰り返す。所定の条件が満たされたときは（ステップＳ１１でＹＥＳ）、ＣＰＵ１１は当該ゲーム処理を終了する。

【0075】

次に、図１７のフローチャートを参照して、端末装置６の制御部３３が実行する制御処理の流れを説明する。まず、ステップＳ４１において、制御部３３は、ゲーム装置本体５から送信された端末送信用データ８４を受信する。

【0076】

次に、ステップＳ４２において、制御部３３は、上記受信した端末送信用データ８４に含まれている端末用ゲーム画像をＬＣＤ２１に出力する。

【0077】

次に、ステップＳ４３において、制御部３３は、上記受信した端末送信用データ８４に含まれている端末用ゲーム音声を出力する。出力先は、ヘッドホンが接続されていないときはスピーカ２３Ｌおよび２３Ｒに出力し、ヘッドホンが接続されている場合は、当該ヘッドホンに出力する。また、スピーカ２３Ｌおよび２３Ｒに出力される場合、その音量バランスは、上記ステップＳ２４で決定された音量に従う。

【0078】

次に、ステップＳ４４において、制御部３３は、操作部３１やモーションセンサ３２、タッチパネル２２に対する入力（操作内容）を検出し、操作ボタンデータ９１、タッチ位置データ９２、および、モーションセンサデータ９３を生成する。

【0079】

次に、ステップＳ４５において、制御部３３は、ヘッドホン端子２４にヘッドホンが接続されているか否かを検出する。そして、ヘッドホンが接続されているか未接続であるかを示すデータをヘッドホン接続状態データ９４として生成する。

【0080】

次に、ステップＳ４６において、制御部３３は、上記ステップＳ４４およびＳ４５で生成した操作ボタンデータ９１、タッチ位置データ９２、およびヘッドホン接続状態データ９３を含む端末操作データ８３を生成し、ゲーム装置本体５に送信する。

【0081】

次に、ステップＳ４７において、制御部３３は、端末装置６の制御処理を終了するための所定の条件が満たされたか否かを判定する（例えば、電源オフ操作が行われたか否か等）。その結果、所定の条件が満たされていないときは（ステップＳ４７でＮＯ）、上記ステップＳ４１に戻り、上述の処理を繰り返す。所定の条件が満たされたときは（ステップＳ４７でＹＥＳ）、制御部３３は当該端末装置６の制御処理を終了する。

【0082】

上記のように、本実施形態では、スピーカ２３Ｌおよび２３Ｒの実空間における位置関係を考慮して、仮想空間内に存在する音源オブジェクトから発せられる音声の出力制御を行う。これにより、上記のような仮想空間の表示システムを利用するゲーム処理等において、より臨場感の高いユーザ体験を提供できる。

【0083】

なお、上記実施形態では、端末装置６の姿勢の変化の例として、「横向き姿勢」「縦向き姿勢」の例を挙げていた。つまり、端末装置６の座標系におけるｘｙ平面上の姿勢の変化（ｚ軸回りの回転）の例を挙げていた。姿勢の変化態様はこれに限るものではなく、ｘ軸回りやｙ軸回りに回転させるような姿勢変化の場合にも上記の処理は適用可能である。例えば、仮想空間内において、ｚ軸正方向に向けて移動する音源オブジェクトが存在している場合を想定する（つまり、プレイヤから見て、奥行き方向に遠ざかっていくように移動する音源オブジェクト）。この場合、上記図５の「横向き姿勢」や図７のような「縦向き姿勢」の状態のときであれば、当該音源オブジェクトが発する音声に関してはスピーカ２３Ｌ、２３Ｒの左右の音量バランスは変化しない。しかし、例えば、プレイヤが図７の状態からＬＣＤ２１が上を向くように、端末装置座標系におけるｙ軸回りに端末装置６を回転させたとする。このような場合は、当該音源オブジェクトの奥行き方向の移動に応じて、スピーカ２３Ｌと２３Ｒの音量バランスが変化する。すなわち、スピーカ２３Ｌの音量が徐々に小さくなると共に、スピーカ２３Ｒの音量が徐々に大きくなっていくような音声出力制御が行われる。

【0084】

また、上記実施形態では、モニタ２および端末装置６という、２つの画面と２セットのステレオスピーカ（４つのスピーカ）を有するゲームシステムを例に挙げた。このような構成に限らず、例えば、携帯型ゲーム装置のように、画面およびステレオスピーカがハウジングに一体化するよう設けられている情報処理装置にも上記の処理は適用可能である。また、このような情報処理装置は、モーションセンサを内蔵しており、自身の姿勢が検知可能な情報処理装置であることが好ましい。そして、このような情報処理装置で、上述したような仮想空間の表示システムを利用する処理を行う場合に好適である。この場合は、仮想カメラや仮想マイクを一つだけにして上記と同様の処理を行えばよい。

【0085】

また、上記端末装置６で示されるような画面およびスピーカを有するゲームコントローラを用いない据置型のゲーム装置にも上記処理は適用可能である。例えば、モニタ２に別途外付けのステレオスピーカを接続してゲームをプレイするような構成の場合である。図１８および図１９は、このような構成のモニタおよび外付けスピーカの位置関係を示す模式図である。図１８では、モニタ２の左右にそれぞれ外付けスピーカ（右側スピーカおよび左側スピーカ）を配置している例である。また、図１９は、モニタ２の上下にそれぞれ外付けスピーカを配置している例である。そして、このような外付けスピーカの位置関係をゲーム装置が認識できるように構成することで、上記のような処理は適用可能となる。例えば、ゲーム処理の実行に際して、外付けスピーカの配置関係が「上下配置」であるか「左右配置」であるかをプレイヤがゲーム装置に設定すること（所定の設定画面を表示しプレイヤに入力させる等）で、外付けスピーカの位置関係を認識させるようにしてもよい。また、外付けスピーカの位置関係が認識できるような所定のセンサ（例えば加速度センサ等）を当該スピーカ内部に搭載してもよい。そして、このセンサの出力結果に基づいて、ゲーム装置が外付けスピーカの位置関係を自動的に認識できるようにしてもよい。また、外付けスピーカとして例えば５．１ｃｈサラウンドシステムのスピーカを用いるような場合も、同様の処理が適用できる。当該５．１ｃｈのスピーカの配置を基本となる配置から変化させたような場合、例えば、フロントスピーカのＬおよびＲを上下方向に配置したような場合を想定する。このような場合も、各スピーカの位置関係（の変化）をゲーム装置に認識させ、音源オブジェクトと各スピーカの位置関係を反映してそれぞれのスピーカの音量を調整すればよい。

【0086】

また、その他、モニタ２のスピーカ２Ｌおよび２Ｒと、端末装置６のスピーカ２３Ｌおよび２３Ｒの、合計２セットのステレオスピーカ（計４つのスピーカ）を用いて上記の処理を適用しても良い。特に、端末装置６を主に「縦向き姿勢」で利用する場合に好適である。図２０は、このような構成における音声出力の様子を模式的に示す図である。例えば、仮想空間内の左右方向についての音源オブジェクトの移動に関してはモニタ２のスピーカ２３Ｌおよび２３Ｒからの出力に反映させる。そして、上下方向についての音源オブジェクトの移動については、端末装置６のスピーカ２３Ｌおよび２３Ｒからの出力に反映させる。これにより、上下左右の４方向について、音源オブジェクトに移動にかかる音量変化が反映でき、より臨場感を高めることができる。

【0087】

また、上述の実施例にかかる処理を実行するためのゲーム処理プログラムは、任意のコンピュータ読み取り可能な記憶媒体（例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、半導体メモリカード、ＲＯＭ、ＲＡＭなど）に格納され得る。

【0088】

また、上記実施例ではゲーム処理を一例に説明しているが、情報処理の内容はゲーム処理に限るものではなく、上記のような仮想空間の表示システムを利用する他の情報処理においても上記実施例の処理は適用可能である。

【0089】

また、上記実施形態においては、実空間におけるスピーカの位置関係を考慮して音声出力制御を行うための一連の処理が単一の装置（ゲーム装置本体５）において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、ゲーム装置本体５と、当該ゲーム装置本体５とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

【符号の説明】

【0090】

１…ゲームシステム
２…モニタ
２Ｌ、２Ｒ…スピーカ
３…ゲーム装置
５…ゲーム装置本体
６…端末装置
２０…ハウジング
２１…ＬＣＤ
２３Ｌ、２３Ｒ…スピーカ
２４…ヘッドホン接続端子

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】