特許第6055651号(P6055651)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ 任天堂株式会社の特許一覧
特許6055651情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
<>
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000002
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000003
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000004
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000005
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000006
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000007
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000008
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000009
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000010
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000011
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000012
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000013
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000014
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000015
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000016
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000017
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000018
  • 特許6055651-情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置 図000019
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6055651
(24)【登録日】2016年12月9日
(45)【発行日】2016年12月27日
(54)【発明の名称】情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
(51)【国際特許分類】
   H04S 7/00 20060101AFI20161219BHJP
   H04S 1/00 20060101ALI20161219BHJP
   H04N 5/60 20060101ALI20161219BHJP
   A63F 13/54 20140101ALI20161219BHJP
【FI】
   H04S7/00 320
   H04S1/00 200
   H04N5/60 C
   A63F13/54
【請求項の数】6
【全頁数】23
(21)【出願番号】特願2012-237973(P2012-237973)
(22)【出願日】2012年10月29日
(65)【公開番号】特開2014-90251(P2014-90251A)
(43)【公開日】2014年5月15日
【審査請求日】2015年9月7日
(73)【特許権者】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1
(74)【代理人】
【識別番号】110001276
【氏名又は名称】特許業務法人 小笠原特許事務所
(74)【代理人】
【識別番号】100130269
【弁理士】
【氏名又は名称】石原 盛規
(72)【発明者】
【氏名】長田 潤也
【住所又は居所】京都府京都市南区上鳥羽鉾立町11番地1 任天堂株式会社内
【審査官】 千本 潤介
(56)【参考文献】
【文献】 特開2003−257162(JP,A)
【文献】 米国特許出願公開第2010/0034404(US,A1)
【文献】 特開2012−183256(JP,A)
【文献】 特開2003−244786(JP,A)
【文献】 特開平09−091461(JP,A)
【文献】 特開2006−094275(JP,A)
【文献】 米国特許出願公開第2006/0067534(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04S 7/00
A63F 13/54
H04N 5/60
H04S 1/00
(57)【特許請求の範囲】
【請求項1】
情報処理部と、第1のスピーカおよび第2のスピーカとを備える情報処理システムであって、
2チャンネルで構成されている所定の音楽データを第1チャンネル音楽データと第2チャンネル音楽データとに分離する音楽データ分離手段と、
前記分離された音楽データのうちの一方に対応付けられた第1の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第2の音源オブジェクトとを仮想3次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置手段と、
前記仮想3次元空間内の所定の位置に仮想マイクを配置する仮想マイク配置手段と、
前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に基づいて、前記第1のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、前記第2のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量とを決定する音声出力制御手段と、
動きセンサ、前記第1のスピーカ、前記第2のスピーカ、および前記仮想3次元空間の様子が表示される第1の表示部とが設けられているハウジングを有する第1出力装置と、
前記動きセンサの出力に基づいて前記第1出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出手段と、
前記第1出力装置の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更手段と、
前記第1出力装置の姿勢に基づいて前記第1のスピーカと前記第2のスピーカとの位置関係を認識するスピーカ位置関係認識部と、を備え
前記音声出力制御手段は、前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に加え、更に前記第1のスピーカおよび前記第2のスピーカの位置関係に基づいて、当該第1のスピーカから出力される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、当該第2のスピーカから出力される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量を決定する、情報処理システム。
【請求項2】
前記情報処理システムは、第3のスピーカ、第4のスピーカ、および第2の表示部を有する第2出力装置を更に備え、
前記音声出力制御部は、前記第1出力装置が有する第1のスピーカおよび第2のスピーカと、前記第2出力装置が有する第3のスピーカおよび第4のスピーカとの間の位置関係に基づいて、各スピーカからの前記再生音量を決定する、請求項に記載の情報処理システム。
【請求項3】
前記音楽データはステレオ2チャンネルで構成された音楽データであり、
前記第1のスピーカおよび第2のスピーカは、組となるステレオスピーカである、請求項1または2に記載の情報処理システム。
【請求項4】
情報処理部と、第1のスピーカおよび第2のスピーカを備える音声出力システムのコンピュータに実行させる情報処理プログラムであって
2チャンネルで構成されている所定の音楽データを第1チャンネル音楽データと第2チャンネル音楽データとに分離する音楽データ分離手段と、
前記分離された音楽データのうちの一方に対応付けられた第1の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第2の音源オブジェクトとを仮想3次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置手段と、
前記仮想3次元空間内の所定の位置に仮想マイクを配置する仮想マイク配置手段と、
前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に基づいて、前記第1のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、前記第2のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量とを決定する音声出力制御手段として前記コンピュータを機能させ
前記情報処理システムは、動きセンサ、前記第1のスピーカ、前記第2のスピーカ、および前記仮想3次元空間の様子が表示される第1の表示部とが設けられているハウジングを有する第1出力装置を更に備え、
前記情報処理プログラムは、前記コンピュータを、
前記動きセンサの出力に基づいて前記第1出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出手段と、
前記第1出力装置の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更手段と、
前記第1出力装置の姿勢に基づいて前記第1のスピーカと前記第2のスピーカとの位置関係を認識するスピーカ位置関係認識部として更に機能させ、
前記音声出力制御手段は、前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に加え、更に前記第1のスピーカおよび前記第2のスピーカの位置関係に基づいて、当該第1のスピーカから出力される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、当該第2のスピーカから出力される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量を決定する、情報処理プログラム。
【請求項5】
情報処理部と、第1のスピーカおよび第2のスピーカを備える情報処理システムを制御するための情報処理制御方法であって
2チャンネルで構成されている所定の音楽データを第1チャンネル音楽データと第2チャンネル音楽データとに分離する音楽データ分離ステップと、
前記分離された音楽データのうちの一方に対応付けられた第1の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第2の音源オブジェクトとを仮想3次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置ステップと、
前記仮想3次元空間内の所定の位置に仮想マイクを配置するマイク配置ステップと、
前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に基づいて、前記第1のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、前記第2のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量とを決定する音声出力制御ステップとを備え
前記情報処理システムには、動きセンサ、前記第1のスピーカ、前記第2のスピーカ、および前記仮想3次元空間の様子が表示される第1の表示部とが設けられているハウジングを有する第1出力装置を有しており、
前記情報処理制御方法は、
前記動きセンサの出力に基づいて前記第1出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出ステップと、
前記第1出力装置の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更ステップと、
前記第1出力装置の姿勢に基づいて前記第1のスピーカと前記第2のスピーカとの位置関係を認識するスピーカ位置関係認識ステップとを更に備え、
前記音声出力制御ステップでは、前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に加え、更に前記第1のスピーカおよび前記第2のスピーカの位置関係に基づいて、当該第1のスピーカから出力される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、当該第2のスピーカから出力される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量を決定する、情報処理制御方法。
【請求項6】
第1のスピーカおよび第2のスピーカを備える情報処理装置であって、
2チャンネルで構成されている所定の音楽データを第1チャンネル音楽データと第2チャンネル音楽データとに分離する音楽データ分離手段と、
前記分離された音楽データのうちの一方に対応付けられた第1の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第2の音源オブジェクトとを仮想3次元空間内のそれぞれ異なる位置に配置する音源オブジェクト配置手段と、
前記仮想3次元空間内の所定の位置に仮想マイクを配置する仮想マイク配置手段と、
前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に基づいて、前記第1のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、前記第2のスピーカから再生される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量とを決定する音声出力制御手段と、
動きセンサと、
前記仮想3次元空間の様子が表示される第1の表示手段と、
前記動きセンサの出力に基づいて前記情報処理装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出する姿勢検出手段と、
前記情報処理の姿勢に応じて前記仮想マイクの向きを変更する仮想マイク姿勢変更手段と、
前記第1出力装置の姿勢に基づいて前記第1のスピーカと前記第2のスピーカとの位置関係を認識するスピーカ位置関係認識部とを備え
前記音声出力制御手段は、前記仮想3次元空間内に配置された前記仮想マイクの向きと前記第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に加え、更に前記第1のスピーカおよび前記第2のスピーカの位置関係に基づいて、当該第1のスピーカから出力される前記第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、当該第2のスピーカから出力される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量を決定する、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置に関し、より特定的には、情報処理部と、第1のスピーカおよび第2のスピーカを備える情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置に関する。
【背景技術】
【0002】
従来、一般的なテレビ装置(第1の映像出力装置)と、これとは別の、映像出力可能な表示部を備えたコントローラ(第2の映像出力装置)とを併用するゲームシステムについて知られている。このようなゲームシステムでは、例えば、第1のゲーム映像をテレビ装置に表示し、この第1のゲーム映像とは異なる第2のゲーム映像をコントローラの表示部に表示したりすることで、新しい遊びを提案していた。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2012−135337号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、上記提案は、主にどのような映像を表示し、また、これらをゲーム処理との関係でどのように連携させて表示するかを主眼としたものであった。そのため、音声に関する処理に関しては特に言及や提案をするものではなかった。
【0005】
それ故に、本発明の目的は、仮想空間内の音源から再生される音楽について、より臨場感の高い視聴効果が得られる新たなユーザ体験が提供可能な情報処理システム等を提供することである。
【課題を解決するための手段】
【0006】
上記目的は、例えば以下のような構成により達成される。
【0007】
構成例の一例は、情報処理部と、第1のスピーカおよび第2のスピーカとを備える情報処理システムであって、音楽データ分離手段と、音源オブジェクト配置手段と、仮想マイク配置手段と、音声出力制御手段とを備える。音楽データ分離手段は、2チャンネルで構成されている所定の音楽データを第1チャンネル音楽データと第2チャンネル音楽データとに分離する。音源オブジェクト配置手段は、分離された音楽データのうちの一方に対応付けられた第1の音源オブジェクトと、当該分離された音楽データの他方に対応付けられた第2の音源オブジェクトとを仮想3次元空間内のそれぞれ異なる位置に配置する。仮想マイク配置手段は、仮想3次元空間内の所定の位置に仮想マイクを配置する。音声出力制御手段は、仮想3次元空間内に配置された仮想マイクの向きと第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に基づいて、第1のスピーカから再生される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、第2のスピーカから再生される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量とを決定する。
【0008】
上記構成例によれば、仮想空間内の音源から発せられるBGMの再生に関して、より臨場感の高いユーザ体験を提供できる。
【0009】
また、情報処理システムは、第1出力装置と、姿勢検出手段と、仮想マイク姿勢変更手段とを更に備えていてもよい。第1出力装置は、動きセンサ、第1のスピーカ、第2のスピーカ、および仮想3次元空間の様子が表示される第1の表示部とが設けられているハウジングを有していてもよい。また、姿勢検出手段は、動きセンサの出力に基づいて第1出力装置自身の姿勢をリアルタイム、あるいはほぼリアルタイムで検出するようにしてもよい。仮想マイク姿勢変更手段は、第1出力装置の姿勢に応じて仮想マイクの向きを変更してもよい。
【0010】
上記構成例によれば、2つのスピーカを有する第1出力装置自身の姿勢をプレイヤが変化させることによって第1の表示部に表示される仮想空間の表示を変化させるようなゲーム等において、音源オブジェクトが発するBGMについてより臨場感の高い再生が可能となる。
【0011】
また、情報処理システムは、第1出力装置の姿勢に基づいて第1のスピーカと第2のスピーカとの位置関係を認識するスピーカ位置関係認識部を更に備えていてもよい。そして、音声出力制御手段は、仮想3次元空間内に配置された仮想マイクの向きと第1の音源オブジェクトおよび第2の音源オブジェクトとの位置関係に加え、更に第1のスピーカおよび第2のスピーカの位置関係に基づいて、当該第1のスピーカから出力される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量と、当該第2のスピーカから出力される第1チャンネル音楽データおよび第2チャンネル音楽データの再生音量を決定するようにしてもよい。
【0012】
上記構成例によれば、仮想空間内の音源オブジェクトが発する音声の表現について、現実空間におけるスピーカの位置関係を反映させた表現が可能となる。
【0013】
また、情報処理システムは、第3のスピーカ、第4のスピーカ、および第2の表示部を有する第2出力装置を更に備えていてもよい。そして、音声出力制御部は、第1出力装置が有する第1のスピーカおよび第2のスピーカと、第2出力装置が有する第3のスピーカおよび第4のスピーカとの間の位置関係に基づいて各スピーカからの再生音量を決定するようにしてもよい。
【0014】
上記構成例によれば、例えば、ゲームコントローラとして利用可能な第1出力装置にかかる第1の組のスピーカと、モニタとして利用可能な第2出力装置にかかる第2の組のスピーカのそれぞれを用いてより臨場感の高い音声出力が可能となる。例えば、プレイヤから見て上下方向にかかる音声出力を第1出力装置にかかるスピーカに担当させ、左右方向にかかる音声出力を第2出力装置にかかるスピーカに担当させることで、仮想空間における空間の広がり、空間的感覚をプレイヤにより体感させることが可能となる。
【0015】
また、音楽データはステレオ2チャンネルで構成された音楽データであってもよい。更に、第1のスピーカおよび第2のスピーカは、組となるステレオスピーカであってもよい。
【0016】
上記構成例によれば、仮想空間内で左右方向に沿って配置された音源オブジェクトから発せられる音楽の表現について、プレイヤに違和感を与えず、より臨場感を高めた表現ができる。
【発明の効果】
【0017】
本発明によれば、仮想空間内に存在する音源オブジェクトが発する音声に関して、より臨場感を高めた音声出力を行うことができる。
【図面の簡単な説明】
【0018】
図1】本発明の一実施形態に係るゲームシステム1の一例を示す外観図
図2図1のゲーム装置本体5の一例を示す機能ブロック図
図3図1の端末装置6の外観構成の一例を示す図
図4】端末装置6の内部構成の一例を示すブロック図
図5】ゲーム画面の一例を示す図
図6】ゲーム画面の一例を示す図
図7】ゲーム画面の一例を示す図
図8】ゲーム画面の一例を示す図
図9】ゲーム画面の一例を示す図
図10】ゲーム画面の一例を示す図
図11】ゲーム画面の一例を示す図
図12】メモリ12のメモリマップ
図13】端末操作データ83の構成の一例
図14】音源オブジェクトデータ88の構成の一例
図15】ゲーム処理プログラム81に基づくゲーム処理の流れを示すフローチャート
図16図15の初期設定処理の詳細を示すフローチャート
図17図15のゲーム音声生成処理の詳細を示すフローチャート
図18】端末装置6の制御処理の流れを示すフローチャート
【発明を実施するための形態】
【0019】
図1を参照して、本発明の一実施形態に係るゲームシステムについて説明する。
【0020】
図1において、ゲームシステム1は、表示手段の一例である家庭用テレビジョン受像機(以下、モニタと記載する)2と、モニタ2に接続コードを介して接続する据置型のゲーム装置3とから構成される。モニタ2は、2chのステレオスピーカであるスピーカ2L、2Rを備える。また、ゲーム装置3は、ゲーム装置本体5と、端末装置6とを含む。
【0021】
モニタ2は、ゲーム装置本体5から出力されるゲーム画像を表示する。モニタ2は左スピーカ2Lおよび右スピーカ2Rを有している。スピーカ2Lおよび2Rは、ゲーム装置本体5から出力されるゲーム音声を出力する。なお、この例ではモニタ2がこれらスピーカを有する例を示したが、この他、モニタ2に別途外部のスピーカを接続するような形態であってもよい。
【0022】
ゲーム装置本体5は、当該ゲーム装置本体5で読み取り可能な光ディスクに記憶されたゲームプログラム等に基づいてゲーム処理等を実行する。
【0023】
端末装置6は、ユーザが把持可能な入力装置である。ユーザは端末装置6を手に持って動かしたり、あるいは、端末装置6を自由な位置に配置したりして使用することが可能である。端末装置6は、表示手段であるLCD(Liquid Crystal Display:液晶表示装置)21、2chのステレオスピーカであるスピーカ23Lおよび23R(以降では総称してスピーカ23と示すこともある)、ヘッドホン端子、および入力手段(アナログスティックや押下型のボタン、タッチパネル等)等を備える。端末装置6とゲーム装置本体5とは無線(有線であってもよい)によって通信可能である。端末装置6は、ゲーム装置本体5で生成された画像(例えばゲーム画像)のデータをゲーム装置本体5から受信し、当該データが示す画像をLCD21に表示する。また、端末装置6は、ゲーム装置本体5で生成された音声(例えばゲームの効果音やBGM)のデータをゲーム装置本体5から受信し、当該データが示す音声をスピーカ23から出力する。また、端末装置6は、ゲーム装置本体5へ、自機に対して行われた操作の内容を表す操作データを送信する。
【0024】
図2は、ゲーム装置本体5のブロック図である。図2において、ゲーム装置本体5は、情報処理装置の一例である。本実施形態においては、ゲーム装置本体5はCPU(制御部)11およびメモリ12、システムLSI13、無線通信部14およびAV−IC(Audio Video−Integrated Circuit)15等を有する。
【0025】
CPU11は、メモリ12やシステムLSI13等を用いて所定の情報処理プログラムを実行する。これにより、ゲーム装置3における各種機能(例えば、ゲーム処理)が実現される。
【0026】
システムLSI13には、GPU(Graphics Processor Unit)16、DSP(Digital Signal Processor)17、入出力プロセッサ18、等が含まれる。
【0027】
GPU16は、CPU11からのグラフィクスコマンド(作画命令)に従って画像を生成する。なお、本実施形態においては、ゲーム装置本体5は、モニタ2に表示するゲーム画像と、端末装置6に表示するゲーム画像との両方を生成することがある。以下では、モニタ2に表示されるゲーム画像を「モニタ用ゲーム画像」と呼び、端末装置6に表示されるゲーム画像を「端末用ゲーム画像」と呼ぶことがある。
【0028】
DSP17は、オーディオプロセッサとして機能し、メモリ12に記憶されるサウンドデータや音波形(音色)データを用いて、音声データを生成する。なお、本実施形態においては、ゲーム音声についてもゲーム画像と同様、モニタ2のスピーカ2Lおよび2Rから出力するゲーム音声と、端末装置6のスピーカ23(あるいは端末装置6に接続されたヘッドホン)から出力するゲーム音声との両方が生成されることがある。以下では、モニタ2から出力されるゲーム音声を「モニタ用ゲーム音声」と呼び、端末装置6から出力されるゲーム音声を「端末用ゲーム音声」と呼ぶことがある。
【0029】
入出力プロセッサ18は、無線通信部14を介して、端末装置6との間でデータの送受信を実行したりする。本実施形態では、入出力プロセッサ18は、GPU16が生成したゲーム画像(端末用ゲーム画像)、および、DSP17が生成したゲーム音声(端末用ゲーム音声)のデータを、無線通信部14を経由して端末装置6に送信する。この際、端末用ゲーム画像については、表示画像の遅延が生じないように圧縮して送信するようにしても良い。また、入出力プロセッサ18は、上記無線通信部14を介して、端末装置6から送信される操作データ等を受信し、メモリ12のバッファ領域に記憶(一時記憶)する。
【0030】
また、ゲーム装置本体5において生成される画像および音声のうち、モニタ2に出力される画像データおよび音声データは、AV−IC15によって読み出される。AV−IC15は、図示しないAVコネクタを介して、読み出した画像データをモニタ2に出力するとともに、読み出した音声データをモニタ2に内蔵されるスピーカ2aに出力する。これによって、モニタ2に画像が表示されるとともにスピーカ2aから音声が出力される。
【0031】
図3は、端末装置6の外観構成の一例を示す図である。図3に示すように、端末装置6は略板状のハウジング20を備える。ハウジング20は、ユーザが両手または片手で把持可能な大きさ(形状)である。また、端末装置6は、表示部の一例であるLCD21を備える。LCD21には、上記端末用ゲーム画像が表示される。
【0032】
また、端末装置6は、スピーカ23を備える。当該スピーカ23はステレオスピーカである。スピーカ23からは、上記端末用ゲーム音声が出力される。また、端末装置6は、所定のヘッドホンが着脱可能なヘッドホン端子24を備える。ここで、端末装置6は、当該ヘッドホン端子にヘッドホンが接続されていないときはスピーカ23からの音声出力を行うが、当該ヘッドホン端子にヘッドホンが接続されているときは、スピーカ23からの音声出力は行わない。つまり、本実施形態では、両者の同時出力は行われず、スピーカ23からの出力とヘッドホンからの出力とは排他的な関係になっている(但し、他の実施例においては同時出力可能としてもよい)。
【0033】
また、端末装置6はタッチパネル22を備える。タッチパネル22は、ハウジング20に設けられる所定の入力面(表示部の画面)に対して入力された位置を検出する位置検出部の一例である。さらに、端末装置6は、操作部(図4に示す操作部31)として、アナログスティック25、十字キー26、およびボタン27等を備える。
【0034】
図4は、端末装置6の電気的な構成を示すブロック図である。図4に示すように、端末装置6は、上述のLCD21、タッチパネル22、スピーカ23、および操作部31を備える。また、ヘッドホン端子24を介してヘッドホンが接続可能である。また、端末装置6の姿勢を検出するためのモーションセンサ32を備える。本実施形態では、当該モーションセンサ32として、加速度センサおよびジャイロセンサが備えられている。加速度センサは、xyzの3軸の加速度が検出可能である。ジャイロセンサは、xyzの3軸の角速度が検出可能である。
【0035】
また、端末装置6は、ゲーム装置本体5との無線通信が可能な無線通信部34を備える。本実施形態においては、端末装置6とゲーム装置本体5との間では無線通信が行われるが、他の実施形態においては有線で通信が行われてもよい。
【0036】
また、端末装置6は、端末装置6における動作を制御する制御部33を備える。具体的には、制御部33は、各入力部(タッチパネル22、操作部31、モーションセンサ32)からの出力データを受け取り、操作データとして無線通信部34を介してゲーム装置本体5へ送信する。また、制御部33は、ゲーム装置本体5からの端末用ゲーム画像が無線通信部34において受信されると、必要に応じて適宜の処理(例えば、画像データが圧縮されている場合には伸張処理)を行い、ゲーム装置本体5からの画像をLCD21に表示させる。更に、ゲーム装置本体5からの端末用ゲーム音声が無線通信部34において受信されると、制御部33は、スピーカ23に当該端末用ゲーム音声を出力する。
【0037】
次に、図5図11を参照して、本実施形態のシステムにおいて実行される処理の概要を説明する。
【0038】
本実施形態で実行される処理は、仮想3次元空間(以下、単に仮想空間と呼ぶ)内に存在する音源オブジェクトから発せられる音楽の新しい鳴らし方を提供するものである。なお、音源オブジェクトとは、所定の音声を発することが可能なオブジェクトとして定義されたオブジェクトである。
【0039】
本実施形態の処理の一例として、次のようなゲーム処理を想定する。本ゲーム処理で実現されるゲームは、テーマパークを模した仮想空間内をプレイヤキャラクタが自由に移動できるゲームである。当該仮想空間には複数の「アトラクション」が設定されており、アトラクション毎に異なるミニゲームがプレイ可能である。
【0040】
図5は、当該端末装置6に表示されるゲーム画面の一例である。図5では、プレイヤキャラクタ101、および、所定のアトラクションの入り口である入り口オブジェクト102が表示されている。プレイヤキャラクタ101については、これを背面側から見た様子で表示されている。また、当該入り口オブジェクト102には、左スピーカ画像103Lと右スピーカ画像103Rが表示されている(以下では、総称してスピーカ画像103と呼ぶこともある)。
【0041】
ここで、本ゲームでは、ゲーム画面の表示に関して、実空間の座標系と仮想空間の座標系とを常に一致させて表示している。換言すれば、重力方向と仮想空間内の地面が常に垂直交差しているようにしている。また、端末装置6には、上記のようにモーションセンサ32が備えられている。これを利用することで、端末装置6自体の姿勢が検出可能である。そして、本ゲームでは、端末装置6の姿勢にあわせて仮想カメラも同時に傾けることで、端末装置6を、あたかも仮想空間を覗く「覗き窓」のように扱うことができる。例えば、端末装置6のLCD21がプレイヤの顔の正面に対面するように把持した姿勢を想定する。このとき、当該LCD21には、仮想空間内のZ軸正方向の様子が表示されているとする。この状態から、プレイヤが180度回転して真後ろを向いたとする。すると、当該LCD21には、仮想空間内のZ軸負方向の様子が表示されることになる。
【0042】
ところで、上記のような仮想空間が表現されているゲームにおいて音声を鳴らす場合がある。この音声は、大きく分けて、「効果音」と「音楽(BGM)」の2種類がある。これらの音声の再生手法として、従来は、効果音については、仮想空間内に仮想マイクを設置し、この仮想マイクで視聴したとみなす音場計算(音量や定位)を行うことで効果音を再生していた。一方、音楽、特にBGMに関しては、仮想カメラや仮想マイクの位置に関わらず、常に一定の音量や定位で再生することが一般的であった。つまり、仮想空間の状態に関係なく、いわば仮想空間の「外」でBGMが再生されていた。
【0043】
ここで、仮想空間「内」でBGMが再生されているような表現を行いたい場合を想定する。特に、このBGMが、ステレオ音声、つまり、LRのステレオ2chで構成されているBGMである場合を想定する。この場合は、当該2chで構成されているBGMデータに基づく音声を発する音源オブジェクトを仮想空間内に配置して再生させる。そして、その音を上記仮想マイクで視聴したとみなす処理を行うことが考えられる。例えば、上記図5において、入り口オブジェクト102の有するスピーカ画像103からBGMが流れているような表現を行いたい場合を考える。この場合は、図6に示すように、2つのスピーカ画像103のほぼ真ん中あたりに音源オブジェクト(これはプレイヤからは見えない透明なオブジェクトである)を配置する。そして、当該音源オブジェクトから2chで構成されているBGMを発する(再生する)処理を行う。更に、この発せられた音声を仮想マイクで拾うような処理が行われる。ここでは、仮想マイクは、プレイヤキャラクタ101と同じ位置に設置されているとする。すなわち、音源オブジェクトのほぼ正面に配置されているとする。その結果、BGMデータのLチャンネルにかかる音声がスピーカ23Lから出力され、BGMデータのRチャンネルにかかる音声がスピーカ23Rから出力される。換言すれば、図6の状態であれば、音源オブジェクトのLRチャンネルの左右の位置(定位)関係と、端末装置6のスピーカ23Lおよび23Rの左右の位置関係とは同じものとなっている。
【0044】
次に、上記のような図6の状態から、プレイヤキャラクタ101を180度回転させたような場合を想定する。例えば、プレイヤが、端末装置6のLCD21がプレイヤの顔の正面に対面するように両手で端末装置6を把持した姿勢のまま、180度回転して真後ろを向いたような場合である。図7は、上記図6の状態から180度回転した状態の画面を示す図である。このプレイヤ(端末装置6)の回転に伴い、プレイヤキャラクタ101、仮想カメラ、および仮想マイクの向きも180度回転している。この場合、仮想空間内の位置関係としては、プレイヤキャラクタ101(仮想マイク)のほぼ真後ろに上記音源オブジェクトが位置するような関係となる。また、左スピーカ画像103Lは、プレイヤキャラクタ101の右後方に位置し、右スピーカ画像103Rは、プレイヤキャラクタ101の左後方に位置するような関係となる。一方、音源オブジェクトから発せられるBGMの定位は維持されたままである。つまり、上記図6の場合と同様、スピーカ23LからはBGMのLチャンネルの音が出力され、スピーカ23RからはBGMのRチャンネルの音が出力される。これは、プレイヤからすると、LRのチャンネルが図6の状態とは逆転して聞こえることになり、違和感のある聞こえ方となる。プレイヤキャラクタ101が180度回転した場合の位置関係を考慮すると、上記図6の状態におけるLチャンネルの音は、図7の状態ではスピーカ23Rから出力され、Rチャンネルの音は、図7の状態ではスピーカ23Lから出力されたほうがより自然な聞こえ方となる。
【0045】
そこで、本実施形態では、上記のような姿勢変化(位置関係の変化)が起こった場合でも、上記BGMが自然に聞こえるような処理を行う。具体的には、本実施形態では、まず、再生したいBGMデータについて、LチャンネルとRチャンネルとを別のサウンドデータとして分離する。そして、2つの音源オブジェクトを別々の位置に配置し、一方にLチャンネルのサウンドデータ(以下、Lチャンネルデータ)を割り当て、他方にRチャンネルのサウンドデータ(以下、Rチャンネルデータ)を割り当てて再生する。つまり、上記のようなLRチャンネルを含む1つのBGMデータを再生する音源オブジェクトを配置するのではなく、LRチャンネル毎に別の音源オブジェクトを設定して配置する。そして、この音源オブジェクトから発せられる音を拾う仮想マイクの向きと上記2つの音源オブジェクトとの位置関係に応じて、スピーカ23Lおよび23Rからの出力音声を調整するという処理を行うものである。具体的には、仮想マイクを基準とするローカル座標系(以下、仮想マイク座標系)において、2つの音源オブジェクトのそれぞれの位置がx軸正方向上に位置するかx軸負方向上に位置するかを判定する。これにより、2つの音源オブジェクトそれぞれの位置が仮想マイクから見て右か左かを判断できる。この位置関係に基づいてスピーカ23Lおよび23RそれぞれにおけるLチャンネルデータおよびRチャンネルデータの再生音量の大きさが決定される。
【0046】
図8は、本実施形態におけるゲーム画面と音源オブジェクトの配置の一例を示す図である。図8では、音源オブジェクト105Lが左スピーカ画像103Lに重なるような位置に配置され、音源オブジェクト105Rが右スピーカ画像103Rに重なるような位置に配置されている。これら音源オブジェクトは、プレイヤからは視認できない透明なオブジェクトである。そして、音源オブジェクト105Lには、再生したいBGMのLチャンネルデータが対応付けられている。一方、音源オブジェクト105Rには、再生したいBGMのRチャンネルデータが対応付けられている。つまり、音源オブジェクト105LはLチャンネルデータを再生し、音源オブジェクト105RはRチャンネルデータを再生するように設定されている。また、上記同様、プレイヤキャラクタの位置に仮想マイクが設置されており、当該仮想マイクは正面方向(z軸正方向)を向いている。このような状態でBGMが再生されると、音源オブジェクト105Lから発せられる音声は主にスピーカ23Lのほうから聞こえる(スピーカ23Rよりも大きな音で聞こえる)ことになる。また、音源オブジェクト105Rから発せられる音声は主にスピーカ23Rのほうから聞こえる(スピーカ23Lよりも大きな音で聞こえる)ことになる。
【0047】
一方、図8の状態から上記のようにプレイヤ(端末装置6)が180度回転した場合を想定する。図9は、このときのゲーム画面を示す図である。この状態では、プレイヤキャラクタ101(仮想マイク)の右後方に音源オブジェクト105Lが位置し、プレイヤキャラクタ101の左後方に音源オブジェクト105Rが位置するという位置関係になる。また、端末装置6の姿勢変化に伴い、仮想マイクの向きについても、その正面方向が仮想空間のz軸負方向を向いていることになる。つまり、仮想マイクを基準にすると、その右側に音源オブジェクト105L、左側に音源オブジェクト105Rがあるという位置関係になる。そして、このような状態で上記BGMが再生されると、音源オブジェクト105Lから発せられる音声は主にスピーカ23Rのほうから聞こえ、音源オブジェクト105Rから発せられる音声は主にスピーカ23Lのほうから聞こえることになる。つまり、プレイヤキャラクタ(仮想マイク)の位置および向きと上記2つの音源オブジェクトの位置関係とが反映されるようにBGMの再生が行われる。これにより、仮想空間内に存在する音源からのBGM再生をより正確に表現でき、プレイヤに違和感を与えないようなBGM再生が実現できる。
【0048】
なお、上記のように、本実施形態では、仮想空間内の音源オブジェクトの位置を反映するように再生処理を行うため、例えば、次のような音声再生も可能である。例えば、図10に示すように、プレイヤキャラクタ101の正面方向かつ上方向に音源オブジェクト105Lおよび105Rが存在し、BGMが再生されているとする。図10では、音源オブジェクト105Lおよび105Rの下半分だけが画面内に入っているような状態である。この状態では、マイク座標系で考えると、音源オブジェクトが仮想マイクの上方(仮想空間の空間座標系のy軸正方向)に位置することになる。この場合、スピーカ23Lおよび23Rから出力される音声の音量は、ほぼ同じとなる。
【0049】
次に、図10の状態から、図11に示すように、端末装置6を左方向に90度回転させた場合を想定する(例えば、プレイヤが端末装置6を縦持ちにした場合)。この場合、スピーカ23Lおよび23Rの位置関係に着目すると、左右方向に配置されていた状態から上下方向に配置されたような位置関係に変化することになる。また、この端末装置6の姿勢変化に併せて、仮想マイクの姿勢も左に90度回転させられる(つまり、端末装置6の姿勢と仮想マイクの姿勢を連動させる)。その結果、マイク座標系で考えると、音源オブジェクト105Lおよび105Rは仮想マイクの右側に位置することになる。このような場合、本実施形態では、スピーカ23R、つまり、現実空間において上側にあるスピーカからの音量を相対的に大きくし、スピーカ23L、つまり、現実空間において下側にあるスピーカからの音量を相対的に小さくして出力する。換言すれば、スピーカ23Lおよび23Rの音量の左右バランスを調整している。これにより、仮想空間内における上下方向(y軸方向)に関する音源オブジェクトの位置関係についてもその音声出力に反映できる。また、この例では上下方向の例えを挙げたが、例えば、奥行き方向(仮想空間のz軸方向)に関しても同様に、この方向についての位置関係をスピーカ23Lおよび23Rからの出力音量に反映できる。例えば、端末装置6の姿勢を、LCD21が上面を向くような姿勢にしたような場合に、奥行き方向にかかる位置関係を反映した音声出力が可能である。
【0050】
次に、図12図18を参照して、上記のようなゲーム処理を実現するためのシステム1の動作について詳細に説明する。
【0051】
図12は、上記ゲームを実行するときにゲーム装置本体5のメモリ12に記憶される各種データの一例を示している。
【0052】
ゲーム処理プログラム81は、ゲーム装置本体5のCPU11に、上記ゲームを実現するためのゲーム処理を実行させるためのプログラムである。ゲーム処理プログラム81は、例えば、光ディスクからメモリ12にロードされる。
【0053】
処理用データ82は、CPU11において実行されるゲーム処理において用いられるデータである。処理用データ82は、端末操作データ83、端末送信用データ84、ゲーム音声データ85、端末装置姿勢データ86、仮想マイク姿勢データ87、音源オブジェクトデータ88等を含む。
【0054】
端末操作データ83は、端末装置6から周期的に送信される操作データである。図13は、端末操作データ83の構成の一例を示す図である。端末操作データ83には、操作ボタンデータ91、タッチ位置データ92、モーションセンサデータ93等が含まれる。操作ボタンデータ91は、操作部31(アナログスティック25、十字キー26、およびボタン27)に対する入力状態を示すデータである。また、モーションセンサ32に対する入力内容も操作ボタンデータ91に含まれる。タッチ位置データ92は、タッチパネル22の入力面において入力が行われた位置(タッチ位置)を示すデータである。モーションセンサデータ93は、上記モーションセンサに含まれる加速度センサおよび角速度センサで検出された加速度および角速度を示すデータである。
【0055】
図12に戻り、端末送信用データ84は、端末装置6へ周期的に送信するデータである。端末送信用データ84には、上記端末用ゲーム画像や端末用ゲーム音声が含まれる。
【0056】
ゲーム音声データ85は、上記端末用ゲーム音声およびモニタ用ゲーム音声の素になるデータである。ゲーム音声データ85には、効果音の音声データや、上述したようなLR2chで構成されるBGMデータが複数含まれている。
【0057】
端末装置姿勢データ86は、端末装置6の姿勢を示すデータである。仮想マイク姿勢データ87は、上記仮想マイクの姿勢を示すデータである。これらの姿勢データは、例えば、3軸のベクトルデータの組み合わせとして示される。なお、仮想マイク姿勢データ87には、端末用仮想マイクの姿勢データとモニタ用仮想マイクの姿勢データのそれぞれが含まれる。但し、以下の説明では、単に「仮想マイク姿勢データ87」と示した場合は端末用仮想マイクの姿勢データを指すものとする。
【0058】
音源オブジェクトデータ88は、上記音源オブジェクトに関するデータである。また、複数の音源オブジェクトデータ88がメモリ12に格納されている。図14は、各音源オブジェクトデータ88の構成の一例を示す図である。音源オブジェクトデータ88は、オブジェクトID881、セット対象識別データ882、対応BGM識別データ883、担当チャンネル識別データ884、分離後BGMデータ885を含む。
【0059】
オブジェクトID881は、各音源オブジェクトを識別するためのIDである。セット対象識別データ882は、自身と組になる音源オブジェクトを示すデータである。本実施形態では、1つのBGMデータをLチャンネルとRチャンネルに分離して2つの音源オブジェクトに割り当てる。そのため、この2つの音源オブジェクトを1組の音源オブジェクト(以下、セット型音源オブジェクトと呼ぶ)として扱う。そして、当該セット対象識別データは、自身と組になる他方の音源オブジェクトを示すデータである。例えば、組となる相手のオブジェクトID881が当該データとして示される。また、このような組とはならない音源オブジェクト(例えば効果音のみを発する音源オブジェクト等。以下、単体型音源オブジェクトと呼ぶ)である場合は、その旨を示す情報が当該セット対象識別データ882として設定される。
【0060】
対応BGM識別データ883は、当該音源オブジェクトが再生するBGMであると定義されているBGMデータを示すデータである。例えば、上記ゲーム音声データ85に含まれているBGMデータ(2chで構成されたBGMデータ)を示す情報が本データである。
【0061】
担当チャンネル識別データは、当該音源オブジェクトがセット型音源オブジェクトである場合に、LチャンネルとRチャンネルのいずれを担当するかを示すデータである。
【0062】
分離後BGMデータ885は、LR2chで構成されたBGMデータをLチャンネルおよびRチャンネルのサウンドデータに分離した後のいずれか一方のデータである。
【0063】
その他、図示は省略するが、当該音源オブジェクトが音声発生中か否かを示す情報や、当該音源オブジェクトが発する音声の音の大きさやその音の指向性等を定義した情報等、音源オブジェクトが発する音声に関する情報も適宜含まれている。
【0064】
次に、図15図17のフローチャートを参照し、ゲーム処理プログラム81に基づいてゲーム装置本体5のCPU11によって実行されるゲーム処理の流れを説明する。
【0065】
図15において、ゲーム処理プログラム81の実行が開始されると、ステップS1において、CPU11は、初期設定処理を行う。この初期設定処理では、上記音源オブジェクト等の各種オブジェクトの初期設定および仮想空間内への配置、仮想カメラや仮想マイクの姿勢(仮想マイク姿勢データ87)の初期化が実行される。図16は、当該初期設定処理の詳細を示すフローチャートである。当該初期設定処理では、まず、セット型音源オブジェクトの設定処理が行われる。すなわち、ステップS41で、CPU11は、音源オブジェクトの中から、上記セット型音源オブジェクトを抽出する。
【0066】
次に、ステップS42で、CPU11は、抽出したセット型音源オブジェクトのうち、処理対象とする1組のセット型音源オブジェクトを選択する。以下、これを処理対象オブジェクトと呼ぶ。
【0067】
次に、ステップS43で、CPU11は、対応BGM識別データ883に基づいて、当該処理対象が再生するBGMのデータをゲーム音声データ85から取得する。続くステップS44で、CPU11は、当該取得したBGMデータに基づいて、上記LチャンネルデータおよびRチャンネルデータを生成する。
【0068】
次に、ステップS45で、CPU11は、上記生成したLチャンネルデータおよびRチャンネルデータを処理対象オブジェクト(2つの音源オブジェクト)に1つずつ割り当てる。すなわち、まず、CPU11は、当該処理対象オブジェクトのうちの一方の音源オブジェクトの担当チャンネル識別データ884を参照する。そして、これに示されているチャンネルに対応するLチャンネルデータ、またはRチャンネルデータを分離後BGMデータ885に格納する。同様に、処理対象オブジェクトのうちの他方の音源オブジェクトの分離後BGMデータ885に、残りのLチャンネルデータ、またはRチャンネルデータを格納する。これにより、あるBGMについて、Lチャンネルの音のみ再生する音源オブジェクトと、Rチャンネルの音のみ再生する音源オブジェクトとの2つの音源オブジェクトが設定されることになる。
【0069】
次に、ステップS46で、CPU11は、上記処理対象オブジェクトを仮想空間内の所定の位置に配置する。なお、この配置位置については、上記図8の音源オブジェクト105Lおよび105Rのように、2つの音源オブジェクトが左右にある程度離れているような位置関係(つまり、ステレオ効果が得られるような位置関係)となるように配置することが好ましい。
【0070】
次に、ステップS47で、CPU11は、上記ステップS41で抽出したセット型音源オブジェクトの全てについて上記のような処理が行われたか否かを判定する。その結果、まだ未処理のセット型音源オブジェクトが残っているときは(ステップS47でNO)、上記ステップS42に戻り処理が繰り返される。一方、全て処理済みであれば(ステップS47でYES)、続くステップS48で、CPU11は、その他の初期設定処理を実行する。すなわち、各種オブジェクト(単体型音源オブジェクトやプレイヤキャラクタ等)の仮想空間内への配置や、仮想カメラおよび仮想マイク等の姿勢の初期化、その他各種変数の初期化等が実行される。なお、仮想カメラおよび仮想マイクの初期値は、マイク座標系の各軸の向きを仮想3次元空間の空間座標系の各軸の向きに一致させた状態である。以上で、初期設定処理は終了する。
【0071】
図15に戻り、次に、ステップS2において、CPU11は、端末操作データ83の取得を行う。
【0072】
次に、ステップS3において、CPU11は、モーションセンサデータ93(加速度データおよび角速度データ)に基づいて、端末装置6の現在の姿勢を算出する。算出された姿勢を示すデータは、端末装置姿勢データ86としてメモリ12に格納される。
【0073】
次に、ステップS4において、CPU11は、端末装置6の現在の姿勢を仮想マイク(端末用仮想マイク)の姿勢に反映する。具体的には、端末装置姿勢データ86で示される姿勢を仮想マイク姿勢データ87に反映させる。
【0074】
次に、ステップS5において、CPU11は、端末操作データ83で示される操作内容(主に操作ボタンデータ91やタッチ位置データ92で示される操作内容)に基づき、所定のゲーム処理を実行する。例えば、プレイヤキャラクタ等の各種キャラクタを移動させる処理等が行われる。
【0075】
次に、ステップS6において、CPU11は、上記ゲーム処理の結果が反映されたゲーム画像を生成する処理を実行する。例えば、上記操作内容に基づいてプレイヤキャラクタが移動した後の仮想ゲーム空間を仮想カメラで撮影することでゲーム画像が生成される。また、このとき、CPU11は、ゲーム内容に応じて、適宜、モニタ用ゲーム画像と端末用ゲーム画像の2つの画像を生成する。例えば、2つの仮想カメラを用いることでそれぞれの画像が生成される。
【0076】
次に、ステップS7において、CPU11は、モニタ用ゲーム音声および端末用ゲーム音声を生成するためのゲーム音声生成処理を実行する。図17は、上記ステップS7で示したゲーム音声生成処理の詳細を示すフローチャートである。図17において、まず、ステップS21で、CPU11は、処理対象とする音源オブジェクトを一つ選択する。音源オブジェクトが仮想空間内に複数存在する場合に、これらを一つずつ順番に処理していくためである。また、処理対象となる音源オブジェクトは、例えば、現在音声発生中の状態にある音源オブジェクトである。
【0077】
次に、ステップS22において、CPU11は、上記処理対象の音源オブジェクトのマイク座標系における位置および向きを算出する。これにより、マイク座標系において、音源オブジェクトが仮想マイク(の正面方向を基準として)の右側に位置するか左側に位置するかを認識することができる。
【0078】
次に、ステップS23で、CPU11は、マイク座標系における仮想マイクから音源オブジェクトまでの直線距離を算出する。続くステップS24において、CPU11は、上記算出したマイク座標系における音源オブジェクトの位置、向き、距離、および、仮想マイク自身の向きに基づいて、スピーカ23Lおよび23Rのそれぞれの音量値を決定する。つまり、スピーカ23Lおよび23Rの左右の音量バランスが決定される。
【0079】
次に、ステップS25において、CPU11は、当該音源オブジェクトに対応付けられているゲーム音声データ85を再生する。但し、当該音源オブジェクトが上記セット型音源オブジェクトにかかるものである場合は、再生される音声は分離後BGMデータ885に基づくものとなる。その結果、セット型音源オブジェクトに関しては、所定のBGMのLチャンネルの音声のみ、あるいは、Rチャンネルの音声のみが再生されることになる。なお、再生音量については、上記ステップS24で決定された音量に従う。
【0080】
次に、ステップS26において、CPU11は、処理対象となる音源オブジェクトの全てについて上記のような処理を行ったか否かを判定する。そして、まだ未処理の音源オブジェクトが残っていれば(ステップS26でNO)、CPU11は、上記ステップS21に戻り処理を繰り返す。一方、全て処理が終わっていれば(ステップS26でYES)、ステップS27において、CPU11は、上記処理を行った各音源オブジェクトにかかる音声を含む端末用ゲーム音声を生成する。
【0081】
続くステップS27で、CPU11は、モニタ用仮想マイクを用いて、ゲーム処理の結果に応じたモニタ用ゲーム音声を適宜生成する。ここでは、当該モニタ用ゲーム音声も、その対象をスピーカ2Lおよび2Rとして、基本的には上記端末用ゲーム音声と同様の処理で生成されるものとする。以上で、ゲーム音声生成処理は終了する。
【0082】
図15に戻り、ゲーム音声生成処理の次に、ステップS8において、CPU11は、上記ステップS3で生成された端末用ゲーム画像およびステップS7で生成された端末用ゲーム音声を端末送信用データ84に格納し、当該端末送信用データ84を端末装置6に送信する。なお、ここでは説明の便宜上、端末用ゲーム音声の送信周期を端末用ゲーム画像の送信周期を合わせている例を挙げているが、他の実施形態では、端末用ゲーム音声の送信周期については端末用ゲーム画像の送信周期よりも短くしてもよい。例えば、端末用ゲーム画像については1/60秒周期で送信するようにし、端末用ゲーム音声については1/180秒周期で送信するようにしてもよい。
【0083】
次に、ステップS9において、CPU11は、上記ステップS6で生成されたモニタ用ゲーム画像をモニタ2に出力する。続くステップS10において、CPU11は、上記ステップS7で生成されたモニタ用ゲーム音声をスピーカ2Lおよび2Rに出力する。
【0084】
次に、ステップS11で、CPU11は、ゲーム処理を終了するための所定の条件が満たされたか否かを判定する。その結果、所定の条件が満たされていないときは(ステップS11でNO)、上記ステップS2に戻り、上述の処理を繰り返す。所定の条件が満たされたときは(ステップS11でYES)、CPU11は当該ゲーム処理を終了する。
【0085】
次に、図18のフローチャートを参照して、端末装置6の制御部33が実行する制御処理の流れを説明する。まず、ステップS41において、制御部33は、ゲーム装置本体5から送信された端末送信用データ84を受信する。
【0086】
次に、ステップS42において、制御部33は、上記受信した端末送信用データ84に含まれている端末用ゲーム画像をLCD21に出力する。
【0087】
次に、ステップS43において、制御部33は、上記受信した端末送信用データ84に含まれている端末用ゲーム音声をスピーカ23Lおよび23Rに出力する。また、その音量バランスは、上記ステップS24で決定された音量に従う。
【0088】
次に、ステップS44において、制御部33は、操作部31やモーションセンサ32、タッチパネル22に対する入力(操作内容)を検出し、操作ボタンデータ91、タッチ位置データ92、および、モーションセンサデータ93を生成する。
【0089】
次に、ステップS45において、制御部33は、上記ステップS44で生成した操作ボタンデータ91、タッチ位置データ92、を含む端末操作データ83を生成し、ゲーム装置本体5に送信する。
【0090】
次に、ステップS46において、制御部33は、端末装置6の制御処理を終了するための所定の条件が満たされたか否かを判定する(例えば、電源オフ操作が行われたか否か等)。その結果、所定の条件が満たされていないときは(ステップS46でNO)、上記ステップS41に戻り、上述の処理を繰り返す。所定の条件が満たされたときは(ステップS46でYES)、制御部33は当該端末装置6の制御処理を終了する。
【0091】
このように、本実施形態では、仮想空間内の音源オブジェクト(特に、セット型音源オブジェクト)と仮想マイクとの位置関係やその向きを反映したBGMの再生処理を行っている。これにより、仮想空間内の音源から2chで構成されたBGMが再生されるときの音響表現をより正確に表現でき、仮想空間の臨場感をより高めることができる。特に、上述したような、端末装置6自体の姿勢を変化させて「覗き窓」のように仮想空間の様子を表示するようなシステムのゲーム処理等に上記の処理は好適である。
【0092】
なお、上記実施形態では、初期設定処理において所定のBGMをLRチャンネルのデータに分離し、異なる音源オブジェクトに割り当てる処理を行っていた。このような処理の他、次のような処理を行っても良い。例えば、ゲームソフトの開発段階で上記のような2chのBGMをチャンネル分離したサウンドデータ(LチャンネルデータおよびRチャンネルデータ)を予め作成しておき、ゲーム音声データ85に含めておくようにしてもよい。そして、所定の音源オブジェクトに対応するBGMデータとして、LチャンネルデータあるいはRチャンネルデータを対応付けた音源オブジェクトデータを予め作成しておくようにしてもよい。この場合は、図14で示したような音源オブジェクトデータ88の構成としては、オブジェクトID881および対応BGM識別データ883のみが含まれる構成でもよい。そして、上記初期設定処理においては、他の音源オブジェクトのデータと共に、当該LチャンネルデータあるいはRチャンネルデータを再生する音源オブジェクトのデータを読み出し、仮想空間内に適宜配置するだけでよい。これは、初期設定処理にかかる処理時間が短縮される点で有利である。
【0093】
また、その他、上記ステップS7のゲーム音声生成処理において、上記のBGMのチャンネル分離処理等をリアルタイムに実行するようにしてもよい。例えば、上記音源オブジェクトデータ88の構成として、図14に示した構成から分離後BGMデータ885のみを外した構成としておく。そして、ゲーム音声生成処理において、セット型音源オブジェクトについては、その組を構成する各音源オブジェクトの担当チャンネル識別データ884を参照する。そして、その音源オブジェクトが担当するチャンネルを識別できれば、BGMデータをLチャンネルとRチャンネルのサウンドデータに分離し、担当チャンネルのサウンドデータのみを再生するようにしてもよい。
【0094】
また、上記実施形態では、モニタ2および端末装置6という、2つの画面と2セットのステレオスピーカ(4つのスピーカ)を有するゲームシステムを例に挙げた。このような構成に限らず、例えば、携帯型ゲーム装置のように、画面およびステレオスピーカがハウジングに一体化するよう設けられている情報処理装置にも上記の処理は適用可能である。また、このような情報処理装置は、モーションセンサを内蔵しており、自身の姿勢が検知可能な情報処理装置であることが好ましい。そして、このような情報処理装置で、上述したような仮想空間の表示システムを利用する処理を行う場合に好適である。この場合は、仮想カメラや仮想マイクを一つだけにして上記と同様の処理を行えばよい。
【0095】
また、例えば、プレイヤの直接的な操作対象となるゲーム画面の表示や各種操作に関しては端末装置6を用いるが、音声出力に関しては、端末装置6のスピーカ23は使わずにモニタ2のスピーカのみを利用するような構成の場合も上記のような処理は適用可能である。例えば、プレイヤが端末装置6を把持したまま、モニタ2に対面している姿勢から180度回転した場合(つまり、モニタ2に背を向けた場合)、上記の処理を用いてセット型音源オブジェクトの音声をモニタ2のスピーカ2Lおよび2Rに出力するようにすればよい。
【0096】
また、外付けスピーカとして、例えば5.1chサラウンドシステムのスピーカを用いるような場合も、同様の処理が適用できる。この場合は、例えば、5.1ch対応のBGMデータをチャンネル毎のデータに分離し(6つのサウンドデータとなる)、これらを6つの音源オブジェクトに割り当てるようにすればよい、そして、上記のように端末装置6の姿勢変化に応じて仮想マイクの向きを変化させ、仮想空間内の音源オブジェクトと仮想マイクとの位置関係や向きに基づいてBGM再生処理を行えば、スピーカの数が多い分、より臨場感の高いBGM再生の音響効果を提供することができる。
【0097】
また、例えば端末装置6にステレオヘッドホンを接続し、プレイヤがこれを用いてゲーム音声を聴くような場合も上記処理は適用可能である。この場合は、ヘッドホン端子24へのヘッドホンの接続状態をゲーム装置本体5が検出できるように構成する。例えば、接続状態を示すデータを上記端末操作データ83に含めるように構成する。そして、上述の処理におけるスピーカ23Lおよび23Rへの出力をこのようなヘッドホンの左右スピーカへの出力に置き換えるようにして上記処理を適用すればよい。但し、上記図11で示したような、端末装置6を縦持ちにしたときの上下方向にかかる音声の鳴らし分けの処理に関しては、ヘッドホン装着時は適用しないようにしてもよい。プレイヤがヘッドホンを装着しているときは、スピーカの位置関係は左右方向にかかる配置という位置関係に固定されるためである。
【0098】
また、その他、端末装置6自体の姿勢は変更せずに、仮想カメラの向きのみをプレイヤが操作可能な場合にも上記処理を適用してもよい(例えば、アナログスティック25を用いて仮想カメラの向きを変更する等)。プレイヤからすると、仮想カメラの向きの操作によって、自分を中心にして仮想空間自体が回転しているような感覚となる。この場合は、端末装置6の姿勢の代わりに、プレイヤの操作によって変更された仮想カメラの姿勢に併せて仮想マイクの向きを変更すればよい。すなわち、仮想マイクの正面方向(z軸正方向)が仮想カメラの正面方向(z軸正方向)に一致するように仮想マイクの姿勢を変更し、上記のような処理を行うようにしてもよい。
【0099】
また、その他、モニタ2のスピーカ2Lおよび2Rと、端末装置6のスピーカ23Lおよび23Rの、合計2セットのステレオスピーカ(計4つのスピーカ)を用いて上記の処理を適用しても良い。特に、端末装置6を主に「縦向き姿勢」で利用する場合に好適である。この場合、例えば、仮想空間内の左右方向についての音源オブジェクトの移動に関してはモニタ2のスピーカ23Lおよび23Rからの出力に反映させる。そして、上下方向についての音源オブジェクトの移動については、端末装置6のスピーカ23Lおよび23Rからの出力に反映させる。これにより、例えば5.1chのスピーカセットを用いずとも、臨場感の高い音響効果を得られる。
【0100】
また、上述の実施例にかかる処理を実行するためのゲーム処理プログラムは、任意のコンピュータ読み取り可能な記憶媒体(例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、半導体メモリカード、ROM、RAMなど)に格納され得る。
【0101】
また、上記実施例ではゲーム処理を一例に説明しているが、情報処理の内容はゲーム処理に限るものではなく、上記のような仮想空間の表示システムを利用する他の情報処理においても上記実施例の処理は適用可能である。
【0102】
また、上記実施形態においては、2chで構成されるBGMデータをLRそれぞれのチャンネルに分離し、別々の音源オブジェクトで再生するような制御を行うための一連の処理が単一の装置(ゲーム装置本体5)において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、ゲーム装置本体5と、当該ゲーム装置本体5とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。
【符号の説明】
【0103】
1…ゲームシステム
2…モニタ
2L、2R…スピーカ
3…ゲーム装置
5…ゲーム装置本体
6…端末装置
20…ハウジング
21…LCD
23L、23R…スピーカ
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18