特許7344716情報処理システム、情報処理プログラム、情報処理装置および情報処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-06
(45)【発行日】2023-09-14
(54)【発明の名称】情報処理システム、情報処理プログラム、情報処理装置および情報処理方法
(51)【国際特許分類】
G06F 3/01 20060101AFI20230907BHJP
A63F 13/211 20140101ALI20230907BHJP
A63F 13/25 20140101ALI20230907BHJP
A63F 13/5255 20140101ALI20230907BHJP
A63F 13/212 20140101ALI20230907BHJP
G06T 19/00 20110101ALI20230907BHJP
【ＦＩ】
G06F3/01 510
A63F13/211
A63F13/25
A63F13/5255
A63F13/212
G06T19/00 A
【請求項の数】
12
(21)【出願番号】P 2019156577
(22)【出願日】2019-08-29
(65)【公開番号】P2021015583
(43)【公開日】2021-02-12
【審査請求日】2022-06-23
(31)【優先権主張番号】16/507,169
(32)【優先日】2019-07-10
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
(74)【代理人】
【識別番号】100090181
【弁理士】
【氏名又は名称】山田 義人
(74)【代理人】
【識別番号】100130269
【弁理士】
【氏名又は名称】石原 盛規
(72)【発明者】
【氏名】中村 祐貴
(72)【発明者】
【氏名】竹内 清
(72)【発明者】
【氏名】辰野 瑞樹
(72)【発明者】
【氏名】ジョナサン ジョンソン
【審査官】田川 泰宏
(56)【参考文献】
【文献】特開２０１８－０９７３６４（ＪＰ，Ａ）
【文献】特開２０１７－０５８９７１（ＪＰ，Ａ）
【文献】特開２０１５－２３２７８３（ＪＰ，Ａ）
【文献】特開２０１９－０８０７２９（ＪＰ，Ａ）
【文献】国際公開第２０１７／０９８８２２（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１７／００７６５０３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１５／０３５２４３７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ３／０１－３／０４８９５
Ａ６３Ｆ １３／２１１
Ａ６３Ｆ １３／２５
Ａ６３Ｆ １３／５２５５
Ａ６３Ｆ １３／２１２
Ｇ０６Ｔ １９／００
(57)【特許請求の範囲】
【請求項1】
慣性センサと表示部を備えるゴーグル装置と、操作部を備える情報処理システムであって、前記慣性センサの出力に基づく動きデータと、前記操作部への操作入力データを取得するデータ取得手段と、
前記動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するカメラ制御手段と、
所定の操作入力があったときに、前記仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が前記仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しない処理実行手段と、
前記表示部に表示させるための、前記仮想カメラに基づく画像を生成する生成手段を備える、情報処理システム。
【請求項2】
前記所定のオブジェクトの少なくとも一部が前記仮想カメラの視野内に含まれているかどうかを判定する判定手段をさらに備える、請求項１記載の情報処理システム。
【請求項3】
前記所定のオブジェクトの少なくとも一部が前記仮想カメラの視野内に含まれていれば、前記所定の操作入力を行うための前記操作部の画像を表示する操作画像表示手段をさらに備える、請求項１または２記載の情報処理システム。
【請求項4】
前記所定のオブジェクトは複数のオブジェクトであり、操作対象を変更する操作入力があったときに、前記仮想空間内の前記所定のオブジェクトの少なくとも一部が前記仮想カメラの視野内に含まれていれば、前記複数のオブジェクトのうちの１つを特定する特定手段をさらに備え、
前記処理実行手段は、前記特定手段によって特定された前記オブジェクトに関連付けられる場面に場面を遷移させる、請求項１から３までのいずれかに記載の情報処理システム。
【請求項5】
前記カメラ制御手段は、前記ゴーグル装置の姿勢に基づいて前記仮想空間内の前記仮想カメラの姿勢を制御する、請求項１から４までのいずれかに記載の情報処理システム。
【請求項6】
前記仮想カメラは、前記仮想空間内における第１の特定の位置に配置される、請求項５記載の情報処理システム。
【請求項7】
前記所定のオブジェクトは、前記仮想空間内における第２の特定の位置に配置される、請求項５記載の情報処理システム。
【請求項8】
前記所定の操作入力とは異なる別の所定の操作入力があった場合、前記仮想カメラの水平方向の向きを基準方向に変更する変更手段をさらに備える、請求項５記載の情報処理システム。
【請求項9】
前記生成手段は前記仮想カメラに基づいて立体視画像を生成する、請求項１から８までのいずれかに記載の情報処理システム。
【請求項10】
コンピュータを、ゴーグル装置が備える慣性センサの出力に基づく動きデータと、操作部への操作入力データを取得するデータ取得手段と、
前記動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するカメラ制御手段と、
所定の操作入力があったときに、前記仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が前記仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しない処理実行手段と、
前記ゴーグル装置の表示部に表示させるための、前記仮想カメラに基づく画像を生成する生成手段として機能させる、情報処理プログラム。
【請求項11】
ゴーグル装置の慣性センサの出力に基づく動きデータと、操作部への操作入力データを取得するデータ取得手段と、前記動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するカメラ制御手段と、
所定の操作入力があったときに、前記仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が前記仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しない処理実行手段と、
前記ゴーグル装置の表示部に表示させるための、前記仮想カメラに基づく画像を生成する生成手段を備える、情報処理装置。
【請求項12】
（ａ）ゴーグル装置の慣性センサの出力に基づく動きデータと、操作部への操作入力データを取得するステップと、（ｂ）前記動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するステップと、
（ｃ）所定の操作入力があったときに、前記仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が前記仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しないステップと、
（ｄ）前記ゴーグル装置の表示部に表示させるための、前記仮想カメラに基づく画像を生成するステップを含む、情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は情報処理システム、情報処理プログラム、情報処理装置および情報処理方法に関し、特にたとえば、仮想空間に配置されたオブジェクトを操作する、情報処理システム、情報処理プログラム、情報処理装置および情報処理方法に関する。
【背景技術】
【0002】
背景技術の一例が特許文献１に開示される。この特許文献１では、ゲームシステムは、ユーザの頭の傾きを検出する検出部を有し、かつユーザの頭に装着されるヘッドマウントディスプレイを含み、仮想カメラの視線方向の変更をユーザから受け付ける操作部は、ヘッドマウントディスプレイであってもよいことが開示される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－７６６３５号
【発明の概要】
【発明が解決しようとする課題】
【0004】
この特許文献１では、ヘッドマウントディスプレイでは、操作対象のキャラクタまたはオブジェクトが視野外に位置する場合があり、この場合に、キャラクタまたはオブジェクトへの操作入力が反映されると、ユーザが意図しない処理が実行されてしまう虞があった。
【0005】
それゆえに、この発明の主たる目的は、新規な、情報処理システム、情報処理プログラム、情報処理装置および情報処理方法を提供することである。
【0006】
また、この発明の他の目的は、ユーザの意図しない処理が実行されるのを防止できる、情報処理システム、情報処理プログラム、情報処理装置および情報処理方法を提供することである。
【課題を解決するための手段】
【0007】
第１の発明は、慣性センサと表示部を備えるゴーグル装置と、操作部を備える情報処理システムであって、慣性センサの出力に基づく動きデータと、操作部への操作入力データを取得するデータ取得手段と、動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するカメラ制御手段と、所定の操作入力があったときに、仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しない処理実行手段と、表示部に表示させるための、仮想カメラに基づく画像を生成する生成手段を備える、情報処理システムである。
【0008】
第１の発明によれば、所定の操作入力があったときに、仮想空間内の所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しないので、ユーザが意図しない処理が実行されるのを防止することができる。
【0009】
第２の発明は、第１の発明に従属し、所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれているかどうかを判定する判定手段をさらに備える。
【0010】
第３の発明は、第１または第２の発明に従属し、所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれていれば、所定の操作入力を行うための操作部の画像を表示する操作画像表示手段をさらに備える。
【0011】
第３の発明によれば、所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれていれば、所定の操作入力を行うための操作部の画像を表示するので、所定のオブジェクトに関連する所定の処理が実行可能であること、および、所定のオブジェクトが操作可能であることを容易に知ることができる。
【0013】
第４の発明は、第１から第３の発明までのいずれかに従属し、所定のオブジェクトは複数のオブジェクトであり、操作対象を変更する操作入力があったときに、仮想空間内の所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれていれば、複数のオブジェクトのうちの１つを特定する特定手段をさらに備え、処理実行手段は、特定手段によって特定されたオブジェクトに関連付けられる場面に場面を遷移させる。
【0014】
第５の発明は、第１から第４の発明までのいずれかに従属し、カメラ制御手段は、ゴーグル装置の姿勢に基づいて仮想空間内の仮想カメラの姿勢を制御する。
【0015】
第５の発明によれば、ゴーグル装置を装着したユーザの頭部の姿勢に基づいて仮想カメラの姿勢を制御することができる。
【0016】
第６の発明は、第５の発明に従属し、仮想カメラは、仮想空間内における第１の特定の位置に配置される。
【0017】
第７の発明は、第５の発明に従属し、所定のオブジェクトは、仮想空間内における第２の特定の位置に配置される。
【0018】
第８の発明は、第５の発明に従属し、所定の操作入力とは異なる別の所定の操作入力があった場合、仮想カメラの水平方向の向きを基準方向に変更する変更手段をさらに備える。
【0021】
第９の発明は、第１から第８の発明までのいずれかに従属し、生成手段は仮想カメラに基づいて立体視画像を生成する。
【0022】
第１０の発明は、コンピュータを、ゴーグル装置が備える慣性センサの出力に基づく動きデータと、操作部への操作入力データを取得するデータ取得手段と、動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するカメラ制御手段と、所定の操作入力があったときに、仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しない処理実行手段と、ゴーグル装置の表示部に表示させるための、仮想カメラに基づく画像を生成する生成手段として機能させる、情報処理プログラムである。
【0023】
第１１の発明は、ゴーグル装置の慣性センサの出力に基づく動きデータと、操作部への操作入力データを取得するデータ取得手段と、動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するカメラ制御手段と、所定の操作入力があったときに、仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しない処理実行手段と、ゴーグル装置の表示部に表示させるための、仮想カメラに基づく画像を生成する生成手段を備える、情報処理装置である。
【0024】
第１２の発明は、（ａ）ゴーグル装置の慣性センサの出力に基づく動きデータと、操作部への操作入力データを取得するステップと、（ｂ）動きデータに基づいて、仮想空間内の仮想カメラの姿勢を制御するステップと、（ｃ）所定の操作入力があったときに、仮想空間内の所定のオブジェクトであって、当該所定の操作入力に予め対応付けられる所定のオブジェクトの少なくとも一部が仮想カメラの視野内に含まれている場合には、当該所定の操作入力に応じて当該所定のオブジェクトに関連付けられる場面に場面を遷移させる処理を実行し、当該所定の操作入力があったときに、当該所定のオブジェクトが当該仮想カメラの視野内に含まれていない場合には、当該処理を実行しないステップと、（ｄ）ゴーグル装置の表示部に表示させるための、仮想カメラに基づく画像を生成するステップを含む、情報処理方法である。
【0025】
第１０－第１２の発明においても、第１の発明と同様に、ユーザの意図しない処理が実行されるのを防止することができる。
【発明の効果】
【0026】
この発明によれば、ユーザの意図しない処理が実行されるのを防止することができる。
【0027】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
以下、この実施例の限定しない一例に係るゲームシステムについて説明する。この実施例におけるゲームシステム１の一例は、本体装置（情報処理装置；この実施例ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４とを含む。本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能である。つまり、ゲームシステム１は、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用できる。また、ゲームシステム１は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる（図２参照）。以下では、この実施例のゲームシステム１のハードウェア構成について説明し、その後に、この実施例のゲームシステム１の制御について説明する。
【0030】
図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２を備える。左コントローラ３および右コントローラ４は、ユーザが入力を行うための操作部を備える装置である。
【0031】
図２は、本体装置２から左コントローラ３および右コントローラ４をそれぞれ外した状態の一例を示す図である。図１および図２に示すように、左コントローラ３および右コントローラ４は、本体装置２に着脱可能である。なお、以下において、左コントローラ３および右コントローラ４の総称として「コントローラ」と記載することがある。
【0032】
図３は、本体装置２の一例を示す六面図である。図３に示すように、本体装置２は、略板状のハウジング１１を備える。この実施例において、ハウジング１１の主面（換言すれば、表側の面、すなわち、ディスプレイ１２が設けられる面）は、大略的には矩形形状である。
【0033】
なお、ハウジング１１の形状および大きさは、任意である。一例として、ハウジング１１は、携帯可能な大きさであってよい。また、本体装置２単体または本体装置２に左コントローラ３および右コントローラ４が装着された一体型装置は、携帯型装置となってもよい。また、本体装置２または一体型装置が手持ち型の装置となってもよい。また、本体装置２または一体型装置が可搬型装置となってもよい。
【0034】
図３に示すように、本体装置２は、ハウジング１１の主面に設けられるディスプレイ１２を備える。ディスプレイ１２は、本体装置２が生成した画像を表示する。この実施例においては、ディスプレイ１２は、液晶表示装置（ＬＣＤ）とする。ただし、ディスプレイ１２は任意の種類の表示装置であってよい。
【0035】
また、本体装置２は、ディスプレイ１２の画面上にタッチパネル１３を備える。この実施例においては、タッチパネル１３は、マルチタッチ入力が可能な方式（例えば、静電容量方式）のものである。ただし、タッチパネル１３は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式（例えば、抵抗膜方式）のものであってもよい。
【0036】
本体装置２は、ハウジング１１の内部においてスピーカ（すなわち、図６に示すスピーカ８８）を備えている。図３に示すように、ハウジング１１の主面には、スピーカ孔１１ａおよび１１ｂが形成される。そして、スピーカ８８の出力音は、これらのスピーカ孔１１ａおよび１１ｂからそれぞれ出力される。
【0037】
また、本体装置２は、本体装置２が左コントローラ３と有線通信を行うための端子である左側端子１７と、本体装置２が右コントローラ４と有線通信を行うための右側端子２１を備える。
【0038】
図３に示すように、本体装置２は、スロット２３を備える。スロット２３は、ハウジング１１の上側面に設けられる。スロット２３は、所定の種類の記憶媒体を装着可能な形状を有する。所定の種類の記憶媒体は、例えば、ゲームシステム１およびそれと同種の情報処理装置に専用の記憶媒体（例えば、専用メモリカード）である。所定の種類の記憶媒体は、例えば、本体装置２で利用されるデータ（例えば、アプリケーションのセーブデータ等）、および／または、本体装置２で実行されるプログラム（例えば、アプリケーションのプログラム等）を記憶するために用いられる。また、本体装置２は、電源ボタン２８を備える。
【0039】
本体装置２は、下側端子２７を備える。下側端子２７は、本体装置２がクレードルと通信を行うための端子である。この実施例において、下側端子２７は、ＵＳＢコネクタ（より具体的には、メス側コネクタ）である。上記一体型装置または本体装置２単体をクレードルに載置した場合、ゲームシステム１は、本体装置２が生成して出力する画像を据置型モニタに表示することができる。また、この実施例においては、クレードルは、載置された上記一体型装置または本体装置２単体を充電する機能を有する。また、クレードルは、ハブ装置（具体的には、ＵＳＢハブ）の機能を有する。
【0040】
図４は、左コントローラ３の一例を示す六面図である。図４に示すように、左コントローラ３は、ハウジング３１を備える。この実施例においては、ハウジング３１は、縦長の形状、すなわち、上下方向（すなわち、図１および図４に示すｙ軸方向）に長い形状である。左コントローラ３は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング３１は、縦長となる向きで把持される場合に片手、特に左手で把持可能な形状および大きさをしている。また、左コントローラ３は、横長となる向きで把持されることも可能である。左コントローラ３が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。
【0041】
左コントローラ３は、アナログスティック３２を備える。図４に示すように、アナログスティック３２は、ハウジング３１の主面に設けられる。アナログスティック３２は、方向を入力することが可能な方向入力部として用いることができる。ユーザは、アナログスティック３２を傾倒することによって傾倒方向に応じた方向の入力（および、傾倒した角度に応じた大きさの入力）が可能である。なお、左コントローラ３は、方向入力部として、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、この実施例においては、アナログスティック３２を押下する入力が可能である。
【0042】
左コントローラ３は、各種操作ボタンを備える。左コントローラ３は、ハウジング３１の主面上に４つの操作ボタン３３～３６（具体的には、右方向ボタン３３、下方向ボタン３４、上方向ボタン３５、および左方向ボタン３６）を備える。さらに、左コントローラ３は、録画ボタン３７および－（マイナス）ボタン４７を備える。左コントローラ３は、ハウジング３１の側面の左上にＬボタン３８およびＺＬボタン３９を備える。また、左コントローラ３は、ハウジング３１の側面のうち、本体装置２に装着される際に装着される側の面に、ＳＬボタン４３およびＳＲボタン４４を備える。これらの操作ボタンは、本体装置２で実行される各種プログラム（例えば、ＯＳプログラムやアプリケーションプログラム）に応じた指示を行うために用いられる。
【0043】
また、左コントローラ３は、左コントローラ３が本体装置２と有線通信を行うための端子４２を備える。
【0044】
図５は、右コントローラ４の一例を示す六面図である。図５に示すように、右コントローラ４は、ハウジング５１を備える。この実施例においては、ハウジング５１は、縦長の形状、すなわち、上下方向に長い形状である。右コントローラ４は、本体装置２から外された状態において、縦長となる向きで把持されることも可能である。ハウジング５１は、縦長となる向きで把持される場合に片手、特に右手で把持可能な形状および大きさをしている。また、右コントローラ４は、横長となる向きで把持されることも可能である。右コントローラ４が横長となる向きで把持される場合には、両手で把持されるようにしてもよい。
【0045】
右コントローラ４は、左コントローラ３と同様、方向入力部としてアナログスティック５２を備える。この実施例においては、アナログスティック５２は、左コントローラ３のアナログスティック３２と同じ構成である。また、右コントローラ４は、アナログスティックに代えて、十字キーまたはスライド入力が可能なスライドスティック等を備えるようにしてもよい。また、右コントローラ４は、左コントローラ３と同様、ハウジング５１の主面上に４つの操作ボタン５３～５６（具体的には、Ａボタン５３、Ｂボタン５４、Ｘボタン５５、およびＹボタン５６）を備える。さらに、右コントローラ４は、＋（プラス）ボタン５７およびホームボタン５８を備える。また、右コントローラ４は、ハウジング５１の側面の右上にＲボタン６０およびＺＲボタン６１を備える。また、右コントローラ４は、左コントローラ３と同様、ＳＬボタン６５およびＳＲボタン６６を備える。
【0046】
また、右コントローラ４は、右コントローラ４が本体装置２と有線通信を行うための端子６４を備える。
【0047】
図６は、本体装置２の内部構成の一例を示すブロック図である。本体装置２は、図３に示す構成の他、図６に示す各構成要素８１～９１、９７、および９８を備える。これらの構成要素８１～９１、９７、および９８のいくつかは、電子部品として電子回路基板上に実装されてハウジング１１内に収納されてもよい。
【0048】
本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部（具体的には、フラッシュメモリ８４等の内部記憶媒体、あるいは、スロット２３に装着される外部記憶媒体等）に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。
【0049】
本体装置２は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ８４およびＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８５を備える。フラッシュメモリ８４およびＤＲＡＭ８５は、プロセッサ８１に接続される。フラッシュメモリ８４は、主に、本体装置２に保存される各種のデータ（プログラムであってもよい）を記憶するために用いられるメモリである。ＤＲＡＭ８５は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。
【0050】
本体装置２は、スロットインターフェース（以下、「Ｉ／Ｆ」と略記する）９１を備える。スロットＩ／Ｆ９１は、プロセッサ８１に接続される。スロットＩ／Ｆ９１は、スロット２３に接続され、スロット２３に装着された所定の種類の記憶媒体（例えば、専用メモリカード）に対するデータの読み出しおよび書き込みを、プロセッサ８１の指示に応じて行う。
【0051】
プロセッサ８１は、フラッシュメモリ８４およびＤＲＡＭ８５、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。
【0052】
本体装置２は、ネットワーク通信部８２を備える。ネットワーク通信部８２は、プロセッサ８１に接続される。ネットワーク通信部８２は、ネットワークを介して外部の装置と通信（具体的には、無線通信）を行う。この実施例においては、ネットワーク通信部８２は、第１の通信態様としてＷｉ－Ｆｉの規格に準拠した方式により、無線ＬＡＮに接続して外部装置と通信を行う。また、ネットワーク通信部８２は、第２の通信態様として所定の通信方式（例えば、独自プロトコルによる通信や、赤外線通信）により、同種の他の本体装置２との間で無線通信を行う。なお、上記第２の通信態様による無線通信は、閉ざされたローカルネットワークエリア内に配置された他の本体装置２との間で無線通信可能であり、複数の本体装置２の間で直接通信することによってデータが送受信される、いわゆる「ローカル通信」を可能とする機能を実現する。
【0053】
本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、この実施例においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。
【0054】
プロセッサ８１は、上述の左側端子１７、右側端子２１、および下側端子２７に接続される。プロセッサ８１は、左コントローラ３と有線通信を行う場合、左側端子１７を介して左コントローラ３へデータを送信するとともに、左側端子１７を介して左コントローラ３から操作データを受信（または、取得）する。また、プロセッサ８１は、右コントローラ４と有線通信を行う場合、右側端子２１を介して右コントローラ４へデータを送信するとともに、右側端子２１を介して右コントローラ４から操作データを受信（または、取得）する。また、プロセッサ８１は、クレードルと通信を行う場合、下側端子２７を介してクレードルへデータを送信する。このように、この実施例においては、本体装置２は、左コントローラ３および右コントローラ４との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ３および右コントローラ４が本体装置２に装着された一体型装置または本体装置２単体がクレードルに装着された場合、本体装置２は、クレードルを介してデータ（例えば、表示画像データや音声データ）を据置型モニタ等に出力することができる。
【0055】
ここで、本体装置２は、複数の左コントローラ３と同時に（換言すれば、並行して）通信を行うことができる。また、本体装置２は、複数の右コントローラ４と同時に（換言すれば、並行して）通信を行うことができる。したがって、複数のユーザは、左コントローラ３および右コントローラ４のセットをそれぞれ用いて、本体装置２に対する入力を同時に行うことができる。一例として、第１ユーザが左コントローラ３および右コントローラ４の第１セットを用いて本体装置２に対して入力を行うと同時に、第２ユーザが左コントローラ３および右コントローラ４の第２セットを用いて本体装置２に対して入力を行うことが可能となる。
【0056】
本体装置２は、タッチパネル１３の制御を行う回路であるタッチパネルコントローラ８６を備える。タッチパネルコントローラ８６は、タッチパネル１３とプロセッサ８１との間に接続される。タッチパネルコントローラ８６は、タッチパネル１３からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、プロセッサ８１へ出力する。
【0057】
また、ディスプレイ１２は、プロセッサ８１に接続される。プロセッサ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。
【0058】
本体装置２は、コーデック回路８７およびスピーカ（具体的には、左スピーカおよび右スピーカ）８８を備える。コーデック回路８７は、スピーカ８８および音声入出力端子２５に接続されるとともに、プロセッサ８１に接続される。コーデック回路８７は、スピーカ８８および音声入出力端子２５に対する音声データの入出力を制御する回路である。
【0059】
また、本体装置２は、加速度センサ８９を備える。本実施形態においては、加速度センサ８９は、所定の３軸（例えば、図１に示すｘｙｚ軸）方向に沿った加速度の大きさを検出する。なお、加速度センサ８９は、１軸方向あるいは２軸方向の加速度を検出するものであってもよい。
【0060】
また、本体装置２は、角速度センサ９０を備える。本実施形態においては、角速度センサ９０は、所定の３軸（例えば、図１に示すｘｙｚ軸）回りの角速度を検出する。なお、角速度センサ９０は、１軸回りあるいは２軸回りの角速度を検出するものであってもよい。
【0061】
加速度センサ８９および角速度センサ９０は、プロセッサ８１に接続され、加速度センサ８９および角速度センサ９０の検出結果は、プロセッサ８１へ出力される。プロセッサ８１は、上記の加速度センサ８９および角速度センサ９０の検出結果に基づいて、本体装置２の動きおよび／または姿勢に関する情報を算出することが可能である。
【0062】
本体装置２は、電力制御部９７およびバッテリ９８を備える。電力制御部９７は、バッテリ９８およびプロセッサ８１に接続される。また、図示しないが、電力制御部９７は、本体装置２の各部（具体的には、バッテリ９８の電力の給電を受ける各部、左側端子１７、および右側端子２１）に接続される。電力制御部９７は、プロセッサ８１からの指令に基づいて、バッテリ９８から上記各部への電力供給を制御する。
【0063】
また、バッテリ９８は、下側端子２７に接続される。外部の充電装置（例えば、クレードル）が下側端子２７に接続され、下側端子２７を介して本体装置２に電力が供給される場合、供給された電力がバッテリ９８に充電される。
【0064】
【0065】
左コントローラ３は、本体装置２との間で通信を行う通信制御部１０１を備える。図７に示すように、通信制御部１０１は、端子４２を含む各構成要素に接続される。この実施例においては、通信制御部１０１は、端子４２を介した有線通信と、端子４２を介さない無線通信との両方で本体装置２と通信を行うことが可能である。通信制御部１０１は、左コントローラ３が本体装置２に対して行う通信方法を制御する。すなわち、左コントローラ３が本体装置２に装着されている場合、通信制御部１０１は、端子４２を介して本体装置２と通信を行う。また、左コントローラ３が本体装置２から外されている場合、通信制御部１０１は、本体装置２（具体的には、コントローラ通信部８３）との間で無線通信を行う。コントローラ通信部８３と通信制御部１０１との間の無線通信は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）の規格に従って行われる。
【0066】
また、左コントローラ３は、例えばフラッシュメモリ等のメモリ１０２を備える。通信制御部１０１は、例えばマイコン（マイクロプロセッサとも言う）で構成され、メモリ１０２に記憶されるファームウェアを実行することによって各種の処理を実行する。
【0067】
左コントローラ３は、各ボタン１０３（具体的には、ボタン３３～３９、４３、４４、および４７）を備える。また、左コントローラ３は、アナログスティック（図７では「スティック」と記載する）３２を備える。各ボタン１０３およびアナログスティック３２は、自身に対して行われた操作に関する情報を、適宜のタイミングで繰り返し通信制御部１０１へ出力する。
【0068】
通信制御部１０１は、各入力部（具体的には、各ボタン１０３、アナログスティック３２、各センサ１０４および１０５）から、入力に関する情報（具体的には、操作に関する情報、またはセンサによる検出結果）を取得する。通信制御部１０１は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データを本体装置２へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報が本体装置２へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。
【0069】
上記操作データが本体装置２へ送信されることによって、本体装置２は、左コントローラ３に対して行われた入力を得ることができる。すなわち、本体装置２は、各ボタン１０３およびアナログスティック３２に対する操作を、操作データに基づいて判断することができる。
【0070】
左コントローラ３は、電力供給部１０８を備える。この実施例において、電力供給部１０８は、バッテリおよび電力制御回路を有する。図示しないが、電力制御回路は、バッテリに接続されるとともに、左コントローラ３の各部（具体的には、バッテリの電力の給電を受ける各部）に接続される。
【0071】
図７に示すように、右コントローラ４は、本体装置２との間で通信を行う通信制御部１１１を備える。また、右コントローラ４は、通信制御部１１１に接続されるメモリ１１２を備える。通信制御部１１１は、端子６４を含む各構成要素に接続される。通信制御部１１１およびメモリ１１２は、左コントローラ３の通信制御部１０１およびメモリ１０２と同様の機能を有する。したがって、通信制御部１１１は、端子６４を介した有線通信と、端子６４を介さない無線通信（具体的には、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信）との両方で本体装置２と通信を行うことが可能であり、右コントローラ４が本体装置２に対して行う通信方法を制御する。
【0072】
右コントローラ４は、左コントローラ３の各入力部と同様の各入力部を備える。具体的には、各ボタン１１３、アナログスティック５２を備える。これらの各入力部については、左コントローラ３の各入力部と同様の機能を有し、同様に動作する。
【0073】
右コントローラ４は、電力供給部１１８を備える。電力供給部１１８は、左コントローラ３の電力供給部１０８と同様の機能を有し、同様に動作する。
【0074】
次に、図８－図１２を参照して、ゲームシステム１を装着可能なゴーグル装置１５０およびゲームシステム１を装着したゴーグル装置１５０について説明する。図８は、ゴーグル装置１５０の外観の限定しない一例を示す斜視図である。図９は、本体装置２をゴーグル装置１５０に装着する状態の限定しない一例を示す正面図である。図１０は、ゲームシステム１が装着されたゴーグル装置１５０の状態の限定しない一例を示す正面図である。図１１は、ゴーグル装置１５０に装着されたゲームシステム１を把持した状態の限定しない一例を示す図である。図１２は、ゲームシステム１が装着されたゴーグル装置１５０を使用する様子の限定しない一例を示す図である。
【0075】
図８－図１０に示すように、ゴーグル装置１５０は、本体１５１、レンズ枠部材１５２、レンズ１５３、および板状部材１５４を有している。ただし、ゴーグル装置１５０は、ユーザの左右の目を覆うように当該ユーザの顔にフィットして着用され、外光の少なくとも一部を遮る機能および一対のレンズによって当該ユーザにおける立体視をサポートする機能を有するものであれば、後述する構成に限られない。例えば、上記ゴーグル装置１５０は、ユーザが把持することによって当該ユーザの顔にフィットされるタイプ（手持ち型ゴーグル）、ユーザの頭部に固定されることによって当該ユーザの顔にフィットされるタイプ、載置状態の装置をユーザが覗き込むタイプなど、様々な状態で用いられるものであってもよい。また、上記ゴーグル装置１５０は、ゲームシステム１（または、本体装置２）が取り付けられた状態でユーザの頭部に着用されることによって、いわゆるヘッドマウントディスプレイとして機能するものであってもよく、ゴーグル型の他にヘルメット型の形状を有するものであってもよい。以下のゴーグル装置１５０の説明では、ユーザが把持して当該ユーザの顔にフィットするように着用するゴーグル型タイプの手持ち型ゴーグル装置を用いる。
【0076】
本体１５１は、本体装置２を着脱自在に固定する装着部を有している。図９および図１１に示すように、本体装置２は、本体１５１の装着部の空隙内にスライド挿入させることによって、ゴーグル装置１５０に取り付けられる。また、本体装置２は、ゴーグル装置１５０に取り付けられた状態から上記装着部の左または右にスライドさせることによって、ゴーグル装置１５０から取り外すことができる。このように、ゴーグル装置１５０は、本体装置２を着脱可能に装着することができる。
【0077】
なお、ゲームシステム１を、ゴーグル装置１５０に装着したり、ゴーグル装置１５０から取り外したりする場合には、左コントローラ３または右コントローラ４が本体装置２から取り外される。ただし、図９に示すように、左コントローラ３および右コントローラ４の両方が本体装置２から取り外されてもよい。
【0078】
レンズ枠部材１５２は、本体１５１の前面部に形成された上記開口部側に固設される。レンズ枠部材１５２は、本体１５１に装着された本体装置２のディスプレイ１２に表示される表示画像（左目用画像ＩＭＬおよび右目用画像ＩＭＲ）に対する視界を妨げないように開口した、一対のレンズ枠を有している。また、レンズ枠部材１５２の上下左右に形成される外縁には、本体装置２に接合されるための接合面が形成されるとともに、当該下方に形成される外縁の中央部にゴーグル装置１５０を着用するユーザの鼻と接触するためのＶ字状の凹部が形成される。
【0079】
画像表示システムを構成する第１レンズ、および、第２レンズの一例であるレンズ１５３は、一対の左目用レンズ１５３Ｌおよび右目用レンズ１５３Ｒによって構成され、例えば一対のフレネルレンズである。左目用レンズ１５３Ｌおよび右目用レンズ１５３Ｒは、それぞれレンズ枠部材１５２のレンズ枠に嵌め込まれている。
【0080】
なお、左目用レンズ１５３Ｌおよび右目用レンズ１５３Ｒは、典型的には円形または楕円形の拡大レンズであればよく、画像を歪ませてユーザに視認させるレンズであればよい。例えば、左目用レンズ１５３Ｌが円形または楕円形に歪んで表示されている左目用画像ＩＭＬ（後述）を当該画像の歪みとは逆方向に歪ませて視認させ、右目用レンズ１５３Ｒが円形または楕円形に歪んで表示されている右目用画像ＩＭＲ（後述）を当該画像の歪みとは逆方向に歪ませて視認させることによって、画像を立体視するものであってもよい。また、左目用レンズ１５３Ｌおよび右目用レンズ１５３Ｒは、一体化形成された構成であってもよい。
【0081】
図１０に示すように、板状部材１５４は、本体装置２が本体１５１の装着部に装着されたされた場合に、レンズ枠部材１５２とディスプレイ１２との間となる本体１５１の内部に固設される。例えば、板状部材１５４は、その一部がレンズ枠部材１５２におけるＶ字状の凹部に沿う形状で、当該凹部と装着された本体装置２のディスプレイ１２との間を接続する壁のように配置される。この凹部は、左目用レンズ１５３Ｌおよび右目用レンズ１５３Ｒの中間点の下部となる位置に形成され、ディスプレイ１２に表示された立体画像を見るユーザの鼻が当接する。
【0082】
ゲームシステム１がゴーグル装置１５０に装着された場合、左目用レンズ１５３Ｌを介して、ディスプレイ１２の左側領域に表示されている左目用画像ＩＭＬのみを見ることが可能であり、右目用レンズ１５３Ｒを介して、ディスプレイ１２の右側領域に表示されている右目用画像ＩＭＲのみを見ることが可能となる。したがって、ゴーグル装置１５０に装着されたゲームシステム１を使用するユーザは、左目で左目用レンズ１５３Ｌを見て、右目で右目用レンズ１５３Ｒを見ることによって、左目用画像ＩＭＬおよび右目用画像ＩＭＲを視認することが可能となるため、視差のある左目用画像ＩＭＬおよび右目用画像ＩＭＲをディスプレイ１２に表示することによって、ユーザにとって立体感のある立体画像を表示することができる。
【0083】
図１１および図１２に示すように、ユーザがゴーグル装置１５０に装着されたゲームシステム１を用いて、ディスプレイ１２に表示された立体画像を見る場合、この実施例では、左コントローラ３を左手で把持し、右コントローラ４を右手で把持することができる。このため、ユーザは立体画像を見ながら左コントローラ３および右コントローラ４を用いた操作が可能である。
【0084】
また、ゲームシステム１は、本体装置２に設けられている加速度センサ８９および／または角速度センサ９０の検出結果に基づいて、ゲームシステム１（または、本体装置２）の動きおよび／または姿勢、すなわちゲームシステム１が装着されたゴーグル装置１５０の動きおよび／または姿勢に関する情報を算出することが可能である。したがって、ゲームシステム１は、ゲームシステム１が装着されたゴーグル装置１５０を覗くユーザ頭部の重力方向基準の姿勢を算出することができる。また、ゲームシステム１は、ゲームシステム１が装着されたゴーグル装置１５０を覗くユーザの頭部の姿勢または方向が変化した場合、当該変化した方向または角度を算出することが可能となる。したがって、ゲームシステム１がゴーグル装置１５０に装着された状態で左目用レンズ１５３Ｌおよび右目用レンズ１５３Ｒを介して、ディスプレイ１２に表示された立体画像を見る場合、ゲームシステム１が装着されたゴーグル装置１５０の重力方向基準の姿勢に基づく操作、ゲームシステム１が装着されたゴーグル装置１５０の姿勢を変化させる操作が可能となるプレイスタイルが実現される。
【0085】
なお、本体装置２から左コントローラ３および右コントローラ４の少なくとも一方を取り外して操作してもよい。たとえば、右コントローラ４を用いて操作を行う場合、ユーザは、本体装置２が装着されたゴーグル装置１５０（または、左コントローラ３）を左手で把持しながらディスプレイ１２に表示された立体画像を見るとともに、取り外されている右コントローラ４単体を右手で把持して操作を行う。この場合、本体装置２から取り外されている左コントローラ３および／または右コントローラ４に対して操作された操作情報は、本体装置２との間の無線通信によって本体装置２へ送信される。具体的には、左コントローラ３に対して操作された操作情報は、左コントローラ３の通信制御部１０１から無線送信され、本体装置２のコントローラ通信部８３によって受信される。また、右コントローラ４に対して操作された操作情報は、右コントローラ４の通信制御部１１１から無線送信され、本体装置２のコントローラ通信部８３によって受信される。
【0086】
また、本体装置２、左コントローラ３または右コントローラ４が振動子を備える場合には、ゲームシステム１は、ゲームシステム１が装着されたゴーグル装置１５０を覗くユーザが当該ゲームシステム１が装着された当該ゴーグル装置１５０を叩くような振動を与えた場合、当該振動を検出することが可能となる。したがって、ゲームシステム１がゴーグル装置１５０に装着された状態で左目用レンズ１５３Ｌおよび右目用レンズ１５３Ｒを介して、ディスプレイ１２に表示された立体画像を見る場合、ゲームシステム１が装着されたゴーグル装置１５０に振動を与える操作が可能となるプレイスタイルも実現される。
【0087】
次に、図９、図１０および図１３を参照して、本体装置２に表示される画像について説明する。図１３は、立体視表示モードおよび非立体視表示モードにおいてそれぞれ本体装置２のディスプレイ１２に表示される画像の限定しない一例を示す図である。
【0088】
この実施例では、ゲームシステム１がゴーグル装置１５０に装着され、本体装置２のディスプレイ１２に表示される画像を立体視する際に用いられる立体視表示モードと、ゲームシステム１がゴーグル装置１５０から取り外され、本体装置２のディスプレイ１２に表示される画像を直接見ることによって非立体視する際に用いられる非立体視表示モードとの何れかに設定される。本体装置２は、設定されているモードに応じた画像を、ディスプレイ１２に表示させる。ここで、立体視するための立体視画像は、互いに視差のある右目用画像と左目用画像とをユーザが右目および左目で見ることによって、当該ユーザが立体視するものでもよい。この場合、非立体視される非立体視画像は、上記２画像表示（立体視表示）以外の画像であり、典型的には単一の画像をユーザが右目および左目で見るものでもよい。
【0089】
立体視表示モードにおいて、ゲームシステム１は、表示対象となっているコンテンツ画像（例えば、仮想空間や現実空間の一部を表示するための画像）を、互いに視差のある左目用画像ＩＭＬおよび右目用画像ＩＭＲによって構成し、左目用画像ＩＭＬをディスプレイ１２の左側領域に表示し、右目用画像ＩＭＲをディスプレイ１２の右側領域に表示する。具体的には、図９に示すように、立体視表示モードにおいて、左目用画像ＩＭＬは、本体装置２がゴーグル装置１５０に装着された場合に、左目用レンズ１５３Ｌによって視認可能な略楕円形領域であり、ディスプレイ１２の左側領域の一部となる第１領域に表示される。また、立体視表示モードにおいて、右目用画像ＩＭＲは、本体装置２がゴーグル装置１５０に装着された場合に、右目用レンズ１５３Ｒによって視認可能な略楕円形領域であり、ディスプレイ１２の右側領域の一部となる第２領域に表示される。
【0090】
図１３に示すように、非立体視表示モードにおいて、ゲームシステム１は、表示対象となっている上記コンテンツ画像を、非立体視画像である単一画像ＩＭＳによって構成し、一例としてディスプレイ１２の表示領域全体に単一画像ＩＭＳを表示する。
【0091】
一例として、仮想空間に配置された単一の仮想カメラから見た当該仮想空間の画像が、単一画像ＩＭＳとして生成される。上記単一の仮想カメラ２２０は、実空間における重力方向を基準とした本体装置２（または、ゲームシステム１）の姿勢と対応するように仮想空間内に配置される（図１５参照）。そして、上記単一の仮想カメラ２２０は、実空間における本体装置２の姿勢変化と対応するように仮想空間内で姿勢を変化させ、本体装置２の姿勢に応じて仮想カメラ２２０の視線方向を制御する。これによって、ゴーグル装置１５０から取り外されたゲームシステム１を把持するユーザは、周囲を見渡すようにゲームシステム１の姿勢を変化させる操作によってディスプレイ１２に表示される仮想空間の表示範囲を変更して仮想空間を見渡すことができるので、仮想カメラの場所に実際にいるかのような体験をすることができる。
【0092】
以下、この明細書においては、立体視表示モードが設定され、ゲームシステム１が装着されたゴーグル装置１５０が用いられる場合について説明することにする。
【0093】
この実施例のゲームアプリケーションでは、異なる種類の複数（ここでは、４つ）の個別ゲームが用意されており、ユーザはメニューで事前にプレイする個別ゲームを選択する。図１４は、メニュー画像の限定しない一例を示す。このメニュー画像は、ゲームアプリケーションを開始した当初にディスプレイ１２に表示される。
【0094】
メニュー画像は、複数のアイコン（この実施例では、４つのアイコン２０２、２０４、２０６および２０８）を含む。また、メニュー画像は、複数の背景オブジェクト２１０を含む。アイコン２０２－２０８は、ユーザよる操作対象のオブジェクトであり、それぞれ、仮想空間内の所定の位置に配置される。また、アイコン２０２－２０８のそれぞれは、四角形の板状のオブジェクトであり、アイコン２０２－２０８のすべてが同時に仮想カメラ２２０の視野内に収まる大きさに設定される（図１７参照）。アイコン２０２は、第１ゲームのゲーム処理を実行するために設けられる。アイコン２０４は、第２ゲームのゲーム処理を実行するために設けられる。アイコン２０６は、第３ゲームのゲーム処理を実行するために設けられる。アイコン２０８は、第４ゲームのゲーム処理を実行するために設けられる。つまり、アイコン２０２－２０８の各々には、所定の処理が関連づけられている。
【0095】
複数の背景オブジェクト２１０は、この実施例では、島オブジェクト、海オブジェクト、船オブジェクト、海オブジェクト、空オブジェクトおよび雲オブジェクトである。
【0096】
図１４に示すメニュー画像では、アイコン２０４が視線によって特定（または、選択）された状態であり、このアイコン２０４をオン（または、タッチ）するための操作情報として指示画像２１２がアイコン２０４の前面に重ねて表示される。つまり、仮想カメラ２２０の視線によって特定されたアイコン（ここでは、アイコン２０４）が操作可能状態にされ、そのことを示すための指示画像２１２が当該アイコンに重ねて表示される。ただし、指示画像２１２は、特定されたアイコンに関連する個別のゲームの処理が実行可能であることも示している。この実施例では、個別ゲームの開始または実行を指示するための所定のボタン（ここでは、Ａボタン５３）の図柄を用いた指示画像２１２が表示される。したがって、他のアイコン２０２、２０６または２０８が視線によって特定された状態では、指示画像２１２は、アイコン２０２、２０６または２０８の前面に重ねて表示される。
【0097】
ただし、アイコン２０２－２０８は、操作可能でない場合には、指示画像２１２が表示されることは無い。
【0098】
また、この実施例では、仮想カメラ２２０の視線によって特定されているアイコン２０２、２０４、２０６または２０８を操作可能状態とし、指示画像２１２を操作可能状態のアイコン２０２、２０４、２０６または２０８に重ねて表示するようにしてあるが、これに限定される必要はない。仮想カメラ２２０の視線によって特定されている時間が所定時間（たとえば、２～３秒）継続した場合に、アイコン２０２、２０４、２０６または２０８を操作可能状態とするようにしてもよい。これは、プレイヤが仮想空間内を見渡している場合において、視線によって一時的にアイコン２０２、２０４、２０６、２０８が特定されたときに、ユーザが誤ってＡボタン５３を押下してしまい、意図せずに、個別ゲームが開始されてしまうのを防止するためである。
【0099】
図１４に示すメニュー画像では、後述するように、アイコン２０４が仮想カメラ２２０（図１５参照）の視線で特定されており、アイコン２０４が他のアイコン２０２、２０６、２０８よりも大きく表示される。この実施例では、視線が特定するアイコンとの距離に応じて、アイコン２０２－２０８の大きさが段階的に変化される。図１４に示す例では、視線で特定されているアイコン２０４の大きさはデフォルトの大きさよりも１段階大きくされており、アイコン２０８の大きさはデフォルトの大きさより１段階小さくされており、アイコン２０４および２０６の大きさはデフォルトの大きさである。たとえば、アイコン２０２－２０８の大きさがデフォルトの大きさよりも１段階大きくされる場合には、デフォルトの大きさに第１の所定倍数（たとえば、１．２）を掛けた大きさに拡大される。また、アイコン２０２－２０８の大きさがデフォルトの大きさよりも１段階小さくされる場合には、デフォルトの大きさに第２の所定倍数（たとえば、０．８）を掛けた大きさに縮小される。
【0100】
図示は省略するが、アイコン２０２が視線で特定されている場合には、アイコン２０４の大きさはデフォルトの大きさであり、アイコン２０６の大きさはデフォルトの大きさより１段階小さくされ、アイコン２０８の大きさいはデフォルトの大きさより２段階小さくされる。
【0101】
また、この実施例では、アイコン２０２－２０８は大きさに応じて仮想カメラ２２０との距離が調整される。アイコン２０２、２０４、２０６または２０８の大きさが１段階大きくされた場合には、アイコン２０２、２０４、２０６または２０８は、仮想カメラ２２０に対して、デフォルトの位置から所定距離近づく位置に移動される。また、アイコン２０２、２０４、２０６または２０８の大きさが１段階小さくされた場合には、アイコン２０２、２０４、２０６または２０８は、仮想カメラ２２０に対して、デフォルトの位置から所定距離離れた位置に移動され、２段階小さくされた場合には、仮想カメラ２２０に対して、デフォルトの位置から所定距離の２倍離れた位置に移動される。ただし、デフォルトの位置は、アイコン２０２－２０８の各々が仮想空間に配置されたときの所定の位置である。
【0102】
このように、アイコン２０２、２０４、２０６または２０８の大きさおよび位置が変更されることにより、特定されているアイコン２０２、２０４、２０６または２０８が視認可能に表現される。
【0103】
ただし、視線によって特定されているアイコン２０２、２０４、２０６または２０８の大きさのみを大きくすることにより、特定されていることを表現してもよい。
【0104】
図１５は、アイコン２０２－２０８を含む仮想空間を上方から俯瞰的に見た図である。仮想空間は中空の球の形状に形成される。球の中心の位置に、仮想カメラ２２０が配置される。つまり、仮想カメラ２２０は、仮想空間内の所定の位置に配置される。図１５からも明らかなように、仮想カメラ２２０は、アイコン２０２－２０８とは異なる位置に配置される。また、仮想カメラ２２０の基準方向は予め決定されている。図１５に示すように、基準方向は、仮想カメラ２２０の視線が板状のアイコン２０４に対して垂直であり、アイコン２０４の中心を通る向きに設定される。これは一例であり、限定される必要はない。
【0105】
上述したように、ゲームシステム１が装着されたゴーグル装置１５０を覗くユーザの頭部の姿勢または方向が変化した場合、当該変化した姿勢または方向を算出することが可能であり、算出した姿勢または方向に基づいて仮想カメラ２２０の姿勢または方向が制御される。つまり、ユーザの頭部の動きに基づいて仮想カメラ２２０の動きが変化される。ユーザは、首を動かすことにより、頭部を動かしても良いし、体全体または上体の向きを変化させることにより、頭部を動かしても良い。
【0106】
ただし、仮想カメラ２２０のローカル座標では、仮想カメラ２２０が基準方向を向いている場合の視線と重なる軸がｘ軸に設定され、水平方向においてｘ軸に垂直な軸がｙ軸に設定され、ｘ軸およびｙ軸の両方に垂直な軸がｚ軸に設定される。そして、仮想カメラ２２０の姿勢または向きは、ｙ軸回りの角度（ピッチ角）、ｘ軸回りの角度（ロール角）およびｚ軸回りの角度（ヨー角）で表される。
【0107】
したがって、ユーザの頭部の動きに基づいて、仮想カメラ２２０から見た仮想空間内の様々なメニュー画像がディスプレイ１２に表示され、ユーザはアイコン２０２－２０８を含まないメニュー画像を見ることもできる。この実施例では、背景オブジェクト２１０は、島オブジェクト、海オブジェクト、船オブジェクト、海オブジェクト、空オブジェクトおよび雲オブジェクトを含み、メニュー以外の仮想の海の景色を見ることができる。つまり、単にアイコン２０２－２０８を表示するだけでなく、アイコン２０２－２０８以外のオブジェクトを見せる豪華なメニューが提供される。
【0108】
このように、この実施例のメニュー画像では、アイコン２０２－２０８以外のオブジェクトが表示されることがある。図１６はメニュー画像の限定しない他の例を示す。図１６に示すメニュー画像では、アイコン２０２－２０８を含んでいない。たとえば、図１５で示した状態において、ユーザが頭部を９０度左向きに回転させると、仮想カメラ２２０が左に９０度回転され、このとき、図１６に示すメニュー画像がディスプレイ１２に表示される。図１６に示すメニュー画像では、背景オブジェクト２１０として、複数の島オブジェクト、海オブジェクト、空オブジェクトおよび複数の雲オブジェクトを含む。
【0109】
なお、仮想カメラ２２０から遠く離れている背景は、仮想空間の大きさおよび形状を規定する球の内面に貼りつけられたテクスチャである。
【0110】
このように、ユーザは頭部を動かすことにより、仮想空間内の３６０度の方向（この実施例では、水平方向および垂直方向）のメニュー画像を見ることができる。このため、メニュー画像を表示するための仮想空間において、ユーザはアイコン２０２－２０８以外の多様なオブジェクトを視認できる。
【0111】
また、この実施例では、アナログスティック５２を押下することにより、仮想カメラ２２０の向きがリセットされる。具体的には、仮想カメラ２２０が、視線の向きを示すベクトルの水平方向の成分が基準方向と一致するように、水平方向に回転される。つまり、仮想カメラ２２０のヨー角がリセットされる（たとえば、０度にされる）。これは、ユーザがアイコン２０２－２０８を見失ってしまった場合に、アイコン２０２－２０８を含むメニュー画像に簡単に戻るためである。ただし、単に、アイコン２０２－２０８を含むメニュー画面に簡単に戻りたい場合もあると考えられる。
【0112】
なお、仮想カメラ２２０の向きをリセットする場合に、ヨー角のみをリセットするのは、ピッチ角およびロール角もリセットしてしまうと、実空間における本体装置２の姿勢変化と対応するように、仮想空間内で仮想カメラ２２０の姿勢を変化させることができなくなってしまうからである。ただし、ヨー角のみならず、ピッチ角およびロール角もリセットすることもできる。
【0113】
また、この実施例では、仮想カメラ２２０の向きをリセットするようにしたが、視線の向きを示すベクトルの水平方向の成分が基準方向と一致するように、仮想空間内の背景オブジェクト２１０を移動させるようにしてもよい。この場合、背景オブジェクト２１０の移動に伴って、仮想カメラ２２０から遠く離れている背景のテクスチャを貼り付ける位置も変更される。
【0114】
図１６に示すメニュー画像のように、アイコン２０２－２０８がディスプレイ１２に表示されていないときに、ユーザがアイコン２０２、２０４、２０６または２０８をオン（またはクリック）する操作入力に基づく処理を実行してしまうと、意図せずに、特定されたアイコン２０２、２０４、２０６または２０８に応じた処理（この実施例では、個別ゲームの処理）が開始されてしまう。
【0115】
このような不都合を回避するために、この実施例では、アイコン２０２、２０４、２０６および２０８がメニュー画像に含まれている場合に、当該アイコン２０２、２０４、２０６または２０８をオンする操作入力に基づく処理を実行するようにしてある。
【0116】
ただし、アイコン２０２、２０４、２０６および２０８のすべてが同時にメニュー画像に含まれている必要はない。
【0117】
したがって、この実施例では、仮想カメラ２２０の視野内に含まれるアイコン２０２－２０８を操作可能であると判断する。図１７は仮想カメラ２２０の撮影範囲である錐体２５０を仮想カメラ２２０の位置（視点）の斜め後方から見た図である。錐体２５０のうち、ニアクリップ面２５２とファークリップ面２５４とで挟まれる四角錐台の部分が視体積２５０ａである。ただし、ピラミッド状の錐体（四角錐）２５０は、仮想カメラ２２０の位置（視点）とファークリップ面２５４で決定される。また、錐体の斜辺の傾き（仮想カメラ２２０の画角）は、仮想カメラ２２０とファークリップ面２５４の距離およびファークリップ面２５４の大きさによって決定される。
【0118】
【0119】
アイコン２０２－２０８が仮想カメラ２２０の視野内に含まれるかどうかは、アイコン２０２－２０８が視体積２５０ａ内に位置する（または、含まれる）かどうかで判断される。
【0120】
また、この実施例では、ユーザの頭部の向きで、すなわち、仮想カメラ２２０の視線で、アイコン２０２、２０４、２０６または２０８が特定または選択される。つまり、アイコン２０２、２０４、２０６または２０８がユーザによって特定または選択される。
【0121】
この実施例では、簡易な形状（以下、「簡易形状」という）を、アイコン２０２－２０８の各々に設定することにより、アイコン２０２－２０８の各々が仮想カメラ２２０の視野内に含まれるかどうかが判断されるとともに、アイコン２０２、２０４、２０６または２０８が特定されているかどうかが判断される。
【0122】
図１８に示すように、一例として、簡易形状は、球であり、アイコン２０２－２０８の各々に設定される。したがって、３次元の仮想空間において、視線（３次元の線分）がアイコン２０２－２０８の各々に設定された球に触れるかどうかが算出され、視線が球に触れる場合に、この球が設定されているアイコン２０２、２０４、２０６または２０８が視線で特定されていることが判断される。
【0123】
また、各球の中心は、アイコン２０２－２０８の中心（または、重心）に一致する（または、重なる）ように設定される。各球の半径Ｒは、隣接する１つまたは２つのアイコン２０２－２０８に設定される簡易形状同士が接触または重なることが無い長さに設定される。
【0124】
この実施例では、図１５に示したように、仮想空間内において、アイコン２０２－２０８は、間隔を隔てて配置されるため、球の半径Ｒは、隣接するアイコン２０２とアイコン２０４、アイコン２０４とアイコン２０６、およびアイコン２０６とアイコン２０８の各々の中心間の距離Ｄを半分にした値（Ｄ／２）よりも小さい値に設定される。また、球の半径Ｒは、各アイコン２０２－２０８の縦または横の辺の長さに設定される。各アイコン２０２－２０８は同じ大きさの四角形である。したがって、半径Ｒは、各アイコン２０２－２０８の縦または横の辺の長さＬ１の半分の長さ（Ｌ１／２）よりも長い値に設定される。つまり、半径ＲはＬ１／２からＤ／２までの間の数値である。
【0125】
ただし、これは一例であり、球の半径Ｒは、各アイコン２０２－２０８の対角線の長さＬ２の半分の長さ（Ｌ２／２）に設定されてもよい。つまり、各アイコン２０２－２０８が内接する球が設定されてもよい。隣接するアイコン２０２とアイコン２０４、アイコン２０４とアイコン２０６、およびアイコン２０６とアイコン２０８の各々において、球が重なる場合には、球が重なる部分については先に視線が触れた方の球に設定されているアイコン２０２、２０４、２０６または２０８が特定されていると判断するものとする。ただし、後に視線が触れた方の球に設定されるアイコン２０２、２０４、２０６または２０８が特定されていると判断されてもよい。
【0126】
このように、仮想カメラ２２０の視線によってアイコン２０２、２０４、２０６または２０８が特定される。また、上述したように、アイコン２０２－２０８は、一度にすべて仮想カメラ２２０の視野内に含まれる大きさに設定されているため、視線によって特定されるアイコン２０２、２０４、２０６または２０８は視野内（または、視体積内）に必ず含まれることになる。したがって、この実施例では、視線がアイコン２０２、２０４、２０６または２０８に設定された球に触れた場合には、少なくとも、当該球が設定されたアイコン２０２、２０４、２０６または２０８は視野内に含まれることが判断されるとともに、仮想カメラ２２０の視線によって特定されている、すなわち、ユーザによって特定または選択されていることが判断される。
【0127】
図１９は図６に示したＤＲＡＭ８５のメモリマップ８５０の限定しない一例を示す図である。図１９に示すように、ＤＲＡＭ８５は、プログラム記憶領域８５２およびデータ記憶領域８５４を含む。プログラム記憶領域８５２には、情報処理プログラムの一例であるゲームアプリケーションのプログラム（つまり、ゲームプログラム）が記憶される。図１６に示すように、ゲームプログラムは、メイン処理プログラム８５２ａ、画像生成プログラム８５２ｂ、操作検出プログラム８５２ｃ、慣性センサ検出プログラム８５２ｄ、仮想カメラ制御プログラム８５２ｅ、オブジェクト制御プログラム８５２ｆ、判定プログラム８５２ｇおよび画像表示プログラム８５２ｈなどを含む。
【0128】
ただし、生成されたメニュー画像およびゲーム画像などの画像を表示する機能は本体装置２が備える機能である。したがって、画像表示プログラム８５２ｈは、ゲームプログラムに含まれない。
【0129】
詳細な説明は省略するが、各プログラム８５２ａ－８５２ｇは、本体装置２に電源が投入された後の適宜のタイミングで、フラッシュメモリ８４および／またはスロット２３に装着された記憶媒体からその一部または全部が読み込まれてＤＲＡＭ８５に記憶される。ただし、各プログラム８５２ａ－８５２ｇの一部または全部は、本体装置２と通信可能な他のコンピュータから取得するようにしてもよい。また、画像表示プログラム８５２ｈは、本体装置２に電源が投入された後の適宜のタイミングで、フラッシュメモリ８４から読み込まれてＤＲＡＭ８５に記憶される。
【0130】
メイン処理プログラム８５２ａは、この実施例の仮想のゲームの全体的なゲーム処理を実行するためのプログラムである。画像生成プログラム８５２ｂは、画像生成データ８５４ｃを用いて、メニュー画像およびゲーム画像などの各種の画像に対応する表示画像データを生成するためのプログラムである。
【0131】
操作検出プログラム８５２ｃは、左コントローラ３または／および右コントローラ４からの操作データ８５４ａを取得するためのプログラムである。つまり、プレイヤの操作入力に応じた操作データ８５４ａが取得される。
【0132】
慣性センサ検出プログラム８５２ｄは、慣性センサ、すなわち、加速度センサ８９および角速度センサ９０の検出結果についてのデータ（後述する慣性データ８５４ｂ）を取得するためのプログラムである。
【0133】
仮想カメラ制御プログラム８５２ｅは、慣性センサ検出プログラム８５２ｄに従って取得された慣性データ８５４ｂに基づいて、仮想カメラ２２０の姿勢または方向を制御するためのプログラムである。
【0134】
オブジェクト制御プログラム８５２ｆは、プレイヤの操作入力に基づいて、プレイヤオブジェクトの動作を制御したり、プレイヤの操作入力に関わらず、ノンプレイヤオブジェクトおよび一部の背景オブジェクト２１０の動作を制御したりするためのプログラムである。ただし、一部の背景オブジェクト２１０は、船オブジェクトのような移動する（または、動く）オブジェクトである。
【0135】
判定プログラム８５２ｇは、メニュー画像がディスプレイ１２に表示される場合に、視線がアイコン２０２－２０８の各々に設定された簡易形状に触れているかどうかを判断することにより、操作可能なアイコン２０２、２０４、２０６または２０８が有るかどうかを判定するためのプログラムである。
【0136】
画像表示プログラム８５２ｈは、画像生成プログラム８５２ｂに従って生成した表示画像データを表示装置に出力するためのプログラムである。したがって、表示画像データに対応する画像（つまり、メニュー画像およびゲーム画像など）がディスプレイ１２などの表示装置に表示される。
【0137】
なお、プログラム記憶領域８５２には、ＢＧＭ等の音を出力するための音出力プログラム、他の機器と通信するための通信プログラム、データをフラッシュメモリ８４などの不揮発性の記憶媒体に記憶するためのバックアッププログラムなども記憶される。
【0138】
また、データ記憶領域８５４には、操作データ８５４ａ、慣性データ８５４ｂ、画像生成データ８５４ｃ、姿勢データ８５４ｄ、視線データ８５４ｅ、簡易形状データ８５４ｆおよび操作可能判定データ８５４ｇなどが記憶される。
【0139】
操作データ８５４ａは、左コントローラ３または／および右コントローラ４から受信される操作データである。この実施例においては、本体装置２が左コントローラ３および右コントローラ４の両方から操作データを受信する場合には、本体装置２は、左コントローラ３および右コントローラ４の各々に分類して操作データ８５４ａを記憶する。
【0140】
慣性データ８５４ｂは、加速度センサ８９および角速度センサ９０の検出結果すなわち加速度および角速度についてのデータである。
【0141】
画像生成データ８５４ｃは、ポリゴンデータおよびテクスチャデータなど、表示画像データを生成するために必要なデータである。
【0142】
姿勢データ８５４ｄは、仮想カメラ２２０の姿勢または向きについてのデータである。つまり、姿勢データ８５４ｄは、仮想カメラ２２０のピッチ角、ヨー角およびロール角のデータである。
【0143】
視線データ８５４ｅは、仮想カメラ２２０の３次元位置から姿勢データ８５４ｄが示す向きに延びる直線についてのデータである。ただし、直線の長さは、所定の長さに決定される。たとえば、所定の長さは、仮想カメラ２２０の正面に配置されたアイコン２０２、２０４、２０６または２０８に届く長さに設定される。
【0144】
簡易形状データ８５４ｆは、アイコン２０２、２０４、２０６および２０８の各々に設定される簡易形状のデータであり、この実施例では、アイコン２０２、２０４、２０６および２０８の各々の中心の座標および簡易形状である球の半径Ｒについてのデータである。
【0145】
操作可能判定データ８５４ｇは、操作可能なアイコン２０２、２０４、２０６または２０８を識別するための識別情報のデータである。ただし、すべてのアイコン２０２－２０８が操作可能でない場合には、操作可能なアイコンが無いことを示すデータ（たとえば、ｎｕｌｌデータ)が操作可能判定データ８５４ｇとして記憶される。
【0146】
図示は省略するが、データ記憶領域８５４には、ゲームプログラムの実行に必要な、他のデータが記憶されたり、フラグおよびタイマ（またはカウンタ）が設けられたりする。
【0147】
図２０は、本体装置２のプロセッサ８１（またはコンピュータ）のゲームプログラムの処理（ゲーム全体処理）の限定しない一例を示すフロー図である。
【0148】
ただし、図２０－図２２に示すフロー図の各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、この実施例では、基本的には、図２０－図２２に示すフロー図の各ステップの処理をプロセッサ８１が実行するものとして説明するが、プロセッサ８１以外のプロセッサや専用回路が一部のステップを実行するようにしてもよい。
【0149】
本体装置２の電源が投入されると、ゲーム全体処理の実行に先だって、プロセッサ８１は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってＤＲＡＭ８５等の各ユニットが初期化される。本体装置２は、ユーザによって、この実施例のゲームプログラムの実行が指示されると、ゲーム全体処理を開始する。
【0150】
図２０に示すように、プロセッサ８１は、ゲーム全体処理を開始すると、ステップＳ１で、初期処理を実行する。初期処理では、たとえば、プロセッサ８１は、個別ゲームの選択および実行を行うメニュー画像を生成および表示するための仮想空間を構築し、この仮想空間に登場する各背景オブジェクト２１０を初期位置に配置する。また、プロセッサ８１は、仮想カメラ２２０の位置を初期位置に設定する。さらに、プロセッサ８１は、仮想カメラ２２０の視線の向きを示すベクトルの水平成分を基準方向に設定する。つまり、仮想カメラ２２０のヨー角の基準値が基準方向に設定される。また、プロセッサ８１は、加速度センサ８９および角速度センサ９０の出力に基づいて、実空間の本体装置２の姿勢に対応するように、仮想カメラ２２０のピッチ角およびロール角を設定する。
【0151】
なお、詳細な説明は省略するが、ゲーム全体処理の開始に先立って、左コントローラ３および右コントローラ４が本体装置２に装着されているかどうかが判断され、左コントローラ３および右コントローラ４が本体装置２から分離されている場合には、本体装置２と、左コントローラ３および右コントローラ４との間でペアリング処理が実行される。
【0152】
続くステップＳ３では、メニュー画像を生成する。ゲーム全体処理を開始した当初では、すべてのアイコン２０２－２０８を含むメニュー画像が生成される。ただし、この実施例では、立体視表示モードが設定されていると仮定してあるため、メニュー画像について、左目用画像ＩＭＬおよび右目用画像ＩＭＲが生成される。
【0153】
次のステップＳ５では、メニュー画像を表示する。このステップＳ５では、左目用画像ＩＭＬがディスプレイ１２の第１領域に表示され、右目用画像ＩＭＲがディスプレイ１２の第２領域に表示される。また、ゲーム全体処理を開始した当初では、図１６に示したようなメニュー画像がディスプレイ１２に表示される。
【0154】
続いて、プロセッサ８１は、ステップＳ７で、コントローラ（３，４）から送信されてくる操作データを取得する。ただし、コントローラ（３，４）から操作データが送信されない場合には、プロセッサ８１は、操作データを取得しない。
【0155】
また、プロセッサ８１は、ステップＳ９で、慣性センサから送信されてくる慣性データ８５４ｂを取得する。つまり、プロセッサ８１は、加速度センサ８９からの加速度データおよび角速度センサ９０からの角速度データを取得する。
【0156】
次のステップＳ１１では、プロセッサ８１は、操作が有るかどうかを判断する。ここでは、プロセッサ８１は、ステップＳ７で、操作データを取得したかどうかを判断する。ステップＳ１１で“ＮＯ”であれば、つまり、操作が無い場合には、図１９に示すステップＳ２１に進む。
【0157】
一方、ステップＳ１１で“ＹＥＳ”であれば、つまり、操作が有る場合には、ステップＳ１３で、Ａボタン５３の押下であるかどうかを判断する。つまり、プロセッサ８１は、取得した操作データがＡボタン５３の押下を示すかどうかを判断する。ステップＳ１３で“ＮＯ”であれば、つまり、Ａボタン５３の押下でなければ、図２２に示すステップＳ３３に進む。
【0158】
一方、ステップＳ１３で“ＹＥＳ”であれば、つまり、Ａボタン５３の押下であれば、ステップＳ１５で、操作可能なアイコンが有るかどうかを判断する。この実施例では、プロセッサ８１は、操作可能判定データ８５４ｇを参照して、操作可能なアイコン２０２、２０４、２０６または２０８が有るかどうかを判断する。
【0159】
ステップＳ１５で“ＮＯ”であれば、つまり、操作可能なアイコンが無い場合には、ステップＳ３に戻る。一方、ステップＳ１５で“ＹＥＳ”であれば、つまり、操作可能なアイコンが有る場合には、ステップＳ１７で、操作可能なアイコンに対応する個別ゲームを開始する。つまり、個別のゲーム処理が実行される。具体的な処理についての図示および説明は省略するが、個別ゲームの処理は、ゲーム全体処理とは別のフローで実行される。個別ゲームが開始されると、個別ゲームのシーンについてのゲーム画像がメニュー画像に代えてディスプレイ１２に表示される。つまり、プロセッサ８１は、メニューの場面から操作されたアイコン２０２、２０４、２０６または２０８に関連する個別ゲームをプレイする場面に遷移される処理を実行する。
【0160】
そして、ステップＳ１９で、プロセッサ８１は、個別ゲームの終了かどうかを判断する。ステップＳ１９で“ＮＯ”であれば、つまり、個別ゲームの終了でなければ、ステップＳ１９に戻る。一方、ステップＳ１９で“ＹＥＳ”であれば、つまり、個別ゲームの終了であれば、ステップＳ３に戻る。
【0161】
なお、ステップＳ１９の処理を実行することに代えて、個別ゲームの終了まで、ゲーム全体処理を一時停止するようにしてもよい。この場合、プロセッサ８１は、個別ゲームの終了に応じて、ゲーム全体処理を再開する。
【0162】
図２１に示すように、ステップＳ２１では、プロセッサ８１は、ステップＳ９で取得した慣性データ８５４ｂに基づいて、ゲームシステム１の姿勢または向きが変化したかどうかを判断する。ステップＳ２１で“ＮＯ”であれば、つまり、ゲームシステム１の姿勢または向きが変化していなければ、ステップＳ３１に進む。一方、ステップＳ２１で“ＹＥＳ”であれば、つまり、ゲームシステム１の姿勢または向きが変化していれば、ステップＳ２３で、仮想カメラ２２０の姿勢または向きを算出する。つまり、プロセッサ８１は、ゲームシステム１の姿勢または向きの変化に基づいて、仮想カメラ２２０の姿勢または向きを変化させる。
【0163】
次のステップＳ２５では、接触判定処理を実行する。接触判定処理では、プロセッサ８１は、仮想カメラ２２０の視線がアイコン２０２－２０８の各々に設定された簡易形状に触れているかどうかを計算する。したがって、仮想カメラ２２０の視線および簡易形状に対応するオブジェクトが実際に描画されることはない。
【0164】
続いて、ステップＳ２７で、仮想カメラ２２０の視線が簡易形状に触れているかどうかを判断する。ステップＳ２７で“ＮＯ”であれば、つまり、仮想カメラ２２０の視線が簡易形状に触れていなければ、ステップＳ３１に進む。ただし、接触判定処理において、仮想カメラ２２０の視線が簡易形状に触れていないことが判断された場合には、操作可能判定データ８５４ｇとしてｎｕｌｌデータが記憶される。
【0165】
一方、ステップＳ２７で“ＹＥＳ”であれば、つまり、仮想カメラ２２０の視線が簡易形状に触れていれば、ステップＳ２９で、プロセッサ８１は、仮想カメラ２２０の視線が触れている簡易形状が設定されたアイコン２０２、２０４、２０６または２０８を、操作可能なアイコンに設定して、ステップＳ３１に進む。ステップＳ２９では、操作可能なアイコン２０２、２０４、２０６または２０８を示すデータが操作可能判定データ８５４ｇとして記憶される。
【0166】
ステップＳ３１では、ゲームアプリケーションを終了するかどうかを判断する。ステップＳ３１の判断は、たとえば、プレイヤがゲームアプリケーションを終了することを指示したかどうかによって行われる。ステップＳ３１で“ＮＯ”であれば、つまりゲームアプリケーションを終了しない場合には、図２０のステップＳ３に戻る。一方、ステップＳ３１で“ＹＥＳ”であれば、つまりゲームアプリケーションを終了する場合には、ゲーム全体処理を終了する。
【0167】
また、上述したように、図２０のステップＳ１３で“ＮＯ”であれば、図２２に示すステップＳ３３で、右コントローラ４のアナログスティック５２の押下であるかどうかを判断する。つまり、ステップＳ７で取得した操作データがアナログスティック５２の押下を示すかどうかを判断する。
【0168】
ステップＳ３３で“ＹＥＳ”であれば、つまり、アナログスティック５２の押下であれば、ステップＳ３５で、仮想カメラの水平方向の向きをリセットして、ステップＳ３に戻る。つまり、ステップＳ３５では、プロセッサ８１は、仮想カメラ２２０のピッチ角およびロール角をリセットしないで、ヨー角をリセットする。
【0169】
一方、ステップＳ３３で“ＮＯ”であれば、つまり、アナログスティック５２の押下でなければ、ステップＳ３７で、その他の処理を実行して、ステップＳ３に戻る。たとえば、Ｂボタン５４の押下に応じて、ステップＳ３７では、非立体視表示モードを設定する。
【0170】
なお、図２０－図２２に示すゲーム全体処理では、ゲームシステム１の姿勢または向きが変化された場合に、接触判定処理を実行するようにしたが、これに限定される必要はない。他の実施例では、接触判定処理は、メニュー画像が表示されている間において、所定時間毎に（たとえば、毎フレーム）実行されてもよいし、Ａボタン５３が押下された場合に実行されてもよい。また、接触判定処理は、ゲームシステム１の姿勢または向きが変化された場合と、Ａボタン５３が押下された場合の両方で実行されてもよい。
【0171】
この実施例によれば、操作対象のオブジェクトに対する操作入力があったときに、この操作対象のオブジェクトが視野内に含まれていれば、この操作対象のオブジェクトに関連する処理を実行するので、ユーザが意図しない処理が実行されるのを防止することができる。
【0172】
なお、この実施例では、慣性センサの検出結果に基づくゴーグル装置の姿勢または向きによって、仮想カメラの姿勢または向きを制御するようにしたが、これに限定される必要はない。慣性センサの検出結果に基づいてゴーグル装置の位置も検出し、仮想カメラの位置も制御するようにしてもよい。かかる場合には、仮想カメラは、仮想空間において、姿勢または向きのみならず位置も変化される。また、リセットされた場合には、仮想カメラの水平方向の向きが基準方向に戻されるとともに、仮想カメラの位置が初期位置に戻される。
【0173】
また、この実施例では、操作対象のオブジェクトがアイコンである場合について説明したが、これに限定される必要はない。他の実施例では、操作対象のオブジェクトはユーザが任意の動作を実行させるキャラクタオブジェクトであってもよい。かかる場合には、キャラクタオブジェクトについての操作入力があったときに、このキャラクタオブジェクトが視野内に含まれていれば、このキャラクタオブジェクトに操作入力に応じた動作を実行させる。ただし、キャラクタオブジェクトが視野外である場合には、ユーザの操作入力があっても、この操作入力に応じた動作をキャラクタオブジェクトに実行させない。
【0174】
さらに、この実施例では、操作対象のオブジェクトを仮想カメラの視線で特定するようにしたが、これに限定される必要はない。操作対象のオブジェクトが仮想カメラの視野内に含まれる状態において、コントローラから取得した操作データに基づいて操作対象のオブジェクトを特定するようにしてもよい。この場合、たとえば、複数の操作対象のオブジェクトが視野内に含まれている場合に、右方向ボタン３３、下方向ボタン３４、上方向ボタン３５、および左方向ボタン３６を操作して、１つの操作対象のオブジェクトを特定および変更することができる。または、仮想カメラの視野内に含まれる１つまたは複数の操作対象のオブジェクトの各々に、異なる所定のボタンを割り当てることにより、所定のボタンの操作によって、１つの操作対象のオブジェクトの特定および実行を一度に行うようにしてもよい。この場合、所定のボタンが操作対象のオブジェクトに割り当てられると、図１４に示したように、所定のボタンの図柄を用いた指示画像が操作対象のオブジェクトの前面に重ねて表示される。
【0175】
さらにまた、この実施例では、操作対象のオブジェクトに設定された簡易形状が視野内に含まれているかどうかで、操作対象のオブジェクトが視野内に含まれているかどうかを判断するようにしたが、これに限定される必要はない。仮想カメラの視線ベクトルと、仮想カメラの位置から操作対象オブジェクトの位置（ここでは、中心位置）に向かうベクトルの内積を算出し、算出されたｃｏｓθの値に基づいて、１つまたは複数の操作対象のオブジェクトが視野内に含まれているかどうかを判断するようにしてもよい。または、仮想カメラの視線方向が仮想カメラの位置を含む水平面内における水平方向の角度の基準値以内に含まれるかどうかで、１つまたは複数の操作対象のオブジェクトが視野内に含まれているかどうかを判断するようにしてもよい。この場合、仮想カメラの視線ベクトルと、仮想カメラが基準方向を向いている場合の視線ベクトルの内積を算出し、算出されたｃｏｓθの値が基準値以内であるかどうかが判断される。
【0176】
また、この実施例では、操作対象のオブジェクトが視野内に含まれている場合について説明したが、その一部が視野内に含まれている場合にも、オブジェクトの特定および処理の実行を行うことができるようにしてもよい。たとえば、操作対象のオブジェクトが、所定の割合（たとえば、９０％）以上視野内に含まれている場合には、ユーザはオブジェクトを知ることができると考えられる。ただし、オブジェクトによっては、所定の割合は５０％未満でも、ユーザが当該オブジェクトを知ることができる場合もあると考えられる。一例として、操作対象のオブジェクトが視野内に含まれる割合は、オブジェクトに設定される球の大きさ（半径Ｒ）を調整することにより設定することができる。つまり、操作対象のオブジェクトの少なくとも一部が視野内に含まれている場合に、ユーザの操作に応じて、当該オブジェクトに関連する処理を実行できるようにすることもできる。
【0177】
さらに、この実施例では、ゲームアプリケーションにおいてメニュー画像に設けられた４つのアイコン（すなわち、操作対象のオブジェクト）のうち、視野内に含まれる１つのアイコンを特定して、当該アイコンに関連する個別ゲームの処理を実行するようにしたが、これに限定される必要はない。それぞれ異なるアプリケーションに関連する複数のアイコンのうち、視野内に含まれる１つのアイコンを特定して、当該アイコンに関連するアプリケーションの処理を実行するようにすることもできる。また、操作対象のオブジェクトに対して複数の選択肢が設定されている場合には、複数の選択肢から１つの選択肢を選択させる処理が当該オブジェクトに関連する処理である。
【0178】
さらにまた、この実施例では、ゲームシステムをゴーグル装置に装着した場合には、立体視モードを設定し、立体視画像を表示するようにしたが、これに限定される必要はない。ゲームシステムがゴーグル装置に装着される場合であっても、視差の無い左目用画像および右目用画像を生成し、非立体視画像を表示するようにしてもよい。
【0179】
なお、上述の実施例では、本体装置２に左コントローラ３および右コントローラ４を着脱可能な構成のゲームシステム１を用いた場合について説明したが、これに限定される必要はない。たとえば、左コントローラ３および右コントローラ４と同様の操作ボタンおよびアナログスティックを有する操作部を本体装置２に一体的に設けたゲーム装置またはゲームプログラムを実行可能な他の電子機器のような情報処理装置を用いることもできる。他の電子機器としては、スマートフォンまたはタブレットＰＣなどが該当する。かかる場合には、操作部はソフトウェアキーで構成することもできる。
【0180】
また、上述の実施例で示した具体的な数値、操作部および画像は一例であり、実際の製品に応じて適宜変更可能である。
【符号の説明】
【0181】
１ …ゲームシステム
２ …本体装置
３ …左コントローラ
４ …右コントローラ
３２、５２ …アナログスティック
３９ …ＺＬボタン
６０ …Ｒボタン
６１ …ＺＲボタン
８１ …プロセッサ
２ …本体装置
３ …左コントローラ
４ …右コントローラ
３２、５２ …アナログスティック
３９ …ＺＬボタン
６０ …Ｒボタン
６１ …ＺＲボタン
８１ …プロセッサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】