特許 5745340 ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5745340

(24)【登録日】2015年5月15日

(45)【発行日】2015年7月8日

(54)【発明の名称】ゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法

(51)【国際特許分類】

   G06T 19/00 20110101AFI20150618BHJP

   A63F 13/40 20140101ALI20150618BHJP

   A63F 13/45 20140101ALI20150618BHJP

   A63F 13/25 20140101ALI20150618BHJP

【ＦＩ】

   G06T19/00 300A

   A63F13/40

   A63F13/45

   A63F13/25

【請求項の数】24

【全頁数】56

(21)【出願番号】特願2011-124579(P2011-124579)

(22)【出願日】2011年6月2日

(65)【公開番号】特開2012-252516(P2012-252516A)

(43)【公開日】2012年12月20日

【審査請求日】2014年4月25日

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】山下 善一

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１０−１４２５９２（ＪＰ，Ａ）

【文献】 特開２００８−２６４４０２（ＪＰ，Ａ）

【文献】 特開２００４−０４６７９３（ＪＰ，Ａ）

【文献】 特開２００２−３２５９６３（ＪＰ，Ａ）

【文献】 特開２０００−０６９４６７（ＪＰ，Ａ）

【文献】 特開平０９−２９４２６０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００−１９／２０

Ａ６３Ｆ ９／２４，１３／００−１３／９８

Ｇ０６Ｆ ３／０１，３／０４８−３／０４８９

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １５／００−１５／８７

(57)【特許請求の範囲】

【請求項1】

操作装置と可搬型表示装置とゲーム装置とを含み、
前記可搬型表示装置は、撮像部と表示部を備えており、
前記ゲーム装置は、
前記操作装置に対する操作を表す第１操作データと、前記可搬型表示装置に対する操作を表す第２操作データと、前記撮像部による撮像画像のデータとを取得するデータ取得部と、
仮想空間内において、前記第１操作データに基づいて第１操作対象の動作を制御し、前記第２操作データに基づいて第２操作対象の動作を制御する動作制御部と、
前記仮想空間を表すゲーム画像であって前記第１操作対象に対応するゲーム画像と、前記撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する第１画像生成部と、
前記仮想空間を表すゲーム画像であって前記第２操作対象に対応する第２ゲーム画像を生成する第２画像生成部と、
前記第１ゲーム画像を前記可搬型表示装置とは別体の所定の表示装置へ出力する第１画像出力部と、
前記第２ゲーム画像を前記可搬型表示装置へ出力する第２画像出力部とを備える、ゲームシステム。

【請求項2】

前記ゲーム装置は、前記撮像画像のうちから顔を認識する認識処理を実行する顔認識部をさらに備え、
前記第１画像生成部は、前記撮像画像のうちで前記顔認識部によって認識された顔の画像を含むように前記第１ゲーム画像を生成する、請求項１に記載のゲームシステム。

【請求項3】

前記第１画像生成部は、前記撮像画像のうちで前記顔認識部によって認識された顔の画像に対して所定の加工処理を施し、加工処理後の画像を含む第１ゲーム画像を生成する、請求項２に記載のゲームシステム。

【請求項4】

前記顔認識部は、前記データ取得部によって前記撮像画像が取得されたことに応じて前記認識処理を実行し、
前記第１画像生成部は、前記認識処理によって顔が認識されたことに応じて、認識された顔の画像を含む第１ゲーム画像を生成し、
前記第１画像出力部は、前記第１ゲーム画像が生成されたことに応じて前記第１ゲーム画像を前記所定の表示装置へ出力する、請求項２または請求項３に記載のゲームシステム。

【請求項5】

前記データ取得部は、前記撮像画像のデータを逐次取得し、
前記第１画像生成部は、前記データ取得部が撮像画像のデータを取得するよりも少ない頻度で、前記認識された顔の画像を更新する、請求項４に記載のゲームシステム。

【請求項6】

前記ゲーム装置は、
前記第１操作対象に対応する第１仮想カメラを前記仮想空間内に設定する第１カメラ設定部と、
前記第２操作対象に対応する第２仮想カメラを前記仮想空間内に設定する第２カメラ設定部とをさらに備え、
前記第１画像生成部は、前記第１操作対象に対応するゲーム画像として、前記第１仮想カメラから見た前記仮想空間を表すゲーム画像を生成し、
前記第２画像生成部は、前記第２操作対象に対応するゲーム画像として、前記第２仮想カメラから見た前記仮想空間を表すゲーム画像を生成する、請求項１から請求項５のいずれか１項に記載のゲームシステム。

【請求項7】

前記動作制御部は、前記仮想空間内に配置される第１オブジェクトを前記第１操作対象として前記第１操作データに基づいて移動させる制御を行い、
前記第１カメラ設定部は、前記第１オブジェクトが視野範囲に含まれるように前記第１仮想カメラを設定する、請求項６に記載のゲームシステム。

【請求項8】

前記動作制御部は、前記仮想空間内に配置される第２オブジェクトを前記第２操作対象として前記第２操作データに基づいて移動させる制御を行い、
前記第２カメラ設定部は、第２オブジェクトが視野範囲に含まれるように前記第２仮想カメラを設定する、請求項６または請求項７に記載のゲームシステム。

【請求項9】

前記ゲーム装置は、所定のタイミングにおいて取得された撮像画像を所定の記憶手段に記憶する画像記憶部をさらに備え、
前記第１画像生成部は、前記記憶手段に記憶されている撮像画像の少なくとも一部を含む第１ゲーム画像を生成する、請求項１から請求項８のいずれか１項に記載のゲームシステム。

【請求項10】

前記ゲーム装置は、前記操作装置を複数含み、
前記動作制御部は、各第１操作データに基づいて複数の第１操作対象の動作をそれぞれ制御し、
前記第１画像生成部は、前記複数の第１操作対象に１つずつ対応する複数のゲーム画像と、前記撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する、請求項１から請求項９のいずれか１項に記載のゲームシステム。

【請求項11】

前記ゲーム装置は、各第１操作対象について、所定のゲーム条件が満たされたか否かを判定する判定部をさらに備え、
前記第１画像生成部は、前記所定のゲーム条件が満たされた第１操作対象に対応するゲーム画像に対して前記撮像画像の少なくとも一部の画像を重ねた第１ゲーム画像を生成する、請求項１０に記載のゲームシステム。

【請求項12】

操作装置と可搬型表示装置とゲーム装置とを含むゲームシステムにおいて実行される画像生成方法であって、
前記可搬型表示装置は、撮像部と表示部を備えており、
前記操作装置に対する操作を表す第１操作データと、前記可搬型表示装置に対する操作を表す第２操作データと、前記撮像部による撮像画像のデータとを取得するデータ取得ステップと、
仮想空間内において、前記第１操作データに基づいて第１操作対象の動作を制御し、前記第２操作データに基づいて第２操作対象の動作を制御する動作制御ステップと、
前記仮想空間を表すゲーム画像であって前記第１操作対象に対応するゲーム画像と、前記撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する第１画像生成ステップと、
前記仮想空間を表すゲーム画像であって前記第２操作対象に対応する第２ゲーム画像を生成する第２画像生成ステップと、
前記第１ゲーム画像を前記可搬型表示装置とは別体の所定の表示装置に表示させる第１画像表示ステップと、
前記第２ゲーム画像を前記可搬型表示装置の表示部に表示させる第２画像表示ステップとを備える、画像生成方法。

【請求項13】

前記撮像画像のうちから顔を認識する認識処理を実行する顔認識ステップをさらに備え、
前記第１画像生成ステップにおいては、前記撮像画像のうちで前記顔認識ステップにおいて認識された顔の画像を含むように前記第１ゲーム画像が生成される、請求項１２に記載の画像生成方法。

【請求項14】

前記第１画像生成ステップにおいては、前記撮像画像のうちで前記顔認識ステップにおいて認識された顔の画像に対して所定の加工処理が施され、加工処理後の画像を含む第１ゲーム画像が生成される、請求項１３に記載の画像生成方法。

【請求項15】

前記顔認識ステップにおいては、前記データ取得ステップにおいて前記撮像画像が取得されたことに応じて前記認識処理が実行され、
前記第１画像生成ステップにおいては、前記認識処理によって顔が認識されたことに応じて、認識された顔の画像を含む第１ゲーム画像が生成され、
前記第１画像表示ステップにおいては、前記第１ゲーム画像が生成されたことに応じて前記第１ゲーム画像が前記所定の表示装置に表示される、請求項１３または請求項１４に記載の画像生成方法。

【請求項16】

前記データ取得ステップにおいては、前記撮像画像のデータを逐次取得し、
前記第１画像生成ステップにおいては、前記データ取得ステップにおいて撮像画像のデータが取得されるよりも少ない頻度で、前記認識された顔の画像が更新される、請求項１５に記載の画像生成方法。

【請求項17】

前記第１操作対象に対応する第１仮想カメラを前記仮想空間内に設定する第１カメラ設定ステップと、
前記第２操作対象に対応する第２仮想カメラを前記仮想空間内に設定する第２カメラ設定ステップとをさらに備え、
前記第１画像生成ステップにおいては、前記第１操作対象に対応するゲーム画像として、前記第１仮想カメラから見た前記仮想空間を表すゲーム画像が生成され、
前記第２画像生成ステップにおいては、前記第２操作対象に対応するゲーム画像として、前記第２仮想カメラから見た前記仮想空間を表すゲーム画像が生成される、請求項１２から請求項１６のいずれか１項に記載の画像生成方法。

【請求項18】

前記動作制御ステップにおいては、前記仮想空間内に配置される第１オブジェクトが前記第１操作対象として前記第１操作データに基づいて移動するように制御され、
前記第１カメラ設定ステップにおいては、前記第１オブジェクトが視野範囲に含まれるように前記第１仮想カメラが設定される、請求項１７に記載の画像生成方法。

【請求項19】

前記動作制御ステップにおいては、前記仮想空間内に配置される第２オブジェクトが前記第２操作対象として前記第２操作データに基づいて移動するように制御され、
前記第２カメラ設定ステップにおいては、第２オブジェクトが視野範囲に含まれるように前記第２仮想カメラが設定される、請求項１７または請求項１８に記載の画像生成方法。

【請求項20】

所定のタイミングにおいて取得された撮像画像を所定の記憶手段に記憶する画像記憶ステップをさらに備え、
前記第１画像生成ステップにおいては、前記記憶手段に記憶されている撮像画像の少なくとも一部を含む第１ゲーム画像が生成される、請求項１２から請求項１９のいずれか１項に記載の画像生成方法。

【請求項21】

前記ゲーム装置は、前記操作装置を複数含み、
前記動作制御ステップにおいては、各第１操作データに基づいて複数の第１操作対象の動作がそれぞれ制御され、
前記第１画像生成ステップにおいては、前記複数の第１操作対象に１つずつ対応する複数のゲーム画像と、前記撮像画像の少なくとも一部の画像とを含む第１ゲーム画像が生成される、請求項１２から請求項２０のいずれか１項に記載の画像生成方法。

【請求項22】

各第１操作対象について、所定のゲーム条件が満たされたか否かを判定する判定ステップをさらに備え、
前記第１画像生成ステップにおいては、前記所定のゲーム条件が満たされた第１操作対象に対応するゲーム画像に対して前記撮像画像の少なくとも一部の画像を重ねた第１ゲーム画像が生成される、請求項２１に記載の画像生成方法。

【請求項23】

操作装置および可搬型表示装置と通信可能なゲーム装置であって、
前記操作装置に対する操作を表す第１操作データと、前記可搬型表示装置に対する操作を表す第２操作データと、前記可搬型表示装置が備える撮像部による撮像画像のデータとを取得するデータ取得部と、
仮想空間内において、前記第１操作データに基づいて第１操作対象の動作を制御し、前記第２操作データに基づいて第２操作対象の動作を制御する動作制御部と、
前記仮想空間を表すゲーム画像であって前記第１操作対象に対応するゲーム画像と、前記撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する第１画像生成部と、
前記仮想空間を表すゲーム画像であって前記第２操作対象に対応する第２ゲーム画像を生成する第２画像生成部と、
前記第１ゲーム画像を前記可搬型表示装置とは別体の所定の表示装置へ出力する第１画像出力部と、
前記第２ゲーム画像を前記可搬型表示装置へ出力する第２画像出力部とを備える、ゲーム装置。

【請求項24】

操作装置および可搬型表示装置と通信可能なゲーム装置のコンピュータにおいて実行されるゲームプログラムであって、
前記操作装置に対する操作を表す第１操作データと、前記可搬型表示装置に対する操作を表す第２操作データと、前記可搬型表示装置が備える撮像部による撮像画像のデータとを取得するデータ取得手段と、
仮想空間内において、前記第１操作データに基づいて第１操作対象の動作を制御し、前記第２操作データに基づいて第２操作対象の動作を制御する動作制御手段と、
前記可搬型表示装置とは別体の所定の表示装置に表示するための第１ゲーム画像として、前記仮想空間を表すゲーム画像であって前記第１操作対象に対応するゲーム画像と、前記撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する第１画像生成手段と、
前記可搬型表示装置に表示するための第２ゲーム画像として、前記仮想空間を表すゲーム画像であって前記第２操作対象に対応する第２ゲーム画像を生成する第２画像生成手段として前記コンピュータを機能させる、ゲームプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カメラ等で撮像された撮像画像をゲーム等に用いるゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法に関する。

【背景技術】

【0002】

従来、カメラ等で撮像された撮像画像をゲームに用いる技術がある。例えば、特許文献１には、カメラを備えたゲーム装置が開示されている。このゲーム装置は、携帯型であり、カメラによって撮像された撮像画像をゲーム画像の一部として用いることが可能である。例えば、ゲーム装置は、ゲームをプレイ中であるプレイヤの顔をカメラで撮影し、撮像画像をゲーム入力としてゲーム処理に用いたり、ゲーム終了後に撮像画像を表示したりする。これによって、プレイヤは、撮像画像をゲーム操作に用いたり、ゲーム中の自分の表情をゲーム終了後に見たりして楽しむことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−１４２５９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記のゲーム装置は、携帯型であり、プレイヤを含む撮像画像はゲーム装置の画面に表示される。したがって、携帯型のゲーム装置を使用するプレイヤだけが撮像画像を見ることができ、プレイヤ以外の者は撮像画像を見ることができなかった。従来においては、例えば、プレイヤ以外の者がゲームプレイ中のプレイヤの表情を見て楽しむことはできなかった。

【0005】

それ故、本発明の目的は、プレイヤ以外の者に対してゲームプレイ中におけるプレイヤの画像を提示することができるゲームシステム、ゲーム装置、ゲームプログラム、および画像生成方法を提供することである。

【課題を解決するための手段】

【0006】

本発明は、上記の課題を解決するために、以下の（１）〜（１２）の構成を採用した。

【0007】

（１）
本発明の一例は、操作装置と可搬型表示装置とゲーム装置とを含むゲームシステムである。可搬型表示装置は、撮像部と表示部を備えている。また、ゲーム装置は、データ取得部と、動作制御部と、第１画像生成部と、第２画像生成部と、第１画像出力部と、第２画像出力部とを備える。
データ取得部は、操作装置に対する操作を表す第１操作データと、可搬型表示装置に対する操作を表す第２操作データと、撮像部による撮像画像のデータとを取得する。動作制御部は、仮想空間内において、第１操作データに基づいて第１操作対象の動作を制御し、第２操作データに基づいて第２操作対象の動作を制御する。第１画像生成部は、仮想空間を表すゲーム画像であって第１操作対象に対応するゲーム画像と、撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する。第２画像生成部は、仮想空間を表すゲーム画像であって第２操作対象に対応する第２ゲーム画像を生成する。第１画像出力部は、第１ゲーム画像を可搬型表示装置とは別体の所定の表示装置へ出力する。第２画像出力部は、第２ゲーム画像を可搬型表示装置へ出力する。

【0008】

上記「操作装置」は、プレイヤによって操作可能であり、操作データを出力する装置であればどのようなものであってもよい。上記「操作装置」は、後述するコントローラ５のように、操作ボタン等の操作手段と、加速度センサやジャイロセンサといった各種センサとを備える構成であってもよいし、いずれか一方のみを備える構成であってもよいし、例えばタッチパネル等、他の入力手段を備える構成であってもよい。
上記「可搬型表示装置」は、後述する実施形態においては端末装置７のように、撮像部と表示部とを備え、操作可能な装置であればどのようなものであってもよい。なお、上記「可搬型」とは、プレイヤが手に持って動かしたり、任意の位置に配置を変更したりすることができる程度の大きさである意味である。
上記「ゲーム装置」は、ゲーム処理を実行し、ゲーム処理に基づいてゲーム画像を生成する情報処理装置であればどのようなものであってもよい。上記ゲーム装置は、ゲーム専用の情報処理装置であってもよいし、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。
上記「ゲームシステム」は、ゲーム装置と操作装置と可搬型表示装置とを含んでいればよく、第１ゲーム画像を表示する所定の表示装置を含んでいなくともよいし、含んでいてもよい。すなわち、ゲームシステムは、当該所定の表示装置を含まない形態で提供されてもよいし、含む形態で提供されてもよい。
上記「仮想空間」は、後述する実施形態においては３次元の仮想空間（ゲーム空間）であるが、２次元平面であってもよい。
上記「第１操作対象」および「第２操作対象」は、ゲーム空間に配置されるオブジェクトや、パズルゲームにおけるパズル要素（ブロック等）や、画面上に表示されるカーソル等、プレイヤの操作によって動作が制御されるものであればよい。
上記「操作対象に対応するゲーム画像」とは、当該操作対象を操作するためのゲーム画像であり、例えば、操作対象を含むゲーム空間を表すゲーム画像や、操作対象の位置から見たゲーム空間を表すゲーム画像等を含む概念である。

【0009】

上記（１）の構成によれば、ゲーム装置は、操作装置によって操作される第１操作対象に対応するゲーム画像と、可搬型表示装置において撮像された撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する。そして、第１ゲーム画像は、可搬型表示装置とは異なる所定の表示装置に表示される。したがって、上記（１）の構成によれば、所定の表示装置によって、可搬型表示装置を使用するプレイヤ以外の者に対してもゲームプレイ中のプレイヤの画像を提示することができる。これによって、例えば可搬型表示装置においてプレイヤの顔が撮像される場合には、プレイヤ以外の者もゲームプレイ中のプレイヤの表情を見て楽しむことができる。

【0010】

（２）
ゲーム装置は、撮像画像のうちから顔を認識する認識処理を実行する顔認識部をさらに備えていてもよい。このとき、第１画像生成部は、撮像画像のうちで顔認識部によって認識された顔の画像を含むように第１ゲーム画像を生成する。

【0011】

上記（２）の構成によれば、プレイヤの顔をより正確に所定の表示装置に表示することができる。これによって、各プレイヤは、ゲームプレイ中におけるプレイヤの表情を見て楽しむことができる。また、第１画像生成部において、後述する実施形態のように撮像画像（カメラ画像）に対して所定の処理（例えばステップＳ１３〜Ｓ１５の処理）が実行される場合には、プレイヤの顔をより見やすく表示することができる。

【0012】

（３）
第１画像生成部は、撮像画像のうちで顔認識部によって認識された顔の画像に対して所定の加工処理を施し、加工処理後の画像を含む第１ゲーム画像を生成してもよい。

【0013】

上記（３）の構成によれば、所定の表示装置に表示されるプレイヤの顔に対して、ゲーム内容に応じた画像を加えたり、ゲーム演出上の効果を与えたりすることができる。また、プレイヤの顔をより見ばえよく表示することもできる。

【0014】

（４）
顔認識部は、データ取得部によって撮像画像が取得されたことに応じて認識処理を実行してもよい。このとき、第１画像生成部は、認識処理によって顔が認識されたことに応じて、認識された顔の画像を含む第１ゲーム画像を生成する。第１画像出力部は、第１ゲーム画像が生成されたことに応じて第１ゲーム画像を所定の表示装置へ出力する。

【0015】

上記（４）の構成によれば、撮像画像が取得されたことに応じて第１ゲーム画像が生成されて所定の表示装置に表示される。これによれば、ゲームシステムは、ゲームプレイ中におけるプレイヤの顔をリアルタイムで所定の表示装置に表示することができる。なお、ここで言う「リアルタイム」とは、撮像画像の取得処理と、取得された撮像画像に基づく第１ゲーム画像の表示処理とが１フレーム処理の間で実行されることに限らず、取得処理から表示処理までにタイムラグが発生する場合も含む意味である。すなわち、例えば認識処理や画像の生成処理に時間を要する場合には、取得処理から表示処理までにタイムラグが発生してもよい。

【0016】

（５）
データ取得部は、撮像画像のデータを逐次取得してもよい。このとき、第１画像生成部は、データ取得部が撮像画像のデータを取得するよりも少ない頻度で、認識された顔の画像を更新する。

【0017】

上記（５）の構成によれば、ゲーム装置は、逐次取得される撮像画像の全てについて認識処理を実行しなくてもよいので、認識処理によるゲーム装置の処理負担を軽減することができる。

【0018】

（６）
ゲーム装置は、第１カメラ設定部と、第２カメラ設定部とをさらに備えていてもよい。第１カメラ設定部は、第１操作対象に対応する第１仮想カメラを仮想空間内に設定する。第２カメラ設定部は、第２操作対象に対応する第２仮想カメラを仮想空間内に設定する。このとき、第１画像生成部は、第１操作対象に対応するゲーム画像として、第１仮想カメラから見た仮想空間を表すゲーム画像を生成する。第２画像生成部は、第２操作対象に対応するゲーム画像として、第２仮想カメラから見た仮想空間を表すゲーム画像を生成する。

【0019】

上記（６）の構成によれば、各操作対象に対応する仮想カメラを用いて、仮想空間を表すゲーム画像が生成されるので、視点や視線方向が変化する場合であってもゲーム画像を容易に生成することができる。

【0020】

（７）
動作制御部は、仮想空間内に配置される第１オブジェクトを第１操作対象として第１操作データに基づいて移動させる制御を行ってもよい。このとき、第１カメラ設定部は、第１オブジェクトが視野範囲に含まれるように第１仮想カメラを設定する。

【0021】

上記（７）の構成によれば、所定の表示装置には、操作装置を使用するプレイヤが操作する第１オブジェクトを含む第１ゲーム画像が表示される。これによれば、プレイヤは、自身の操作対象を含むゲーム画像を見ることでゲーム操作を容易に行うことができる。

【0022】

（８）
動作制御部は、仮想空間内に配置される第２オブジェクトを第２操作対象として第２操作データに基づいて移動させる制御を行ってもよい。このとき、第２カメラ設定部は、第２オブジェクトが視野範囲に含まれるように第２仮想カメラを設定する。

【0023】

上記（８）の構成によれば、可搬型装置には、可搬型表示装置を使用するプレイヤが操作する第２オブジェクトを含む第２ゲーム画像が表示される。これによれば、プレイヤは、自身の操作対象を含むゲーム画像を見ることでゲーム操作を容易に行うことができる。

【0024】

（９）
ゲーム装置は、所定のタイミングにおいて取得された撮像画像を所定の記憶手段に記憶する画像記憶部をさらに備えていてもよい。このとき、第１画像生成部は、記憶手段に記憶されている撮像画像の少なくとも一部を含む第１ゲーム画像を生成する。

【0025】

上記「所定のタイミング」とは、ゲーム中における任意のタイミングを含む概念である。上記「所定のタイミング」とは、例えば、操作対象のオブジェクトが特定のアイテムを取得したタイミングや、１つのステージをクリアしたタイミングや、ハイスコアを更新したタイミングや、ゲームオーバーとなったタイミングや、各プレイヤのいずれかが所定の操作を行ったタイミング等である。

【0026】

上記（９）の構成によれば、ゲームシステムは、ゲームにおいてあるイベントが発生した時点におけるプレイヤの表情を記憶して所定の表示装置に表示させることができる。これによれば、例えば、プレイヤがハイスコアを更新した時点の表情や、ゲームオーバーとなった時点の表情等をテレビ２に表示することも可能である。

【0027】

（１０）
ゲーム装置は、操作装置を複数含んでいてもよい。このとき、動作制御部は、各第１操作データに基づいて複数の第１操作対象の動作をそれぞれ制御する。第１画像生成部は、複数の第１操作対象に１つずつ対応する複数のゲーム画像と、撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する。

【0028】

上記（１０）の構成によれば、操作装置を使用するプレイヤが複数である場合でも、各プレイヤの操作対象に対応するゲーム画像を所定の表示装置に見やすく表示することができる。

【0029】

（１１）
ゲーム装置は、各第１操作対象について、所定のゲーム条件が満たされたか否かを判定する判定部をさらに備えていてもよい。このとき、第１画像生成部は、所定のゲーム条件が満たされた第１操作対象に対応するゲーム画像に対して撮像画像の少なくとも一部の画像を重ねた第１ゲーム画像を生成する。

【0030】

上記（１１）の構成によれば、ある第１操作対象が所定のゲーム条件を満たした場合、所定の表示装置においては、当該第１操作対象に対応するゲーム画像の上に撮像画像（の少なくとも一部）が表示される。したがって、所定のゲーム条件を満たした第１操作対象がどれであるかを各プレイヤに分かりやすく表示することができる。
さらに、上記（９）の構成と上記（１１）の構成とを組み合わせるようにしてもよい。すなわち、ゲーム装置は、上記所定のゲーム条件が満たされたタイミングで取得された撮像画像を記憶し、当該撮像画像の少なくとも一部を第１ゲーム画像に含めるようにしてもよい（あるいは、上記所定のゲーム条件が満たされたタイミングで撮像画像から生成された画像を第１ゲーム画像に含めるようにしてもよい）。これによれば、ゲームシステムは、所定のゲーム条件が満たされた時点のプレイヤの表情を表示することができる。したがって、各第１操作対象に関して所定のゲーム条件が満たされたタイミングが異なる場合には、タイミング毎に異なるいろいろなプレイヤの表情を提示することができる。

【0031】

（１２）
また、本発明の他の一例は、可搬型表示装置とゲーム装置とを含むゲームシステムである。可搬型表示装置は、撮像部と表示部とを備えている。ゲーム装置は、データ取得部と、動作制御部と、第１画像生成部と、第２画像生成部と、第１画像出力部と、第２画像出力部とを備えている。
データ取得部は、可搬型表示装置に対する操作を表す操作データと、撮像部による撮像画像とを取得する。動作制御部は、仮想空間内において、操作データに基づいて所定の操作対象の動作を制御する。第１画像生成部は、仮想空間を表すゲーム画像であって操作対象に対応するゲーム画像と、撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する。第２画像生成部は、仮想空間を表すゲーム画像であって操作対象に対応する第２ゲーム画像を生成する。第１画像出力部は、第１ゲーム画像を可搬型表示装置とは別体の所定の表示装置へ出力する。第２画像出力部は、第２ゲーム画像を可搬型表示装置へ出力する。

【0032】

上記（１２）の構成によれば、上記（１）の構成と同様、ゲーム装置３は、可搬型表示装置において撮像された撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する。そして、第１ゲーム画像は、可搬型表示装置とは異なる所定の表示装置に表示される。したがって、上記（１２）の構成によれば、上記（１）の構成と同様、所定の表示装置によって、可搬型表示装置を使用するプレイヤ以外の者に対してもゲームプレイ中のプレイヤの画像を提示することができる。これによって、例えば可搬型表示装置においてプレイヤの顔が撮像される場合には、プレイヤ以外の者もゲームプレイ中のプレイヤの表情を見て楽しむことができる。

【0033】

なお、本発明の別の一例は、上記（１）〜（１２）のゲームシステムに含まれる上記ゲーム装置であってもよいし、上記ゲーム装置における各部（データ取得部および各画像出力部が含まれなくてもよい）と同等の手段としてゲーム装置のコンピュータを機能させるゲームプログラムであってもよい。さらに、本発明の別の一例は、上記（１）〜（１４）のゲームシステムまたはゲーム装置において行われるゲーム処理方法の形態であってもよい。

【発明の効果】

【0034】

以上のように、本発明は、可搬型表示装置で撮像された撮像画像（の少なくとも一部）を、可搬型表示装置とは異なる所定の表示装置に表示することによって、可搬型表示装置を使用するプレイヤ以外の者に対してもゲームプレイ中のプレイヤの画像を提示することができる。

【図面の簡単な説明】

【0035】

【図1】ゲームシステム１の外観図

【図2】ゲーム装置３の内部構成を示すブロック図

【図3】コントローラ５の外観構成を示す斜視図

【図4】コントローラ５の外観構成を示す斜視図

【図5】コントローラ５の内部構造を示す図

【図6】コントローラ５の内部構造を示す図

【図7】コントローラ５の構成を示すブロック図

【図8】端末装置７の外観構成を示す図

【図9】端末装置７の外観構成を示す図

【図10】端末装置７の背面図

【図11】ユーザが端末装置７を横向きで把持した様子を示す図

【図12】端末装置７の内部構成を示すブロック図

【図13】本実施形態におけるテレビ用画像の一例を示す図

【図14】本実施形態における端末用画像の一例を示す図

【図15】ゲーム処理において用いられる各種データを示す図

【図16】ゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャート

【図17】図１６に示すカメラ画像処理（ステップＳ３）の詳細な流れを示すフローチャート

【図18】図１６に示すゲーム制御処理（ステップＳ４）の詳細な流れを示すフローチャート

【図19】図１６に示すテレビ用画像の生成処理（ステップＳ５）の詳細な流れを示すフローチャート

【図20】本実施形態における保存プレイヤ画像を含むテレビ用画像の一例を示す図

【発明を実施するための形態】

【0036】

［１．ゲームシステムの全体構成］
以下、図面を参照して、本発明の一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の外観図である。図１において、ゲームシステム１は、テレビジョン受像器等に代表される据置型のディスプレイ装置（以下、「テレビ」と記載する）２、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。ゲームシステム１は、コントローラ５および／または端末装置７を用いたゲーム操作に基づいてゲーム装置３においてゲーム処理を実行し、ゲーム処理によって得られるゲーム画像をテレビ２および／または端末装置７に表示するものである。

【0037】

ゲーム装置３には、当該ゲーム装置３に対して交換可能に用いられる情報記憶媒体の一例である光ディスク４が脱着可能に挿入される。光ディスク４には、ゲーム装置３において実行されるための情報処理プログラム（典型的にはゲームプログラム）が記憶されている。ゲーム装置３の前面には光ディスク４の挿入口が設けられている。ゲーム装置３は、挿入口に挿入された光ディスク４に記憶されている情報処理プログラムを読み出して実行することによってゲーム処理を実行する。

【0038】

ゲーム装置３には、テレビ２が接続コードを介して接続される。テレビ２は、ゲーム装置３において実行されるゲーム処理によって得られるゲーム画像を表示する。テレビ２はスピーカ２ａ（図２）を有しており、スピーカ２ａは、上記ゲーム処理の結果得られるゲーム音声を出力する。なお、他の実施形態においては、ゲーム装置３と据置型の表示装置とは一体となっていてもよい。また、ゲーム装置３とテレビ２との通信は無線通信であってもよい。

【0039】

テレビ２の画面の周辺（図１では画面の上側）には、マーカ装置６が設置される。詳細は後述するが、ユーザ（プレイヤ）はコントローラ５を動かすゲーム操作を行うことができ、マーカ装置６は、コントローラ５の動きや位置や姿勢等をゲーム装置３が算出するために用いられる。マーカ装置６は、その両端に２つのマーカ６Ｒおよび６Ｌを備えている。マーカ６Ｒ（マーカ６Ｌも同様）は、具体的には１以上の赤外ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）であり、テレビ２の前方に向かって赤外光を出力する。マーカ装置６は有線で（無線であってもよい）ゲーム装置３に接続されており、ゲーム装置３はマーカ装置６が備える各赤外ＬＥＤの点灯を制御することが可能である。なお、マーカ装置６は可搬型であり、ユーザはマーカ装置６を自由な位置に設置することができる。図１ではマーカ装置６がテレビ２の上に設置された態様を表しているが、マーカ装置６を設置する位置および向きは任意である。

【0040】

コントローラ５は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に与えるものである。本実施形態では、コントローラ５は、メインコントローラ８とサブコントローラ９とを有し、サブコントローラ９がメインコントローラ８に着脱可能に装着される構成である。コントローラ５とゲーム装置３とは無線通信によって通信可能である。本実施形態では、コントローラ５とゲーム装置３との間の無線通信には例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術が用いられる。なお、他の実施形態においてはコントローラ５とゲーム装置３とは有線で接続されてもよい。また、図１では、ゲームシステム１に含まれるコントローラ５は１つとするが、ゲームシステム１は複数のコントローラ５を含んでいてもよい。つまり、ゲーム装置３は複数のコントローラと通信可能であり、所定台数のコントローラを同時に使用することによって複数人でゲームをプレイすることが可能である。コントローラ５の詳細な構成については後述する。

【0041】

端末装置７は、可搬型であり、ユーザが把持可能な程度の大きさである。ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。詳細な構成は後述するが、端末装置７は、表示手段であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）５１、および、入力手段（後述するタッチパネル５２やジャイロセンサ７４等）を備える。端末装置７とゲーム装置３とは無線（有線であってもよい）によって通信可能である。端末装置７は、ゲーム装置３で生成された画像（例えばゲーム画像）のデータをゲーム装置３から受信し、画像をＬＣＤ５１に表示する。なお、本実施形態では表示装置としてＬＣＤを用いているが、端末装置７は、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ：電界発光）を利用した表示装置等、他の任意の表示装置を有していてもよい。また、端末装置７は、自機に対して行われた操作の内容を表す操作データをゲーム装置３に送信する

【0042】

［２．ゲーム装置３の内部構成］
次に、図２を参照して、ゲーム装置３の内部構成について説明する。図２は、ゲーム装置３の内部構成を示すブロック図である。ゲーム装置３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、システムＬＳＩ１１、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４、およびＡＶ−ＩＣ１５等を有する。

【0043】

ＣＰＵ１０は、光ディスク４に記憶されたゲームプログラムを実行することによってゲーム処理を実行するものであり、ゲームプロセッサとして機能する。ＣＰＵ１０は、システムＬＳＩ１１に接続される。システムＬＳＩ１１には、ＣＰＵ１０の他、外部メインメモリ１２、ＲＯＭ／ＲＴＣ１３、ディスクドライブ１４およびＡＶ−ＩＣ１５が接続される。システムＬＳＩ１１は、それに接続される各構成要素間におけるデータ転送の制御、表示すべき画像の生成、外部装置からのデータの取得等の処理を行う。なお、システムＬＳＩ１１の内部構成については後述する。揮発性の外部メインメモリ１２は、光ディスク４から読み出されたゲームプログラムや、フラッシュメモリ１７から読み出されたゲームプログラム等のプログラムを記憶したり、各種データを記憶したりするものであり、ＣＰＵ１０のワーク領域やバッファ領域として用いられる。ＲＯＭ／ＲＴＣ１３は、ゲーム装置３の起動用のプログラムが組み込まれるＲＯＭ（いわゆるブートＲＯＭ）と、時間をカウントするクロック回路（ＲＴＣ：Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とを有する。ディスクドライブ１４は、光ディスク４からプログラムデータやテクスチャデータ等を読み出し、後述する内部メインメモリ１１ｅまたは外部メインメモリ１２に読み出したデータを書き込む。

【0044】

システムＬＳＩ１１には、入出力プロセッサ（Ｉ／Ｏプロセッサ）１１ａ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１１ｂ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１１ｃ、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）１１ｄ、および内部メインメモリ１１ｅが設けられる。図示は省略するが、これらの構成要素１１ａ〜１１ｅは内部バスによって互いに接続される。

【0045】

ＧＰＵ１１ｂは、描画手段の一部を形成し、ＣＰＵ１０からのグラフィクスコマンド（作画命令）に従って画像を生成する。ＶＲＡＭ１１ｄは、ＧＰＵ１１ｂがグラフィクスコマンドを実行するために必要なデータ（ポリゴンデータやテクスチャデータ等のデータ）を記憶する。画像が生成される際には、ＧＰＵ１１ｂは、ＶＲＡＭ１１ｄに記憶されたデータを用いて画像データを作成する。なお、本実施形態においては、ゲーム装置３は、テレビ２に表示する画像（ゲーム画像）と、端末装置７に表示する画像（ゲーム画像）との両方を生成する。以下では、テレビ２に表示される画像を「テレビ用画像」と呼び、端末装置７に表示される画像を「端末用画像」と呼ぶことがある。

【0046】

ＤＳＰ１１ｃは、オーディオプロセッサとして機能し、内部メインメモリ１１ｅや外部メインメモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。なお、本実施形態においては、音声（ゲーム音声）についてもゲーム画像と同様、テレビ２のスピーカから出力する音声と、端末装置７のスピーカから出力する音声との両方が生成される。以下では、テレビ２から出力される音声を「テレビ用音声」と呼び、端末装置７から出力される音声を「端末用音声」と呼ぶことがある。

【0047】

上記のようにゲーム装置３において生成される画像および音声のうちで、テレビ２において出力される画像および音声のデータは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、読み出した画像データをＡＶコネクタ１６を介してテレビ２に出力するとともに、読み出した音声データを、テレビ２に内蔵されるスピーカ２ａに出力する。これによって、テレビ２に画像が表示されるとともにスピーカ２ａから音が出力される。なお、ゲーム装置３とテレビ２との接続は、どのような方式で行われてもよいが、ゲーム装置３は、テレビ２を制御する制御指令を有線または無線でテレビ２へ送信するようにしてもよい。例えばＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に則ったＨＤＭＩケーブルが用いられてもよい。ＨＤＭＩ規格では、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）と呼ばれる機能によって、接続相手の機器を制御することが可能である。したがって、ＨＤＭＩケーブルが用いられる場合のように、ゲーム装置３がテレビ２に対する制御が可能である場合には、ゲーム装置３は、適宜のタイミングでテレビ２の電源をオンにしたり、テレビ２の入力を切り替えたりすることができる。

【0048】

また、ゲーム装置３において生成される画像および音声のうちで、端末装置７において出力される画像および音声のデータは、入出力プロセッサ１１ａ等によって端末装置７へ送信される。入出力プロセッサ１１ａ等による端末装置７へのデータの送信については後述する。

【0049】

入出力プロセッサ１１ａは、それに接続される構成要素との間でデータの送受信を実行したり、外部装置からのデータのダウンロードを実行したりする。入出力プロセッサ１１ａは、フラッシュメモリ１７、ネットワーク通信モジュール１８、コントローラ通信モジュール１９、拡張コネクタ２０、メモリカード用コネクタ２１、コーデックＬＳＩ２７に接続される。また、ネットワーク通信モジュール１８にはアンテナ２２が接続される。コントローラ通信モジュール１９にはアンテナ２３が接続される。コーデックＬＳＩ２７は端末通信モジュール２８に接続され、端末通信モジュール２８にはアンテナ２９が接続される。

【0050】

ゲーム装置３は、インターネット等のネットワークに接続して外部の情報処理装置（例えば他のゲーム装置や、各種サーバ等）と通信を行うことが可能である。すなわち、入出力プロセッサ１１ａは、ネットワーク通信モジュール１８およびアンテナ２２を介してインターネット等のネットワークに接続可能であり、ネットワークに接続される他の装置と通信を行うことができる。入出力プロセッサ１１ａは、定期的にフラッシュメモリ１７にアクセスし、ネットワークへ送信する必要があるデータの有無を検出し、当該データが有る場合には、ネットワーク通信モジュール１８およびアンテナ２２を介してネットワークに送信する。また、入出力プロセッサ１１ａは、外部情報処理装置から送信されてくるデータやダウンロードサーバからダウンロードしたデータを、ネットワーク、アンテナ２２およびネットワーク通信モジュール１８を介して受信し、受信したデータをフラッシュメモリ１７に記憶する。ＣＰＵ１０はゲームプログラムを実行することにより、フラッシュメモリ１７に記憶されたデータを読み出してゲームプログラムで利用する。フラッシュメモリ１７には、ゲーム装置３と外部情報処理装置との間で送受信されるデータの他、ゲーム装置３を利用してプレイしたゲームのセーブデータ（ゲームの結果データまたは途中データ）が記憶されてもよい。また、フラッシュメモリ１７にはゲームプログラムが記憶されてもよい。

【0051】

また、ゲーム装置３は、コントローラ５からの操作データを受信することが可能である。すなわち、入出力プロセッサ１１ａは、コントローラ５から送信される操作データをアンテナ２３およびコントローラ通信モジュール１９を介して受信し、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。

【0052】

また、ゲーム装置３は、端末装置７との間で画像や音声等のデータを送受信することが可能である。入出力プロセッサ１１ａは、端末装置７へゲーム画像（端末用ゲーム画像）を送信する場合、ＧＰＵ１１ｂが生成したゲーム画像のデータをコーデックＬＳＩ２７へ出力する。コーデックＬＳＩ２７は、入出力プロセッサ１１ａからの画像データに対して所定の圧縮処理を行う。端末通信モジュール２８は、端末装置７との間で無線通信を行う。したがって、コーデックＬＳＩ２７によって圧縮された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。なお、本実施形態では、ゲーム装置３から端末装置７へ送信される画像データはゲームに用いるものであり、ゲームにおいては表示される画像に遅延が生じるとゲームの操作性に悪影響が出る。そのため、ゲーム装置３から端末装置７への画像データの送信に関しては、できるだけ遅延が生じないようにすることが好ましい。したがって、本実施形態では、コーデックＬＳＩ２７は、例えばＨ．２６４規格といった高効率の圧縮技術を用いて画像データを圧縮する。なお、それ以外の圧縮技術を用いてもよいし、通信速度が十分である場合には無圧縮で画像データを送信する構成であってもよい。また、端末通信モジュール２８は、例えばＷｉ−Ｆｉの認証を受けた通信モジュールであり、例えばＩＥＥＥ８０２．１１ｎ規格で採用されるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ Ｉｎｐｕｔ Ｍｕｌｔｉｐｌｅ Ｏｕｔｐｕｔ）の技術を用いて端末装置７との間の無線通信を高速に行うようにしてもよいし、他の通信方式を用いてもよい。

【0053】

また、ゲーム装置３は、画像データの他、音声データを端末装置７へ送信する。すなわち、入出力プロセッサ１１ａは、ＤＳＰ１１ｃが生成した音声データを、コーデックＬＳＩ２７を介して端末通信モジュール２８へ出力する。コーデックＬＳＩ２７は、音声データに対しても画像データと同様に圧縮処理を行う。音声データに対する圧縮の方式は、どのような方式であってもよいが、圧縮率が高く、音声の劣化が少ない方式が好ましい。また、他の実施形態においては、音声データは圧縮されずに送信されてもよい。端末通信モジュール２８は、圧縮された画像データおよび音声データを、アンテナ２９を介して端末装置７へ送信する。

【0054】

さらに、ゲーム装置３は、上記画像データおよび音声データの他に、必要に応じて各種の制御データを端末装置７へ送信する。制御データは、端末装置７が備える構成要素に対する制御指示を表すデータであり、例えばマーカ部（図１２に示すマーカ部５５）の点灯を制御する指示や、カメラ（図１２に示すカメラ５６）の撮像を制御する指示等を表す。入出力プロセッサ１１ａは、ＣＰＵ１０の指示に応じて制御データを端末装置７へ送信する。なお、この制御データに関して、本実施形態ではコーデックＬＳＩ２７はデータの圧縮処理を行わないが、他の実施形態においては圧縮処理を行うようにしてもよい。なお、ゲーム装置３から端末装置７へ送信される上述のデータは、必要に応じて暗号化がされていてもよいし、されていなくともよい。

【0055】

また、ゲーム装置３は、端末装置７から各種データを受信可能である。詳細は後述するが、本実施形態では、端末装置７は、操作データ、画像データ、および音声データを送信する。端末装置７から送信される各データはアンテナ２９を介して端末通信モジュール２８によって受信される。ここで、端末装置７からの画像データおよび音声データは、ゲーム装置３から端末装置７への画像データおよび音声データと同様の圧縮処理が施されている。したがって、これら画像データおよび音声データについては、端末通信モジュール２８からコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって伸張処理が施されて入出力プロセッサ１１ａに出力される。一方、端末装置７からの操作データに関しては、画像や音声に比べてデータ量が少ないので、圧縮処理が施されていなくともよい。また、必要に応じて暗号化がされていてもよいし、されていなくともよい。したがって、操作データは、端末通信モジュール２８で受信された後、コーデックＬＳＩ２７を介して入出力プロセッサ１１ａに出力される。入出力プロセッサ１１ａは、端末装置７から受信したデータを、内部メインメモリ１１ｅまたは外部メインメモリ１２のバッファ領域に記憶（一時記憶）する。

【0056】

また、ゲーム装置３は、他の機器や外部記憶媒体に接続することが可能である。すなわち、入出力プロセッサ１１ａには、拡張コネクタ２０およびメモリカード用コネクタ２１が接続される。拡張コネクタ２０は、ＵＳＢやＳＣＳＩのようなインターフェースのためのコネクタである。拡張コネクタ２０に対しては、外部記憶媒体のようなメディアを接続したり、他のコントローラ等の周辺機器を接続したり、有線の通信用コネクタを接続することによってネットワーク通信モジュール１８に替えてネットワークとの通信を行ったりすることができる。メモリカード用コネクタ２１は、メモリカードのような外部記憶媒体を接続するためのコネクタである。例えば、入出力プロセッサ１１ａは、拡張コネクタ２０やメモリカード用コネクタ２１を介して外部記憶媒体にアクセスし、外部記憶媒体にデータを保存したり、外部記憶媒体からデータを読み出したりすることができる。

【0057】

ゲーム装置３には、電源ボタン２４、リセットボタン２５、およびイジェクトボタン２６が設けられる。電源ボタン２４およびリセットボタン２５は、システムＬＳＩ１１に接続される。電源ボタン２４がオンされると、図示しないＡＣアダプタによって外部の電源からゲーム装置３の各構成要素に対して電力が供給される。リセットボタン２５が押されると、システムＬＳＩ１１は、ゲーム装置３の起動プログラムを再起動する。イジェクトボタン２６は、ディスクドライブ１４に接続される。イジェクトボタン２６が押されると、ディスクドライブ１４から光ディスク４が排出される。

【0058】

なお、他の実施形態においては、ゲーム装置３が備える各構成要素のうちでいくつかの構成要素は、ゲーム装置３とは別体の拡張機器として構成されてもよい。このとき、拡張機器は、例えば上記拡張コネクタ２０を介してゲーム装置３と接続されるようにしてもよい。具体的には、拡張機器は、例えば上記コーデックＬＳＩ２７、端末通信モジュール２８およびアンテナ２９の各構成要素を備えており、拡張コネクタ２０に対して着脱可能であってもよい。これによれば、上記各構成要素を備えていないゲーム装置に対して上記拡張機器を接続することによって、当該ゲーム装置を端末装置７と通信可能な構成とすることができる。

【0059】

［３．コントローラ５の構成］
次に、図３〜図７を参照して、コントローラ５について説明する。上述のように、コントローラ５は、メインコントローラ８とサブコントローラ９とによって構成される。図３は、メインコントローラ８の外観構成を示す斜視図である。図４は、メインコントローラ８の外観構成を示す斜視図である。図３は、メインコントローラ８の上側後方から見た斜視図であり、図４は、メインコントローラ８を下側前方から見た斜視図である。

【0060】

図３および図４において、メインコントローラ８は、例えばプラスチック成型によって形成されたハウジング３１を有している。ハウジング３１は、その前後方向（図３に示すＺ軸方向）を長手方向とした略直方体形状を有しており、全体として大人や子供の片手で把持可能な大きさである。ユーザは、メインコントローラ８に設けられたボタンを押下すること、および、メインコントローラ８自体を動かしてその位置や姿勢（傾き）を変えることによってゲーム操作を行うことができる。

【0061】

ハウジング３１には、複数の操作ボタンが設けられる。図３に示すように、ハウジング３１の上面には、十字ボタン３２ａ、１番ボタン３２ｂ、２番ボタン３２ｃ、Ａボタン３２ｄ、マイナスボタン３２ｅ、ホームボタン３２ｆ、プラスボタン３２ｇ、および電源ボタン３２ｈが設けられる。本明細書では、これらのボタン３２ａ〜３２ｈが設けられるハウジング３１の上面を「ボタン面」と呼ぶことがある。一方、図４に示すように、ハウジング３１の下面には凹部が形成されており、当該凹部の後面側傾斜面にはＢボタン３２ｉが設けられる。これらの各操作ボタン３２ａ〜３２ｉには、ゲーム装置３が実行する情報処理プログラムに応じた機能が適宜割り当てられる。また、電源ボタン３２ｈは遠隔からゲーム装置３本体の電源をオン／オフするためのものである。ホームボタン３２ｆおよび電源ボタン３２ｈは、その上面がハウジング３１の上面に埋没している。これによって、ユーザがホームボタン３２ｆまたは電源ボタン３２ｈを誤って押下することを防止することができる。

【0062】

ハウジング３１の後面にはコネクタ３３が設けられている。コネクタ３３は、メインコントローラ８に他の機器（例えば、サブコントローラ９や他のセンサユニット等）を接続するために利用される。また、ハウジング３１の後面におけるコネクタ３３の両側には、上記他の機器が容易に離脱することを防止するために係止穴３３ａが設けられている。

【0063】

ハウジング３１上面の後方には複数（図３では４つ）のＬＥＤ３４ａ〜３４ｄが設けられる。ここで、コントローラ５（メインコントローラ８）には、他のコントローラと区別するためにコントローラ種別（番号）が付与される。各ＬＥＤ３４ａ〜３４ｄは、コントローラ５に現在設定されている上記コントローラ種別をユーザに通知したり、コントローラ５の電池残量をユーザに通知したりする等の目的で用いられる。具体的には、コントローラ５を用いてゲーム操作が行われる際、上記コントローラ種別に応じて複数のＬＥＤ３４ａ〜３４ｄのいずれか１つが点灯する。

【0064】

また、メインコントローラ８は撮像情報演算部３５（図６）を有しており、図４に示すように、ハウジング３１前面には撮像情報演算部３５の光入射面３５ａが設けられる。光入射面３５ａは、マーカ６Ｒおよび６Ｌからの赤外光を少なくとも透過する材質で構成される。

【0065】

ハウジング３１上面における１番ボタン３２ｂとホームボタン３２ｆとの間には、メインコントローラ８に内蔵されるスピーカ４７（図５）からの音を外部に放出するための音抜き孔３１ａが形成されている。

【0066】

次に、図５および図６を参照して、メインコントローラ８の内部構造について説明する。図５および図６は、メインコントローラ８の内部構造を示す図である。なお、図５は、メインコントローラ８の上筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６は、メインコントローラ８の下筐体（ハウジング３１の一部）を外した状態を示す斜視図である。図６に示す斜視図は、図５に示す基板３０を裏面から見た斜視図となっている。

【0067】

図５において、ハウジング３１の内部には基板３０が固設されており、当該基板３０の上主面上に各操作ボタン３２ａ〜３２ｈ、各ＬＥＤ３４ａ〜３４ｄ、加速度センサ３７、アンテナ４５、およびスピーカ４７等が設けられる。これらは、基板３０等に形成された配線（図示せず）によってマイクロコンピュータ（Ｍｉｃｒｏ Ｃｏｍｐｕｔｅｒ：マイコン）４２（図６参照）に接続される。本実施形態では、加速度センサ３７は、Ｘ軸方向に関してメインコントローラ８の中心からずれた位置に配置されている。これによって、メインコントローラ８をＺ軸回りに回転させたときのメインコントローラ８の動きが算出しやすくなる。また、加速度センサ３７は、長手方向（Ｚ軸方向）に関してメインコントローラ８の中心よりも前方に配置されている。また、無線モジュール４４（図６）およびアンテナ４５によって、コントローラ５（メインコントローラ８）がワイヤレスコントローラとして機能する。

【0068】

一方、図６において、基板３０の下主面上の前端縁に撮像情報演算部３５が設けられる。撮像情報演算部３５は、メインコントローラ８の前方から順に赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を備えている。これらの部材３８〜４１はそれぞれ基板３０の下主面に取り付けられる。

【0069】

さらに、基板３０の下主面上には、上記マイコン４２およびバイブレータ４６が設けられている。バイブレータ４６は、例えば振動モータやソレノイドであり、基板３０等に形成された配線によってマイコン４２と接続される。マイコン４２の指示によりバイブレータ４６が作動することによってメインコントローラ８に振動が発生する。これによって、メインコントローラ８を把持しているユーザの手にその振動が伝達される、いわゆる振動対応ゲームを実現することができる。本実施形態では、バイブレータ４６は、ハウジング３１のやや前方寄りに配置される。つまり、バイブレータ４６がメインコントローラ８の中心よりも端側に配置することによって、バイブレータ４６の振動によりメインコントローラ８全体を大きく振動させることができる。また、コネクタ３３は、基板３０の下主面上の後端縁に取り付けられる。なお、図５および図６に示す他、メインコントローラ８は、マイコン４２の基本クロックを生成する水晶振動子、スピーカ４７に音声信号を出力するアンプ等を備えている。

【0070】

図７は、サブコントローラ９の外観構成を示す斜視図である。サブコントローラ９は、例えばプラスチック成型によって形成されたハウジング９０を有している。ハウジング９０は、メインコントローラ８と同様に、全体として大人や子供の片手で把持可能な大きさである。このサブコントローラ９を用いることによっても、プレイヤは、ボタンやスティックを操作することと、コントローラ自体の位置や向きを変えることとによって、ゲーム操作を行うことができる。

【0071】

図７に示すように、ハウジング９０の上面（ｙ’軸負方向側の面）の先端側（ｚ’軸正側）には、アナログジョイスティック９１が設けられる。また、図示されないが、ハウジング９０の先端には、後方にやや傾斜する先端面が設けられており、この先端面には、上下方向（図３に示すｙ軸方向）に並べて、ＣボタンおよびＺボタンが設けられる。アナログジョイスティック９１および各ボタン（ＣボタンおよびＺボタン）には、ゲーム装置３が実行するゲームプログラムに応じてそれぞれ適宜の機能が割り当てられる。なお、アナログジョイスティック９１および各ボタンを包括的に「操作部９２（図８参照）」と呼ぶことがある。

【0072】

また、図７では示されないが、サブコントローラ９は、ハウジング９０の内部に加速度センサ（図８に示す加速度センサ９３）を有している。本実施形態においては、加速度センサ９３は、メインコントローラ８の加速度センサ３７と同様のものが用いられる。ただし、加速度センサ９３は、加速度センサ３７とは異なるものであってもよく、例えば所定の１軸または２軸の加速度を検出するものであってもよい。

【0073】

また、図７に示すように、ハウジング９０の後端にはケーブルの一端が接続されている。図７では示されないが、ケーブルの他端にはコネクタ（図８に示すコネクタ９４）が接続される。このコネクタはメインコントローラ８のコネクタ３３と接続可能である。つまり、コネクタ３３とコネクタ９４とを接続することによって、メインコントローラ８とサブコントローラ９とが接続される。

【0074】

なお、図３〜図７に示したメインコントローラ８およびサブコントローラ９の形状や、各操作ボタンの形状、加速度センサやバイブレータの数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。また、本実施形態では、メインコントローラ８の撮像手段による撮像方向はＺ軸正方向であるが、撮像方向はいずれの方向であってもよい。すなわち、コントローラ５における撮像情報演算部３５の位置（撮像情報演算部３５の光入射面３５ａ）は、ハウジング３１の前面でなくてもよく、ハウジング３１の外部から光を取り入れることができれば他の面に設けられてもかまわない。

【0075】

図８は、コントローラ５の構成を示すブロック図である。図８に示すように、メインコントローラ８は、操作部３２（各操作ボタン３２ａ〜３２ｉ）、撮像情報演算部３５、通信部３６、加速度センサ３７、およびジャイロセンサ４８を備えている。また、サブコントローラ９は、操作部９２および加速度センサ９３を備えている。コントローラ５は、自機に対して行われた操作内容を表すデータを操作データとしてゲーム装置３へ送信するものである。なお、以下では、コントローラ５が送信する操作データを「コントローラ操作データ」と呼び、端末装置７が送信する操作データを「端末操作データ」と呼ぶことがある。

【0076】

操作部３２は、上述した各操作ボタン３２ａ〜３２ｉを含み、各操作ボタン３２ａ〜３２ｉに対する入力状態（各操作ボタン３２ａ〜３２ｉが押下されたか否か）を表す操作ボタンデータを通信部３６のマイコン４２へ出力する。

【0077】

撮像情報演算部３５は、撮像手段が撮像した画像データを解析してその中で輝度が高い領域を判別してその領域の重心位置やサイズなどを算出するためのシステムである。撮像情報演算部３５は、例えば最大２００フレーム／秒程度のサンプリング周期を有するので、比較的高速なコントローラ５の動きでも追跡して解析することができる。

【0078】

撮像情報演算部３５は、赤外線フィルタ３８、レンズ３９、撮像素子４０、および画像処理回路４１を含んでいる。赤外線フィルタ３８は、コントローラ５の前方から入射する光から赤外線のみを通過させる。レンズ３９は、赤外線フィルタ３８を透過した赤外線を集光して撮像素子４０へ入射させる。撮像素子４０は、例えばＣＭＯＳセンサやあるいはＣＣＤセンサのような固体撮像素子であり、レンズ３９が集光した赤外線を受光して画像信号を出力する。ここで、撮像対象となる端末装置７のマーカ部５５およびマーカ装置６は、赤外光を出力するマーカで構成される。したがって、赤外線フィルタ３８を設けることによって、撮像素子４０は、赤外線フィルタ３８を通過した赤外線だけを受光して画像データを生成するので、撮像対象（マーカ部５５および／またはマーカ装置６）の画像をより正確に撮像することができる。撮像素子４０によって撮像された画像は、画像処理回路４１で処理される。画像処理回路４１は、撮像された画像内における撮像対象の位置を算出する。画像処理回路４１は、算出された位置を示す座標を通信部３６のマイコン４２へ出力する。この座標のデータは、マイコン４２によって操作データとしてゲーム装置３に送信される。以下では、上記座標を「マーカ座標」と呼ぶ。マーカ座標はコントローラ５自体の向き（傾斜角度）や位置に対応して変化するので、ゲーム装置３はこのマーカ座標を用いてコントローラ５の向きや位置を算出することができる。

【0079】

なお、他の実施形態においては、コントローラ５は画像処理回路４１を備えていない構成であってもよく、撮像された画像自体がコントローラ５からゲーム装置３へ送信されてもよい。このとき、ゲーム装置３は、画像処理回路４１と同様の機能を有する回路あるいはプログラムを有しており、上記マーカ座標を算出するようにしてもよい。

【0080】

加速度センサ３７は、コントローラ５の加速度（重力加速度を含む）を検出する、すなわち、コントローラ５に加わる力（重力を含む）を検出する。加速度センサ３７は、当該加速度センサ３７の検出部に加わっている加速度のうち、センシング軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。例えば、２軸以上の多軸加速度センサの場合には、加速度センサの検出部に加わっている加速度として、各軸に沿った成分の加速度をそれぞれ検出する。なお、加速度センサ３７は、例えば静電容量式のＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）型加速度センサであるとするが、他の方式の加速度センサを用いるようにしてもよい。

【0081】

本実施形態では、加速度センサ３７は、コントローラ５を基準とした上下方向（図３に示すＹ軸方向）、左右方向（図３に示すＸ軸方向）および前後方向（図３に示すＺ軸方向）の３軸方向に関してそれぞれ直線加速度を検出する。加速度センサ３７は、各軸に沿った直線方向に関する加速度を検出するものであるため、加速度センサ３７からの出力は３軸それぞれの直線加速度の値を表すものとなる。すなわち、検出された加速度は、コントローラ５を基準に設定されるＸＹＺ座標系（コントローラ座標系）における３次元のベクトルとして表される。

【0082】

加速度センサ３７が検出した加速度を表すデータ（加速度データ）は、通信部３６へ出力される。なお、加速度センサ３７が検出した加速度は、コントローラ５自体の向き（傾斜角度）や移動に対応して変化するので、ゲーム装置３は取得された加速度データを用いてコントローラ５の向きや移動を算出することができる。本実施形態では、ゲーム装置３は、取得された加速度データに基づいてコントローラ５の姿勢や傾斜角度等を算出する。

【0083】

なお、加速度センサ３７（後述する加速度センサ７３についても同様）から出力される加速度の信号に基づいて、ゲーム装置３のプロセッサ（例えばＣＰＵ１０）またはコントローラ５のプロセッサ（例えばマイコン４２）等のコンピュータが処理を行うことによって、コントローラ５に関するさらなる情報を推測または算出（判定）することができることは、当業者であれば本明細書の説明から容易に理解できるであろう。例えば、加速度センサ３７を搭載するコントローラ５が静止状態であることを前提としてコンピュータ側の処理が実行される場合（すなわち、加速度センサによって検出される加速度が重力加速度のみであるとして処理が実行される場合）、コントローラ５が現実に静止状態であれば、検出された加速度に基づいてコントローラ５の姿勢が重力方向に対して傾いているか否かまたはどの程度傾いているかを知ることができる。具体的には、加速度センサ３７の検出軸が鉛直下方向を向いている状態を基準としたとき、１Ｇ（重力加速度）がかかっているか否かによって、コントローラ５が基準に対して傾いているか否かを知ることができるし、その大きさによって基準に対してどの程度傾いているかも知ることができる。また、多軸の加速度センサ３７の場合には、さらに各軸の加速度の信号に対して処理を施すことによって、重力方向に対してコントローラ５がどの程度傾いているかをより詳細に知ることができる。この場合において、プロセッサは、加速度センサ３７からの出力に基づいてコントローラ５の傾斜角度を算出してもよいし、当該傾斜角度を算出せずに、コントローラ５の傾斜方向を算出するようにしてもよい。このように、加速度センサ３７をプロセッサと組み合わせて用いることによって、コントローラ５の傾斜角度または姿勢を判定することができる。

【0084】

一方、コントローラ５が動的な状態（コントローラ５が動かされている状態）であることを前提とする場合には、加速度センサ３７は重力加速度に加えてコントローラ５の移動に応じた加速度を検出するので、検出された加速度から重力加速度の成分を所定の処理により除去することによってコントローラ５の移動方向を知ることができる。また、コントローラ５が動的な状態であることを前提とする場合であっても、検出された加速度から、加速度センサの移動に応じた加速度の成分を所定の処理により除去することによって、重力方向に対するコントローラ５の傾きを知ることが可能である。なお、他の実施例では、加速度センサ３７は、内蔵の加速度検出手段で検出された加速度信号をマイコン４２に出力する前に当該加速度信号に対して所定の処理を行うための、組込み式の処理装置または他の種類の専用の処理装置を備えていてもよい。組込み式または専用の処理装置は、例えば、加速度センサ３７が静的な加速度（例えば、重力加速度）を検出するために用いられる場合、加速度信号を傾斜角（あるいは、他の好ましいパラメータ）に変換するものであってもよい。

【0085】

ジャイロセンサ４８は、３軸（本実施形態では、ＸＹＺ軸）回りの角速度を検出する。本明細書では、コントローラ５の撮像方向（Ｚ軸正方向）を基準として、Ｘ軸回りの回転方向をピッチ方向、Ｙ軸回りの回転方向をヨー方向、Ｚ軸回りの回転方向をロール方向と呼ぶ。ジャイロセンサ４８は、３軸回りの角速度を検出することができればよく、用いるジャイロセンサの数および組み合わせはどのようなものであってもよい。例えば、ジャイロセンサ４８は、３軸ジャイロセンサであってもよいし、２軸ジャイロセンサと１軸ジャイロセンサとを組み合わせて３軸周りの角速度を検出するものであってもよい。ジャイロセンサ４８で検出された角速度を表すデータは、通信部３６へ出力される。また、ジャイロセンサ４８は１軸または２軸回りの角速度を検出するものであってもよい。

【0086】

また、サブコントローラ９の操作部９２は、上述したアナログジョイスティック９１、ＣボタンおよびＺボタンを含む。操作部９２は、アナログジョイスティック９１に対する傾倒方向および傾倒量を表すスティックデータ（サブスティックデータと呼ぶ）と、各ボタンに対する入力状態（各ボタンが押下されたか否か）を表す操作ボタンデータ（サブ操作ボタンデータと呼ぶ）とを、コネクタ９４を介してメインコントローラ８へ出力する。

【0087】

また、サブコントローラ９の加速度センサ９３は、メインコントローラ８の加速度センサ３７と同様のセンサであり、サブコントローラ９の加速度（重力加速度を含む）を検出する、すなわち、サブコントローラ９に加わる力（重力を含む）を検出する。加速度センサ９３は、当該加速度センサ９３の検出部に加わっている加速度のうち、所定の３軸方向に沿った直線方向の加速度（直線加速度）の値を検出する。検出された加速度を表すデータ（サブ加速度データと呼ぶ）は、コネクタ９４を介してメインコントローラ８へ出力される。

【0088】

以上のように、サブコントローラ９は、上記サブスティックデータ、サブ操作ボタンデータ、およびサブ加速度データを含むサブコントローラデータをメインコントローラ８へ出力する。

【0089】

メインコントローラ８の通信部３６は、マイコン４２、メモリ４３、無線モジュール４４、およびアンテナ４５を含んでいる。マイコン４２は、処理を行う際にメモリ４３を記憶領域として用いながら、マイコン４２が取得したデータをゲーム装置３へ無線送信する無線モジュール４４を制御する。

【0090】

サブコントローラ９からのサブコントローラデータは、マイコン４２に入力され、一時的にメモリ４３に格納される。また、操作部３２、撮像情報演算部３５、加速度センサ３７、およびジャイロセンサ４８からマイコン４２へ出力されたデータ（メインコントローラデータと呼ぶ）は、一時的にメモリ４３に格納される。これらのメインコントローラおよびサブコントローラデータは、操作データ（コントローラ操作データ）としてゲーム装置３へ送信される。すなわち、マイコン４２は、ゲーム装置３のコントローラ通信モジュール１９への送信タイミングが到来すると、メモリ４３に格納されている操作データを無線モジュール４４へ出力する。無線モジュール４４は、例えばＢｌｕｅｔｏｏｔｈ（ブルートゥース）（登録商標）の技術を用いて、所定周波数の搬送波を操作データで変調し、その微弱電波信号をアンテナ４５から放射する。つまり、操作データは、無線モジュール４４で微弱電波信号に変調されてコントローラ５から送信される。微弱電波信号はゲーム装置３側のコントローラ通信モジュール１９で受信される。受信された微弱電波信号について復調や復号を行うことによって、ゲーム装置３は操作データを取得することができる。そして、ゲーム装置３のＣＰＵ１０は、コントローラ５から取得した操作データを用いてゲーム処理を行う。なお、通信部３６からコントローラ通信モジュール１９への無線送信は所定の周期毎に逐次行われるが、ゲームの処理は１／６０秒を単位として（１フレーム時間として）行われることが一般的であるので、この時間以下の周期で送信を行うことが好ましい。コントローラ５の通信部３６は、例えば１／２００秒に１回の割合で操作データをゲーム装置３のコントローラ通信モジュール１９へ出力する。

【0091】

以上のように、メインコントローラ８は、自機に対する操作を表す操作データとして、マーカ座標データ、加速度データ、角速度データ、および操作ボタンデータを送信可能である。サブコントローラ９は、自機に対する操作を表す操作データとして、加速度データ、スティックデータ、および操作ボタンデータを送信可能である。また、ゲーム装置３は、上記操作データをゲーム入力として用いてゲーム処理を実行する。したがって、上記コントローラ５を用いることによって、ユーザは、各操作ボタンを押下するという従来の一般的なゲーム操作に加えて、コントローラ５自体を動かすゲーム操作を行うことができる。例えば、メインコントローラ８および／またはサブコントローラ９を任意の姿勢に傾ける操作、メインコントローラ８によって画面上の任意の位置を指示する操作、および、メインコントローラ８および／またはサブコントローラ９自体を動かす操作等を行うことが可能となる。

【0092】

また、本実施形態において、コントローラ５は、ゲーム画像を表示する表示手段を有しないが、例えば電池残量を表す画像等を表示するための表示手段を有していてもよい。

【0093】

［４．端末装置７の構成］
次に、図９〜図１２を参照して、端末装置７の構成について説明する。図９は、端末装置７の外観構成を示す平面図である。図９における（ａ）図は端末装置７の正面図であり、（ｂ）図は上面図であり、（ｃ）図は右側面図であり、（ｄ）図は下面図である。図１０は、端末装置７の背面図である。また、図１１は、ユーザが端末装置７を横向きで把持した様子を示す図である。

【0094】

図９に示されるように、端末装置７は、大略的には横長の長方形の板状形状であるハウジング５０を備える。すなわち、端末装置７は、タブレット型の情報処理装置であるということもできる。なお、ハウジング５０は全体として板状形状であれば、曲面を有していてもよいし、一部に突起等を有していてもよい。ハウジング５０は、ユーザが把持することができる程度の大きさである。したがって、ユーザは、端末装置７を持って動かしたり、端末装置７の配置位置を変更したりすることができる。端末装置７の縦（ｚ軸方向）の長さは、１００〜１５０［ｍｍ］が好ましく、本実施形態では、１３３．５［ｍｍ］である。端末装置７の横（ｘ軸方向）の長さは、２００〜２５０［ｍｍ］が好ましく、本実施形態では、２２８．２６［ｍｍ］である。端末装置７の厚さ（ｙ軸方向の長さ）は、板状の部分で１５〜３０［ｍｍ］程度、最厚部まで含めて３０〜５０［ｍｍ］程度が好ましく、本実施形態では、２３．６（最厚部は４０．２６）［ｍｍ］である。また、端末装置７の重量は、４００〜６００［ｇ］程度であって、本実施形態においては、５３０［ｇ］である。詳細は後述するが、端末装置７は、上記のような比較的大型の端末装置（操作装置）であっても、ユーザが持ちやすく操作しやすい構成となっている。

【0095】

端末装置７は、ハウジング５０の表面（表側）にＬＣＤ５１を有する。なお、ＬＣＤ５１の画面の大きさは５インチ以上であることが好ましく、ここでは６．２インチである。本実施形態の操作装置７は、持ちやすく操作しやすい構成によって、大きなＬＣＤを設けても操作がしやすいものとなっている。なお、別の実施形態においては、より小さいＬＣＤ５１を設け、操作装置７の大きさを比較的小さいものとするようにしてもよい。ＬＣＤ５１は、ハウジング５０の表面の中央付近に設けられる。したがって、ユーザは、図１１に示すようにＬＣＤ５１の両側部分のハウジング５０を持つことによって、ＬＣＤ５１の画面を見ながら端末装置７を持って動かすことができる。なお、図１１ではユーザがＬＣＤ５１の左右両側の部分のハウジング５０を持つことで端末装置７を横持ちで（横に長い向きにして）持つ例を示しているが、端末装置７を縦持ちで（縦に長い向きにして）持つことも可能である。

【0096】

図９の（ａ）図に示すように、端末装置７は、操作手段として、ＬＣＤ５１の画面上にタッチパネル５２を有する。本実施形態では、タッチパネル５２は抵抗膜方式のタッチパネルである。ただし、タッチパネルは抵抗膜方式に限らず、例えば静電容量方式等、任意の方式のタッチパネルを用いることができる。また、タッチパネル５２はシングルタッチ方式でもよいし、マルチタッチ方式であってもよい。本実施形態では、タッチパネル５２として、ＬＣＤ５１の解像度と同解像度（検出精度）のものを利用する。ただし、必ずしもタッチパネル５２の解像度とＬＣＤ５１の解像度が一致している必要はない。タッチパネル５２に対する入力は通常タッチペン６０を用いて行われるが、タッチペン６０に限らずユーザの指でタッチパネル５２に対する入力をすることも可能である。なお、ハウジング５０には、タッチパネル５２に対する操作を行うために用いられるタッチペン６０を収納する収納穴６０ａが設けられている（図９（ｂ）参照）。なお、ここでは、タッチペン６０が落ちないように、収納穴６０ａはハウジング５０の上面に設けられるが、側面や下面に設けられてもよい。このように、端末装置７はタッチパネル５２を備えるので、ユーザは、端末装置７を動かしながらタッチパネル５２を操作することができる。つまりユーザは、ＬＣＤ５１の画面を動かしつつ、その画面に対して直接（タッチパネル５２によって）入力を行うことができる。

【0097】

図９に示すように、端末装置７は、操作手段（操作部）として、２つのアナログスティック５３Ａおよび５３Ｂと、複数のボタン（キー）５４Ａ〜５４Ｍとを備えている。各アナログスティック５３Ａおよび５３Ｂは、方向を指示することが可能なデバイスである。各アナログスティック５３Ａおよび５３Ｂは、ユーザの指で操作される可動部材（スティック部）がハウジング５０の表面に対して任意の方向（上下左右および斜め方向の任意の角度）にスライドすることができるように構成されている。すなわち、スライドパッドと呼ばれることもある方向入力デバイスである。なお、各アナログスティック５３Ａおよび５３Ｂの可動部材は、ハウジング５０の表面に対して任意の方向に傾倒する種類のものでもよい。本実施形態では、可動部材がスライドする種類のアナログスティックを用いるので、ユーザは親指を大きく動かさなくても各アナログスティック５３Ａおよび５３Ｂを操作することができ、ハウジング５０をよりしっかりと把持した状態で操作を行うことができる。なお、各アナログスティック５３Ａおよび５３Ｂとして、可動部材が傾倒する種類のものを用いる場合には、入力の程度（傾きの程度）がユーザにとってわかりやすく、詳細な操作をより容易に行うことができる。

【0098】

また、左アナログスティック５３ＡはＬＣＤ５１の画面の左側に、右アナログスティック５３ＢはＬＣＤ５１の画面の右側にそれぞれ設けられる。したがって、ユーザは、左右いずれの手でもアナログスティックを用いて方向を指示する入力を行うことができる。また、図１１に示すように、各アナログスティック５３Ａおよび５３Ｂは、ユーザが端末装置７の左右部分（ＬＣＤ５１の左右両側の部分）を把持した状態で操作可能な位置に設けられるので、ユーザは、端末装置７を持って動かす場合においても各アナログスティック５３Ａおよび５３Ｂを容易に操作することができる。

【0099】

各ボタン５４Ａ〜５４Ｌは、所定の入力を行うための操作手段（操作部）であり、押下可能なキーである。以下に示すように、各ボタン５４Ａ〜５４Ｌは、ユーザが端末装置７の左右部分を把持した状態で操作可能な位置に設けられる（図１１参照）。したがって、ユーザは、端末装置７を持って動かす場合においてもこれらの操作手段を容易に操作することができる。

【0100】

図９の（ａ）図に示すように、ハウジング５０の表面には、各操作ボタン５４Ａ〜５４Ｌのうち、十字ボタン（方向入力ボタン）５４Ａと、ボタン５４Ｂ〜５４Ｈおよび５４Ｍとが設けられる。つまり、これらのボタン５４Ａ〜５４Ｈおよび５４Ｍは、ユーザの親指で操作可能な位置に配置されている（図１１参照）。

【0101】

十字ボタン５４Ａは、ＬＣＤ５１の左側であって、左アナログスティック５３Ａの下側に設けられる。つまり、十字ボタン５４Ａはユーザの左手で操作可能な位置に配置されている。十字ボタン５４Ａは、十字の形状を有しており、少なくとも上下左右の方向を指示することが可能なボタンである。

【0102】

また、ボタン５４Ｂ〜５４Ｄは、ＬＣＤ５１の下側に設けられる。これら３つのボタン５４Ｂ〜５４Ｄは、左右両方の手で操作可能な位置に配置されている。また、端末装置７は、端末装置７の電源をオン／オフするための電源ボタン５４Ｍを有している。電源ボタン５４Ｍの操作により、ゲーム装置３の電源を遠隔でオン／オフすることも可能である。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄと同様、ＬＣＤ５１の下側に設けられる。電源ボタン５４Ｍは、ボタン５４Ｂ〜５４Ｄの右側に設けられる。したがって、電源ボタン５４Ｍは、右手で操作可能な（操作しやすい）位置に配置されている。また、４つのボタン５４Ｅ〜５４Ｈは、ＬＣＤ５１の右側であって、右アナログスティック５３Ｂの下側に設けられる。つまり、４つのボタン５４Ｅ〜５４Ｈはユーザの右手で操作可能な位置に配置されている。さらに、４つのボタン５４Ｅ〜５４Ｈは、（４つのボタン５４Ｅ〜５４Ｈの中心位置に対して）上下左右の位置関係となるように配置されている。したがって、端末装置７は、ユーザに上下左右の方向を指示させるためのボタンとして４つのボタン５４Ｅ〜５４Ｈを機能させることも可能である。

【0103】

なお、本実施形態においては、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置される。ここで、各アナログスティック５３Ａおよび５３Ｂは、十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも厚さ方向（ｙ軸方向）に関して突出している。そのため、仮にアナログスティック５３Ａと十字ボタン５４Ａとの配置を逆にした場合には、ユーザが十字ボタン５４Ａを親指で操作する際にアナログスティック５３Ａに親指が当たってしまい、操作を誤ってしまうおそれがある。なお、アナログスティック５３Ｂと各ボタン５４Ｅ〜５４Ｈとの配置を逆にする場合も同様の問題が生じる。これに対して、本実施形態では、各アナログスティック５３Ａおよび５３Ｂを十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈよりも上側に配置するので、ユーザがアナログスティック５３Ａおよび５３Ｂを操作する際に十字ボタン５４Ａおよび各ボタン５４Ｅ〜５４Ｈに指が当たってしまう可能性は上記の場合に比べて低くなる。このように、本実施形態においては、誤操作の可能性を低減することができ、端末装置７の操作性を向上することができる。ただし、別の実施形態においては、必要に応じてアナログスティック５３Ａが十字ボタン５４Ａと逆の配置であってもよいし、アナログスティック５３Ｂが各ボタン５４Ｅ〜５４Ｈと逆の配置であってもよい。

【0104】

ここで、本実施形態では、いくつかの操作部（各アナログスティック５３Ａおよび５３Ｂ、十字ボタン５４Ａ、ならびに、３つのボタン５４Ｅ〜５４Ｇ）は、表示部（ＬＣＤ５１）の左右両側において、ハウジング５０における上下方向（ｙ軸方向）の中心よりも上側に設けられる。これらの操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持する。ここで、ユーザがハウジング５０の下側を把持する場合には、（端末装置７が本実施形態のように比較的大きなサイズである場合には特に）把持される端末装置７が不安定になり、ユーザは端末装置７を持ちにくくなる。これに対して、本実施形態では、上記操作部を操作する場合、ユーザは、端末装置７における上下方向の中心よりも上側を主に把持することになり、また、手のひらでハウジング５０を横から支えることができる。したがって、ユーザは、安定した状態でハウジング５０を把持することができ、端末装置７が持ちやすくなるので、上記操作部も操作しやすくなる。なお、他の実施形態においては、ハウジング５０の中央よりも上側において表示部の左右にそれぞれ少なくとも１つずつ操作部が設けられてもよい。例えば、各アナログスティック５３Ａおよび５３Ｂのみがハウジング５０の中央よりも上側に設けられてもよい。また例えば、十字ボタン５４Ａが左アナログスティック５３Ａよりも上側に設けられ、４つのボタン５４Ｅ〜５４Ｈが右アナログスティック５３Ｂよりも上側に設けられる場合には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈがハウジング５０の中央よりも上側に設けられても良い。

【0105】

また、本実施形態では、ハウジング５０の裏側（ＬＣＤ５１が設けられる表面の反対側）には、突起部（庇部５９）が設けられる（図９（ｃ）および図１０参照）。図９（ｃ）に示すように、庇部５９は、略板状のハウジング５０の裏面から突起して設けられる、山状の部材である。突起部は、ハウジング５０の裏面を把持するユーザの指に掛止可能な高さ（厚さ）を有する。突起部の高さは、１０〜２５［ｍｍ］であることが好ましく、本実施形態では１６．６６［ｍｍ］である。また、突起部の下面は、突起部がユーザの指に掛かりやすいように、ハウジング５０の裏面に対して４５°以上（より好ましくは６０°以上）の傾斜を有することが好ましい。図９（ｃ）に示すように、突起部の下面は、上面よりも傾斜角度が大きくなるように形成されてもよい。図１１に示すように、ユーザは、指を庇部５９に掛けて（指の上に庇部５９を乗せて）把持することによって、端末装置７が比較的大きなサイズであっても、疲れることなく安定した状態で端末装置７を把持することができる。すなわち、庇部５９は、指でハウジング５０を支えるための支持部材であるということができ、また、指掛部ということもできる。

【0106】

また、庇部５９は、ハウジング５０の上下方向に関しては中央よりも上側に設けられる。庇部５９は、ハウジング５０の表面に設けられる操作部（各アナログスティック５３Ａおよび５３Ｂ）の概ね反対側の位置に設けられる。つまり、突起部は、表示部の左右にそれぞれ設けられる操作部の反対側の位置を含む領域に設けられる。したがって、上記操作部を操作する場合、ユーザは、中指あるいは薬指で庇部５９を支えるようにして端末装置７を把持することができる（図１１参照）。これによって、端末装置７がより持ちやすくなり、上記操作部もより操作しやすくなる。また、本実施形態では、突起部は、（突起した部分が）左右に延びる庇状の形状を有するので、ユーザは、中指あるいは薬指を突起部の下面に沿わせて端末装置７を把持することができ、端末装置７がより持ちやすくなる。なお、庇部５９は、（突起した部分が）左右方向に延びるように形成されればよく、図１０に示すような水平方向に延びる形状に限られない。他の実施形態においては、庇部５９は水平方向から若干傾いた方向に延びていてもよい。例えば、庇部５９は、左右両端から中央に向かうにつれて上に（または下に）傾斜するように設けられてもよい。

【0107】

なお、本実施形態においては、後述する係止穴を庇部５９に設けることが理由で、ハウジングの裏面に形成される突起部として、庇状の形状をした庇部５９を採用するが、突起部はどのような形状であってもよい。例えば、他の実施形態においては、ハウジング５０の裏側において、２つの突起部が左右両側に設けられる（左右方向の中央には突起部が設けられない）構成であってもよい（図２９参照）。また、他の実施形態においては、突起部の断面形状（ｘ軸方向に垂直な断面における形状）は、ユーザの指で端末装置７をよりしっかりと支えることができるように（突起部が指によりしっかりと掛かるように）、鈎型（下面が凹んだ形状）であってもよい。

【0108】

なお、突起部（庇部５９）の上下方向に関する幅は、いくらであってもよい。例えば、突起部は、ハウジング５０の上辺まで形成されてもよい。すなわち、突起部の上面がハウジング５０の上側の側面と同じ位置に形成されてもよい。このとき、ハウジング５０は、下側が薄く、上側が厚い２段の構成となる。このように、ハウジング５０は、裏面における左右両側に、下方を向く面（突起部の下面）が形成されることが好ましい。これによって、ユーザは、当該面に指を当てることで楽に操作装置を把持することができる。なお、上記「下方を向く面」は、ハウジング５０の裏面におけるどの位置に形成されてもよいが、ハウジング５０の中央よりも上側に位置することが好ましい。

【0109】

また、図９の（ａ）図、（ｂ）図、および（ｃ）図に示すように、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の上側の面における左右の両側にそれぞれ設けられる。本実施形態では、第１Ｌボタン５４Ｉおよび第１Ｒボタン５４Ｊは、ハウジング５０の斜め上部分（左上部分および右上部分）に設けられる。具体的には、第１Ｌボタン５４Ｉは、板状のハウジング５０における上側の側面の左端に設けられ、左上側の側面から露出している（換言すれば上側および左側の両方の側面から露出している）。また、第１Ｒボタン５４Ｊは、ハウジング５０における上側の側面の右端に設けられ、右上側の側面から露出している（換言すれば上側および右側の両方の側面から露出している）。このように、第１Ｌボタン５４Ｉは、ユーザの左手人差し指で操作可能な位置に配置され、第１Ｒボタン５４Ｊは、ユーザの右手人差し指で操作可能な位置に配置される（図１１参照）。なお、他の実施形態においては、ハウジング５０の上側の面における左右にそれぞれ設けられる操作部は、左右の端部に設けられる必要はなく、端部以外の位置に設けられてもよい。また、ハウジング５０の左右の側面に操作部がそれぞれ設けられてもよい。

【0110】

また、図９の（ｃ）図および図１０に示すように、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上記突起部（庇部５９）に配置される。第２Ｌボタン５４Ｋは、庇部５９の左端付近に設けられる。第２Ｒボタン５４Ｌは、庇部５９の右端付近に設けられる。つまり、第２Ｌボタン５４Ｋは、ハウジング５０の裏面の左側（表面側から見たときの左側）のやや上方に設けられ、第２Ｒボタン５４Ｌは、ハウジング５０の裏面の右側（表面側から見たときの右側）のやや上方に設けられる。換言すれば、第２Ｌボタン５４Ｋは、表面に設けられる左アナログスティック５３Ａの（概ね）反対側の位置に設けられ、第２Ｒボタン５４Ｌは、表面に設けられる右アナログスティック５３Ｂの（概ね）反対側の位置に設けられる。このように、第２Ｌボタン５４Ｋは、ユーザの左手中指（または人差し指）で操作可能な位置に配置され、第２Ｒボタン５４Ｌは、ユーザの右手中指（または人差し指）で操作可能な位置に配置される（図１１参照）。また、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、図９の（ｃ）図に示すように、上記庇部５９の上面に設けられる。そのため、第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌは、上方（斜め上方）を向くボタン面を有する。ユーザが端末装置７を把持した場合には中指または人差し指は上下方向に動くと考えられるので、ボタン面を上方に向けることで、ユーザは第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌを押下しやすくなる。

【0111】

上記のように、本実施形態においては、ハウジング５０の中央よりも上側において表示部（ＬＣＤ５１）の左右に操作部（アナログスティック５３Ａおよび５３Ｂ）がそれぞれ設けられ、さらに、ハウジング５０の裏側において当該操作部の反対側の位置に別の操作部（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）がそれぞれ設けられる。これによれば、上記操作部と別の操作部とがハウジング５０の表側と裏側との互いに対向する位置に配置されるので、ユーザは、これらの操作部を操作する際にハウジング５０を表側と裏側から挟むように把持することができる。また、これらの操作部を操作する際にユーザは、ハウジング５０における上下方向の中心よりも上側を把持するので、端末装置７を上側で把持できるとともに、手のひらで端末装置７を支えることができる（図１１参照）。以上によって、ユーザは、少なくとも４つの操作部を操作することができる状態で、ハウジング５０を安定的に把持することができ、ユーザが容易に把持することが可能で、かつ操作性の良い操作装置（端末装置７）を提供することができる。

【0112】

以上のように、本実施形態においては、突起部（庇部５９）の下面に指を当てた状態で端末装置７を把持することによって、ユーザは楽に端末装置７を把持することができる。また、突起部の上面に第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌが設けられるので、ユーザは上記の状態でこれらのボタンを容易に操作することができる。ユーザは、例えば次のような持ち方で端末装置７を容易に把持することができる。

【0113】

すなわち、ユーザは、図１１に示すように、薬指を庇部５９の下面（図１１に示す一点鎖線）に当てて（薬指で庇部５９を支えるように）端末装置７を把持することも可能である。このとき、ユーザは、４つのボタン（第１Ｌボタン５４Ｉ、第１Ｒボタン５４Ｊ、第２Ｌボタン５４Ｋ、および第２Ｒボタン５４Ｌ）を人差し指および中指で操作することができる。例えば、要求されるゲーム操作が、使用するボタンが多く、比較的複雑である場合には、図１１に示すように把持することで、多くのボタンを容易に操作することができる。なお、各アナログスティック５３Ａおよび５３Ｂは十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈの上側に設けられるので、比較的複雑な操作が要求される場合にユーザは親指でアナログスティック５３Ａおよび５３Ｂを操作することができ、好都合である。また、図１１においては、ユーザは、ハウジング５０の表面に親指を、ハウジング５０の上面に人差し指を、ハウジング５０の裏面における庇部５９の上面に中指を、庇部５９の下面に薬指を、ハウジング５０の裏面に小指を当てて端末装置７を把持する。このように、ユーザは、ハウジング５０を四方から包み込むようにして端末装置７をしっかりと把持することができる。

【0114】

また、ユーザは、中指を庇部５９の下面に当てて端末装置７を把持することも可能である。このとき、ユーザは、２つのボタン（第２Ｌボタン５４Ｋおよび第２Ｒボタン５４Ｌ）を人差し指で容易に操作することができる。例えば、要求されるゲーム操作が、使用するボタンが少なく、比較的単純である場合には、中指を庇部５９の下面に当てて端末装置７を把持してもよい。このとき、ユーザは、２本の指（薬指および小指）でハウジング５０の下側を把持することができるので、しっかりと端末装置７を把持することができる。

【0115】

なお、本実施形態においては、庇部５９の下面が、各アナログスティック５３Ａおよび５３Ｂと、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈとの間に位置するように（各アナログスティック５３Ａおよび５３Ｂよりも下方で、かつ、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈよりも上方に位置するように）設けられる。したがって、薬指を庇部５９に当てて端末装置７を把持する場合（図１１）には、各アナログスティック５３Ａおよび５３Ｂを親指で操作しやすくなり、中指を庇部５９に当てて端末装置７を把持する場合には、十字ボタン５４Ａおよび４つのボタン５４Ｅ〜５４Ｈを親指で操作しやすくなっている。つまり、上記２種類の場合のいずれにおいても、ユーザは、端末装置７をしっかりと把持した状態で方向入力操作を行うことができる。

【0116】

また、上述のように、ユーザは端末装置７を縦持ちで把持することも可能である。すなわち、ユーザは端末装置７の上辺または下辺を一方の手で把持することで端末装置７を縦向きで把持することが可能である。このように、ユーザは端末装置７を片手で把持することが可能であるので、例えば、一方の手で端末装置７を把持しながら他方の手でタッチパネル５２に対する入力を行うといった操作を行うことも可能である。

【0117】

また、端末装置７の上辺を把持する場合、ユーザは親指以外の指を庇部５９の下面に当てることで、端末装置７をしっかりと把持することができる。特に、本実施形態においては、庇部５９が左右に延びて形成されているので、ユーザは端末装置７の上辺におけるどこの位置で把持しても、親指以外の指を庇部５９に当てることができ、端末装置７をしっかりと把持することができる。すなわち、端末装置７を縦持ちで使う場合には、庇部５９は取っ手として使うことができる。一方、端末装置７の下辺を片手で把持する場合、ユーザは、その手でボタン５４Ｂ〜５４Ｄを操作することができる。したがって、例えば片手でタッチパネル５２に対する入力を行いつつ、端末装置７を把持する手でボタン５４Ｂ〜５４Ｄに対する操作を行うことができ、より多くの操作を行うことができる。

【0118】

なお、本実施形態における端末装置７に関しては、突起部（庇部５９）が裏面に設けられるので、ＬＣＤ５１の画面（ハウジング５０の表面）が上を向いた状態で端末装置７を載置させる場合、画面がやや傾いた状態となる。これによって、端末装置７を載置した状態において画面がより見やすくなる。また、端末装置７を載置した状態においてタッチパネル５２に対する入力操作が行いやすくなる。また、他の実施形態においては、上記庇部５９と同程度の高さを有する追加の突起部がハウジング５０の裏面に形成されてもよい。これによれば、ＬＣＤ５１の画面が上を向いた状態では、各突起部が床面に接することで、画面が水平になるように端末装置７を載置することができる。また、追加の突起部を着脱可能な（または折り畳み可能な）ものにしてもよい。これによれば、画面がやや傾いた状態と、画面が水平になる状態との両方で端末装置を載置することができる。すなわち、端末装置７を置いて使う場合には、庇部５９は、脚部として使うことができる。

【0119】

各ボタン５４Ａ〜５４Ｌには、ゲームプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン５４Ａおよびボタン５４Ｅ〜５４Ｈは方向指示操作や選択操作等に用いられてもよいし、各ボタン５４Ｂ〜５４Ｅは決定操作やキャンセル操作等に用いられてもよい。また、端末装置７は、ＬＣＤ５１の画面表示をオン／オフするためのボタンや、ゲーム装置３との接続設定（ペアリング）を行うためのボタンを有していてもよい。

【0120】

図９の（ａ）図に示すように、端末装置７は、マーカ５５Ａおよびマーカ５５Ｂからなるマーカ部５５をハウジング５０の表面に備えている。マーカ部５５は、ＬＣＤ５１の上側に設けられる。各マーカ５５Ａおよびマーカ５５Ｂは、マーカ装置６の各マーカ６Ｒおよび６Ｌと同様、１以上の赤外ＬＥＤで構成される。マーカ５５Ａおよび５５Ｂを構成する赤外ＬＥＤは、赤外光を透過する窓部の内側に配置される。マーカ部５５は、上述のマーカ装置６と同様、コントローラ５の動き等をゲーム装置３が算出するために用いられる。また、ゲーム装置３はマーカ部５５が備える各赤外ＬＥＤの点灯を制御することが可能である。

【0121】

端末装置７は、撮像手段であるカメラ５６を備えている。カメラ５６は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。図９に示すように、本実施形態では、カメラ５６はハウジング５０の表面に設けられる。つまり、カメラ５６は、端末装置７の表示部（ＬＣＤ５１）の正面方向を撮像するように設けられる。したがって、カメラ５６は、端末装置７を持っているユーザの顔を撮像することができ、例えばＬＣＤ５１を見ながらゲームを行っている時のユーザを撮像することができる。本実施形態においては、カメラ５６は、２つのマーカ５５Ａおよび５５Ｂの間に配置される。

【0122】

なお、端末装置７は、音声入力手段であるマイク７９を備えている。ハウジング５０の表面には、マイクロフォン用孔５０ｃが設けられる。マイク７９はこのマイクロフォン用孔５０ｃの奥のハウジング５０内部に設けられる。マイク７９は、ユーザの音声等、端末装置７の周囲の音を検出する。

【0123】

端末装置７は、音声出力手段であるスピーカ７７を備えている。図９の（ｄ）図に示すように、ハウジング５０の表面の下側にはスピーカ孔５７が設けられる。スピーカ７７の出力音はこのスピーカ孔５７から出力される。本実施形態では、端末装置７は２つのスピーカを備えており、左スピーカおよび右スピーカのそれぞれの位置にスピーカ孔５７が設けられる。なお、端末装置７は、スピーカ７７の音量を調節するためのつまみ６４を備える。また、端末装置７は、イヤホン等の音声出力部を接続するための音声出力端子６２を備える。ここでは、ハウジングの下側の側面に付加装置が接続されることを考慮して、上記音声出力端子６２およびつまみ６４はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。

【0124】

また、ハウジング５０には、赤外線通信モジュール８２からの赤外線信号を端末装置７の外部に出射するための窓６３が設けられる。ここでは、ＬＣＤ５１の両側を把持した場合にユーザの前方へ赤外線信号が発射されるように、窓６３はハウジング５０の上側の側面に設けられる。ただし、他の実施形態においては、窓６３は、例えばハウジング５０の裏面等、どの位置に設けられてもよい。

【0125】

また、端末装置７は、他の装置を端末装置７に接続するための拡張コネクタ５８を備えている。拡張コネクタ５８は、端末装置７に接続される他の装置との間でデータ（情報）を送受信するための通信端子である。本実施形態においては、図９の（ｄ）図に示すように、拡張コネクタ５８は、ハウジング５０の下側側面に設けられる。なお、拡張コネクタ５８に接続される他の付加装置はどのようなものであってもよく、例えば、特定のゲームに用いるコントローラ（銃型のコントローラ等）やキーボード等の入力装置であってもよい。付加装置を接続する必要がなければ、拡張コネクタ５８は設けられていなくともよい。拡張コネクタ５８には、付加装置に電力を供給する端子や、充電のための端子が含まれていてもよい。

【0126】

また、端末装置７は、拡張コネクタ５８とは別に、付加装置から電力を取得するための充電端子６６を有する。図示しない充電スタンドに充電端子６６が接続された場合、充電スタンドから端末装置７へ電力が供給される。本実施形態では、充電端子６６はハウジング５０の下側側面に設けられる。したがって、端末装置７と付加装置とが接続される際には、拡張コネクタ５８を介して情報を送受信することに加えて、一方から他方への電力供給を行うことも可能である。このように、拡張コネクタ５８の周囲（左右両側）に充電端子６６を設けることによって、端末装置７と付加装置とが接続される際に、情報の送受信とともに、電力供給を行うことも可能である。また、端末装置７は充電コネクタを有し、ハウジング５０は充電コネクタを保護するためのカバー部６１を有する。充電コネクタは、後述する充電器８６に接続可能であり、充電器に充電コネクタが接続された場合、充電器８６から端末装置７へ電力が供給される。本実施形態では、ハウジングの下側の側面に付加装置が接続されることを考慮して、充電コネクタ（カバー部６１）はハウジング５０の上画の側面に設けられるが、左右の側面や下側の側面に設けられてもよい。

【0127】

図９（ｄ）および図１０に示すように、突起部（庇部５９）の下面には、付加装置が有する爪部が係止可能な係止穴５９ａおよび５９ｂが設けられる。係止穴５９ａおよび５９ｂは、端末装置７に他の付加装置を接続する際に用いられる。すなわち、付加装置は係止穴５９ａおよび５９ｂに係止可能な爪部を有し、端末装置７に付加装置を接続する場合には、爪部が係止穴５９ａおよび５９ｂに係止することによって端末装置７と付加装置とが固定される。また、係止穴５９ａおよび５９ｂの内部に、さらにネジ穴を設けてもよく、付加装置をネジで強固に固定するようにしてもよい。なお、ここでは、端末装置７の裏面に設けられる突起部は、庇状の形状を有する庇部５９である。すなわち、庇部５９は左右方向に延びて設けられる。図１０に示すように、係止穴５９ａおよび５９ｂは、庇部５９の下面の（左右方向に関して）中央付近に設けられる。なお、庇部５９の下面に設けられる係止穴５９ａおよび５９ｂの個数はいくつであってもよいが、１つである場合には庇部５９の中央に設けられることが好ましく、複数である場合には左右対称に配置されることが好ましい。これによれば、左右のバランスを均等に保って付加装置を安定的に接続することができる。また、係止穴が中央付近に設けられる場合には、左右の両端に設けられる場合に比べて、付加装置のサイズを小さくすることができる。以上のように、庇部５９は、付加装置の係止部材として使うことができる。

【0128】

また、本実施形態においては、図９（ｄ）に示すように、ハウジング５０の下面に係止穴５０ａおよび５０ｂが設けられる。したがって、端末装置７に付加装置を接続する場合には、４つの爪部が４つの各係止穴にそれぞれ係止することによって端末装置７と付加装置とが固定される。これによって、付加装置を端末装置７により強固に接続することができる。なお、係止穴５０ａおよび５０ｂの内部にもネジ穴を設け、付加装置をネジ止めするようにしてもよい。ネジ止めの位置は、どこであってもよいが、例えば、ハウジング５０の背面に当接する付加装置の支持部と、庇部５９とがネジ止めされてもよい。また、他の実施形態においては、ハウジングに設けられる係止穴は、どのような配置であってもよい。

【0129】

また、端末装置７は、ハウジング５０に対して着脱可能な電池蓋６７を有している。電池蓋６７の内側には電池（図１２に示す電池８５）が配置される。本実施形態においては、電池蓋６７はハウジング５０の裏側に設けられ、突起部（庇部５９）の下側に設けられる。

【0130】

また、端末装置７のハウジング５０には、ストラップの紐を結びつけるための孔６５ａおよび６５ｂが設けられる。図９（ｄ）に示すように、本実施形態においては、孔６５ａおよび６５ｂはハウジング５０の下面に設けられる。また、本実施形態においては、２つの孔６５ａおよび６５ｂがハウジング５０の左右両側にそれぞれ１つずつ設けられる。すなわち、孔６５ａがハウジング５０の下面の中央より左側に設けられ、孔６５ｂがハウジング５０の下面の中央より右側に設けられる。ユーザは、孔６５ａおよび６５ｂのいずれかにストラップを結びつけ、ストラップを自身の手首に結びつけてもよい。これによって、万一ユーザが端末装置７を落としたり、端末装置７が手から離れたりした場合でも、端末装置７が落下したり他の物に衝突したりすることを防止することができる。なお、本実施形態においては、左右両側にそれぞれ孔が設けられるので、ユーザは、どちらの手にもストラップを結びつけることができ、便利である。

【0131】

なお、図９〜図１２に示した端末装置７に関して、各操作ボタンやハウジング５０の形状や、各構成要素の数および設置位置等は単なる一例に過ぎず、他の形状、数、および設置位置であってもよい。

【0132】

次に、図１２を参照して、端末装置７の内部構成について説明する。図１２は、端末装置７の内部構成を示すブロック図である。図１２に示すように、端末装置７は、図９に示した構成の他、タッチパネルコントローラ７１、磁気センサ７２、加速度センサ７３、ジャイロセンサ７４、ユーザインタフェースコントローラ（ＵＩコントローラ）７５、コーデックＬＳＩ７６、スピーカ７７、サウンドＩＣ７８、マイク７９、無線モジュール８０、アンテナ８１、赤外線通信モジュール８２、フラッシュメモリ８３、電源ＩＣ８４、および電池８５を備える。これらの電子部品は、電子回路基板上に実装されてハウジング５０内に収納される。

【0133】

ＵＩコントローラ７５は、各種の入出力部に対するデータの入出力を制御するための回路である。ＵＩコントローラ７５は、タッチパネルコントローラ７１、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）、操作ボタン５４（各操作ボタン５４Ａ〜５４Ｌ）、マーカ部５５、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４に接続される。また、ＵＩコントローラ７５は、コーデックＬＳＩ７６と拡張コネクタ５８に接続される。また、ＵＩコントローラ７５には電源ＩＣ８４が接続され、ＵＩコントローラ７５を介して各部に電力が供給される。電源ＩＣ８４には内蔵の電池８５が接続され、電力が供給される。また、電源ＩＣ８４には、外部電源から電力を取得可能な充電器８６またはケーブルを充電コネクタを介して接続することが可能であり、端末装置７は、当該充電器８６またはケーブルを用いて外部電源からの電力供給と充電を行うことができる。なお、端末装置７は、図示しない充電機能を有するクレイドルに端末装置７を装着することで充電を行うことも可能である。すなわち、図示しないが、電源ＩＣ８４には、外部電源から電力を取得可能なクレイドルを充電端子６６を介して接続することが可能であり、端末装置７は、クレイドルを用いて外部電源からの電力供給と充電を行うことができる。

【0134】

タッチパネルコントローラ７１は、タッチパネル５２に接続され、タッチパネル５２の制御を行う回路である。タッチパネルコントローラ７１は、タッチパネル５２からの信号に基づいて所定の形式のタッチ位置データを生成してＵＩコントローラ７５へ出力する。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置の座標を表す。なお、タッチパネルコントローラ７１は、タッチパネル５２からの信号の読み込み、および、タッチ位置データの生成を所定時間に１回の割合で行う。また、ＵＩコントローラ７５からタッチパネルコントローラ７１へは、タッチパネル５２に対する各種の制御指示が出力される。

【0135】

アナログスティック５３は、ユーザの指で操作されるスティック部がスライドした（または傾倒した）方向および量を表すスティックデータをＵＩコントローラ７５へ出力する。また、操作ボタン５４は、各操作ボタン５４Ａ〜５４Ｌに対する入力状況（押下されたか否か）を表す操作ボタンデータをＵＩコントローラ７５へ出力する。

【0136】

磁気センサ７２は、磁界の大きさおよび方向を検知することで方位を検出する。検出された方位を示す方位データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から磁気センサ７２へは、磁気センサ７２に対する制御指示が出力される。磁気センサ７２に関しては、ＭＩ（磁気インピーダンス）素子、フラックスゲートセンサ、ホール素子、ＧＭＲ（巨大磁気抵抗）素子、ＴＭＲ（トンネル磁気抵抗）素子、あるいはＡＭＲ（異方性磁気抵抗）素子等を用いたセンサがあるが、方位を検出することができればどのようなものが用いられてもよい。なお、厳密には、地磁気以外に磁界が発生している場所においては、得られた方位データは方位を示さないことになるが、そのような場合であっても、端末装置７が動いた場合には方位データが変化するため、端末装置７の姿勢の変化を算出することができる。

【0137】

加速度センサ７３は、ハウジング５０の内部に設けられ、３軸（図９の（ａ）図に示すｘｙｚ軸）方向に沿った直線加速度の大きさを検出する。具体的には、加速度センサ７３は、ハウジング５０の長辺方向をｘ軸、ハウジング５０の表面に対して垂直な方向をｙ軸、ハウジング５０の短辺方向をｚ軸として、各軸の直線加速度の大きさを検出する。検出された加速度を表す加速度データはＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５から加速度センサ７３へは、加速度センサ７３に対する制御指示が出力される。加速度センサ７３は、本実施形態では例えば静電容量式のＭＥＭＳ型加速度センサであるとするが、他の実施形態においては他の方式の加速度センサを用いるようにしてもよい。また、加速度センサ７３は１軸または２軸方向を検出する加速度センサであってもよい。

【0138】

ジャイロセンサ７４は、ハウジング５０の内部に設けられ、上記ｘ軸、ｙ軸およびｚ軸の３軸周りの角速度を検出する。検出された角速度を表す角速度データは、ＵＩコントローラ７５へ出力される。また、ＵＩコントローラ７５からジャイロセンサ７４へは、ジャイロセンサ７４に対する制御指示が出力される。なお、３軸の角速度を検出するために用いられるジャイロセンサの数および組み合わせはどのようなものであってもよく、ジャイロセンサ７４はジャイロセンサ４８と同様、２軸ジャイロセンサと１軸ジャイロセンサとで構成されてもよい。また、ジャイロセンサ７４は１軸または２軸方向を検出するジャイロセンサであってもよい。

【0139】

ＵＩコントローラ７５は、上記の各構成要素から受け取ったタッチ位置データ、スティックデータ、操作ボタンデータ、方位データ、加速度データ、および角速度データを含む操作データをコーデックＬＳＩ７６に出力する。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置に対する操作を表すデータが上記操作データにさらに含まれていてもよい。

【0140】

コーデックＬＳＩ７６は、ゲーム装置３へ送信するデータに対する圧縮処理、および、ゲーム装置３から送信されたデータに対する伸張処理を行う回路である。コーデックＬＳＩ７６には、ＬＣＤ５１、カメラ５６、サウンドＩＣ７８、無線モジュール８０、フラッシュメモリ８３、および赤外線通信モジュール８２が接続される。また、コーデックＬＳＩ７６はＣＰＵ８７と内部メモリ８８を含む。端末装置７はゲーム処理自体を行なわない構成であるが、端末装置７の管理や通信のための最小限のプログラムを実行する必要がある。電源投入時にフラッシュメモリ８３に格納されたプログラムを内部メモリ８８に読み出してＣＰＵ８７が実行することで、端末装置７が起動する。また、内部メモリ８８の一部の領域はＬＣＤ５１のためのＶＲＡＭとして使用される。

【0141】

カメラ５６は、ゲーム装置３からの指示に従って画像を撮像し、撮像した画像データをコーデックＬＳＩ７６へ出力する。また、コーデックＬＳＩ７６からカメラ５６へは、画像の撮像指示等、カメラ５６に対する制御指示が出力される。なお、カメラ５６は動画の撮影も可能である。すなわち、カメラ５６は、繰り返し撮像を行って画像データをコーデックＬＳＩ７６へ繰り返し出力することも可能である。

【0142】

サウンドＩＣ７８は、スピーカ７７およびマイク７９に接続され、スピーカ７７およびマイク７９への音声データの入出力を制御する回路である。すなわち、コーデックＬＳＩ７６から音声データを受け取った場合、サウンドＩＣ７８は当該音声データに対してＤ／Ａ変換を行って得られる音声信号をスピーカ７７へ出力し、スピーカ７７から音を出力させる。また、マイク７９は、端末装置７に伝わる音（ユーザの音声等）を検知して、当該音を示す音声信号をサウンドＩＣ７８へ出力する。サウンドＩＣ７８は、マイク７９からの音声信号に対してＡ／Ｄ変換を行い、所定の形式の音声データをコーデックＬＳＩ７６へ出力する。

【0143】

コーデックＬＳＩ７６は、カメラ５６からの画像データ、マイク７９からの音声データ、および、ＵＩコントローラ７５からの操作データを、端末操作データとして無線モジュール８０を介してゲーム装置３へ送信する。本実施形態では、コーデックＬＳＩ７６は、画像データおよび音声データに対して、コーデックＬＳＩ２７と同様の圧縮処理を行う。上記端末操作データ、ならびに、圧縮された画像データおよび音声データは、送信データとして無線モジュール８０に出力される。無線モジュール８０にはアンテナ８１が接続されており、無線モジュール８０はアンテナ８１を介してゲーム装置３へ上記送信データを送信する。無線モジュール８０は、ゲーム装置３の端末通信モジュール２８と同様の機能を有している。すなわち、無線モジュール８０は、例えばＩＥＥＥ８０２．１１ｎの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。送信されるデータは必要に応じて暗号化されていてもよいし、されていなくともよい。

【0144】

以上のように、端末装置７からゲーム装置３へ送信される送信データには、操作データ（端末操作データ）、画像データ、および音声データが含まれる。なお、拡張コネクタ５８を介して端末装置７に他の装置が接続される場合には、当該他の装置から受け取ったデータが上記送信データにさらに含まれていてもよい。また、赤外線通信モジュール８２は、他の装置との間で例えばＩＲＤＡの規格に従った赤外線通信を行う。コーデックＬＳＩ７６は、赤外線通信によって受信したデータを、必要に応じて上記送信データに含めてゲーム装置３へ送信してもよい。

【0145】

また、上述のように、ゲーム装置３から端末装置７へは、圧縮された画像データおよび音声データが送信される。これらのデータはアンテナ８１および無線モジュール８０を介してコーデックＬＳＩ７６に受信される。コーデックＬＳＩ７６は、受信した画像データおよび音声データを伸張する。伸張された画像データはＬＣＤ５１へ出力され、画像がＬＣＤ５１に表示される。つまり、コーデックＬＳＩ７６（ＣＰＵ８７）は、受信された画像データを表示部に表示させる。また、伸張された音声データはサウンドＩＣ７８へ出力され、サウンドＩＣ７８はスピーカ７７から音を出力させる。

【0146】

また、ゲーム装置３から受信されるデータに制御データが含まれる場合、コーデックＬＳＩ７６およびＵＩコントローラ７５は、制御データに従った制御指示を各部に行う。上述のように、制御データは、端末装置７が備える各構成要素（本実施形態では、カメラ５６、タッチパネルコントローラ７１、マーカ部５５、各センサ６２〜６４、および赤外線通信モジュール８２）に対する制御指示を表すデータである。本実施形態では、制御データが表す制御指示としては、上記各構成要素を動作させたり、動作を休止（停止）させたりする指示が考えられる。すなわち、ゲームで使用しない構成要素については電力消費を抑えるために休止させてもよく、その場合、端末装置７からゲーム装置３へ送信される送信データには、休止した構成要素からのデータが含まれないようにする。なお、マーカ部５５は赤外ＬＥＤであるので、制御は単に電力の供給のＯＮ／ＯＦＦでよい。

【0147】

以上のように、端末装置７は、タッチパネル５２、アナログスティック５３、および操作ボタン５４といった操作手段を備えるが、他の実施形態においては、これらの操作手段に代えて、または、これらの操作手段とともに、他の操作手段を備える構成であってもよい。

【0148】

また、端末装置７は、端末装置７の動き（位置や姿勢、あるいは、位置や姿勢の変化を含む）を算出するためのセンサとして、磁気センサ７２、加速度センサ７３、およびジャイロセンサ７４を備えるが、他の実施形態においては、これらのセンサのうち１つまたは２つのみを備える構成であってもよい。また、他の実施形態においては、これらのセンサに代えて、または、これらのセンサとともに、他のセンサを備える構成であってもよい。

【0149】

また、端末装置７は、カメラ５６およびマイク７９を備える構成であるが、他の実施形態においては、カメラ５６およびマイク７９を備えていなくてもよく、また、いずれか一方のみを備えていてもよい。

【0150】

また、端末装置７は、端末装置７とコントローラ５との位置関係（コントローラ５から見た端末装置７の位置および／または姿勢等）を算出するための構成としてマーカ部５５を備える構成であるが、他の実施形態ではマーカ部５５を備えていない構成としてもよい。また、他の実施形態では、端末装置７は、上記位置関係を算出するための構成として他の手段を備えていてもよい。例えば、他の実施形態においては、コントローラ５がマーカ部を備え、端末装置７が撮像素子を備える構成としてもよい。さらにこの場合、マーカ装置６は赤外ＬＥＤに代えて、撮像素子を備える構成としてもよい。

【0151】

［５．ゲーム処理の概要］
次に、本実施形態のゲームシステム１において実行されるゲーム処理の概要について説明する。本ゲーム処理によって実行されるゲームは、端末装置７とコントローラ５とを操作装置として用いて、複数人のプレイヤが対戦する形式のゲームである。なお、本実施形態においては、ゲームシステム１が４つのコントローラ５を含み、４つのコントローラ５が用いられる場合について説明する。つまり、本実施形態においては、端末装置７を操作する１人のプレイヤと、４つのコントローラ５を１つずつ操作する４人のプレイヤとの合計５人のプレイヤによってゲームが行われる。以下では、コントローラ５を用いる各プレイヤを「第１プレイヤ」と呼び、第１プレイヤの操作対象を「第１オブジェクト」と呼ぶ。また、端末装置７を用いるプレイヤを「第２プレイヤ」と呼び、第２プレイヤの操作対象を「第２オブジェクト」と呼ぶ。なお、他の実施形態においては、コントローラ５の数はいくつであってもよく、端末装置７を用いるプレイヤが１人でゲームを行ってもよい。

【0152】

各プレイヤはそれぞれ、ゲーム空間に登場する操作対象を操作してゲームを行う。すなわち、ゲーム装置３は、各コントローラ５に対する操作を表す各コントローラ操作データと、端末装置７に対する操作を表す端末操作データとを取得する。なお、本実施形態においては、ゲーム装置３は、これらの操作データに加えて、端末装置７が備える撮像部（カメラ５６）による撮像画像（カメラ画像）のデータを取得する。そして、ゲーム装置３は、仮想のゲーム空間内において、コントローラ操作データに基づいて第１オブジェクトの動作をそれぞれ制御し、端末操作データに基づいて第２オブジェクトの動作を制御する。なお、ゲームシステム１によって実行されるゲームは、どのようなゲーム内容であってもよいが、本実施形態では、鬼ごっこのゲームであるとする。具体的には、本ゲームでは、第２プレイヤは、第１オブジェクトを捕まえるように第２オブジェクトを移動させ、第１プレイヤは、第２オブジェクトから逃げるように第１オブジェクトを移動させて遊ぶ。

【0153】

図１３は、本実施形態におけるテレビ用画像の一例を示す図である。テレビ２に表示されるテレビ用画像は、各第１プレイヤのためのゲーム画像である。なお、本実施形態においては、第１プレイヤは４人であるので、各第１プレイヤのための４つのゲーム画像が生成され、各ゲーム画像がテレビ２に表示される。すなわち、図１３に示すように、テレビ２の画面領域は、コントローラ５の数（第１プレイヤの人数。ここでは４つ）に分割され、分割された各領域１００ａ〜１００ｄにゲーム画像がそれぞれ表示される。

【0154】

また、本実施形態においては、第１プレイヤのためのゲーム画像として、各第１オブジェクト１０１ａ〜１０１ｄに対応するゲーム画像が生成される。具体的には、本実施形態においては、第１オブジェクト１０１を含むゲーム画像が生成され、より具体的には、各第１オブジェクト１０１ａ〜１０１ｄを後方から見たゲーム空間を表すゲーム画像が生成される（図１３参照）。なお、他の実施形態においては、第１オブジェクト１０１に対応するゲーム画像として、第１オブジェクト１０１の位置からゲーム空間を見たゲーム画像（１人称視点のゲーム画像）が生成されてもよい。以上より、本実施形態においては、テレビ２の画面領域を分割した４つの領域１００ａ〜１００ｄには、４つの第１オブジェクト１０１ａ〜１０１ｄが１つずつ対応付けられ、各領域１００ａ〜１００ｄには、その領域に対応する第１オブジェクト１０１を含むゲーム空間の画像が表示される。

【0155】

さらに、本実施形態においては、テレビ２にはプレイヤ画像１０３が表示される。プレイヤ画像は、上記カメラ画像の画像領域のうちで、プレイヤの顔を含む領域の画像である。詳細は後述するが、本実施形態においてはカメラ画像に対して所定の処理が施された結果得られる画像がプレイヤ画像として表示される。なお、他の実施形態においては、カメラ画像がそのままプレイヤ画像として用いられてもよい。本実施形態においては、プレイヤ画像は、端末装置７を用いる第２プレイヤ（の顔）を表す画像である。プレイヤ画像は、テレビ２の画面上において任意の位置に表示されてもよい。ここでは、画面の中央に表示される（図１３参照）。

【0156】

また、ゲームシステム１においてゲーム処理が実行される間において、プレイヤ画像が表示されるタイミングはいつでもよい。図１３においては、プレイヤ画像１０３は、ゲーム中においてリアルタイムに表示される。したがって、各プレイヤは、ゲーム中の第２プレイヤの表情をリアルタイムで見て楽しむことができる。また、詳細は後述するが、本実施形態においては、所定のゲーム条件が満たされた場合に、ゲーム装置３は、当該ゲーム条件が満たされた時点で取得されたカメラ画像に基づくプレイヤ画像を保存し、その後テレビ２に表示させる。また、ゲーム装置３は、ゲーム中の他、例えばゲームクリアした後やゲームオーバーになった後等、ゲーム終了後においてプレイヤ画像を表示してもよい。

【0157】

以上のように、ゲーム装置３は、仮想空間を表すゲーム画像であって第１オブジェクト１０１に対応するゲーム画像と、カメラ画像の少なくとも一部の画像（プレイヤ画像）とを含むテレビ用画像を生成する。そして、テレビ用画像を端末装置７とは別体のテレビ２へ出力する。したがって、各プレイヤは、ゲームをプレイ中の第２プレイヤの表情をテレビ２で見て楽しむことができる。

【0158】

図１４は、本実施形態における端末用画像の一例を示す図である。端末装置７に表示される端末用画像は、第２プレイヤのためのゲーム画像である。ゲーム装置３は、仮想のゲーム空間を表すゲーム画像であって第２オブジェクトに対応する端末用画像を生成し、端末用画像を端末装置７へ出力する。すなわち、図１４に示すように、端末装置７には、第２オブジェクト１０２に対応するゲーム画像として、第２オブジェクト１０２を含むゲーム画像が表示される。本実施形態においては、ゲーム装置３は、第２オブジェクト１０２を上方から見たゲーム空間を表すゲーム画像を生成する。なお、他の実施形態においては、ゲーム装置３は、第２オブジェクト１０２を後方から見たゲーム空間を表すゲーム画像を生成してもよいし、第２オブジェクト１０２の位置からゲーム空間を見たゲーム画像（１人称視点のゲーム画像）を生成してもよい。

【0159】

以上のように、本実施形態においては、第１プレイヤが操作する第１オブジェクト１０１に対応するゲーム画像と、第２プレイヤ（の顔）を表すプレイヤ画像とがテレビ２に表示される。各プレイヤが見ることができるテレビ２にプレイヤ画像が表示されるので、本実施形態によれば、第２プレイヤ以外の他のプレイヤ（あるいはゲームを見ている人）も第２プレイヤの表情を見て楽しむことができる。これによって、より興趣性の高いゲームを提供することができる。さらに、端末装置７にはプレイヤ画像が表示されないので、第２プレイヤは、自分の顔の画像を気にすることなくゲームをプレイすることができる。また、端末装置７の画面上においてプレイヤ画像がゲーム画像の領域を隠すこともないので、第２プレイヤのゲームプレイを妨げることなく、プレイヤ画像を提示することができる。

【0160】

［６．ゲーム処理の詳細］
次に、本ゲームシステムにおいて実行されるゲーム処理の詳細を説明する。図１５は、ゲーム処理において用いられる各種データを示す図である。図１５において、ゲーム装置３のメインメモリ（外部メインメモリ１２または内部メインメモリ１１ｅ）に記憶される主なデータを示す図である。図１５に示すように、ゲーム装置３のメインメモリには、ゲームプログラム１１０、受信データ１１１、および処理用データ１１６が記憶される。なお、メインメモリには、図１５に示すデータの他、ゲームに登場する各種オブジェクトの画像データやゲームに使用される音声データ等、ゲームに必要なデータが記憶される。また、図１５に示す各データが記憶される記憶手段はどのようなものであってもよく、他の実施形態においては、当該各データの一部はフラッシュメモリ１７やＶＲＡＭ１１ｄ等に記憶されてもよい。

【0161】

ゲームプログラム１１０は、ゲーム装置３に電源が投入された後の適宜のタイミングで光ディスク４からその一部または全部が読み込まれてメインメモリに記憶される。なお、ゲームプログラム１１０は、光ディスク４に代えて、フラッシュメモリ１７やゲーム装置３の外部装置から（例えばインターネットを介して）取得されてもよい。また、ゲームプログラム１１０に含まれる一部（例えば、コントローラ５および／または端末装置７の姿勢を算出するためのプログラム）については、ゲーム装置３内に予め記憶されていてもよい。

【0162】

受信データ１１１は、コントローラ５および端末装置７から受信（取得）される各種のデータである。受信データ１１１は、コントローラ操作データ１１２、端末操作データ１１３、カメラ画像データ１１４、および、マイク音データ１１５を含む。コントローラ５が複数接続される場合には、コントローラ操作データ１１２はコントローラ５毎に記憶される。端末装置７が複数接続される場合には、端末操作データ１１３、カメラ画像データ１１４、およびマイク音データ１１５は端末装置７毎に記憶される。

【0163】

コントローラ操作データ１１２は、コントローラ５に対するユーザ（第１プレイヤ）の操作を表すデータであり、コントローラ５に対する操作に基づいてコントローラ５から出力（送信）される。コントローラ操作データ１１２は、コントローラ５から送信されてゲーム装置３において取得され、メインメモリに記憶される。なお、ゲーム装置３は、複数のコントローラと通信可能であり、各コントローラから操作データをそれぞれ取得することが可能である。コントローラが複数である場合、各コントローラからそれぞれ送信されてくる各コントローラ操作データがメインメモリにそれぞれ記憶される。メインメモリには、コントローラ毎に最新の（最後に取得された）ものから順に所定個数のコントローラ操作データが記憶されてもよい。

【0164】

本実施形態においては、コントローラ操作データ１１２は、メインコントローラ８から取得されるデータとして、メイン操作ボタンデータ、メイン加速度データ、角速度データ、およびマーカ座標データを含む。メイン操作ボタンデータは、メインコントローラ８に設けられる各操作ボタン３２ａ〜３２ｉに対する入力状態を表すデータである。具体的には、メイン操作ボタンデータは、各操作ボタン３２ａ〜３２ｉが押下されているか否かを表す。メイン加速度データは、メインコントローラ８の加速度センサ３７によって検出された加速度（加速度ベクトル）を表すデータである。ここでは、メイン加速度データは、図３に示すＸＹＺの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであってもよい。角速度データは、メインコントローラ８におけるジャイロセンサ４８によって検出された角速度を表すデータである。ここでは、角速度データは、図３に示すＸＹＺの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。マーカ座標データ、撮像情報演算部３５の画像処理回路４１によって算出される座標、すなわち上記マーカ座標を表すデータである。マーカ座標は、撮像素子４０によって撮像された画像に対応する平面上の位置を表すための２次元座標系で表現され、マーカ座標データは、当該２次元座標系における座標値を表す。

【0165】

また、本実施形態においては、サブコントローラ９から（メインコントローラ８を介して）取得されるデータとして、コントローラ操作データ１１２は、サブスティックデータ、サブ操作ボタンデータ、および、サブ加速度データを含む。サブスティックデータは、サブコントローラ９のアナログジョイスティック９１に対する操作を表すデータである。具体的には、サブスティックデータは、アナログジョイスティック９１に対する傾倒方向および傾倒量を表す。サブ操作ボタンデータは、上記サブコントローラ９に設けられる各操作ボタンに対する入力状態を表すデータである。具体的には、サブ操作ボタンデータは、各操作ボタンが押下されているか否かを表す。サブ加速度データは、サブコントローラ９の加速度センサ９３によって検出された加速度（加速度ベクトル）を表すデータである。ここでは、サブ加速度データは、図７に示すｘ’ｙ’ｚ’の３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであってもよい。

【0166】

なお、コントローラ操作データ１１２は、コントローラ５に対するプレイヤの操作を表すものであればよく、本実施形態においてコントローラ操作データ１１２に含まれる各データの一部のみを含むものであってもよい。また、コントローラ５が他の入力手段（例えば、タッチパネルやアナログスティック等）を有する場合には、コントローラ操作データ１１２は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、コントローラ５自体の姿勢をゲーム操作として用いる場合には、コントローラ操作データ１１２は、メイン加速度データ、角速度データ、マーカ座標データ、またはサブ加速度データのように、コントローラ５自体の姿勢に応じて値が変化するデータを含むようにする。

【0167】

端末操作データ１１３は、端末装置７に対するプレイヤの操作を表すデータである。端末操作データ１１３は、端末装置７から送信されてゲーム装置３において取得され、メインメモリに記憶される。なお、ゲーム装置３は、複数の端末装置７と通信可能であり、各端末装置から操作データをそれぞれ取得することが可能である。端末装置７が複数である場合、各端末装置からそれぞれ送信されてくる各端末操作データがメインメモリにそれぞれ記憶される。メインメモリには、端末装置毎に最新の（最後に取得された）ものから順に所定個数の端末操作データが記憶されてもよい。

【0168】

端末操作データ１１３は、角速度データ、加速度データ、操作ボタンデータ、スティックデータ、タッチ位置データ、および方位データを含む。角速度データは、ジャイロセンサ７４によって検出された角速度を表すデータである。本実施形態では、角速度データは、図９に示すｘｙｚの３軸回りのそれぞれの角速度を表すものであるが、他の実施形態においては、任意の１軸以上の軸回り角速度を表すものであればよい。加速度データは、加速度センサ７３によって検出された加速度（加速度ベクトル）を表すデータである。本実施形態では、加速度データは、図９に示すｘｙｚの３軸の方向に関する加速度を各成分とする３次元の加速度を表すものであるが、他の実施形態においては、任意の１以上の方向に関する加速度を表すものであればよい。上記ジャイロセンサ７４および加速度センサ７３は、慣性センサの一例である。ゲーム装置３は、慣性センサの検出結果（角速度データおよび加速度データ）に基づいて端末装置７の姿勢を算出することができる。

【0169】

操作ボタンデータは、端末装置７に設けられる各操作ボタン５４Ａ〜５４Ｌに対する入力状態を表すデータである。具体的には、操作ボタンデータは、各操作ボタン５４Ａ〜５４Ｌが押下されているか否かを表す。スティックデータは、アナログスティック５３（アナログスティック５３Ａおよび５３Ｂ）のスティック部がスライドした（または傾倒した）方向および量を表すデータである。タッチ位置データは、タッチパネル５２の入力面において入力が行われた位置（タッチ位置）を表すデータである。なお、タッチパネル５２がマルチタッチ方式である場合には、タッチ位置データは複数のタッチ位置を表すこともある。方位データは、磁気センサ７２によって検出された方位を表すデータである。本実施形態では、方位データは、端末装置７を基準として所定の方位（例えば北）の向きを表す。なお、地磁気以外の磁界が発生している場合においては、方位データは厳密には絶対的な方位（北等）を示さないことになる。ただし、その場所における磁界の方向に対する端末装置７の相対的な方向が方位データによって示されるので、そのような場合であっても方位データに基づいて端末装置７の姿勢または姿勢の変化を算出することが可能である。

【0170】

なお、端末操作データ１１３は、端末装置７に対する操作を表すものであればよく、本実施形態において端末操作データ１１３が含む上記各データのいずれか１つのみを含むものであってもよい。また、端末装置７が他の入力手段（例えば、タッチパッドや、コントローラ５の撮像手段等）を有する場合には、端末操作データ１１３は、当該他の入力手段に対する操作を表すデータを含んでいてもよい。なお、本実施形態のように端末装置７自体の動きをゲーム操作として用いる場合には、端末操作データ１１３は、加速度データ、角速度データ、または方位データのように、端末装置７の動きに関する情報を表すデータ（動きに応じて値が変化するデータ）を含むことが好ましい。なお、端末装置７の動きに関する情報とは、例えば、端末装置７の位置、姿勢、位置の変化（速度）、姿勢の変化（角速度）、加速度、角加速度等の情報である。

【0171】

カメラ画像データ１１４は、端末装置７のカメラ５６によって撮像されたカメラ画像（撮像画像）を表すデータである。カメラ画像データ１１４は、端末装置７から送信されてくる圧縮された画像データがコーデックＬＳＩ２７によって伸張された画像データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。マイク音データ１１５は、端末装置７のマイク７９によって検出された音声（マイク音）を表すデータである。マイク音データ１１５は、端末装置７から送信されてくる圧縮された音声データがコーデックＬＳＩ２７によって伸張された音声データであり、入出力プロセッサ１１ａによってメインメモリに記憶される。なお、端末装置７は、端末操作データおよびカメラ画像データを出力すればよく、マイク音声データを出力しなくてもよい。

【0172】

処理用データ１１６は、後述するゲーム処理（図１６）において用いられるデータである。処理用データ１１６は、プレイヤ画像データ１１７、保存プレイヤ画像データ１１８、第１オブジェクトデータ１１９、第２オブジェクトデータ１２０、テレビ用カメラデータ１２１、および、端末用カメラデータ１２２を含む。なお、図１５に示すデータの他、処理用データ１１６は、ゲームに登場する各種オブジェクトに設定される各種パラメータを表すデータ等、ゲーム処理において用いられる各種データを含む。

【0173】

プレイヤ画像データ１１７は、テレビ２に表示されるプレイヤ画像のデータである。上述のように、プレイヤ画像データ１１７はカメラ画像データ１１４に基づいて生成される。なお、本実施形態においては、新たなプレイヤ画像が生成される度にプレイヤ画像データ１１７が更新される。保存プレイヤ画像データ１１８は、所定のゲーム条件が満たされたことに応じて生成されたプレイヤ画像（「保存プレイヤ画像」と呼ぶ）である。つまり、本実施形態においては、所定のゲーム条件が満たされた場合、その時点のプレイヤ画像データ１１７は、保存プレイヤ画像データ１１８としてメインメモリに記憶される。
以下では、
なお、複数種類の保存プレイヤ画像データ１１８がメインメモリに記憶されてもよい。なお、上記プレイヤ画像データ１１７および保存プレイヤ画像データ１１８は、ＶＲＡＭ１１ｄに記憶されてもよい。

【0174】

第１オブジェクトデータ１１９は、ゲーム空間における上記第１オブジェクト１０１の位置および向きを表す。本実施形態においては、複数（４つ）の第１オブジェクト１０１ａ〜１０１ｄが登場するので、第１オブジェクト毎に第１オブジェクトデータ１１９がメインメモリに記憶される。また、第２オブジェクトデータ１２０は、ゲーム空間における上記第２オブジェクトの位置および向きを表す。

【0175】

テレビ用カメラデータ１２１は、テレビ用画像を生成するためにゲーム空間に設定される仮想カメラ（「テレビ用カメラ」と呼ぶ）の位置および姿勢を表す。本実施形態においては、テレビ用カメラと各第１オブジェクトとを対応させるべく、第１オブジェクトの数と同数のテレビ用カメラが設定される。本実施形態においては、４つのテレビ用カメラが設定されるので、テレビ用カメラ毎にテレビ用カメラデータ１２１がメインメモリに記憶される。また、端末用カメラデータ１２２は、端末用画像を生成するためにゲーム空間に設定される仮想カメラ（「端末用カメラ」と呼ぶ）の位置および姿勢を表す。

【0176】

次に、ゲーム装置３において実行されるゲーム処理の詳細を、図１６〜図２０を用いて説明する。図１６は、ゲーム装置３において実行されるゲーム処理の流れを示すメインフローチャートである。ゲーム装置３の電源が投入されると、ゲーム装置３のＣＰＵ１０は、図示しないブートＲＯＭに記憶されている起動プログラムを実行し、これによってメインメモリ等の各ユニットが初期化される。そして、光ディスク４に記憶されたゲームプログラムがメインメモリに読み込まれ、ＣＰＵ１０によって当該ゲームプログラムの実行が開始される。図１６に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。なお、ゲーム装置３においては、電源投入後にゲームプログラムがすぐに実行される構成であってもよいし、電源投入後にまず所定のメニュー画面を表示する内蔵プログラムが実行され、その後ユーザによってゲームの開始が指示されたことに応じてゲームプログラムが実行される構成であってもよい。

【0177】

なお、図１６〜図２０に示すフローチャートの各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判断ステップで利用される閾値も、単なる一例に過ぎず、必要に応じて他の値を採用してもよい。また、本実施形態では、上記フローチャートの各ステップの処理をＣＰＵ１０が実行するものとして説明するが、上記フローチャートの一部のステップの処理を、ＣＰＵ１０以外のプロセッサや専用回路が実行するようにしてもよい。

【0178】

まずステップＳ１において、ＣＰＵ１０は初期処理を実行する。初期処理は、仮想のゲーム空間を構築し、ゲーム空間に登場する各オブジェクトを初期位置に配置したり、ゲーム処理で用いる各種パラメータの初期値を設定したりする処理である。なお、本実施形態においては、各オブジェクト１０１および９２が所定の位置および所定の向きに配置される。すなわち、各第１オブジェクト１０１ａ〜１０１ｄの位置および向きを表すデータがそれぞれ第１オブジェクトデータ１１９としてメインメモリに記憶され、第２オブジェクト１０２の位置および向きを表すデータが第２オブジェクトデータ１２０としてメインメモリに記憶される。また、各オブジェクト１０１および９２の位置および向きに応じた初期位置および初期姿勢で各仮想カメラ（テレビ用カメラおよび端末用カメラ）がそれぞれ設定される。各テレビ用カメラの初期位置および初期姿勢を表すデータは、テレビ用カメラデータ１２１としてメインメモリに記憶され、端末用カメラの初期位置および初期姿勢を表すデータは、端末用カメラデータ１２２としてメインメモリに記憶される。ステップＳ１の次にステップＳ２の処理が実行される。以降、ステップＳ２〜Ｓ９の一連の処理からなる処理ループが所定時間（１フレーム時間。例えば１／６０秒）に１回の割合で繰り返し実行される。

【0179】

ステップＳ２において、ＣＰＵ１０は、各コントローラ５および端末装置７から送信されてくるデータをそれぞれ取得する。各コントローラ５はコントローラ操作データをゲーム装置３へ繰り返し送信するので、ゲーム装置３においては、コントローラ通信モジュール１９が各コントローラ操作データを逐次受信し、受信された各コントローラ操作データが入出力プロセッサ１１ａによってメインメモリに逐次記憶される。また、端末装置７は、端末操作データとカメラ画像データとマイク音声データとをゲーム装置３へ繰り返し送信するので、ゲーム装置３はこれら３種類のデータを逐次受信する。ゲーム装置３においては、端末通信モジュール２８が各データを逐次受信し、カメラ画像データおよびマイク音データについてはコーデックＬＳＩ２７によって伸張処理が逐次施される。そして、入出力プロセッサ１１ａが端末操作データとカメラ画像データとマイク音データとをメインメモリに逐次記憶する。メインメモリに記憶された受信データ１１１（各データ１１２〜１１５）は、適宜のタイミングでＣＰＵ１０によって読み出される。ステップＳ２の次にステップＳ３の処理が実行される。

【0180】

ステップＳ３において、ＣＰＵ１０はカメラ画像処理を実行する。カメラ画像処理は、テレビ２に表示すべきプレイヤ画像をカメラ画像に基づいて生成する処理である。以下、図１７を参照して、カメラ画像処理の詳細について説明する。

【0181】

図１７は、図１６に示すカメラ画像処理（ステップＳ３）の詳細な流れを示すフローチャートである。カメラ画像処理においてはまずステップＳ１１において、ＣＰＵ１０は、ステップＳ２で取得されたカメラ画像に対して画像認識処理を実行する。この画像認識処理は、カメラ画像から何らかの特徴を抽出し、抽出した特徴に関する情報を算出する処理であるが、具体的な処理はどのような処理であってもよい。本実施形態では、ＣＰＵ１０は、カメラ画像のうちから顔を認識する認識処理を実行する。なお、画像認識処理の具体的な方法は従来の認識方法と同様であってもよい。また、画像認識処理においては、第２プレイヤの顔を認識することが目的であるので、例えばカメラ画像に複数の顔が含まれる場合には、最も大きい顔を認識するようにすることが好ましい。ステップＳ１１の具体的な処理としては、ＣＰＵ１０は、カメラ画像データ１１４をメインメモリから読み出し、上記認識処理を実行する。そして、この認識処理の結果、例えば顔の特徴点（目や鼻や口等）の位置が算出され、ＣＰＵ１０は、認識処理の結果として算出されたデータをメインメモリに記憶する。なお、カメラ画像から顔（上記特徴点）が検出されない場合等、画像認識処理が失敗した場合には、失敗したことを表すデータがメインメモリに記憶される。ステップＳ１１の次にステップＳ１２の処理が実行される。

【0182】

なお、本実施形態では、ステップＳ１１の画像認識処理が１フレーム時間内に実行され、ステップＳ２〜Ｓ９の処理ループ内で認識処理が完了されるものとした。ここで、カメラ画像の解像度やＣＰＵ１０等の処理能力によっては、１回の画像認識処理が１フレーム時間で完了することが困難な場合もある。そのため、他の実施形態においては、画像認識処理は、１フレーム時間を周期として実行される、画像の生成・表示処理（ステップＳ５〜Ｓ８）等の処理とは必ずしも同じ周期で実行されなくてもよい。つまり、１回のステップＳ１１の処理では、画像認識処理全体のうちの一部の処理だけが実行されてもよい。この場合、１回のステップＳ１１で実行される処理は、ステップＳ２〜Ｓ９の一連の処理が１フレーム時間内に完了することができるような処理量に調整される。換言すれば、画像認識処理は、ステップＳ２〜Ｓ９の処理ループとは別に並列的に実行され、ＣＰＵ１０がアイドル状態のときに実行されてもよい。

【0183】

ステップＳ１２において、ＣＰＵ１０は、画像認識処理が成功したか否かを判定する。すなわち、ＣＰＵ１０は、ステップＳ１１の認識処理の結果を表すデータをメインメモリから読み出し、当該データに基づいて判定を行う。ステップＳ１１の判定結果が肯定である場合、ステップＳ１２の処理が実行される。一方、ステップＳ１１の判定結果が否定である場合、ＣＰＵ１０はカメラ画像処理を終了する。このとき、認識ができなかった（失敗した）ことを示すために、認識失敗用のプレイヤ画像を表示するようにしてもよい。認識失敗用の画像は、たとえば砂嵐の画像等を用いてもよい。

【0184】

ステップＳ１３およびＳ１４において、ＣＰＵ１０は、第２プレイヤの顔の画像を含む適切な画像となるように、カメラ画像を補正する処理を実行する。なお、プレイヤ画像は、カメラ画像に基づいて生成されればよく、例えばカメラ画像がそのままプレイヤ画像として用いられてもよい。ただし、カメラ画像がそのままプレイヤ画像として用いられる場合には、プレイヤ画像において第２プレイヤの顔が見にくくなるおそれがある。すなわち、端末装置７と第２プレイヤとの位置関係によっては、第２プレイヤの顔がカメラ画像の中央付近に映っていなかったり、（端末装置７を傾けて把持している場合に）第２プレイヤが傾いて映っていたりすることが考えられる。ステップＳ１３およびＳ１４においては、ＣＰＵ１０は、カメラ画像を回転したり、カメラ画像から一部の領域を抽出したりすることで、第２プレイヤの顔が見やすく表示されるように、カメラ画像に対して処理を施す。以下、ステップＳ１３およびＳ１４の処理の詳細を説明する。

【0185】

ステップＳ１３において、ＣＰＵ１０は、カメラ画像の傾きを補正する。ここで、本実施形態においては、第２ユーザは端末装置７を把持して操作を行い、さらに、端末装置７を傾ける操作を行う場合も考えられる。そのため、端末装置７がＬＣＤ５１の画面に垂直な方向（図８に示すｙ軸方向）に関して傾いて把持される場合もある。この場合には、カメラ画像においては第２プレイヤの顔が傾いて現される。したがって、ＣＰＵ１０は、第２プレイヤの顔が上下方向に真っ直ぐに現されるように、カメラ画像を回転させる補正処理を行う。なお、カメラ画像を回転させる量（角度）および方向は、上記の画像認識処理の結果に基づいて決定されてもよいし、端末操作データに基づいて算出（推測）される端末装置７の傾き（上記ｙ軸方向の回転に関する傾き）に基づいて決定されてもよい。例えば、画像認識処理において両目の位置が得られる場合、ＣＰＵ１０は、両目が左右に水平になるようにカメラ画像を回転させてよい。また、ＣＰＵ１０は、角速度データ、加速度データ、および方位データの少なくとも１つに基づいて端末装置７の傾きを算出し、端末装置７の傾き方向とは逆方向に、端末装置７の傾き量と同じ量だけカメラ画像を回転させてもよい。具体的には、ＣＰＵ１０は、カメラ画像データ１１４をメインメモリから読み出し、上記の補正処理を行う。そして、補正処理が行われたカメラ画像のデータをメインメモリ（あるいはＶＲＡＭ１１ｄ）に記憶する。ステップＳ１３の次にステップＳ１４の処理が実行される。

【0186】

ステップＳ１４において、ＣＰＵ１０は、カメラ画像の領域のうちで、プレイヤ画像としてテレビ２に表示する領域を抽出する。ここで、カメラ画像における第２プレイヤの顔の位置や大きさは、第２プレイヤと端末装置７との位置関係によって異なる。そのため、第２プレイヤによる端末装置７の持ち方によっては、カメラ画像の中央に第２プレイヤの顔が位置しなかったり、プレイヤの顔が小さく映ったりすることがある。したがって、ＣＰＵ１０は、第２プレイヤの顔が所定の大きさで画像の中央付近に現されるように、カメラ画像から領域を抽出する。抽出すべき領域を決定する方法はどのような方法であってもよいが、例えば、ＣＰＵ１０は、上記認識処理によって顔の位置および大きさを認識し、認識した顔の位置および大きさに基づいて領域を決定するようにしてもよい。また例えば、ＣＰＵ１０は、カメラ画像のうちの予め定められた所定領域を抽出するようにしてもよい。具体的には、ＣＰＵ１０は、ステップＳ１３で記憶されたデータをメインメモリから読み出し、プレイヤ画像として用いる領域を抽出する。そして、抽出した領域の画像データをメインメモリ（あるいはＶＲＡＭ１１ｄ）に記憶する。ステップＳ１４の次にステップＳ１５の処理が実行される。

【0187】

ステップＳ１５において、ＣＰＵ１０は、ステップＳ１４で抽出された領域の画像に対して所定の加工処理を実行する。この加工処理は、どのような処理であってもよいが、例えば、プレイヤの顔に対して所定の画像を合成する処理や、プレイヤの顔に対して変更を加える処理である。すなわち、ＣＰＵ１０は、カメラ画像のうちで上記画像認識処理によって認識された顔の画像に対して所定の画像を合成してもよい。なお、上記所定の画像はどのような画像であってもよく、例えば、ゲームに登場するキャラクタ（第２オブジェクト等）を表す画像であってもよい。具体的には、ＣＰＵ１０は、キャラクタがかぶっている帽子と同じ帽子の画像を上記抽出された画像に合成したり、キャラクタのひげと同じひげの画像を上記抽出された画像に合成したりしてもよい。また、ＣＰＵ１０は、カメラ画像のうちで上記画像認識処理によって認識された顔の画像に対して所定の変更を加えてもよい。例えば、顔の一部（目や鼻や口）を大きくしたり、顔の色を変化したりするようにしてもよい。また、加工処理の内容は、プレイヤが指定することができるようにしてもよい。ステップＳ１５の具体的な処理としては、ＣＰＵ１０は、ステップＳ１４で記憶された画像データを読み出し、上記加工処理を実行する。そして、加工処理後の画像データをメインメモリ（あるいはＶＲＡＭ１１ｄ）に記憶する。ステップＳ１５の次にステップＳ１６の処理が実行される。

【0188】

上記ステップＳ１５のように、本実施形態においては、ＣＰＵ１０は、カメラ画像のうちで上記認識処理によって認識された顔の画像に対して所定の加工処理を施す。そして、加工処理後の画像を含む第１ゲーム画像が生成される。したがって、本実施形態においては、テレビ２に表示される第２プレイヤの顔にゲーム内容に応じた画像を加えたり、ゲーム演出上の効果を与えたり、見栄えよく顔を表示させたりすることができる。

【0189】

ステップＳ１７において、ＣＰＵ１０はプレイヤ画像を更新する。具体的には、上記ステップＳ１５で記憶された画像データをメインメモリから読み出し、新たなプレイヤ画像データ１１７としてメインメモリに記憶する。ステップＳ１７の後、ＣＰＵ１０はカメラ画像処理を終了する。

【0190】

以上のカメラ画像処理においては、取得されたカメラ画像に対してステップＳ１３〜Ｓ１５の各処理が実行されることによってプレイヤ画像が生成された。ここで、他の実施形態においては、上記各処理の全部または一部は実行されなくてもよく、カメラ画像がそのままプレイヤ画像として用いられてもよい。

【0191】

また、上記カメラ画像処理においては、１回の画像認識処理（ステップＳ１１）が１回のステップＳ２〜Ｓ９の処理ループ内で完了するものとして説明を行ったが、上述のように、１回の画像認識処理は１回の上記処理ループ内で完了しなくてもよい。すなわち、ＣＰＵ１０は、カメラ画像のデータを逐次取得し（ステップＳ２）、カメラ画像のデータが取得されるよりも少ない頻度でプレイヤ画像の更新（ステップＳ１６）を行ってもよい。つまり、テレビ２に表示される画像のうちで、プレイヤ画像の更新頻度は、ゲーム空間を表す画像の更新頻度よりも少なくてもよい。これによれば、画像認識処理によるＣＰＵ１０の処理負担を軽減することができる。

【0192】

図１６の説明に戻り、ステップＳ３の次のステップＳ４において、ＣＰＵ１０は、ゲーム制御処理を実行する。ゲーム制御処理は、プレイヤによるゲーム操作に従ってゲーム空間内のオブジェクトを動作させる処理等を実行し、ゲームを進行させる処理である。具体的には、本実施形態におけるゲーム制御処理においては、各オブジェクト１０１および９２の移動を制御する処理、および、各仮想カメラを制御する処理等が実行される。以下、図１８を参照して、ゲーム制御処理の詳細について説明する。

【0193】

図１８は、図１６に示すゲーム制御処理（ステップＳ４）の詳細な流れを示すフローチャートである。ゲーム制御処理においてはまずステップＳ２１において、ＣＰＵ１０は、各第１オブジェクト１０１のうち１つを選択する。ここで選択される第１オブジェクト１０１は、ステップＳ２１〜Ｓ２４の処理ループにおいてまだ選択されていない第１オブジェクト１０１である。ステップＳ２１の次にステップＳ２２の処理が実行される。

【0194】

ステップＳ２２において、ＣＰＵ１０は、ステップＳ２１で選択された第１オブジェクト１０１の移動を制御する。第１オブジェクト１０１の移動は、コントローラ操作データ１１２に基づいて制御されればどのように制御されてもよい。本実施形態においては、ＣＰＵ１０は、例えば、サブコントローラ９のアナログスティック９１に対する方向入力に応じて第１オブジェクト１０１の移動後の位置を算出する。すなわち、第１オブジェクト１０１は、アナログスティック９１の操作量（傾倒量）に応じた移動量だけ、操作方向（傾倒方向）に応じた方向へ移動される。ステップＳ２２の具体的な処理としては、ＣＰＵ１０は、第１オブジェクト１０１の移動前の位置および向きを表す第１オブジェクトデータ１１９と、コントローラ操作データ１１２とをメインメモリから読み出す。そして、当該移動前と位置および向きとサブスティックデータとに基づいて移動後の位置および向きを算出する。算出された移動後の位置および向きを表すデータは、新たな第１オブジェクトデータ１１９としてメインメモリに記憶される。以上のように、ＣＰＵ１０は、仮想空間内に配置される第１オブジェクト１０１を操作対象としてコントローラ操作データに基づいて移動させる制御を行う。また、本実施形態においては、上記ステップＳ２２の処理が第１オブジェクトの数だけ繰り返し実行されるので、ＣＰＵ１０は、各コントローラ操作データに基づいて複数の操作対象（第１オブジェクト）の動作をそれぞれ制御する。ステップＳ２２の次に、ステップＳ２３の処理が実行される。

【0195】

ステップＳ２３において、ＣＰＵ１０は、第１オブジェクト１０１に対応するテレビ用カメラをゲーム空間内に設定する。この第１オブジェクト１０１は、ステップＳ２２で移動が制御された第１オブジェクト１０１である。ここで、テレビ用カメラの制御方法はどのような方法であってもよいが、第１オブジェクト１０１の移動に応じて移動するように制御されることが好ましい。本実施形態においては、ＣＰＵ１０は、第１オブジェクト１０１が視野範囲に含まれるようにテレビ用カメラを設定する。つまり、テレビ用カメラは、対応する第１オブジェクト１０１が、当該テレビ用カメラによって生成されるゲーム画像に含まれるように設定される。具体的には、テレビ用カメラは、第１オブジェクト１０１の後方であって第１オブジェクト１０１よりもやや高い所定位置に設定され、第１オブジェクト１０１の方を向く姿勢に設定される（図１３参照）。なお、他の実施形態においては、テレビ用カメラは、第１オブジェクト１０１の位置に設定されてもよい。このとき、ゲーム画像はいわゆる一人称視点のゲーム画像となる。ステップＳ２３の具体的な処理としては、ＣＰＵ１０は、第１オブジェクトデータ１１９をメインメモリから読み出し、第１オブジェクトデータ１１９に基づいてテレビ用カメラの位置および向きを算出する。そして、算出された位置および向きを表すデータをテレビ用カメラデータ１２１としてメインメモリに記憶する。ステップＳ２３の次にステップＳ２４の処理が実行される。

【0196】

ステップＳ２４において、ＣＰＵ１０は、各第１オブジェクト１０１に対する移動制御が終了したか否か、すなわち、上記ステップＳ２１において全ての第１オブジェクト１０１を選択したか否かを判定する。ステップＳ２４の判定結果が肯定である場合、ステップＳ２５の処理が実行される。一方、ステップＳ２４の判定結果が否定である場合、ステップＳ２１の処理が再度実行される。したがって、上記ステップＳ２１〜Ｓ２４の処理は各第１オブジェクト１０１に対して実行され、これによって各第１オブジェクト１０１が移動される。

【0197】

ステップＳ２５において、ＣＰＵ１０は、ゲーム空間内に配置される第２オブジェクト１０２を操作対象として端末操作データ１１３に基づいて移動させる制御を行う。第２オブジェクト１０２の移動は、端末操作データ１１３に基づいて制御されればどのように制御されてもよい。本実施形態においては、ＣＰＵ１０は、例えば、端末装置７の左アナログスティック５３Ａに対する方向入力に応じて第２オブジェクト１０２の移動後の位置を算出する。すなわち、第２オブジェクト１０２は、左アナログスティック５３Ａの操作量に応じた移動量だけ、操作方向に応じた方向へ移動される。上記ステップＳ２５の具体的な処理としては、ＣＰＵ１０は、第２オブジェクト１０２の移動前の位置および向きを表す第２オブジェクトデータ１２０と端末操作データ１１３とをメインメモリから読み出す。そして、当該移動前の位置および向きと、端末操作データ１１３に含まれるスティックデータとに基づいて移動後の位置および向きを算出する。算出された移動後の位置および向きを表すデータは、新たな第２オブジェクトデータ１２０としてメインメモリに記憶される。ステップＳ２５の次に、ステップＳ２６の処理が実行される。

【0198】

ステップＳ２６において、ＣＰＵ１０は、第２オブジェクト１０２に対応する端末用カメラをゲーム空間内に設定する。ここで、端末用カメラの制御方法はどのような方法であってもよいが、第２オブジェクト１０２の移動に応じて移動するように制御されることが好ましい。本実施形態においては、ＣＰＵ１０は、第２オブジェクト１０２が視野範囲に含まれるように端末用カメラを設定する。つまり、端末用カメラは、第２オブジェクト１０２が、当該端末用カメラによって生成されるゲーム画像に含まれるように設定される。具体的には、端末用カメラは、第２オブジェクト１０２の上方の位置に設定される（図１４参照）。なお、他の実施形態においては、端末用カメラは、テレビ用カメラと同様、第２オブジェクト１０２の後方の位置に設定されてもよい。また、端末用カメラは、第２オブジェクト１０２の位置に設定されてもよい。このとき、ゲーム画像はいわゆる一人称視点のゲーム画像となる。ステップＳ２６の具体的な処理としては、ＣＰＵ１０は、第２オブジェクトデータ１２０をメインメモリから読み出し、第２オブジェクトデータ１２０に基づいて端末用カメラの位置および向きを算出する。そして、算出された位置および向きを表すデータを端末用カメラデータ１２２としてメインメモリに記憶する。ステップＳ２６の次にステップＳ２７の処理が実行される。

【0199】

ステップＳ２７において、ＣＰＵ１０は、所定のゲーム条件が満たされたか否かを判定する。所定のゲーム条件は、ゲームに関する条件であればどのようなものであってもよい。本実施形態においては、ＣＰＵ１０は、各第１オブジェクト１０１ａ〜１０１ｄのいずれかが第２オブジェクト１０２に捕まったことを上記所定の条件として用いる。なお、他の実施形態においては、上記所定の条件は、例えば、操作対象のオブジェクトが特定のアイテムを取得したことや、１つのステージをクリアしたことや、ハイスコアを更新したことや、ゲームオーバーとなったこと等、どのような条件であってもよい。また、上記所定のゲーム条件は、例えば各プレイヤのいずれかが所定の操作を行ったことであってもよい。本実施形態においては、ＣＰＵ１０は、各オブジェクトデータ１１９および１２０をメインメモリから読み出し、各第１オブジェクト１０１ａ〜１０１ｄの位置と第２オブジェクト１０２の位置との位置関係に基づいて、各第１オブジェクト１０１ａ〜１０１ｄのいずれかが第２オブジェクト１０２に捕まったか否かを判定する。ステップＳ２７の判定結果が肯定である場合、ステップＳ２８の処理が実行される。一方、ステップＳ２７の判定結果が否定である場合、ステップＳ２８の処理がスキップされてステップＳ２９の処理が再度実行される。

【0200】

詳細は後述するが、上記ステップＳ２７において捕まったと判定された第１オブジェクト１０１については、当該第１オブジェクトに対応する（テレビ２における）画面領域に、プレイヤ画像が表示される（図２０参照）。なお、ここで表示されるプレイヤ画像は、第１オブジェクトが捕まった時点のプレイヤ画像であり、上記保存プレイヤ画像である。つまり、ステップＳ２７の判定処理は、保存プレイヤ画像を表示するか否かを判定するための処理である。

【0201】

ステップＳ２８において、ＣＰＵ１０はプレイヤ画像を保存する。すなわち、ＣＰＵ１０は、プレイヤ画像データ１１７をメインメモリから読み出し、保存プレイヤ画像データ１１８としてメインメモリに記憶する。これによって、上記所定の条件が満たされたことに応じて生成されたプレイヤ画像を保存することができる。なお、「所定の条件が満たされたことに応じて生成されたプレイヤ画像」とは、所定の条件が満たされた時点で生成されたプレイヤ画像でもよいし、所定の条件が満たされた時点で取得されたカメラ画像に基づいて生成されるプレイヤ画像であってもよい。つまり、他の実施形態において、１回の画像認識処理は１回の上記処理ループ内で完了しない場合には、ＣＰＵ１０は、ステップＳ２８の時点で取得された最新のカメラ画像に基づいて、ステップＳ２８の後で生成されるプレイヤ画像を保存するようにしてもよい。ステップＳ２８の次にステップＳ２９の処理が実行される。

【0202】

ステップＳ２９において、ＣＰＵ１０は、その他のゲーム進行処理を実行する。その他のゲーム進行処理とは、上記ステップＳ２１〜Ｓ２８の処理以外にステップＳ４のゲーム制御処理において実行される処理である。上記その他のゲーム進行処理としては、例えば、プレイヤによって操作されるオブジェクト以外のオブジェクトの動作を制御する処理や、ゲーム空間に設置されるアイテムに関する処理等が考えられる。上記の処理の他、ステップＳ２９においてはゲームの進行に必要な処理が適宜実行される。上記ステップＳ２９の後、ＣＰＵ１０はゲーム制御処理を終了する。

【0203】

図１６の説明に戻り、ステップＳ４のゲーム制御処理の次にステップＳ５の処理が実行される。ステップＳ５においては、テレビ用画像の生成処理が実行される。テレビ用画像の生成処理においては、各第１オブジェクト１０１ａ〜１０１ｄに対応するゲーム画像と、プレイヤ画像とを含むゲーム画像が生成される。以下、図１９を参照して、テレビ用画像の生成処理の詳細について説明する。

【0204】

図１９は、図１６に示すテレビ用画像の生成処理（ステップＳ５）の詳細な流れを示すフローチャートである。テレビ用画像の生成処理においてはまずステップＳ３１において、ＣＰＵ１０およびＧＰＵ１１ｂは、各第１オブジェクトに対応するゲーム画像をそれぞれ生成する。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、各テレビ用カメラから見たゲーム空間を表す各ゲーム画像をそれぞれ生成する。具体的には、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ４のゲーム制御処理の結果を表すデータをメインメモリから読み出し、また、各ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、各ゲーム画像を生成する。なお、上記「ゲーム制御処理の結果を表すデータ」には、各オブジェクトデータ１１９および１２０、ならびに、テレビ用カメラデータ１２１が含まれる。以上によって生成された各ゲーム画像はＶＲＡＭ１１ｄに記憶される。ステップＳ３１の次にステップＳ３２の処理が実行される。

【0205】

ステップＳ３２において、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３１で生成された各ゲーム画像を１つにした画像を生成する。具体的には、生成された４つのゲーム画像のデータがＶＲＡＭ１１ｄから読み出され、４つのゲーム画像を合わせて１つにしたゲーム画像が生成される（図１３参照）。生成されたゲーム画像がＶＲＡＭ１１ｄに記憶され、後述するステップＳ７の処理によってテレビ用画像として表示される。このように、本実施形態では、テレビ２の画面領域が複数に分割され、複数のテレビ用カメラから見たゲーム空間を表す複数の画像が、分割された各領域に配置される。なお、本実施形態においては、テレビ２の画面領域を縦に２分割するとともに横に２分割することによって画面領域を４つの領域に分割し、分割された４つの領域に４つのゲーム画像が対応するようにテレビ用ゲーム画像が生成された。ここで、画面はどのように分割されてもよく、他の実施形態においては、例えば縦または横に４分割されてもよい。また、画面領域が分割される数は、第１プレイヤの数に応じて適宜変更されてもよい。ステップＳ３２の次にステップＳ３３の処理が実行される。

【0206】

ステップＳ３３において、ＣＰＵ１０は、プレイヤ画像を表示するか否かを判定する。ステップＳ３３の処理は、リアルタイムでカメラ画像から生成されるプレイヤ画像を表示するか否かを判定するための処理である。具体的には、ＣＰＵ１０は、上述の画像認識処理（ステップＳ１１）で第２プレイヤの顔が認識されなかったか否か、すなわち、認識処理が失敗したか否かを判定する。なお、ステップＳ３３の判定処理は、上記ステップＳ１２と同様の方法で行うことができる。ステップＳ３３の判定結果が肯定である場合、ステップＳ３４の処理が実行される。一方、ステップＳ３３の判定結果が否定である場合、ステップＳ３４の処理がスキップされてステップＳ３５の処理が実行される。

【0207】

ステップＳ３４において、ＣＰＵ１０およびＧＰＵ１１ｂは、第１オブジェクト１０１に対応するゲーム画像（ステップＳ３２で生成されたゲーム画像）に対してプレイヤ画像を追加する。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３３で記憶された画像データとプレイヤ画像データ１１７とを読み出し、上記ゲーム画像上の所定位置にプレイヤ画像を追加する。プレイヤ画像が追加されたゲーム画像のデータはＶＲＡＭ１１ｂに記憶される。なお、上記所定位置は、どの位置であってもよく、本実施形態においては、ゲーム画像の中央の位置（図１３参照）である。以上のように、ゲーム装置３は、複数の第１オブジェクト１０１ａ〜１０１ｄに１つずつ対応する複数のゲーム画像と、カメラ画像の少なくとも一部の画像（プレイヤ画像）とを含むテレビ用画像を生成する。ステップＳ３４の次にステップＳ３５の処理が実行される。

【0208】

以上のように、本実施形態においては、ゲーム中において第２プレイヤの顔の画像がリアルタイムで取得されてテレビ２に表示される。すなわち、ＣＰＵ１０は、ステップＳ２においてカメラ画像が取得されたことに応じて画像認識処理（ステップＳ１１）を実行し、画像認識処理によって顔が認識されたことに応じて、認識された顔の画像（プレイヤ画像）を含むテレビ用画像を生成する。そして、後述するように、テレビ用画像が生成されたことに応じて当該テレビ用画像がテレビ２へ出力される（ステップＳ７）。したがって、各プレイヤは、第２プレイヤのゲームプレイ中の表情をリアルタイムで見て楽しむことができる。また、本実施形態においては、端末装置７を操作する第２プレイヤの表情が、端末装置７とは異なるテレビ２に表示され、端末装置７には表示されない。そのため、端末用画像にはゲーム空間の画像を広く表示することができ、第２プレイヤにとって見やすいゲーム画像を提供することができる。

【0209】

また、本実施形態においては、カメラ画像において第２プレイヤの顔が含まれない場合等、画像認識処理において顔が認識されない場合には、ステップＳ３４においてプレイヤ画像はテレビ用画像に追加されない。つまり、端末装置７のカメラ５６が第２プレイヤの顔を適切に撮影できていない場合には、カメラ５６によるカメラ画像は表示されない。したがって、本実施形態においては、第２プレイヤの顔が含まれていないカメラ画像がテレビ２に表示されることを防止することができ、意味のない画像でテレビ用画像が見にくくなることを防止することができる。

【0210】

ステップＳ３５において、ＣＰＵ１０は、保存プレイヤ画像を表示するか否かを判定する。この判定は、上記ステップＳ２８の処理によってプレイヤ画像が保存されているか否かによって判定することができる。ステップＳ３５の判定結果が肯定である場合、ステップＳ３６の処理が実行される。一方、ステップＳ３５の判定結果が否定である場合、ステップＳ３６の処理がスキップされてステップＳ３７の処理が実行される。

【0211】

ステップＳ３６において、ＣＰＵ１０は、第１オブジェクト１０１に対応するゲーム画像（ステップＳ３２またはＳ３４で生成されたゲーム画像）に対して保存プレイヤ画像を追加する。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３４（ステップＳ３４の処理が実行されなかった場合にはステップＳ３２）で記憶された画像データと保存プレイヤ画像データ１１８とを読み出し、上記ゲーム画像上の所定位置に保存プレイヤ画像を追加する。保存プレイヤ画像が追加されたゲーム画像のデータはＶＲＡＭ１１ｂに記憶される。

【0212】

なお、上記所定位置は、どの位置であってもよい。本実施形態においては、ＣＰＵ１０は、上記ステップＳ２７において、各第１オブジェクト１０１ａ〜１０１ｄについて、所定のゲーム条件が満たされたか否かを判定する。そして、上記ステップＳ３６においては、ＣＰＵ１０は、上記所定のゲーム条件が満たされた第１オブジェクトに対応するゲーム画像に対して保存プレイヤ画像を重ねてテレビ用画像を生成する。なお、「所定のゲーム条件が満たされた第１オブジェクト」とは、本実施形態においては、第２オブジェクトに捕まった第１オブジェクトである。図２０は、本実施形態における保存プレイヤ画像を含むテレビ用画像の一例を示す図である。図２０に示すように、本実施形態においては、第１オブジェクト１０１ｂに対応する保存プレイヤ画像１０４は、当該第１オブジェクト１０１ｂのゲーム画像の領域１００ｂに表示される。このように、本実施形態においては、保存プレイヤ画像は、各第１オブジェクト１０１ａ〜１０１ｄに対応する各ゲーム画像の領域１００ａ〜１００ｄのうちで、当該保存プレイヤ画像が対応する第１オブジェクトを含むゲーム画像の領域内の位置に配置される。つまり、上記ステップＳ２７においてある第１オブジェクトが所定のゲーム条件を満たした（すなわち、第２オブジェクトに捕まった）場合にステップＳ２８で保存されたプレイヤ画像は、当該ある第１オブジェクトに対応するゲーム画像の領域内に配置される。これによれば、所定のゲーム条件を満たした第１オブジェクト１０１がどれであるかを各プレイヤは容易に知ることができる。ステップＳ３６の後、ＣＰＵ１０は、テレビ用画像の生成処理を終了する。

【0213】

なお、上記ステップＳ３６によれば、各第１オブジェクト１０１ａ〜１０１ｄが所定のゲーム条件を満たす度に（すなわち、第１オブジェクト１０１ａ〜１０１ｄが第２オブジェクトに捕まる度に）、所定のゲーム条件を満たした時点におけるプレイヤ画像がテレビ２に表示される。したがって、各第１オブジェクト１０１ａ〜１０１ｄに関して所定のゲーム条件が満たされるタイミングが異なる場合には、タイミング毎に異なるプレイヤ画像がテレビ２に表示されることになる。これによれば、各プレイヤは、タイミング毎に異なるいろいろな表情の第２プレイヤを見て楽しむことができる。

【0214】

以上のテレビ用画像の生成処理によれば、ＣＰＵ１０は、カメラ画像のうちで画像認識処理によって認識された顔（第２プレイヤの顔）の画像を含むようにテレビ用画像を生成する。これによって、ゲームシステム１は、ゲームプレイ中における第２プレイヤの表情をテレビ２に表示することができ、各プレイヤは、第２プレイヤの表情を見て楽しむことができる。

【0215】

また、本実施形態においては、ＣＰＵ１０は、所定のタイミング（ステップＳ２７の判定結果が肯定となるタイミング）において取得されたカメラ画像を所定の記憶手段（メインメモリまたはＶＲＡＭ１１ｂ）に記憶する（ステップＳ２８）。そして、当該記憶手段に記憶されているカメラ画像の少なくとも一部（保存プレイヤ画像）を含むテレビ用画像を生成する（ステップＳ３６）。これによれば、ゲームシステム１は、ゲームにおいてあるイベントが発生した時点における第２プレイヤの表情を記憶してテレビ２に表示させることができる。例えば、第２プレイヤがハイスコアを更新した時点の表情や、ゲームオーバーとなった時点の表情等をテレビ２に表示することも可能である。

【0216】

図１６の説明に戻り、ステップＳ６においては、端末用画像が上記ゲーム制御処理に基づいて生成される。すなわち、ＣＰＵ１０およびＧＰＵ１１ｂは、ステップＳ３のゲーム制御処理の結果を表すデータをメインメモリから読み出し、また、ゲーム画像を生成するために必要なデータをＶＲＡＭ１１ｄから読み出し、端末用画像を生成する。本実施形態においては、ＣＰＵ１０およびＧＰＵ１１ｂは、上記端末用カメラから見たゲーム空間を表すゲーム画像を生成する。具体的には、第２オブジェクト１０２を上方の位置から見たゲーム空間を表す端末用画像が生成される（図１５参照）。生成された端末用画像はＶＲＡＭ１１ｄに記憶される。上記ステップＳ６の次にステップＳ７の処理が実行される。

【0217】

ステップＳ７において、ＣＰＵ１０は、テレビ２へゲーム画像を出力する。具体的には、ＣＰＵ１０は、ＶＲＡＭ１１ｄに記憶されたテレビ用画像のデータをＡＶ−ＩＣ１５へ送る。これに応じて、ＡＶ−ＩＣ１５はテレビ用画像のデータをＡＶコネクタ１６を介してテレビ２へ出力する。これによって、テレビ用画像がテレビ２に表示される。なお、ステップＳ７においては、ゲーム画像のデータと共にゲーム音声のデータがテレビ２へ出力され、テレビ２のスピーカ２ａからゲーム音声が出力されてもよい。ステップＳ７の次にステップＳ８の処理が実行される。

【0218】

ステップＳ８において、ＣＰＵ１０は、端末装置７へゲーム画像を送信する。具体的には、ＶＲＡＭ１１ｄに記憶された端末用画像の画像データは、ＣＰＵ１０によってコーデックＬＳＩ２７に送られ、コーデックＬＳＩ２７によって所定の圧縮処理が行われる。さらに、圧縮処理が施された画像データは、端末通信モジュール２８によってアンテナ２９を介して端末装置７へ送信される。端末装置７は、ゲーム装置３から送信されてくる画像データを無線モジュール８０によって受信し、コーデックＬＳＩ７６が所定の伸張処理を行う。伸張処理が行われた画像データはＬＣＤ５１に出力される。これによって、端末用画像がＬＣＤ５１に表示される。なお、ステップＳ８においては、ゲーム画像のデータと共にゲーム音声のデータが端末装置７へ送信され、端末装置７のスピーカ７７からゲーム音声が出力されてもよい。また、ゲーム装置３において上述した制御データが生成される場合には、ステップＳ８において、上記画像データに加えて当該制御データが端末装置７へ送信されてもよい。ステップＳ８の次にステップＳ９の処理が実行される。

【0219】

ステップＳ９において、ＣＰＵ１０は、ゲームを終了するか否かを判定する。ステップＳ９の判定は、例えば、ゲームオーバーになったか否か、あるいは、プレイヤがゲームを中止する指示を行ったか否か等によって行われる。ステップＳ９の判定結果が否定の場合、ステップＳ２の処理が再度実行される。以降、ステップＳ２〜Ｓ９の一連の処理は、ステップＳ９でゲームを終了すると判定されるまで繰り返し実行される。一方、ステップＳ９の判定結果が肯定の場合、ステップＳ１０の処理が実行される。なお、この場合、ゲームは終了され、ステップＳ１０の処理は、ゲーム終了後の処理となる。

【0220】

ステップＳ１０において、ＣＰＵ１０は、ゲーム終了後におけるプレイヤ画像の表示処理を実行する。この表示処理は、ゲーム中（ゲーム終了前）において取得されたカメラ画像に基づいて生成されたプレイヤ画像を、テレビ２に表示する処理である。ステップＳ１０で表示されるプレイヤ画像は、ゲーム中における所定のタイミングで取得されたカメラ画像に基づくものであればよい。所定のタイミングとは、例えば、操作対象のオブジェクトが特定のアイテムを取得したタイミングや、１つのステージをクリアしたタイミングや、ハイスコアを更新したタイミングや、ゲームオーバーとなったタイミング等である。具体的には、ＣＰＵ１０は、上記ステップＳ２７の処理において上記所定のタイミングが到来したか否かを判定し、上記ステップＳ２８の処理においてプレイヤ画像を保存しておき、保存された保存プレイヤ画像を表示してもよい。すなわち、ＣＰＵ１０は、保存プレイヤ画像データ１１８をメインメモリから読み出し、保存プレイヤ画像をテレビ２に表示する。

【0221】

なお、ステップＳ１０においては、保存プレイヤ画像とともに、ゲームに関する情報がテレビ２に表示されてもよい。例えば、ハイスコアを更新したタイミングに対応するプレイヤ画像が表示される場合には、ゲーム装置３は、ハイスコアの得点をプレイヤ画像とともにテレビ２に表示するようにしてもよい。また、第１オブジェクトを捕まえた時点に対応する保存プレイヤ画像が表示される場合には、ゲーム装置３は、ゲーム開始から第１オブジェクトを捕まえるまでの経過時間がプレイヤ画像とともにテレビ２に表示するようにしてもよい。以上のステップＳ１０の後、ＣＰＵ１０は図１６に示すゲーム処理を終了する。

【0222】

以上に示したゲーム処理によれば、端末装置７を用いたゲーム中における第２プレイヤの顔の画像がテレビ２に表示される。これによって、端末装置７を用いる第２プレイヤだけでなく、第１プレイヤ等の他の者に対しても第２プレイヤの顔の画像を見やすく提示することができる。本実施形態においては、第２プレイヤ以外の他の者もゲームをプレイ中の第２プレイヤの表情をテレビ２で見て楽しむことができる。

【0223】

［７．変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。

【0224】

（プレイヤの人数に関する変形例）
上記実施形態においては、コントローラ５を使用する第１プレイヤと、端末装置７を使用する第２プレイヤとが同時に１つのゲームを行う、複数人プレイのゲームを例として説明した。ここで、他の実施形態においては、ゲームシステム１において行われるゲームは、端末装置７を用いるプレイヤが１人で行うゲームであってもよい。すなわち、ＣＰＵ１０は、少なくとも端末操作データに基づいて所定の操作対象の動作を制御すればよい。このとき、ＣＰＵ１０は、ゲーム空間を表すゲーム画像であって上記操作対象に対応するゲーム画像と、カメラ画像の少なくとも一部の画像（プレイヤ画像）とを含むテレビ用画像を生成する。これによっても上記実施形態と同様、第２プレイヤ以外の他の者に対して、ゲームプレイ中における第２プレイヤの顔の画像を見やすく提示することができる。なお、「操作対象に対応するゲーム画像」は、端末用画像と同じであってもよいし、異なっていてもよい。例えば、端末用画像としていわゆる一人称視点のゲーム画像が端末装置７に表示される場合、テレビ用画像としては、操作対象を含むゲーム画像（三人称視点のゲーム画像）がテレビ２に表示されてもよい。

【0225】

また、他の実施形態においては、ゲームシステム１は、端末装置７を複数備えていてもよく、複数の第２プレイヤが１つのゲームを同時にプレイ可能としてもよい。このとき、ゲーム装置３（ＣＰＵ１０）は、各端末装置７からカメラ画像データを取得し、取得された各カメラ画像に基づく各プレイヤ画像を含むテレビ用画像を生成するようにしてもよい。これによれば、ゲームシステム１は、ゲームプレイ中における複数のプレイヤの表情を見やすく提示することができる。

【0226】

（テレビ２に表示されるプレイヤ画像に関する変形例）
上記実施形態においては、ゲーム装置３は、（ａ）リアルタイムでプレイヤ画像を表示する態様（ステップＳ３４）、（ｂ）所定のゲーム条件が満たされたことに応じてプレイヤ画像を表示する態様（ステップＳ３６）、および、（ｃ）ゲーム終了後にプレイヤ画像を表示する態様（ステップＳ１０）、という３種類の態様でプレイヤ画像を表示する場合を説明した。ここで、プレイヤ画像は、（ゲーム後の処理を含む）ゲーム処理中における任意のタイミングで表示されればよい。例えば、他の実施形態においては、ゲーム装置３は、上記３つの態様のうち１つまたは２つの態様でプレイヤ画像を表示するようにしてもよい。

【0227】

また、他の実施形態においては、プレイヤ（より具体的には端末装置７を使用する第２プレイヤ）が、プレイヤ画像が表示される態様を指定することができるようにしてもよい。このとき、自分の顔が画面に表示されることを好まないユーザを考慮して、ゲーム装置３は、プレイヤの指示によって、プレイヤ画像が表示されないようにしてもよい。つまり、プレイヤ画像を表示する機能をオフにすることができるようにしてもよい。

【0228】

また、プレイヤ画像は、静止画として表示されてもよいし、動画として表示されてもよい。例えば、上記実施形態においては、ゲーム装置３は、保存プレイヤ画像として静止画を表示したが、他の実施形態においては、保存プレイヤ画像として動画を表示するようにしてもよい。すなわち、ゲーム装置３は、所定の期間に生成された複数のプレイヤ画像（動画を構成する一連のプレイヤ画像）を保存しておき、所定のゲーム条件が満たされたことに応じて、当該複数のプレイヤ画像を逐次更新して表示するようにしてもよい。

【0229】

（ゲームシステムの構成に関する変形例）
上記実施形態においては、ゲームシステム１は、ゲーム装置３と、端末装置７と、コントローラ５と、テレビ２とを備える構成であった。ここで、ゲームシステムは、ゲーム装置と、少なくとも２つの操作装置とを含み、少なくとも一方の操作装置の表示部と、所定の表示装置とに画像を表示させることができる構成であればよい。例えば、ゲームシステムは、所定の表示装置（テレビ２）を含まない形態で提供されてもよい。

【0230】

また例えば、ゲームシステム１は、所定の表示装置として端末装置７と同様の表示装置を含む形態で提供されてもよい。つまり、ゲームシステムは、表示部を備える２つの操作装置と、ゲーム装置とを含む構成であってもよい。このとき、ゲーム装置３は、一方の端末措置から取得されたカメラ画像に基づくプレイヤ画像を他方の端末装置の表示部に出力して表示させ、当該他方の端末措置から取得されたカメラ画像に基づくプレイヤ画像を当該一方の端末装置の表示部に出力して表示させてもよい。これによれば、ゲームシステム１は、ゲームプレイ中における相手のプレイヤの顔を各プレイヤに提示することができる。

【0231】

（表示部を備える操作装置に関する変形例）
上記実施形態においては、表示部を備える操作装置の一例として、端末装置７を挙げて説明したが、当該操作装置はこれに限らない。例えば、ゲームシステムは、端末装置７に代えて、表示部を備える携帯型のゲーム装置を含む構成であってもよい。また、他の実施形態においては、ゲームシステムは、操作装置として用いられる２つの携帯型ゲーム装置と、ゲーム装置とを含む構成であってもよい。さらに、少なくとも一方の携帯型ゲーム装置においてゲーム処理が実行される場合には、ゲームシステムは、操作装置として用いられる２つの携帯型ゲーム装置からなる構成であってもよい。

【0232】

（ゲーム処理を実行する情報処理装置に関する変形例）
上記実施形態においては、ゲームシステム１において実行される一連のゲーム処理をゲーム装置３が実行したが、ゲーム処理の一部は他の装置によって実行されてもよい。例えば、他の実施形態においては、ゲーム処理の一部（例えば、端末用画像の生成処理）を端末装置７が実行するようにしてもよい。また、他の実施形態では、互いに通信可能な複数の情報処理装置を有する入力システムにおいて、当該複数の情報処理装置がゲーム処理を分担して実行するようにしてもよい。すなわち、ゲームシステムは、操作装置と可搬型表示装置とゲーム装置とを含み、（ａ）操作装置に対する操作を表す第１操作データと、可搬型表示装置に対する操作を表す第２操作データと、撮像部による撮像画像のデータとを取得するデータ取得部と、（ｂ）仮想空間内において、第１操作データに基づいて第１操作対象の動作をそれぞれ制御し、第２操作データに基づいて第２操作対象の動作を制御する動作制御部と、（ｃ）可搬型表示装置とは別体の所定の表示装置に表示するための第１ゲーム画像として、仮想空間を表すゲーム画像であって第１操作対象に対応するゲーム画像と、撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する第１画像生成部と、（ｄ）可搬型表示装置に表示するための第２ゲーム画像として、仮想空間を表すゲーム画像であって第２操作対象に対応する第２ゲーム画像を生成する第２画像生成部とを備えていてもよい。このとき、１つの装置が上記（ａ）〜（ｄ）の各部を備える構成であってもよいし、複数の装置が上記（ａ）〜（ｄ）の各部を備える構成であってもよい。

【0233】

また、ゲームシステムは、可搬型表示装置とゲーム装置とを含み、（ｅ）可搬型表示装置に対する操作を表す操作データと、撮像部による撮像画像とを取得するデータ取得部と、（ｆ）仮想空間内において、操作データに基づいて所定の操作対象の動作を制御する動作制御部と、（ｇ）可搬型表示装置とは別体の所定の表示装置に表示するための第１ゲーム画像として、仮想空間を表すゲーム画像であって操作対象に対応するゲーム画像と、撮像画像の少なくとも一部の画像とを含む第１ゲーム画像を生成する第１画像生成部と、（ｈ）可搬型表示装置に表示するための第２ゲーム画像として、仮想空間を表すゲーム画像であって操作対象に対応する第２ゲーム画像を生成する第２画像生成部とを備えていてもよい。このとき、１つの装置が上記（ｅ）〜（ｈ）の各部を備える構成であってもよいし、複数の装置が上記（ｅ）〜（ｈ）の各部を備える構成であってもよい。

【0234】

なお、複数の情報処理装置においてゲーム処理が実行される場合には、各情報処理装置で実行されるゲーム処理を同期させる必要があり、ゲーム処理が複雑になってしまう。これに対して、上記実施形態のように、ゲーム処理が１つのゲーム装置３によって実行され、端末装置７がゲーム画像を受信して表示する処理を行う場合（つまり、端末装置７がシンクライアント端末として機能する場合）には、複数の情報処理装置間でゲーム処理の同期をとる必要がなく、ゲーム処理を簡易化することができる。

【0235】

上記のように、本明細書で説明した種々のシステム、方法、および技術は、デジタル電子回路、コンピュータハードウェア、ファームウェア、ソフトウェア、またはこれら要素の組み合わせによって提供されてもよい。上記の技術を実現するための装置は、プログラム可能なプロセッサによる実行のためのコンピュータ読み取り可能な非一時的な記憶装置において実体的に具体化されるコンピュータプログラムプロダクト、入出力装置、およびコンピュータプロセッサを含んでもよい。上記技術を実現するための処理は、入力データを処理して所望の出力を生成することによって、要求される機能を実行するためのプログラムを実行する、プログラム可能なプロセッサによって実行されてもよい。上記の技術は、入力装置、出力装置、および情報記憶装置といったハードウェア資源との間でデータや指示のやり取りを行うプログラム可能なプロセッサを含むコンピュータシステム上で実行可能な１以上のコンピュータプログラムによって実現されてもよい。また、各コンピュータプログラムは、手続型やオブジェクト指向型の高水準プログラミング言語、アセンブリ言語、または、機械語によって実現されてもよく、必要に応じてコンパイルまたはインタプリタされて実行されてもよい。また、上記のプロセッサは、汎用または専用のマイクロプロセッサであってもよい。プロセッサは、一般的に、ＲＯＭまたはＲＡＭからデータおよび指示を受け取る。また、上記の記憶装置は、（ａ）ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリのような半導体メモリ装置を含む不揮発性のメモリ、（ｂ）内部ハードディスクあるいは着脱可能な外部ディスクのような磁気ディスク、（ｃ）光磁気ディスク、（ｄ）ＣＤＲＯＭ、に限定されず、あらゆる種類のコンピュータメモリを含む。上記のプロセッサや記憶装置は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって補充される、あるいは、ＡＳＩＣに組み込まれる形で実現されてもよい。

【0236】

また、本明細書に記載の処理システム（回路）は、本明細書において記載された内容に応じたゲーム処理のような制御処理のためにプログラムされる。上記の内容に応じた指示を実行する少なくとも１つのＣＰＵを含む処理システムが、上記の内容によって定義される処理動作を実行するための「プログラムされた論理回路」として作用するものであってもよい。

【産業上の利用可能性】

【0237】

以上のように、本発明は、プレイヤ以外の者に対してゲームプレイ中におけるプレイヤの画像を提示すること等を目的として、例えばゲームシステムやゲーム装置やゲームプログラム等として利用することが可能である。

【符号の説明】

【0238】

１ ゲームシステム
２ テレビ
３ ゲーム装置
４ 光ディスク
５ コントローラ
７ 端末装置
８ メインコントローラ
９ サブコントローラ
１０ ＣＰＵ
１１ｅ 内部メインメモリ
１２ 外部メインメモリ
３５ 撮像情報演算部
３７ 加速度センサ
４４ 無線モジュール
４８ ジャイロセンサ
５１ ＬＣＤ
５２ タッチパネル
５３ アナログスティック
５４ 操作ボタン
７２ 磁気センサ
７３ 加速度センサ
７４ ジャイロセンサ
７６ コーデックＬＳＩ
８０ 無線モジュール
１０１（１０１ａ〜１０１ｄ） 第１オブジェクト
１０２ 第２オブジェクト
１０３ プレイヤ画像
１０４ 保存プレイヤ画像
１１０ ゲームプログラム
１１２ コントローラ操作データ
１１３ 端末操作データ
１１４ カメラ画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】