特許 6099237 表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6099237

(24)【登録日】2017年3月3日

(45)【発行日】2017年3月22日

(54)【発明の名称】表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置

(51)【国際特許分類】

   A63F 13/5252 20140101AFI20170313BHJP

   A63F 13/26 20140101ALI20170313BHJP

   A63F 13/5255 20140101ALI20170313BHJP

   A63F 13/55 20140101ALI20170313BHJP

   A63F 13/843 20140101ALI20170313BHJP

【ＦＩ】

   A63F13/5252

   A63F13/26

   A63F13/5255

   A63F13/55

   A63F13/843

【請求項の数】20

【全頁数】27

(21)【出願番号】特願2012-85099(P2012-85099)

(22)【出願日】2012年4月4日

(65)【公開番号】特開2013-212316(P2013-212316A)

(43)【公開日】2013年10月17日

【審査請求日】2015年2月13日

【前置審査】

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】阪口 翼

(72)【発明者】

【氏名】梅宮 浩

【審査官】 柴田 和雄

(56)【参考文献】

【文献】 特開２００１−０３４２４７（ＪＰ，Ａ）

【文献】 特開２０１２−０６１３０１（ＪＰ，Ａ）

【文献】 特開２００３−３２５９７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６３Ｆ １３／００ − １３／９８

Ａ６３Ｆ ９／２４

(57)【特許請求の範囲】

【請求項1】

第１操作装置と一体となった可搬型の第１表示装置と、当該第１表示装置とは別体の据置型の第２表示装置とに画像を表示させる表示制御システムであって、
前記第１操作装置に対する操作に基づいて、第１仮想カメラを制御する仮想カメラ制御部と、
前記第１仮想カメラから仮想空間を見た画像を前記第１表示装置に表示させる第１表示制御部と、
前記第１仮想カメラまたは前記第１仮想カメラと連動する第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させる第２表示制御部と、
前記第１操作装置とは別体の第２操作装置を用いて指示された前記第２表示装置の画面上の第１位置を取得する指示位置取得部と、
前記指示位置取得部が取得した前記第１位置に対応する前記仮想空間における第２位置を算出する位置算出部と、
前記位置算出部が算出した前記第２位置に所定のオブジェクトを配置するオブジェクト配置部と、を備え、
前記第１表示制御部は、前記所定のオブジェクトを含む画像を前記第１表示装置に表示させ、
前記位置算出部は、前記第２表示装置に表示される画像の奥方向と平行な直線であって前記第１位置を通る直線と前記仮想空間における所定の高さの面とが交わる点を、前記第２位置として算出する、表示制御システム。

【請求項2】

前記第１仮想カメラは、前記仮想空間に配置されたユーザオブジェクトを含む画像を撮像し、
前記第１操作装置に対する操作に応じて、前記ユーザオブジェクトを移動させるユーザオブジェクト制御部と、
前記ユーザオブジェクトが前記仮想空間に配置された選択オブジェクトを選択した場合、当該選択オブジェクトに応じた所定の処理を実行する処理部とをさらに備える、請求項１に記載の表示制御システム。

【請求項3】

前記第１表示制御部は、前記所定のオブジェクトと前記ユーザオブジェクトとの位置関係を示す指標を前記第１表示装置にさらに表示させる、請求項２に記載の表示制御システム。

【請求項4】

前記処理部は、前記選択オブジェクトに応じた所定のプログラムを実行する、請求項２または３に記載の表示制御システム。

【請求項5】

前記第２表示制御部は、前記第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させ、
前記第１仮想カメラは、前記第１操作装置に対する操作に応じて、複数の方向に関して回転し、
前記第２仮想カメラは、前記複数の方向のうちの所定方向に関して前記第１仮想カメラと連動する、請求項１から４の何れかに記載の表示制御システム。

【請求項6】

前記所定方向は、前記仮想空間を基準としたヨー方向である、請求項５に記載の表示制御システム。

【請求項7】

前記第２表示制御部は、前記第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させ、
前記第２仮想カメラによって撮像される前記仮想空間の範囲は、前記第１仮想カメラによって撮像される前記仮想空間の範囲よりも広い、請求項１から６の何れかに記載の表示制御システム。

【請求項8】

前記第１表示装置に表示される画像の奥方向に対応する前記仮想空間の方向が、前記第２表示装置に表示される画像の奥方向になるように、前記第２仮想カメラの向きが設定される、請求項１から７の何れかに記載の表示制御システム。

【請求項9】

前記第１表示装置に表示される画像の奥方向に対応する前記仮想空間の方向が、前記第２表示装置に表示される画像の上方向になるように、前記第２仮想カメラの向きが設定される、請求項１から７の何れかに記載の表示制御システム。

【請求項10】

第１操作装置と一体となった可搬型の第１表示装置と、当該第１表示装置とは別体の据置型の第２表示装置とに画像を表示させる表示制御方法であって、
前記第１操作装置に対する操作に基づいて、第１仮想カメラを制御する仮想カメラ制御ステップと、
前記第１仮想カメラから仮想空間を見た画像を前記第１表示装置に表示させる第１表示制御ステップと、
前記第１仮想カメラまたは前記第１仮想カメラと連動する第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させる第２表示制御ステップと、
前記第１操作装置とは別体の第２操作装置を用いて指示された前記第２表示装置の画面上の第１位置を取得する指示位置取得ステップと、
前記指示位置取得ステップで取得した前記第１位置に対応する前記仮想空間における第２位置を算出する位置算出ステップと、
前記位置算出ステップで算出した前記第２位置に所定のオブジェクトを配置するオブジェクト配置ステップと、を含み、
前記第１表示制御ステップでは、前記所定のオブジェクトを含む画像を前記第１表示装置に表示させ、
前記位置算出ステップは、前記第２表示装置に表示される画像の奥方向と平行な直線であって前記第１位置を通る直線と前記仮想空間における所定の高さの面とが交わる点を、前記第２位置として算出する、表示制御方法。

【請求項11】

前記第１仮想カメラは、前記仮想空間に配置されたユーザオブジェクトを含む画像を撮像し、
前記第１操作装置に対する操作に応じて、前記ユーザオブジェクトを移動させるユーザオブジェクト制御ステップと、
前記ユーザオブジェクトが前記仮想空間に配置された選択オブジェクトを選択した場合、当該選択オブジェクトに応じた所定の処理を実行する処理ステップとをさらに含む、請求項１０に記載の表示制御方法。

【請求項12】

前記第１表示制御ステップでは、前記所定のオブジェクトと前記ユーザオブジェクトとの位置関係を示す指標を前記第１表示装置にさらに表示させる、請求項１１に記載の表示制御方法。

【請求項13】

前記処理ステップでは、前記選択オブジェクトに応じた所定のプログラムを実行する、請求項１１または１２に記載の表示制御方法。

【請求項14】

前記第２表示制御ステップでは、前記第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させ、
前記第１仮想カメラは、前記第１操作装置に対する操作に応じて、複数の方向に関して回転し、
前記第２仮想カメラは、前記複数の方向のうちの所定方向に関して前記第１仮想カメラと連動する、請求項１０から１３の何れかに記載の表示制御方法。

【請求項15】

前記所定方向は、前記仮想空間を基準としたヨー方向である、請求項１４に記載の表示制御方法。

【請求項16】

前記第２表示制御ステップでは、前記第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させ、
前記第２仮想カメラによって撮像される前記仮想空間の範囲は、前記第１仮想カメラによって撮像される前記仮想空間の範囲よりも広い、請求項１０から１５の何れかに記載の表示制御方法。

【請求項17】

前記第１表示装置に表示される画像の奥方向に対応する前記仮想空間の方向が、前記第２表示装置に表示される画像の奥方向になるように、前記第２仮想カメラの向きが設定される、請求項１０から１６の何れかに記載の表示制御方法。

【請求項18】

前記第１表示装置に表示される画像の奥方向に対応する前記仮想空間の方向が、前記第２表示装置に表示される画像の上方向になるように、前記第２仮想カメラの向きが設定される、請求項１０から１６の何れかに記載の表示制御方法。

【請求項19】

第１操作装置と一体となった可搬型の第１表示装置と、当該第１表示装置とは別体の据置型の第２表示装置とに画像を表示させる表示制御プログラムであって、コンピュータを、
前記第１操作装置に対する操作に基づいて、第１仮想カメラを制御する仮想カメラ制御部と、
前記第１仮想カメラから仮想空間を見た画像を前記第１表示装置に表示させる第１表示制御部と、
前記第１仮想カメラまたは前記第１仮想カメラと連動する第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させる第２表示制御部と、
前記第１操作装置とは別体の第２操作装置を用いて指示された前記第２表示装置の画面上の第１位置を取得する指示位置取得部と、
前記指示位置取得部が取得した前記第１位置に対応する前記仮想空間における第２位置を算出する位置算出部と、
前記位置算出部が算出した前記第２位置に所定のオブジェクトを配置するオブジェクト配置部と、をして機能させ、
前記第１表示制御部は、前記所定のオブジェクトを含む画像を前記第１表示装置に表示させ、
前記位置算出部は、前記第２表示装置に表示される画像の奥方向と平行な直線であって前記第１位置を通る直線と前記仮想空間における所定の高さの面とが交わる点を、前記第２位置として算出する、表示制御プログラム。

【請求項20】

第１操作装置と一体となった可搬型の第１表示装置と、当該第１表示装置とは別体の据置型の第２表示装置とに画像を表示させる表示制御装置であって、
前記第１操作装置に対する操作に基づいて、第１仮想カメラを制御する仮想カメラ制御部と、
前記第１仮想カメラから仮想空間を見た画像を前記第１表示装置に表示させる第１表示制御部と、
前記第１仮想カメラまたは前記第１仮想カメラと連動する第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させる第２表示制御部と、
前記第１操作装置とは別体の第２操作装置を用いて指示された前記第２表示装置の画面上の第１位置を取得する指示位置取得部と、
前記指示位置取得部が取得した前記第１位置に対応する前記仮想空間における第２位置を算出する位置算出部と、
前記位置算出部が算出した前記第２位置に所定のオブジェクトを配置するオブジェクト配置部と、を備え、
前記第１表示制御部は、前記所定のオブジェクトを含む画像を前記第１表示装置に表示させ、
前記位置算出部は、前記第２表示装置に表示される画像の奥方向と平行な直線であって前記第１位置を通る直線と前記仮想空間における所定の高さの面とが交わる点を、前記第２位置として算出する、表示制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の表示部に画像を表示させる表示制御システム、表示制御方法、表示制御プログラム、および表示制御装置に関する。

【背景技術】

【0002】

従来より、複数人でゲームを行い、２以上の表示装置にゲーム画像を表示させるゲームシステムが存在する。例えば、操作装置を操作する第１プレイヤと、表示部が設けられたデバイスを操作する第２プレイヤとでゲームを行い、ゲーム画像を当該表示部および当該表示部とは別体の表示装置に表示させるものがある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−５０８０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の技術では、２つの画面にゲーム画像をそれぞれ表示し、各プレイヤは基本的にそれぞれの画面に表示される画像を見ながらゲームを行うため、プレイヤ間でコミュニケーションを行うという点においては改善の余地があった。

【0005】

それ故、本発明の目的は、複数の画面に画像を表示するとともにユーザ間でコミュニケーションを行うことが可能な技術を提供することである。

【課題を解決するための手段】

【0006】

本発明は、上記の課題を解決するために、以下の構成を採用した。

【0007】

本発明の一例は、第１表示装置と、当該第１表示装置とは別体の第２表示装置とに画像を表示させる表示制御システムである。当該表示制御システムは、仮想カメラ制御部と、第１表示制御部と、第２表示制御部と、指示位置取得部と、位置算出部と、オブジェクト配置部とを備える。仮想カメラ制御部は、第１操作装置に対する操作に基づいて、第１仮想カメラを制御する。第１表示制御部は、前記第１仮想カメラから仮想空間を見た画像を前記第１表示装置に表示させる。第２表示制御部は、前記第１仮想カメラまたは前記第１仮想カメラと連動する第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させる。指示位置取得部は、前記第１操作装置とは別体の第２操作装置を用いて指示された前記第２表示装置の画面上の位置を取得する。位置算出部は、前記指示位置取得部が取得した前記第２表示装置の画面上の位置に対応する前記仮想空間における位置を算出する。オブジェクト配置部は、前記位置算出部が算出した前記仮想空間における位置に所定のオブジェクトを配置する。前記第１表示制御部は、前記所定のオブジェクトを含む画像を前記第１表示装置に表示させる。

【0008】

上記によれば、第２操作装置を用いて指示された第２表示装置の画面上の位置に対応する仮想空間の位置に所定のオブジェクトを配置し、当該オブジェクトを第１表示装置に表示させることができ、ユーザ間でコミュニケーションを行うことができる。

【0009】

また、他の構成では、前記第１表示装置と前記第１操作装置とは、一体となった可搬型の装置であってもよい。

【0010】

上記によれば、可搬型表示装置に設けられた第１表示装置に上記所定のオブジェクトを表示することができる。

【0011】

また、他の構成では、前記第１仮想カメラは、前記仮想空間に配置されたユーザオブジェクトを含む画像を撮像してもよい。また、上記表示制御システムは、ユーザオブジェクト制御部と、処理部とをさらに備える。ユーザオブジェクト制御部は、前記第１操作装置に対する操作に応じて、前記ユーザオブジェクトを移動させる。処理部は、前記ユーザオブジェクトが前記仮想空間に配置された選択オブジェクトを選択した場合、当該選択オブジェクトに応じた所定の処理を実行する。

【0012】

上記によれば、第１操作装置に対する操作に応じてユーザオブジェクトを移動させ、ユーザオブジェクトの移動によって仮想空間に配置された選択オブジェクトを選択し、所定の処理を実行することができる。これにより、例えば、第２操作装置を操作する第２ユーザが第２表示装置の画面に表示された選択オブジェクトを指示して、第１表示装置において、当該指示された選択オブジェクトの位置に上記所定のオブジェクトを表示させることができる。そして、第１操作装置を操作する第１ユーザに指示された選択オブジェクトを選択させることができる。

【0013】

また、他の構成では、前記第１表示制御部は、前記所定のオブジェクトと前記ユーザオブジェクトとの位置関係を示す指標を前記第１表示装置にさらに表示させてもよい。

【0014】

上記によれば、ユーザは、第１表示装置を見て所定のオブジェクトとユーザオブジェクトとの位置関係を知ることができる。

【0015】

また、他の構成では、前記処理部は、前記選択オブジェクトに応じた所定のプログラムを実行してもよい。

【0016】

上記によれば、選択オブジェクトを選択することで所定のプログラムを実行することができる。

【0017】

また、他の構成では、前記第２表示制御部は、前記第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させてもよい。また、前記第１仮想カメラは、前記第１操作装置に対する操作に応じて、複数の方向に関して回転する。前記第２仮想カメラは、前記複数の方向のうちの所定方向に関して前記第１仮想カメラと連動する。

【0018】

上記によれば、第１操作装置に対する操作に応じて第１仮想カメラを複数の方向に関して回転させ、第２仮想カメラを所定方向に関して第１仮想カメラと連動させることができる。

【0019】

また、他の構成では、前記所定方向は、前記仮想空間を基準としたヨー方向であってもよい。

【0020】

上記によれば、第２仮想カメラは仮想空間のヨー方向に関して第１仮想カメラと連動する。これにより、第１仮想カメラを複数の方向に回転させて第１仮想カメラを仮想空間の様々な方向に向けることができる一方で、第２仮想カメラを仮想空間の横方向に向けることができる。

【0021】

また、他の構成では、前記第２表示制御部は、前記第２仮想カメラから前記仮想空間を見た画像を前記第２表示装置に表示させてもよい。また、前記第２仮想カメラによって撮像される前記仮想空間の範囲は、前記第１仮想カメラによって撮像される前記仮想空間の範囲よりも広い。

【0022】

上記によれば、第２表示装置において第１表示装置よりも広い範囲の仮想空間を表示させることができる。

【0023】

また、他の構成では、前記第１表示装置に表示される画像の奥方向に対応する前記仮想空間の方向が、前記第２表示装置に表示される画像の奥方向になるように、前記第２仮想カメラの向きが設定されてもよい。

【0024】

上記によれば、第１表示装置および第２表示装置において、実質的に同じ視点から仮想空間を見た画像を表示することができる。

【0025】

また、他の構成では、前記第１表示装置に表示される画像の奥方向に対応する前記仮想空間の方向が、前記第２表示装置に表示される画像の上方向になるように、前記第２仮想カメラの向きが設定されてもよい。

【0026】

上記によれば、異なる視点から仮想空間を見た画像を第１表示装置および第２表示装置に表示することができる。

【0027】

なお、本発明の別の一例は、上記表示制御システムにおいて行われる表示制御方法であってもよい。表示制御システムは、１の装置によって構成されてもよいし、複数の装置によって構成されてもよい。また、他の一例は、コンピュータを上記表示制御システムの各部として機能させる表示制御プログラムであってもよい。また、他の一例は、上記表示制御システムの各部を備える表示制御装置であってもよい。

【発明の効果】

【0028】

本発明によれば、複数の画面に画像を表示するとともにユーザ間でコミュニケーションを行うことができる。

【図面の簡単な説明】

【0029】

【図1】ゲームシステム１の構成の一例を示す外観図

【図2】ゲームシステム１の構成の一例を示すブロック図

【図3】本実施形態のゲームが行われた場合の表示装置７および端末装置７のＬＣＤ５１に表示される画像の一例を示す図

【図4】端末装置７を基準姿勢からヨー方向（Ｙ軸周り）に回転させた場合の第１仮想カメラＣ１の向きの変化について説明するための図

【図5】端末装置７を基準姿勢からピッチ方向（Ｘ軸周り）に回転させた場合の第１仮想カメラＣ１の向きの変化について説明するための図

【図6】端末装置７を基準姿勢からロール方向（Ｚ軸周り）に回転させた場合の第１仮想カメラＣ１の向きの変化について説明するための図

【図7】右アナログスティック７２Ｂを用いて右方向（Ｘ軸負方向）が入力された場合の第１仮想カメラＣ１の向きの変化について説明するための図

【図8】端末装置７のＸ軸が重力方向を向くように把持されている場合（縦持ち）において、右アナログスティック７２Ｂを用いて方向入力が行われたときの第１仮想カメラＣ１の向きの変化について説明するための図

【図9】端末装置７のＸ軸が実空間の水平方向に対して所定の角度だけ傾くように把持されている場合（斜め持ち）において、右アナログスティック７２Ｂを用いて方向入力が行われたときの第１仮想カメラＣ１の向きの変化について説明するための図

【図10】右アナログスティック７２Ｂの入力方向に応じた入力ベクトルを端末装置７の姿勢に応じて回転させる様子を示す図

【図11】端末装置７の姿勢と右アナログスティック７２Ｂを用いた方向入力操作とに基づいた第１仮想カメラＣ１の向きの制御を示す図

【図12】端末装置７をヨー方向に回転させる操作、および、右アナログスティック７２Ｂを用いた左右方向の入力に基づいた２つの仮想カメラの制御について説明するための図

【図13】端末装置７をピッチ方向に回転させる操作に基づいた２つの仮想カメラの制御について説明するための図

【図14】端末装置７をロール方向に回転させる操作に基づいた２つの仮想カメラの制御について説明するための図

【図15】コントローラ５を用いて表示装置２の画面上の位置が指示された場合において、端末装置７および表示装置２に表示される画像の一例を示す図

【図16】指示オブジェクト８７が配置される位置について説明するための図

【図17】端末装置７の左アナログスティック７２Ａを用いた方向入力に基づいてユーザオブジェクト８１を移動させる様子を示す図

【図18】端末装置７が縦持ちの状態である場合において、左アナログスティック７２Ａを用いた方向入力操作が行われた場合のユーザオブジェクト８１の移動を説明するための図

【図19】ユーザオブジェクト８１が移動して第２ユーザによって指示された家オブジェクト８２に到達した様子を示す図

【図20】ユーザオブジェクト８１が移動して仮想空間に配置されたビルオブジェクト８９に到達した様子を示す図

【図21】第１仮想カメラＣ１と第２仮想カメラＣ２の位置関係および撮像方向（視線方向）の種々の例を示す図

【図22】図２１に示す視点Ｃに第２仮想カメラＣ２が設定される際に表示装置２に表示される画像の一例を示す図

【図23】図２２に示す視点Ｄに第２仮想カメラＣ２が設定される際に表示装置２に表示される画像の一例を示す図

【図24】ゲーム装置３内に記憶される各種データを示す図

【図25】ゲーム装置３において実行される処理の流れを示すメインフローチャート

【発明を実施するための形態】

【0030】

（ゲームシステムの構成の一例）
以下、図面を参照して、一実施形態に係るゲームシステム１について説明する。図１は、ゲームシステム１の構成の一例を示す外観図である。図２は、ゲームシステム１の構成の一例を示すブロック図である。図１および図２に示すように、ゲームシステム１は、据置型の表示装置２（例えば、テレビ等）、据置型のゲーム装置３、光ディスク４、コントローラ５、マーカ装置６、および、端末装置７を含む。

【0031】

ゲーム装置３は、ＣＰＵ１０やメモリ１１等を含み、光ディスク４等の記憶媒体に記憶されたプログラムがメモリに読み込まれ、ＣＰＵ１０が当該メモリに読み込まれたプログラムを実行することにより、後述する処理を実行する。そして、ゲーム装置３は、処理の結果としての画像を、表示装置２や端末装置７に出力する。

【0032】

端末装置７は、ユーザが両手または片手で把持可能な程度の大きさの可搬型表示装置であり、ユーザは端末装置７を手に持って動かしたり、あるいは、端末装置７を自由な位置に配置したりして使用することが可能である。端末装置７は、表示装置であるＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶表示装置）７１を備える。また、端末装置７は、方向入力のためのアナログスティック（左アナログスティック７２Ａ、右アナログスティック７２Ｂ）等の入力部７２、自機の姿勢に応じた姿勢データを出力することが可能な慣性センサ（ジャイロセンサや加速度センサ等）７３等を備える。端末装置７とゲーム装置３とは無線によって通信可能である。端末装置７は、ゲーム装置３で生成された画像のデータをゲーム装置３から受信し、当該画像をＬＣＤ５１に表示する。また、端末装置７は、自機に対する操作（入力部７２に対する操作、端末装置７自体の姿勢を変化させる操作）に基づく操作データをゲーム装置３に送信する。

【0033】

コントローラ５は、ユーザが把持可能な程度の大きさであり、表示装置２の画面上の位置を指示するために用いられる。例えば、コントローラ５に設けられた撮像部で、表示装置２の所定位置に配置されたマーカ装置６からの赤外光を受光することにより、指示された画面上の位置が検出される。あるいは、コントローラ５に姿勢を検出するためのセンサが設けられ、コントローラ５の姿勢によって画面上の位置が指示されてもよい（例えば、初期姿勢では画面中央が指示され、初期姿勢からの姿勢の変化によって指示位置が変化する）。

【0034】

詳細は後述するが、端末装置７は、第１ユーザによって把持され、コントローラ５は、第２ユーザによって把持される。

【0035】

なお、図１および図２に示すゲームシステム１は単なる一例であり、後述する処理はどのような装置において行われてもよい。

【0036】

（処理の概要）
次に、本実施形態のゲームシステム１において行われる処理の概要について説明する。図３は、本実施形態のゲームが行われた場合の表示装置２および端末装置７のＬＣＤ５１に表示される画像の一例を示す図である。本実施形態では、端末装置７は、第１ユーザによって把持されるものとする。また、コントローラ５は、第２ユーザによって把持される。

【0037】

図３に示すように、表示装置２には、ｘｙｚ座標系で定義される仮想空間に配置されたユーザオブジェクト８１、家オブジェクト（選択オブジェクト）８２等が表示される。また、仮想空間には、岩オブジェクト８３、木オブジェクト８４（８４ａ〜８４ｃ）等が配置される。ユーザオブジェクト８１は、端末装置７を用いて第１ユーザによって操作される仮想キャラクタである。また、端末装置７のＬＣＤ７１には、表示装置２と同様の画像が表示される。図３に示すように、端末装置７に表示される画像は、表示装置２に表示される画像よりも画角が狭い画像である。端末装置７および表示装置２に表示される画像は、仮想空間に配置された第１仮想カメラＣ１および第２仮想カメラＣ２を用いてそれぞれ生成され、端末装置７に対する操作によって変化する。

【0038】

具体的には、第１仮想カメラＣ１および第２仮想カメラＣ２の向き（姿勢）は、端末装置７の姿勢および端末装置７の右アナログスティック７２Ｂに対する操作によって制御される。例えば、端末装置７に固定のＸＹＺ座標系のＹ軸（上下方向の軸）が重力方向と平行であり、Ｘ軸（左右方向の軸）が地面に対して平行であり、かつ、Ｚ軸（ＬＣＤ５１に垂直な軸）が表示装置２の画面を向く場合、図３に示すような画像が端末装置７および表示装置２に表示される。この端末装置７の姿勢（以下では、「基準姿勢」ということがある）を基準として端末装置７の姿勢が変化した場合、第１仮想カメラＣ１および第２仮想カメラＣ２の向きも変化する。なお、実空間の地面に対してＹ軸が所定の角度だけ傾いているときの姿勢を基準姿勢としてもよい。ユーザは、端末装置７を把持して画面を見る場合、端末装置７を垂直に立てる（Ｙ軸を重力方向と平行にする）よりも、わずかに傾ける方が見易いことがあるため、そのような端末装置７の姿勢を基準姿勢としてもよい。

【0039】

以下、図４から図１０を参照して、端末装置７に対する操作（端末装置７自体の姿勢を変化させる操作、および右アナログスティック７２Ｂに対する方向入力操作）による第１仮想カメラＣ１の制御について説明する。

【0040】

まず、図４から図６を参照して、端末装置７の姿勢の変化に応じた第１仮想カメラＣ１の向きの変化について説明する。図４は、端末装置７を基準姿勢からヨー方向（Ｙ軸周り）に回転させた場合の第１仮想カメラＣ１の向きの変化について説明するための図である。図５は、端末装置７を基準姿勢からピッチ方向（Ｘ軸周り）に回転させた場合の第１仮想カメラＣ１の向きの変化について説明するための図である。図６は、端末装置７を基準姿勢からロール方向（Ｚ軸周り）に回転させた場合の第１仮想カメラＣ１の向きの変化について説明するための図である。

【0041】

図４において、端末装置７を実空間の上方から見た図が示されており、そのときの第１仮想カメラＣ１をカメラ上方（仮想空間の上方）から見た図が示されている。例えば、図４に示すように、端末装置７が基準姿勢である場合、第１仮想カメラＣ１の撮像方向（Ｚｃ１軸）は、仮想空間に配置された岩オブジェクト８３に向いており、端末装置７の画面の左右方向の中央領域には、岩オブジェクト８３が表示される。この状態から、端末装置７の背面を実空間の右方向に向けると、第１仮想カメラＣ１も仮想空間の右方向を向く。具体的には、端末装置７をヨー方向（Ｙ軸周り）に回転させると、当該回転角に応じて、第１仮想カメラＣ１に固定のＸｃ１Ｙｃ１Ｚｃ１座標系のＹｃ１軸周りに、第１仮想カメラＣ１が回転する。ここで、Ｘｃ１軸は、第１仮想カメラＣ１を基準として左方向に延びる軸であり、Ｙｃ１軸は、第１仮想カメラＣ１を基準として上方向に延びる軸であり、Ｚｃ１軸は、第１仮想カメラＣ１の撮像方向の軸である。Ｙｃ１軸周りに第１仮想カメラＣ１が回転することにより、端末装置７を回転させる前に端末装置７の画面の中央領域に表示されていた岩オブジェクト８３は、端末装置７の回転後においては、画面の左領域に移動している。また、回転前に画面の右領域に表示されていた家オブジェクト８２は、端末装置７の回転後においては、画面の中央付近に表示される。また、回転前に画面の左領域に表示されていた木オブジェクト８４ｂは、回転後においては、第１仮想カメラＣ１の撮像範囲から外れ、画面には表示されない。

【0042】

また、図５では、端末装置７を右方向から見た図が示されており、そのときの第１仮想カメラＣ１をカメラの右方向から見た図が示されている。図５に示すように、端末装置７が基準姿勢である場合、第１仮想カメラＣ１の撮像方向（Ｚｃ１軸）は、仮想空間の地面（ｘｚ平面）と平行である。このため、端末装置７の画面には、仮想空間の地平線が画面の上下方向に関して中央付近に表示されている。この状態から、端末装置７の背面を実空間の上方向に向けると、第１仮想カメラＣ１も仮想空間の上方向を向く。具体的には、端末装置７をピッチ方向（Ｘ軸周り）に回転させると、当該回転角に応じて、Ｘｃ１軸周りに第１仮想カメラＣ１が回転する。このため、端末装置７を回転させる前に端末装置７の画面の上下方向の中央領域に表示されていた岩オブジェクト８３等は、端末装置７を回転させた後においては、画面の上下方向に関して下領域に表示される。また、回転前に画面よりも仮想空間の上方に存在しているため画面に表示されていなかった太陽オブジェクト８５が、回転後においては、第１仮想カメラＣ１の撮像範囲に入って、画面に表示されている。

【0043】

また、図６では、端末装置７を正面から見た図が示されており、そのときの第１仮想カメラＣ１をカメラ後方から見た図が示されている。図６に示すように、端末装置７が基準姿勢である場合、第１仮想カメラＣ１の撮像方向（Ｚｃ１軸）は回転しておらず、第１仮想カメラＣ１に固定のＸｃ１軸は仮想空間の地面と平行である。この状態から端末装置７をロール方向（Ｚ軸周り）に回転させると、当該回転角に応じて、Ｚｃ１軸周りに第１仮想カメラＣ１が回転する。具体的には、第１仮想カメラＣ１は、端末装置７のＺ軸周りの回転方向に当該端末装置７の回転量と同じ回転量で、Ｚｃ１軸（撮像軸）周りに回転する。このため、第１仮想カメラＣ１を用いて生成される画像は、端末装置７の画面の中心軸に対して端末装置７の回転方向と逆方向に回転する。その結果、端末装置７のロール方向の回転が打ち消され、端末装置７の画面において、画像は、第１ユーザの見た目上はロール方向に回転しない。すなわち、端末装置７の画面に表示される画像に含まれる仮想空間の地面（ｘｚ平面）は実空間の地面と平行であり、仮想空間の上下方向は、実空間の重力方向と平行である。

【0044】

従って、例えば、第１ユーザが端末装置７をロール方向に反時計回りに９０度回転させることによってＸ軸が重力方向を向く場合（このような姿勢で端末装置７を把持することを「縦持ち」ということがある）、画像は時計回りに９０度回転して、上下方向に長い画像が端末装置７に表示される（図８参照）。

【0045】

上述した端末装置７のヨー方向、ピッチ方向、ロール方向の回転は、端末装置７の慣性センサ７３が検出する物理量、例えばジャイロセンサが検出する角速度及び／又は加速度センサが検出する重力加速度に基づいて、算出することができる。例えば、ジャイロセンサが検出するＸ、Ｙ、Ｚ軸周りの角速度を時間で積分することによって、端末装置７の姿勢（各軸周りの回転）を算出することができる。なお、端末装置７の姿勢は、慣性センサに限らず他の方法（例えば、カメラで端末装置７を撮像し、撮像した画像から端末装置７を検出する等）で検出されてもよい。

【0046】

次に、右アナログスティック７２Ｂを用いた方向入力に基づいた第１仮想カメラＣ１の向きの制御について、説明する。図７は、右アナログスティック７２Ｂを用いて右方向（Ｘ軸負方向）が入力された場合の第１仮想カメラＣ１の向きの変化について説明するための図である。

【0047】

図７に示すように、右アナログスティック７２Ｂを用いて右方向が入力された場合（右方向にスライドされた場合）、第１仮想カメラＣ１は、その入力量（スライド量とスライドされた時間）に応じて、ヨー方向に回転する。具体的には、第１仮想カメラＣ１は、仮想空間のｙ軸と平行な軸周りに回転する。従って、右アナログスティック７２Ｂを用いて右方向が入力されると、第１仮想カメラＣ１は仮想空間の右方向を向き、入力前に画面の左右方向の中央付近に表示されていた岩オブジェクト８３は、入力後では画面の左右方向の左領域に表示される。なお、図７では、仮想空間に固定のｙ軸と第１仮想カメラＣ１に固定のＹｃ１軸とが平行であるため、第１仮想カメラＣ１はＹｃ１軸周りに回転している。

【0048】

なお、右アナログスティック７２Ｂを用いて左方向が入力された場合は、第１仮想カメラＣ１は、ｙ軸周りに逆回転する。したがって、右アナログスティック７２Ｂを用いて左方向が入力された場合は、第１仮想カメラＣ１は仮想空間の左側を向く。

【0049】

また、図７において、右アナログスティック７２Ｂを用いて例えば右斜め上方が入力された場合、当該入力のうちの右方向の成分のみが第１仮想カメラＣ１のヨー方向の回転に用いられる。また、図７において、右アナログスティック７２Ｂを用いて上下方向が入力された場合、第１仮想カメラＣ１はヨー方向には回転しない。すなわち、右アナログスティック７２Ｂを用いた左右方向の入力に応じて、第１仮想カメラＣ１はヨー方向（仮想空間の左右方向）に回転する一方、右アナログスティック７２Ｂを用いた上下方向の入力に対しては、第１仮想カメラＣ１は、ヨー方向にもピッチ方向（仮想空間の上下方向）にも、さらにロール方向にも回転しない。

【0050】

図８は、端末装置７のＸ軸が重力方向を向くように把持されている場合（縦持ち）において、右アナログスティック７２Ｂを用いて方向入力が行われたときの第１仮想カメラＣ１の向きの変化について説明するための図である。図８に示すように、端末装置７のＸ軸が重力方向を向くように把持されている場合、すなわち、図３に示す基準姿勢から９０度反時計回り（Ｚ軸周り）に回転されている場合において、右アナログスティック７２ＢがＹ軸負方向（重力方向を基準として右方向）にスライドされたとき、第１仮想カメラＣ１はｙ軸周りに回転される。第１仮想カメラＣ１がｙ軸周りに回転されることにより、第１仮想カメラＣ１は仮想空間の右方向を向く。このため、右アナログスティック７２Ｂの操作前には画面の右側にその一部しか表示されなかった家オブジェクト８２が、操作後には画面の左右方向の中央付近に表示される。

【0051】

なお、図８に示す縦持ちの状態において、右アナログスティック７２Ｂを用いてＹ軸正方向（重力方向を基準として左方向）にスライドされた場合、第１仮想カメラＣ１は仮想空間の左方向を向く。また、図８に示す縦持ちの状態において、右アナログスティック７２Ｂを用いてＸ軸方向（重力方向）が入力された場合、第１仮想カメラＣ１の向きは変化しない。

【0052】

図９は、端末装置７のＸ軸が実空間の水平方向に対して所定の角度だけ傾くように把持されている場合（斜め持ち）において、右アナログスティック７２Ｂを用いて方向入力が行われたときの第１仮想カメラＣ１の向きの変化について説明するための図である。図９に示すように、端末装置７が基準姿勢から所定の角度（例えば３０度）だけロール方向（Ｚ軸周り）に回転されて把持されている場合、第１仮想カメラＣ１もロール方向（Ｚｃ１軸周り）に回転される。この状態において、右アナログスティック７２Ｂが見た目上の右方向（基準姿勢における右斜め下方向）にスライドされた場合、第１仮想カメラＣ１は、仮想空間のｙ軸周りに回転される。すなわち、第１仮想カメラＣ１は、右アナログスティック７２Ｂが見た目上の右方向にスライドされた場合、仮想空間の右方向を向く。このため、右アナログスティック７２Ｂの操作前には画面の右側に表示されていた家オブジェクト８２は、操作後には画面の左方向に移動する。

【0053】

このように、端末装置７の姿勢が変化しても、第１仮想カメラＣ１は、右アナログスティック７２Ｂの見た目上（外観上）の入力方向に対応する仮想空間の方向を向くように制御される。すなわち、第１仮想カメラＣ１の向きの変化方向と、アナログスティックの見た目上の入力方向とが沿うように、第１仮想カメラＣ１の向きが変化される。ここで、「見た目上の入力方向」とは、実空間を基準とした右アナログスティック７２Ｂのスライド方向である。端末装置７が基準姿勢である場合は、見た目上の入力方向と端末装置７が検出する右アナログスティック７２Ｂの入力方向を示す入力ベクトルの方向とは一致する。一方、端末装置７が基準姿勢からＺ軸周りに回転されている場合、見た目上の入力方向は、上記入力ベクトルの方向とは異なる。具体的には、右アナログスティック７２Ｂの入力方向を示す入力ベクトルが、端末装置７の姿勢に応じて回転され、当該回転されたベクトルに基づいて、第１仮想カメラＣ１の向きが変化する。

【0054】

図１０は、右アナログスティック７２Ｂの入力方向に応じた入力ベクトルを端末装置７の姿勢に応じて回転させる様子を示す図である。端末装置７の右アナログスティック７２Ｂにおいて行われた操作は、入力ベクトルとして算出される。図１０に示すように、右アナログスティック７２Ｂの入力方向に応じた入力ベクトルは、ＩｘＩｙ座標系の座標値として表される。Ｉｘ軸は、端末装置７のＸ軸負方向と一致し、Ｉｙ軸は、端末装置７のＹ軸正方向と一致する。端末装置７がロール方向（Ｚ軸周り）にθｒだけ回転されている場合において、入力ベクトルの値が例えば（０．７０７，−０．７０７）であった場合、当該入力ベクトルをθｒだけ回転させた補正ベクトルが算出される。そして、当該補正ベクトルが、第１仮想カメラＣ１のｙ軸周りの回転に用いられる。より具体的には、第１仮想カメラＣ１のｙ軸周りの回転（ヨー方向の回転）には、右アナログスティック７２Ｂを用いた見た目上の左右方向の入力のみが用いられるため、補正ベクトルのＩｘ軸成分の値に応じて、第１仮想カメラＣ１がｙ軸周りに回転される。

【0055】

例えば、端末装置７のロール方向の回転角θｒが９０度である場合（縦持ちの場合）において、入力ベクトルの値が（０，−１．０）であるとき、入力ベクトルを９０度回転させた補正ベクトルは（１，０）となる。従って、この場合、右アナログスティック７２Ｂの右方向が入力されたと見なして、第１仮想カメラＣ１をｙ軸周りに回転させる。また、例えば、端末装置７のロール方向の回転角θｒが９０度である場合において、入力ベクトルの値が（１，０）であるとき、入力ベクトルを９０度回転させた補正ベクトルは（０，１）となる。従って、この場合、右アナログスティック７２Ｂの上方向が入力されたと見なして、第１仮想カメラＣ１をｙ軸周りに回転させない。

【0056】

このように、端末装置７の姿勢に応じて右アナログスティック７２Ｂの入力方向を示す入力ベクトルを補正して補正ベクトルを算出する。そして、当該補正ベクトルに基づいて、第１仮想カメラＣ１を仮想空間の上下方向の軸周りに回転させる。これにより、端末装置７の姿勢が変化した場合においても、見た目上の右アナログスティック７２Ｂの入力方向（重力方向を基準とした水平方向）に、第１仮想カメラＣ１を向けることができる。

【0057】

以上のように、本実施形態においては、端末装置７の姿勢を変化させる操作（第１の操作）、および、右アナログスティック７２Ｂを用いた方向入力操作（第２の操作）によって、第１仮想カメラＣ１の向きが制御される。図１１に示すように、第１の操作によるカメラ制御と第２の操作によるカメラ制御が足しあわされることにより、第１仮想カメラＣ１の向きが決定される。

【0058】

（端末装置と表示装置とを用いたゲーム操作）
次に、図１２から図１９を参照して、端末装置７と表示装置２とに表示される画像を用いた複数人で行われるゲーム操作について説明する。まず、図１２から図１４を用いて、端末装置７と表示装置２とに表示される画像について説明する。

【0059】

図１２は、端末装置７をヨー方向に回転させる操作、および、右アナログスティック７２Ｂを用いた左右方向の入力に基づいた２つの仮想カメラの制御について説明するための図である。上述のように、端末装置７のヨー方向（Ｙ軸周り）の回転および右アナログスティック７２Ｂの左右方向の入力に応じて、端末装置７のＬＣＤ５１に表示される画像を生成するための第１仮想カメラＣ１の向きが変化する。第１仮想カメラＣ１と同様に、表示装置２に表示される画像を生成するための第２仮想カメラＣ２の向きも、端末装置７のヨー方向の回転および右アナログスティック７２Ｂの左右方向の入力に応じて、変化する。すなわち、ヨー方向に関して、第２仮想カメラＣ２は第１仮想カメラＣ１と連動して動作する。具体的には、第１仮想カメラＣ１に固定の座標系のＹｃ１軸周りの回転と、第２仮想カメラＣ２に固定のＸｃ２Ｙｃ２Ｚｃ２座標系のＹｃ２軸周りの回転とは、等しい。ただし、急激な変化を避けるために、第２仮想カメラＣ２が第１仮想カメラＣ１に所定時間をかけて追従するようにしてもよい。なお、Ｘｃ２軸は第２仮想カメラＣ２を基準として左方向に延びる軸であり、Ｙｃ２軸は第２仮想カメラＣ２を基準として上方向に延びる軸であり、Ｚｃ２軸は第２仮想カメラＣ２の撮像方向に延びる軸である。

【0060】

図１３は、端末装置７をピッチ方向に回転させる操作に基づいた２つの仮想カメラの制御について説明するための図である。図１４は、端末装置７をロール方向に回転させる操作に基づいた２つの仮想カメラの制御について説明するための図である。図１３に示すように、端末装置７をピッチ方向（Ｘ軸周り）に回転させると、第１仮想カメラＣ１もピッチ方向（Ｘｃ１軸周り）に回転する。一方で、端末装置７をピッチ方向に回転させても、第２仮想カメラＣ２は、ピッチ方向（Ｘｃ２軸周り）に回転しない。

【0061】

また、図１４に示すように、端末装置７をロール方向（Ｚ軸周り）に回転させると、第１仮想カメラＣ１もロール方向（Ｚｃ１軸周り）に回転する。一方で、端末装置７をロール方向に回転させても、第２仮想カメラＣ２は、ロール方向（Ｚｃ２軸周り）に回転しない。すなわち、ピッチ方向およびロール方向に関しては、第２仮想カメラＣ２は第１仮想カメラＣ１と連動して動作しない。

【0062】

このように、端末装置７をヨー方向に回転させたり、右アナログスティック７２Ｂを左右方向にスライドさせることにより、ヨー方向に関して第１仮想カメラＣ１と第２仮想カメラＣ２とを連動させることができる。また、端末装置７をピッチ方向やロール方向に回転させることにより、端末装置７を把持する第１ユーザは、端末装置７の背面を上下左右の任意の方向に向けることによって、仮想空間の上下左右の任意の方向を見ることができる。従って、第１ユーザは、自身の端末装置７に対する操作に応じて自由に仮想空間を見渡すことができる。

【0063】

一方、端末装置７がヨー方向に回転されると第２仮想カメラＣ２もヨー方向（ｙ軸周り）に回転するが、端末装置７がピッチ方向やロール方向に回転されても第２仮想カメラＣ２はピッチ方向やロール方向に回転しない。従って、第１ユーザが端末装置７をピッチ方向やロール方向に回転させても、表示装置２に表示される仮想空間の範囲は変化しない。このため、表示装置２を視認する第２ユーザにとっては、見やすい画像となる。すなわち、第１ユーザが端末装置７を上下方向に向けたりロール方向に回転させたりすることで表示装置２において画像が上下方向に揺れたり、回転したりすると、第２ユーザにとっては見難い画像となる。しかしながら、本実施形態では、第２仮想カメラＣ２は第１仮想カメラＣ１とヨー方向に関してのみ連動するため、据置型の表示装置２を視認する第２ユーザにとって見やすい画像となる。

【0064】

次に、上述のように端末装置７および表示装置２において仮想空間の画像が表示されている場合において、第２ユーザがコントローラ５を用いて表示装置２の画面上の位置を指示する場合について説明する。図１５は、コントローラ５を用いて表示装置２の画面上の位置が指示された場合において、端末装置７および表示装置２に表示される画像の一例を示す図である。

【0065】

図１５に示すように、第２ユーザがコントローラ５の先端を表示装置２に向けると、表示装置２の画面には、画面上の指示位置を示すポインタ８６が表示される。表示装置２にポインタ８６が表示されると、端末装置７のＬＣＤ７１には、指示オブジェクト８７が表示される。指示オブジェクト８７は、所定の３次元形状（例えば、球）のオブジェクトであり、ポインタ８６が示す表示装置２の画面上の位置に対応する仮想空間の３次元位置に配置される。そして、当該指示オブジェクト８７を含む仮想空間を撮像した画像が、端末装置７のＬＣＤ７１に表示される。また、端末装置７には、指示オブジェクト８７の位置を示す指標８８が表示される。指標８８は、ユーザオブジェクト８１と指示オブジェクト８７との位置関係を示し、例えば、ユーザオブジェクト８１から指示オブジェクト８７に向かう矢印として表示される。当該指標８８および指示オブジェクト８７が端末装置７に表示されることで、端末装置７を視認する第１ユーザは、指示オブジェクト８７の位置、すなわち、第２ユーザによって指示された位置を知ることができる。

【0066】

図１６は、指示オブジェクト８７が配置される位置について説明するための図である。まず、コントローラ５を用いて指示された表示装置２の画面上の指示位置が算出される。例えば、表示装置２の周辺（例えば画面の上方）に配置されたマーカ装置６からの光をコントローラ５の撮像部が撮像することにより、表示装置２の画面上の指示位置（２次元）が算出される。次に、図１６に示すように、当該指示位置を通って第２仮想カメラＣ２のＺｃ２軸と平行な直線が算出される。そして、当該直線と仮想空間の地面（ｘｙ平面）から所定の高さｈの面とが交わる点が、３次元指示位置として算出される。このようにして算出された３次元指示位置に、指示オブジェクト８７が配置される。

【0067】

図１７は、端末装置７の左アナログスティック７２Ａを用いた方向入力に基づいてユーザオブジェクト８１を移動させる様子を示す図である。図１７に示すように、第１ユーザは、端末装置７の左アナログスティック７２Ａを用いて所定の方向を入力することにより、ユーザオブジェクトを８１’の位置から８１の位置に移動させることができる。ユーザオブジェクト８１の移動に伴って、第１仮想カメラＣ１および第２仮想カメラＣ２も仮想空間を移動する。例えば、左アナログスティック７２Ａの上方向（Ｙ軸正方向）が入力された場合、ユーザオブジェクト８１は、仮想空間を前方に移動し（端末装置７の画面の奥方向に移動し）、２つの仮想カメラもそれに伴って移動する。また、左アナログスティック７２Ａの右方向（Ｘ軸負方向）が入力された場合、ユーザオブジェクト８１は、仮想空間を右方向に移動し、それに伴って２つの仮想カメラも移動する。また、図１７に示すように、左アナログスティック７２Ａの右上方向が入力されると、ユーザオブジェクト８１は、右斜め前方に移動する。このように、第１ユーザは、左アナログスティック７２Ａを用いた方向入力によって、仮想空間の任意の方向にユーザオブジェクト８１を移動させることができる。

【0068】

なお、端末装置７が縦持ちの状態である場合、左アナログスティック７２Ａを用いて方向入力が行われると、上記右アナログスティック７２Ｂを用いた操作と同様に、左アナログスティック７２Ａの見た目上の入力方向にユーザオブジェクト８１は移動する。図１８は、端末装置７が縦持ちの状態である場合において、左アナログスティック７２Ａを用いた方向入力操作が行われた場合のユーザオブジェクト８１の移動を説明するための図である。図１８に示すように、端末装置７が縦持ちの状態である場合において、左アナログスティック７２ＡがＸ軸負方向にスライドされると、見た目上のスライド方向は実空間の上方である。従って、この場合、左アナログスティック７２Ａを用いて上方向が入力されたと見なされて、ユーザオブジェクト８１は、右方向に移動せずに仮想空間の前方（画面の奥方向）に移動する。具体的には、上述の右アナログスティック７２Ｂを用いた操作と同様に、左アナログスティック７２Ａの入力方向に応じた入力ベクトルが、端末装置７のＺ軸周りの回転に応じて回転される。そして、当該回転されたベクトルに応じて、ユーザオブジェクト８１の移動方向が定められる。

【0069】

図１９は、ユーザオブジェクト８１が移動して第２ユーザによって指示された家オブジェクト８２に到達した様子を示す図である。ここで、ユーザオブジェクト８１が、家オブジェクト８２に到達した場合、ゲームＡが選択される。家オブジェクト８２は、これから実行するゲームを選択するためのオブジェクトであり、家オブジェクト８２に対応するゲームが予め用意されている。また、仮想空間には、ゲームＡに対応する家オブジェクト８２の他に、異なる種類のゲームに対応付けられた複数の選択オブジェクトがそれぞれ配置される。

【0070】

図２０は、ユーザオブジェクト８１が移動して仮想空間に配置されたビルオブジェクト８９に到達した様子を示す図である。図２０に示すように、仮想空間には、ゲームＢに対応するビルオブジェクト８９が配置され、ユーザオブジェクト８１がビルオブジェクト８９に到達すると、ゲームＢが選択される。

【0071】

以上のように、第１ユーザがユーザオブジェクト８１を操作して各ゲームに対応付けられた選択オブジェクトを選択することにより、ゲームが実行される。第２ユーザは、表示装置２に表示された画像を見ながら、コントローラ５を用いて表示装置２の画面上の位置を指示することにより、第１ユーザに選択してもらいたい選択オブジェクト（ゲーム）を指示する。第１ユーザは、端末装置７のＬＣＤ７１に表示された指示オブジェクト８７を見て、第２ユーザによって指示された選択オブジェクトを知ることができる。そして、第１ユーザはユーザオブジェクト８１を操作することによって当該選択オブジェクトを選択し、ゲームを開始することができる。

【0072】

このように、表示装置２の画面上の指示位置に対応する仮想空間の位置に指示オブジェクト８７が配置され、当該指示オブジェクト８７が端末装置７に表示されることにより、ユーザ同士のコミュニケーションを行うことができる。

【0073】

なお、上記実施形態は単なる一例であり、例えば以下に説明するように種々の変形が行われてもよい。

【0074】

例えば、上記実施形態では、右アナログスティック７２Ｂを用いた見た目上の左右方向（重力方向に対して左右方向）の入力に応じて、第１仮想カメラＣ１をヨー方向に回転させた。他の実施形態では、見た目上の上下方向（重力に平行な方向）の入力に応じて、第１仮想カメラＣ１をピッチ方向に回転させてもよい。すなわち、当該上下方向の入力に応じて、第１仮想カメラＣ１を仮想空間の上下方向に向けてもよい。この場合、右アナログスティック７２Ｂの入力方向を示す入力ベクトルを端末装置７の姿勢に応じて補正して（回転させて）上記補正ベクトルを算出し、当該補正ベクトルの左右方向成分に応じて、第１仮想カメラＣ１をヨー方向に回転させる。また、当該補正ベクトルの上下方向成分に応じて、第１仮想カメラＣ１をピッチ方向に回転させる。

【0075】

また、上記実施形態では、任意の方向を入力することが可能なアナログスティックを用いた方向入力を行い、アナログスティックにおいて行われた入力方向を、端末装置７の姿勢に応じて補正した。他の実施形態では、十字キーや所定のパターンで配置された複数の操作ボタン、その他任意の入力手段を用いて方向入力が行われ、端末装置７の姿勢に応じて入力方向が補正されてもよい。

【0076】

また、上記実施形態では、ヨー方向に関してのみ第２仮想カメラＣ２を第１仮想カメラＣ１と連動させたが、他の実施形態では、ピッチ方向およびロール方向も含めて連動させてもよい。また、他の実施形態では、第２仮想カメラＣ２を、所定方向に関してのみ第１仮想カメラＣ１と連動させてもよい。すなわち、第１仮想カメラＣ１は、端末装置７に対する操作に応じて複数の方向（ロール、ピッチ、ヨー）に回転する一方で、第２仮想カメラＣ２は、複数の方向のうちの所定方向に回転してもよい。

【0077】

また、上記実施形態では、第１仮想カメラＣ１および第２仮想カメラＣ２が仮想空間に配置され、第１仮想カメラＣ１と第２仮想カメラＣ２とは連動した。そして、第１仮想カメラＣ１から仮想空間を見た画像が端末装置７に表示され、第２仮想カメラＣ２から仮想空間を見た画像が表示装置２に表示された。他の実施形態では、第２仮想カメラＣ２は設定されずに、第１仮想カメラＣ１から見た画像が端末装置７および表示装置２に表示されてもよい。

【0078】

また、上記実施形態では、第２仮想カメラＣ２の撮像方向を、第１仮想カメラＣ１の撮像方向と平行（所定の角度差があってもよい）にすることにより、表示装置２には、端末装置７に表示される画像と同じような画像（ユーザオブジェクト８１の後方から仮想空間を見た画像）が表示された。すなわち、上記実施形態では、表示装置２の奥方向に対応する仮想空間の方向を端末装置７の奥方向に対応する仮想空間の方向と一致させた。他の実施形態では、第２仮想カメラＣ２の位置および撮像方向は第１仮想カメラＣ１と一致（実質的に一致）していなくてもよい。

【0079】

図２１は、第１仮想カメラＣ１と第２仮想カメラＣ２の位置関係および撮像方向（視線方向）の種々の例を示す図である。上記実施形態のように、第２仮想カメラＣ２は、第１仮想カメラＣ１の視点Ａと一致（略一致）する視点Ｂに配置されてもよく、撮像方向Ｂは、第１仮想カメラＣ１の撮像方向Ａと一致（略一致）してもよい。具体的には、第２仮想カメラＣ２の視点Ｂは、左右方向および上下方向に関して第１仮想カメラＣ１の視点Ａと一致してもよい。あるいは、第２仮想カメラＣ２の視点Ｂは、左右方向に関して第１仮想カメラＣ１の視点Ａと一致し、上下方向に関して第１仮想カメラＣ１とずれていてもよい。この場合、図３に示すように、表示装置２および端末装置７には略同じ画像が表示され、表示装置２の画像の奥方向が示す仮想空間の方向は、端末装置７に表示される画像の奥方向に対応する。言い換えると、第１仮想カメラＣ１の撮像方向と第２仮想カメラＣ２の撮像方向とは、実質的に平行（垂直よりも平行に近く）に設定されてもよい。

【0080】

また、図２１に示すように、第２仮想カメラＣ２は、視点Ｃに配置されて、撮像方向は方向Ｃに設定されてもよい。また、第２仮想カメラＣ２は、視点Ｄに配置されて、撮像方向は方向Ｄに設定されてもよい。すなわち、第２仮想カメラＣ２の撮像方向は、仮想空間の地面に対して実質的に垂直（平行よりも垂直に近い）になるように設定されてもよい。

【0081】

図２２は、図２１に示す視点Ｃに第２仮想カメラＣ２が設定される際に表示装置２に表示される画像の一例を示す図である。図２３は、図２２に示す視点Ｄに第２仮想カメラＣ２が設定される際に表示装置２に表示される画像の一例を示す図である。図２２に示すように、表示装置２には端末装置７よりも仮想空間の上方から見た画像が表示される。この場合においても、第１仮想カメラＣ１と第２仮想カメラＣ２とは連動するため、端末装置７に対する操作に応じて、表示装置２に表示される画像は変化する。また、図２３に示すように、表示装置２には、仮想空間の真上から見た俯瞰視点の画像が表示されてもよい。この場合においても、同様に第１仮想カメラＣ１と第２仮想カメラＣ２とは連動する。図２２および図２３に示すように、端末装置７には、上記実施形態と同様に画面の奥方向が仮想空間の地面に沿った方向となる画像が表示される一方で、表示装置２には、画面の奥方向が仮想空間の地面と垂直（実質的に垂直）となる画像が表示される。すなわち、仮想空間の上方からユーザオブジェクト８１を含む仮想空間を見た画像が表示装置２に表示される。この場合、表示装置２の画像の上方向が示す仮想空間の方向は、端末装置７に表示される画像の奥方向に対応する。言い換えると、第１仮想カメラＣ１の撮像方向と第２仮想カメラＣ２の撮像方向とは、実質的に垂直（平行よりも垂直に近く）に設定されてもよい。

【0082】

また、上記実施形態では、コントローラ５を用いて表示装置２の画面上の位置が指示されたが、他の実施形態では、他の任意の装置を用いて表示装置２の画面上の位置が指示されてもよい。例えば、マウス等のポインティングデバイスやアナログスティック、十字キー、複数の操作ボタン等を用いた方向入力によって表示装置２の画面上のポインタが移動し、当該ポインタの位置を指示位置としてもよい。あるいは、表示装置２の画面上にタッチパネルが設けられ、タッチ操作によって表示装置２の画面上の位置が指示されてもよい。

【0083】

また、上記実施形態では、選択オブジェクトによって選択オブジェクトに応じたゲームが実行されるものとした。他の実施形態では、選択されたオブジェクトに応じて他の任意のプログラムが実行されてもよい。

【0084】

また、上記実施形態では、表示装置２の画面上の位置が指示され、当該指示された位置を示す指示オブジェクト８７が端末装置７に表示された。他の実施形態では、端末装置７のＬＣＤ７１の画面上の位置が指示され、当該指示された位置に対応する仮想空間の位置に指示オブジェクトが配置されて、当該指示オブジェクトが表示装置２に表示されてもよい。

【0085】

例えば、端末装置７の画面上にタッチパネルが設けられ、タッチ操作によってＬＣＤ７１上の位置が指示され、当該指示位置に対応する仮想空間の位置に指示オブジェクトが配置されてもよい。そして、当該指示オブジェクトを含む画像が表示装置２に表示されることにより、端末装置７を使用する第１ユーザと表示装置２を視認する第２ユーザとの間でコミュニケーションが行われてもよい。また、端末装置７とは別体の操作装置を用いて端末装置７のＬＣＤ７１上の画面の位置が指示され、当該指示位置に対応する仮想空間の位置に指示オブジェクトが配置されてもよい。そして、当該指示オブジェクトを含む画像が表示装置２に表示されてもよい。

【0086】

（処理の流れ）
次に、本実施形態のゲームシステム１において行われる処理の詳細について説明する。まず、メモリに記憶される各種データについて説明する。図２４は、ゲーム装置３内に記憶される各種データを示す図である。

【0087】

図２４に示すように、ゲーム装置３のメモリ１１等には、後述する処理を実行するためのプログラム１００、ゲームＡを実行するためのゲームプログラム１０１、および、ゲームＢを実行するためのゲームプログラム１０２が記憶される。また、ゲーム装置３には、端末装置７の姿勢を示す姿勢データ１１０、左アナログスティック７２Ａおよび右アナログスティック７２Ｂの入力方向を示す入力方向データ１１１、第１仮想カメラＣ１の向きを示す第１仮想カメラデータ１１２、第２仮想カメラＣ２の向きを示す第２仮想カメラデータ１１３、コントローラ５を用いて指示された表示装置２の画面上の位置を示す指示位置データ１１４、および、ユーザオブジェクトの位置を示すオブジェクトデータ１１５等が記憶される。また、ゲーム装置３には、上記家オブジェクト８２やビルオブジェクト８９の位置を示すデータ等が記憶される。

【0088】

（フローチャートの説明）
次に、ゲーム装置３（ＣＰＵ１０）において実行される処理の詳細を、図２５を参照して説明する。図２５は、ゲーム装置３において実行される処理の流れを示すメインフローチャートである。

【0089】

まず、ゲーム装置３は、メモリに記憶された端末装置７の慣性センサ７３からのデータに基づいて、端末装置７の姿勢を取得（算出）する（ステップＳ１０１）。次に、ゲーム装置３は、メモリに記憶された端末装置７からの操作データに基づいて、右アナログスティック７２Ｂおよび左アナログスティック７２Ａの入力方向を示す入力ベクトルそれぞれを取得する（ステップＳ１０２）。

【0090】

次に、ゲーム装置３は、端末装置７の姿勢および右アナログスティック７２Ｂの入力ベクトルに基づいて、第１仮想カメラＣ１および第２仮想カメラＣ２の制御を行う（ステップＳ１０３）。具体的には、ゲーム装置３は、上述のように、端末装置７のヨー方向、ピッチ方向、ロール方向の回転に応じて第１仮想カメラＣ１の向きを算出する。また、右アナログスティック７２Ｂの入力方向を示す入力ベクトルと端末装置７のロール方向の回転とに基づいて、補正ベクトルを算出し、算出した補正ベクトルに応じて第１仮想カメラＣ１をｙ軸周りに回転させる。また、ゲーム装置３は、上述のように第１仮想カメラＣ１の向きに応じて第２仮想カメラＣ２の向きを設定する。

【0091】

次に、ゲーム装置３は、コントローラ５を用いた表示装置２の画面上の指示位置を取得し（ステップＳ１０４）、当該指示位置に対応する仮想空間の位置である３次元位置を算出する（ステップＳ１０５）。そして、ゲーム装置３は、指示オブジェクト８７を算出した３次元位置に配置する（ステップＳ１０６）。以上の処理が行われることにより、第１仮想カメラＣ１および第２仮想カメラＣ２から見た画像がそれぞれ生成され、端末装置７および表示装置２に出力される。これにより、端末装置７には、第１仮想カメラＣ１から指示オブジェクト８７を含む仮想空間を見た画像が表示され、表示装置２には、第１仮想カメラＣ１と連動する第２仮想カメラＣ２から仮想空間を見た画像が表示される。

【0092】

次に、ゲーム装置３は、左アナログスティック７２Ａの入力方向に応じた入力ベクトルに基づいて、ユーザオブジェクト８１を仮想空間内で移動させる（ステップＳ１０７）。この場合において、上述のように、入力ベクトルを端末装置７の姿勢に応じて補正し、補正したベクトルに基づいて、ユーザオブジェクト８１を移動させる。そして、移動後のユーザオブジェクト８１が、仮想空間に配置された選択オブジェクトの位置に到達したか否かが判定される（ステップＳ１０８）。ユーザオブジェクト８１が選択オブジェクトに到達した場合（ステップＳ１０８：ＹＥＳ）、ゲーム装置３は、メモリに記憶された選択オブジェクトに応じたゲームプログラムの実行を開始する（ステップＳ１０９）。ユーザオブジェクト８１が選択オブジェクトに到達しない場合（ステップＳ１０８：ＮＯ）、ゲーム装置３は、図２５に示す処理を終了する。

【0093】

なお、図２５に示すフローチャートの処理は繰り返し実行される。また、当該フローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。

【0094】

また、上述した処理の一部は、端末装置７において行われてもよい。例えば、端末装置７の姿勢およびアナログスティックを用いた方向入力に応じて、第１仮想カメラＣ１の向きが端末装置７において算出されてもよい。この場合において、端末装置７は、自機の姿勢に応じてアナログスティックの入力ベクトルを回転させたベクトルを算出し、当該算出したベクトルに基づいて、第１仮想カメラＣ１の向きを算出する。

【0095】

また、上記プログラムは、上記ゲーム装置３に限らず、他の任意の情報処理装置において実行され、当該情報処理装置が上述したゲームシステムとして機能してもよい。例えば、他の情報処理装置としては、携帯電話、スマートフォン、ＰＤＡ、パーソナルコンピュータ、タブレット型コンピュータ等が用いられてもよい。これら他の情報処理装置が、上述したゲーム装置３および端末装置７として機能してもよい。

【0096】

また、他の実施形態では、互いに通信可能な複数の装置を含むゲームシステムにおいて、当該複数の装置が、上述のようなゲーム装置３において実行されたゲーム処理を分担して実行するようにしてもよい。例えば、インターネットのようなネットワークに接続された複数の情報処理装置によって上述のようなゲームシステムが構成されてもよい。

【0097】

また、上記実施形態においては、ゲーム装置３のＣＰＵがプログラムを実行することによって、上述したフローチャートによる処理が行われた。他の実施形態においては、上記処理の一部又は全部は、ゲーム装置３が備える専用回路によって行われてもよいし、他の汎用プロセッサによって行われてもよい。少なくとも１つのプロセッサが、上記処理を実行するための「プログラムされた論理回路」として動作するものであってもよい。

【符号の説明】

【0098】

１ ゲームシステム
２ 表示装置
３ ゲーム装置
５ コントローラ
７ 端末装置
７１ ＬＣＤ
７２Ａ 左アナログスティック
７２Ｂ 右アナログスティック
８１ ユーザオブジェクト
８２、８９ 選択オブジェクト
８７ 指示オブジェクト
８８ 指標

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】