知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-09-24
(45)【発行日】2025-10-02
(54)【発明の名称】情報処理システム、情報処理方法、および情報処理プログラム
(51)【国際特許分類】
G06T 19/00 20110101AFI20250925BHJP
A63F 13/25 20140101ALI20250925BHJP
A63F 13/428 20140101ALI20250925BHJP
A63F 13/53 20140101ALI20250925BHJP
A63F 13/55 20140101ALI20250925BHJP
【ＦＩ】
G06T19/00 600
A63F13/25
A63F13/428
A63F13/53
A63F13/55
【請求項の数】
8
(21)【出願番号】P 2024161129
(22)【出願日】2024-09-18
(62)【分割の表示】P 2021574446の分割
【原出願日】2020-09-18
(65)【公開番号】P2024169572
(43)【公開日】2024-12-05
【審査請求日】2024-09-18
(31)【優先権主張番号】P 2020011691
(32)【優先日】2020-01-28
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000233778
【氏名又は名称】任天堂株式会社
(74)【代理人】
【識別番号】100158780
【弁理士】
【氏名又は名称】寺本 亮
(74)【代理人】
【識別番号】100121359
【弁理士】
【氏名又は名称】小沢 昌弘
(74)【代理人】
【識別番号】100130269
【弁理士】
【氏名又は名称】石原 盛規
(72)【発明者】
【氏名】桑原 雅人
(72)【発明者】
【氏名】河井 宏智
(72)【発明者】
【氏名】味水 達也
(72)【発明者】
【氏名】堀口 清吾
(72)【発明者】
【氏名】瀬古 圭介
(72)【発明者】
【氏名】酒井 由利子
(72)【発明者】
【氏名】栗本 真二
【審査官】益戸 宏
(56)【参考文献】
【文献】国際公開第２０１５／１５９５６１（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １９／００
Ａ６３Ｆ １３／００
(57)【特許請求の範囲】
【請求項1】
第１ユーザによって用いられる、頭部に装着されるまたは手で把持されるヘッドマウントディスプレイである第１デバイスと、第２ユーザによって用いられる第２デバイスと、
前記第１デバイスによって操作される第１仮想オブジェクトと、前記第２デバイスによって操作される第２仮想オブジェクトとを用いたゲームに関するゲーム処理を行うゲーム処理手段と、
前記ゲーム処理の結果に基づく画像を前記第１デバイスのディスプレイに表示させる第１表示制御手段と、
前記ゲーム処理の結果に基づく画像を前記第２デバイスのディスプレイに表示させる第２表示制御手段と、
前記ゲーム処理中に、前記第１ユーザが現実空間における所定範囲から出たか否か、又は、前記第１ユーザが所定距離以上移動したか否かを判定する判定手段と、
前記判定手段によって、前記第１ユーザが前記所定範囲から出たと判定された場合、又は、前記第１ユーザが前記所定距離以上移動したと判定された場合、前記第２デバイスを用いて前記第２ユーザに通知する通知手段と、を備える、情報処理システム。
【請求項2】
前記第２デバイスは、可搬型のデバイスである、請求項１に記載の情報処理システム。
【請求項3】
前記ゲーム処理手段は、前記第２デバイスの現実空間における位置に基づいて、前記ゲーム処理を行う、請求項２に記載の情報処理システム。
【請求項4】
前記第２デバイスは、ヘッドマウントディスプレイである、請求項２又は３に記載の情報処理システム。
【請求項5】
前記通知手段は、前記第１ユーザが前記所定範囲から出た場合、又は、前記第１ユーザが前記所定距離以上移動した場合、前記第１デバイスを用いて前記第１ユーザに通知する、請求項１から４の何れかに記載の情報処理システム。
【請求項6】
前記通知手段は、前記第１ユーザが前記所定範囲から出た場合、又は、前記第１ユーザが前記所定距離以上移動した場合、第３のデバイスを用いて、前記ゲームを観戦する第３ユーザに通知する、請求項１から５の何れかに記載の情報処理システム。
【請求項7】
第１ユーザによって用いられる、頭部に装着されるまたは手で把持されるヘッドマウントディスプレイである第１デバイスと、第２ユーザによって用いられる第２デバイスとを含む情報処理システムにおいて行われる情報処理方法であって、前記第１デバイスによって操作される第１仮想オブジェクトと、第２デバイスによって操作される第２仮想オブジェクトとを用いたゲームに関するゲーム処理を行うゲーム処理ステップと、
前記ゲーム処理の結果に基づく画像を前記第１デバイスのディスプレイに表示させる第１表示制御ステップと、
前記ゲーム処理の結果に基づく画像を前記第２デバイスのディスプレイに表示させる第２表示制御ステップと、
前記ゲーム処理中に、前記第１ユーザが現実空間における所定範囲から出たか否か、又は、前記第１ユーザが所定距離以上移動したか否かを判定する判定ステップと、
前記判定ステップにおいて、前記第１ユーザが前記所定範囲から出たと判定された場合、又は、前記第１ユーザが前記所定距離以上移動したと判定された場合、前記第２デバイスを用いて前記第２ユーザに通知する通知ステップと、を備える、情報処理方法。
【請求項8】
第１ユーザによって用いられる、頭部に装着されるまたは手で把持されるヘッドマウントディスプレイである第１デバイスと、第２ユーザによって用いられる第２デバイスとを含む情報処理システムのコンピュータにおいて実行される情報処理プログラムであって、前記コンピュータを、前記第１デバイスによって操作される第１仮想オブジェクトと、第２デバイスによって操作される第２仮想オブジェクトとを用いたゲームに関するゲーム処理を行うゲーム処理手段と、
前記ゲーム処理の結果に基づく画像を前記第１デバイスのディスプレイに表示させる第１表示制御手段と、
前記ゲーム処理の結果に基づく画像を前記第２デバイスのディスプレイに表示させる第２表示制御手段と、
前記ゲーム処理中に、前記第１ユーザが現実空間における所定範囲から出たか否か、又は、前記第１ユーザが所定距離以上移動したか否かを判定する判定手段と、
前記判定手段によって、前記第１ユーザが前記所定範囲から出たと判定された場合、又は、前記第１ユーザが前記所定距離以上移動したと判定された場合、前記第２デバイスを用いて前記第２ユーザに通知する通知手段と、して機能させる、情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数のディスプレイに画像を表示させることが可能な画像処理システム、画像処理プログラム、および画像処理方法に関する。
【背景技術】
【0002】
先行技術として、仮想空間に仮想オブジェクトを配置し、ディスプレイに仮想オブジェクトを含む仮想空間の画像を表示させるシステムがある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－７４３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、仮想空間の画像の表示に関してユーザビリティを向上するという観点では改善の余地があった。
【0005】
それ故、本発明の目的は、仮想空間の画像の表示に関してユーザビリティを向上させることが可能な画像処理システム、画像処理プログラム、および画像処理方法を提供することである。
【課題を解決するための手段】
【0006】
上記の課題を解決すべく、本発明は、以下の構成を採用した。
【0007】
本発明の画像処理システムは、第１ユーザが視認可能な第１ディスプレイと、前記第１ユーザの入力を受け付ける第１入力手段と、第２ユーザによって携帯され、前記第２ユーザが視認可能な可搬型の第２ディスプレイとを備える。また、画像処理システムは、第１オブジェクト配置手段と、第１オブジェクト制御手段と、第１仮想カメラ配置手段と、第２仮想カメラ配置手段と、第２オブジェクト配置手段と、第１表示制御手段と、第２表示制御手段とを備える。第１オブジェクト配置手段は、前記第１ディスプレイ及び前記第１ユーザの現実空間における位置に関わらず、仮想空間内に第１オブジェクトを配置する。第１オブジェクト制御手段は、前記第１入力手段が受け付けた入力に応じて、前記第１オブジェクトの制御を行う。第１仮想カメラ配置手段は、前記仮想空間内において、前記第１オブジェクトの位置に対応する位置に第１仮想カメラを配置する。第２仮想カメラ配置手段は、現実空間の基準に対する前記第２ディスプレイの位置に応じて設定される前記仮想空間内の第１位置に、第２仮想カメラを配置し、前記第２仮想カメラの姿勢を、現実空間における前記第２ディスプレイの姿勢に応じた第１姿勢に設定する。第２オブジェクト配置手段は、現実空間の前記基準に対する前記第２ディスプレイの位置に応じて設定される前記仮想空間内の第２位置に、第２オブジェクトを配置する。第１表示制御手段は、前記第１仮想カメラに基づいて生成された、前記第２オブジェクトを含む前記仮想空間の画像を、前記第１ディスプレイに表示させる。第２表示制御手段は、前記第２仮想カメラに基づいて生成された、前記第１オブジェクトを含む前記仮想空間の画像を、前記第２ディスプレイに表示させる。
【0008】
なお、前記第２位置は、前記第１位置と同じ位置であってもよいし異なる位置であってもよい。また、「前記第１オブジェクトの位置に対応する位置」とは、前記第１オブジェクトの位置と同じ位置であってもよいし、前記第１オブジェクトの位置とは異なる位置であってもよい。
【0009】
上記によれば、第１オブジェクトは、現実空間における第１ディスプレイの位置に関係なく仮想空間に設定され、第２オブジェクトは、現実空間の基準に対する第２ディスプレイの位置に応じて仮想空間に設定される。第１仮想カメラは、第１オブジェクトの位置に対応する仮想空間の位置に配置される。第２仮想カメラは、現実空間の基準に対する第２ディスプレイの位置に応じて仮想空間に配置され、第２仮想カメラの姿勢は、第２ディスプレイの姿勢に応じて設定される。そして、第１ディスプレイには、第１仮想カメラに基づいて第２オブジェクトを含む仮想空間の画像が表示され、第２ディスプレイには、第２仮想カメラに基づいて第１オブジェクトを含む仮想空間の画像が表示される。これにより、第１ディスプレイには、仮想空間の第１オブジェクトの位置に対応する位置から見た画像を表示させることができ、第２ディスプレイには、現実空間の基準に対する第２ディスプレイの位置に応じた仮想空間の位置から仮想空間を見た画像を表示させることができる。このため、第１ユーザと第２ユーザとで異なる視点から仮想空間を見ることができる。現実空間における第２ディスプレイの位置と連動して仮想空間内で第２オブジェクトの位置が設定されるため、第１ユーザは、仮想空間内で第２オブジェクトを見ることで現実空間における第２ユーザの位置を把握することができる。また、第２ユーザは、現実空間における第２ディスプレイの位置や姿勢に応じて仮想空間内の第１オブジェクトを見ることができる。
【0010】
また、画像処理システムは、前記第２ユーザの入力を受け付ける第２入力手段と、前記第２入力手段が受け付けた入力に応じて、前記仮想空間又は前記第１オブジェクトに影響を与える制御手段と、をさらに備えてもよい。
【0011】
上記によれば、第２ユーザの入力に基づいて仮想空間又は第１オブジェクトに影響を与えることができる。
【0012】
また、前記制御手段は、前記第２入力手段が受け付けた入力に応じて、前記仮想空間内に所定のオブジェクトを出現させてもよい。前記第１表示制御手段は、前記第２オブジェクトと前記所定のオブジェクトとを含む画像を前記第１ディスプレイに表示させ、前記第２表示制御手段は、前記第１オブジェクトと前記所定のオブジェクトとを含む画像を前記第２ディスプレイに表示させてもよい。
【0013】
上記によれば、第２ユーザの入力に応じて、仮想空間内に所定のオブジェクトを出現させ、第１ディスプレイ及び第２ディスプレイに所定のオブジェクトを表示させることができる。
【0014】
また、前記制御手段は、前記所定のオブジェクトを用いて、前記第１オブジェクトに変化を与えてもよい。
【0015】
上記によれば、第２ユーザの入力に応じて所定のオブジェクトを出現させ、当該所定のオブジェクトを用いて、第１オブジェクトに変化を与えることができる。
【0016】
また、画像処理システムは、ゲーム制御手段をさらに備えてもよい。ゲーム制御手段は、前記第１オブジェクトを用いたゲームを制御する。前記所定のオブジェクトは、前記第１オブジェクトにとって前記ゲームにおいて有利又は不利なオブジェクトであってもよい。
【0017】
上記によれば、第１ユーザによって制御される第１オブジェクトを用いたゲームを行うことができ、第２ユーザの入力に応じて、第１オブジェクトにとってゲーム上有利又は不利な所定のオブジェクトを仮想空間に出現させることができる。これにより、第２ユーザは、第１ユーザが行うゲームに参加することができる。
【0018】
また、前記第１ディスプレイは、ヘッドマウントディスプレイであってもよい。前記第２ディスプレイは、背面方向の現実空間を撮像するカメラを備えてもよい。前記第２仮想カメラ配置手段は、前記カメラからの画像に基づいて、前記基準として現実空間に配置されたマーカを検出し、前記マーカに対する前記第２ディスプレイの位置に応じた前記第１位置に前記第２仮想カメラを配置してもよい。前記第２表示制御手段は、前記カメラで撮像された現実空間の画像に、前記第２仮想カメラに基づいて生成された前記仮想空間の画像を重畳して、前記第２ディスプレイに表示させてもよい。
【0019】
上記によれば、第１ユーザはヘッドマウントディスプレイを装着して仮想空間を見る一方で、第２ユーザは、現実空間のマーカを撮像して、マーカに対する第２ディスプレイの位置に応じた位置から仮想空間を見ることができ、現実空間の画像に重畳して仮想空間の画像を見ることができる。第２ユーザは、現実空間内で移動したり向きを変えたりすることで、仮想空間の様々な視点から仮想空間を見ることができ、第１ユーザが見る仮想空間を、現実空間のように見ることができる。
【0020】
また、画像処理システムは、前記第１ユーザ又は前記第２ユーザによって把持されるコントローラを備えてもよい。前記第１ディスプレイ又は前記第２ディスプレイは、ヘッドマウントディスプレイであってもよい。画像処理システムは、前記ヘッドマウントディスプレイを装着している前記第１ユーザ又は前記第２ユーザの手を撮像可能なカメラを備えてもよい。また、画像処理システムは、指示オブジェクト配置手段と、第３表示制御手段とをさらに備えてもよい。指示オブジェクト配置手段は、前記カメラからの入力画像に基づいて、前記第１ユーザ又は前記第２ユーザの手、又は、前記コントローラを検出し、当該手の位置に前記コントローラを模した仮想的なコントローラオブジェクトを配置し、さらに前記コントローラオブジェクトの所定位置に、前記仮想空間内の位置を指示するための指示オブジェクトを配置する。第３表示制御手段は、前記コントローラオブジェクトと前記指示オブジェクトとを含む画像を前記ヘッドマウントディスプレイに表示させる。
【0021】
上記によれば、手の位置にコントローラを模した仮想的なコントローラオブジェクトが配置されるため、ユーザがヘッドマウントディスプレイを装着している場合でも、コントローラオブジェクトを見ながらコントローラを用いた操作を容易に行うことができる。また、コントローラオブジェクトの所定位置には指示オブジェクトが設けられるため、指示オブジェクトを見ながら仮想空間内の位置を正確に指示することができ、操作性を向上させることができる。
【0022】
また、画像処理システムは、現実空間を撮像するカメラと、仮想オブジェクト配置手段とをさらに備えてもよい。仮想オブジェクト配置手段は、前記カメラからの入力画像に基づいて、現実空間に存在する特定の物体を検出し、当該特定の物体に対応する仮想オブジェクトを、現実空間の前記特定の物体の位置に応じた前記仮想空間内の位置に配置する。前記第１表示制御手段は、前記仮想オブジェクトを含む前記仮想空間の画像を前記第１ディスプレイに表示させてもよい。
【0023】
上記によれば、現実空間に存在する実在物に対応する仮想オブジェクトを仮想空間に登場させることができ、第１ディスプレイに当該仮想オブジェクトを表示することができる。
【0024】
また、前記第２表示制御手段は、前記仮想オブジェクトを含む前記仮想空間の画像を前記第２ディスプレイに表示させてもよい。
【0025】
上記によれば、第２ディスプレイにも実在物に対応する仮想オブジェクトを表示することができる。
【0026】
また、前記仮想オブジェクト配置手段は、前記特定の物体を検出したことによって前記仮想オブジェクトを配置した後、前記カメラからの入力画像に基づいて前記特定の物体を検出しなくなった場合、前記仮想オブジェクトを前記仮想空間内に存続させてもよい。前記第１表示制御手段は、前記カメラからの入力画像に基づいて前記特定の物体を検出しなくなった場合でも、前記仮想オブジェクトを含む前記仮想空間の画像を前記第１ディスプレイに表示させてもよい。
【0027】
上記によれば、カメラで現実空間の特定の物体を検出したことによって仮想オブジェクトが仮想空間に配置された後、例えば、カメラが移動したりカメラの向きが変化することで特定の物体を検出できなくなった場合でも、仮想オブジェクトを仮想空間に存続させることができる。
【0028】
また、前記第１ディスプレイは、ヘッドマウントディスプレイであってもよい。画像処理システムは、前記第１ユーザが現実空間における所定範囲外に出たか否かを判定し、前記所定範囲外に出たと判定した場合に、前記第１ユーザに対して所定の報知を行う第１報知手段と、前記第２ユーザが前記所定範囲に進入したか否かを判定し、前記所定範囲に進入したと判定した場合に、前記第２ユーザに対して所定の報知を行う第２報知手段と、を備えてもよい。
【0029】
上記によれば、第１ユーザが所定範囲外に出た場合や第２ユーザが所定範囲内に進入した場合に、第１ユーザ及び第２ユーザに報知を行うことができる。
【0030】
また、前記第１入力手段は、キー入力可能なコントローラであってもよい。前記第１オブジェクト制御手段は、前記第１入力手段に対するキー入力に応じて、前記第１オブジェクトの位置または姿勢を制御してもよい。
【0031】
上記によれば、第１ユーザはキー入力によって第１オブジェクトを制御することができる。
【0032】
また、前記第１仮想カメラは、前記第１オブジェクトの位置に配置されてもよい。
【0033】
上記によれば、第１ディスプレイには、第１オブジェクトから見た仮想空間の画像を表示することができる。
【0034】
また、前記第１仮想カメラは、前記第１オブジェクトの位置から所定距離離れた位置に、前記第１オブジェクトを撮像範囲に含むように配置されてもよい。
【0035】
上記によれば、第１ディスプレイには、第１オブジェクトから所定位置離れた位置から、第１オブジェクトを含む仮想空間の画像を表示することができる。
【0036】
また、他の発明は、上記画像処理システムに含まれる１又は複数のコンピュータにおいて実行されるプログラムであってもよい。また、他の発明は、上記画像処理システムにおいて行われる画像処理方法であってもよい。
【発明の効果】
【0037】
本発明によれば、第１ディスプレイには、仮想空間の第１オブジェクトの位置に対応する位置から見た画像を表示させることができ、第２ディスプレイには、現実空間の基準に対する第２ディスプレイの位置に応じた位置から仮想空間を見た画像を表示させることができることができる。
【図面の簡単な説明】
【0038】
【図1】本実施形態の画像処理システム１を用いて複数のユーザによって仮想空間の画像が視認される様子の一例を示す図
【図2】画像処理システム１の全体構成の一例を示す図
【図3】画像処理システム１に含まれる第１ＨＭＤ１０（又は第２ＨＭＤ３０）の構成の一例を示す図
【図4】画像処理システム１に含まれるスマートデバイス２０の構成の一例を示す図
【図5】画像処理システム１に含まれるコントローラ１８の構成の一例を示す図
【図6】スマートデバイス２０のカメラ２３でマーカ４０を撮像することによって設定される仮想空間の座標系について説明するための図
【図7】複数の仮想オブジェクトを含む仮想空間１００の一例を示す図
【図8】第１ＨＭＤ１０及び仮想カメラ１１１を右側から見た図であって、第１ＨＭＤ１０の姿勢の変化と連動するように仮想カメラ１１１の姿勢が変化する様子を示す図
【図9】第１ＨＭＤ１０、第２ＨＭＤ３０及びコントローラ１８，３８の位置を検出する方法の一例を示す図
【図10】第１ＨＭＤ１０のディスプレイ１２に表示される画像の一例を示す図であって、第１ユーザが正面を向いているときの画像の一例である。
【図11】第１ＨＭＤ１０のディスプレイ１２に表示される画像の一例を示す図であって、第１ユーザが右側を向いているときの画像の一例である。
【図14】第２ユーザａが第３ユーザ寄りに移動した後のスマートデバイス２０ａのディスプレイ２２に表示される画像の一例を示す図
【図15】スマートデバイス２０ａに対する操作に応じて、キャラクタ１２０ａが弾オブジェクト１２２を射出する様子の一例を示す図
【図16】第２ＨＭＤ３０のディスプレイ３２に表示される画像の一例を示す図であって、仮想カメラ１３１が第１モードに設定されているときの画像の一例である。
【図17】第２ＨＭＤ３０のディスプレイ３２に表示される画像の一例を示す図であって、仮想カメラ１３１が第２モードに設定されているときの画像の一例である。
【図18】作成モードにおけるユーザが見る画像の一例を示す図
【図19】複数のパーツオブジェクト１７３が平面状に並べられる様子を示す図
【図20】各パーツオブジェクトが配置されるグリッドを表示するためのグリッド線の一例を示す図
【図21】現実空間に実在物としての缶８０がテーブル上に配置される様子を示す図
【図22】缶８０に対応する仮想オブジェクト１８０が仮想空間内に配置される様子を示す図
【図23】各スマートデバイス２０において記憶されるデータＤ２０の一例を示す図
【図24】第１ＨＭＤ１０において記憶されるデータＤ１０の一例を示す図
【図25】第２ＨＭＤ３０において記憶されるデータＤ３０の一例を示す図
【図26】情報処理装置６０において記憶されるデータＤ６０の一例を示す図
【図27】第１ＨＭＤ１０又は第２ＨＭＤ３０において実行されるＨＭＤ処理の一例を示すフローチャート
【図28】スマートデバイス２０において実行されるスマートデバイス処理の一例を示すフローチャート
【図29】情報処理装置６０において実行されるゲーム制御処理の一例を示すフローチャート
【発明を実施するための形態】
【0039】
（画像処理システムの構成）
本実施形態の画像処理システム１は、複数のユーザに同一の仮想空間の画像を視認させるシステムであり、例えば、複数のユーザ間でゲームを行うためのシステムである。以下、図面を参照して、本実施形態の画像処理システム１について説明する。
本実施形態の画像処理システム１は、複数のユーザに同一の仮想空間の画像を視認させるシステムであり、例えば、複数のユーザ間でゲームを行うためのシステムである。以下、図面を参照して、本実施形態の画像処理システム１について説明する。
【0040】
図１は、本実施形態の画像処理システム１を用いて複数のユーザによって仮想空間の画像が視認される様子の一例を示す図である。図２は、画像処理システム１の全体構成の一例を示す図である。図３は、画像処理システム１に含まれる第１ＨＭＤ１０（又は第２ＨＭＤ３０）の構成の一例を示す図である。図４は、画像処理システム１に含まれるスマートデバイス２０の構成の一例を示す図である。図５は、画像処理システム１に含まれるコントローラ１８の構成の一例を示す図である。
【0041】
図１に示されるように、画像処理システム１は、第１ユーザに装着される第１ヘッドマウントディスプレイ１０（以下、「第１ＨＭＤ」と表記する）と、第３ユーザに装着される第２ヘッドマウントディスプレイ３０（以下、「第２ＨＭＤ」と表記する）とを含む。
【0042】
第１ＨＭＤ１０は、第１ユーザの頭部に第１ユーザの両目を覆うように装着される。また、第２ＨＭＤ３０は、第３ユーザの頭部に第３ユーザの両目を覆うように装着される。第１ＨＭＤ１０及び第２ＨＭＤ３０は、基本的に同じ構成を有する装置である。以下、図３を参照して、第１ＨＭＤ１０及び第２ＨＭＤ３０の構成の一例について説明する。
【0043】
図３に示されるように、第１ＨＭＤ１０は、右目用ディスプレイ１２Ｒと、左目用ディスプレイ１２Ｌとを有する。右目用ディスプレイ１２Ｒは、ユーザが第１ＨＭＤ１０を装着した場合に、図示しないレンズを介してユーザの右目で視認される。左目用ディスプレイ１２Ｌは、ユーザが第１ＨＭＤ１０を装着した場合に、図示しないレンズを介してユーザの左目で視認される。右目用ディスプレイ１２Ｒおよび左目用ディスプレイ１２Ｌとしては、任意の表示装置が用いられてもよく、例えば液晶表示装置や有機ＥＬ表示装置が用いられてもよい。ユーザが第１ＨＭＤ１０を装着した場合、第１ユーザの右目及び左目は、右目用ディスプレイ１２Ｒ及び左目用ディスプレイ１２Ｌのそれぞれに覆われ、第１ユーザの視野はほぼディスプレイ１２に覆われる。このため、第１ＨＭＤ１０を装着した場合、第１ユーザは、現実空間を見ずにディスプレイ１２に表示された画像のみを見る。
【0044】
なお、ディスプレイ１２は、透過型のディスプレイであってもよい。この場合、第１ユーザは、ディスプレイ１２を介して現実空間を視認可能であるとともに、ディスプレイ１２に表示された画像を視認可能である。
【0045】
また、第１ＨＭＤ１０の正面には、ユーザから見て右側に位置する右カメラ１３Ｒと、ユーザから見て左側に位置する左カメラ１３Ｌとが設けられる。右カメラ１３Ｒおよび左カメラ１３Ｌは、可視光を受光して画像（ＲＧＢ画像）を生成するためのカメラである。以下では、右カメラ１３Ｒと左カメラ１３Ｌを総称して「カメラ１３」と表記することがある。
【0046】
また、第１ＨＭＤ１０の正面には、ユーザから見て右側に位置する右赤外線カメラ１４Ｒと、ユーザから見て左側に位置する左赤外線カメラ１４Ｌとが設けられる。右赤外線カメラ１４Ｒおよび左赤外線カメラ１４Ｌは、赤外光を受光して赤外線画像を生成するためのカメラである。詳細は後述するが、右赤外線カメラ１４Ｒおよび左赤外線カメラ１４Ｌは、ユーザの手を検出するために用いられる。以下では、右赤外線カメラ１４Ｒと左赤外線カメラ１４Ｌを総称して「赤外線カメラ１４」と表記することがある。
【0047】
第１ＨＭＤ１０には、第１ＨＭＤ１０の右方向の軸であるｘ軸と、第１ＨＭＤ１０の上方向の軸であるｙ軸と、第１ＨＭＤ１０の正面方向の軸であるｚ軸とが設定される。第１ＨＭＤ１０は、ｘ軸、ｙ軸、ｚ軸の各軸方向に関する加速度および角速度を検出する慣性センサ１５（図２参照）を備える。慣性センサ１５によって検出された加速度および角速度に基づいて、第１ＨＭＤ１０の姿勢を算出することができる。
【0048】
また、第１ＨＭＤ１０は、ネットワーク（ＬＡＮやＷＡＮ、インターネット等）に接続するための通信モジュール１６を備える（図２参照）。
【0049】
第２ＨＭＤ３０も第１ＨＭＤ１０と同様の構成を有する。具体的には、第２ＨＭＤ３０は、左右のディスプレイ３２（３２Ｌ及び３２Ｒ）と、左右のカメラ３３（３３Ｌ及び３３Ｒ）と、左右の赤外線カメラ３４（３４Ｌ及び３４Ｒ）とを有する（図２参照）。また、第２ＨＭＤ３０は、ｘ軸、ｙ軸、ｚ軸の各軸方向に関する加速度および角速度を検出する慣性センサ３５と、通信モジュール３６とを備える（図２参照）。なお、以下では、第１ＨＭＤ１０及び第２ＨＭＤ３０を総称して、「ＨＭＤ」と表記することがある。
【0050】
また、図１に示されるように、画像処理システム１は、第２ユーザによって携帯されるスマートデバイス２０を含む。第２ユーザは複数存在してもよい。ここでは、第２ユーザは、第２ユーザａと、第２ユーザｂとを含むものとする。第２ユーザａはスマートデバイス２０ａを把持し、第２ユーザｂはスマートデバイス２０ｂを把持する。なお、以下では、スマートデバイス２０ａ及び２０ｂを区別しない場合には、「スマートデバイス２０」と表記する。
【0051】
スマートデバイス２０は、例えば、スマートフォンやタブレット端末等である。図４に示されるように、スマートデバイス２０の正面には、ディスプレイ２２が設けられる。ディスプレイ２２は、例えば液晶表示装置や有機ＥＬ表示装置である。また、スマートデバイス２０の背面（ディスプレイ２２と反対側の面）には、カメラ２３が設けられる。カメラ２３は、可視光を受光してＲＧＢ画像を生成するためのカメラである。なお、カメラ２３は、背面と異なる面を含めて複数個所に設けられてもよい。
【0052】
また、スマートデバイス２０には、スマートデバイス２０の右方向の軸であるｘ軸と、上方向の軸であるｙ軸と、正面方向の軸であるｚ軸とが設定される。スマートデバイス２０は、ｘ軸、ｙ軸、ｚ軸の各軸方向に関する加速度および角速度を検出する慣性センサ２４（図２参照）を備える。スマートデバイス２０は、慣性センサ２４によって検出された加速度および角速度に基づいて、スマートデバイス２０の姿勢を算出することができる。また、スマートデバイス２０は、ネットワークに接続するための通信モジュール２５を備える（図２参照）。
【0053】
また、画像処理システム１は、第１ユーザによって把持されるコントローラ１８と、第３ユーザによって把持されるコントローラ３８とを含む。図５を参照して、コントローラ１８の構成の一例について説明する。
【0054】
図５に示されるように、コントローラ１８は、ユーザが押下可能な複数のボタン１８１（Ａボタン、Ｂボタン、Ｃボタン、Ｄボタン）と、方向指示を行うためのアナログスティック１８２と、方向指示を行うための十字キー１８３とを備える。また、コントローラ１８は、図５に示すｘ軸、ｙ軸、ｚ軸の各軸方向に関する加速度および角速度を検出する慣性センサ（図２参照）を備える。コントローラ１８の慣性センサによって検出された加速度および角速度に基づいて、コントローラ１８の姿勢や動きを算出することができる。例えば、慣性センサからの加速度及び角速度に基づいて、コントローラ１８が振られたか否かを判定することができる。また、コントローラ１８は、ネットワークに接続するための通信モジュールを備える（図２参照）。なお、コントローラ３８は、コントローラ１８と基本的に同じ構成を有するため、説明を省略する。
【0055】
また、図１に示されるように、画像処理システム１は、マーカ４０と、ディスプレイ５０と、ディスプレイ５０に有線又は無線で接続された情報処理装置６０とを含む。
【0056】
マーカ４０は、例えば、所定の画像（例えば矢印の画像）が印刷されたカードであり、テーブル等の上面に載置される。ディスプレイ５０は、テレビ等の据置型の表示装置であり、例えば、液晶表示装置や有機ＥＬ表示装置であってもよい。ディスプレイ５０は、ＨＭＤ（第１ＨＭＤ１０又は第２ＨＭＤ３０）やスマートデバイス２０を携帯していない第４ユーザが仮想空間の画像を視認するための表示装置である。
【0057】
図２に示されるように、情報処理装置６０は、１又は複数のプロセッサ６１と、メモリ６２と、ネットワークに接続するための通信モジュール６３とを備える。情報処理装置６０は、本実施形態のゲームの全体を制御するための装置である。情報処理装置６０は、仮想空間内の様々な仮想オブジェクトの位置や姿勢を管理し、仮想オブジェクトの制御を行う。詳細は後述するが、情報処理装置６０のメモリ６２には、仮想空間に配置される各キャラクタに関するキャラクタ情報が記憶される。キャラクタ情報は、キャラクタの位置や姿勢に関する情報を含む。また、情報処理装置６０には、各仮想カメラの位置や姿勢に関する仮想カメラ情報が記憶される。
【0058】
また、詳細は後述するが、情報処理装置６０は、ディスプレイ５０に表示するための仮想空間の画像を生成し、生成した画像をディスプレイ５０に出力する。また、情報処理装置６０は、第１ＨＭＤ１０および第２ＨＭＤ３０に表示するための仮想空間の画像を生成し、生成した画像を第１ＨＭＤ１０および第２ＨＭＤ３０にネットワークを介して送信する。情報処理装置６０としては、パーソナルコンピュータ、ゲーム装置、サーバ装置、スマートフォン、タブレット端末等、任意の情報処理装置が用いられてもよい。また、情報処理装置６０は、複数の装置によって構成されてもよく、複数の装置がネットワーク（ＬＡＮ、ＷＡＮ、インターネット等）を介して接続されることによって構成されてもよい。
【0059】
本実施形態では、第１ユーザ～第４ユーザが基本的に同じ場所（例えば同じ部屋）に位置し、画像処理システム１を用いて複数人でゲームを行う。第１ユーザは、例えば、テーブルから少し離れた位置に配置されたマット５１の上でゲームのための操作を行う。第１ユーザは、第１ＨＭＤ１０の左右のディスプレイ１２に表示された仮想空間の画像を見ながら、例えばコントローラ１８を振ることでゲーム操作を行う。具体的には、第１ＨＭＤ１０の右目用ディスプレイ１２Ｒには、仮想空間に配置された右仮想カメラに基づいて生成された右目用仮想空間画像が表示され、第１ＨＭＤ１０の左目用ディスプレイ１２Ｌには、仮想空間に配置された左仮想カメラに基づいて生成された左目用仮想空間画像が表示される。これにより、第１ユーザは、仮想空間の立体視画像を視認することができ、自身が仮想空間に存在するかのようなバーチャルリアリティ（ＶＲ）を体験することができる。
【0060】
第１ユーザ（第１ＨＭＤ１０）は、テーブル上に置かれたマーカ４０に対する位置に関わらず、テーブル（マーカ４０）から離れていてもゲームを行うことが可能である。すなわち、第１ＨＭＤ１０のカメラ１３がマーカ４０を撮像しなくても、第１ユーザは仮想空間の画像を視認することができる。
【0061】
第２ユーザは、テーブルの近くに位置し、スマートデバイス２０のカメラ２３でテーブル上に載置されたマーカ４０を撮像し、スマートデバイス２０に表示された画像を見ながらゲームを行う。スマートデバイス２０（のディスプレイ２２）には、カメラ２３で撮像した現実空間の画像に仮想空間の画像が重畳された画像（以下、重畳画像という）が表示される。これにより、第２ユーザは、例えば現実空間に仮想空間内の仮想オブジェクトが存在するような感覚を抱くことができ、拡張現実（Augmented Reality：ＡＲ）を体験することができる。詳細は後述するが、現実空間のマーカ４０を基準として仮想空間の座標系が定義され、仮想空間と現実空間とが対応付けられる。
【0062】
なお、スマートデバイス２０には、必ずしも現実空間の画像に仮想空間の画像が重畳された重畳画像が表示される必要はなく、仮想空間の画像のみが表示されてもよい。スマートデバイス２０に仮想空間の画像のみが表示される場合でも、現実空間のマーカ４０を基準として仮想空間の座標系が定義されるため、仮想空間と現実空間とが対応付けられる。このため、第２ユーザは、現実空間に仮想空間内の仮想オブジェクトが存在するような感覚を抱くことができる。すなわち、本実施形態における拡張現実（ＡＲ）とは、現実空間の基準と仮想空間とが対応付けられていれば、必ずしも現実空間の画像に仮想空間の画像が重畳されて表示される必要はなく、仮想空間の画像のみがディスプレイに表示されてもよい。
【0063】
また、第３ユーザは、テーブルの近くに位置し、第２ＨＭＤ３０のカメラ３３でマーカ４０を撮像し、第２ＨＭＤ３０の左右のディスプレイ３２に表示された仮想空間の画像を見ながらコントローラ３８を操作することでゲームを行う。なお、詳細は後述するが、第２ＨＭＤ３０のカメラ３３がマーカ４０を撮像できなくても、第３ユーザがゲームを行うことができる場合がある。
【0064】
また、第４ユーザは、ディスプレイ５０に表示された仮想空間の画像を見て、第１ユーザ～第３ユーザの間で行われるゲームを観戦する。
【0065】
（マーカ４０を基準とした仮想空間の座標系の定義）
次に、カメラでマーカ４０を撮像することによって現実空間と仮想空間とを対応付けることについて説明する。図６は、スマートデバイス２０のカメラ２３でマーカ４０を撮像することによって設定される仮想空間の座標系について説明するための図である。
次に、カメラでマーカ４０を撮像することによって現実空間と仮想空間とを対応付けることについて説明する。図６は、スマートデバイス２０のカメラ２３でマーカ４０を撮像することによって設定される仮想空間の座標系について説明するための図である。
【0066】
図６に示されるように、スマートデバイス２０のカメラ２３で現実空間を撮像した場合、マーカ４０を含む画像が取得される。スマートデバイス２０は、種々の画像認識技術を用いて、取得された画像からマーカ４０を検出する。スマートデバイス２０は、取得された画像からマーカ４０を検出した場合、マーカ４０の画像の大きさや形状、向き等に基づいて、現実空間におけるマーカ４０に対するスマートデバイス２０（のカメラ２３）の位置を算出する。例えば、スマートデバイス２０は、マーカ４０の所定の頂点を原点Ｏとし、マーカ４０内の矢印の方向と反対方向をＸ軸とし、矢印と垂直な方向をＺ軸とし、マーカ４０に垂直な方向（上方向）をＹ軸とする、ＸＹＺ座標系を設定する。このＸＹＺ座標系は、仮想空間の位置を定義するための座標系として用いられる。また、スマートデバイス２０は、カメラ２３から取得された画像に含まれるマーカ４０の画像に基づいて、マーカ４０対するスマートデバイス２０の位置（マーカからの相対位置）を、ＸＹＺ座標系の座標値（Ｘ１，Ｙ１，Ｚ１）として算出する。仮想空間におけるこの位置（Ｘ１，Ｙ１，Ｚ１）に仮想カメラを配置することで、現実空間におけるマーカ４０を基準としたスマートデバイス２０の位置と、仮想空間における仮想カメラの位置とが一致するようになる。そして、例えば、仮想空間のＸＺ平面の所定位置に仮想オブジェクト１０１を配置した場合、仮想カメラで仮想空間を撮像してディスプレイ２２に表示することで、図６のように、現実空間の画像に重畳して仮想オブジェクト１０１が表示されるようになる。
【0067】
（仮想空間の説明）
次に仮想空間に配置される各種仮想オブジェクトについて説明する。テーブル上のマーカ４０を基準としてＸＹＺ座標系が設定され、複数の仮想オブジェクトを含む仮想空間が設定される。図７は、複数の仮想オブジェクトを含む仮想空間１００の一例を示す図である。
次に仮想空間に配置される各種仮想オブジェクトについて説明する。テーブル上のマーカ４０を基準としてＸＹＺ座標系が設定され、複数の仮想オブジェクトを含む仮想空間が設定される。図７は、複数の仮想オブジェクトを含む仮想空間１００の一例を示す図である。
【0068】
図７に示されるように、本実施形態のゲームでは、テーブル上に仮想空間が形成される。ＸＺ平面（すなわち、テーブル上）には、仮想空間１００内の地形を形成するための様々な仮想オブジェクトが配置される。例えば、ＸＺ平面には、地面オブジェクト１４１と、木オブジェクト１４２と、川オブジェクト１４３と、橋オブジェクト１４４と、丘オブジェクト１４５とが配置される。丘オブジェクト１４５は、高さを有する仮想オブジェクトであり、丘オブジェクト１４５の頂上には、キャラクタ１１０が配置される。また、例えば、地面オブジェクト１４１上には、初期的にキャラクタ１３０が配置される。
【0069】
キャラクタ１１０は、第１ユーザに対応する仮想オブジェクトであり、第１ユーザによって制御される。本実施形態のゲームでは、キャラクタ１１０の位置は丘オブジェクト１４５の頂上に固定されている。キャラクタ１１０は、弾オブジェクト１１２を把持している。例えば、第１ユーザがコントローラ１８を振ると、キャラクタ１１０が弾オブジェクト１１２を仮想空間１００内に射出する。射出された弾オブジェクト１１２は仮想空間１００内を移動する。例えば、弾オブジェクト１１２がキャラクタ１３０に当たった場合、キャラクタ１３０の体力値が減少したり、キャラクタ１３０が倒れたりする。キャラクタ１３０が倒れた場合、第１ユーザ側の勝利となる。
【0070】
また、キャラクタ１１０の位置に対応する位置に、仮想カメラ１１１が配置される。具体的には、キャラクタ１１０（例えばキャラクタ１１０の目の位置）と一致する位置に、仮想カメラ１１１が配置される。なお、図７では、キャラクタ１１０の位置と仮想カメラ１１１の位置とがずれているように見えるが、実際にはこれらの位置は一致しているものとする。仮想カメラ１１１は、左仮想カメラ１１１Ｌと右仮想カメラ１１１Ｒとを含む。左仮想カメラ１１１Ｌは、第１ＨＭＤ１０の左目用ディスプレイ１２Ｌに表示される左目用仮想空間画像を生成するための仮想カメラである。右仮想カメラ１１１Ｒは、第１ＨＭＤ１０の右目用ディスプレイ１２Ｒに表示される右目用仮想空間画像を生成するための仮想カメラである。左仮想カメラ１１１Ｌと右仮想カメラ１１１Ｒとは、所定距離（例えば、ユーザの平均的な目の間隔に対応する仮想空間の距離）だけ離れて仮想空間１００内に配置される。
【0071】
なお、仮想カメラ１１１は、厳密にキャラクタ１１０の目の位置に配置される必要はなく、例えば、キャラクタ１１０が表示される位置であってキャラクタ１１０の目の位置から上下又は左右方向にずれた位置に配置されてもよい。また、仮想カメラ１１１は、キャラクタ１１０と同じ位置に配置されず、キャラクタ１１０と所定の位置関係を有する位置（キャラクタ１１０から所定距離だけ離れた位置）に配置されてもよい。例えば、仮想カメラ１１１は、キャラクタ１１０の後方の所定位置に配置されてもよい。また、仮想カメラ１１１は、キャラクタ１１０の斜め後方の所定位置に配置されてもよい。すなわち、「キャラクタ１１０の位置に対応する位置に仮想カメラ１１１が配置される」とは、キャラクタ１１０と同じ位置に仮想カメラ１１１が配置される場合と、キャラクタ１１０から所定距離離れた位置に仮想カメラ１１１が配置される場合の両方を含む。
【0072】
キャラクタ１１０及び仮想カメラ１１１（１１１Ｒ及び１１１Ｌ）の向きは、現実空間における第１ユーザ（第１ＨＭＤ１０）の向きに応じて設定される。すなわち、キャラクタ１１０及び仮想カメラ１１１の姿勢は、現実空間における第１ＨＭＤ１０の姿勢と連動する。
【0073】
図８は、第１ＨＭＤ１０及び仮想カメラ１１１を右側から見た図であって、第１ＨＭＤ１０の姿勢の変化と連動するように仮想カメラ１１１の姿勢が変化する様子を示す図である。仮想カメラ１１１には、視線方向の軸であるＺｃ軸と、右方向の軸であるＸｃ軸と、上方向の軸であるＹｃ軸とが設定される。図８に示されるように、仮想カメラ１１１のＸｃ軸、Ｙｃ軸、Ｚｃ軸が、第１ＨＭＤ１０のｘ軸、ｙ軸、ｚ軸のそれぞれと平行となるように、仮想カメラ１１１の姿勢が制御される。
【0074】
具体的には、第１ＨＭＤ１０の姿勢の初期化が行われた時点から第１ＨＭＤ１０のｚ軸の向きが変化しておらず、かつ、第１ＨＭＤ１０のｙ軸が重力方向と反対方向を向いている状態を基準姿勢と呼ぶ。第１ＨＭＤ１０が基準姿勢であるときは、仮想カメラ１１１は、仮想空間内で正面（例えば、Ｘ軸正方向）を向く。すなわち、仮想カメラ１１１の視線方向を示すＺｃ軸は、仮想空間のＸ軸と平行になる。図８の右側の図に示されるように、第１ユーザが現実空間で斜め上を向いた場合、第１ＨＭＤ１０の姿勢が基準姿勢から変化し、第１ＨＭＤ１０のｚ軸が斜め上を向くようになる。この第１ＨＭＤ１０の姿勢変化に連動して、仮想カメラ１１１のＺｃ軸も仮想空間内で斜め上を向くようになる。また、図示は省略するが、例えば、第１ＨＭＤ１０が基準姿勢から右方向に３０度だけ回転した場合（ｙ軸回りに反時計回りに３０度回転した場合）、仮想空間内で仮想カメラ１１１も右方向に３０度（Ｙｃ軸回りに反時計回りに３０度）回転する。
【0075】
このように、現実空間における第１ＨＭＤ１０の姿勢と一致するように仮想カメラ１１１（１１１Ｒ及び１１１Ｌ）の姿勢が設定される。また、キャラクタ１１０の姿勢も、仮想カメラ１１１の姿勢と連動する。すなわち、第１ＨＭＤ１０の姿勢が変化することで、仮想カメラ１１１及びキャラクタ１１０の姿勢が変化する。なお、仮想カメラ１１１がキャラクタ１１０から所定距離だけ離れた位置（例えば、キャラクタ１１０の後方の所定位置）に配置される場合、キャラクタ１１０の姿勢の変化に応じて、仮想カメラ１１１は姿勢だけでなく位置も変化してもよい。
【0076】
一方、現実空間における第１ＨＭＤ１０の位置が変化しても、仮想カメラ１１１及びキャラクタ１１０の位置は変化せず、仮想カメラ１１１及びキャラクタ１１０は、丘オブジェクト１４５の頂上に固定される。
【0077】
図７に戻り、地面オブジェクト１４１上には、キャラクタ１３０が配置される。キャラクタ１３０は、第３ユーザに対応する仮想オブジェクトであり、第３ユーザによって制御される。具体的には、キャラクタ１３０は、コントローラ３８に対するキー入力（ボタン、アナログスティック、又は、十字キーに対する入力）に応じて、仮想空間１００内を移動する。また、キャラクタ１３０の姿勢は、当該キー入力に応じて変化する。キャラクタ１３０は、地面オブジェクト１４１、橋オブジェクト１４４、丘オブジェクト１４５上を移動可能である。第３ユーザは、コントローラ３８を用いて、キャラクタ１３０を地面オブジェクト１４１上で移動させ、例えば、橋オブジェクト１４４を通って丘オブジェクト１４５の頂上まで移動させる。そして、キャラクタ１３０が丘オブジェクト１４５の頂上まで辿り着くと、キャラクタ１３０とキャラクタ１１０との戦闘が開始される。当該戦闘において、キャラクタ１３０がキャラクタ１１０を倒した場合、第３ユーザ側の勝利となる。
【0078】
仮想空間１００には、第３ユーザに対応する仮想カメラ１３１が設定される。仮想カメラ１３１は、左仮想カメラ１３１Ｌと右仮想カメラ１３１Ｒとを含む。左仮想カメラ１３１Ｌは、第２ＨＭＤ３０の左目用ディスプレイ３２Ｌに表示される左目用仮想空間画像を生成するための仮想カメラである。右仮想カメラ１３１Ｒは、第２ＨＭＤ３０の右目用ディスプレイ３２Ｒに表示される右目用仮想空間画像を生成するための仮想カメラである。左仮想カメラ１３１Ｌと右仮想カメラ１３１Ｒとは、所定距離だけ離れて配置される。
【0079】
第３ユーザは、仮想カメラ１３１に基づいて生成された画像を見ながらゲームを行う。第３ユーザは、第１モードと第２モードとで視点（すなわち、仮想カメラ１３１の位置）を切り替えることが可能である。第１モードに設定されている場合、仮想カメラ１３１は、キャラクタ１３０の位置には依存せず、仮想空間１００を俯瞰する位置に配置される。
【0080】
具体的には、第１モードに設定されている場合、仮想カメラ１３１は、現実空間の第２ＨＭＤ３０の位置に応じた仮想空間の位置に配置される。図６を参照して説明した方法と同様の方法により、マーカ４０を基準とした第２ＨＭＤ３０の位置が算出され、算出された位置に仮想カメラ１３１が配置される。すなわち、第２ＨＭＤ３０のカメラ３３によって撮像された画像に基づいて、マーカ４０が検出され、検出されたマーカ４０の大きさ、形状、向きに基づいて、マーカ４０に対する第２ＨＭＤ３０の位置が算出される。算出された第２ＨＭＤ３０の位置に応じた仮想空間の位置に、仮想カメラ１３１が設定される。例えば、左仮想カメラ１３１Ｌは、マーカ４０を基準とした第２ＨＭＤ３０の左カメラ３３Ｌの位置と一致する仮想空間の位置に設定され、右仮想カメラ１３１Ｒは、マーカ４０を基準とした第２ＨＭＤ３０の右カメラ３３Ｒの位置と一致する仮想空間の位置に設定される。
【0081】
一方、第２モードに設定されている場合、仮想カメラ１３１は、キャラクタ１３０の位置に対応する位置（図７の１３１’の位置）に設定される。例えば、仮想カメラ１３１は、キャラクタ１３０と一致する位置（例えば、キャラクタ１３０の両目の位置）に設定されてもよい。また、仮想カメラ１３１は、キャラクタ１３０の後方の所定位置に設定されてもよい。第２モードに設定されている場合、仮想カメラ１３１は、キャラクタ１３０に追従して移動する。
【0082】
また、仮想空間１００には、キャラクタ１２０ａおよび１２０ｂが配置される。キャラクタ１２０ａは、第２ユーザａ（スマートデバイス２０ａ）に対応する仮想オブジェクトである。また、キャラクタ１２０ｂは、第２ユーザｂ（スマートデバイス２０ｂ）に対応する仮想オブジェクトである。
【0083】
キャラクタ１２０ａの位置に対応する位置に、仮想カメラ１２１ａが配置される。仮想カメラ１２１ａは、キャラクタ１２０ａと一致する位置（例えば、キャラクタ１２０ａの頭部の位置）に設定されてもよい。また、仮想カメラ１２１ａは、キャラクタ１２０ａの後方の所定位置に設定されてもよい。同様に、キャラクタ１２０ｂの位置に対応する位置に、仮想カメラ１２１ｂが配置される。仮想カメラ１２１ｂは、キャラクタ１２０ｂと一致する位置に設定されてもよいし、キャラクタ１２０ｂの後方の所定位置に設定されてもよい。
【0084】
図６を参照して説明したように、キャラクタ１２０ａ及び仮想カメラ１２１ａの位置は、現実空間におけるスマートデバイス２０ａの位置に応じて設定される。例えば、仮想空間１００におけるキャラクタ１２０ａ及び仮想カメラ１２１ａの位置は、現実空間におけるマーカ４０に対するスマートデバイス２０ａの位置と一致する。同様に、仮想空間１００におけるキャラクタ１２０ｂ及び仮想カメラ１２１ｂの位置は、現実空間におけるマーカ４０に対するスマートデバイス２０ｂの位置と一致する。
【0085】
また、キャラクタ１２０ａ及び仮想カメラ１２１ａの姿勢は、現実空間におけるスマートデバイス２０ａの姿勢と一致するように制御される。同様に、キャラクタ１２０ｂ及び仮想カメラ１２１ｂの姿勢は、現実空間におけるスマートデバイス２０ｂの姿勢と一致するように制御される。
【0086】
現実空間におけるスマートデバイス２０の位置及び姿勢に応じて、キャラクタ１２０（及び仮想カメラ１２１）の位置及び姿勢が制御されるため、第２ユーザがスマートデバイス２０を把持しながら移動したり、スマートデバイス２０の向きを変化させたりすると、仮想空間１００においてキャラクタ１２０（及び仮想カメラ１２１）も移動したり、キャラクタ１２０（及び仮想カメラ１２１）の向きが変化したりする。
【0087】
また、図７に示されるように、仮想空間１００には、仮想カメラ１５０が配置される。仮想カメラ１５０は、据置型のディスプレイ５０に表示する画像を生成するための仮想カメラであり、仮想空間１００の所定位置に所定の姿勢で固定される。仮想カメラ１５０は、仮想空間１００の全体を俯瞰する位置に配置される。例えば、仮想カメラ１５０の撮像範囲には、キャラクタ１１０、１２０及び１３０が含まれ、キャラクタ１１０、１２０及び１３０を含む仮想空間の画像がディスプレイ５０に表示される。なお、仮想カメラ１５０の位置及び／又は姿勢は、ユーザの操作に応じて変化されてもよい。
【0088】
なお、ディスプレイ５０には、仮想カメラ１１１又は仮想カメラ１３１から仮想空間を見た画像が表示されてもよい。また、ディスプレイ５０には、仮想カメラ１２１から仮想空間を見た画像が表示されてもよい。また、ユーザが仮想カメラ１１１、１２１、１３１、及び、１５０の中から何れかを選択し、選択した仮想カメラに基づいて生成された画像がディスプレイ５０に表示されてもよい。また、ディスプレイ５０には、スマートデバイス２０のディスプレイ２２に表示される画像と同じ画像（現実空間の画像に仮想空間の画像が重畳された画像）が表示されてもよい。
【0089】
このように、本実施形態では、テーブル上にマーカ４０を配置し、マーカ４０を基準として仮想空間の座標系が設定される。テーブルの上面が仮想空間のＸＺ平面に対応し、当該ＸＺ平面上に仮想オブジェクトが配置される。これにより、スマートデバイス２０を介してテーブルを見たときにテーブル上に仮想オブジェクトが表示され、テーブルをディスプレイのように用いてゲームを行うことができる。
【0090】
なお、次に示す方法により、第１ＨＭＤ１０及び／又は第２ＨＭＤ３０の位置が検出されてもよい。図９は、第１ＨＭＤ１０、第２ＨＭＤ３０及びコントローラ１８，３８の位置を検出する方法の一例を示す図である。
【0091】
図９に示されるように、現実空間の所定位置には２つのセンサバー５５が配置される。センサバー５５は、その先端部分から所定の時間間隔で、例えば赤外光を出力する。例えば、第１ＨＭＤ１０の赤外線カメラ１４（又は他の赤外線受信チップ）は、センサバー５５からの赤外光を受信し、センサバー５５からの距離や角度を計算し、位置を算出することができる。第２ＨＭＤ３０についても同様である。また、コントローラ１８，３８は、センサバー５５からの赤外光を受信する赤外線受信チップを備え、同様に位置を検出する。なお、第１ＨＭＤ１０、第２ＨＭＤ３０、及びコントローラ１８，３８の位置を検出する方法はこれに限らず、他の方法によりこれらの位置が検出されてもよい。例えば、現実空間に１又は複数のカメラを設置し、第１ＨＭＤ１０、第２ＨＭＤ３０、及びコントローラ１８，３８が所定の光を発する発光部を備え、現実空間に設置されたカメラで発光部からの光を受信することで、第１ＨＭＤ１０、第２ＨＭＤ３０、及びコントローラ１８，３８の現実空間の位置が検出されてもよい。
【0092】
検出された第１ＨＭＤ１０、第２ＨＭＤ３０、及びコントローラ１８，３８の位置がゲーム制御に用いられてもよい。例えば、上記では現実空間の基準（マーカ）に対する第２ＨＭＤ３０の位置を、第２ＨＭＤ３０が備えるカメラ３３でマーカ４０を撮像することにより検出したが、図９で示した方法により現実空間の基準（センサバー）に対する第２ＨＭＤ３０の位置を検出し、検出した位置を上述のようにゲーム制御に用いてもよい。この場合、現実空間のマーカと、センサバーとの位置関係が定められることで、マーカを基準としたＸＹＺ座標系における第２ＨＭＤ３０の位置を算出することができる。
【0093】
また、例えば、コントローラ１８の現実空間における位置を検出することで、コントローラ１８が振られたか否かを検出してもよい。コントローラ１８が振られた場合には、弾オブジェクト１１２が射出されてもよい。
【0094】
図７に示される各仮想オブジェクト（キャラクタ１１０、１２０ａ、１２０ｂ、１３０、仮想カメラ１１１、１１２ａ、１１２ｂ、１３１等）の位置や姿勢に関する情報は、ネットワークを介して情報処理装置６０に送信され、情報処理装置６０内で管理される。例えば、スマートデバイス２０ａが、現実空間における自機の位置及び姿勢を検出し、検出した位置及び姿勢と一致するように仮想空間内のキャラクタ１２０ａの位置及び姿勢を設定する。スマートデバイス２０ａは、設定したキャラクタ１２０ａの位置及び姿勢に関する情報を、情報処理装置６０に送信する。また、仮想空間１００内に配置される地形に関する仮想オブジェクト（１４１～１４５等）の位置情報等は、情報処理装置６０内で管理される。また、コントローラ１８、３８に対する操作に応じた操作情報は、情報処理装置６０に送信される。
【0095】
これら各仮想オブジェクトに関する情報や、コントローラ１８、３８の操作情報に基づいて、情報処理装置６０においてゲーム制御処理が行われる。このゲーム制御処理の結果、第１ＨＭＤ１０及び第２ＨＭＤ３０において仮想空間の画像が表示される。また、スマートデバイス２０は、情報処理装置６０から各仮想オブジェクトに関する情報を取得し、自機においてゲーム処理を行い、その結果に基づく画像をディスプレイ２２に表示する。以下、各デバイスにおいて表示される画像の一例について説明する。
【0096】
（各デバイスに表示される画像の一例）
図１０は、第１ＨＭＤ１０のディスプレイ１２に表示される画像の一例を示す図であって、第１ユーザが正面を向いているときの画像の一例である。第１ＨＭＤ１０のディスプレイ１２には、仮想カメラ１１１から仮想空間１００を見た画像が表示される。なお、図１０では、１つの画像が平面的に示されているが、実際には、右目用ディスプレイ１２Ｒ及び左目用ディスプレイ１２Ｌのそれぞれに互いに視差を有する画像が表示され、第１ユーザは立体視画像として認識する。第１ユーザの視野はほぼ第１ＨＭＤ１０のディスプレイ１２に覆われる。
図１０は、第１ＨＭＤ１０のディスプレイ１２に表示される画像の一例を示す図であって、第１ユーザが正面を向いているときの画像の一例である。第１ＨＭＤ１０のディスプレイ１２には、仮想カメラ１１１から仮想空間１００を見た画像が表示される。なお、図１０では、１つの画像が平面的に示されているが、実際には、右目用ディスプレイ１２Ｒ及び左目用ディスプレイ１２Ｌのそれぞれに互いに視差を有する画像が表示され、第１ユーザは立体視画像として認識する。第１ユーザの視野はほぼ第１ＨＭＤ１０のディスプレイ１２に覆われる。
【0097】
図１０に示されるように、第１ＨＭＤ１０のディスプレイ１２には、丘オブジェクト１４５の頂上から、キャラクタ１３０を含む地形全体を見下ろすような画像が表示される。第１ユーザには目の前に仮想空間が広がっているように見え、第１ユーザは、丘オブジェクト１４５の頂上に立っているような感覚を覚える。第１ユーザの視界には、キャラクタ１１０の右手の一部が見え、右手には弾オブジェクト１１２を把持している様子が見える。第１ユーザから見えるキャラクタ１１０の右手の大きさは、現実空間において第１ユーザが自身の右手を見るときの大きさと類似する大きさである。すなわち、第１ユーザから見える仮想空間のスケールは、現実空間のスケールとほぼ同じである。キャラクタ１１０の右手の姿勢は、現実空間におけるコントローラ１８の姿勢と同じであり、第１ユーザがコントローラ１８を把持した右手を上げれば、キャラクタ１１０の右手も上げられる。
【0098】
第１ユーザからは、キャラクタ１３０は、地面オブジェクト１４１上に奥行き方向の右側に位置しているように見える。第１ユーザにとっては、例えば数十メートル先にキャラクタ１３０が存在しているように見える。また、地面オブジェクト１４１から離れた左上の方向には、キャラクタ１２０ａが見える。キャラクタ１２０ａは、仮想空間内で浮いているように見える。
【0099】
図１０に示される状態から第１ユーザが現実空間において右側を向いた場合、図１１に示すような画像が表示される。図１１は、第１ＨＭＤ１０のディスプレイ１２に表示される画像の一例を示す図であって、第１ユーザが右側を向いているときの画像の一例である。
【0100】
図１１に示されるように、第１ユーザが右側を向くと、仮想空間の仮想カメラ１１１及びキャラクタ１１０も右側を向き、例えば、キャラクタ１３０がほぼ正面に表示されるようになる。また、図１０では表示されなかったキャラクタ１２０ｂが、図１１では右上に表示されるようになる。また、図１０では表示されていたキャラクタ１２０ａが、図１１では表示されなくなる。
【0101】
ここで、第１ユーザは、弾オブジェクト１１２を用いてキャラクタ１３０に対して攻撃を行う。例えば、第１ユーザが把持しているコントローラ１８を振った場合、仮想空間内でキャラクタ１１０が右腕を振るような動作を行い、弾オブジェクト１１２が仮想空間内に射出される。なお、コントローラ１８のボタン１８１に対する操作に応じて弾オブジェクト１１２が仮想空間内に射出されてもよい。
【0102】
図１２は、図１０に示す状態で、弾オブジェクト１１２が仮想空間内に射出される様子の一例を示す図である。図１２に示されるように、例えば、第１ユーザがコントローラ１８を振った場合、弾オブジェクト１１２が仮想空間内に射出され、弾オブジェクト１１２が仮想空間内を移動する。弾オブジェクト１１２の移動方向は、例えば、第１ユーザによるコントローラ１８の振り方向や、アナログスティック１８２又は十字キー１８３によって指示された方向によって定められてもよい。弾オブジェクト１１２がキャラクタ１３０に当たった場合、キャラクタ１３０の体力値が減少したり、キャラクタ１３０が倒れたりする。
【0103】
図１３は、スマートデバイス２０ａのディスプレイ２２に表示される画像の一例を示す図であって、第２ユーザａが図１に示す位置にいるときの画像の一例である。スマートデバイス２０ａのディスプレイ２２には、仮想カメラ１２１ａから仮想空間１００を俯瞰した画像が表示される。具体的には、ディスプレイ２２には、スマートデバイス２０ａのカメラ２３で撮像された現実空間の画像に、仮想カメラ１２１ａに基づいて生成された仮想空間の画像が重畳されて表示される。ディスプレイ２２には、現実空間のテーブル上に、仮想空間が配置されたような画像が表示される。例えば、図１３において、テーブル上の各画像（１４１～１４５、１１０、１３０）は仮想空間の画像であり、第２ユーザｂの画像を含む、テーブルの周辺の画像は現実空間の画像である。なお、図１３の例ではスマートデバイス２０ａのカメラ２３の撮像範囲にスマートデバイス２０ｂが含まれていないため、スマートデバイス２０ａのディスプレイ２２には、キャラクタ１２０ｂは表示されていない。スマートデバイス２０ａのカメラ２３の撮像範囲にスマートデバイス２０ｂが含まれている場合には、第２ユーザｂの画像に重畳して、スマートデバイス２０ｂの位置にキャラクタ１２０ｂが表示される。あるいは、スマートデバイス２０ａのディスプレイ２２に、カメラ２３で撮像した現実空間の画像が表示されない場合には、スマートデバイス２０ａのカメラ２３の撮像範囲にスマートデバイス２０ｂが含まれている場合、スマートデバイス２０ｂの位置にキャラクタ１２０ｂのみが表示されてもよい。
【0104】
【0105】
図１３に示す状態から、第２ユーザａがスマートデバイス２０ａの位置や姿勢を変更すると、スマートデバイス２０ａのディスプレイ２２に表示される画像も変化する。
【0106】
図１４は、第２ユーザａが第３ユーザ寄りに移動した後のスマートデバイス２０ａのディスプレイ２２に表示される画像の一例を示す図である。スマートデバイス２０ａが現実空間内で移動した場合、仮想カメラ１２１ａも仮想空間において移動する。第２ユーザａが第３ユーザ寄りに移動した場合、スマートデバイス２０ａのカメラ２３によって、マーカ４０を含むテーブルを斜めから見たような画像が取得され、取得された画像に基づいて、仮想カメラ１２１ａの位置が設定される。図１４に示すように、移動後のカメラ２３から見た現実空間の画像に、移動後の仮想カメラ１２１ａから見た仮想空間の画像が重畳されて、ディスプレイ２２に表示される。
【0107】
ここで、第２ユーザは、スマートデバイス２０に対する操作に応じて、キャラクタ１３０に変化を与えるための仮想オブジェクトを仮想空間に射出することができる。具体的には、第２ユーザは、キャラクタ１３０（第３ユーザ）を支援するための仮想オブジェクトを仮想空間に射出することができる。
【0108】
図１５は、スマートデバイス２０ａに対する操作に応じて、キャラクタ１２０ａが弾オブジェクト１２２を射出する様子の一例を示す図である。
【0109】
例えば、スマートデバイス２０ａのディスプレイ２２上にはタッチパネルが設けられる。スマートデバイス２０ａのタッチパネルに対するタッチ操作（例えば、タップ操作やスワイプ操作等）に応じて、キャラクタ１２０ａから弾オブジェクト１２２が射出される。この弾オブジェクト１２２は、キャラクタ１３０（第３ユーザ）を支援するための仮想オブジェクトである。具体的には、弾オブジェクト１２２は、キャラクタ１１０（第１ユーザ）によって射出された弾オブジェクト１１２が、キャラクタ１３０に当たらないようにするためのオブジェクトである。例えば、弾オブジェクト１２２が弾オブジェクト１１２に当たった場合、弾オブジェクト１１２は消滅し、キャラクタ１３０への攻撃が無効になる。
【0110】
第２ユーザによる第３ユーザの支援は、別の方法により行われてもよい。例えば、第２ユーザの操作に応じて、キャラクタ１１０からの弾オブジェクト１１１を防御するための障害物オブジェクトが仮想空間内に配置されてもよい。障害物オブジェクトによってキャラクタ１１０からの弾オブジェクト１１１がキャラクタ１３０に当たらないようにしてもよい。また、例えば、第２ユーザの操作に応じて、キャラクタ１２０がキャラクタ１３０の体力値を回復させるための回復オブジェクトを仮想空間内に射出してもよい。キャラクタ１２０から射出された回復オブジェクトは、仮想空間内に配置される。キャラクタ１３０が、回復オブジェクトが配置された位置まで移動して回復オブジェクトを取得した場合、キャラクタ１３０の体力値が回復する。これにより、第２ユーザが第３ユーザを支援してもよい。また、第２ユーザの操作に応じて、キャラクタ１２０が弾オブジェクトを射出することでキャラクタ１１０を攻撃してもよい。キャラクタ１２０からの弾オブジェクトがキャラクタ１１０に当たった場合、キャラクタ１１０の体力値が減少したり、キャラクタ１１０によるキャラクタ１３０への攻撃が停止したりしてもよい。これにより、第２ユーザが第３ユーザを支援してもよい。
【0111】
このように、第２ユーザは、キャラクタ１３０（第３ユーザ）を支援することによって、第１ユーザと第３ユーザとの間で行われる戦闘ゲームに参加することができる。
【0112】
逆に、第２ユーザは、第３ユーザを支援するのではなく、第１ユーザを支援してもよい。例えば、キャラクタ１２０は、キャラクタ１３０を攻撃するためのオブジェクトを仮想空間内に射出してもよい。また、キャラクタ１２０は、キャラクタ１１０の体力を回復させるための回復オブジェクトを仮想空間内に配置してもよい。また、キャラクタ１２０は、キャラクタ１３０からキャラクタ１１０への攻撃を防御するための障害物オブジェクトを仮想空間内に配置してもよい。
【0113】
すなわち、キャラクタ１２０は、キャラクタ１３０（又はキャラクタ１１０）にとってゲーム上有利又は不利となる所定のオブジェクトを仮想空間内に配置してもよい。キャラクタ１２０は、所定のオブジェクトを用いてキャラクタ１１０に変化を与える。キャラクタ１２０は、第２ユーザの入力に応じて仮想空間又はキャラクタ１１０に影響を与えるキャラクタである。
【0114】
また、第２ユーザは、第１ユーザおよび第３ユーザと同等の立場でゲームに参加してもよい。すなわち、第１ユーザ、第２ユーザ、第３ユーザの各ユーザ（キャラクタ）がそれぞれ他のユーザ（キャラクタ）を攻撃し、他のユーザを倒すゲームが行われてもよい。
【0115】
あるいは、各キャラクタが戦闘するゲームに限らず、仮想空間内で各キャラクタが動作する他のゲームが行われてもよい。例えば、各ユーザのキャラクタが協力して冒険を行うゲームが行われてもよいし、各ユーザのキャラクタがレースを行うレースゲームが行われてもよい。
【0116】
図１６は、第２ＨＭＤ３０のディスプレイ３２に表示される画像の一例を示す図であって、仮想カメラ１３１が第１モードに設定されているときの画像の一例である。第２ＨＭＤ３０のディスプレイ３２に表示される画像も、第１ＨＭＤ１０と同様に立体視画像である。
【0117】
上述のように、仮想カメラ１３１が第１モードに設定されている場合、仮想カメラ１３１は、現実空間におけるマーカ４０を基準とした第２ＨＭＤ３０の位置に応じて配置される。例えば、第２ＨＭＤ３０がテーブルを俯瞰する位置（例えば図１に示す位置）に位置する場合、仮想カメラ１３１は、テーブル上の仮想空間を俯瞰する位置（例えば図７に示す１３０の位置）に配置される。この場合、図１６に示されるように、第２ＨＭＤ３０のディスプレイ３２には、テーブル上に形成された仮想空間の各仮想オブジェクト（キャラクタ１３０、キャラクタ１１０、仮想オブジェクト１４１～１４５）が表示される。また、テーブルから離れた位置に位置するキャラクタ１２０ｂが仮想カメラ１３１の視野内に含まれる場合、キャラクタ１２０ｂも表示される。第２ＨＭＤ３０の位置や姿勢が変化した場合には、それに応じて仮想カメラ１３１の位置や姿勢も変化する。
【0118】
なお、キャラクタ１１０が仮想空間内に弾オブジェクト１１２を射出した場合には、弾オブジェクト１１２が仮想空間内を移動する画像が表示される。また、キャラクタ１２０ｂやキャラクタ１２０ａが仮想空間内に弾オブジェクト１２２を射出した場合には、弾オブジェクト１２２が仮想空間内を移動する画像が表示される。
【0119】
第２ＨＭＤ３０のディスプレイ３２には、第２ＨＭＤ３０のカメラ３３によって撮像された現実空間の画像に、仮想カメラ１３１に基づいて生成された仮想空間の画像が重畳して表示される。仮想カメラ１３１が第１モードに設定されている場合、第３ユーザには、現実空間のテーブル上に小さな仮想空間が形成されているように見える。すなわち、第１モードに設定されている場合、第３ユーザは、スマートデバイス２０の第２ユーザと同様に、テーブル上に形成された小さな仮想空間を俯瞰するように見る。なお、第２ＨＭＤ３０のディスプレイ３２には、現実空間の画像は表示されず、仮想カメラ１３１に基づいて生成された仮想空間の画像のみが表示されてもよい。
【0120】
第３ユーザは、コントローラ３８を用いて、第１モードと第２モードとのうちの何れかに切り替えることが可能である。
【0121】
図１７は、第２ＨＭＤ３０のディスプレイ３２に表示される画像の一例を示す図であって、仮想カメラ１３１が第２モードに設定されているときの画像の一例である。
【0122】
図１７に示されるように、第２ＨＭＤ３０のディスプレイ３２には、キャラクタ１３０から仮想空間を見た画像が表示される。第２モードに設定されている場合、仮想カメラ１３１は、キャラクタ１３０の移動に応じて移動する。なお、図１７では、仮想カメラ１３１がキャラクタ１３０の位置に配置される場合の画像が示されているが、仮想カメラ１３１が例えばキャラクタ１３０の後方の所定位置に設定される場合には、キャラクタ１３０の後方から仮想空間を見た画像が表示される。
【0123】
仮想カメラ１３１が第２モードに設定されている場合、第３ユーザには、目の前に仮想空間が広がっているように見え、第３ユーザは、地面オブジェクト１４１上に立っているような感覚を覚える。第３ユーザにとっては、例えば、数十メートル先に橋オブジェクト１４４が存在しているように見える。
【0124】
第３ユーザは、図１６又は図１７に示すような画像を見ながら、コントローラ３８に対する操作を行い、キャラクタ１３０を仮想空間内で移動させる。例えば、第３ユーザは、コントローラ３８のアナログスティックや十字キーに対する操作に応じて、キャラクタ１３０を移動させる。また、キャラクタ１３０がキャラクタ１１０の位置まで到達した場合、第３ユーザは、コントローラ３８のボタンに対する操作に応じて、キャラクタ１３０にキャラクタ１１０を攻撃させる。
【0125】
第１ユーザ、第２ユーザ、及び第３ユーザの動作やコントローラに対する操作は、リアルタイムで仮想空間に反映される。例えば、第１ユーザ（第１ＨＭＤ１０）の向きが変化した場合には、その向きの変化に応じて仮想空間内でキャラクタ１１０の向きが変化する。また、第１ユーザがコントローラ１８を振った場合、キャラクタ１１０が弾オブジェクト１１２を投げる動作を行う。仮想カメラ１２１や仮想カメラ１３１の撮像範囲内にキャラクタ１１０が含まれている場合、スマートデバイス２０や第２ＨＭＤ３０には、キャラクタ１１０の向きが変化する様子やキャラクタ１１０が弾オブジェクト１１２を投げる様子が表示される。これにより、第２ユーザ又は第３ユーザは、第１ユーザの動作を把握することができる。
【0126】
同様に、第２ユーザ（スマートデバイス２０）の向きや位置が変化した場合には、その変化に応じて仮想空間内でキャラクタ１２０の向きや位置が変化する。また、第２ユーザがスマートデバイス２０に対して所定の操作を行った場合、キャラクタ１２０が弾オブジェクト１２２を投げる動作を行う。仮想カメラ１１１や仮想カメラ１３１の撮像範囲内にキャラクタ１２０が含まれている場合、第１ＨＭＤ１０や第２ＨＭＤ３０には、キャラクタ１２０の向きや位置が変化する様子や、キャラクタ１２０が弾オブジェクト１２２を投げる様子が表示される。これにより、第１ユーザ又は第３ユーザは、第２ユーザの動作を把握することができる。
【0127】
以上のように、本実施形態では、第１ユーザは、第１ＨＭＤ１０を装着し、第２ユーザは、スマートデバイス２０を携帯する。第１ＨＭＤ１０の現実空間における位置に関わらず、仮想空間内にキャラクタ１１０が配置され、キャラクタ１１０の位置に対応する位置に仮想カメラ１１１が配置される。キャラクタ１１０の姿勢は、第１ＨＭＤ１０の姿勢に応じて変化し、キャラクタ１１０は、コントローラ１８に対する操作に応じて動作する（例えば弾オブジェクト１１２を投げる）。また、現実空間におけるマーカ４０に対するスマートデバイス２０の位置に応じた仮想空間内の位置に、仮想カメラ１２１が配置され、現実空間におけるスマートデバイス２０の姿勢に応じて、仮想カメラ１２１の姿勢が設定される。具体的には、仮想空間の位置を定義するためのＸＹＺ座標系が、仮想空間のマーカ４０を基準として設定されることで、現実空間と仮想空間とが対応付けられる。マーカ４０を基準としたスマートデバイス２０の位置が算出され、算出された位置にキャラクタ１２０及び仮想カメラ１２１が設定される。そして、仮想カメラ１１１に基づいて生成された仮想空間の画像が、第１ＨＭＤ１０のディスプレイ１２に表示され、仮想カメラ１２１に基づいて生成された仮想空間の画像が、スマートデバイス２０のディスプレイ２２に表示される。
【0128】
これにより、第１ユーザは、仮想空間内のキャラクタ１１０の位置（又はキャラクタ１１０から所定距離離れた位置）から仮想空間を見ることになり、主観視点から仮想空間を見ることになる。このため、第１ユーザは、現実空間と同じスケール感で、仮想空間内に入り込んでゲームを行うことができる。また、仮想カメラ１３１が第２モードに設定されている場合には、第３ユーザも、キャラクタ１３０の視点（又はキャラクタ１３０から所定距離離れた位置）から仮想空間を見ることになる。これに対して、第２ユーザは、現実空間に対応付けられた仮想空間を、現実空間のマーカ４０に対するスマートデバイス２０の位置から見ることになる。第２ユーザは、現実空間に仮想空間内の仮想オブジェクトが存在するような感覚で、現実空間と仮想空間とを意識しながらゲームを行うことができ、テーブル上に形成された仮想空間を俯瞰しながらゲームを行うことができる。第２ユーザにとっては、仮想空間はテーブル上に小さなスケールで形成されているように感じる。このようにして、主観視点で仮想空間を見る第１ユーザと、俯瞰視点で仮想空間を見る第２ユーザとでゲームを行うことができる。各ユーザで異なる視点から仮想空間を見ることができるとともに、各ユーザで異なるスケール感で仮想空間を見ることができ、従来にはない新たなゲームを複数のユーザで行うことができる。
【0129】
また、本実施形態では、テーブル上にマーカ４０を配置し、テーブル上に仮想空間が形成され、当該仮想空間内でゲームが行われる。第１ユーザは、テーブル上に形成された仮想空間に入り込んでゲームを行う一方で、第２ユーザは、テーブル上に形成された小さな仮想空間を俯瞰しながらゲームを行うことができる。これにより、従来にはない新たなゲームを複数のユーザで行うことができる。
【0130】
また、本実施形態では、第１ユーザ～第３ユーザは、自身のデバイスのディスプレイを見ることで他のユーザに対応するキャラクタの動きを見ることができ、他のユーザの動きを認識することができる。例えば、第１ユーザは、第１ＨＭＤ１０のディスプレイ１２に表示されたキャラクタ１２０の動きを見ることで、第２ユーザの動きを認識することができる。現実空間におけるスマートデバイス２０の位置と連動して仮想空間内でキャラクタ１２０の位置が設定されるため、第１ユーザは、仮想空間内でキャラクタ１２０を見ることで現実空間における第２ユーザの位置を把握することができる。また、第２ユーザは、キャラクタ１１０の姿勢の変化やキャラクタ１１０が弾オブジェクト１１２を投げる動作を、自身のスマートデバイス２０のディスプレイを見ることで、第１ユーザの動きを認識することができる。
【0131】
基本的には、ユーザがＨＭＤを装着している場合には、他のユーザは、ＨＭＤを装着しているユーザがどのような映像を見ているのか、仮想空間で何をしているのかを把握することはできない。しかしながら本実施形態のシステムでは、第２ユーザは、スマートデバイス２０を介して仮想空間の様子と、現実空間における第１ユーザとを見ることができるため、第１ユーザがどのような映像を見ているのか、仮想空間で何をしているのかを把握することができる。すなわち、第２ユーザは、スマートデバイス２０を見ることで仮想空間内でのキャラクタ１１０（第１ユーザ）の動きを視認することができるとともに、現実空間に目を向けることで第１ユーザの動きを見ることができる。これにより、第２ユーザは、ＨＭＤを装着したユーザがいる仮想空間に入り込んで仮想空間を見ることができる。
【0132】
ここで、据置型のディスプレイ５０には、仮想カメラ１５０から仮想空間を見た画像が表示される。また、ＨＭＤを装着しているユーザが見ている画像を、据置型のディスプレイ５０に表示してもよい。第４ユーザは、ディスプレイ５０に表示された画像を見て、ＨＭＤを装着したユーザがいる仮想空間の様子を把握することができる。第２ユーザも、スマートデバイス２０を介してＨＭＤを装着したユーザがいる仮想空間の様子を把握することができるが、第２ユーザは、単に仮想空間内を見るだけにとどまらず、ＡＲ技術を用いて従来にはない新たな体験をすることができる。すなわち、現実空間に対応して仮想空間が形成されるため、第２ユーザは、現実空間内で移動したり向きを変えたりすることで、現実空間における第２ユーザの視点と同じ視点から仮想空間を覗き見ることができる。これにより、第２ユーザは、第１ユーザが入り込んでいる仮想空間を、現実空間を見るように見ることができる。
【0133】
なお、第１ユーザは通常マット５１から離れないようにゲームを行うものとするが、第１ユーザがマット５１を基準とした所定範囲から出た場合、又は、第１ユーザが所定距離以上移動した場合には、第１ユーザに対して報知が行われる。例えば、第１ＨＭＤ１０のディスプレイ１２上で画像や文字による表示が行われてもよいし、音声により報知が行われてもよいし、振動による報知が行われてもよい。また、第１ユーザが所定範囲から出た場合、又は、第１ユーザが所定距離以上移動した場合には、第２ユーザに対しても報知が行われる。例えば、スマートデバイス２０のディスプレイ２２上で画像や文字による表示が行われてもよいし、音声により報知が行われてもよいし、振動による報知が行われてもよい。同様に、第３ユーザ及び第４ユーザに対しても報知が行われてもよい。また、第２ユーザが所定範囲内に入ったり所定範囲に近づいたりした場合、第１ユーザ及び第２ユーザに対して画像や文字、音声、振動等を用いて報知が行われる。
【0134】
例えば、画像処理システム１は、図９で示した方法により第１ＨＭＤ１０の位置を検出する。画像処理システム１は、第１ＨＭＤ１０の位置に基づいて、第１ユーザが所定範囲から出たか否か、又は、第１ユーザが所定距離以上移動したか否かを判定する。あるいは、スマートデバイス２０や第２ＨＭＤ３０のカメラ、その他現実空間に配置されたカメラで第１ユーザを撮像し、撮像された画像に基づいて、第１ユーザが所定範囲から出たか否か、又は、第１ユーザが所定距離以上移動したか否かが判定されてもよい。また、第１ＨＭＤ１０のカメラで第１ユーザの周辺を撮像し、撮像された画像に基づいて、第１ユーザが所定範囲から出たか否か、又は、第１ユーザが所定距離以上移動したか否かが判定されてもよい。また、第１ＨＭＤ１０、スマートデバイス２０、第２ＨＭＤ３０、その他のカメラで撮像された画像に基づいて、第２ユーザが所定範囲内に入ったか否か、所定範囲に近づいたか否かが判定されてもよい。
【0135】
なお、スマートデバイス２０のディスプレイ２２に、上記所定範囲を示す画像が表示されてもよい。すなわち、スマートデバイス２０のカメラ２３が上記マット５１を基準とした所定範囲を撮像した場合、当該所定範囲に、所定範囲を示す範囲画像を重畳して表示してもよい。
【0136】
また、第３ユーザにも所定範囲が設定されてもよい。第３ユーザが所定範囲から出た場合、又は、第３ユーザが所定距離以上移動した場合に、第３ユーザ、第２ユーザ、及び第１ユーザに対して報知が行われてもよい。この場合、第２ＨＭＤ３０のカメラ３３でマーカ４０を撮像し、現実空間のマーカ４０に対する第２ＨＭＤ３０の位置に応じて仮想カメラ１３１が配置されてもよい。すなわち、第３ユーザも第２ユーザと同様にＡＲを体験する。第３ユーザが所定範囲から出た場合、又は、第３ユーザが所定距離以上移動した場合、第３ユーザに対して報知（ディスプレイ３２やスピーカ、振動モータ等を用いた報知）が行われるとともに、第２ユーザに対しても報知（ディスプレイ２２やスピーカ、振動モータ等を用いた報知）が行われてもよい。
【0137】
（仮想空間の作成）
本実施形態では、上述したゲームを行うゲームモードの他に、上記ゲームを行うための仮想空間をユーザ自身が作成する作成モードがある。以下では、作成モードにおいて、ユーザが仮想空間を作成することについて説明する。図１８は、作成モードにおけるユーザが見る画像の一例を示す図である。
本実施形態では、上述したゲームを行うゲームモードの他に、上記ゲームを行うための仮想空間をユーザ自身が作成する作成モードがある。以下では、作成モードにおいて、ユーザが仮想空間を作成することについて説明する。図１８は、作成モードにおけるユーザが見る画像の一例を示す図である。
【0138】
仮想空間の作成モードでは、ユーザは、例えば第１ＨＭＤ１０を装着し、第１ＨＭＤ１０のディスプレイ１２を見ながら、コントローラ１８を用いて仮想空間内に仮想オブジェクトを配置していく。テーブル上にマーカ４０が配置され、第１ＨＭＤ１０のカメラ１３でテーブル上のマーカ４０を撮像することで、第１ＨＭＤ１０のディスプレイ１２に図１８に示すような画像が表示される。
【0139】
作成モードでは、現実空間におけるマーカ４０に対する第１ＨＭＤ１０の位置に応じた仮想空間の位置に、仮想カメラが配置される。ユーザは、当該仮想カメラから見た画像を見ながら仮想空間を作成する。
【0140】
具体的には、第１ＨＭＤ１０のディスプレイ１２には、ユーザの左手を模した左手オブジェクト１６０Ｌと、ユーザの右手を模した右手オブジェクト１６０Ｒとが表示される。左手オブジェクト１６０Ｌ及び右手オブジェクト１６０Ｒは、仮想オブジェクトである。第１ＨＭＤ１０の赤外線カメラ１４によって撮像された画像に基づいて、ユーザの手の検出が行われる。ユーザの手の検出は、既知の画像認識技術を用いて行われる。ユーザの左手及び右手が検出された場合、検出された左手及び右手の位置に、左手オブジェクト１６０Ｌ及び右手オブジェクト１６０Ｒが配置される。
【0141】
なお、第１ＨＭＤ１０のカメラ１３からの画像に基づいて、ユーザの手が検出されてもよい。また、第１ＨＭＤ１０が備えるカメラとは別のカメラ又は赤外線カメラでユーザの手を撮像し、検出してもよい。
【0142】
ユーザが、例えば左手の手のひらを第１ＨＭＤ１０に向けた場合、左手オブジェクト１６０Ｌに重畳して、又は、左手オブジェクト１６０Ｌの近傍に、ＵＩオブジェクト１７０が表示される。ＵＩオブジェクト１７０は、仮想空間を作成するためのユーザインターフェイスであり、仮想空間に配置するための複数のパーツオブジェクトを含む。例えば、ＵＩオブジェクト１７０は、表面が草で覆われた地面オブジェクト１４１を形成するためのパーツオブジェクト１７１と、川オブジェクト１４３を形成するためのパーツオブジェクト１７２と、ブロックを形成するためのパーツオブジェクト１７３とを含む。ＵＩオブジェクト１７０は、これらの他にも仮想空間の地形を形成するための複数のパーツオブジェクトを含んでもよい。
【0143】
各パーツオブジェクトは、例えば立方体により形成されており、複数のパーツオブジェクトがグリッド状に配置されることで、仮想空間の地形が形成される。例えば、草で覆われた地面オブジェクト１４１は、複数のパーツオブジェクト１７１がグリッド状に配置されることで形成される。例えば、パーツオブジェクト１７１の上面には緑色のテクスチャ画像が張り付けられており、このパーツオブジェクト１７１が平面的に複数並べられることで、上面が草で覆われた地面オブジェクト１４１が形成される。
【0144】
また、右手オブジェクト１６０Ｒには、コントローラ１８を模したコントローラオブジェクト１６１が表示される。現実空間において右手でコントローラ１８を把持するように、右手オブジェクト１６０Ｒがコントローラオブジェクト１６１を把持するような画像が表示される。例えば、第１ＨＭＤ１０のカメラ１３によって撮像された画像に基づいて、コントローラ１８の検出が行われ、コントローラ１８が検出された場合に、コントローラオブジェクト１６１が表示されてもよい。あるいは、コントローラ１８の検出は行わず、ユーザの右手が検出された場合に、右手オブジェクト１６０Ｒとともにコントローラオブジェクト１６１が表示されてもよい。
【0145】
コントローラオブジェクト１６１は、コントローラ１８と実質的に外観が同じ仮想オブジェクトであり、コントローラ１８と同様に複数のボタンを模した部分を有する。また、コントローラオブジェクト１６１は、アナログスティックや十字キーを模した部分を有する。
【0146】
コントローラオブジェクト１６１の所定位置には、ＵＩオブジェクト１７０内のパーツオブジェクトを指示するための指示オブジェクト１６２が設けられる。指示オブジェクト１６２は、コントローラオブジェクト１６１の所定位置から突出したオブジェクトであり、その先端をパーツオブジェクトに近づけると、パーツオブジェクトを指示することができる。
【0147】
例えば、ユーザが、第１ＨＭＤ１０のディスプレイ１２を見ながら、指示オブジェクト１６２の先端をパーツオブジェクト１７３に近づけた場合、パーツオブジェクト１７３が指示される。この状態で、ユーザが、例えばコントローラ１８の所定のボタンを押下すると、パーツオブジェクト１７３が選択された状態（パーツオブジェクト１７３を掴んだ状態）になる。図１８に示すように、選択されたパーツオブジェクトは、選択されていない他のオブジェクトとは異なる表示態様で表示される。また、選択されたパーツオブジェクトを示す文字（図１８では「ブロック」の文字）が、ＵＩオブジェクト１７０に表示される。パーツオブジェクト１７３が選択された状態でユーザが右手をテーブル上に移動させ、ユーザが所定の操作（例えばボタンから指を離す操作）を行うと、パーツオブジェクト１７３がテーブル上（ＸＺ平面上）に配置される。ユーザは、パーツオブジェクトを１つずつ掴んでテーブル上に置くようにして、コントローラ１８を用いて複数のパーツオブジェクトを仮想空間内に配置することで、キャラクタが配置される仮想空間内の地形を形成することができる。
【0148】
パーツオブジェクトが選択されたか否かは、ユーザの右手の指の動きに基づいて判定されてもよい。例えば、ユーザが指を曲げたか否かを判定し、ユーザが指を曲げた場合に、指示されたパーツオブジェクトが選択されてもよい。
【0149】
このように、ユーザの右手が検出された場合、コントローラオブジェクト１６１が右手オブジェクト１６０Ｒの中に表示される。また、コントローラオブジェクト１６１の所定位置に指示オブジェクト１６２が表示される。ユーザが把持するコントローラ１８と実質的に外観が同じコントローラオブジェクト１６１を仮想空間に配置することによって、第１ＨＭＤ１０を装着したユーザは、実際に把持しているコントローラ１８と同様の映像を見ることができ、仮想空間内でパーツオブジェクトを配置し易くなる。また、現実空間には存在しない指示オブジェクト１６２が仮想空間内では表示されるため、第１ＨＭＤ１０を装着したユーザは、指示オブジェクト１６２を用いて位置を指示し易くなり、容易にパーツオブジェクトの選択、配置を行うことができる。
【0150】
なお、ユーザがパーツオブジェクトを選択して配置する場合に、選択したパーツオブジェクトが仮想空間内に複数配置されてもよい。例えば、１つのパーツオブジェクトを選択した状態でユーザが右手をテーブルの面に平行に移動させた場合、選択されたパーツオブジェクトが平面的に複数並べられてもよい。
【0151】
図１９は、複数のパーツオブジェクト１７３が平面状に並べられる様子を示す図である。図１９に示されるように、例えばユーザがパーツオブジェクト１７３を選択した状態で右手をテーブルとほぼ平行に半円を描くように動かした場合、右手の軌跡によって囲まれる領域にパーツオブジェクト１７３が平面状に並べられてもよい。さらに、同様の動作をユーザが行った場合に、平面的に並べられた複数のパーツオブジェクト１７３の上に、さらに平面的に複数のパーツオブジェクト１７３が配置されてもよい。
【0152】
また、ユーザがパーツオブジェクトを配置し易くするために、仮想空間内にグリッドが表示されてもよい。図２０は、各パーツオブジェクトが配置されるグリッドを表示するためのグリッド線の一例を示す図である。図２０に示されるように、仮想空間の作成の際には、グリッド線１７５が表示されてもよい。グリッド線１７５は、Ｘ軸に平行な線と、Ｙ軸に平行な線と、Ｚ軸に平行な線とを含む。グリッド線１７５によって囲まれた領域に、１つのパーツオブジェクトが配置されることになる。例えば、パーツオブジェクト１７１が選択された状態で、指示オブジェクト１６２の先端がグリッド線１７５によって囲まれる１つの領域内に入った場合、その領域にパーツオブジェクト１７１が配置される。なお、パーツオブジェクトは、下方に他のオブジェクトがなく、浮いた状態で（ＸＺ平面から離れた位置に）配置されてもよい。
【0153】
このようにグリッド毎にパーツオブジェクト１７１が配置されることで、ユーザが正確にパーツオブジェクトの位置を指定しなくても、パーツオブジェクトを仮想空間内で容易に並べることができる。
【0154】
（実在物の配置）
本実施形態の画像処理システム１では、現実空間の実在物を認識し、実在物に対応する仮想オブジェクトを仮想空間に配置することができる。図２１は、現実空間に実在物としての缶８０がテーブル上に配置される様子を示す図である。図２２は、缶８０に対応する仮想オブジェクト１８０が仮想空間内に配置される様子を示す図である。
本実施形態の画像処理システム１では、現実空間の実在物を認識し、実在物に対応する仮想オブジェクトを仮想空間に配置することができる。図２１は、現実空間に実在物としての缶８０がテーブル上に配置される様子を示す図である。図２２は、缶８０に対応する仮想オブジェクト１８０が仮想空間内に配置される様子を示す図である。
【0155】
例えば、スマートデバイス２０のカメラ１３から缶８０とマーカ４０とを含む画像が取得された場合、スマートデバイス２０は、当該画像に基づいて、缶８０を検出する。スマートデバイス２０は、予め複数の実在物を学習しており、カメラ１３から取得された画像に基づいて、実在物を認識することができる。例えば、スマートデバイス２０ａが、取得された画像から缶８０を認識した場合、現実空間における缶８０の位置に応じた仮想空間の位置に、缶オブジェクト１８０を配置する。缶オブジェクト１８０が配置されたこと、及び、その位置や姿勢に関する情報は、情報処理装置６０に送信され、情報処理装置６０に記憶される。これにより、仮想空間内に缶オブジェクト１８０が配置されたこと、その位置及び姿勢が、画像処理システム１の各デバイスに共有される。
【0156】
仮想空間に缶オブジェクト１８０が配置された後、各仮想カメラに基づいて、缶オブジェクト１８０を含む仮想空間の画像が取得される。例えば、第１ＨＭＤ１０のディスプレイ１２には、缶オブジェクト１８０を含む仮想空間の画像が表示される。また、第２ＨＭＤ３０のディスプレイ３２にも、缶オブジェクト１８０を含む仮想空間の画像が表示される。
【0157】
また、スマートデバイス２０のディスプレイ２２にも、現実空間の画像に重畳して、缶オブジェクト１８０を含む画像が表示される。具体的には、スマートデバイス２０のカメラ２３が缶８０を含む画像を撮像し、缶オブジェクト１８０が仮想空間内に配置された場合、スマートデバイス２０のディスプレイ２２には、缶８０の画像に重畳して、缶オブジェクト１８０の画像が表示される。このため、第２ユーザは、スマートデバイス２０のディスプレイ２２を介して、実在物としての缶８０の画像ではなく、仮想オブジェクトとしての缶オブジェクト１８０の画像を視認する。
【0158】
なお、スマートデバイス２０のディスプレイ２２には、缶オブジェクト１８０の画像ではなく、カメラ２３が撮像した実在物としての缶８０の画像が表示されてもよい。この場合、缶８０の画像については、カメラ２３が撮像した現実空間の画像に、仮想空間の画像が重畳されず、缶８０の画像とは異なる他の部分（例えば、地面オブジェクト１４１やキャラクタの領域部分）については、カメラ２３が撮像した現実空間の画像に、仮想空間の画像が重畳される。
【0159】
例えば、スマートデバイス２０ａが現実空間の缶８０を検出し、仮想空間内に缶オブジェクト１８０が配置された後、スマートデバイス２０ａの位置や向きが変更されたことによってカメラ２３の撮像範囲から缶８０が外れた場合、缶オブジェクト１８０はその位置に配置されたままとなる。すなわち、仮想空間内に缶オブジェクト１８０が配置された後、缶８０が移動されずに、スマートデバイス２０ａによって缶８０が検出されなくなっても、缶オブジェクト１８０は仮想空間に存在し続ける。
【0160】
具体的には、スマートデバイス２０ａが缶８０を検出し、仮想空間内に缶オブジェクト１８０を配置した場合、その後も、缶８０の検出を継続して行う。缶８０の位置及び姿勢に関する情報は、リアルタイムで情報処理装置６０に送信される。缶８０が移動されずに、スマートデバイス２０ａの位置や向きが変化された場合、スマートデバイス２０ａのカメラ２３によって撮像される画像における缶８０の位置は変化するが、マーカ４０を基準とした缶８０の位置は変化しない。このため、缶オブジェクト１８０の位置は変化しない。スマートデバイス２０ａの位置や向きの変化によってカメラ２３の撮像範囲から缶８０が外れた場合でも、缶８０の位置の変化が検出されなければ、缶オブジェクト１８０の位置は変化しない。
【0161】
なお、スマートデバイス２０ａのカメラ２３の撮像範囲から缶８０が外れても、スマートデバイス２０ｂのカメラ２３の撮像範囲に缶８０が含まれる場合には、スマートデバイス２０ｂが、缶８０の検出を継続して行う。あるいは、第２ＨＭＤ３０のカメラ３３で画像を撮像し、缶８０の検出が行われてもよい。このように、例えばスマートデバイス２０ａによって缶８０が検出されて缶オブジェクト１８０が配置された後、スマートデバイス２０ａ以外の他のデバイスによっても、缶８０の位置が追跡される。
【0162】
一方、仮想空間内に缶オブジェクト１８０が配置された後、缶８０が移動されてテーブルから除去された場合には、スマートデバイス２０によって缶８０が検出されなくなり、缶オブジェクト１８０は仮想空間から消去される。
【0163】
具体的には、缶８０が移動する場合、スマートデバイス２０ａ又は２０ｂによって缶８０の検出が継続して行われ、缶オブジェクト１８０の位置が更新される。あるいは、第２ＨＭＤ３０のカメラ３３で画像を撮像し、缶８０の検出が行われてもよい。缶８０が移動する場合には、缶８０がテーブル上から除かれるまで缶オブジェクト１８０の位置の更新が継続して行われ、缶オブジェクト１８０の位置が所定範囲を超えた場合（例えばテーブルの外に移動した場合）、仮想空間から缶オブジェクト１８０が消去される。
【0164】
また、仮想空間の所定位置に缶オブジェクト１８０が配置された後、スマートデバイス２０の位置や向きが変化することによってカメラ２３の撮像範囲から缶８０が外れた場合、缶オブジェクト１８０は所定位置に存続する。しかしながら、スマートデバイス２０の位置や向きが戻ることによって、再びカメラ２３の撮像範囲内に上記所定位置に応じた現実空間の位置（撮像範囲から外れる前に缶８０が存在していた位置）が入ったときに、スマートデバイス２０が缶８０を検出しなかった場合、缶オブジェクト１８０は仮想空間から消去される。
【0165】
また、仮想空間の第１位置に缶オブジェクト１８０が配置された後、スマートデバイス２０の位置や向きが変化することによってカメラ２３の撮像範囲が変化し、カメラ２３の撮像範囲から缶８０が外れた場合において、変化したカメラ２３の撮像範囲内に缶８０が検出された場合には、新たに検出された缶８０の位置に応じた仮想空間の第２位置に、缶オブジェクト１８０を配置するとともに、第１位置の缶オブジェクト１８０を消去してもよい。言い換えると、この場合、缶オブジェクト１８０を第１位置から第２位置に瞬間的に移動させてもよい。
【0166】
また、例えば、仮想空間の第１位置に缶オブジェクト１８０が配置された後、スマートデバイス２０の位置や向きが変化することによってカメラ２３の撮像範囲が変化し、カメラ２３の撮像範囲から缶８０が外れた場合において、変化したカメラ２３の撮像範囲内に缶８０が検出された場合には、新たに検出された缶８０の位置に応じた仮想空間の第２位置に、新たな缶オブジェクト１８０を配置するとともに、第１位置にも缶オブジェクト１８０を存続させてもよい。この場合、１つの缶８０を検出させて１つ目の缶オブジェクト１８０を仮想空間に配置した後、同じ缶８０を別の場所で検出させて、２つ目の缶オブジェクト１８０を仮想空間に配置することができる。
【0167】
また、仮想空間に配置される缶オブジェクト１８０の数に関する条件が設定され、条件に応じて、変化したカメラ２３の撮像範囲内に缶８０が検出された場合に、上記第１位置の缶オブジェクト１８０を消去するか、上記第１位置にも缶オブジェクト１８０を存続させるかを制御してもよい。例えば、仮想空間に配置される缶オブジェクト１８０の数が１つに設定されているか、あるいは複数に設定されているかを判定し、判定結果に応じた制御が行われてもよい。例えば、仮想空間に配置される缶オブジェクト１８０の数が１つに設定（制限）されている場合には、缶オブジェクト１８０が仮想空間の第１位置に配置された後、カメラ２３の撮像範囲から缶８０が外れた場合において、変化したカメラ２３の撮像範囲内に缶８０が検出された場合に、検出された缶８０の位置に応じた仮想空間の第２位置に缶オブジェクト１８０を配置するとともに、第１位置の缶オブジェクト１８０を消去してもよい。また、仮想空間に配置される缶オブジェクト１８０の数が複数に設定（許容）されている場合には、缶オブジェクト１８０が仮想空間の第１位置に配置された後、カメラ２３の撮像範囲から缶８０が外れた場合において、変化したカメラ２３の撮像範囲内に缶８０が検出された場合に、検出された缶８０の位置に応じた仮想空間の第２位置に缶オブジェクト１８０を配置するとともに、第１位置にも缶オブジェクト１８０を存続させてもよい。
【0168】
また、缶８０が認識されて缶オブジェクト１８０が仮想空間に配置された後、缶８０がテーブルの外に除去されても、缶オブジェクト１８０が仮想空間に存続してもよい。すなわち、缶オブジェクト１８０が仮想空間に配置された後、カメラで缶８０がテーブルの外に除去されることが追跡可能な状況であっても、缶オブジェクト１８０を仮想空間に存続させてもよい。これにより、例えば、第１の特定物体をテーブル上に配置した後、第１の特定物体を除去して第２の特定物体をテーブル上に配置することで、第１の特定物体に対応する第１の仮想オブジェクトと、第２の特定物体に対応する第２の仮想オブジェクトとを仮想空間に配置することができる。
【0169】
仮想空間に配置された缶オブジェクト１８０を用いてゲームの制御が行われる。例えば、缶オブジェクト１８０はキャラクタ１１０から攻撃を防御するために用いられてもよく、キャラクタ１１０からの弾オブジェクト１１２が缶オブジェクト１８０に当たった場合、弾オブジェクト１１２が消去されてもよい。また、缶オブジェクト１８０を用いて、仮想空間に別の変化が加えられてもよい。例えば、ユーザが缶オブジェクト１８０に対して所定の操作を行った場合、缶オブジェクト１８０から液体が噴き出す様子が表示されてもよい。
【0170】
このように、本実施形態の画像処理システム１では、現実空間における特定の物体に対応する仮想オブジェクトを仮想空間内に登場させることができ、第１ユーザに現実空間と仮想空間とが混在するような感覚を与えることができる。
【0171】
なお、上記ではスマートデバイス２０のカメラ２３で特定の物体を撮像する例について説明したが、カメラ２３とは異なる別のカメラ（例えば現実空間の所定位置に配置されたカメラ、第２ＨＭＤ３０又は第１ＨＭＤ１０のカメラ）で特定の物体を撮像してもよい。そして、情報処理装置６０又はスマートデバイス２０が、当該カメラからの画像に基づいて、特定の物体の検出を行い、特定の物体を検出した場合、仮想空間に特定の物体に対応する仮想オブジェクトを配置してもよい。
【0172】
（各デバイスに記憶されるデータ）
次に、各デバイスにおいて記憶されるデータについて説明する。図２３は、各スマートデバイス２０において記憶されるデータＤ２０の一例を示す図である。
次に、各デバイスにおいて記憶されるデータについて説明する。図２３は、各スマートデバイス２０において記憶されるデータＤ２０の一例を示す図である。
【0173】
図２３に示されるように、スマートデバイス２０には、後述するスマートデバイス処理を行うためのプログラムが記憶される。また、スマートデバイス２０には、カメラ２３から取得された画像データと、慣性センサ２４からの角速度データ及び加速度データとが記憶される。また、スマートデバイス２０には、画像データに基づいて算出されたマーカ４０に対するスマートデバイス２０の位置を示す位置データが記憶される。また、スマートデバイス２０には、角速度データ及び加速度データに基づいて算出されたスマートデバイス２０の姿勢情報を示す姿勢データが記憶される。
【0174】
また、スマートデバイス２０には、自機のユーザに対応するキャラクタ１２０に関するキャラクタ１２０データと、仮想カメラ１２１の位置及び姿勢を示す仮想カメラ１２１データとが記憶される。キャラクタ１２０データは、キャラクタ１２０の仮想空間における位置及び姿勢を示すデータと、キャラクタ１２０の形状を示すデータと、キャラクタ１２０が有する仮想オブジェクト（例えば弾オブジェクト１２２）に関するデータとを含む。
【0175】
また、スマートデバイス２０には、他キャラクタデータと、地形オブジェクトデータと、射出オブジェクトデータと、検出オブジェクトデータとが記憶される。
【0176】
他キャラクタデータは、自機以外の他のデバイスのユーザに対応する各キャラクタに関するデータである。他キャラクタデータは、情報処理装置６０から取得される。例えば、スマートデバイス２０ａには、他キャラクタデータとして、キャラクタ１１０、キャラクタ１２０ｂ、キャラクタ１３０に関するデータが記憶される。他キャラクタデータは、各キャラクタの位置及び姿勢を示すデータと、各キャラクタの形状に関するデータとを含む。
【0177】
地形オブジェクトデータは、仮想空間を形成する地形に関するオブジェクト（１４１～１４５）のデータであり、複数のパーツオブジェクトとその配置に関する情報を含む。地形オブジェクトデータは、情報処理装置６０から取得される。地形オブジェクトデータとして、予めゲーム制作者によって作成されて画像処理システム１に記憶されたデータと、上述のようにユーザによって作成されて画像処理システム１に記憶されたデータとがある。
【0178】
射出オブジェクトデータは、仮想空間に射出された弾オブジェクトに関するデータであり、弾オブジェクトの位置、移動速度や移動方向に関するデータを含む。射出オブジェクトデータは、自機のキャラクタ１２０から射出された弾オブジェクト１２２に関するデータと、情報処理装置６０から取得された、他のデバイスに対応するキャラクタから射出された弾オブジェクトに関するデータとを含む。
【0179】
検出オブジェクトデータは、予め定められた特定の物体（例えば缶８０）が検出された場合に仮想空間に配置される仮想オブジェクト（例えば缶オブジェクト１８０）に関するデータである。検出オブジェクトデータは、仮想オブジェクトの形状に関するデータや、位置及び姿勢に関するデータを含む。
【0180】
【0181】
図２４に示されるように、第１ＨＭＤ１０には、後述するＨＭＤ処理を行うためのプログラムと、慣性センサ１５からの角速度データ及び加速度データと、角速度データ及び加速度データから算出された第１ＨＭＤ１０の姿勢情報に関する姿勢データとが記憶される。
【0182】
また、第２ＨＭＤ３０には、ＨＭＤ処理を行うためのプログラムと、慣性センサ３５からの角速度データ及び加速度データと、角速度データ及び加速度データから算出された第２ＨＭＤ３０の姿勢情報に関する姿勢データと、カメラ３３からの画像データとが記憶される。
【0183】
図２６は、情報処理装置６０において記憶されるデータＤ６０の一例を示す図である。
【0184】
図２６に示されるように、情報処理装置６０には、後述するゲーム制御処理を行うためのプログラムと、ＨＭＤデータと、スマートデバイスデータと、コントローラデータと、キャラクタデータと、仮想カメラデータとが記憶される。また、情報処理装置６０には、上記地形オブジェクトデータと、射出オブジェクトデータと、検出オブジェクトデータとが記憶される。
【0185】
ＨＭＤデータは、第１ＨＭＤ１０及び第２ＨＭＤ３０に関するデータである。具体的には、ＨＭＤデータは、第１ＨＭＤ１０から取得した姿勢データを含む。また、ＨＭＤデータは、第２ＨＭＤ３０からの画像データに基づいて算出された第２ＨＭＤ３０の位置データと、第２ＨＭＤ３０から取得した姿勢データとを含む。
【0186】
スマートデバイスデータは、各スマートデバイス２０から取得した各スマートデバイス２０の位置及び姿勢を示すデータと、各スマートデバイス２０において行われた操作に関するデータとを含む。
【0187】
コントローラデータは、各コントローラ（１８、３８）に関するデータである。コントローラデータは、各コントローラのボタン、スティック、十字キー等において行われた操作に関するデータを含む。また、コントローラデータは、各コントローラの姿勢や動きに関するデータを含む。
【0188】
キャラクタデータは、各キャラクタ（１１０、１２０、１３０）に関するデータであり、各キャラクタの位置や姿勢に関するデータを含む。また、仮想カメラデータは、各仮想カメラ（１１１、１２１、１３１、１５０）に関するデータであり、各仮想カメラの位置や姿勢に関するデータを含む。
【0189】
（ＨＭＤにおける処理の詳細）
次に、各デバイスにおいて行われる処理の詳細について具体的に説明する。図２７は、第１ＨＭＤ１０又は第２ＨＭＤ３０において実行されるＨＭＤ処理の一例を示すフローチャートである。図２７に示す処理は、画像処理システム１においてゲームの開始が指示されたことに応じて開始される。なお、以下では、第１ＨＭＤ１０（のプロセッサ１１）が図２７に示す処理を実行するものとして説明するが、第２ＨＭＤ３０においても同様の処理が行われる。
次に、各デバイスにおいて行われる処理の詳細について具体的に説明する。図２７は、第１ＨＭＤ１０又は第２ＨＭＤ３０において実行されるＨＭＤ処理の一例を示すフローチャートである。図２７に示す処理は、画像処理システム１においてゲームの開始が指示されたことに応じて開始される。なお、以下では、第１ＨＭＤ１０（のプロセッサ１１）が図２７に示す処理を実行するものとして説明するが、第２ＨＭＤ３０においても同様の処理が行われる。
【0190】
図２７に示されるように、第１ＨＭＤ１０は、初期処理を行う（ステップＳ１００）。初期処理においては、第１ＨＭＤ１０の姿勢が初期化される。第１ＨＭＤ１０は、初期処理を行った後、ステップＳ１０１～ステップＳ１０５を所定の時間間隔（例えば、１／６０秒間隔）で繰り返し実行する。
【0191】
次に、第１ＨＭＤ１０は、慣性センサ１５によって検出された角速度データ及び加速度データを取得する（ステップＳ１０１）。第１ＨＭＤ１０は、取得した角速度データ及び加速度データに基づいて、第１ＨＭＤ１０の姿勢情報を算出する（ステップＳ１０２）。具体的には、第１ＨＭＤ１０は、初期処理を行った時点からの姿勢の変化を算出する。次に、第１ＨＭＤ１０は、算出した姿勢情報を情報処理装置６０に送信する（ステップＳ１０３）。
【0192】
次に、第１ＨＭＤ１０は、左目用ディスプレイ１２Ｌに表示される左目用仮想空間画像と、右目用ディスプレイ１２Ｒに表示される右目用仮想空間画像とを情報処理装置６０から取得する（ステップＳ１０４）。そして、第１ＨＭＤ１０は、取得した左目用仮想空間画像および右目用仮想空間画像を、左目用ディスプレイ１２Ｌおよび右目用ディスプレイ１２Ｒにそれぞれ表示する（ステップＳ１０５）。
【0193】
なお、第２ＨＭＤ３０においては、上記処理に加えて、カメラ３３によって撮像された画像を取得する処理、及び、取得した画像を情報処理装置６０に送信するための処理が行われる。
【0194】
（スマートデバイスにおける処理の詳細）
次に、スマートデバイス２０において実行される処理について説明する。図２８は、スマートデバイス２０において実行されるスマートデバイス処理の一例を示すフローチャートである。図２８に示す処理は、スマートデバイス２０のプロセッサ２１によって行われる。なお、図２８に示す処理が開始される前に、ユーザによってゲームの開始の指示が行われ、情報処理装置６０から必要なデータ（例えば、地形オブジェクトデータや他キャラクタデータ）が取得されているものとする。
次に、スマートデバイス２０において実行される処理について説明する。図２８は、スマートデバイス２０において実行されるスマートデバイス処理の一例を示すフローチャートである。図２８に示す処理は、スマートデバイス２０のプロセッサ２１によって行われる。なお、図２８に示す処理が開始される前に、ユーザによってゲームの開始の指示が行われ、情報処理装置６０から必要なデータ（例えば、地形オブジェクトデータや他キャラクタデータ）が取得されているものとする。
【0195】
図２８に示されるように、スマートデバイス２０は、カメラ２３からの画像を取得し（ステップＳ２０１）、慣性センサ２４からの角速度データ及び加速度データを取得する（ステップＳ２０２）。
【0196】
次に、スマートデバイス２０は、マーカ検出処理を行う（ステップＳ２０３）。具体的には、スマートデバイス２０は、ステップＳ２０１で取得した画像の中からマーカ４０を検出する。スマートデバイス２０は、マーカ４０を検出しない場合には、ステップＳ２０１～ステップＳ２０３の処理を繰り返し実行する。
【0197】
マーカ４０を検出した場合、スマートデバイス２０は、位置算出処理を行う（ステップＳ２０４）。具体的には、スマートデバイス２０は、検出されたマーカ４０を基準としてＸＹＺ座標系を設定するとともに、マーカ４０に対するスマートデバイス２０の位置（ＸＹＺ座標値）を算出する。具体的には、スマートデバイス２０は、マーカ４０の画像の大きさ、矢印の向き等に基づいて、マーカ４０からのスマートデバイス２０への距離、マーカ４０からスマートデバイス２０への方向を算出し、マーカ４０を基準としたスマートデバイス２０の相対位置を算出する。
【0198】
次に、スマートデバイス２０は、姿勢算出処理を行う（ステップＳ２０５）。具体的には、スマートデバイス２０は、ステップＳ２０２で取得した角速度データ及び加速度データに基づいて、スマートデバイス２０の姿勢を算出する。なお、スマートデバイス２０は、カメラ２３からの画像（マーカ４０の検出結果）に基づいて、姿勢を算出してもよい。また、スマートデバイス２０は、カメラ２３からの画像と、慣性センサ２４からの角速度データ及び加速度データとに基づいて、姿勢を算出してもよい。
【0199】
次に、スマートデバイス２０は、ステップＳ２０４で算出した位置と、ステップＳ２０５で算出した姿勢とに基づいて、キャラクタ１２０の位置及び姿勢を設定する（ステップＳ２０６）。また、スマートデバイス２０は、ステップＳ２０４で算出した位置と、ステップＳ２０５で算出した姿勢とに基づいて、仮想カメラ１２１の位置及び姿勢を設定する。例えば、スマートデバイス２０は、キャラクタ１２０及び仮想カメラ１２１の位置を、ステップＳ２０４で算出した位置と一致するように設定する。また、スマートデバイス２０は、キャラクタ１２０及び仮想カメラ１２１の姿勢を、ステップＳ２０５で算出した姿勢と一致するように設定する。なお、仮想カメラ１２１の位置及び姿勢は、キャラクタ１２０の位置及び姿勢と必ずしも一致していなくてもよく、例えば、仮想カメラ１２１の位置はキャラクタ１２０の後方の所定位置に設定されてもよい。
【0200】
次に、スマートデバイス２０は、操作部に対して所定の操作が行われたか否かを判定する（ステップＳ２０７）。例えば、スマートデバイス２０は、タッチパネルにおいて弾オブジェクト１２２を射出するためのスワイプ操作が行われたか否かを判定する。
【0201】
所定の操作が行われた場合（ステップＳ２０７：ＹＥＳ）、スマートデバイス２０は、仮想空間に弾オブジェクト１２２を射出する（ステップＳ２０８）。これにより、仮想空間内に弾オブジェクト１２２が射出され、弾オブジェクト１２２が移動する様子が表示される。
【0202】
ステップＳ２０８の処理を実行した場合、又は、ステップＳ２０７でＮＯと判定した場合、スマートデバイス２０は、ステップＳ２０１で取得した画像の中から予め定められた特定の物体が検出されたか否かを判定する（ステップＳ２０９）。スマートデバイス２０は、予め複数の特定の物体を学習しており、取得した画像の中から特定の物体があるか否かを判定する。
【0203】
特定の物体を検出した場合（ステップＳ２０９：ＹＥＳ）、スマートデバイス２０は、検出した特定の物体に対応する仮想オブジェクトを仮想空間に配置する（ステップＳ２１０）。具体的には、スマートデバイス２０は、マーカ４０と特定の物体との位置関係から、特定の物体の位置を算出し、算出した位置と同じ仮想空間内の位置に、検出した特定の物体に対応する仮想オブジェクトを配置する。例えば、特定の物体として缶８０が検出された場合、スマートデバイス２０は缶オブジェクト１８０を仮想空間内に配置する。
【0204】
ステップＳ２１０の処理を実行した場合、又は、ステップＳ２０９でＮＯと判定した場合、スマートデバイス２０は、情報処理装置６０との間で情報の送受信を行う（ステップＳ２１１）。具体的には、スマートデバイス２０は、ステップＳ２０４で算出した位置およびステップＳ２０５で算出した姿勢を情報処理装置６０に送信する。また、スマートデバイス２０は、ステップＳ２０６で設定したキャラクタ１２０及び仮想カメラ１２１の位置及び姿勢に関する情報を、情報処理装置６０に送信する。また、スマートデバイス２０は、ステップＳ２０８で弾オブジェクト１２２を仮想空間内に射出した場合、射出オブジェクトデータとして、弾オブジェクト１２２の射出方向、射出速度等に関するデータを情報処理装置６０に送信する。また、スマートデバイス２０は、ステップＳ２１０で特定の物体に対応する仮想オブジェクトを配置した場合、検出オブジェクトデータとして、配置した仮想オブジェクトに関するデータ（仮想オブジェクトの種類、位置及び姿勢）を情報処理装置６０に送信する。
【0205】
また、スマートデバイス２０は、ステップＳ２１１において、情報処理装置６０から他キャラクタデータを受信する。具体的には、スマートデバイス２０は、他キャラクタデータとして、第１ＨＭＤ１０に対応するキャラクタ１１０、他のスマートデバイス２０に対応するキャラクタ１２０、第２ＨＭＤ３０に対応するキャラクタ１３０の位置及び姿勢に関する情報を受信する。これにより、スマートデバイス２０は、自機に記憶した他キャラクタデータを更新する。また、スマートデバイス２０は、他のデバイスに対する操作に応じて射出された射出オブジェクトに関する射出オブジェクトデータ、他のデバイスによって検出された特定の物体に対応する仮想オブジェクトに関する検出オブジェクトデータを情報処理装置６０から受信する。
【0206】
ステップＳ２１２に続いて、スマートデバイス２０は、その他のゲーム処理を行う（ステップＳ２１２）。ここでは、スマートデバイス２０は、各キャラクタや射出オブジェクトの位置に応じてゲーム処理を行う。例えば、スマートデバイス２０は、射出オブジェクト１１２がキャラクタ１３０に当たったか否かを判定し、当たった場合にはキャラクタ１３０の体力値を減少させる。
【0207】
次に、スマートデバイス２０は、画像生成・表示処理を行う（ステップＳ２１３）。具体的には、スマートデバイス２０は、まず、仮想カメラ１２１に基づいて仮想空間の画像を生成する。これにより、仮想カメラ１２１から仮想空間を見た画像が生成される。例えば、仮想カメラ１２１の撮像範囲内にキャラクタ１１０やキャラクタ１３０が含まれる場合、キャラクタ１１０やキャラクタ１３０を含む仮想空間の画像が生成される。また、スマートデバイス２０は、ステップＳ２０１で取得した現実空間の画像に、生成した仮想空間の画像を重畳した重畳画像を生成する。そして、スマートデバイス２０は、生成した重畳画像をディスプレイ２２に表示させる。
【0208】
スマートデバイス２０は、ステップＳ２１３の処理の後、ステップＳ２０１に処理を戻す。ステップＳ２０１～ステップＳ２１３の処理が所定の時間間隔（例えば１／６０秒間隔）で繰り返し行われることにより、ゲームが進行する。
【0209】
【0210】
図２９に示されるように、情報処理装置６０は、まず、ゲームの開始が指示されたことに応じて初期処理を行う（ステップＳ６００）。初期処理では、地形に関する各種オブジェクト（１４１～１４５）が仮想空間に配置されたり、キャラクタ１１０が丘オブジェクト１４５の頂上に配置されたり、キャラクタ１３０が初期位置に配置されたりする。また、各キャラクタに対応する仮想カメラが配置される。
【0211】
次に、情報処理装置６０は、各デバイスから情報を取得する（ステップＳ６０１）。具体的には、情報処理装置６０は、第１ＨＭＤ１０から送信された第１ＨＭＤ１０の姿勢情報を取得する。また、情報処理装置６０は、第２ＨＭＤ３０から送信された第２ＨＭＤ３０の姿勢情報と、カメラ３３によって撮像された画像とを取得する。また、情報処理装置６０は、各スマートデバイス２０において算出された位置情報及び姿勢情報を取得する。また、情報処理装置６０は、スマートデバイス２０において弾オブジェクト１２２が射出された場合（上記ステップＳ２０８が実行された場合）、スマートデバイス２０から射出オブジェクトデータを受信する。また、情報処理装置６０は、スマートデバイス２０において特定の物体が検出され、特定の物体に対応する仮想オブジェクトが配置された場合（上記ステップＳ２１０が実行された場合）、スマートデバイス２０から検出オブジェクトデータを取得する。
【0212】
また、情報処理装置６０は、ステップＳ６０１において、コントローラ１８、３８に対する操作に応じた操作データを取得する。操作データには、ボタンが押下されたか否かを示すデータ、アナログスティックに対する操作に応じたデータ、十字キーに対する操作に応じたデータ、慣性センサからの角速度データ及び角速度データを含む。
【0213】
次に、情報処理装置６０は、第２ＨＭＤ３０の位置情報を算出する（ステップＳ６０２）。具体的には、情報処理装置６０は、ステップＳ６０１で取得した第２ＨＭＤ３０からの画像に基づいて、マーカ４０を検出し、マーカ４０の検出結果に基づいて、マーカ４０に対する第２ＨＭＤ３０の位置を算出する。なお、情報処理装置６０は、第２ＨＭＤ３０の位置情報に加えて、第２ＨＭＤ３０からの画像に基づいて、第２ＨＭＤ３０の姿勢情報を算出してもよい。
【0214】
次に、情報処理装置６０は、各キャラクタの位置情報及び姿勢情報を更新する（ステップＳ６０３）。具体的には、情報処理装置６０は、ステップＳ６０１で各スマートデバイス２０から取得した位置情報及び姿勢情報に応じて、各スマートデバイス２０に対応するキャラクタ１２０の位置情報及び姿勢情報を更新する。また、情報処理装置６０は、ステップＳ６０１で第１ＨＭＤ１０から取得した姿勢情報に応じて、キャラクタ１１０の姿勢情報を更新する。また、情報処理装置６０は、ステップＳ６０１でコントローラ３８から取得した操作データに基づいて、キャラクタ１３０を仮想空間内で移動させ、キャラクタ１３０の位置情報を更新する。
【0215】
次に、情報処理装置６０は、各仮想カメラの位置情報及び姿勢情報を更新する（ステップＳ６０４）。具体的には、情報処理装置６０は、ステップＳ６０１で各スマートデバイス２０から取得した位置情報及び姿勢情報に応じて、各仮想カメラ１２１の位置情報及び姿勢情報を更新する。例えば、情報処理装置６０は、キャラクタ１２０の位置及び姿勢と一致するように、仮想カメラ１２１の位置及び姿勢を設定する。また、情報処理装置６０は、ステップＳ６０１で第１ＨＭＤ１０から取得した姿勢情報に応じて、仮想カメラ１１１の姿勢情報を更新する。また、仮想カメラ１３１が第１モードに設定されている場合、情報処理装置６０は、第２ＨＭＤ３０の位置情報及び姿勢情報に応じて、仮想カメラ１３１の位置情報及び姿勢情報を更新する。
【0216】
なお、仮想カメラ１３１が第２モードに設定されている場合には、仮想カメラ１３１の位置情報及び姿勢情報は、キャラクタ１３０の位置情報及び姿勢情報に応じて設定される。例えば、キャラクタ１３０の位置及び姿勢と一致するように、仮想カメラ１３１の位置及び姿勢が設定される。
【0217】
ステップＳ６０４に続いて、情報処理装置６０は、操作データに基づいて各キャラクタを制御する（ステップＳ６０５）。例えば、情報処理装置６０は、スマートデバイス２０からの操作データに基づいて、キャラクタ１２０に弾オブジェクト１２２を射出させる。また、情報処理装置６０は、コントローラ１８からの操作データに基づいて、キャラクタ１１０に弾オブジェクト１１２を射出させる。また、情報処理装置６０は、コントローラ３８からの操作データに基づいて、キャラクタ１３０に所定の動作（例えば、キャラクタ１１０への攻撃）を行わせる。
【0218】
次に、情報処理装置６０は、その他のゲーム処理を行う（ステップＳ６０６）。例えば、情報処理装置６０は、弾オブジェクト１１２が移動中である場合、弾オブジェクト１１２を仮想空間内で移動させ、弾オブジェクト１１２がキャラクタ１３０に当たったか否かを判定する。弾オブジェクト１１２がキャラクタ１３０に当たった場合、情報処理装置６０は、キャラクタ１３０の体力値を減少させる。また、情報処理装置６０は、弾オブジェクト１２２がキャラクタ１１０に当たった場合、キャラクタ１１０の体力値を減少させる。
【0219】
次に、情報処理装置６０は、送信処理を行う（ステップＳ６０７）。具体的には、情報処理装置６０は、ステップＳ６０３、ステップＳ６０５、及び、ステップＳ６０６の処理の結果を、各スマートデバイス２０に送信する。これにより、各キャラクタ（１１０、１２０、１３０）の位置情報及び姿勢情報が、各スマートデバイス２０に送信される。また、キャラクタが弾オブジェクトを射出したこと、弾オブジェクトの射出方向や射出速度に関する情報が、各スマートデバイス２０に送信される。
【0220】
ステップＳ６０７に続いて、情報処理装置６０は、第１ＨＭＤ１０のディスプレイ１２に画像を表示させるために第１画像生成・送信処理を行う（ステップＳ６０８）。具体的には、情報処理装置６０は、左仮想カメラ１１１Ｌに基づいて左目用仮想空間画像を生成するとともに、右仮想カメラ１１１Ｒに基づいて右目用仮想空間画像を生成する。そして、情報処理装置６０は、生成した左目用仮想空間画像および右目用仮想空間画像を第１ＨＭＤ１０に送信する。これにより、仮想カメラ１１１に基づく左目用仮想空間画像および右目用仮想空間画像が、第１ＨＭＤ１０の左目用ディスプレイ１２Ｌおよび右目用ディスプレイ１２Ｒにそれぞれ表示される。
【0221】
次に、情報処理装置６０は、第２ＨＭＤ３０のディスプレイ３２に画像を表示させるために第２画像生成・送信処理を行う（ステップＳ６０９）。具体的には、情報処理装置６０は、左仮想カメラ１３１Ｌに基づいて左目用仮想空間画像を生成するとともに、右仮想カメラ１３１Ｒに基づいて右目用仮想空間画像を生成する。そして、情報処理装置６０は、生成した左目用仮想空間画像および右目用仮想空間画像を第２ＨＭＤ３０に送信する。これにより、仮想カメラ１３１に基づく左目用仮想空間画像および右目用仮想空間画像が、第２ＨＭＤ３０の左目用ディスプレイ３２Ｌおよび右目用ディスプレイ３２Ｒにそれぞれ表示される。
【0222】
次に、情報処理装置６０は、ディスプレイ５０に画像を表示させるために第３画像生成・送信処理を行う（ステップＳ６１０）。具体的には、情報処理装置６０は、仮想カメラ１５０に基づいて仮想空間画像を生成し、生成した画像をディスプレイ５０に出力する。これにより、仮想カメラ１５０に基づく画像がディスプレイ５０に表示される。
【0223】
以上のように、本実施形態では、第１ＨＭＤ１０の現実空間における位置に関わらず、仮想空間内にキャラクタ１１０が配置される。キャラクタ１１０の位置に対応する位置に仮想カメラ１１１が配置される（Ｓ６００）。また、現実空間におけるマーカ４０に対するスマートデバイス２０の位置に応じた仮想空間内の位置に、仮想カメラ１２１が配置され、スマートデバイス２０の姿勢に応じて仮想カメラ１２１の姿勢が設定される（Ｓ６０４）。また、マーカ４０に対するスマートデバイス２０の位置に応じた仮想空間内の位置に、キャラクタ１２０が設定される。そして、仮想カメラ１１１から見たキャラクタ１２０を含む仮想空間の画像が、第１ＨＭＤ１０のディスプレイ１２に表示される。また、仮想カメラ１２１から見たキャラクタ１１０を含む仮想空間の画像が、スマートデバイス２０のディスプレイ２２に表示される。
【0224】
これにより、第１ユーザは、第１ＨＭＤ１０を用いてキャラクタ１１０の視点から仮想空間を視認しながらゲームを行うことができ、自身が仮想空間内に存在しているかのような体験をすることができる。また、第２ユーザは、スマートデバイス２０を用いて同じ仮想空間を視認することができ、現実空間に仮想空間内の仮想オブジェクトが存在するような感覚を抱くことができる。
【0225】
（変形例）
以上、本実施形態の画像処理ついて説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。
以上、本実施形態の画像処理ついて説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。
【0226】
例えば、上記実施形態では、第１ユーザは、頭部に第１ＨＭＤ１０を装着し、第１ＨＭＤ１０の左右のディスプレイ１２に表示された画像を視認することとした。他の実施形態では、第１ユーザが視認するディスプレイ１２は、ヘッドマウントディスプレイに限らず、手で把持する可搬型のディスプレイ（例えば、スマートフォン、タブレット端末、携帯型のゲーム装置、携帯型のパーソナルコンピュータ等）であってもよいし、据置型のディスプレイ（例えば、テレビや据置型のパーソナルコンピュータのディスプレイ）であってもよい。
【0227】
また、上記実施形態では、第２ユーザは、可搬型のスマートデバイス２０を把持し、スマートデバイス２０のディスプレイ２２に表示された画像を視認することとした。このような携帯型の装置として、他の実施形態では、第２ユーザが視認する可搬型のディスプレイ２２は、スマートフォンやゲーム装置のディスプレイであってもよいし、ヘッドマウントディスプレイであってもよいし、透過型のディスプレイを備えるメガネ型の装置であってもよい。
【0228】
また、上記実施形態では、キャラクタ１１０は、仮想空間の所定位置に固定され、第１ＨＭＤ１０の姿勢に応じて、キャラクタ１１０の向きが制御され、コントローラ１８に対する振り操作に応じて、キャラクタ１１０に所定の動作（弾オブジェクト１１２を投げる動作）を行わせた。他の実施形態では、コントローラ１８に対する操作（コントローラ１８に対するキー入力（ボタン、アナログスティック、又は、十字キーに対する入力）、コントローラ１８に対する振り操作等）に応じて、キャラクタ１１０の位置や姿勢が制御されてもよいし、キャラクタ１１０に所定の動作を行わせてもよい。また、第１ＨＭＤ１０に対する操作に応じて、キャラクタ１１０の位置が制御されてもよいし、キャラクタ１１０に所定の動作を行わせてもよい。すなわち、キャラクタ１１０は、第１ＨＭＤ１０及びコントローラ１８を含む任意の入力装置（第１ＨＭＤ１０の慣性センサ、コントローラ１８のキーや慣性センサ、第１ＨＭＤ１０及びコントローラ１８とは異なる他の入力装置）に対する入力に応じて仮想空間内で制御されてもよい。ここでいう「キャラクタ１１０の制御」は、キャラクタ１１０の位置の変化、姿勢の変化、所定の動作等を含む。
【0229】
また、上記実施形態では、コントローラ３８に対するキー入力に応じて、キャラクタ１３０の位置や向きを制御した。他の実施形態では、コントローラ１８に対する操作（コントローラ３８に対するキー入力、コントローラ３８に対する振り操作等）に応じて、キャラクタ１３０が制御されてもよい。また、他の実施形態では、任意の入力装置に対する入力に応じてキャラクタ１３０が制御されてもよい。例えば、コントローラ３８に対する操作に応じてキャラクタ１３０の位置が制御され、第２ＨＭＤ３０の姿勢に応じてキャラクタ１３０の向きが制御されてもよい。
【0230】
また、上記実施形態では、スマートデバイス２０に対する入力に応じて、キャラクタ１２０に所定の動作（例えば弾オブジェクト１２２を投げる動作）を行わせた。他の実施形態では、キャラクタ１２０に対する制御は、スマートデバイス２０を含む任意の入力装置（スマートデバイス２０のタッチパネル、ボタン、慣性センサ、スマートデバイス２０とは分離した他の入力装置）に対する入力に応じて行われてもよい。
【0231】
また、上記実施形態では、スマートデバイス２０のカメラ２３によって撮像された画像に基づいて、マーカ４０に対するスマートデバイス２０の位置が算出された。他の実施形態では、別の方法によってマーカ４０に対するスマートデバイス２０の位置が算出されてもよい。例えば、スマートデバイス２０とは異なる現実空間に配置されたカメラで、マーカ４０とスマートデバイス２０とを撮像することにより、マーカ４０に対するスマートデバイス２０の位置が算出されてもよい。また、図９を参照して説明したように、センサバー５５を用いて現実空間におけるスマートデバイス２０の位置が算出されてもよい。
【0232】
また、上記実施形態では、マーカ４０に対するスマートデバイス２０の位置が算出されたが、他の実施形態では、マーカ４０に限らず現実空間における所定の基準に対するスマートデバイス２０の位置が算出されてもよい。ここで、所定の基準は、マーカ４０であってもよいし、センサバー５５であってもよいし、他の物体であってもよいし、所定の場所であってもよい。また、「所定の基準に対するスマートデバイス２０の位置」は、座標値で表されてもよい。
【0233】
また、上記実施形態では、第１ＨＭＤ１０の姿勢を第１ＨＭＤ１０の慣性センサ１５からのデータに基づいて算出した。他の実施形態では、第１ＨＭＤ１０の姿勢を他の方法により算出してもよい。例えば、第１ＨＭＤ１０をカメラで撮像し、当該カメラからの画像に基づいて、第１ＨＭＤ１０の姿勢が算出されてもよい。第２ＨＭＤ３０についても同様である。また、スマートデバイス２０の姿勢についてもカメラの画像に基づいて算出されてもよい。
【0234】
また、上記フローチャートで示した処理は単なる例示に過ぎず、処理の順番や内容等は適宜変更されてもよい。上記フローチャートの各処理は、第１ＨＭＤ１０、スマートデバイス２０、第２ＨＭＤ３０、及び、情報処理装置６０のうちの何れのデバイスで実行されてもよい。
【0235】
例えば、上記実施形態では、第１ＨＭＤ１０は、自機が備える慣性センサからのセンサデータに基づいて姿勢を算出し、算出した姿勢情報を情報処理装置６０に送信した。他の実施形態では、情報処理装置６０が第１ＨＭＤ１０からセンサデータを取得し、第１ＨＭＤ１０の姿勢を算出してもよい。また、上記実施形態では、第１ＨＭＤ１０においては姿勢のみを算出し、情報処理装置６０において実質的なゲームに関する処理（キャラクタ１１０の姿勢の設定、仮想カメラ１１１の姿勢の設定、画像の生成）を行った。他の実施形態では、第１ＨＭＤ１０においてキャラクタ１１０及び仮想カメラ１１１の姿勢の設定、画像の生成を行ってもよい。第２ＨＭＤ３０についても同様である。また、スマートデバイス２０が行う処理（例えば、上記Ｓ２０４～Ｓ２０６、Ｓ２０７～Ｓ２０８、Ｓ２０９～Ｓ２１０、Ｓ２１１、Ｓ２１２、Ｓ２１３）のうちの一部または全部は、情報処理装置６０において行われてもよい。また、情報処理装置６０において行われる上記処理のうちの一部又は全部は、他の装置において実行されてもよい。例えば、情報処理装置６０の処理の全部は、スマートデバイス２０において実行されてもよい。
【0236】
また、情報処理装置６０は、１又は複数の装置によって構成されてもよい。情報処理装置６０は、ネットワーク（例えばインターネット）に接続された複数の装置によって構成されてもよい。
【0237】
また、上記実施形態では、第１ＨＭＤ１０、スマートデバイス２０、第２ＨＭＤ３０、ディスプレイ５０は、１つのローカルな場所に位置するものとした。他の実施形態では、これらは、それぞれ遠隔地に位置し、ネットワークを介して接続されてもよい。例えば、第１ＨＭＤ１０と、スマートデバイス２０と、第２ＨＭ３０と、情報処理装置６０とはインターネットを介して接続されてもよい。
【0238】
また、上記実施形態では、左右の仮想カメラに基づいて、互いに視差を有する２つの画像を生成することとした。他の実施形態では、１つの仮想カメラに基づいて画像を生成し、生成した画像に変形を加えて互いに視差を有する２つの画像を生成してもよい。
【0239】
また、上記実施形態では、第１ＨＭＤ１０及び第２ＨＭＤ３０として、ユーザの頭部に固定的に装着するヘッドマウントディスプレイが用いられた。他の実施形態では、第１ＨＭＤ１０又は第２ＨＭＤ３０として、ユーザが手で把持したまま左右のディスプレイを覗き込む装置が用いられてもよい。
【0240】
また上記実施形態及びその変形例に係る構成は、互いに矛盾しない限り、任意に組み合わせることが可能である。また、上記は本発明の例示に過ぎず、上記以外にも種々の改良や変形が加えられてもよい。
【符号の説明】
【0241】
１ 画像処理システム
１０ 第１ＨＭＤ
１２ ディスプレイ
１８ コントローラ
２０ スマートデバイス
２２ ディスプレイ
３０ 第２ＨＭＤ
４０ マーカ
５０ ディスプレイ
１１０ キャラクタ
１１１ 仮想カメラ
１２０ キャラクタ
１２１ 仮想カメラ
１３０ キャラクタ
１３１ 仮想カメラ
１０ 第１ＨＭＤ
１２ ディスプレイ
１８ コントローラ
２０ スマートデバイス
２２ ディスプレイ
３０ 第２ＨＭＤ
４０ マーカ
５０ ディスプレイ
１１０ キャラクタ
１１１ 仮想カメラ
１２０ キャラクタ
１２１ 仮想カメラ
１３０ キャラクタ
１３１ 仮想カメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】