(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-04
(45)【発行日】2023-08-15
(54)【発明の名称】ゲームプログラム、ゲーム処理方法、及びゲーム装置
(51)【国際特許分類】
A63F 13/5375 20140101AFI20230807BHJP
A63F 13/213 20140101ALI20230807BHJP
A63F 13/655 20140101ALI20230807BHJP
A63F 13/428 20140101ALI20230807BHJP
A63F 13/44 20140101ALI20230807BHJP
A63F 13/52 20140101ALI20230807BHJP
A63F 13/55 20140101ALI20230807BHJP
A63F 13/814 20140101ALI20230807BHJP
G06T 19/00 20110101ALI20230807BHJP
G06F 3/0346 20130101ALI20230807BHJP
G06F 3/038 20130101ALI20230807BHJP
G06F 3/01 20060101ALI20230807BHJP
G06F 3/04815 20220101ALI20230807BHJP
【ＦＩ】
A63F13/5375
A63F13/213
A63F13/655
A63F13/428
A63F13/44
A63F13/52
A63F13/55
A63F13/814
G06T19/00 600
G06F3/0346 421
G06F3/038 310A
G06F3/01 570
G06F3/04815
【請求項の数】
9
(21)【出願番号】P 2020203591
(22)【出願日】2020-12-08
(65)【公開番号】P2022090964
(43)【公開日】2022-06-20
【審査請求日】2022-03-24
(73)【特許権者】
【識別番号】506113602
【氏名又は名称】株式会社コナミデジタルエンタテインメント
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】岡村 憲明
【審査官】前地 純一郎
(56)【参考文献】
【文献】特開２０１８－１３０２１２（ＪＰ，Ａ）
【文献】特開２０１３－１５４１２３（ＪＰ，Ａ）
【文献】特開２０１２－１１５５３９（ＪＰ，Ａ）
【文献】特開２０１３－０６６６１３（ＪＰ，Ａ）
【文献】特開２０１２－０９５８８４（ＪＰ，Ａ）
【文献】米国特許第０９３５８４５６（ＵＳ，Ｂ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｆ １３／００ －１３／９８
Ａ６３Ｆ ９／２４
Ｇ０６Ｔ １９／００
Ｇ０６Ｆ ３／０１
Ｇ０６Ｆ ３／０４８－ ３／０４８９５
Ｇ０６Ｆ ３／０３３－ ３／０３９
(57)【特許請求の範囲】
【請求項1】
ユーザの頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置を用いてプレイ可能なゲームの処理を実行するコンピュータに、前記実空間を撮像した撮像映像を取得するステップと、
前記撮像映像から前記実空間に対応する仮想空間を生成するステップと、
前記撮像映像から前記ユーザに対応する像を検出するステップと、
前記仮想空間内の、前記ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、
少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップと、
前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、
前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、
を実行させ、
前記基準位置は、前記検出された前記ユーザに対応する像の前記仮想空間内における第２基準位置を含む、
ゲームプログラム。
【請求項2】
前記基準位置は、前記映像出力装置を装着している前記ユーザの位置に対応する前記仮想空間内における第１基準位置を含み、前記第１基準位置は、前記仮想空間内の前記映像出力装置の位置に基づく、
請求項１に記載のゲームプログラム。
【請求項3】
前記配置するステップにおいて、前記映像出力装置を装着している前記ユーザの向きに応じて、前記指示オブジェクトを配置する位置を前記仮想空間内の一部に制限する、
請求項２に記載のゲームプログラム。
【請求項4】
前記配置するステップにおいて、前記仮想空間内の前記第２基準位置に基づく位置に前記指示オブジェクトを配置する際に、前記第１基準位置に基づく位置に配置する前記指示オブジェクトの視認度を低減する、または前記第１基準位置に基づく位置に前記指示オブジェクトを配置しない、
請求項２または請求項３に記載のゲームプログラム。
【請求項5】
前記検出された前記ユーザに対応する像は、対面に存在する鏡に映った前記ユーザの像であり、前記配置するステップにおいて、
前記仮想空間内の前記第２基準位置に基づく位置に前記指示オブジェクトを配置する際に、前記第２基準位置に対する前後の向きを反転させる、
請求項１から請求項４のいずれか一項に記載のゲームプログラム。
【請求項6】
前記配置するステップにおいて、前記仮想空間内の所定の位置に配置した前記指示オブジェクトを所定の判定位置へ向かって移動させ、
前記評価するステップにおいて、
前記仮想空間内で移動する前記指示オブジェクトが前記判定位置に到達したタイミングと前記判定位置に基づいて、前記検出された動作を評価する、
請求項１から請求項５のいずれか一項に記載のゲームプログラム。
【請求項7】
前記指示オブジェクトの種類によって前記ユーザに指示する動作の内容が異なる、請求項１から請求項６のいずれか一項に記載のゲームプログラム。
【請求項8】
ユーザの頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置を用いてプレイ可能なゲームの処理を実行するコンピュータにより実行されるゲーム処理方法であって、前記実空間を撮像した撮像映像を取得するステップと、
前記撮像映像から前記実空間に対応する仮想空間を生成するステップと、
前記撮像映像から前記ユーザに対応する像を検出するステップと、
前記仮想空間内の、前記ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、
少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップと、
前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、
前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、
を含み、
前記基準位置は、前記検出された前記ユーザに対応する像の前記仮想空間内における第２基準位置を含む、
ゲーム処理方法。
【請求項9】
ユーザの頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置を用いてプレイ可能なゲームの処理を実行するゲーム装置であって、前記実空間を撮像した撮像映像を取得する取得部と、
前記取得部により取得された前記撮像映像から前記実空間に対応する仮想空間を生成する生成部と、
前記撮像映像から前記ユーザに対応する像を検出する像検出部と、
前記生成部により生成された前記仮想空間内の、前記ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部と、
少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させる表示制御部と、
前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部と、
前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部と、
を備え、
前記基準位置は、前記検出された前記ユーザに対応する像の前記仮想空間内における第２基準位置を含む、
ゲーム装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ゲームプログラム、ゲーム処理方法、及びゲーム装置に関する。
【背景技術】
【0002】
音楽ゲームには、ユーザの身体の動きを検出して、ダンスの良し悪しを評価するダンスゲームがある。例えば、特許文献１には、ユーザ（プレイヤ）が楽曲に合わせて手や足を動かすことによって描くべき軌跡とタイミングを、ユーザの対面に表示されるゲーム画面に案内表示し、その案内表示を見ながらユーザが手や足を動かすダンスゲームについて開示されている。このダンスゲームは、例えば、家庭用のゲーム機でプレイすることができる。
【0003】
また、特許文献２には、同様に楽曲に合わせてゲーム画面に案内表示される指示に合わせて、実空間に配置されている操作パネルをユーザが足で踏む動作を行うダンスゲームについて開示されている。このダンスゲームは、実空間におけるユーザの足の踏む位置を判定するための操作パネルを足元に設置しておく必要があり、ゲームセンターなどの遊戯施設に設置される所謂アーケードゲームとして構成されている例である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１２－１９６２８６号公報
【文献】特開２０１６－１９３００６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述した特許文献１に記載のゲームでは、ユーザがどのような身体の動き（軌跡）をどのタイミングでするべきかをゲーム画面で案内できるものの、実空間においてユーザが動作すべき位置（例えば、足の踏む位置）を指示するようなゲームには不向きであった。例えば、上述した特許文献２に記載のようなゲームを、足もとに操作パネルを設置することなく家庭用のゲーム機のような簡易な構成で実現しようとすると、ユーザは、実空間内においてどの位置に足を動かせば良いのか分かりづらく、直感的なプレイが困難な場合があった。
【0006】
本発明のいくつかの態様は、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内するゲームプログラム、ゲーム処理方法、及びゲーム装置を提供することを目的の一つとする。
【0007】
また、本発明の他の態様は、後述する実施形態に記載した作用効果を奏することを可能にするゲームプログラム、ゲーム処理方法、及びゲーム装置を提供することを目的の一つとする。
【課題を解決するための手段】
【0008】
上述した課題を解決するために、本発明の一態様は、ユーザの頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置を用いてプレイ可能なゲームの処理を実行するコンピュータに、前記実空間を撮像した撮像映像を取得するステップと、前記撮像映像から前記実空間に対応する仮想空間を生成するステップと、前記仮想空間内の、前記ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップと、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、を実行させるためのゲームプログラムである。
【0009】
また、本発明の一態様は、ユーザの頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置を用いてプレイ可能なゲームの処理を実行するコンピュータにより実行されるゲーム処理方法であって、前記実空間を撮像した撮像映像を取得するステップと、前記撮像映像から前記実空間に対応する仮想空間を生成するステップと、前記仮想空間内の、前記ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップと、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップと、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップと、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップと、を含むゲーム処理方法である。
【0010】
また、本発明の一態様は、ユーザの頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置を用いてプレイ可能なゲームの処理を実行するゲーム装置であって、前記実空間を撮像した撮像映像を取得する取得部と、前記取得部により取得された前記撮像映像から前記実空間に対応する仮想空間を生成する生成部と、前記生成部により生成された前記仮想空間内の、前記ユーザに対応する基準位置に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部と、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させる表示制御部と、前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部と、前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部と、を備えるゲーム装置である。
【図面の簡単な説明】
【0011】
【図1】第１の実施形態に係るゲーム装置によるゲーム処理の概要を示す図。
【図2】第１の実施形態に係る仮想空間の空間座標の定義を示す図。
【図3】第１の実施形態に係るゲーム装置のハードウェア構成の一例を示すブロック図。
【図4】第１の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。
【図5】第１の実施形態に係る指示オブジェクト配置処理の一例を示すフローチャート。
【図6】第１の実施形態に係る指示オブジェクト表示処理の一例を示すフローチャート。
【図7】第１の実施形態に係るプレイ評価処理の一例を示すフローチャート。
【図8】第２の実施形態に係るゲーム装置によるゲーム処理の概要を示す図。
【図9】第２の実施形態に係る仮想空間の空間座標の定義及びユーザ像の位置を示す図。
【図10】第２の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。
【図11】第２の実施形態に係る指示オブジェクト配置処理の一例を示すフローチャート。
【図12】第３の実施形態に係るゲームシステムのハードウェア構成の一例を示すブロック図。
【図13】第３の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。
【図14】第４の実施形態に係るゲーム装置によるゲーム処理の概要を示す図。
【図15】第４の実施形態に係るゲーム装置のハードウェア構成の一例を示すブロック図。
【図16】第４の実施形態に係るゲーム装置の機能構成の一例を示すブロック図。
【図17】第４の実施形態に係る指示オブジェクト配置処理の一例を示すフローチャート。
【図18】第４の実施形態に係る指示オブジェクト表示処理の一例を示すフローチャート。
【図19】第４の実施形態に係るプレイ評価処理の一例を示すフローチャート。
【発明を実施するための形態】
【0012】
以下、本発明の一実施形態について、図面を参照して説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。
【0013】
〔ゲーム装置の概要〕
まず、本実施形態に係るゲーム装置で実行されるゲームの処理の一例について、その概要を説明する。本実施形態に係るゲーム装置は、典型的には家庭用のゲーム機を例示できるが、ゲームセンターなどの遊戯施設などで使用されてもよい。
まず、本実施形態に係るゲーム装置で実行されるゲームの処理の一例について、その概要を説明する。本実施形態に係るゲーム装置は、典型的には家庭用のゲーム機を例示できるが、ゲームセンターなどの遊戯施設などで使用されてもよい。
【0014】
図１は、本実施形態に係るゲーム装置によるゲーム処理の概要を示す図である。この図は、ユーザＵがゲーム装置１０を用いてダンスゲーム（音楽ゲームの一例）をプレイするプレイ状況を俯瞰して示している。ゲーム装置１０は、映像出力装置を含む構成である。映像出力装置は、映像をディスプレイに表示するものであってもよいし、映像を投影するものであってもよい。例えば、ゲーム装置１０は、ユーザの頭部に装着することにより、ユーザに視認可能に映像を出力するとともに、実空間を視認可能なＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）として構成されている。
【0015】
図示するダンスゲームの例では、楽曲に合わせてＨＭＤに表示される指示オブジェクトのタイミング及び位置に応じて、ユーザＵが身体の少なくとも一部を動作させる。指示オブジェクトは、ユーザＵが実空間で動作すべきタイミング及び位置の指示を案内するために表示されるオブジェクトである。本実施形態では、仮想空間に配置した指示オブジェクトを実空間に対応付けてＨＭＤに表示することで、ユーザは、直感的なプレイが可能となる。
【0016】
例えば、ゲーム装置１０は、実空間を光学的に視認可能なＨＭＤ（所謂、光学透過（光学シースルー）型ＨＭＤ）として構成されている。ゲーム装置１０は、ユーザの頭部に装着された状態で該ユーザの眼前に位置する透過型のディスプレイに、仮想空間に配置された指示オブジェクトを表示させる。これにより、ディスプレイを透過して視認可能な実空間に、ディスプレイに表示された指示オブジェクトが重畳された映像をユーザが視認可能となる。
【0017】
なお、ゲーム装置１０は、網膜投影式の光学透過型ＨＭＤとして構成されてもよい。網膜投影式の場合、ゲーム装置１０は、ユーザの網膜に直接的に映像を投影する映像投影装置をディスプレイに代えて備えている。ユーザの仮想空間に配置された指示オブジェクトは、網膜に直接的に投影されることで視認可能に表示される。
【0018】
また、ゲーム装置１０は、実空間を撮像した映像をリアルタイムに表示させるＨＭＤ（所謂、ビデオ透過（ビデオシースルー）型ＨＭＤ）として構成されてもよい。この場合、ゲーム装置１０は、ユーザの頭部に装着された状態で該ユーザの眼前に位置するディスプレイに、実空間のリアルタイム映像を表示させるとともに、仮想空間に配置された指示オブジェクトをリアルタイム映像に重畳させて表示させる。
【0019】
ゲーム装置１０は、ユーザＵの頭部に装着されており、実空間のユーザＵの視線方向を撮像した撮像映像から仮想空間を生成する。例えば、仮想空間は、床面（平面）に平行な互いに直交するＸ軸及びＹ軸と、床面（平面）に直交する垂直方向のＺ軸とによるＸＹＺの３次元座標空間で定義される。生成される仮想空間には、実空間内の物体の少なくとも一部（例えば、ユーザＵ、床、壁など）に対応する位置が含まれる。なお、以下の説明において、Ｚ軸の方向として、天井へ向かう方向を上方向、床面へ向かう方向を下方向とも称する。
【0020】
ゲーム装置１０は、この仮想空間内のユーザＵの位置を基準位置として、当該基準位置に基づく位置（例えば、基準位置の周囲の所定の位置）に、ユーザの動作を指示する指示オブジェクトを配置する。例えば、指示オブジェクトには、判定オブジェクトと移動オブジェクトとが含まれる。判定オブジェクトは、ユーザの動作を評価する際の判定基準となる判定位置に配置される指示オブジェクトである。例えば、判定オブジェクトは、仮想空間においてＺ座標では床面に対応する位置（高さ）、ＸＹ座標では基準位置（ユーザＵの位置）の周囲（例えば、ユーザＵが足を一歩踏み出すことで届く範囲）に配置される。図示する例では、基準位置（ユーザＵの位置）に対して前方に判定オブジェクトＨＦ、後方に判定オブジェクトＨＢ、右方に判定オブジェクトＨＲ、左方に判定オブジェクトＨＬがそれぞれ配置されている。ここで、基準位置（ユーザＵの位置）と、基準位置に対する前方、後方、右方、及び左方とは、このダンスゲームのプレイ開始時点でイニシャライズした方向であり、プレイ中にユーザＵの向きが変化しても固定である。
【0021】
移動オブジェクトは、仮想空間においてＺ座標では天井側から出現し、床面に対応する位置（高さ）に配置されている判定オブジェクト（判定位置）へ向かって徐々に下方向へ移動する。出現位置は、例えばユーザＵの頭部の位置（ゲーム装置１０の位置）を基準に予め設定されていてもよいし、所定のルールに従って変化してもよい。移動オブジェクトＮＦは、判定オブジェクトＨＦ（移動オブジェクトＮＦの判定位置）へ向かって移動する移動オブジェクトである。移動オブジェクトＮＢは、判定オブジェクトＨＢ（移動オブジェクトＮＢの判定位置）へ向かって移動する移動オブジェクトである。移動オブジェクトＮＲは、判定オブジェクトＨＲ（移動オブジェクトＮＲの判定位置）へ向かって移動する移動オブジェクトである。移動オブジェクトＮＬは、判定オブジェクトＨＬ（移動オブジェクトＮＬの判定位置）へ向かって移動する移動オブジェクトである。
【0022】
各移動オブジェクトが徐々に移動して、それぞれの判定オブジェクト（判定位置）へ到達したタイミング及び位置が、ユーザＵが操作すべきタイミング及び位置である、例えば、移動オブジェクトＮＦが判定オブジェクトＨＦへ到達したタイミングで、判定オブジェクトＨＦを足で踏む動作がユーザに求められる。移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置に基づいてユーザの動作が評価され、評価に応じて得点（スコア）が更新される。例えば、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置とユーザの動作のタイミングと位置が一致すると判定されると得点が加算され、一致しないと判定されると得点が加算されない。例えば、このタイミングと位置が一致したか否かは、移動オブジェクトが判定オブジェクトへ到達したタイミングに対応する所定時間内（例えば、到達したタイミンの前後０．５秒以内など）に当該到達した位置に対応する判定領域内（例えば、判定オブジェクトＨＲの領域など）の少なくとも一部を、ユーザが足で踏む動作をしたか否かによって判定される。なお、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置とユーザの動作のタイミングと位置との一致の度合いによって、加算される得点が変化してもよい。
【0023】
なお、図１は、ユーザＵが含まれる実空間と指示オブジェクトが含まれる仮想空間との対応関係を1つの図にまとめて示したものであり、ユーザＵがプレイ中に視認可能なプレイ画面とは異なる。各指示オブジェクトは、実空間に存在するものではなく仮想空間のみに存在し、ゲーム装置１０を介して視認可能になるものである。ユーザＵが実際にプレイ中に視認可能な指示オブジェクトは、ゲーム装置１０のディスプレイ部分を介して視認可能な視野（Ｆｏｖ：Ｆｉｅｌｄ ｏｆ ｖｉｅｗ）の範囲内に存在するものである。この視野の中に含まれる指示オブジェクトがゲーム装置１０（ＨＭＤ）に表示されることにより、実空間に重畳されてユーザＵに視認可能となる。なお、ゲーム装置１０には、指示オブジェクト以外のゲームに関する表示情報（スコアや、プレイする楽曲の情報など）も表示される。
【0024】
図２は、本実施形態に係る仮想空間の空間座標の定義を示す図である。前述したように、本実施形態では、垂直方向の軸をＺ軸とし、Ｚ軸に直交する水平面で互いに直交する軸をＸ軸とＹ軸とする。また、このダンスゲームのプレイ開始時点でのイニシャライズで、ユーザＵの位置に対応する基準位置Ｋ１（ゲーム装置１０の位置に基づく第１基準位置の一例）が座標原点として定義され、且つＸ軸がユーザＵの視線方向の軸として定義される。プレイ中は基準位置Ｋ１（座標原点）、Ｘ軸、Ｙ軸及びＺ軸は固定となる。Ｚ軸を軸とした回転方向への変化をヨー方向（左右方向）への変化ともいい、Ｙ軸を軸とした回転方向への変化をピッチ方向（上下方向）への変化ともいい、Ｘ軸を軸とした回転方向への変化をロール方向への変化ともいう。
【0025】
ゲーム装置１０は、装着されているユーザＵの頭部の向きが変化すると、内蔵する加速度センサなどを用いて各軸の回転方向（ヨー方向、ピッチ方向、ロール方向）の変化として検出する。ゲーム装置１０は、検出した各軸の回転方向の変化に基づいて図１に示す視野（Ｆｏｖ）を変化させ、仮想空間に含まれる指示オブジェクトの表示を変更する。これにより、ゲーム装置１０は、ユーザＵの頭部の向きが変化しても、視野の変化に応じて仮想空間に含まれる指示オブジェクトをディスプレイに表示させることができる。
なお、ヨー方向への変化を左右方向への変化、ピッチ方向への変化を上下方向への変化、ともいうことがある。
なお、ヨー方向への変化を左右方向への変化、ピッチ方向への変化を上下方向への変化、ともいうことがある。
【0026】
なお、図示する基準位置Ｋ１は、一例であってこの位置に限定されるものではない。また、基準位置Ｋ１を空間座標の座標原点として定義したが、座標原点は他の位置に定義してもよい。
【0027】
〔ゲーム装置１０のハードウェア構成〕
次に、本実施形態に係るゲーム装置１０のハードウェア構成の概要を説明する。
図３は、本実施形態に係るゲーム装置１０のハードウェア構成の一例を示すブロック図である。ゲーム装置１０は、光学透過型ＨＭＤとして、撮像部１１と、表示部１２と、センサ１３と、記憶部１４と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５と、通信部１６と、音出力部１７とを含んで構成されている。
次に、本実施形態に係るゲーム装置１０のハードウェア構成の概要を説明する。
図３は、本実施形態に係るゲーム装置１０のハードウェア構成の一例を示すブロック図である。ゲーム装置１０は、光学透過型ＨＭＤとして、撮像部１１と、表示部１２と、センサ１３と、記憶部１４と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１５と、通信部１６と、音出力部１７とを含んで構成されている。
【0028】
撮像部１１は、ゲーム装置１０（ＨＭＤ）を頭部に装着して使用するユーザＵの視線方向を撮像するカメラである。すなわち、撮像部１１は、頭部に装着された状態で光軸が視線方向に対応するようにゲーム装置１０（ＨＭＤ）に設けられている。撮像部１１は、単眼カメラでもよいし、デュアルカメラでもよい。撮像部１１は、撮像した撮像映像を出力する。
【0029】
表示部１２は、例えば、光学透過型ＨＭＤにおける透過型のディスプレイである。例えば、表示部１２は、少なくとも指示オブジェクトを表示する。表示部１２は、右眼用と左眼用の２つのディスプレイを備える構成としてもよいし、右眼用と左眼用の区別なく両眼で視認可能な１つのディスプレイを備える構成としてもよい。また、ゲーム装置１０が網膜投影式の光学透過型ＨＭＤである場合、表示部１２は、ユーザの網膜に直接的に映像を投影する映像投影装置である。
【0030】
なお、ゲーム装置１０がビデオ透過型ＨＭＤである場合、表示部１２は、実空間を光学的に視認不可能な透過しないディスプレイである。
【0031】
センサ１３は、ゲーム装置１０の方向に関する検知信号を出力するセンサである。例えば、センサ１３は、物体の角度、角速度、角加速度等を検知するジャイロセンサである。なお、センサ１３は、方向の変化を検知するセンサであってもよいし、方向そのものを検知するセンサであってもよい。例えば、センサ１３は、ジャイロセンサに代えて又は加えて、加速度センサ、傾斜センサ、地磁気センサ等が含まれてもよい。
【0032】
記憶部１４は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）、Ｆｌａｓｈ ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含み、このダンスゲームのプログラムやデータ、生成された仮想空間のデータ等を記憶する。
【0033】
ＣＰＵ１５は、ゲーム装置１０が備える各部を制御する制御中枢として機能する。例えば、ＣＰＵ１５は、記憶部１４に記憶されたゲームのプログラムを実行することで、ゲーム処理を実行し、図１を参照して説明したように、実空間に対応する仮想空間を撮像映像から生成する処理、生成した仮想空間に指示オブジェクトを配置する処理、ユーザの動作を検出して指示オブジェクトのタイミング及び位置に基づいて評価する処理などを実行する。
【0034】
通信部１６は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）等の無線通信を行う通信デバイス等を含んで構成される。なお、通信部１６は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のデジタル入出力ポートや、映像入出力ポートなどを含んで構成されてもよい。
【0035】
音出力部１７は、ダンスゲームのプレイ楽曲の演奏音やゲームの効果音などを出力する。例えば、音出力部１７は、スピーカ、イヤフォン、ヘッドフォン、或いはそれらと接続可能な端子などを含んで構成されてもよい。なお、音出力部１７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信を介して、外部のスピーカ、イヤフォン、ヘッドフォンなどに各種の音を出力してもよい。
【0036】
なお、上述したゲーム装置１０が備える各ハードウェア構成は、バス（Ｂｕｓ）を介して相互に通信可能に接続されている。
【0037】
〔ゲーム装置１０の機能構成〕
次に、図４を参照して、ゲーム装置１０の機能構成について説明する。
図４は、本実施形態に係るゲーム装置１０の機能構成の一例を示すブロック図である。図示するゲーム装置１０は、記憶部１４に記憶されているプログラムをＣＰＵ１５が実行することにより実現される機能構成として、制御部１５０を備えている。制御部１５０は、図１及び図２を参照して説明したダンスゲームの処理を実行する。例えば、制御部１５０は、映像取得部１５１と、仮想空間生成部１５２と、オブジェクト配置部１５４と、視線方向検出部１５５と、表示制御部１５６と、動作検出部１５７と、評価部１５８とを備えている。
次に、図４を参照して、ゲーム装置１０の機能構成について説明する。
図４は、本実施形態に係るゲーム装置１０の機能構成の一例を示すブロック図である。図示するゲーム装置１０は、記憶部１４に記憶されているプログラムをＣＰＵ１５が実行することにより実現される機能構成として、制御部１５０を備えている。制御部１５０は、図１及び図２を参照して説明したダンスゲームの処理を実行する。例えば、制御部１５０は、映像取得部１５１と、仮想空間生成部１５２と、オブジェクト配置部１５４と、視線方向検出部１５５と、表示制御部１５６と、動作検出部１５７と、評価部１５８とを備えている。
【0038】
映像取得部１５１（取得部の一例）は、撮像部１１により撮像された実空間の撮像映像を取得する。例えば、ゲーム装置１０は、ダンスゲームのプレイ開始前に、ユーザＵに対して所定の方向を見させる指示（例えば、上下左右を見回す指示）を行う。ゲーム装置１０は、この指示を、例えば表示部１２に表示させる。これにより、映像取得部１５１は、撮像部１１により撮像された実空間におけるユーザＵの周囲が撮像された撮像映像を取得する。
【0039】
仮想空間生成部１５２（生成部の一例）は、映像取得部１５１が取得した撮像映像から実空間に対応する仮想空間を生成する。例えば、仮想空間生成部１５２は、取得した撮像映像から実空間に存在する物体（床や、壁など）の位置を検出し、検出した物体（床や、壁など）の少なくとも一部の位置情報を含む３次元座標空間のデータを仮想空間のデータとして生成する。一例として、ユーザＵの頭部に装着されているゲーム装置１０自身の位置に基づいてユーザＵに対応する基準位置Ｋ１（図２参照）が、仮想空間（３次元座標空間）の座標原点として定義される。仮想空間生成部１５２は、ユーザＵに対応する基準位置Ｋ１を座標原点とした仮想空間（３次元座標空間）内に、実空間に存在する物体（床や、壁など）に対応する位置情報を含む仮想空間データを生成する。仮想空間生成部１５２は、生成した仮想空間データを記憶部１４に記憶させる。
【0040】
ここで、撮像映像から実空間に存在する物体（床や、壁など）の位置を検出する検出方法には、任意の公知の技術を適用することができる。例えば、撮像部１１がデュアルカメラ（ステレオカメラ）である場合、左右それぞれのカメラの視差を利用して撮像映像を解析することにより物体（床や、壁など）の位置を検出してもよい。また、撮像部１１が単眼カメラである場合、単眼カメラを規定の距離分ずらして２カ所から撮像した撮像映像を用いることで、デュアルカメラと同様に視差を利用した検出が可能である。また、このように映像解析に代えて又は加えて、レーザ光や音波などを用いて実空間に存在する物体（床や、壁など）の位置を検出してもよい。
【0041】
オブジェクト配置部１５４（配置部の一例）は、仮想空間内の、ユーザＵに対応する基準位置Ｋ１に基づく位置に、ユーザＵの動作を指示する指示オブジェクトをユーザＵに視認可能に配置する。具体的には、オブジェクト配置部１５４は、床の位置に対応する仮想空間内の判定位置に判定オブジェクト（図１の判定オブジェクトＨＦ、ＨＢ、ＨＲ、ＨＬ参照）を配置する。また、オブジェクト配置部１５４は、楽曲に合わせて予め設定されたタイミングで移動オブジェクト（図１の移動オブジェクトＮＦ、ＮＢ、ＮＲ、ＮＬ参照）を仮想空間内の出現位置に配置し、上記判定オブジェクトへ向かって移動（配置する位置を変更）させる。オブジェクト配置部１５４は、指示オブジェクト（判定オブジェクト及び移動オブジェクト）を配置する際に、仮想空間内の配置する位置の座標情報に基づいて、記憶部１４に記憶されている仮想空間データを更新する。
【0042】
視線方向検出部１５５は、センサ１３から出力される検知信号に基づいて、ゲーム装置１０の向き、すなわちユーザＵの視線方向を検出する。なお、視線方向検出部１５５は、撮像部１１により撮像された実空間の撮像映像を解析することにより、ゲーム装置１０の向き、すなわちユーザＵの視線方向を検出してもよい。例えば、視線方向検出部１５５は、撮像映像を解析することにより物体または物体のエッジの位置や傾きなどを検出し、検出結果に基づいてゲーム装置１０の向き、すなわちユーザＵの視線方向を検出してもよい。また、撮像映像の各フレームの物体または物体のエッジの位置や傾きなどを検出することにより、各フレーム間での物体または物体のエッジの位置や傾きなどの差分を検出し、検出結果に基づいてゲーム装置１０の向き、すなわちユーザＵの視線方向の変化を検出してもよい。なお、視線方向検出部１５５は、センサ１３から出力される検知信号と実空間の撮像映像の解析との両方に基づいて、ゲーム装置１０の向き、すなわちユーザＵの視線方向を検出してもよい。
【0043】
表示制御部１５６は、記憶部１４に記憶されている仮想空間データを参照して、少なくとも指示オブジェクトが配置された仮想空間を、実空間に対応付けて表示部１２に表示させる。ここで、仮想空間を実空間に対応付けるとは、実空間に基づいて生成した仮想空間の座標と当該実空間の座標とを対応付けることを含む。表示制御部１５６は、仮想空間を表示させる際に、仮想空間における視点位置及び視線方向を、実空間におけるゲーム装置１０（ＨＭＤ）の位置及び向き、すなわちユーザＵの位置及び方向に基づいて決定する。例えば、表示制御部１５６は、視線方向検出部１５５により検出されたユーザＵの視線方向により定まる視野（Ｆｏｖ）の範囲（実空間の範囲）に対応する仮想空間の範囲に配置されている指示オブジェクトを表示部１２に表示させる（図１参照）。
【0044】
動作検出部１５７（検出部の一例）は、撮像映像からユーザＵの身体の少なくとも一部の動作を検出する。例えば、動作検出部１５７は、ダンスゲームをプレイするユーザＵの足の動作を検出する。なお、撮像映像からユーザＵの身体の少なくとも一部（すなわち、認識対象）を認識する認識技術は、任意の公知の技術を適用することができる。例えば、動作検出部１５７は、認識対象の特徴情報（例えば、足の特徴情報）を用いて、撮像映像から認識対象の映像領域を認識する。動作検出部１５７は、撮像映像の各フレームから認識対象の映像領域を抽出してトラッキングすることにより認識対象の動作（例えば、足の動作）を検出する。
【0045】
評価部１５８は、動作検出部１５７により検出されたユーザＵの身体の少なくとも一部の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。例えば、評価部１５８は、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザＵの足の動作（判定オブジェクトを踏む動作）のタイミングと位置とを比較し、ユーザＵの動作によるプレイを評価する。評価部１５８は、比較結果に基づいて両者のタイミングと位置が一致すると判定できる場合には得点（スコア）を加算し、一致しないと判定できる場合には得点を加算スコア）をしない。
【0046】
なお、評価部１５８は、移動オブジェクトが判定オブジェクトへ到達したタイミングでのユーザＵの足の位置を判定オブジェクトの位置と比較することで、ユーザＵの動作によるプレイを評価してもよい。
【0047】
〔指示オブジェクト配置処理の動作〕
次に、ゲーム装置１０のＣＰＵ１５が実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。図５は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
次に、ゲーム装置１０のＣＰＵ１５が実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。図５は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
【0048】
まず、ＣＰＵ１５は、撮像部１１が撮像した実空間の撮像映像を取得する（ステップＳ１０１）。例えば、ＣＰＵ１５は、ダンスゲームのプレイ開始前に、ユーザＵに対して所定の方向を見させる指示（例えば、上下左右を見回す指示）を表示部１２に表示させ、実空間におけるユーザＵの周囲が撮像された撮像映像を取得する。
【0049】
次に、ＣＰＵ１５は、ステップＳ１０１で取得した撮像映像から実空間に対応する仮想空間を生成する（ステップＳ１０３）。例えば、ＣＰＵ１５は、撮像映像から実空間に存在する物体（床や、壁など）の位置を検出する。ＣＰＵ１５は、ユーザＵに対応する基準位置Ｋ１を座標原点とした仮想空間（３次元座標空間）内に、検出した物体（床や、壁など）の少なくとも一部の位置情報を含む３次元座標空間の仮想空間データを生成する。そして、ＣＰＵ１５は、生成した仮想空間データを記憶部１４に記憶させる。
【0050】
続いて、ＣＰＵ１５は、ダンスゲームのプレイ開始時点或いは開始の前に、床の位置に対応する仮想空間内の基準位置Ｋ１に基づく判定位置に判定オブジェクト（図１の判定オブジェクトＨＦ、ＨＢ、ＨＲ、ＨＬ参照）を配置する（ステップＳ１０５）。ＣＰＵ１５は、判定オブジェクトを配置する際に、記憶部１４に記憶されている仮想空間データに、配置した判定オブジェクトの位置情報を追加する。
【0051】
また、ＣＰＵ１５は、ダンスゲームのプレイが開始されると、移動オブジェクトの出現トリガの有無を判定する（ステップＳ１０７）。出現トリガは、楽曲に合わせて予め設定されたタイミングで発生する。ＣＰＵ１５は、ステップＳ１０７において出現トリガがあったと判定した場合（ＹＥＳ）、ステップＳ１０９の処理へ進む。
【0052】
ステップＳ１０９において、ＣＰＵ１５は、仮想空間内の基準位置Ｋ１に基づく出現位置に移動オブジェクトを配置（図１の移動オブジェクトＮＦ、ＮＢ、ＮＲ、ＮＬのいずれか一つまたは複数）し、判定位置（各移動オブジェクトに対応する判定オブジェクトの位置）へ向かって移動を開始させる。ＣＰＵ１５は、移動オブジェクトを配置する際に、記憶部１４に記憶されている仮想空間データに、配置した移動オブジェクトの位置情報を追加する。また、ＣＰＵ１５は、配置した移動オブジェクトを移動させる際に、記憶部１４に記憶されている仮想空間データに追加した移動オブジェクトの位置情報を更新する。そして、ステップＳ１１１の処理へ進む。一方、ＣＰＵ１５は、ステップＳ１０７において出現トリガが無いと判定した場合（ＮＯ）、ステップＳ１０９の処理を行わずに、ステップＳ１１１の処理へ進む。
【0053】
ステップＳ１１１において、ＣＰＵ１５は、移動オブジェクトが判定位置に到達したか否かを判定する。ＣＰＵ１５は、ステップＳ１１１において判定位置に到達したと判定（ＹＥＳ）した移動オブジェクトを仮想空間から消去する（ステップＳ１１３）。ＣＰＵ１５は、移動オブジェクトを仮想空間から消去する際に、消去する移動オブジェクトの位置情報を記憶部１４に記憶されている仮想空間データから削除する。
【0054】
一方、ＣＰＵ１５は、ステップＳ１１１において判定位置に到達していないと判定（ＮＯ）した移動オブジェクトは引き続き判定位置へ向かって徐々に移動させる（ステップＳ１１５）。ＣＰＵ１５は、配置した移動オブジェクトを移動させる際に、記憶部１４に記憶されている仮想空間データのうち、移動させる移動オブジェクトの位置情報を更新する。
【0055】
次に、ＣＰＵ１５は、ダンスゲームが終了したか否かを判定する（ステップＳ１１７）。例えば、ＣＰＵ１５は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。ＣＰＵ１５は、ダンスゲームが終了していないと判定した場合（ＮＯ）、ステップＳ１０７の処理に戻る。一方、ＣＰＵ１５は、ダンスゲームが終了したと判定した場合（ＹＥＳ）、指示オブジェクト配置処理を終了する。
【0056】
なお、判定オブジェクトの配置と最初に出現する移動オブジェクトの配置との順番は同時でもよいし、判定オブジェクトの方が先でもよいし、逆に判定オブジェクトの方が後（最初に出現した移動オブジェクトが判定位置に到達するまでの間）でもよい。
【0057】
〔指示オブジェクト表示処理の動作〕
次に、ゲーム装置１０のＣＰＵ１５が実行するダンスゲームの処理において、仮想空間に配置された指示オブジェクトを表示する指示オブジェクト表示処理の動作について説明する。図６は、本実施形態に係る指示オブジェクト表示処理の一例を示すフローチャートである。
次に、ゲーム装置１０のＣＰＵ１５が実行するダンスゲームの処理において、仮想空間に配置された指示オブジェクトを表示する指示オブジェクト表示処理の動作について説明する。図６は、本実施形態に係る指示オブジェクト表示処理の一例を示すフローチャートである。
【0058】
ＣＰＵ１５は、センサ１３から出力される検知信号に基づいて、ユーザＵの視線方向（ゲーム装置１０の向き）を検出する(ステップＳ２０１)。
【0059】
ＣＰＵ１５は、記憶部１４に記憶されている仮想空間データを参照して、ステップＳ２０１で検出した視線方向に基づく視野（Ｆｏｖ）の範囲（実空間の範囲）に対応する仮想空間を表示部１２に表示させる。例えば、ＣＰＵ１５は、視線方向に基づく視野（Ｆｏｖ）の範囲に対応する仮想空間の範囲に配置されている指示オブジェクト（判定オブジェクト及び移動オブジェクト）を表示部１２に表示させる(ステップＳ２０３)。これにより、表示部１２に、楽曲に合わせて予め設定されたタイミングで移動オブジェクトが表示される。
【0060】
次に、ＣＰＵ１５は、ダンスゲームが終了したか否かを判定する（ステップＳ２０５）。例えば、ＣＰＵ１５は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。ＣＰＵ１５は、ダンスゲームが終了していないと判定した場合（ＮＯ）、ステップＳ２０１の処理に戻る。一方、ＣＰＵ１５は、ダンスゲームが終了したと判定した場合（ＹＥＳ）、指示オブジェクト表示処理を終了する。
【0061】
〔プレイ評価処理の動作〕
次に、ゲーム装置１０のＣＰＵ１５が実行するダンスゲームの処理において、ユーザＵの身体の少なくとも一部の動作によるプレイを評価するプレイ評価処理の動作について説明する。図７は、本実施形態に係るプレイ評価処理の一例を示すフローチャートである。
次に、ゲーム装置１０のＣＰＵ１５が実行するダンスゲームの処理において、ユーザＵの身体の少なくとも一部の動作によるプレイを評価するプレイ評価処理の動作について説明する。図７は、本実施形態に係るプレイ評価処理の一例を示すフローチャートである。
【0062】
ＣＰＵ１５は、撮像部１１が撮像した実空間の撮像映像を取得する（ステップＳ３０１）。次に、ＣＰＵ１５は、ステップＳ３０１で取得した撮像映像からユーザＵの身体の少なくとも一部の動作を検出する（ステップＳ３０３）。例えば、ＣＰＵ１５は、ダンスゲームをプレイするユーザＵの足の動作を検出する。
【0063】
そして、ＣＰＵ１５は、ステップＳ３０３において検出されたユーザＵの身体の少なくとも一部（例えば、足）の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する（ステップＳ３０５）。例えば、ＣＰＵ１５は、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザＵの足の動作（判定オブジェクトを踏む動作）のタイミングと位置とを比較し、ユーザＵの足の動作によるプレイを評価する。
【0064】
また、ＣＰＵ１５は、ステップＳ３０５における評価結果に基づいて、ゲームの得点（スコア）を更新する（ステップＳ３０７）。例えば、ＣＰＵ１５は、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザＵの足の動作（判定オブジェクトを踏む動作）のタイミングと位置とが一致すると判定できる場合には得点（スコア）を加算し、一致しないと判定できる場合には得点（スコア）を加算しない。
【0065】
次に、ＣＰＵ１５は、ダンスゲームが終了したか否かを判定する（ステップＳ３０９）。例えば、ＣＰＵ１５は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。ＣＰＵ１５は、ダンスゲームが終了していないと判定した場合（ＮＯ）、ステップＳ３０１の処理に戻る。一方、ＣＰＵ１５は、ダンスゲームが終了したと判定した場合（ＹＥＳ）、プレイ評価処理を終了する。
【0066】
〔第１の実施形態のまとめ〕
以上説明してきたように、本実施形態に係るゲーム装置１０は、ユーザＵの頭部に装着することにより、ユーザＵに視認可能に映像を出力するとともに実空間を視認可能なゲーム装置１０（映像出力装置の一例）を用いてプレイ可能なゲームの処理を実行する。例えば、ゲーム装置１０は、実空間を撮像した撮像映像を取得し、取得した撮像映像から実空間に対応する仮想空間を生成する。そして、ゲーム装置１０は、仮想空間内の、ユーザＵに対応する基準位置Ｋ１に基づく位置に、ユーザＵの動作を指示する指示オブジェクトをユーザに視認可能に配置し、少なくとも指示オブジェクトが配置された仮想空間を、実空間に対応付けて表示させる。また、ゲーム装置１０は、取得した撮像映像からユーザＵの身体の少なくとも一部の動作を検出し、検出された動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。
以上説明してきたように、本実施形態に係るゲーム装置１０は、ユーザＵの頭部に装着することにより、ユーザＵに視認可能に映像を出力するとともに実空間を視認可能なゲーム装置１０（映像出力装置の一例）を用いてプレイ可能なゲームの処理を実行する。例えば、ゲーム装置１０は、実空間を撮像した撮像映像を取得し、取得した撮像映像から実空間に対応する仮想空間を生成する。そして、ゲーム装置１０は、仮想空間内の、ユーザＵに対応する基準位置Ｋ１に基づく位置に、ユーザＵの動作を指示する指示オブジェクトをユーザに視認可能に配置し、少なくとも指示オブジェクトが配置された仮想空間を、実空間に対応付けて表示させる。また、ゲーム装置１０は、取得した撮像映像からユーザＵの身体の少なくとも一部の動作を検出し、検出された動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。
【0067】
これにより、ゲーム装置１０は、ユーザＵの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザＵの動作を評価するゲーム処理において、頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザＵに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0068】
例えば、基準位置Ｋ１は、ゲーム装置１０（映像出力装置の一例）を装着しているユーザＵの位置に対応する仮想空間内における第１基準位置であり、仮想空間内の透過型ＨＭＤの位置に基づく。例えば、基準位置Ｋ１は、実空間におけるユーザＵの位置（透過型ＨＭＤの位置）に対応する仮想空間内における位置であり、仮想空間（３次元座標空間）の座標原点として定義される。
【0069】
これにより、ゲーム装置１０は、ゲームをプレイするユーザＵの位置を基準として、実空間に対応付けて指示オブジェクトを表示できるため、ユーザＵに対する動作の指示にリアリティを感じさせることができ、より直感的なプレイが可能となる。
【0070】
また、ゲーム装置１０は、仮想空間内の所定の位置（出現位置）に配置した指示オブジェクト（例えば、移動オブジェクト）を所定の判定位置（例えば、判定オブジェクトの位置）へ向かって移動させる。そして、ゲーム装置１０は、仮想空間内で移動する指示オブジェクト（例えば、移動オブジェクト）が判定位置に到達したタイミングと判定位置に基づいて、撮像映像から検出されたユーザＵの身体の少なくとも一部（例えば、足）の動作を評価する。
【0071】
これにより、ゲーム装置１０は、ユーザＵが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。
【0072】
なお、ゲーム装置１０は、ユーザの視線方向に基づく視野の範囲内の指示オブジェクトしかユーザＵは視認できないため、同時に前後左右（ユーザＵの周囲３６０°）の指示オブジェクトを視認することはできない。そのため、ゲーム装置１０は、ゲーム装置１０（映像出力装置の一例）を装着しているユーザＵの向きに応じて、指示オブジェクトを配置する位置を仮想空間内の一部に制限してもよい。例えば、ゲーム装置１０は、イニシャライズ時点でのユーザＵ（基準位置Ｋ１）の向きに基づいて、前、右、及び左の指示オブジェクトのみを配置して、後方には指示オブジェクトを配置しないようにしてもよい。
【0073】
これにより、ゲーム装置１０は、ユーザＵの視野の範囲外（例えば、後方）に対しては動作すべき指示を行わないため、ユーザＵはプレイ中に視野の範囲外（例えば、後方）を気にせずプレイすることができる。よって、ゲーム装置１０は、プレイの難易度が高くなりすぎないようにすることができる。
【0074】
また、ゲーム装置１０は、ユーザＵの向きに応じて指示オブジェクトを配置する位置を仮想空間内の一部に制限する場合、ユーザＵの向きに応じて当該制限する方向をプレイ中に変更してもよい。例えば、ゲーム装置１０は、ユーザＵが前方を向いているときには、ユーザＵ（基準位置Ｋ１）に対して前、右、及び左の指示オブジェクトのみを配置して、後方には指示オブジェクトを配置しないようにしてもよい。また、ゲーム装置１０は、ユーザＵが右方を向いた場合には、右方を向いた後のユーザＵ（基準位置Ｋ１）に対して前、右、及び左（右方を向く以前の右、前、及び後ろ）の指示オブジェクトのみを配置して、後方（右方を向く以前の左方）には指示オブジェクトを配置しないようにしてもよい。ユーザＵが左方または後方を向いた場合も同様に、それぞれの反対方向（向きを変更する前の右方または前方）には、指示オブジェクトを配置しないようにしてもよい。
【0075】
これにより、ゲーム装置１０は、ユーザＵの向きの変化に追従して、ユーザＵの視野の範囲外に対しては動作すべき指示を常に行わないため、プレイの難易度を抑制することができる。
【0076】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。
第１の実施形態で説明した例では、実際にユーザＵが視認可能な指示オブジェクトは、仮想空間に配置される指示オブジェクトのうちユーザＵの視線方向に基づく視野の範囲に配置される指示オブジェクトに限られる。そのため、例えばユーザＵの後方に指示オブジェクトが存在する場合、認識するのが困難なことがある。ゲーム性としては、この困難な要素を利用することもできるが、反面、初心者などにとってはプレイが難しくなってしまう懸念が考えられる。第１の実施形態では、ユーザＵの向きに応じて、指示オブジェクトを配置する位置を仮想空間内の一部に制限することで困難性を抑制する構成としてもよいことを説明したが、その構成の場合にはプレイ中にユーザＵに指示する動作の種類が少なくなってしまう。また、実際にユーザＵがプレイする場合、ユーザＵから見て下方に存在するユーザＵの足と指示オブジェクトを見ながらプレイする必要があるため、ユーザＵの身体の動作に悪影響を及ぼし、踊りにくくなってしまう懸念がある。そこで、本実施形態では、鏡を利用することで上記の懸念を解決する。
次に、本発明の第２の実施形態について説明する。
第１の実施形態で説明した例では、実際にユーザＵが視認可能な指示オブジェクトは、仮想空間に配置される指示オブジェクトのうちユーザＵの視線方向に基づく視野の範囲に配置される指示オブジェクトに限られる。そのため、例えばユーザＵの後方に指示オブジェクトが存在する場合、認識するのが困難なことがある。ゲーム性としては、この困難な要素を利用することもできるが、反面、初心者などにとってはプレイが難しくなってしまう懸念が考えられる。第１の実施形態では、ユーザＵの向きに応じて、指示オブジェクトを配置する位置を仮想空間内の一部に制限することで困難性を抑制する構成としてもよいことを説明したが、その構成の場合にはプレイ中にユーザＵに指示する動作の種類が少なくなってしまう。また、実際にユーザＵがプレイする場合、ユーザＵから見て下方に存在するユーザＵの足と指示オブジェクトを見ながらプレイする必要があるため、ユーザＵの身体の動作に悪影響を及ぼし、踊りにくくなってしまう懸念がある。そこで、本実施形態では、鏡を利用することで上記の懸念を解決する。
【0077】
図８は、本実施形態に係るゲーム装置によるゲーム処理の概要を示す図である。この図は、本実施形態に係るゲーム装置１０Ａを用いて、ユーザＵがダンスゲームをプレイするプレイ状況を俯瞰して示している。本図は、図１と同様に、ユーザＵが含まれる実空間と指示オブジェクトが含まれる仮想空間との対応関係を1つの図にまとめて示したものであり、ユーザＵがプレイ中に視認可能なプレイ画面とは異なる。
【0078】
図示する例において、ユーザＵは、鏡ＭＲに対面する位置でダンスゲームをプレイしている。仮想空間内のユーザＵの周囲には、図１と同様に、指示オブジェクト（判定オブジェクト及び移動オブジェクト）が配置されている。さらに、ユーザＵの対面にある鏡ＭＲにはユーザＵが映っている。ここでは、鏡ＭＲに映っているユーザＵの虚像を「ユーザ像ＵＫ」と称する。ゲーム装置１０Ａは、鏡ＭＲの方向を撮像した撮像映像からユーザＵに対応するユーザ像ＵＫを検出し、ユーザＵの周囲に配置した指示オブジェクトが鏡ＭＲに映っているかのように、検出したユーザ像ＵＫの周囲にも指示オブジェクトを配置する。
【0079】
図９は、本実施形態に係る仮想空間の空間座標の定義及びユーザ像ＵＫの位置を示す図である。この図は、図２に示す仮想空間の空間座標の定義に、撮像映像から検出されたユーザ像ＵＫの位置を加えた図である。仮想空間におけるユーザ像ＵＫの位置に対応する基準位置Ｋ２（第２基準位置の一例）は、ユーザＵの位置に対応する基準位置Ｋ１（例えば、座標原点）に対してＸ軸方向（視線方向）にある鏡ＭＲの先（奥）の位置に検出される。例えば、鏡ＭＲの鏡面がＸ軸と交わる位置を鏡面位置Ｍ１とすると、Ｘ軸方向において、基準位置Ｋ１から鏡面位置Ｍ１までの距離と鏡面位置Ｍ１から基準位置Ｋ２までの距離とが同一となるような位置に、基準位置Ｋ２が検出される。なお、基準位置Ｋ２は、ユーザ像ＵＫの頭部の中心に相当する位置でもよいし、ユーザ像ＵＫの重心に相当する位置でもよく、任意の位置に定義することができる。
【0080】
図８に戻り、ゲーム装置１０Ａは、撮像映像からユーザ像ＵＫの映像領域（輪郭）と距離を検出し、ユーザＵの位置に対応する基準位置Ｋ１とは別に、仮想空間内におけるユーザ像ＵＫの位置に対応する基準位置Ｋ２を検出する。そして、ゲーム装置１０Ａは、基準位置Ｋ１及び基準位置Ｋ２のそれぞれに基づいて、基準位置Ｋ１及び基準位置Ｋ２のそれぞれの周囲に指示オブジェクトを配置する。このとき、ユーザ像ＵＫは、鏡ＭＲに映ったユーザＵの虚像であるため、ユーザＵに対して前後の向きが逆になる。そのため、ゲーム装置１０Ａは、基準位置Ｋ２（ユーザ像ＵＫの位置）の周囲に配置する指示オブジェクトは、基準位置Ｋ１（ユーザＵの位置）の周囲に配置する指示オブジェクトとは前後の向き（空間座標における前後の位置関係）を反転させて配置する。
【0081】
例えば、Ｘ軸において基準位置Ｋ１から基準位置Ｋ２へ向かう方向を正方向とすると、基準位置Ｋ１（ユーザＵの位置）に対して前方に配置される判定オブジェクトＨＦ及び移動オブジェクトＮＦは、基準位置Ｋ１に対してＸ軸の正方向に配置される。これに対し、基準位置Ｋ２（ユーザ像ＵＫの位置）に対して前方に配置される判定オブジェクトＨＦ´及び移動オブジェクトＮＦ´は、基準位置Ｋ２に対してＸ軸の負方向に配置される。また、基準位置Ｋ１（ユーザＵの位置）に対して後方に配置される判定オブジェクトＨＢ及び移動オブジェクトＮＢは、基準位置Ｋ１に対してＸ軸の負方向に配置される。これに対し、基準位置Ｋ２（ユーザ像ＵＫの位置）に対して後方に配置される判定オブジェクトＨＢ´及び移動オブジェクトＮＢ´は、基準位置Ｋ２に対してＸ軸の正方向に配置される。
【0082】
一方、基準位置Ｋ１（ユーザＵの位置）に対して右方に配置される判定オブジェクトＨＲ及び移動オブジェクトＮＲと、基準位置Ｋ２（ユーザ像ＵＫの位置）に対して右方に配置される判定オブジェクトＨＲ´及び移動オブジェクトＮＲ´とは、それぞれの基準位置に対してＹ軸の同一方向（例えば正方向）に配置される。また、基準位置Ｋ１（ユーザＵの位置）に対して左方に配置される判定オブジェクトＨＬ及び移動オブジェクトＮＬと、基準位置Ｋ２（ユーザ像ＵＫの位置）に対して左方に配置される判定オブジェクトＨＬ´及び移動オブジェクトＮＬ´とは、それぞれの基準位置に対してＹ軸の同一方向（例えば負方向）に配置される。また、基準位置Ｋ１に対して配置される指示オブジェクトと基準位置Ｋ２に対して配置される指示オブジェクトとの上方向及び下方向の位置関係も同一である。
【0083】
〔ゲーム装置１０Ａの構成〕
本実施形態に係るゲーム装置１０Ａは、第１の実施形態で説明したゲーム装置１０と同様に、光学透過型ＨＭＤを含む装置であってもよいし、ビデオ透過型ＨＭＤを含む装置であってもよい。ここでは、第１の実施形態と同様に、ゲーム装置１０Ａは、光学透過型ＨＭＤであるとして説明する。ゲーム装置１０Ａのハードウェア構成は、図３に示す構成例と同様であるためその説明を省略する。
本実施形態に係るゲーム装置１０Ａは、第１の実施形態で説明したゲーム装置１０と同様に、光学透過型ＨＭＤを含む装置であってもよいし、ビデオ透過型ＨＭＤを含む装置であってもよい。ここでは、第１の実施形態と同様に、ゲーム装置１０Ａは、光学透過型ＨＭＤであるとして説明する。ゲーム装置１０Ａのハードウェア構成は、図３に示す構成例と同様であるためその説明を省略する。
【0084】
図１０は、本実施形態に係るゲーム装置１０Ａの機能構成の一例を示すブロック図である。図示するゲーム装置１０Ａは、記憶部１４に記憶されているプログラムをＣＰＵ１５が実行することにより実現される機能構成として、制御部１５０Ａを備えている。制御部１５０Ａは、映像取得部１５１と、仮想空間生成部１５２と、ユーザ像検出部１５３Ａと、オブジェクト配置部１５４Ａと、視線方向検出部１５５と、表示制御部１５６と、動作検出部１５７と、評価部１５８とを備えている。この図において、図４の各部に対応する構成には同一の符号を付しており、その説明を適宜省略する。ゲーム装置１０Ａの機能構成は、鏡ＭＲに映っているユーザ像ＵＫに対応する基準位置を検出するためのユーザ像検出部１５３Ａが追加されている点が、図４に示すゲーム装置１０の機能構成と主に異なる。
【0085】
ユーザ像検出部１５３Ａは、映像取得部１５１が取得した撮像映像からユーザＵに対応するユーザ像ＵＫ（像の一例）を検出する。例えば、ユーザ像ＵＫは、ユーザＵの対面に存在する鏡ＭＲに映ったユーザＵの虚像であるユーザ像ＵＫを検出する。この検出は、ユーザ像ＵＫがダンスゲームをプレイするユーザＵの虚像であることを認識する必要がある。認識方法としては、例えば、ユーザＵの身体やユーザＵの頭部に装着されているゲーム装置１０Ａ（ＨＭＤ）などに識別可能なマーカー（印、標識など）を付け、ユーザ像検出部１５３Ａは、このマーカーを撮像映像から検出することにより、ユーザＵの虚像であることを認識してもよい。また、ユーザＵに対して特定の動作（例えば、右手を上げ下げするなど）を指示することにより、ユーザ像検出部１５３Ａは、その指示に応じた動作をする人物を撮像映像から検出することにより、ユーザＵの虚像であることを認識してもよい。
【0086】
仮想空間生成部１５２は、撮像映像から検出した物体（床や、壁など）の少なくとも一部の位置情報に加え、ユーザ像ＵＫの位置情報を含む３次元座標空間のデータを仮想空間のデータとして生成する。例えば、仮想空間生成部１５２は、撮像映像から実空間に存在する物体（床や、壁など）の位置を検出する。加えて、仮想空間生成部１５２は、ユーザ像検出部１５３Ａにより検出されたユーザ像ＵＫの位置（基準位置Ｋ２）を検出する。ユーザ像ＵＫの位置の検出方法は、前述した実空間に存在する物体（床や、壁など）の位置の検出方法と同様に、カメラ（撮像部）の視差を利用する検出方法としてもよい。そして、仮想空間生成部１５２は、仮想空間生成部１５２は、検出した物体（床や、壁など）の少なくとも一部の位置情報と基準位置Ｋ２の位置情報とを含む３次元座標空間のデータを仮想空間のデータとして生成する。なお、一例として、仮想空間（３次元座標空間）の座標原点は、第１の実施形態と同様にユーザＵに対応する基準位置Ｋ１とする。仮想空間生成部１５２は、生成した仮想空間データを記憶部１４に記憶させる。
【0087】
オブジェクト配置部１５４Ａは、仮想空間内の、ユーザＵに対応する基準位置Ｋ１に基づく位置に指示オブジェクトを配置するとともに、ユーザ像ＵＫに対応する基準位置Ｋ２に基づく位置にも指示オブジェクトを配置する（図８及び図９参照）。また、オブジェクト配置部１５４Ａは、仮想空間内の基準位置Ｋ２に基づく位置に指示オブジェクトを配置する際に、基準位置Ｋ２に対する前後の向きを反転させる。
【0088】
ここで、オブジェクト配置部１５４Ａは、検出されたユーザ像ＵＫが鏡ＭＲに映っている像であるか否かは、上述した特定の動作（例えば、右手を上げ下げするなど）を指示することによって、その動作をする人物を撮像映像から検出して判定しても良い。また、オブジェクト配置部１５４Ａは、予め選択可能に設定された鏡モード（鏡ＭＲに映っている姿を見ながらプレイするモード）が選択されることによって、検出されたユーザ像ＵＫが鏡ＭＲに映っている像であると判定しても良い。
【0089】
表示制御部１５６は、例えばユーザＵの視線方向が鏡ＭＲの方向である場合、鏡ＭＲの方向の視野の範囲に対応する仮想空間の範囲に配置されている指示オブジェクトを表示部１２に表示させる。すなわち、表示制御部１５６は、鏡ＭＲに映っているユーザ像ＵＫに対応する基準位置Ｋ２に基づく位置に配置されている指示オブジェクトをユーザＵが俯瞰して視認可能なように表示することができる。
【0090】
動作検出部１５７は、撮像映像から鏡ＭＲに映っているユーザ像ＵＫの身体の少なくとも一部の動作を検出することにより、ユーザＵの身体の少なくとも一部の動作を検出する。
【0091】
評価部１５８は、動作検出部１５７により検出されたユーザ像ＵＫ（鏡ＭＲに映っているユーザ像ＵＫ）の身体の少なくとも一部の動作を、ユーザ像ＵＫに対応する基準位置Ｋ２に基づく位置に配置されている指示オブジェクトを用いて評価する。具体的には、評価部１５８は、ユーザ像ＵＫ（鏡ＭＲに映っているユーザ像ＵＫ）の身体の少なくとも一部の動作を、鏡ＭＲに映っているユーザ像ＵＫに基づく位置に配置されている指示オブジェクトに基づくタイミング及び位置に基づいて評価する。すなわち、ユーザＵは、下方に存在するユーザＵの足と指示オブジェクトを見なくとも、鏡ＭＲの方向を見ながらプレイすることできる。
【0092】
なお、図８に示す例では、ユーザＵに対応する基準位置Ｋ１に基づく位置とユーザ像ＵＫに対応する基準位置Ｋ２に基づく位置との両方に指示オブジェクトが配置されているがこれに限定されるものではない。例えば、オブジェクト配置部１５４Ａは、ユーザ像ＵＫに対応する基準位置Ｋ２に基づく位置に指示オブジェクトが配置される場合には、ユーザＵに対応する基準位置Ｋ１に基づく位置に指示オブジェクトを配置しなくてもよい。すなわち、基準位置Ｋ２に基づく位置に指示オブジェクトが表示される場合には、基準位置Ｋ１に基づく位置の指示オブジェクトが非表示となってもよい。これにより、ユーザＵの周囲に表示される指示オブジェクトによって、鏡ＭＲに表示された指示オブジェクトが隠れてしまうことが無くなり、指示オブジェクトの視認性を向上させることができる。
【0093】
また、オブジェクト配置部１５４Ａは、基準位置Ｋ２に基づく位置に指示オブジェクトが配置される場合、基準位置Ｋ１に基づく位置に配置する指示オブジェクトを半透明にしたり縮小したりするなど、視認度を低減した目立ちにくい表示態様としてもよい。なお、指示オブジェクトの表示態様を変更する処理は、表示制御部１５６が行ってもよい。
【0094】
また、オブジェクト配置部１５４Ａ（或いは、表示制御部１５６）は、鏡ＭＲがユーザＵの視野の範囲内にある場合にのみ、ユーザＵの周囲の指示オブジェクトを非表示や半透明にし、鏡ＭＲが視野の範囲外になった場合には、通常通りにユーザＵの周囲の指示オブジェクトが表示されるようにしてもよい。これにより、鏡ＭＲが視野の範囲外（例えば、ユーザＵが鏡ＭＲの方向とは反対方向を向いた場合）となった場合でも、指示オブジェクトを視認できるようになる。
【0095】
〔指示オブジェクト配置処理の動作〕
次に、ゲーム装置１０ＡのＣＰＵ１５が実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。ここで、ユーザＵ（基準位置Ｋ１）に対応する指示オブジェクト配置処理は、図５に示す処理と同様であるため説明を省略し、鏡ＭＲに映ったユーザ像ＵＫ（基準位置Ｋ２）に対応する指示オブジェクトを配置する場合の指示オブジェクト配置処理について説明する。図１１は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
次に、ゲーム装置１０ＡのＣＰＵ１５が実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。ここで、ユーザＵ（基準位置Ｋ１）に対応する指示オブジェクト配置処理は、図５に示す処理と同様であるため説明を省略し、鏡ＭＲに映ったユーザ像ＵＫ（基準位置Ｋ２）に対応する指示オブジェクトを配置する場合の指示オブジェクト配置処理について説明する。図１１は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
【0096】
まず、ＣＰＵ１５は、撮像部１１により撮像された実空間の撮像映像を取得する（ステップＳ４０１）。例えば、ＣＰＵ１５は、ダンスゲームをプレイするユーザＵの視線方向の鏡ＭＲに映っているユーザ像ＵＫ（図８参照）が含まれる撮像映像を取得する。
【0097】
次に、ＣＰＵ１５は、ステップＳ４０１で取得した撮像映像から、ダンスゲームをプレイするユーザＵの虚像（ユーザ像ＵＫ）を検出する（ステップＳ４０３）。
【0098】
また、ＣＰＵ１５は、ステップＳ４０１で取得した撮像映像から実空間に対応する仮想空間を生成する（ステップＳ４０５）。例えば、ＣＰＵ１５は、撮像映像から実空間に存在する物体（床や、壁など）の位置と、ステップＳ４０３で検出されたユーザ像ＵＫの位置（基準位置Ｋ２）とを検出し、検出した物体（床や、壁など）の少なくとも一部の位置情報と基準位置Ｋ２の位置情報とを含む３次元座標空間のデータを仮想空間のデータとして生成する。一例として、ＣＰＵ１５は、ユーザＵに対応する基準位置Ｋ１を座標原点とした仮想空間（３次元座標空間）内に、検出した物体（床や、壁など）の少なくとも一部の位置情報と基準位置Ｋ２の位置情報とを含む仮想空間データを生成する。そして、ＣＰＵ１５は、生成した仮想空間データを記憶部１４に記憶させる。
【0099】
続いて、ＣＰＵ１５は、ダンスゲームのプレイ開始時点或いは開始の前に、床の位置に対応する仮想空間内の基準位置Ｋ２に基づく判定位置に判定オブジェクト（図８の判定オブジェクトＨＦ´、ＨＢ´、ＨＲ´、ＨＬ´参照）を配置する（ステップＳ４０７）。ＣＰＵ１５は、判定オブジェクトを配置する際に、記憶部１４に記憶されている仮想空間データに、配置した判定オブジェクトの位置情報を追加する。
【0100】
また、ＣＰＵ１５は、ダンスゲームのプレイが開始されると、移動オブジェクトの出現トリガの有無を判定する（ステップＳ４０９）。出現トリガは、楽曲に合わせて予め設定されたタイミングで発生する。ＣＰＵ１５は、ステップＳ４０９において出現トリガがあったと判定した場合（ＹＥＳ）、ステップＳ４１１の処理へ進む。
【0101】
ステップＳ４１１において、ＣＰＵ１５は、仮想空間内の基準位置Ｋ２に基づく出現位置に移動オブジェクト（図８の移動オブジェクトＮＦ´、ＮＢ´、ＮＲ´、ＮＬ´のいずれか一つまたは複数）を配置し、判定位置（各移動オブジェクトに対応する判定オブジェクトの位置）へ向かって移動を開始させる。ＣＰＵ１５は、移動オブジェクトを配置する際に、記憶部１４に記憶されている仮想空間データに、配置した移動オブジェクトの位置情報を追加する。また、ＣＰＵ１５は、配置した移動オブジェクトを移動させる際に、記憶部１４に記憶されている仮想空間データに追加した移動オブジェクトの位置情報を更新する。そして、ステップＳ４１３の処理へ進む。一方、ＣＰＵ１５は、ステップＳ４０９において出現トリガが無いと判定した場合（ＮＯ）、ステップＳ４１１の処理を行わずに、ステップＳ４１３の処理へ進む。
【0102】
ステップＳ４１３において、ＣＰＵ１５は、移動オブジェクトが判定位置に到達したか否かを判定する。ＣＰＵ１５は、判定位置に到達したと判定（ＹＥＳ）した移動オブジェクトを仮想空間から消去する（ステップＳ４１５）。ＣＰＵ１５は、移動オブジェクトを仮想空間から消去する際に、消去する移動オブジェクトの位置情報を記憶部１４に記憶されている仮想空間データから削除する。
【0103】
一方、ＣＰＵ１５は、判定位置に到達していないと判定（ＮＯ）した移動オブジェクトは引き続き判定位置へ向かって徐々に移動させる（ステップＳ４１７）。ＣＰＵ１５は、移動オブジェクトを移動させる際に、記憶部１４に記憶されている仮想空間データのうち、移動させる移動オブジェクトの位置情報を更新する。
【0104】
次に、ＣＰＵ１５は、ダンスゲームが終了したか否かを判定する（ステップＳ４１９）。例えば、ＣＰＵ１５は、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。ＣＰＵ１５は、ダンスゲームが終了していないと判定した場合（ＮＯ）、ステップＳ４０９の処理に戻る。一方、ＣＰＵ１５は、ダンスゲームが終了したと判定した場合（ＹＥＳ）、指示オブジェクト配置処理を終了する。
【0105】
なお、判定オブジェクトの配置と最初に出現する移動オブジェクトの配置との順番は同時でもよいし、判定オブジェクトの方が先でもよいし、逆に判定オブジェクトの方が後（最初に出現した移動オブジェクトが判定位置に到達するまでの間）でもよい。
【0106】
〔第２の実施形態のまとめ〕
以上説明したように、本実施形態に係るゲーム装置１０Ａは、実空間を撮像した撮像映像からユーザＵに対応する虚像（像の一例）であるユーザ像ＵＫをさらに検出する。そして、ゲーム装置１０Ａは、仮想空間内の、ユーザＵに対応するユーザ像ＵＫの基準位置Ｋ２に基づく位置に、ユーザＵの動作を指示する指示オブジェクトをユーザに視認可能に配置する。
以上説明したように、本実施形態に係るゲーム装置１０Ａは、実空間を撮像した撮像映像からユーザＵに対応する虚像（像の一例）であるユーザ像ＵＫをさらに検出する。そして、ゲーム装置１０Ａは、仮想空間内の、ユーザＵに対応するユーザ像ＵＫの基準位置Ｋ２に基づく位置に、ユーザＵの動作を指示する指示オブジェクトをユーザに視認可能に配置する。
【0107】
これにより、ゲーム装置１０Ａは、頭部に装着することで、ユーザＵの動作を指示する指示オブジェクトを、例えば鏡ＭＲに映っているユーザＵの虚像（ユーザ像ＵＫ）の周囲に表示させることができるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。例えば、ゲーム装置１０Ａは、指示オブジェクトを配置する位置を仮想空間内の一部に制限なくともユーザ像ＵＫの周囲（例えば、前後左右）に表示される指示オブジェクトを同時に俯瞰して視認可能となるため、プレイ中にユーザＵに指示する動作の種類を多様化することができる。また、ゲーム装置１０Ａは、ユーザＵが下方に存在する自身の足と指示オブジェクトを見なくとも、ユーザＵに対面する鏡ＭＲの方向を見ながらプレイすることできるため、踊りにくくならないようにすることができる。また、ゲーム装置１０Ａは、ゲームをプレイするユーザＵの周囲と、例えば鏡ＭＲに映っているユーザの虚像（ユーザ像ＵＫ）の周囲とのそれぞれに指示オブジェクトを表示させることで、ユーザがそれぞれの指示オブジェクトのうちプレイしやすい方を任意に選択しながらプレイできるようにすることができる。
【0108】
なお、鏡ＭＲは、鏡の効果（鏡面反射）を有するものであれば、鏡以外であってもよい。例えば、夜間（屋外が暗い状態）に部屋を明るくして窓ガラスに対面する場所でユーザＵがプレイすることにより、窓ガラスを鏡ＭＲとして、窓ガラスに映るユーザＵの虚像を利用してもよい。
【0109】
また、ゲーム装置１０Ａは、仮想空間内の基準位置Ｋ２に基づく位置（ユーザ像ＵＫの周囲）に指示オブジェクトを配置する際に、基準位置Ｋ２に対する前後の向きを反転させる。これにより、ゲーム装置１０Ａは、鏡ＭＲに映っているユーザ像ＵＫの向きに対応して指示オブジェクトを表示できるため、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0110】
なお、ゲーム装置１０Ａは、仮想空間内の基準位置Ｋ２に基づく位置（ユーザ像ＵＫの周囲）に指示オブジェクトを配置する際に、基準位置Ｋ１に基づく位置（ユーザＵの周囲）に配置する指示オブジェクトの視認度を低減してもよい。例えば、ゲーム装置１０Ａは、基準位置Ｋ１に基づく位置に配置する指示オブジェクトを半透明にしたり縮小したりするなど、視認度を低減した目立ちにくい表示態様としても良い。また、ゲーム装置１０Ａは、仮想空間内の基準位置Ｋ２に基づく位置（ユーザ像ＵＫの周囲）に指示オブジェクトを配置する際に、基準位置Ｋ１に基づく位置（ユーザＵの周囲）に指示オブジェクトを配置しなくてもよい。
【0111】
これにより、ゲーム装置１０Ａは、ユーザＵの周囲に表示される指示オブジェクトによって鏡ＭＲに表示された指示オブジェクトが隠れてしまわないようにすることができるため、指示オブジェクトの視認性を向上させることができる。
【0112】
なお、本実施形態では、ユーザＵが鏡ＭＲに映るユーザ像ＵＫ（自身の虚像）に対応付けて仮想空間に指示オブジェクトを配置する態様を説明したが、鏡ＭＲに代えて、モニタ（表示装置）に表示されているユーザＵの映像に対応付けて仮想空間に指示オブジェクトを配置する態様としてもよい。例えば、ゲーム装置１０Ａは、実空間におけるユーザＵを撮像するカメラ（撮像装置）と、撮像された映像をリアルタイムに表示するモニタ（表示装置）とをユーザＵの対面側にさらに備え、当該カメラで撮像したユーザＵの映像をモニタに表示する。そして、ゲーム装置１０Ａは、鏡ＭＲに映るユーザ像ＵＫ（自身の虚像）に代えて、モニタに表示されている映像からユーザＵの映像を検出し、検出したユーザＵの映像に対応付けて、仮想空間に指示オブジェクトを配置してもよい。この場合、モニタに表示されているユーザＵの映像の位置が基準位置となる。なお、モニタに表示されるユーザＵの映像は、ユーザＵが鏡ＭＲに映るユーザ像ＵＫに対して左右の向きが逆になる。そのため、ゲーム装置１０Ａは、モニタに表示されるユーザＵの映像対応付けて配置する指示オブジェクトは、ユーザＵに対応付けて配置する指示オブジェクトに対して前後の向きに加えて左右の向き反転させる。
【0113】
また、本実施形態における鏡ＭＲを利用して指示オブジェクトを配置するゲームモード、及び上記のモニタを利用して指示オブジェクトを配置するゲームモード、及び第１の実施形態で説明した、鏡及びモニタのどちらも利用しないで指示オブジェクトを配置するゲームモード（ゲーム装置１０によるゲーム処理のモード）は、それぞれで指示オブジェクトの表示態様（指示オブジェクトを配置する際の基準位置や、前後または左右を反転させるか否か、など）が異なる。そのため、これらのゲームモードのうち２以上のゲームモードを有する場合（例えば、ゲーム装置１０の構成とゲーム装置１０Ａの構成とを組み合わせた場合）、ダンスゲームの開始前に事前にユーザがどのモードを利用するのかを選択可能な構成としてもよい。そのようにすれば、鏡ＭＲに映っているユーザ像ＵＫやモニタに表示されているユーザＵの映像の検出をスムーズに行うことができ、また誤認識も軽減できる。
【0114】
［第３の実施形態］
次に、本発明の第３の実施形態について説明する。
上記第１及び第２の実施形態では、ゲーム装置１０（１０Ａ）が透過型ＨＭＤとして完結した一つの装置として構成されている例を説明したが、透過型ＨＭＤと有線または無線で接続される別の装置として構成されてもよい。
次に、本発明の第３の実施形態について説明する。
上記第１及び第２の実施形態では、ゲーム装置１０（１０Ａ）が透過型ＨＭＤとして完結した一つの装置として構成されている例を説明したが、透過型ＨＭＤと有線または無線で接続される別の装置として構成されてもよい。
【0115】
図１２は、本実施形態に係るゲーム装置１０Ｃを含むゲームシステムのハードウェア構成の一例を示すブロック図である。ゲーム装置１０Ｃは、映像出力装置を含まない構成である。図示するゲームシステム１Ｃは、ゲーム装置１０Ｃと、映像出力装置としてのＨＭＤ２０Ｃとを備えている。例えば、ＨＭＤ２０Ｃは、透過型ＨＭＤである。
【0116】
ＨＭＤ２０Ｃは、撮像部２１Ｃと、表示部２２Ｃと、センサ２３Ｃと、記憶部２４Ｃと、ＣＰＵ２５Ｃと、通信部２６Ｃと、音出力部２７Ｃとを備えている。撮像部２１Ｃ、表示部２２Ｃ、センサ２３Ｃ、及び音出力部２７Ｃのそれぞれは、図３に示す撮像部１１、表示部１２、センサ１３、及び音出力部１７のそれぞれに対応する。記憶部２４Ｃは、撮像部２１Ｃが撮像した撮像映像のデータやゲーム装置１０Ｃから取得した表示データ等を一時的に記憶する。また、記憶部２４Ｃは、ＨＭＤ２０Ｃの制御に必要なプログラムなどを記憶する。ＣＰＵ２５Ｃは、ＨＭＤ２０Ｃが備える各部を制御する制御中枢として機能する。通信部２６Ｃは、有線または無線通信を用いてゲーム装置１０Ｃと通信する。ＨＭＤ２０Ｃは、撮像部２１Ｃが撮像した撮像映像及びセンサ２３Ｃの検知信号などを、通信部２６Ｃを介してゲーム装置１０Ｃへ送信する。また、ＨＭＤ２０Ｃは、ダンスゲームの表示データや音データなどを、通信部２６Ｃを介してゲーム装置１０Ｃから取得する。
【0117】
ゲーム装置１０Ｃは、記憶部１４Ｃと、ＣＰＵ１５Ｃと、通信部１６Ｃとを備えている。記憶部１４Ｃは、ダンスゲームのプログラムやデータ、生成された仮想空間のデータ等を記憶する。ＣＰＵ１５Ｃは、ゲーム装置１０Ｃが備える各部を制御する制御中枢として機能する。例えば、ＣＰＵ１５Ｃは、記憶部１４Ｃに記憶されたゲームのプログラムを実行することで、ゲーム処理を実行し、実空間に対応する仮想空間を撮像映像から生成する処理、生成した仮想空間に指示オブジェクトを配置する処理、ユーザの動作を検出して指示オブジェクトのタイミング及び位置に基づいて評価する処理などを実行する。通信部１６Ｃは、有線または無線通信を用いてＨＭＤ２０Ｃと通信する。ゲーム装置１０Ｃは、ＨＭＤ２０Ｃの撮像部２１Ｃが撮像した撮像映像及びセンサ２３Ｃの検知信号などを、通信部１６Ｃを介して取得する。また、ゲーム装置１０Ｃは、ダンスゲームの表示データや音データなどを、通信部１６Ｃを介してＨＭＤ２０Ｃへ送信する。
【0118】
図１３は、本実施形態に係るゲーム装置１０Ｃの機能構成の一例を示すブロック図である。図示するゲーム装置１０Ｃは、記憶部１４Ｃに記憶されているプログラムをＣＰＵ１５Ｃが実行することにより実現される機能構成として、制御部１５０Ｃを備えている。制御部１５０Ｃは、通信部１６Ｃを介して、ＨＭＤ２０Ｃが備える各部（撮像部２１Ｃ、表示部２２Ｃ、センサ２３Ｃ、及び音出力部２７など）とデータをやり取りする点を除いて、図４に示す制御部１５０または図１０に示す制御部１５０Ａの構成と同様である。
【0119】
このように、ゲーム装置１０Ｃは、外部装置としてのＨＭＤ２０と通信する別の装置として構成されてもよい。なお、ゲーム装置１０Ｃは、例えば、スマートフォン、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用のゲーム機などを適用することができる。
【0120】
［第４の実施形態］
次に、本発明の第４の実施形態について説明する。
上記第１～第３の実施形態では、頭部に装着するＨＭＤを用いる態様を説明したが、本実施形態ではＨＭＤを用いない態様について説明する。
次に、本発明の第４の実施形態について説明する。
上記第１～第３の実施形態では、頭部に装着するＨＭＤを用いる態様を説明したが、本実施形態ではＨＭＤを用いない態様について説明する。
【0121】
図１４は、本実施形態に係るゲーム装置によるゲーム処理の概要を示す図である。この図は、ユーザＵがゲーム装置１０Ｄを用いてダンスゲームをプレイするプレイ状況を俯瞰して示している。図示するゲーム装置１０Ｄは、一例としてスマートフォンを適用した例である。本実施形態では、ゲーム装置１０Ｄが備えているフロントカメラ１１ＤＡにより撮像されたユーザＵの映像に対応付けて、仮想空間に配置した指示オブジェクトをゲーム装置１０Ｄの表示部１２Ｄまたはモニタ３０Ｄに表示することで、ユーザは、直感的なプレイが可能となる。モニタ３０Ｄは、ゲーム装置１０Ｄと有線または無線で接続可能な外部の表示部（表示装置）である。例えば、モニタ３０Ｄは、ゲーム装置１０Ｄに設けられている表示部１２Ｄよりも大画面のディスプレイを有するものが利用される。
【0122】
ゲーム装置１０Ｄは、ユーザＵを撮像した撮像映像からユーザＵの映像領域を認識する。そして、ゲーム装置１０Ｄは、仮想空間におけるユーザＵの位置に対応する基準位置Ｋ３を定義し、基準位置Ｋ３に基づく位置に指示オブジェクトを配置した仮想空間（ＸＹＺの３次元空間）データを生成して、撮像映像に重畳して表示させる。なお、基準位置Ｋ３は、ユーザＵの頭部の中心に相当する位置でもよいし、ユーザＵの重心に相当する位置でもよく、任意の位置に定義することができる。
【0123】
図示する例では、ゲーム装置１０Ｄの表示部１２Ｄにも表示しているが、ゲーム装置１０Ｄよりも大画面のモニタ３０Ｄにも表示することで、ユーザＵに対する指示オブジェクトの視認性がより高くなる。モニタ３０Ｄの表示画面を参照して説明する。ユーザ映像ＵＶは、撮像映像に含まれるユーザＵの映像を示している。ユーザ映像ＵＶの周囲には、仮想空間においてユーザＵの基準位置Ｋ３に基づく位置に配置された指示オブジェクトが撮像映像に重畳された映像が表示される。
【0124】
例えば、フロントカメラ１１ＤＡで撮像された撮像映像は、鏡と同様に左右反転した映像とすることができる。モニタ３０Ｄの画面に向かってユーザ映像ＵＶの右側にはユーザＵの右方への動作を指示する判定オブジェクトＨＲ及び移動オブジェクトＮＲが表示され、ユーザ映像ＵＶの左側にはユーザＵの左方への動作を指示する判定オブジェクトＨＬ及び移動オブジェクトＮＬが表示される。また、モニタ３０Ｄの画面に向かってユーザ映像ＵＶの手前側にはユーザＵの前方への動作を指示する判定オブジェクトＨＦ及び移動オブジェクトＮＦが表示され、ユーザ映像ＵＶの後ろ側にはユーザＵの後方への動作を指示する判定オブジェクトＨＢ及び移動オブジェクトＮＢが表示される。
【0125】
このように、本実施形態では、図８に示す鏡ＭＲに映ったユーザ像ＵＫの周囲に指示オブジェクトを表示させる場合と同様に、仮想空間に配置した指示オブジェクトをユーザＵの映像に対応付けて表示させることができるため、直感的なプレイが可能なようにユーザが動作すべき内容を案内することが可能となる。
【0126】
なお、この指示オブジェクトの表示は、ゲーム装置１０Ｄとモニタ３０Ｄとのいずれか一方への表示としてもよい。
【0127】
〔ゲーム装置１０Ｄのハードウェア構成〕
図１５を参照して、ゲーム装置１０Ｄのハードウェア構成について説明する。
図１５は、本実施形態に係るゲーム装置１０Ｄのハードウェア構成の一例を示すブロック図である。ゲーム装置１０Ｄは、フロントカメラ１１ＤＡ及びバックカメラ１１ＤＢの２つの撮像部と、表示部１２Ｄと、センサ１３Ｄと、記憶部１４Ｄと、ＣＰＵ１５Ｄと、通信部１６Ｄと、音出力部１７Ｄと、映像出力部１８Ｄとを備えている。
図１５を参照して、ゲーム装置１０Ｄのハードウェア構成について説明する。
図１５は、本実施形態に係るゲーム装置１０Ｄのハードウェア構成の一例を示すブロック図である。ゲーム装置１０Ｄは、フロントカメラ１１ＤＡ及びバックカメラ１１ＤＢの２つの撮像部と、表示部１２Ｄと、センサ１３Ｄと、記憶部１４Ｄと、ＣＰＵ１５Ｄと、通信部１６Ｄと、音出力部１７Ｄと、映像出力部１８Ｄとを備えている。
【0128】
フロントカメラ１１ＤＡは、ゲーム装置１０Ｄの表示部１２Ｄが設けられている面（表面）側に設けられており、表示部１２Ｄに対面する方向を撮像する。バックカメラ１１ＤＢは、ゲーム装置１０Ｄの表示部１２Ｄが設けられている面の反対面（背面）側に設けられており、当該背面に対面する方向を撮像する。
【0129】
表示部１２Ｄは、液晶ディスプレイ、有機ＥＬディスプレイなどを含んで構成される。例えば、表示部１２Ｄは、表示画面に対するタッチ操作を検知するタッチパネルとして構成されてもよい。
【0130】
センサ１３Ｄは、ゲーム装置１０Ｄの方向に関する検知信号を出力するセンサである。例えば、センサ１３Ｄには、ジャイロセンサ、加速度センサ、傾斜センサ、地磁気センサ等のいずれか一つ又は複数のセンサが含まれてもよい。
【0131】
記憶部１４Ｄは、例えば、ＥＥＰＲＯＭ、ＲＯＭ、Ｆｌａｓｈ ＲＯＭ、ＲＡＭなどを含み、このダンスゲームのプログラムやデータ、生成された仮想空間のデータ等を記憶する。
【0132】
ＣＰＵ１５Ｄは、ゲーム装置１０Ｄが備える各部を制御する制御中枢として機能する。例えば、ＣＰＵ１５Ｄは、記憶部１４Ｄに記憶されたゲームのプログラムを実行することで、ゲーム処理を実行し、図１４を参照して説明したように、ユーザＵが撮像された撮像映像に、仮想空間に配置した指示オブジェクトを重畳して表示させる処理などを実行する。
【0133】
通信部１６Ｄは、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ－Ｆｉ（登録商標）等の無線通信を行う通信デバイス等を含んで構成されている。
【0134】
音出力部１７Ｄは、ダンスゲームのプレイ楽曲の演奏音やゲームの効果音などを出力する。例えば、音出力部１７は、スピーカや、イヤフォン及びヘッドフォンなどが接続されるフォン端子などを含んで構成されている。
【0135】
映像出力部１８Ｄは、表示部１２Ｄに表示させる映像を外部の表示装置（例えば、図１４に示すモニタ３０Ｄ）に出力する映像出力端子を含んで構成されている。映像出力端子としては、映像出力以外の出力も含む兼用端子でもよいし、映像出力専用の端子でもよい。
【0136】
〔ゲーム装置１０Ｄの機能構成〕
次に、図１６を参照して、ゲーム装置１０Ｄの機能構成について説明する。
図１６は、本実施形態に係るゲーム装置１０Ｄの機能構成の一例を示すブロック図である。図示するゲーム装置１０Ｄは、記憶部１４Ｄに記憶されているプログラムをＣＰＵ１５Ｄが実行することにより実現される機能構成として、制御部１５０Ｄを備えている。制御部１５０Ｄは、映像取得部１５１Ｄと、仮想空間生成部１５２Ｄと、ユーザ検出部１５３Ｄと、オブジェクト配置部１５４Ｄと、表示制御部１５６Ｄと、動作検出部１５７Ｄと、評価部１５８Ｄとを備えている。
次に、図１６を参照して、ゲーム装置１０Ｄの機能構成について説明する。
図１６は、本実施形態に係るゲーム装置１０Ｄの機能構成の一例を示すブロック図である。図示するゲーム装置１０Ｄは、記憶部１４Ｄに記憶されているプログラムをＣＰＵ１５Ｄが実行することにより実現される機能構成として、制御部１５０Ｄを備えている。制御部１５０Ｄは、映像取得部１５１Ｄと、仮想空間生成部１５２Ｄと、ユーザ検出部１５３Ｄと、オブジェクト配置部１５４Ｄと、表示制御部１５６Ｄと、動作検出部１５７Ｄと、評価部１５８Ｄとを備えている。
【0137】
映像取得部１５１Ｄ（取得部の一例）は、フロントカメラ１１ＤＡにより撮像された実空間の撮像映像を取得する。例えば、映像取得部１５１Ｄは、図１４に示すように、ダンスゲームをプレイするユーザＵが含まれる撮像映像を取得する。
【0138】
仮想空間生成部１５２Ｄ（生成部の一例）は、映像取得部１５１Ｄが取得した撮像映像から実空間に対応する仮想空間を生成する。例えば、仮想空間生成部１５２Ｄは、取得した撮像映像から実空間に存在する物体（床や、壁など）の位置を検出し、検出した物体（床や、壁など）の少なくとも一部の位置情報を含む３次元座標空間のデータを仮想空間のデータとして生成する。一例として、仮想空間生成部１５２Ｄは、このダンスゲームのプレイ開始時点でのイニシャライズで、ユーザ検出部１５３Ｄにより撮像映像から検出されたユーザＵに対応する基準位置Ｋ３が、仮想空間（ＸＹＺの３次元座標空間）の座標原点として定義して、仮想空間データを生成する。プレイ中は、基準位置Ｋ３（座標原点）及びＸ軸、Ｙ軸及びＺ軸は固定となる。仮想空間生成部１５２Ｄは、生成した仮想空間データを記憶部１４Ｄに記憶させる。
【0139】
ユーザ検出部１５３Ｄは、映像取得部１５１Ｄが取得した撮像映像からユーザＵの映像を検出する。この検出は、撮像映像から検出された人物の映像がダンスゲームをプレイするユーザＵの映像であることを認識する必要がある。ユーザＵの映像であることを認識する方法としては、例えば、ユーザＵの身体などに識別可能なマーカー（印、標識など）を付け、ユーザ検出部１５３Ｄは、このマーカーを撮像映像から検出することにより、ユーザＵの映像であることを認識してもよい。また、ユーザＵに対して特定の動作（例えば、右手を上げ下げするなど）を指示することにより、ユーザ検出部１５３Ｄは、その指示に応じた動作をする人物を撮像映像から検出することにより、ユーザＵの映像であることを認識してもよい。
【0140】
オブジェクト配置部１５４Ｄ（配置部の一例）は、仮想空間内の、ユーザＵに対応する基準位置Ｋ３に基づく位置に、指示オブジェクトをユーザＵに視認可能に配置する。具体的には、オブジェクト配置部１５４Ｄは、床の位置に対応する仮想空間内の判定位置に判定オブジェクト（図１４の判定オブジェクトＨＦ、ＨＢ、ＨＲ、ＨＬ参照）を配置する。また、オブジェクト配置部１５４Ｄは、楽曲に合わせて予め設定されたタイミングで移動オブジェクト（図１４の移動オブジェクトＮＦ、ＮＢ、ＮＲ、ＮＬ参照）を仮想空間内の出現位置に配置し、上記判定オブジェクトへ向かって移動（配置する位置を変更）させる。オブジェクト配置部１５４Ｄは、指示オブジェクト（判定オブジェクト及び移動オブジェクト）を配置する際に、仮想空間内の配置する位置の座標情報に基づいて、記憶部１４Ｄに記憶されている仮想空間データを更新する。
【0141】
表示制御部１５６Ｄは、映像取得部１５１Ｄが取得した撮像映像とオブジェクト配置部１５４Ｄにより仮想空間内に配置された指示オブジェクトの映像とを合成した合成映像を生成する。そして、表示制御部１５６Ｄは、生成した合成映像を表示部１２Ｄに表示させる。また、表示制御部１５６Ｄは、生成した合成映像を映像出力部１８Ｄから出力する。例えば、表示制御部１５６Ｄは、生成した合成映像を左右反転させて表示部１２Ｄに表示させる。同様に、表示制御部１５６Ｄは、生成した合成映像を左右反転させて映像出力部１８Ｄから出力する。
【0142】
動作検出部１５７Ｄ（検出部の一例）は、映像取得部１５１Ｄが取得した撮像映像からユーザＵの身体の少なくとも一部の動作を検出する。例えば、動作検出部１５７Ｄは、ダンスゲームをプレイするユーザＵの足の動作を検出する。動作検出部１５７Ｄは、撮像映像の各フレームから足の映像領域を抽出してトラッキングすることにより足の動作を検出する。
【0143】
評価部１５８Ｄは、動作検出部１５７Ｄにより検出されたユーザＵの身体の少なくとも一部の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。例えば、評価部１５８Ｄは、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザＵの足の動作（判定オブジェクトを踏む動作）のタイミングと位置とを比較し、ユーザＵの動作によるプレイを評価する。評価部１５８Ｄは、比較結果に基づいて両者のタイミングと位置が一致すると判定できる場合には得点（スコア）を加算し、一致しないと判定できる場合には得点を加算スコア）をしない。
【0144】
なお、評価部１５８Ｄは、移動オブジェクトが判定オブジェクトへ到達したタイミングでのユーザＵの足の位置を判定オブジェクトの位置と比較することで、ユーザＵの動作によるプレイを評価してもよい。
【0145】
〔指示オブジェクト配置処理の動作〕
次に、ゲーム装置１０ＤのＣＰＵ１５Ｄが実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。図１７は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
次に、ゲーム装置１０ＤのＣＰＵ１５Ｄが実行するダンスゲームの処理において、仮想空間を生成して指示オブジェクトを配置する指示オブジェクト配置処理の動作について説明する。図１７は、本実施形態に係る指示オブジェクト配置処理の一例を示すフローチャートである。
【0146】
まず、ＣＰＵ１５Ｄは、フロントカメラ１１ＤＡにより撮像された実空間の撮像映像を取得する（ステップＳ５０１）。例えば、ＣＰＵ１５は、図１４に示すように、ダンスゲームをプレイするユーザＵが含まれる撮像映像を取得する。
【0147】
次に、ＣＰＵ１５Ｄは、ステップＳ５０１で取得した撮像映像から、ダンスゲームをプレイするユーザＵの映像を検出する（ステップＳ５０３）。
【0148】
次に、ＣＰＵ１５Ｄは、ステップＳ５０１で取得した撮像映像から実空間に対応する仮想空間を生成する（ステップＳ５０５）。例えば、ＣＰＵ１５Ｄは、撮像映像から実空間に存在する物体（床や、壁など）の位置を検出し、検出した物体（床や、壁など）の少なくとも一部の位置情報を含む３次元座標空間のデータを仮想空間のデータとして生成する。一例として、ＣＰＵ１５Ｄは、ユーザ検出部１５３Ｄにより撮像映像から検出されたユーザＵに対応する基準位置Ｋ３を座標原点とした仮想空間（３次元座標空間）内に、検出した物体（床や、壁など）の少なくとも一部の位置情報を含む仮想空間データを生成する。そして、ＣＰＵ１５Ｄは、生成した仮想空間データを記憶部１４Ｄに記憶させる。
【0149】
続いて、ＣＰＵ１５Ｄは、ダンスゲームのプレイ開始時点或いは開始の前に、床の位置に対応する仮想空間内の基準位置Ｋ３に基づく判定位置に判定オブジェクト（図１４の判定オブジェクトＨＦ、ＨＢ、ＨＲ、ＨＬ参照）を配置する（ステップＳ５０７）。ＣＰＵ１５Ｄは、判定オブジェクトを配置する際に、記憶部１４Ｄに記憶されている仮想空間データに、配置した判定オブジェクトの位置情報を追加する。
【0150】
また、ＣＰＵ１５Ｄは、ダンスゲームのプレイが開始されると、移動オブジェクトの出現トリガの有無を判定する（ステップＳ５０９）。出現トリガは、楽曲に合わせて予め設定されたタイミングで発生する。ＣＰＵ１５Ｄは、ステップＳ５０９において出現トリガがあったと判定した場合（ＹＥＳ）、ステップＳ５１１の処理へ進む。
【0151】
ステップＳ５１１において、ＣＰＵ１５Ｄは、仮想空間内の基準位置Ｋ３に基づく出現位置に移動オブジェクト（図１４の移動オブジェクトＮＦ、ＮＢ、ＮＲ、ＮＬのいずれか一つまたは複数）を配置し、判定位置（各移動オブジェクトに対応する判定オブジェクトの位置）へ向かって移動を開始させる。ＣＰＵ１５Ｄは、移動オブジェクトを配置する際に、記憶部１４Ｄに記憶されている仮想空間データに、配置した移動オブジェクトの位置情報を追加する。また、ＣＰＵ１５Ｄは、配置した移動オブジェクトを移動させる際に、記憶部１４Ｄに記憶されている仮想空間データに追加した移動オブジェクトの位置情報を更新する。そして、ステップＳ５１３の処理へ進む。一方、ＣＰＵ１５Ｄは、ステップＳ５０９において出現トリガが無いと判定した場合（ＮＯ）、ステップＳ５１１の処理を行わずに、ステップＳ５１３の処理へ進む。
【0152】
ステップＳ５１３において、ＣＰＵ１５Ｄは、移動オブジェクトが判定位置に到達したか否かを判定する。ＣＰＵ１５Ｄは、判定位置に到達したと判定（ＹＥＳ）した移動オブジェクトを仮想空間から消去する（ステップＳ５１５）。ＣＰＵ１５Ｄは、移動オブジェクトを仮想空間から消去する際に、消去する移動オブジェクトの位置情報を記憶部１４Ｄに記憶されている仮想空間データから削除する。
【0153】
一方、ＣＰＵ１５Ｄは、判定位置に到達していないと判定（ＮＯ）した移動オブジェクトは引き続き判定位置へ向かって徐々に移動させる（ステップＳ５１７）。ＣＰＵ１５Ｄは、移動オブジェクトを移動させる際に、記憶部１４Ｄに記憶されている仮想空間データのうち、移動させる移動オブジェクトの位置情報を更新する。
【0154】
次に、ＣＰＵ１５Ｄは、ダンスゲームが終了したか否かを判定する（ステップＳ５１９）。例えば、ＣＰＵ１５Ｄは、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。ＣＰＵ１５Ｄは、ダンスゲームが終了していないと判定した場合（ＮＯ）、ステップＳ５０９の処理に戻る。一方、ＣＰＵ１５Ｄは、ダンスゲームが終了したと判定した場合（ＹＥＳ）、指示オブジェクト配置処理を終了する。
【0155】
なお、判定オブジェクトの配置と最初に出現する移動オブジェクトの配置との順番は同時でもよいし、判定オブジェクトの方が先でもよいし、逆に判定オブジェクトの方が後（最初に出現した移動オブジェクトが判定位置に到達するまでの間）でもよい。
【0156】
〔指示オブジェクト表示処理の動作〕
次に、ゲーム装置１０ＤのＣＰＵ１５Ｄが実行するダンスゲームの処理において、仮想空間に配置された指示オブジェクトを表示する指示オブジェクト表示処理の動作について説明する。本実施形態では、指示オブジェクトは、ユーザＵが撮像された撮像映像に指示オブジェクトが重畳された合成映像として表示される。
図１８は、本実施形態に係る指示オブジェクト表示処理の一例を示すフローチャートである。
次に、ゲーム装置１０ＤのＣＰＵ１５Ｄが実行するダンスゲームの処理において、仮想空間に配置された指示オブジェクトを表示する指示オブジェクト表示処理の動作について説明する。本実施形態では、指示オブジェクトは、ユーザＵが撮像された撮像映像に指示オブジェクトが重畳された合成映像として表示される。
図１８は、本実施形態に係る指示オブジェクト表示処理の一例を示すフローチャートである。
【0157】
ＣＰＵ１５Ｄは、フロントカメラ１１ＤＡにより撮像された実空間の撮像映像を取得するとともに、仮想空間データを記憶部１４Ｄから取得する（ステップＳ６０１）。
【0158】
そして、ＣＰＵ１５Ｄは、取得した撮像映像と仮想空間データに含まれる指示オブジェクトとを合成した合成映像を生成し、生成した合成映像を表示部１２Ｄに表示させる（ステップＳ６０３）。また、ＣＰＵ１５Ｄは、生成した合成映像を映像出力部１８Ｄへ出力し、映像出力部１８Ｄに接続されているモニタ３０Ｄに表示させる（ステップＳ６０３）。これにより、ユーザＵが撮像された撮像映像に指示オブジェクトが重畳された合成映像がリアルタイムに表示部１２Ｄ及びモニタ３０Ｄに表示される。なお、ＣＰＵ１５Ｄは、表示部１２Ｄ及びモニタ３０Ｄのいずれか一方に合成映像を表示させてもよい。
【0159】
次に、ＣＰＵ１５Ｄは、ダンスゲームが終了したか否かを判定する（ステップＳ６０５）。例えば、ＣＰＵ１５Ｄは、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。ＣＰＵ１５Ｄは、ダンスゲームが終了していないと判定した場合（ＮＯ）、ステップＳ６０１の処理に戻る。一方、ＣＰＵ１５Ｄは、ダンスゲームが終了したと判定した場合（ＹＥＳ）、指示オブジェクト表示処理を終了する。
【0160】
〔プレイ評価処理の動作〕
次に、ゲーム装置１０ＤのＣＰＵ１５Ｄが実行するダンスゲームの処理において、ユーザＵの身体の少なくとも一部の動作によるプレイを評価するプレイ評価処理の動作について説明する。図１９は、本実施形態に係るプレイ評価処理の一例を示すフローチャートである。
次に、ゲーム装置１０ＤのＣＰＵ１５Ｄが実行するダンスゲームの処理において、ユーザＵの身体の少なくとも一部の動作によるプレイを評価するプレイ評価処理の動作について説明する。図１９は、本実施形態に係るプレイ評価処理の一例を示すフローチャートである。
【0161】
ＣＰＵ１５Ｄは、フロントカメラ１１ＤＡにより撮像された実空間の撮像映像を取得する（ステップＳ７０１）。次に、ＣＰＵ１５Ｄは、ステップＳ７０１で取得した撮像映像からユーザＵの身体の少なくとも一部の動作を検出する（ステップＳ７０３）。例えば、ＣＰＵ１５Ｄは、ダンスゲームをプレイするユーザＵの足の動作を検出する。
【0162】
そして、ＣＰＵ１５Ｄは、ステップＳ７０３において検出されたユーザＵの身体の少なくとも一部（例えば、足）の動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する（ステップＳ７０５）。例えば、ＣＰＵ１５Ｄは、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザＵの足の動作（判定オブジェクトを踏む動作）のタイミングと位置とを比較し、ユーザＵの足の動作によるプレイを評価する。
【0163】
また、ＣＰＵ１５Ｄは、ステップＳ７０５における評価結果に基づいて、ゲームの得点（スコア）を更新する（ステップＳ７０７）。例えば、ＣＰＵ１５Ｄは、移動オブジェクトが判定オブジェクトへ到達したタイミング及び位置と、ユーザＵの足の動作（判定オブジェクトを踏む動作）のタイミングと位置とが一致すると判定できる場合には得点（スコア）を加算し、一致しないと判定できる場合には得点（スコア）を加算しない。
【0164】
次に、ＣＰＵ１５Ｄは、ダンスゲームが終了したか否かを判定する（ステップＳ７０９）。例えば、ＣＰＵ１５Ｄは、プレイ中の楽曲が終了した場合にダンスゲームが終了したと判定する。ＣＰＵ１５Ｄは、ダンスゲームが終了していないと判定した場合（ＮＯ）、ステップＳ７０１の処理に戻る。一方、ＣＰＵ１５Ｄは、ダンスゲームが終了したと判定した場合（ＹＥＳ）、プレイ評価処理を終了する。
【0165】
〔第４の実施形態のまとめ〕
以上説明したように、本実施形態に係るゲーム装置１０Ｄは、実空間を撮像した撮像映像を取得し、取得した撮像映像から実空間に対応する仮想空間を生成する。そして、ゲーム装置１０Ｄは、生成した仮想空間内の、ユーザに対応する基準位置Ｋ３に基づく位置に、ユーザＵの動作を指示する指示オブジェクトをユーザＵに視認可能に配置し、撮像映像と仮想空間内に配置された指示オブジェクトの映像とを合成した合成映像を表示部１２Ｄ（表示部の一例）に表示させる。なお、ゲーム装置１０Ｄは、上記合成映像をモニタ３０Ｄ（表示部の一例）に表示させてもよい。また、ゲーム装置１０Ｄは、取得した撮像映像からユーザＵの身体の少なくとも一部の動作を検出し、検出された動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。
以上説明したように、本実施形態に係るゲーム装置１０Ｄは、実空間を撮像した撮像映像を取得し、取得した撮像映像から実空間に対応する仮想空間を生成する。そして、ゲーム装置１０Ｄは、生成した仮想空間内の、ユーザに対応する基準位置Ｋ３に基づく位置に、ユーザＵの動作を指示する指示オブジェクトをユーザＵに視認可能に配置し、撮像映像と仮想空間内に配置された指示オブジェクトの映像とを合成した合成映像を表示部１２Ｄ（表示部の一例）に表示させる。なお、ゲーム装置１０Ｄは、上記合成映像をモニタ３０Ｄ（表示部の一例）に表示させてもよい。また、ゲーム装置１０Ｄは、取得した撮像映像からユーザＵの身体の少なくとも一部の動作を検出し、検出された動作を、仮想空間内に配置された指示オブジェクトに基づくタイミング及び位置に基づいて評価する。
【0166】
これにより、ゲーム装置１０Ｄは、ユーザＵの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザＵの動作を評価するゲーム処理において、ユーザＵが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にゲーム装置１０Ｄ（例えば、スマートフォン）または外部接続されたモニタ３０Ｄ（例えば、家庭用テレビ）に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0167】
例えば、ゲーム装置１０Ｄは、上記合成映像を左右反転させて表示部１２Ｄまたはモニタ３０Ｄに表示させる。
【0168】
これにより、ゲーム装置１０Ｄは、ユーザＵが鏡を見ているのと同様の感覚で表示部１２Ｄまたはモニタ３０Ｄを見ながらプレイ可能なようにすることができる。
【0169】
また、ゲーム装置１０は、仮想空間内の所定の位置（出現位置）に配置した指示オブジェクト（例えば、移動オブジェクト）を所定の判定位置（例えば、判定オブジェクトの位置）へ向かって移動させる。そして、ゲーム装置１０は、仮想空間内で移動する指示オブジェクト（例えば、移動オブジェクト）が判定位置に到達したタイミングと判定位置に基づいて、撮像映像から検出されたユーザＵの身体の少なくとも一部（例えば、足）の動作を評価する。
【0170】
これにより、ゲーム装置１０Ｄは、ユーザＵが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。
【0171】
［変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせることができる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述の実施形態において説明した各構成は、任意に組み合わせることができる。
【0172】
なお、上述の各実施形態において説明した指示オブジェクトは一例であって、ユーザＵに動作を指示するものであれば、様々な態様とすることができる。例えば、指示オブジェクトの種類（態様）によってユーザＵに指示する動作の内容が異なる。例えば、移動オブジェクトの厚み（Ｚ軸方向の幅）を変えることで、移動オブジェクトの最下部が判定オブジェクトに到達してから移動オブジェクトの最上部が判定オブジェクトに到達するまでの時間が変化することから、判定オブジェクトを足で踏み続ける時間を移動オブジェクトの厚みで指示するようにしてもよい。移動オブジェクトは、移動先の判定オブジェクトの鉛直方向に出現するとは限らず、鉛直方向から外れた位置から出現してもよい。また、移動オブジェクトの移動方向及び判定オブジェクトの位置も任意に設定することができる。
【0173】
また、判定位置に判定オブジェクトが表示されなくてもよい。例えば、床面の位置が判定位置である場合、移動オブジェクトが床面に到達したタイミングと位置が、ユーザＵの動作を指示する指示内容となる。例えば、移動オブジェクトが鉛直方向ではなく斜め方向（例えば、鉛直方向に対して４５°傾いた方向）に一定の厚み（例えば、ユーザＵの身長と同程度の長さ）を有する移動オブジェクトを、鉛直方向に床面（判定位置）へ向けて移動させた場合、移動オブジェクトの最下部が床面に到達したときのＸＹ平面における位置から、移動オブジェクトの最上部が床面に到達したときのＸＹ平面における位置まで、時間の経過とともに移動オブジェクトが床面に到達する位置が変化する。よって、斜め方向に一定の厚みを有する移動オブジェクトを用いて、足で踏む位置を移動させる指示を行ってもよい。
【0174】
また、判定位置は、床面に限定されるものではなく、例えば床面から天井の間の任意の位置に設定することができる。なお、判定位置とする高さは、ユーザＵの身長を検出して、身長に応じて設定されてもよい。また、判定位置を設けずに、表示される移動オブジェクト自体がユーザＵの動作を指示するものであってもよい。例えば、移動オブジェクトが出現したときの位置または移動しているときの位置とそのタイミングとが、ユーザＵの動作を指示するものであってもよい。例えば、移動オブジェクトの移動の軌跡でユーザＵの動作の軌跡（例えば、手の動作の軌跡）を指示してもよい。
【0175】
なお、第１から第２の実施形態で説明した透過型ＨＭＤとして構成されるゲーム装置１０及びゲーム装置１０Ａに撮像部１１が備えられている構成を説明したが、撮像部１１は、ゲーム装置１０及びゲーム装置１０Ａとは別の装置として、ダンスゲームをプレイするユーザＵを撮像可能な別の場所に設置されてもよい。この場合、別の場所に設置された撮像部１１を含む装置は、ゲーム装置１０及びゲーム装置１０Ａと有線又は無線で通信接続される。また、第３の実施形態で説明したゲーム装置１０ＣとＨＭＤ２０Ｃとを備えるゲームシステム１Ｃでは、上記撮像部１１に対応する構成である撮像部２１ＣがＨＭＤ２０Ｃに備えられている構成を説明したが、撮像部２１Ｃも同様に、ＨＭＤ２０Ｃとは別の装置として、ダンスゲームをプレイするユーザＵを撮像可能な別の場所に設置されてもよい。この場合、別の場所に設置された撮像部２１Ｃを含む装置は、ＨＭＤ２０Ｃまたはゲーム装置１０Ｃと有線又は無線で通信接続される。また、撮像部２１Ｃは、ゲーム装置１０Ｃに備えられてもよい。
【0176】
また、第４の実施形態で説明したゲーム装置１０Ｄでは、撮像部として備えられているフロントカメラ１１ＤＡを用いて、ダンスゲームをプレイするユーザＵを撮像する構成を説明したが、ゲーム装置１０Ｄとは別の場所に設置された撮像部を含む装置を用いて、ユーザＵを撮像する構成としてもよい。この場合、別の場所に設置された撮像部を含む装置は、ゲーム装置１０Ｄと有線又は無線で通信接続される。
【0177】
また、上述の制御部１５０（１５０Ａ、１５０Ｃ、１５０Ｄ）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより制御部１５０（１５０Ａ、１５０Ｃ、１５０Ｄ）としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。配信サーバの記録媒体に記憶されるプログラムのコードは、端末装置で実行可能な形式のプログラムのコードと異なるものでもよい。すなわち、配信サーバからダウンロードされて端末装置で実行可能な形でインストールができるものであれば、配信サーバで記憶される形式は問わない。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に端末装置で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0178】
また、上述の制御部１５０（１５０Ａ、１５０Ｃ、１５０Ｄ）の一部または全部の機能を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0179】
また、上記実施形態では、ゲーム装置１０（１０Ａ，１０Ｃ、１０Ｄ）が備える記憶部１４（１４Ｃ、１４Ｄ）に記憶されるデータの少なくとも一部は、外部接続される記憶装置に記憶されてもよい。外部接続される記憶装置は、ゲーム装置１０（１０Ａ，１０Ｃ、１０Ｄ）と有線又は無線で接続される記憶装置である。例えば、外部接続される記憶装置は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）や、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、有線ＬＡＮなどで接続される記憶装置でもよいし、インターネットなどを介して接続される記憶装置（データサーバ）であってもよい。このインターネットなどを介して接続される記憶装置（データサーバ）は、クラウドコンピューティングを用いて利用されるものであってもよい。
【0180】
また、制御部１５０（１５０Ａ、１５０Ｃ、１５０Ｄ）が備える各部の少なくとも一部に相当する構成は、インターネットなどを介して接続されるサーバが備えてもよい。例えば、ダンスゲームなどのゲームの処理がサーバで実行される、所謂クラウドゲームに上記実施形態を適用することもできる。
【0181】
なお、上記実施形態では、音楽ゲームの一例であるダンスゲームを例に説明したが、ダンスゲームに限られるものではない。例えば、楽曲に合わせて出現するオブジェクトに対する操作を行う音楽ゲーム全般に適用することができる。また、音楽ゲーム以外にも、所定のタイミングで出現するオブジェクトに対して、パンチやキック、払い落とす、或いは武器を使用して叩くなどの操作を行うようなゲームにも適用することができる。
【0182】
［付記］
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
以上の記載から本発明は例えば以下のように把握される。なお、本発明の理解を容易にするために添付図面の参照符号を便宜的に括弧書きにて付記するが、それにより本発明が図示の態様に限定されるものではない。
【0183】
（付記Ａ１）本発明の一態様に係るゲームプログラムは、ユーザ（Ｕ）の頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置（１０、１０Ａ、２０Ｃ）を用いてプレイ可能なゲームの処理を実行するコンピュータに、前記実空間を撮像した撮像映像を取得するステップ（Ｓ１０１、Ｓ３０１、Ｓ４０１）と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ（Ｓ１０３、Ｓ４０５）と、前記仮想空間内の、前記ユーザに対応する基準位置（Ｋ１、Ｋ２）に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ（Ｓ１０５、Ｓ１０９、Ｓ４０７、Ｓ４１１）と、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップ（Ｓ２０３）と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ（Ｓ３０３）と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ（Ｓ３０５）と、を実行させる。
【0184】
付記Ａ１の構成によれば、ゲームプログラムは、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ＨＭＤなどの映像出力装置を頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0185】
（付記Ａ２）また、本発明の一態様は、付記Ａ１に記載のゲームプログラムであって、前記基準位置は、前記映像出力装置（１０、１０Ａ、２０Ｃ）を装着している前記ユーザ（Ｕ）の位置に対応する前記仮想空間内における第１基準位置（Ｋ１）を含み、前記第１基準位置は、前記仮想空間内の前記映像出力装置の位置に基づく。
【0186】
付記Ａ２の構成によれば、ゲームプログラムは、ゲームをプレイするユーザの位置を基準として、実空間に対応付けて指示オブジェクトを表示できるため、ユーザに対する動作の指示にリアリティを感じさせることができ、より直感的なプレイが可能となる。
【0187】
（付記Ａ３）また、本発明の一態様は、付記Ａ２に記載のゲームプログラムであって、前記配置するステップ（Ｓ１０５、Ｓ１０９、Ｓ４０７、Ｓ４１１）において、前記映像出力装置（１０、１０Ａ、２０Ｃ）を装着している前記ユーザ（Ｕ）の向きに応じて、前記指示オブジェクトを配置する位置を前記仮想空間内の一部に制限する。
【0188】
付記Ａ３の構成によれば、ゲームプログラムは、ユーザの視野の範囲外（例えば、後方）に対しては動作すべき指示を行わないため、ユーザはプレイ中に視野の範囲外（例えば、後方）を気にせずプレイすることができ、プレイの難易度が高くなりすぎないようにすることができる。
【0189】
（付記Ａ４）また、本発明の一態様は、付記Ａ１に記載のゲームプログラムであって、前記コンピュータに、前記撮像映像から前記ユーザ（Ｕ）に対応する像（ＵＫ）を検出するステップ（Ｓ４０３）、をさらに実行させ、前記基準位置は、前記検出された前記ユーザに対応する像の前記仮想空間内における第２基準位置（Ｋ２）を含む。
【0190】
付記Ａ４の構成によれば、ゲームプログラムは、ＨＭＤなどの映像出力装置を頭部に装着することで、ユーザの動作を指示する指示オブジェクトを、例えば鏡などに映っているユーザの虚像（ユーザ像ＵＫ）の周囲に表示させることができる、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。例えば、ゲームプログラムは、指示オブジェクトを配置する位置を仮想空間内の一部に制限しなくともユーザ像ＵＫの周囲（例えば、前後左右）に表示される指示オブジェクトを同時に俯瞰して視認可能となるため、プレイ中にユーザに指示する動作の種類を多様化することができる。また、ゲームプログラムは、ユーザが下方に存在する自身の足と指示オブジェクトを見なくともユーザの動作に対する評価が可能となるため、踊りにくくならないようにすることができる。
【0191】
（付記Ａ５）また、本発明の一態様は、付記Ａ２または付記Ａ３に記載のゲームプログラムであって、前記コンピュータに、前記撮像映像から前記ユーザ（Ｕ）に対応する（ＵＫ）を検出するステップ（Ｓ４０３）、をさらに実行させ、前記基準位置は、前記検出された前記ユーザに対応する像の前記仮想空間内における第２基準位置（Ｋ２）を含む。
【0192】
付記Ａ５の構成によれば、ゲームプログラムは、ＨＭＤなどの映像出力装置を頭部に装着することで、ユーザの動作を指示する指示オブジェクトを、例えば鏡などに映っているユーザの虚像（ユーザ像ＵＫ）の周囲に表示させることができる、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。例えば、ゲームプログラムは、指示オブジェクトを配置する位置を仮想空間内の一部に制限しなくともユーザ像ＵＫの周囲（例えば、前後左右）に表示される指示オブジェクトを同時に俯瞰して視認可能となるため、プレイ中にユーザに指示する動作の種類を多様化することができる。また、ゲームプログラムは、ユーザが下方に存在する自身の足と指示オブジェクトを見なくともユーザの動作に対する評価が可能となるため、踊りにくくならないようにすることができる。また、ゲームプログラムは、ゲームをプレイするユーザの周囲と、例えば鏡などに映っているユーザの虚像の周囲とのそれぞれに指示オブジェクトを表示させることで、ユーザがそれぞれの指示オブジェクトのうちプレイしやすい方を任意に選択しながらプレイできるようにすることができる。
【0193】
（付記Ａ６）また、本発明の一態様は、付記Ａ５に記載のゲームプログラムであって、前記配置するステップ（Ｓ１０５、Ｓ１０９、Ｓ４０７、Ｓ４１１）において、前記仮想空間内の前記第２基準位置（Ｋ２）に基づく位置に前記指示オブジェクトを配置する際に、前記第１基準位置（Ｋ１）に基づく位置に配置する前記指示オブジェクトの視認度を低減する、または前記第１基準位置（Ｋ１）に基づく位置に前記指示オブジェクトを配置しない。
【0194】
付記Ａ６の構成によれば、ゲームプログラムは、第１基準位置（例えば、基準位置Ｋ１）に基づく位置（ユーザＵの周囲）に表示される指示オブジェクトによって、第２基準位置（例えば、基準位置Ｋ２）に基づく位置（鏡ＭＲに映ったユーザの虚像の周囲）に表示された指示オブジェクトが隠れてしまわないようにすることができるため、指示オブジェクトの視認性を向上させることができる。
【0195】
（付記Ａ７）また、本発明の一態様は、付記Ａ４から付記Ａ６のいずれか一に記載のゲームプログラムであって、前記検出された前記ユーザ（Ｕ）に対応する像（ＵＫ）は、対面に存在する鏡（ＭＲ）に映った前記ユーザの像であり、前記配置するステップ（Ｓ１０５、Ｓ１０９、Ｓ４０７、Ｓ４１１）において、前記仮想空間内の前記第２基準位置（Ｋ２）に基づく位置に前記指示オブジェクトを配置する際に、前記第２基準位置に対する前後の向きを反転させる。
【0196】
付記Ａ７の構成によれば、ゲームプログラムは、鏡に映っているユーザの虚像（ユーザ像ＵＫ）の向きに対応して指示オブジェクトを表示できるため、ユーザが鏡を見ながら直感的なプレイが可能なように、ユーザが動作すべき内容を案内することができる。
【0197】
（付記Ａ８）また、本発明の一態様は、付記Ａ１から付記Ａ７のいずれか一に記載のゲームプログラムであって、前記配置するステップ（Ｓ１０５、Ｓ１０９、Ｓ４０７、Ｓ４１１）において、前記仮想空間内の所定の位置に配置した前記指示オブジェクトを所定の判定位置へ向かって移動させ、前記評価するステップ（Ｓ３０５）において、前記仮想空間内で移動する前記指示オブジェクトが前記判定位置に到達したタイミングと前記判定位置に基づいて、前記検出された動作を評価する。
【0198】
付記Ａ８の構成によれば、ゲームプログラムは、ユーザが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。
【0199】
（付記Ａ９）また、本発明の一態様は、付記Ａ１から付記Ａ８のいずれか一に記載のゲームプログラムであって、前記指示オブジェクトの種類によって前記ユーザ（Ｕ）に指示する動作の内容が異なる。
【0200】
付記Ａ９の構成によれば、ゲームプログラムは、プレイでユーザが動作する内容を多様化することができ、興趣性の高いゲームを提供できる。
【0201】
（付記Ａ１０）また、本発明の一態様に係るゲーム処理方法は、ユーザ（Ｕ）の頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置（１０、１０Ａ、２０Ｃ）を用いてプレイ可能なゲームの処理を実行するコンピュータにより実行されるゲーム処理方法であって、前記実空間を撮像した撮像映像を取得するステップ（Ｓ１０１、Ｓ３０１、Ｓ４０１）と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ（Ｓ１０３、Ｓ４０５）と、前記仮想空間内の、前記ユーザに対応する基準位置（Ｋ１、Ｋ２）に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ（Ｓ１０５、Ｓ１０９、Ｓ４０７、Ｓ４１１）と、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させるステップ（Ｓ２０３）と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ（Ｓ３０３）と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ（Ｓ３０５）と、を含む。
【0202】
付記Ａ１０の構成によれば、ゲーム処理方法は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ＨＭＤなどの映像出力装置を頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0203】
（付記Ａ１１）また、本発明の一態様に係るゲーム装置（１０、１０Ａ、１０Ｃ）は、ユーザ（Ｕ）の頭部に装着することにより、前記ユーザに視認可能に映像を出力するとともに実空間を視認可能な映像出力装置（１０、１０Ａ、２０Ｃ）を用いてプレイ可能なゲームの処理を実行するゲーム装置であって、前記実空間を撮像した撮像映像を取得する取得部（１５１、Ｓ１０１、Ｓ３０１、Ｓ４０１）と、前記取得部により取得された前記撮像映像から前記実空間に対応する仮想空間を生成する生成部（１５２、Ｓ１０３、Ｓ４０５）と、前記生成部により生成された前記仮想空間内の、前記ユーザに対応する基準位置（Ｋ１、Ｋ２）に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部（１５４、Ｓ１０５、Ｓ１０９、Ｓ４０７、Ｓ４１１）と、少なくとも前記指示オブジェクトが配置された前記仮想空間を、前記実空間に対応付けて表示させる表示制御部（１５６、Ｓ２０３）と、前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部（１５７、Ｓ３０３）と、前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部（１５８、Ｓ３０５）と、を備える。
【0204】
付記Ａ１１の構成によれば、ゲーム装置は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ＨＭＤなどの映像出力装置を頭部に装着することで、指示オブジェクトを実空間に対応付けてユーザに視認可能とするため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0205】
（付記Ｂ１）また、本発明の一態様に係るゲームプログラムは、コンピュータに、実空間を撮像した撮像映像を取得するステップ（Ｓ５０１、Ｓ７０１）と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ（Ｓ５０５）と、前記仮想空間内の、ユーザ（Ｕ）に対応する基準位置（Ｋ３）に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ（Ｓ５０７、Ｓ５１１）と、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部（１２Ｄ、３０Ｄ）に表示させるステップ（Ｓ６０３）と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ（Ｓ７０３）と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ（Ｓ７０５）と、を実行させる。
【0206】
付記Ｂ１の構成によれば、ゲームプログラムは、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ユーザが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にスマートフォンや家庭用テレビなどの表示部に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0207】
（付記Ｂ２）また、本発明の一態様は、付記Ｂ１に記載のゲームプログラムであって、前記表示させるステップ（Ｓ６０３）において、前記合成映像を左右反転させて前記表示部（１２Ｄ、３０Ｄ）に表示させる。
【0208】
付記Ｂ２の構成によれば、ゲームプログラムは、ユーザが鏡を見ているのと同様の感覚で表示部（モニタ）を見ながらプレイ可能なようにすることができる。
【0209】
（付記Ｂ３）また、本発明の一態様は、付記Ｂ１または付記Ｂ２に記載のゲームプログラムであって、前記配置するステップ（Ｓ５０７、Ｓ５１１）において、前記仮想空間内の所定の位置に配置した前記指示オブジェクトを所定の判定位置へ向かって移動させ、前記評価するステップ（Ｓ７０５）において、前記仮想空間内で移動する前記指示オブジェクトが前記判定位置に到達したタイミングと前記判定位置に基づいて、前記検出された動作を評価する。
【0210】
付記Ｂ３の構成によれば、ゲームプログラムは、ユーザが指示通りの動作をできたか否かを、撮像映像を用いて評価することができる。
【0211】
（付記Ｂ４）また、本発明の一態様は、付記Ｂ１から付記Ｂ３のいずれか一に記載のゲームプログラムであって、前記指示オブジェクトの種類によって前記ユーザ（Ｕ）に指示する動作の内容が異なる。
【0212】
付記Ｂ４の構成によれば、ゲームプログラムは、プレイでユーザが動作する内容を多様化することができ、興趣性の高いゲームを提供できる。
【0213】
（付記Ｂ５）また、本発明の一態様に係るゲーム処理方法は、コンピュータにより実行されるゲーム処理方法であって、実空間を撮像した撮像映像を取得するステップ（Ｓ５０１、Ｓ７０１）と、前記撮像映像から前記実空間に対応する仮想空間を生成するステップ（Ｓ５０５）と、前記仮想空間内の、ユーザ（Ｕ）に対応する基準位置（Ｋ３）に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置するステップ（Ｓ５０７、Ｓ５１１）と、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部（１２Ｄ、３０Ｄ）に表示させるステップ（Ｓ６０３）と、前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出するステップ（Ｓ７０３）と、前記検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価するステップ（Ｓ７０５）と、を含む。
【0214】
付記Ｂ５の構成によれば、ゲーム処理方法は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ユーザが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にスマートフォンや家庭用テレビなどの表示部に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【0215】
（付記Ｂ６）また、本発明の一態様に係るゲーム装置（１０Ｄ）は、実空間を撮像した撮像映像を取得する取得部（１５１Ｄ、Ｓ５０１、Ｓ７０１）と、前記取得部により取得された前記撮像映像から前記実空間に対応する仮想空間を生成する生成部（１５２Ｄ）と、前記生成部により生成された前記仮想空間内の、ユーザ（Ｕ）に対応する基準位置（Ｋ３）に基づく位置に、前記ユーザの動作を指示する指示オブジェクトを前記ユーザに視認可能に配置する配置部（１５４Ｄ、Ｓ５０７、Ｓ５１１）と、前記撮像映像と前記仮想空間内に配置された前記指示オブジェクトの映像とを合成した合成映像を表示部（１２Ｄ、３０Ｄ）に表示させる表示制御部（１５６Ｄ、Ｓ６０３）と、前記取得部により取得された前記撮像映像から前記ユーザの身体の少なくとも一部の動作を検出する検出部（１５７Ｄ、Ｓ７０３）と、前記検出部により検出された動作を、前記仮想空間内に配置された前記指示オブジェクトに基づくタイミング及び位置に基づいて評価する評価部（１５８Ｄ、Ｓ７０５）と、を備える。
【0216】
付記Ｂ６の構成によれば、ゲーム装置は、ユーザの動作を指示する指示オブジェクトに基づくタイミング及び位置に基づいてユーザの動作を評価するゲーム処理において、ユーザが撮像された映像に指示オブジェクトを合成した合成映像を視認可能にスマートフォンや家庭用テレビなどの表示部に表示させるため、簡易な構成で、より直感的なプレイが可能なようにユーザが動作すべき内容を案内することができる。
【符号の説明】
【0217】
１Ｃ ゲームシステム、１０，１０Ａ，１０Ｃ，１０Ｄ ゲーム装置、１１ 撮像部、１１ＤＡ フロントカメラ、１１ＤＢ バックカメラ、１２，１２Ｄ 表示部、１３，１３Ｄ センサ、１４，１４Ｃ，１４Ｄ 記憶部、１５，１５Ｃ，１５Ｄ ＣＰＵ、１６，１６Ｃ，１６Ｄ 通信部、１７，１７Ｄ 音出力部、１８Ｄ 映像出力部、２０Ｃ ＨＭＤ、２１Ｃ 撮像部、２２Ｃ 表示部、２３Ｃ センサ、２４Ｃ 記憶部、２５Ｃ ＣＰＵ、２６Ｃ 通信部、２７Ｃ 音出力部、１５０，１５０Ａ，１５０Ｃ，１５０Ｄ 制御部、１５１，１５１Ｄ 映像取得部、１５２，１５２Ｄ 仮想空間生成部、１５３Ａ ユーザ像検出部、１５３Ｄ ユーザ検出部、１５４，１５４Ａ，１５４Ｄ オブジェクト配置部、１５５ 視線方向検出部、１５６，１５６Ｄ 表示制御部、１５７、１５７Ｄ 動作検出部、１５８，１５８Ｄ 評価部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】