特許 7045022 カラオケシステム、ＶＲコンテンツ用装置及びＶＲコンテンツ用プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-23

(45)【発行日】2022-03-31

(54)【発明の名称】カラオケシステム、ＶＲコンテンツ用装置及びＶＲコンテンツ用プログラム

(51)【国際特許分類】

   G10K 15/04 20060101AFI20220324BHJP

   A63F 13/814 20140101ALI20220324BHJP

   A63F 13/25 20140101ALI20220324BHJP

   A63F 13/428 20140101ALI20220324BHJP

   A63F 13/215 20140101ALI20220324BHJP

   A63F 13/49 20140101ALI20220324BHJP

【ＦＩ】

G10K15/04 302D

A63F13/814

A63F13/25

A63F13/428

A63F13/215

A63F13/49

【請求項の数】 8

(21)【出願番号】P 2018053540

(22)【出願日】2018-03-20

(65)【公開番号】P2019164316

(43)【公開日】2019-09-26

【審査請求日】2020-12-03

【新規性喪失の例外の表示】特許法第３０条第２項適用 第３０条第２項適用、平成２９年９月２１～２４日幕張メッセにおいて開催されたで東京ゲームショウ２０１７で発表

(73)【特許権者】

【識別番号】396004833

【氏名又は名称】株式会社エクシング

(73)【特許権者】

【識別番号】517377123

【氏名又は名称】株式会社プロディジ

(74)【代理人】

【識別番号】100157118

【弁理士】

【氏名又は名称】南 義明

(72)【発明者】

【氏名】堀江 昌弘

(72)【発明者】

【氏名】長塚 航英

(72)【発明者】

【氏名】山嵜 吾郎

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１１－１８０４５１（ＪＰ，Ａ）

【文献】特開平０９－２１８６９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／０４

Ａ６３Ｆ １３／８１４

Ａ６３Ｆ １３／２５

Ａ６３Ｆ １３／４２８

Ａ６３Ｆ １３／２１５

Ａ６３Ｆ １３／４９

(57)【特許請求の範囲】

【請求項1】

演奏情報に基づき演奏を行う演奏処理と、ゲーム処理と、を制御部に実行させることが可能なカラオケシステムであって、
ゲーム処理は、操作手段によるユーザの操作に基づいて各種表示を行うとともに、演奏情報、あるいは、演奏情報の演奏と同期して出力される情報を使用せずに結果が判定される処理であり、演奏処理の開始に同期して開始され、
演奏処理中にゲーム処理が終了した場合、演奏処理を中断させ、
ゲーム処理が終了することなく演奏処理が終了した場合、ゲーム処理を終了し、ゲーム処理の結果を通知することを特徴とする
カラオケシステム。

【請求項2】

ゲーム処理が終了することなく演奏処理が終了した場合、結果の通知を行う前にイベント処理を実行することを特徴とする
請求項１に記載のカラオケシステム。

【請求項3】

演奏処理の終了間際において、演奏音量が小さい、あるいは、歌唱すべき歌詞が無い場合、演奏あるいはゲームが継続していることを示すための通知を行うことを特徴とする
請求項１または請求項２に記載のカラオケシステム。

【請求項4】

ゲーム処理は、ヘッドセットに配置された表示部に、仮想空間に配置された対戦相手を、ヘッドセットの動きに応じた位置で表示することを特徴とする
請求項１から請求項３の何れか１項に記載のカラオケシステム。

【請求項5】

演奏処理は、ゲーム処理で使用する操作手段が所定の移動を行った場合、開始されることを特徴とする
請求項４に記載のカラオケシステム。

【請求項6】

ゲーム処理は、マイクロホンから入力される音声信号を使用して実行されることを特徴とする
請求項１から請求項５の何れか１項に記載のカラオケシステム。

【請求項7】

演奏情報に基づき演奏を行う演奏処理を実行するカラオケ装置と連携してゲーム処理を、制御部に実行させるＶＲコンテンツ用装置であって、
ゲーム処理は、操作手段によるユーザの操作に基づいて各種表示を行うとともに、演奏情報、あるいは、演奏情報の演奏と同期して出力される情報を使用せずに結果が判定される処理であり、演奏処理の開始に同期して開始され、
演奏処理中にゲーム処理が終了した場合、演奏処理を中断させ、
ゲーム処理が終了することなく演奏処理が終了した場合、ゲーム処理を終了し、ゲーム処理の結果を通知することを特徴とする
ＶＲコンテンツ用装置。

【請求項8】

演奏情報に基づき演奏を行う演奏処理を実行するカラオケ装置に接続された情報処理装置で実行可能なＶＲコンテンツ用プログラムであって、
カラオケ装置と連携するゲーム処理を実行可能とし、
ゲーム処理は、操作手段によるユーザの操作に基づいて各種表示を行うとともに、演奏情報、あるいは、演奏情報の演奏と同期して出力される情報を使用せずに結果が判定される処理であり、演奏処理の開始に同期して開始され、
演奏処理中にゲーム処理が終了した場合、演奏処理を中断させ、
ゲーム処理が終了することなく演奏処理が終了した場合、ゲーム処理を終了し、ゲーム処理の結果を通知することを特徴とする
ＶＲコンテンツ用プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、各種競技を楽しむとともに歌唱を楽しむことのできるカラオケシステム、各種競技を楽しむことのできるＶＲコンテンツ用装置、及び、各種情報処理装置に実装することでＶＲコンテンツ用機能を実現するＶＲコンテンツ用プログラムに関する。

【背景技術】

【0002】

従来、宴会や飲み会等、各種の人が集う場等では、伴奏に合わせて歌唱を行うカラオケが行われている。カラオケを行うためのカラオケ装置では、演奏に同期して歌詞を表示する基本機能を有することが通常である。カラオケ装置では、このような基本機能に加え、歌唱採点機能、演奏情報を使用した各種ゲーム機能を備えたものが提案されており、ユーザの楽しみ方の拡充が図られている。

【0003】

特許文献１には、楽曲データに含まれる演奏情報を使用して楽曲演奏を行うとともに、楽曲データに含まれるパターンデータ、及び、演奏に同期して出力される曲進行情報に基づいてダンスゲームを楽しむことのできるカラオケシステムが開示されている。

【0004】

特許文献２には、２つのマイクロホンから入力される第１音声データ、第２音声データをリファレンスデータと比較し、フレーズの区切り毎に第１フレーズポイント、第２フレーズポイントを生成し、これらフレーズポイントに基づいて格闘アニメーションを生成するカラオケバトルゲームが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第３６１４０４９号公報

【文献】特許第３５７３４２５号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

カラオケは日本で生まれて世界に広まったエンタテイメントであるが、近年、少子高齢化、インターネット等、他のメディアへの嗜好が高まっていること等を原因として、利用ユーザの伸び悩みが生じている。特許文献２に開示されるカラオケバトルゲームでは、歌唱の優劣を競うものであって、歌唱が苦手な人はゲームに勝つことが困難となり、楽しむことができないことが考えられる。

【0007】

本発明はこのような状況を鑑みたものであって、歌唱の優劣を問うことなく、演奏に連動して行われるゲームをユーザに楽しんで貰うことを一つの目的としている。

【課題を解決するための手段】

【0008】

そのため、本発明に係るカラオケシステムは、以下の構成を採用するものである。
演奏情報に基づき演奏を行う演奏処理と、ゲーム処理と、を制御部に実行させることが可能なカラオケシステムであって、
ゲーム処理は、操作手段によるユーザの操作に基づいて各種表示を行うとともに、演奏情報、あるいは、演奏情報の演奏と同期して出力される情報を使用せずに結果が判定される処理であり、演奏処理の開始に同期して開始され、
演奏処理中にゲーム処理が終了した場合、演奏処理を中断させ、
ゲーム処理が終了することなく演奏処理が終了した場合、ゲーム処理を終了し、ゲーム処理の結果を通知することを特徴とする。

【0009】

さらに本発明に係るカラオケシステムにおいて、
ゲーム処理が終了することなく演奏処理が終了した場合、結果の通知を行う前にイベント処理を実行することを特徴とする。

【0010】

さらに本発明に係るカラオケシステムにおいて、
演奏処理の終了間際において、演奏音量が小さい、あるいは、歌唱すべき歌詞が無い場合、演奏あるいはゲームが継続していることを示すための通知を行うことを特徴とする。

【0011】

さらに本発明に係るカラオケシステムにおいて、
ゲーム処理は、ヘッドセットに配置された表示部に、仮想空間に配置された対戦相手を、ヘッドセットの動きに応じた位置で表示することを特徴とする。

【0012】

さらに本発明に係るカラオケシステムにおいて、
演奏処理は、ゲーム処理で使用する操作手段が所定の移動を行った場合、開始されることを特徴とする。

【0013】

さらに本発明に係るカラオケシステムにおいて、
ゲーム処理は、マイクロホンから入力される音声信号を使用して実行されることを特徴とする。

【0014】

また本発明に係るＶＲコンテンツ用装置は、
演奏情報に基づき演奏を行う演奏処理を実行するカラオケ装置と連携してゲーム処理を、制御部に実行させるＶＲコンテンツ用装置であって、
ゲーム処理は、操作手段によるユーザの操作に基づいて各種表示を行うとともに、演奏情報、あるいは、演奏情報の演奏と同期して出力される情報を使用せずに結果が判定される処理であり、演奏処理の開始に同期して開始され、
演奏処理中にゲーム処理が終了した場合、演奏処理を中断させ、
ゲーム処理が終了することなく演奏処理が終了した場合、ゲーム処理を終了し、ゲーム処理の結果を通知することを特徴とする。

【0015】

また本発明に係るＶＲコンテンツ用プログラムは、
演奏情報に基づき演奏を行う演奏処理を実行するカラオケ装置に接続された情報処理装置で実行可能なゲーム用プログラムであって、
カラオケ装置と連携するゲーム処理を実行可能とし、
ゲーム処理は、操作手段によるユーザの操作に基づいて各種表示を行うとともに、演奏情報、あるいは、演奏情報の演奏と同期して出力される情報を使用せずに結果が判定される処理であり、演奏処理の開始に同期して開始され、
演奏処理中にゲーム処理が終了した場合、演奏処理を中断させ、
ゲーム処理が終了することなく演奏処理が終了した場合、ゲーム処理を終了し、ゲーム処理の結果を通知することを特徴とする。

【発明の効果】

【0016】

本発明に係るカラオケシステム、ＶＲコンテンツ用装置、ＶＲコンテンツ用プログラムは、演奏情報、あるいは、演奏情報の演奏と同期して出力される情報を使用せずに結果が判定されるため、歌唱の優劣を気にすることなくゲームを楽しむことが可能となる。また、ゲーム処理は、演奏処理と同期して行われるため、ユーザは歌唱と併せてゲームを楽しむことが可能となり、カラオケに新たな付加価値を持たせることが可能となる。

【図面の簡単な説明】

【0017】

【図1】本実施形態のカラオケシステムを示す図

【図2】本実施形態のゲーム装置の構成を示すブロック図

【図3】本実施形態のＨＭＤ（ヘッドマウントディスプレイ）の外観を示す斜視図

【図4】本実施形態のカラオケ装置の構成を示すブロック図

【図5】本実施形態のカラオケ装置側の処理を示すフロー図

【図6】本実施形態で使用する楽曲情報のデータ構成を示す図

【図7】本実施形態のゲーム装置側の処理を示すフロー図

【図8】本実施形態における視野映像を説明するための模式図

【図9】本実施形態における視野映像を説明するための模式図

【発明を実施するための形態】

【0018】

図１は、本実施形態のカラオケシステムを示す図である。本実施形態のカラオケシステムは、ゲーム装置１（本発明の「ＶＲコンテンツ用装置」に相当。）、カラオケ装置４を含んで構成されている。周辺装置として、ＨＭＤ３（ヘッドマウントディスプレイ）、ヘッドホン３２、マイクロホン３３、トラッカー３１Ｒ、３１Ｌ、ベースステーション３４ａ、３４ｂ、モニタ２１、ミキサー２３、増幅器２４、スピーカ２５が設けられている。なお、本実施形態では、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌによって、ユーザの操作を検出する操作手段を構成している。

【0019】

ＨＭＤ３は、ユーザの頭部に装着され、内部に設けられた２つの表示部３５Ｒ、３５Ｌによってユーザの両目それぞれに映像を投射し、ユーザに仮想空間を体験させることが可能である。また、ＨＭＤ３はベースステーション３４ａ、３４ｂから照射される赤外線によって、その位置、方向等を検出することが可能となっている。また、ＨＭＤ３には、ユーザの音声を収音するためのマイクロホン３３と、ユーザに音声を提供するためのヘッドホン３２が取り付けられている。トラッカー３１Ｒ、３１Ｌは、ユーザが把持する、あるいは、ユーザの手に装着される装置であって、複数の受光部（図示せず）を有し、ベースステーション３４ａ、３４ｂから照射される赤外線によって、その位置、方向等を追跡することが可能となっている。

【0020】

ベースステーション３４ａ、３４ｂは、カラオケシステムが設置される部屋内の適宜箇所に設置され、ＨＭＤ３を装着したユーザの頭部の位置、方向、そして、トラッカー３１Ｒ、３１Ｌの位置、方向を検出することが可能である。本実施形態のベースステーション３４ａ、３４ｂは、互いにケーブルで接続されており、同期して赤外線を照射し、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌ側に設けられた受光部で赤外線を受光することで、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌの位置、方向、すなわち、ユーザの動作を検出することとしている。検出されたユーザの位置、動作は、仮想空間内においてユーザの分身としてのキャラクターの動作に反映される。なお、ユーザの動作の位置、検出は、このようなベースステーション３４ａ、３４ｂ、ＨＭＤ３とトラッカー３１Ｒ、３１Ｌを使用することに代え、各種形態を採用することが可能である。

【0021】

ゲーム装置１から出力されるゲーム音声と、カラオケ装置４から出力される演奏音、及び歌唱音声は、ミキサー２３で混合されて、ユーザ側のヘッドホン３２、及び、増幅器２４に出力される。増幅器２４に入力された信号はスピーカ２５から放音出力される。また、本実施形態では、ゲーム装置１から出力される映像をＨＭＤ３のみならず、モニタ２１にも表示させている。モニタ２１、スピーカ２５は、ＨＭＤ３を装着する前のユーザ、あるいは、同席者に対して各種映像、音声を提供するために設けられたものである。

【0022】

図２は、本実施形態のゲーム装置１の構成を示すブロック図である。ゲーム装置１は、各構成を統括して制御するためのＣＰＵ１０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ１１を備えている。これらＣＰＵ１０、メモリ１１は、ゲーム装置１における制御部を構成する。また、ゲーム装置１は、ゲーム用プログラム（本発明の「ＶＲコンテンツ用プログラム」に相当。）等の各種プログラム、及び、各種プログラムで使用する各種情報を記憶する記憶部としてのハードディスク１７を有する。

【0023】

また、本実施形態のゲーム装置１は、各種音声の入出力を行う音響制御部１５を有している。音響制御部１５は、ゲーム用プログラムの実行時、マイクロホン３３からから入力されるユーザの歌唱音声を取り込むとともに、当該歌唱音声、及び、ゲーム処理に伴って出力される各種効果音をミキサー２３に出力する。

【0024】

また、ゲーム装置１は、モニタ２２に対して各種映像を表示させる映像形成手段を備える。この映像形成手段は、ゲーム映像を形成する映像形成部１３、形成されたゲーム映像を一時的に蓄積するビデオＲＡＭ１２、映像制御部１４を備えている。映像制御部１４は、形成されたゲーム映像と、カラオケ装置４から出力される歌詞映像を合成して、モニタ２１、ＨＭＤ３内に配置された右目用、左目用の表示部３５Ｒ、３５Ｌに表示出力することが可能である。なお、左右の表示部３５Ｒ、３５Ｌには、視差を有する映像を表示出力することで、ユーザに立体視させることが可能となっている。また、本実施形態のＨＭＤ３には、ユーザの前方を撮影するカメラ３９が配置されている。映像制御部１４はカメラ３９で撮影された映像を、ＨＭＤ３に表示させることも可能となっている。

【0025】

ゲーム装置１は、外部と各種情報の入出力を行うためのシリアル通信によるインタフェイス１８を備えている。本実施形態のインタフェイス１８は、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌ等の周辺装置、及び、カラオケ装置４と接続されている。なお、本実施形態では、これら周辺装置とゲーム装置１とは有線または無線により接続されている。

【0026】

ベースステーション３４ａ、３４ｂは、前述したようにＨＭＤ３、トラッカー３１Ｒ、３１Ｌの位置、方向を検出するための手段であって、本実施形態では部屋の適宜箇所に配置され、互いに同期して赤外線を照射する。ＨＭＤ３、トラッカー３１Ｒ、３１Ｌは、それらに設けられている複数の受光部を使用して赤外線を受光する。ゲーム装置１では、受光部の受光タイミングに基づいてＨＭＤ３、トラッカー３１Ｒの位置、方向の検出を行う。

【0027】

また、インタフェイス１８は、カラオケ装置４とも接続されており、ゲーム装置１は、カラオケ装置４の状態、例えば、演奏中であるか否か（演奏状態、非演奏状態）を検出することが可能となっている。なお、カラオケ装置４の状態としては、この他、演奏されている楽曲の演奏区間種別、例えば、イントロ、Ａメロ、Ｂメロ、間奏、後奏等を判定することを可能としてもよい。また、ゲーム装置１は、インタフェイス１８を介し、カラオケ装置４に対して、各種命令、例えば、演奏開始命令、あるいは、演奏停止命令等を送信することも可能となっている。

【0028】

図３は、本実施形態で使用するＨＭＤ３（ヘッドマウントディスプレイ）を示す斜視図である。左側の図は、ＨＭＤ３を装着するユーザを後方から眺めた斜視図であり、右側の図は、ＨＭＤ３を装着するユーザを前方から眺めた斜視図である。ＨＭＤ３は、右目用と左目用、２つの表示部３５Ｒ、３５Ｌを収容したＨＭＤ筐体３７、ユーザの頭部に装着するためのヘッドバンド３６を有して構成されている。本実施形態では、ＨＭＤ筐体３７とヘッドバンド３６でヘッドセットを構成している。ＨＭＤ筐体３７の前面には、配置検出用のため４つの受光部３８ａ～３８ｄが設けられている。なお、受光部３８ａ～３８ｄの数は、これに限定されるものではなく、位置、方向の検出精度を向上させるため、その数を増やすこととしてもよい。

【0029】

また、ＨＭＤ筐体３７には、ＨＭＤ３を装着したユーザの前方を撮影するためのカメラ３９が設けられている。このカメラ３９を使用して、ユーザの周囲映像と表示部３５Ｒ、３５Ｌの映像を合成し、いわゆるＡＲ（拡張現実）をユーザに体験させることも可能である。

【0030】

ヘッドバンド３６には、ユーザに対して音を聴取させるため、ヘッドホン３２Ｒ、３２Ｌが取り付けられている。また、左側のヘッドホン３２Ｌには、アームを介してユーザの歌唱音声を取り込むためのマイクロホン３３が取り付けられている。このような構成によってユーザは、どの方向を向いていてもヘッドホン３２Ｒ、３２Ｌにより演奏音等を聴取することが可能であり、また、マイクロホン３３を手で持つことなく歌唱を行うことが可能となっている。なお、マイクロホン３３は、ヘッドホン３２Ｌに固定することに代え、ＨＭＤ筐体３７に固定することとしてもよい。あるいは、ＨＭＤ３とヘッドホン３２Ｒ、３２Ｌは別体として、ユーザが装着することとしてもよい。

【0031】

図４は、本実施形態のカラオケ装置４の構成を示すブロック図であるカラオケ装置４は、各構成を統括して制御するためのＣＰＵ４０、各種プログラムを実行するにあたって必要となる情報を一時記憶するためのメモリ４１を備えている。これらＣＰＵ４０、メモリ４１は、カラオケ装置４における制御部を構成する。また、カラオケ装置４は、演奏用プログラム等の各種プログラム、及び、各種プログラムで使用する各種情報を記憶する記憶部としてのハードディスク４６を有する。

【0032】

また、本実施形態のカラオケ装置４は、各種音声の入出力を行う音響制御部４５を有している。音響制御部４５は、演奏用プログラムの実行時、演奏に伴って出力される演奏音をミキサー２３に出力する。また、カラオケ装置４の単体での使用時には、第１マイクロホン２６ａ、第２マイクロホン２６ｂに入力される歌唱音声を、演奏音とミキシングして外部出力することも可能となっている。

【0033】

また、カラオケ装置４は、映像を外部出力するための映像形成手段を備える。映像形成手段は、映像形成部４３、形成されたゲーム映像を一時的に蓄積するビデオＲＡＭ４２、映像制御部４４を備えている。本実施形態のカラオケ装置４は、ゲーム装置１と連動時における演奏時には、ブルーバックを背景とする歌詞映像を出力する。ゲーム装置１は、歌詞映像の背景部分（ブルーバック部分）にゲーム映像を重畳して、ＨＭＤ３の表示部３５Ｒ、３５Ｌに表示出力する。なお、ゲーム装置１と連動しない通常の演奏時には、楽曲に付随、あるいは、対応する背景映像を歌詞映像と合成して出力する。

【0034】

カラオケ装置４は、外部と各種情報の入出力を行うため、シリアル通信によるインタフェイス４７を備えている。本実施形態のインタフェイス４７は、ゲーム装置１のインタフェイス１８と有線接続されている。ゲーム装置１は、インタフェイス４７を介して、カラオケ装置４の各種状態を検出することが可能である。また、ゲーム装置１は、このインタフェイス４７を介して、カラオケ装置４に各種命令を送信することが可能となっている。

【0035】

カラオケ装置４は、ＬＡＮ２６に接続する通信手段としてのＬＡＮ通信部４８を備えている。ＬＡＮ２６は、ルータ２７に接続されており、インターネットに接続することが可能である。図４の例では、カラオケ装置４は、ＬＡＮ通信部４８、ルータ２７を介し、各種情報を管理するサーバ装置５と通信を行うことが可能である。カラオケ装置４は、通信接続されたサーバ装置５の記憶部５１に蓄積される楽曲情報、あるいは、各種プログラムを受信することが可能である。

【0036】

以上、本実施形態のカラオケシステム、及び、その周辺装置について説明を行ったが、本実施形態のカラオケシステムは、ゲーム装置１とカラオケ装置４が連動して動作することで、ユーザに新たなゲームを提供することが可能となっている。

【0037】

このようなゲーム装置１とカラオケ装置４の連動について、それぞれでの処理を説明する。図５は、本実施形態のカラオケ装置４側の処理を示すフロー図である。また、図６は、本実施形態のカラオケ装置４で使用する楽曲情報のデータ構成を示す図である。

【0038】

図５に示されるように、まず、ユーザはカラオケ装置４の入力手段（図示せず）を使用して、歌唱したい楽曲の選択を行う（Ｓ１０１）。楽曲が選択されると、カラオケ装置４は、ハードディスク４６から選択された楽曲に対応する楽曲情報を読み出し、再生待機状態となる（Ｓ１０２）。ここで、再生待機状態は、再生開始命令を受信することで、選択された楽曲情報を直ぐに再生できる状態である。

【0039】

本実施形態のカラオケ装置４は、インタフェイス１８を介して接続されたゲーム装置１から演奏開始命令を受信すること（Ｓ１０３：Ｙｅｓ）で、再生待機状態を解除して楽曲情報の再生を開始する（Ｓ１０５）。その際、カラオケ装置４は、非演奏状態から演奏状態に遷移することとなり、この状態はカラオケ装置４のインタフェイス４７を介して検出することが可能となっている。ゲーム装置１は、インタフェイス１８を介してカラオケ装置４の状態を検出することができる。

【0040】

ここで、本実施形態のカラオケ装置４で使用する楽曲情報のデータ構成について説明しておく。図６は、カラオケ装置４で使用する楽曲情報のデータ構成を示す図である。楽曲情報は、選曲等を行うために付与されたメタ情報と、演奏、歌詞表示を行うための実情報を含んで構成されている。メタ情報には、楽曲を管理するための楽曲ＩＤ、楽曲名、歌手名、作詞者名、作曲者名、区間識別情報等を含んで構成されている。区間識別情報は、前奏、Ａメロ、Ｂメロ、間奏等、楽曲の進行に対応した演奏区間種別を示す情報である。この区間識別情報を使用することで、楽曲再生中、現在再生している演奏区間種別を判定することが可能である。

【0041】

実情報は、演奏情報、歌詞情報、背景映像情報を含んで構成されている。楽曲を再生する際、演奏情報を音響制御部１５に演奏させることで、歌唱伴奏としての演奏音をヘッドホン３２Ｒ、３２Ｌから音響出力することが可能である。また、楽曲を再生する際、歌詞情報を映像形成部４３で再生し、ＨＭＤ３に映像出力することで、ユーザの歌唱補助を行うことが可能である。

【0042】

背景映像情報は、楽曲情報の通常再生時に使用される映像情報であって、本実施形態のゲーム装置１との連動時には使用しないこととしている。通常再生時には、背景映像情報を再生し、再生された歌詞映像と合成して出力することで、ユーザに楽曲にあった雰囲気の映像を提供することが可能である。

【0043】

カラオケ装置４における通常再生時には、ユーザからの演奏停止操作が無い限り、楽曲を最後まで再生することになる。本実施形態におけるカラオケ装置４は、ゲーム装置１においてゲームが終了した際に出力される演奏停止命令を受信した場合、楽曲再生が途中であっても演奏を中断する（Ｓ１０８）。その際、カラオケ装置４の状態を演奏状態から非演奏状態に遷移させる（Ｓ１０９）。また、楽曲演奏の途中において、ゲーム装置１から演奏停止命令を受信しなかった場合（Ｓ１０７：Ｙｅｓ）、演奏の終了に伴い、演奏状態から非演奏状態に遷移する（Ｓ１０９）。

【0044】

図７は、カラオケ装置４と連動して動作するゲーム装置１側の処理を示すフロー図である。ゲーム装置１では、カラオケ装置４との連動時、ゲーム用プログラムが実行された状態となっている。本実施形態のゲーム用プログラムは、仮想空間においてボクシングを楽しむことのできるゲームであり、ユーザはＨＭＤ３に表示される映像を視認しつつ、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌを操作することで、対戦相手とボクシング対戦を体験することが可能となっている。

【0045】

また、ゲーム中には、カラオケ装置４において、ユーザが選択した楽曲が演奏されことで、ゲーム時における歌唱を楽しむことが可能となっている。まず、ゲーム用プログラムが開始されたゲーム装置１は、待機状態となっている（Ｓ２０１）。ゲームを行うユーザは、カラオケ装置４に対して選曲を行った後、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌを装着する。ここで、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌを装着したユーザは、ＨＭＤ３によって周囲の視界が遮られてしまう。そのため、本実施形態では、操作手段としてのトラッカー３１Ｒ、３１Ｌの移動が所定条件を満たしたこと、例えば、準備のできたユーザは両手を上に上げる等の動作を行うことで、ゲームが開始される（Ｓ２０３）。ここで、両手を上に上げる動作は、トラッカー３１Ｒ、３１Ｌの両方が、ＨＭＤ３よりも高くなったこと等を条件として検出することが可能である。なお、ゲームの開始はこのような形態のみならず、首を縦に振ることで、操作手段としてのＨＭＤ３を移動させる等、各種形態を採用することが考えられる。あるいは、ユーザが所定範囲内において所定方向（例えば、前方）を向いていることを条件として開始してもよい。このような条件はＨＭＤ３の位置、方向、トラッカー３１Ｒ、３１Ｌの位置、方向によって検出することが可能である。

【0046】

図８は、ゲーム中、ＨＭＤ３に表示される視野映像６を説明するための模式図である。視野映像６には、対戦相手６２、並びに、相手グラブ６３Ｒ、６３Ｌ、これらは、ＨＭＤ３の位置、方向によって見え方が変化する映像である。また、視野映像６には、自分がはめているグラブの映像である自グラブ６４Ｒ、６４Ｌが表示されている。これらも、ＨＭＤ３の位置、方向、トラッカー３１Ｒ、３１Ｌの位置、方向によって見え方が変化する映像である。このように仮想空間内に、対戦相手６２、並びに、自分の各種映像を表示することで、対戦相手６２とのボクシングを体験することが可能となっている。

【0047】

ところで、ＨＭＤ３を装着して行うこのゲームでは、対戦相手６２の大きさをユーザに適合させることが好ましい。例えば、対戦相手６２の大きさを固定とした場合、背の低いユーザは対戦相手６２の頭部に攻撃が届かないといった状況が考えられる。そのため、本実施形態では、ゲーム開始の合図であるトラッカー３１Ｒ、３１Ｌの移動時におけるＨＭＤ３の位置に基づいて、仮想空間内における対戦相手６２の大きさを変化させるサイズ変更処理を行うことしている。このような形態により、ＨＭＤ３の位置によって推定されるユーザの身長に合わせた大きさの対戦相手６２とすることが可能となり、ゲームを適切な状態で行うことが可能となる。なお、ユーザの身長の推定は、ＨＭＤ３の位置ではなく、トラッカー３１Ｒ、３１Ｌの位置で推定することとしてもよい。

【0048】

視野映像６には、この他、歌詞６１、パンチ力メータ６５、消費カロリー６６、自ダウン数６７、相手ダウン数６８が表示されている。これらの情報は、視野映像６中、常時、所定位置に表示され、ゲームに関する各種情報をユーザに提供することを可能としている。ここで、消費カロリー６６は、ゲーム期間中におけるＨＭＤ３、及び、トラッカー３１Ｒ、３１Ｌの動きに基づいて算出されるユーザの消費カロリー量である。ユーザは表示される消費カロリー６６を参照しつつゲームを行うことが可能となっている。

【0049】

また、ゲーム装置１は、ゲーム開始（Ｓ２０３）と略同時に、カラオケ装置４に演奏開始命令を出力する（Ｓ２０４）。前述したようにカラオケ装置４は、演奏開始命令を受信することで、再生待機状態にあった楽曲情報の演奏を開始する。その際、カラオケ装置４から出力される歌詞映像は、ゲーム装置１で形成されるゲーム映像と合成され、図８に示されるように、視野映像６の所定位置に表示される。ユーザは、視野映像６に表示される歌詞６１を見ながら歌唱を行うとともに、ゲームを行うことが可能となっている。

【0050】

ゲーム中、対戦相手６２は、仮想空間内で相手グラブ６３Ｒ、６３Ｌを繰り出してくることで攻撃を行ってくる。また、ユーザは、現実空間において手を動かすことで、トラッカー３１Ｒ、３１Ｌの位置、方向を変化させ、仮想空間内に表示されている自グラブ６４Ｒ、６４Ｌを動作させ、対戦相手６２を攻撃することが可能である。対戦相手６２からの攻撃がヒットしたか否かは、仮想空間内における自分の位置と、対戦相手６２の相手グラブ６３Ｒ、６３Ｌの位置関係によって判定される。なお、ユーザは、実空間内で移動することで、仮想空間内の自分の位置を移動させ、相手の攻撃を避けることも可能である。

【0051】

ゲーム期間中、自分の攻撃が対戦相手６２にヒットした場合（Ｓ２１７：Ｙｅｓ）、ヒットに基づいて、対戦相手６２のスタミナ量を削減する（Ｓ２１８）。本実施形態のゲームでは、自分と対戦相手６２にそれぞれスタミナ量が設定されており、これが所定量（本実施形態では０）となった場合、ダウンとなる。

【0052】

本実施形態では、スタミナ量を攻撃に伴うダメージ量だけ削減することとしているが、ダメージ量は、マイクロホン３３に入力される歌唱音声を使用して算出される（Ｓ２１８）。具体的には、対戦相手６２にヒットした時点において、マイクロホン３３に入力されている歌唱音声の音量に基づいて、ダメージ量を算出している。本実施形態では、対戦相手６２への攻撃がヒットした時点で、歌唱音声が大きい程、ダメージ量は大きくしている。また、図８の視野映像６に示されるように、マイクロホン３３に入力される歌唱音声の音量は、パンチ力メータ６５として常時、リアルタイムで表示されている。歌唱音声の音量が大きくなるほど、パンチ力メータ６５に表示されるバーは、右側に大きく振れて表示される。ユーザは、パンチ力メータ６５を参照しつつ、対戦相手６２への攻撃を繰り出すことで、対戦相手６２に対して大きなダメージ量を与えることが可能となっている。

【0053】

なお、本実施形態では、対戦相手６２に攻撃がヒットした時点における歌唱音声の音量をダメージ量としているが、この他、歌唱音声の音量を積算してダメージ量を算出してもよい。例えば、対戦相手６２を攻撃した後、次の攻撃までの歌唱音声の音量を累積し、累積量に基づいてダメージ量を算出することが考えられる。

【0054】

対戦相手６２のスタミナ量から、算出されたダメージ量を削減する（Ｓ２１９）ことで、対戦相手６２がダウンするか否かが判定される。スタミナ量からダメージ量を削減した際、スタミナ量が０となっていた場合は、相手ダウン数Ｂに１が加算（Ｓ２２１）される。図８の視野映像６に示されるように相手ダウン数Ｂは、相手ダウン数６８として表示される。そして、対戦相手６２がダウンする様子を表示する相手ダウン処理（Ｓ２２２）が実行される。本実施形態では、相手ダウン数Ｂに上限を設けておらず、対戦相手６２は、相手ダウン処理（Ｓ２２２）の終了後、ゲーム期間中は何度でも、対戦状態に復帰する。したがって、本実施形態では、楽曲の演奏期間内での相手ダウン数Ｂを競うことで、ゲームの優劣を判定することが可能となっている。

【0055】

一方、ゲーム期間中、対戦相手６２の攻撃が自分にヒットした場合（Ｓ２０９：Ｙｅｓ）、ヒットに基づいて、自分のスタミナ量を所定量だけ削減する（Ｓ２１０）。自分のスタミナ量から、所定量を削減する（Ｓ２１０）ことで、自分がダウンするか否かが判定される。スタミナ量から所定量を削減した際、スタミナ量が０となっていた場合（Ｓ２１１：Ｙｅｓ）は、自ダウン数Ａに１が加算（Ｓ２１２）される。図８の視野映像６に示されるように自ダウン数Ａは、自ダウン数６７として表示される。そして、自分のダウンに関する自ダウン処理（Ｓ２１３）が実行される。

【0056】

本実施形態の自ダウン処理（Ｓ２１３）では、所定時間経過することで、対戦状態に復帰させることとしている。自ダウン処理（Ｓ２１３）を行うことで対戦時間は短くなるため、ゲーム期間内に相手ダウン数Ｂを獲得する本ゲームでは、自分のダウンは不利な状態となる。なお、対戦状態に復帰させるまでの期間において、マイクロホン３３に入力される歌唱音声の音量に基づき、対戦状態に復帰させる時間を短縮することとしてもよい。

【0057】

本実施形態では、自ダウン数Ａが３以上となった場合（Ｓ２１４：Ｙｅｓ）、ゲームを終了することとしている。一方、自ダウン数Ａが３未満の場合（Ｓ２１４：Ｎｏ）は、ゲームは継続する。ゲーム終了時には、自分が負ける様子を表示することや、負けた結果を通知する等の負け処理（Ｓ２１５）を行うとともに、カラオケ装置４に対して演奏停止命令を出力する（Ｓ２１６）。演奏停止命令を受信したカラオケ装置４は、演奏を中断する（Ｓ１０８）。このように、本実施形態では、ゲーム装置１のゲーム終了に伴って、カラオケ装置４の演奏を停止させることで、ゲームとカラオケ（歌唱）の連携が図られている。

【0058】

ところで、ゲーム期間中、ゲーム装置１は、カラオケ装置４の状態を監視しているが、ゲーム期間中、カラオケ状態が演奏状態から非演奏状態に遷移したことを検出した場合（Ｓ２０５：Ｙｅｓ）、ゲームを終了させることとしている。すなわち、カラオケ装置４で演奏される楽曲が終了した場合、ゲーム装置１ではゲームが終了することになる。その際、本実施形態では、対戦相手６２に３ダウン取られること無く、ゲームが終了しなかった場合、ユーザがＨＭＤ３、トラッカー３１Ｒ、３１Ｌ等の操作手段を使用して参加できるイベントを実行することしている。このイベントでは、対戦相手６２は攻撃してくること無く、所定時間（本実施形態では１０秒）の間に自分の攻撃がヒットしたか否かが判定される（Ｓ２０８）。

【0059】

イベントの実行中、対戦相手６２にヒットしたことが判定された場合（Ｓ２０６：Ｙｅｓ）、あるいは、所定時間が経過した場合（Ｓ２０７：Ｙｅｓ）、イベントを終了して、勝ち処理（Ｓ２０８）を実行する。なお、イベントにおける対戦相手６２へのヒットは、ゲームの結果に加味することとしてもよいし、しなくても構わない。

【0060】

勝ち処理（Ｓ２０８）では、ユーザにゲームの結果を通知する。本実施形態では、ユーザが対戦相手６２に勝利したことを通知するとともに、相手ダウン数Ｂに基づく評価が通知される。評価としては、例えば、相手ダウン数が４以上、５未満であれば銅メダル、６以上、９未満であれば銀メダル、１０以上であれば金メダルを表示すること等が考えられる。

【0061】

ところで、本実施形態のようにＨＭＤ３を装着してゲームを行う際、予期しない場所にユーザが移動することが考えられる。例えば、カラオケボックス等の狭い空間では、壁や家具、カラオケシステムにぶつかることが考えられる。本実施形態のゲーム装置１は、このような状況を想定し、実空間内における所定領域をユーザが外れた場合、ＨＭＤ３の表示部３５Ｒ、３５Ｌに、ＨＭＤ３に設けられたカメラ３９で撮影されている実空間の映像、すなわち、ユーザの前方映像を表示することで、ユーザに実空間の様子を通知し、所定領域に戻らせることとしている。

【0062】

図９は、ユーザが所定領域を外れた際の視野映像６を説明するための模式図である。視野映像６の中央には、ＨＭＤ３に設けられているカメラ３９で撮影されているカメラ映像を表示するカメラ映像表示欄６９が表示される。なお、図９は模式図であるため、カメラ映像表示欄６９にはカメラ映像を記載していない。また、カメラ映像表示欄６９には「カメラ映像が消える位置まで戻って下さい」というメッセージがカメラ映像に重畳されて表示される。ユーザは、カメラ映像表示欄６９に表示されるカメラ映像で実空間の様子を確認しつつ、ゲームを行うにあたって適切な位置に戻ることが可能となる。

【0063】

以上、本発明の一実施形態について説明を行ったが、本発明はこの実施形態のみに限定されるものではなく、各種変形例を採用することが可能である。以下に各種変形例について説明を行う。

【0064】

（第１変形例）
前述の実施形態では、ＨＭＤ３、トラッカー３１Ｒ、３１Ｌ等を操作手段として使用した仮想空間内でのゲームとしているが、必ずしもこのような形態のゲームとする必要は無い。例えば、液晶表示装置等のモニタに表示される映像を見ながら、操作手段としての手持ちのコントローラで操作を行うゲームであってもよい。

【0065】

（第２変形例）
前述の実施形態では、ボクシングタイプのゲームを使用しているが、ゲームの種類としては、対戦相手が存在する各種ゲームに適用することが可能である。例えば、ボクシング以外の格闘技とすることや、剣等の武器を使用して魔物等の対戦相手と闘うゲームとすることとしてもよい。あるいは、カーレースに適用し、対戦相手との順位を競うゲームにも適用することとしてもよい。

【0066】

（第３変形例）
前述の実施形態において、ゲーム装置１は、カラオケ装置２の演奏状態をインタフェイス１８で接続されたシリアル通信によって監視することとしているが、カラオケ装置２の演奏状態は、このような状態信号のみならず、カラオケ装置２から出力される演奏音の音量に基づいて判定することとしてもよい。

【0067】

（第４変形例）
前述の実施形態では、マイクロホン３３に入力される歌唱音声の音量に基づいて、ゲームにおけるダメージ量を算出していた。このような実施形態によれば、歌唱の優劣を気にすること無く、ゲームを楽しむことが可能である。ダメージ量の算出は、歌唱音声の音量のみならず、歌唱音声の他の特徴量を使用することとしてもよい。例えば、歌唱音声の音高を使用し、音高が高くなるにしたがってダメージ量を大きくする等の形態が考えられる。このように歌唱音声の特徴量を使用し、楽曲情報中の演奏情報、あるいは、歌唱旋律など、演奏情報と同期して出力される情報を使用せずにゲームを行うことで、ユーザは歌唱の優劣を気にすること無く、思い切り声を出して歌唱、そして、ゲームを楽しむことが可能となる。

【0068】

（第５変形例）
前述の実施形態では、カラオケ装置４における楽曲の演奏中、特に後奏部分において演奏音が小さくなる、あるいは、歌詞が表示されなくなることがある。このような場合、ユーザは演奏が終わったことをゲームの終了と勘違いして、ＨＭＤ３を外してしまうことが考えられる。特に、前述の実施形態では、ゲーム終了時にイベントが用意されているため、ＭＭＤ３が外されるとイベントに参加できないことになる。このような状況を考慮し、ゲーム装置１は、演奏音が所定値未満となった場合、あるいは、歌詞が表示されなくなった場合には、ユーザに対して演奏あるいはゲームが継続していることを示すための通知を行うことが好ましい。このような通知は、ＨＭＤ３にメッセージを表示する、あるいは、ヘッドホン３２からメッセージを音声で読み上げ聞かせる等が考えられる。また、このような通知を適切な状況で行うため、ゲーム装置１では、カラオケ装置の演奏状態（演奏区間種別）を監視し、演奏状態が後奏である区間、あるいは、演奏終了から所定時間前（例えば３０秒前）である区間にのみ、上述する演奏音、あるいは、歌詞による判定を行い、通知を行うこととしてもよい。

【0069】

以上、本実施形態ではゲーム装置１（本発明の「ＶＲコンテンツ用装置」に相当。）とカラオケ装置２で構成されるカラオケシステムを例に取って説明を行ったが、本発明はこのようなカラオケシステムに限らず、１の情報処理装置で構成されることとしてもよい。また、本実施形態のゲーム装置１で実行される機能を実現可能なゲーム用プログラム（本発明の「ＶＲコンテンツ用プログラム」に相当。）についても本発明の範疇に属する。

【符号の説明】

【0070】

１：ゲーム装置 ３５Ｒ、３５Ｌ：表示部
２：カラオケ装置 ３６：ヘッドバンド
３：ＨＭＤ ３７：ＨＭＤ筐体
４：カラオケ装置 ３８ａ～３８ｄ：受光部
５：サーバ装置 ３９：カメラ
６：視野映像 ４０：ＣＰＵ
１０：ＣＰＵ ４１：メモリ
１１：メモリ ４２：ビデオＲＡＭ
１２：ビデオＲＡＭ ４３：映像形成部
１３：映像形成部 ４４：映像制御部
１４：映像制御部 ４５：音響制御部
１５：音響制御部 ４６：ハードディスク
１７：ハードディスク ４７：インタフェイス
１８：インタフェイス ４８：ＬＡＮ通信部
２１：モニタ ５１：記憶部
２３：ミキサー ６１：歌詞
２４：スピーカ ６２：対戦相手
２５：増幅器 ６３Ｒ、６３Ｌ：相手グラブ
２６ａ、２６ｂ：マイクロホン ６４Ｒ、６４Ｌ：自グラブ
２７：ルータ ６５：パンチ力メータ
３１Ｒ、３１Ｌ：トラッカー ６６：消費カロリー
３１Ｒ：トラッカー ６７：自ダウン数
３２（３２Ｒ、３２Ｌ）：ヘッドホン ６８：相手ダウン数
３３：マイクロホン ６９：カメラ映像表示欄
３４ａ、３４ｂ：ベースステーション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】