特許 5981095 カラオケ装置、端末および本体装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5981095

(24)【登録日】2016年8月5日

(45)【発行日】2016年8月31日

(54)【発明の名称】カラオケ装置、端末および本体装置

(51)【国際特許分類】

   G10K 15/04 20060101AFI20160818BHJP

【ＦＩ】

   G10K15/04 302D

【請求項の数】5

【全頁数】21

(21)【出願番号】特願2011-101459(P2011-101459)

(22)【出願日】2011年4月28日

(65)【公開番号】特開2012-233997(P2012-233997A)

(43)【公開日】2012年11月29日

【審査請求日】2014年2月20日

【審判番号】不服2015-16622(P2015-16622/J1)

【審判請求日】2015年9月9日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】多田 幸生

【合議体】

【審判長】 森川 幸俊

【審判官】 酒井 朋広

【審判官】 井上 信一

(56)【参考文献】

【文献】 特開平１１−０９５７７８（ＪＰ，Ａ）

【文献】 特開２０１０−２２４３７２（ＪＰ，Ａ）

【文献】 特開２００６−０１１１９２（ＪＰ，Ａ）

【文献】 特開２００８−０８９６５２（ＪＰ，Ａ）

【文献】 特開２００８−１５８９９６（ＪＰ，Ａ）

【文献】 特開２０１０−２８０３５６（ＪＰ，Ａ）

【文献】 特開２００９−２２３５１７（ＪＰ，Ａ）

【文献】 特開平１１−１３３９８７（ＪＰ，Ａ）

【文献】 特開２０１１−０３９８５４（ＪＰ，Ａ）

【文献】 特開２００４−１７７５８６（ＪＰ，Ａ）

【文献】 特開平１１−２２４０８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

G10K15/00-15/12

(57)【特許請求の範囲】

【請求項1】

端末と、
本体装置と
を具備し、
前記端末は、
曲を識別する曲識別情報と、前記曲の再生に伴って仮想空間において動作する人物像を識別する像識別情報とを対応付けて記憶する記憶手段と、
ユーザに指定された曲の曲識別情報を特定する第１特定手段と、
前記第１特定手段により特定された曲識別情報に対応する像識別情報を前記記憶手段の記憶内容に基づいて特定する第２特定手段と、
ユーザの操作に応じて前記仮想空間において当該ユーザが前記人物像を見る視点を特定する第３特定手段と、
前記第１特定手段により特定された前記曲識別情報を前記本体装置に送信し、当該曲識別情報が示す曲の再生を要求する第１要求手段と、
前記第２特定手段により特定された前記像識別情報を前記本体装置に送信し、当該像識別情報が示す人物像を、前記曲の再生に伴って前記仮想空間において動作させたときの、当該人物像の当該仮想空間における位置および姿勢を示す空間データの送信を要求する第２要求手段と、
前記第２要求手段による要求に応じて前記本体装置から空間データが送信された場合に、当該空間データと、前記第３特定手段により特定された前記視点と、に基づいて、当該視点から前記仮想空間における前記人物像を見たときの画像を示した画像データを生成して、当該画像データに応じた当該画像を表示する表示手段と、
を有し、
前記本体装置は、
前記第１要求手段による要求に応じて前記曲識別情報が示す曲を再生する再生手段と、
前記第２要求手段による要求に応じて前記空間データを生成する生成手段と、
前記生成手段が生成した前記空間データを前記端末に送信する送信手段と
を有する
ことを特徴とするカラオケ装置。

【請求項2】

前記本体装置の前記送信手段は、
前記生成手段が前記空間データを生成することによる負荷を表す数値が閾値を超えた場合に、前記曲識別情報が示す曲の再生に伴って前記仮想空間において前記像識別情報が示す人物像に行わせる動作を示す動作データと、当該像識別情報が示す人物像の形状を示す形状データとを前記端末に送信し、
前記端末の表示手段は、
前記本体装置から前記動作データおよび前記形状データが送信された場合に、当該動作データおよび当該形状データと、前記第３特定手段により特定された前記視点とに基づいて、当該視点から前記仮想空間における前記人物像を見たときの画像を示した画像データを生成して、当該画像データに応じた当該画像を表示する
ことを特徴とする請求項１に記載のカラオケ装置。

【請求項3】

前記端末を複数具備し、
前記本体装置の前記送信手段は、
前記複数の端末のそれぞれから前記第２要求手段により要求されたデータを、当該各端末にそれぞれ送信する
ことを特徴とする請求項１または２に記載のカラオケ装置。

【請求項4】

要求に応じて曲を再生する再生部と通信する端末であって、
曲を識別する曲識別情報と、前記曲の再生に伴って仮想空間において動作する人物像を識別する像識別情報とを対応付けて記憶する記憶手段と、
ユーザに指定された曲の曲識別情報を特定する第１特定手段と、
前記第１特定手段により特定された曲識別情報に対応する像識別情報を前記記憶手段の記憶内容に基づいて特定する第２特定手段と、
ユーザの操作に応じて前記仮想空間において当該ユーザが前記人物像を見る視点を特定する第３特定手段と、
前記第１特定手段により特定された前記曲識別情報を前記再生部に送信する第１要求手段と、
前記第２特定手段により特定された前記像識別情報を前記再生部に送信し、当該像識別情報が示す人物像を、前記曲の再生に伴って前記仮想空間において動作させたときの、当該人物像の当該仮想空間における位置および姿勢を示す空間データの送信を要求する第２要求手段と、
前記第２要求手段による要求に応じて前記再生部から送信された空間データと、前記第３特定手段により特定された前記視点とに基づいて、当該視点から前記仮想空間における前記人物像を見たときの画像を示した画像データを生成して、当該画像データに応じた当該画像を表示する表示手段と、
を有することを特徴とする端末。

【請求項5】

ユーザの操作に応じて仮想空間において当該ユーザが人物像を見る視点を特定し、当該視点から当該仮想空間における当該人物像を見たときの画像を表示する端末とともに、カラオケ装置を構成する本体装置であって、
ユーザに指定された曲の曲識別情報を前記端末から受信して、当該曲を再生する再生手段と、
前記端末から、前記曲識別情報に対応する像識別情報を受信して、当該像識別情報が示す人物像を、前記曲の再生に伴って前記仮想空間において動作させたときの、当該人物像の当該仮想空間における位置および姿勢を示す空間データを生成する生成手段と、
前記生成手段が生成した前記空間データを前記端末に送信する送信手段と、
を有することを特徴とする本体装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カラオケ装置による曲の再生に合わせて像を表示する技術に関する。

【背景技術】

【0002】

演奏の進行に合わせて、カラオケ装置にその演奏を盛り上げるための演出を行わせる技術が開発されている。例えば、特許文献１には、演奏の進行に一致する歌詞表示とともに、動きを伴うポリゴン像が表示されるカラオケ装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第３６６８５４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、カラオケの曲をユーザが選択するときに用いられる端末が知られている。この端末は、曲を選択するための目次の情報をユーザに提示して、ユーザから曲を選択する操作を受け付けて、無線通信などによりカラオケ装置にその操作に応じた信号を送信する。しかしながら、この端末は選曲に用いられても、上述したような演出のために用いられることはなかった。

【0005】

本発明は、上述の事情に鑑みてなされたものであり、ユーザの操作に応じて曲を特定する端末ごとに、その曲の再生に伴って動く像を表示させることを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決するため、本発明に係るカラオケ装置は、端末と、本体装置とを具備し、前記端末は、曲を識別する曲識別情報と、前記曲の再生に伴って仮想空間において動作する人物像を識別する像識別情報とを対応付けて記憶する記憶手段と、ユーザに指定された曲の曲識別情報を特定する第１特定手段と、前記第１特定手段により特定された曲識別情報に対応する像識別情報を前記記憶手段の記憶内容に基づいて特定する第２特定手段と、ユーザの操作に応じて前記仮想空間において当該ユーザが前記人物像を見る視点を特定する第３特定手段と、前記第１特定手段により特定された前記曲識別情報を前記本体装置に送信し、当該曲識別情報が示す曲の再生を要求する第１要求手段と、前記第２特定手段により特定された前記像識別情報を前記本体装置に送信し、当該像識別情報が示す人物像を、前記曲の再生に伴って前記仮想空間において動作させたときの、当該人物像の当該仮想空間における位置および姿勢を示す空間データの送信を要求する第２要求手段と、前記第２要求手段による要求に応じて前記本体装置から空間データが送信された場合に、当該空間データと、前記第３特定手段により特定された前記視点と、に基づいて、当該視点から前記仮想空間における前記人物像を見たときの画像を示した画像データを生成して、当該画像データに応じた当該画像を表示する表示手段と、を有し、前記本体装置は、前記第１要求手段による要求に応じて前記曲識別情報が示す曲を再生する再生手段と、前記第２要求手段による要求に応じて前記空間データを生成する生成手段と、前記生成手段が生成した前記空間データを前記端末に送信する送信手段とを有することを特徴とする。

【0007】

上述した態様において、前記本体装置の前記送信手段は、前記生成手段が前記空間データを生成することによる負荷を表す数値が閾値を超えた場合に、前記曲識別情報が示す曲の再生に伴って前記仮想空間において前記像識別情報が示す人物像に行わせる動作を示す動作データと、当該像識別情報が示す人物像の形状を示す形状データとを前記端末に送信し、前記端末の表示手段は、前記本体装置から前記動作データおよび前記形状データが送信された場合に、当該動作データおよび当該形状データと、前記第３特定手段により特定された前記視点とに基づいて、当該視点から前記仮想空間における前記人物像を見たときの画像を示した画像データを生成して、当該画像データに応じた当該画像を表示してもよい。

【0008】

また、本発明に係るカラオケ装置は、上述した態様において、前記端末を複数具備し、前記本体装置の前記送信手段は、前記複数の端末のそれぞれから前記第２要求手段により要求されたデータを、当該各端末にそれぞれ送信することを特徴とする。
また、本発明に係る端末は、要求に応じて曲を再生する再生部と通信する端末であって、曲を識別する曲識別情報と、前記曲の再生に伴って仮想空間において動作する人物像を識別する像識別情報とを対応付けて記憶する記憶手段と、ユーザに指定された曲の曲識別情報を特定する第１特定手段と、前記第１特定手段により特定された曲識別情報に対応する像識別情報を前記記憶手段の記憶内容に基づいて特定する第２特定手段と、ユーザの操作に応じて前記仮想空間において当該ユーザが前記人物像を見る視点を特定する第３特定手段と、前記第１特定手段により特定された前記曲識別情報を前記再生部に送信する第１要求手段と、前記第２特定手段により特定された前記像識別情報を前記再生部に送信し、当該像識別情報が示す人物像を、前記曲の再生に伴って前記仮想空間において動作させたときの、当該人物像の当該仮想空間における位置および姿勢を示す空間データの送信を要求する第２要求手段と、前記第２要求手段による要求に応じて前記再生部から送信された空間データと、前記第３特定手段により特定された前記視点とに基づいて、当該視点から前記仮想空間における前記人物像を見たときの画像を示した画像データを生成して、当該画像データに応じた当該画像を表示する表示手段と、を有することを特徴とする。
また、本発明に係る本体装置は、ユーザの操作に応じて仮想空間において当該ユーザが人物像を見る視点を特定し、当該視点から当該仮想空間における当該人物像を見たときの画像を表示する端末とともに、カラオケ装置を構成する本体装置であって、ユーザに指定された曲の曲識別情報を前記端末から受信して、当該曲を再生する再生手段と、前記端末から、前記曲識別情報に対応する像識別情報を受信して、当該像識別情報が示す人物像を、前記曲の再生に伴って前記仮想空間において動作させたときの、当該人物像の当該仮想空間における位置および姿勢を示す空間データを生成する生成手段と、前記生成手段が生成した前記空間データを前記端末に送信する送信手段と、を有することを特徴とする。

【発明の効果】

【0009】

本発明によれば、ユーザの操作に応じて曲を特定する端末ごとに、その曲の再生に伴って動く像を表示させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係るカラオケシステムの構成を示す図である。

【図2】本発明の実施形態に係るカラオケ装置の構成を示す図である。

【図3】目次データベースの一例を示す図である。

【図4】表示画面に表示される選曲メニューの一例を示す図である。

【図5】表示画面に表示される歌手名のリストの一例を示す図である。

【図6】表示画面に表示される歌手別の曲名リストの一例を示す図である。

【図7】対応表および指示信号の一例を示す図である。

【図8】曲データベースの一例を示す図である。

【図9】データ構造を示す図である。

【図10】人物像データベースの一例を示す図である。

【図11】端末で表示される人物像の概略を説明するための図である。

【図12】人物像データの樹形構造の一例を示す図である。

【図13】カラオケ装置の機能的構成の一例を示すブロック図である。

【図14】カラオケ装置における人物像の表示に関する演算の流れを示す図である。

【図15】カラオケ装置における演算を行う構成と、そのタイミングとを示す図である。

【図16】カラオケ装置によってそれぞれ表示される画像例を示した図である。

【図17】変形例２における演算を行う構成と、そのタイミングとを示す図である。

【図18】変形例４における演算を行う構成と、そのタイミングとを示す図である。

【図19】変形例５における光源を特定する構成と、そのタイミングとを示す図である。

【発明を実施するための形態】

【0011】

＜実施形態＞
（カラオケシステムの構成）
図１は、本発明の実施形態に係るカラオケシステム９の構成を示す図である。カラオケシステム９は、カラオケ装置３、インターネット等のネットワーク４、およびサーバ５を備える。カラオケ装置３は、端末１および本体装置２を有する。
サーバ５は、ネットワーク４を介して曲を表す曲データをカラオケ装置３の本体装置２に供給する。本体装置２は、サーバ５から供給された曲データを記憶する。端末１は、曲を特定するための操作をユーザから受け付けて、その操作に応じた信号を本体装置２に送信する。本体装置２は、端末１から信号を受け取り、この信号が示す曲の曲データを特定してその曲データに応じた演奏を行う。

【0012】

（カラオケ装置の構成）
図２は、本発明の実施形態に係るカラオケ装置３の構成を示す図である。カラオケ装置３の端末１は、制御部１１、記憶部１２、操作部１３、表示部１４、および近距離通信部１５を有する。カラオケ装置３の本体装置２は、制御部２１、記憶部２２、操作部２３、表示部２４、近距離通信部２５、通信部２６、および放音部２７を有する。

【0013】

（端末の構成）
図２に基づき、端末１の構成について説明する。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を備え、ＣＰＵが、ＲＯＭに記憶されているブートローダーや記憶部１２に記憶されているプログラムをＲＡＭに読み出して実行することにより、端末１の各部を制御する。記憶部１２は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの大容量の記憶手段であり、制御部１１により利用されるプログラムを記憶する。

【0014】

表示部１４は、表示画面１４１を有し、制御部１１の制御の下、操作を促す対話型ウインドウや本体装置２から送られたデータに基づいて人物像などをこの表示画面１４１に表示する。表示部１４の表示画面１４１は、例えば、液晶を用いた表示素子などにより構成される。

【0015】

操作部１３は、ボタンなど各種の指示を入力するための操作子１３１と、表示部１４の表示画面１４１に重ねて配置された透明の感圧部材を備え、この感圧部材によりユーザの指などが触れた位置を検出して、この位置に応じた座標を示す信号を出力するタッチパネル１３２と、端末１の筐体の運動状態や姿勢などを検知してこれらに応じた信号を出力するセンサ１３３を備える。センサ１３３は、具体的には、加速度センサや角速度センサなどを含む。ユーザは、操作子１３１のボタンなどを押したり、タッチパネル１３２に触れたり、端末１の筐体を持ってその姿勢を変化させてセンサ１３３にこれを検知させたりすることで、端末１を用いたカラオケ装置３に対する操作を行う。操作部１３は、これら操作子１３１、タッチパネル１３２、およびセンサ１３３などによりユーザの操作を受け付けてその操作内容に応じた信号を制御部１１に送る。

【0016】

近距離通信部１５は、本体装置２との間で制御情報や各種のデータを通信するインターフェースであり、例えばIEEE 802.11、やIEEE 802.15などに準拠した近距離無線通信回路、ＩｒＤＡ（Infrared Data Association）などに準拠した無線インターフェースなどである。

【0017】

また、記憶部１２は、目次データベース（以下、データベースを「ＤＢ」とも表記する）１２１と、対応表１２２とを備える。目次ＤＢ１２１は、ユーザに曲を特定させるための目次データを記憶する。対応表１２２は、各曲に固有の識別情報である曲番号と、人物像の識別情報である人物像番号とを対応付けて記憶する。人物像とは、曲の再生に伴って動作する像であって、例えば、歌手やダンサーを模倣またはデフォルメした像である。対応表１２２で各曲番号にそれぞれ対応付けられた人物像番号は、その曲番号に示す曲をユーザが特定したときに端末１で表示される人物像の人物像番号を表している。

【0018】

ここで、図３〜図７を用いて、記憶部１２の記憶内容について説明する。図３は、目次ＤＢ１２１の一例を示す図である。目次ＤＢ１２１は、曲番号、曲名、歌手名、ジャンル名、および発表年をそれぞれ示すフィールドを有し、各フィールドに記述されたデータを関連付ける。曲番号は、曲を識別する識別情報であり、１つの曲につき１つだけ割り当てられた固有の番号である。曲名はその曲の名前、すなわちタイトルを示す文字列である。歌手名はその曲を歌う歌手や演奏するグループなどの名前を示す文字列である。ジャンル名は、その曲が属する音楽のジャンルを示す文字列である。発表年は、その曲が公に発表された西暦年を示す数値である。

【0019】

一般に曲は曲名によって識別されるものであるが、同じ作詞家が歌詞を書き、同じ作曲家が作曲した曲が複数の歌手によって歌われることもあり、また、共通する題材を取り上げた結果、曲名が完全に一致する全く別の曲が作られることもある。また、同じ歌手が過去に発表した自分の持ち歌を後になって改めて録音するなどして発表しなおすこともある。この目次ＤＢ１２１は、曲名と、曲名以外のフィールドのうちいずれか１つとを組み合わせると必ずユニークなレコードが特定されるように記述されているが、このユニークなレコードをユニークな曲番号と対応付けることで、曲番号によって曲が特定されるように構成されている。図３に示すように、例えば、曲番号「Ｐ０１」には、曲名「○▽○」、歌手名「あ○△」、ジャンル名「ポップ」、および発表年「２００２」が対応付けられている。

【0020】

図４は、表示画面１４１に表示される選曲メニューの一例を示す図である。選曲メニューは、端末１を使ってユーザが曲を特定するときに最初に表示されるメニューである。図４に示す選曲メニューは、「歌手名別」「曲名別」「ジャンル名別」「発表年別」の４つの項目を有する。ユーザはこの４つの項目からいずれかを選択して、自分の望む曲を探す。

【0021】

図５は、表示画面１４１に表示される歌手名のリストの一例を示す図である。この歌手名のリストは、図４に示した選曲メニューが表示されているときに、「歌手名別」の項目をユーザが選択した場合に、表示画面１４１に表示されるリストである。このリストは、歌手名を、その頭文字ごとに分類して配列する。図５に示す例では、五十音の各行にそれぞれ対応する複数のウインドウが重畳されて表示されている。各ウインドウの上部には、そのウインドウを選択するためのタブが設けられている。このタブには、五十音の各行を表す文字「あ」「か」「さ」「た」「な」「は」が記述されている。なお、「次頁」と記述されたタブは「ま」「や」「ら」「わ」の各文字を記述したタブを有するウインドウを表示させるためのボタンとして機能する。この例においては、タブ「あ」が選択されているため、五十音の各行のうち「あ」行の頭文字を有する歌手名がウインドウ内の上下方向に配列される。なお、これらの歌手名のリストがウインドウ内の上下方向に入りきらない場合には、ウインドウの右端にあるスクロールバーを用いて上下に移動させられるようになっている。また、「ローマ字」と記述されたボタンの位置にユーザが触れると、歌手名の頭文字を用いた分類が五十音別からローマ字別に切り替わるようになっている。

【0022】

図６は、表示画面１４１に表示される歌手別の曲名リストの一例を示す図である。この曲名リストは、図５に示した歌手名のリストが表示されているときに、歌手名「あ○△」の項目をユーザが選択した場合に、表示画面１４１に表示されるリストである。このリストは、「あ○△」が発表した持ち歌の曲名をウインドウ内の上下方向に配列したものである。なお、これら曲名のリストがウインドウ内の上下方向に入りきらない場合には、ウインドウの右端にあるスクロールバーを用いて上下に移動させられるようになっている。

【0023】

ユーザが、図６に示した歌手別の曲名リストが表示されているときに、曲名「○▽○」の項目を選択した場合、歌手名「あ○△」と曲名「○▽○」とが特定されるため、目次ＤＢ１２１において、これらの組に対応付けられた曲番号「Ｐ０１」が定まる。

【0024】

図７は、対応表１２２および指示信号の一例を示す図である。図７（ａ）に示す対応表１２２において、例えば曲番号「Ｐ０１」は人物像番号「Ｍ０１」に対応付けられている。したがって、曲番号「Ｐ０１」に示す曲をユーザが選択した場合に、対応表１２２において、その曲番号「Ｐ０１」に対応付けられている人物像番号「Ｍ０１」が制御部１１によって特定される。

【0025】

これにより端末１の制御部１１は、図７（ｂ）に示すように、曲番号「Ｐ０１」に人物像番号「Ｍ０１」を付加した信号を生成し、これをユーザの選曲に基づく指示を示す指示信号として、近距離通信部１５を用いて本体装置２へ送信する。その結果、人物像番号「Ｍ０１」で識別される人物像の人物像データが、本体装置２から端末１へ送られ、端末１の表示画面１４１にこの人物像が表示される。

【0026】

（本体装置の構成）
図２に戻り、カラオケ装置３の本体装置２の構成について説明する。
制御部２１は、ＣＰＵ、ＲＯＭ、およびＲＡＭを備え、ＣＰＵが、ＲＯＭに記憶されているブートローダーや記憶部２２に記憶されているプログラムをＲＡＭに読み出して実行することにより、本体装置２の各部を制御する。記憶部２２は、ハードディスクドライブなどの大容量の記憶手段であり、制御部２１により利用されるプログラムを記憶する。また、記憶部２２は、曲を示す曲データを記憶する曲ＤＢ２２１と、人物像を示す人物像データを記憶する人物像ＤＢ２２２とを備える。

【0027】

ここで、図８〜図１２を用いて、記憶部２２の記憶内容について説明する。図８は、曲ＤＢ２２１の一例を示す図である。曲データは、演奏データ、背景データ、歌詞データ、および動作データを含む。演奏データとは、その曲が演奏されるときに発音される楽音と、その発音されるタイミングとを対応付けたデータである。背景データとは、演奏の進行に伴って本体装置２において表示される静止画像や動画などと、その表示されるタイミングとを対応付けたデータである。歌詞データとは、演奏の進行にあわせて表示すべき歌詞の情報を時系列に記録したデータであり、歌詞を表す文字列と、色替えのタイミングなどが記述されたものである。動作データとは、演奏の進行に伴って端末１において表示される人物像の動作と、その表示されるタイミングとを対応付けたデータである。曲ＤＢ２２１は、曲番号、演奏データ、背景データ、歌詞データ、および動作データをそれぞれ示すフィールドを有し、各フィールドに記述されたデータを関連付ける。これにより、曲ＤＢ２２１は、曲番号と曲データとを対応付けて記憶する。

【0028】

図９は、演奏データ、背景データ、歌詞データ、および動作データの各データ構造を示す図である。図９（ａ）に示すように各データは、いずれもヘッダ部とデータ本体部とに区画されている。ヘッダ部には、データ本体部に格納された情報の取り扱いに用いるパラメータやその情報の記述形式の種類などが記述されている。データ本体部に格納された情報は、図９（ｂ）に示すように、「時間」を示すタイミング情報と「イベント」を示すイベント情報とが対応付けられたリスト構造を有する。

【0029】

このイベント情報は、データが演奏データであれば、例えばノートオンやノートオフなど、楽音の演奏に関するイベントを表すものである。また、このイベント情報は、背景データであれば、静止画像や、新たに描かれるべきフレームの画像を直前のフレームの画像から予測するために用いられるフレーム間予測情報など、背景の表示に関するイベントを表すものである。また、このイベント情報は、歌詞データであれば、歌詞を示す文字列や、その文字列のうちどの部分を歌っているかをその文字列中の各文字の色を変化させることにより示す場合において、その色替え位置に関するイベントを表すものである。また、このイベント情報は、動作データであれば、例えば人物像の移動方向や、人物像を構成する関節まわりの運動方向の情報など、人物像の動作に関するイベントを表すものである。タイミング情報は、これらのイベントを発生させるべきタイミングを表すものである。

【0030】

図９（ｂ）に示すように、タイミング情報「１２３」には、イベント情報「イベントα」が対応付けられている。これはタイミング情報「１２３」が示すタイミング（例えば、曲の演奏開始から１２３ミリ秒経過したタイミングや、１２３回目にフレームを描き換えるタイミングなど）に、イベントαを発生させることを表している。

【0031】

図１０は、人物像ＤＢ２２２の一例を示す図である。人物像ＤＢ２２２は、人物像を識別する番号である人物像番号と、その人物像のデータである人物像データとを対応付けて記憶する。図１１は、端末１で表示される人物像の概略を説明するための図である。図１１に示すように、人物像は、仮想的な直交座標空間であるｘｙｚ座標空間（仮想空間）に配置される。人物像は、人間の体の形状を部位ごとにそれぞれポリゴンのパーツＣＨとして表現し、これら複数のパーツＣＨを組み合わせて構成されている。複数のパーツＣＨは、人物像データにおいて樹形構造で記憶されている。図１２は、人物像データの樹形構造の一例を示す図である。図１２に示すように、人物像データにおいて複数のパーツは、腰を示すパーツを根とする樹形構造をなしている。すなわち、根のパーツである「腰」には、「胸」「右上腿」「左上腿」の３つのパーツが接続されており、さらに「胸」には、「頭」「右上腕」「左上腕」の３つのパーツが接続されている。人物像データには、各パーツの形状を表すポリゴンデータと、標準の状態における各パーツ間の接続位置や角度などが記述されている。人物像データには、さらに各パーツの表面の質感や色合い、模様などを示すテクスチャーデータを含んでいてもよい。要するに、人物像ＤＢ２２２は、人物像番号（像識別情報）で識別される人物像の形状を示す人物像データ（形状データ）を、その人物像番号ごとに対応付けて記憶する。

【0032】

動作データは、演奏の進行に合わせた動作を人物像に行わせるために必要なパラメータが記載されている。これらのパラメータは、例えば、ｘｙｚ座標空間上における人物像の配置を示す数値や、その人物像の各パーツ間の接続位置や角度の変化を示す数値などである。図１１に示す例において、人物像の配置を示す数値とは、「腰」の重心ＰＯの座標である。また、パーツ間の接続の角度を示す数値とは、例えば図１１に示すように人物像の左上腕と左前腕との角度ＪＡである。

【0033】

図２に戻って本体装置２の説明を続ける。
表示部２４は、表示画面２４１を有し、制御部２１の制御の下、曲ＤＢ２２１から読み出された曲データのうち、歌詞データや背景データに基づいて、曲の演奏の進行に一致する歌詞や背景映像などをこの表示画面２４１に表示する。表示部２４の表示画面２４１は、例えば、液晶を用いた表示素子などにより構成される。

【0034】

操作部２３は、ボタンなど各種の指示を入力するための操作子２３１と、ユーザが発する歌唱音声を収音した音信号を放音部２７へ送出するマイク２３２とを備える。操作子２３１は、ユーザにより入力された指示を示す信号を制御部２１に送出する。

【0035】

近距離通信部２５は、端末１の近距離通信部１５との間で制御情報や各種のデータを通信するインターフェースであり、例えばIEEE 802.11、やIEEE 802.15などに準拠した近距離無線通信回路、ＩｒＤＡなどに準拠した無線インターフェースなどである。

【0036】

通信部２６は、ネットワーク４を介してサーバ５から曲データを受信するためのインターフェースであり、例えば各種のモデムやIMT-2000に準拠した無線通信回路、あるいは、ＵＳＢ（Universal Serial Bus）規格に準拠したシリアルインターフェースなどである。

【0037】

放音部２７は、音源回路（ＴＧ：Tone Generator）と、ミキサと、増幅器と、スピーカとを備える。音源回路は曲ＤＢ２２１から読み出された曲データのうち、演奏データに基づいて楽音の合成を行う。ミキサは、音源回路により合成された楽音と、マイク２３２により送出された音信号とを決められた割合でミキシングする。増幅器は、ミキサによりミキシングされた信号を増幅する。スピーカは増幅器で増幅された信号に応じた音を放音する。

【0038】

（カラオケ装置の機能的構成）
図１３は、カラオケ装置３の機能的構成の一例を示すブロック図である。図１３に示すように、カラオケ装置３に備えられている端末１の制御部１１と、本体装置２の制御部２１は、それぞれ様々な機能を実現する。具体的には、制御部１１は、第１特定部１１１、第２特定部１１２、第３特定部１１３、第１要求部１１４、第２要求部１１５、および表示制御部１１６として機能する。また、制御部２１は、再生部２１１、生成部２１２、および送信部２１３として機能する。以下、これらの機能について説明する。なお、端末１と本体装置２との通信は、図２で示したように近距離通信部１５および近距離通信部２５を介して行われるが、図１３においてこれらを省略する。

【0039】

第１特定部１１１（第１特定手段）は、操作部１３の操作子１３１やタッチパネル１３２が受け付けたユーザの操作に応じて、そのユーザによって指定された曲の識別情報を特定する。具体的に、第１特定部１１１は、上述した図４に示すようなメニュー画面を表示部１４の表示画面１４１に表示させ、操作子１３１やタッチパネル１３２を介したユーザの指示を受け付けて、記憶部１２の目次ＤＢ１２１に記憶されているいずれか１つの曲番号（曲識別情報）を特定する。

【0040】

第２特定部１１２（第２特定手段）は、第１特定部１１１により特定された曲番号に対応する人物像番号（像識別情報）を、対応表１２２に基づいて特定する。具体的に、第２特定部１１２は、第１特定部１１１によって特定された曲番号を、対応表１２２の中から探し出し、その曲番号に対応付けられた人物像番号を特定する。

【0041】

第３特定部１１３（第３特定手段）は、センサ１３３によって検知したユーザの操作に応じて、上述したｘｙｚ座標空間における視点を特定する。この視点は、ｘｙｚ座標空間を見る位置や方向、画角などを特定するものであって、この視点からｘｙｚ座標空間を見つけたときの画像が端末１の表示部１４に表示される。視点については後述する。

【0042】

第１要求部１１４（第１要求手段）は、第１特定部１１１により特定された曲番号を本体装置２に送信し、その曲番号が示す曲の再生を要求する。
再生部２１１（再生手段）は、第１要求部１１４による要求に応じて上述した曲番号が示す曲を再生する。具体的に、再生部２１１は、曲番号を指定した曲の再生の要求を端末１から受け取ると、記憶部２２の曲ＤＢ２２１からこの曲番号に対応付けられた曲データを探し出し、その曲データに含まれる演奏データを読み出す。そして、再生部２１１は、読みだした演奏データに応じた楽音信号を生成し、放音部２７を用いて、この楽音信号に応じた放音を行わせる。

【0043】

第２要求部１１５（第２要求手段）は、第２特定部１１２により特定された人物像番号を本体装置２に送信し、その人物像番号が示す人物像を、上述した曲の再生に伴ってｘｙｚ座標空間において動作させたときの、その人物像のｘｙｚ座標空間における位置および姿勢を示す空間データの送信を要求する。
生成部２１２（生成手段）は、第２要求部１１５による要求に応じて空間データを生成する。具体的に、生成部２１２は、人物像番号を端末１から受け取ると、記憶部２２の人物像ＤＢ２２２からこの人物像番号に対応付けられた人物像データを探し出す。また、生成部２１２は、再生部２１１で探し出された上述の曲データから動作データを読み出す。そして、生成部２１２は、動作データと人物像データとを用いて空間データを生成する。すなわち、生成部２１２は、読みだした人物像データに基づく人物像の各パーツを、動作データに基づいてｘｙｚ座標空間のそれぞれの位置に配置して、空間データを生成する。

【0044】

送信部２１３（送信手段）は、生成部２１２で生成された空間データを端末１に送信する。表示制御部１１６（表示手段）は、本体装置２から送信された空間データと、第３特定部１１３により特定された視点に基づいて、上述したｘｙｚ座標空間における人物像をその視点から見たときの画像を表示部１４の表示画面１４１を用いて表示する。

【0045】

（カラオケ装置の動作）
図１４は、カラオケ装置３における人物像の表示に関する演算の流れを示す図である。まず、カラオケ装置３は人物像データと動作データとを用いて第１演算を行う。第１演算とは、人物像データが示す人物像を動作データに基づいてｘｙｚ座標空間に配置するとともに、この人物像にポーズ（姿勢）を取らせるための演算である。第１演算により、ｘｙｚ座標空間において人物像が取るべきポーズを取り、配置されるべき位置に配置された空間を示す空間データが生成される。したがって、第１演算は、図１３における生成部２１２が行う。なお、図１４に破線で示すように、第１演算は、既に生成された空間データをさらに用いて、新たな空間データを生成してもよい。この場合、動作データには、例えば前回のタイミングから今回のタイミングまでの動作の差分を示すデータが記述されていればよい。

【0046】

次に、カラオケ装置３は、第１演算で得られた空間データと、ｘｙｚ座標空間において人物像を見る視点座標や画角などを表す視点データと、ｘｙｚ座標空間において人物像に光を照射する光源の位置やその光の色などを表す光源データとを用いて第２演算を行う。視点データとは、例えば図１１において視点座標ＰＶと画角ＶＡである。視点座標ＰＶは、ｘｙｚ座標空間における視点の座標を示す。画角ＶＡは、ｘｙｚ座標空間において視点座標ＰＶから見える視野の範囲を示す。光源データに含まれる光源の位置とは、例えば図１１における光源ＰＬである。第２演算は、いわゆる三次元レンダリングと呼ばれる演算を含む。図１１に示す例において、第２演算は、光源ＰＬから照射される光が人物像データを構成する各パーツＣＨの表面によって反射される割合を計算し、その表面から反射される反射光のうち、視点座標ＰＶに向かうものを抽出する。そして抽出されたこれらの反射光に応じた色の階調値を画角ＶＡによって定まる画像領域に配置することで視点座標ＰＶから画角ＶＡの範囲でｘｙｚ座標空間を見たときに見える画像を示した画像データを生成する。したがって、第２演算は、図１３における表示制御部１１６が行う。

【0047】

図１５は、カラオケ装置３における演算を行う構成と、そのタイミングとを示す図である。端末１の制御部１１は、操作部１３で受け付けた操作に基づいて記憶部１２の目次ＤＢ１２１から曲番号を特定し（ステップＳ１０１）、対応表１２２を参照してその曲番号に対応付けられた人物像番号を特定する（ステップＳ１０２）。そして制御部１１は、近距離通信部１５を用いて、図７（ｂ）に示したような指示信号を本体装置２の近距離通信部２５へ送信する（ステップＳ１０３）。

【0048】

本体装置２の制御部２１は、指示信号を受け取るとこの指示信号が示す曲番号に対応付けられた曲データを曲ＤＢ２２１から見つけ出し、これに含まれる演奏データを読み出して曲の演奏を行う（ステップＳ１０４）。また、制御部２１は、指示信号が示す人物像番号に対応付けられた人物像データを人物像ＤＢ２２２から見つけ出し、この人物像データと上述した曲データに含まれる動作データとを用いて第１演算を行う（ステップＳ１０５）。なお、制御部２１は、曲データに含まれる背景データや歌詞データに基づいて、演奏の進行に伴って表示されるべき背景映像や歌詞を表示部２４の表示画面２４１に表示させる。

【0049】

端末１のセンサ１３３は、端末１の筐体の姿勢を検知し、この姿勢に応じた信号を制御部１１に送る（ステップＳ１０６）。制御部１１は、センサ１３３が検知した筐体の姿勢に応じて、ｘｙｚ座標空間における視点データを加工して、現在の視点を特定する（ステップＳ１０７）。例えば、ユーザによって端末１の筐体が傾けられた場合に、制御部１１はセンサ１３３から送られた信号を解析してその傾きの角度を求め、この角度に応じて視点データに含まれる画角が傾くようにそのデータ内容を書き換える。また、制御部１１は、操作部１３の操作子１３１やタッチパネル１３２により受け付けられた操作に応じて視点データを加工してもよい。なお、この例では光源データはｘｙｚ座標空間において固定されているものとする。

【0050】

制御部２１は、第１演算を行うことにより生成された空間データを、近距離通信部２５を用いて端末１へ送信する（ステップＳ１０８）。端末１の制御部１１は、本体装置２から送信された空間データと、上述した光源データと、視点データとを用いて第２演算を行う（ステップＳ１０９）。そして、制御部１１は、第２演算により生成された画像データに応じた画像を、表示部１４の表示画面１４１に表示させる（ステップＳ１１０）。

【0051】

以上、説明したようにカラオケ装置３は、端末１による曲の特定に応じて人物像を特定するので、曲を特定した端末１と特定された曲との組に応じて端末１の表示部１４に表示させる人物像が決まる。したがって、選曲に用いた端末１ごとに固有の人物像を表示させるサービスがカラオケ装置３によって提供される。

【0052】

また、カラオケ装置３は、端末１の表示部１４と本体装置２の表示部２４とに個別の画像を表示させる。図１６はカラオケ装置３によって表示部１４と表示部２４とにそれぞれ表示される画像例を示した図である。図１６（ａ）に示す画像は、端末１の表示部１４に表示される画像の例であり、選曲とともに特定された人物像が演奏の進行に伴って動作データに応じた踊りを踊る様子が表現されている。一方、図１６（ｂ）に示す画像は、本体装置２の表示部２４に表示される画像の例であり、背景データに応じた背景と、歌詞データに応じた歌詞とが重ね合わせられて表現されている。したがって、カラオケ装置３は、本体装置２に提供する画像とは別に、選曲に用いた端末１に固有の画像として、人物像が動作する様子を表現した画像をその端末１に提供する。

【0053】

また、カラオケ装置３は、ユーザが選曲に用いた端末１に、図１６（ａ）に示すような画像を表示させるので、ユーザは選曲のときに端末１の表示部１４に向けていた視線を動かすこと無く、曲の再生に伴って人物像が動作する様子を見ることができる。つまり、選曲から曲の再生に移行しても、ユーザは視線を動かす必要がない。
そして、カラオケ装置３では、選曲の後で、曲が再生されている間にも、その曲の再生に合わせて動作する人物像が端末１の表示部１４により表示されるので機器（端末１）の有効利用が図られる。

【0054】

＜変形例＞
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
（変形例１）
上述した実施形態において、記憶部１２が有する対応表１２２は読出し専用の表であってもよいが、更新可能な表であってもよい。例えば、端末１の操作部１３を用いてユーザが対応表１２２を編集可能なように構成されていてもよい。また、本体装置２が記憶部２２に対応表を記憶しており、端末１の制御部１１が近距離通信部１５を用いてこの対応表を本体装置２から獲得して、対応表１２２を更新してもよい。この場合、本体装置２は、サーバ５などの外部装置から送られる情報に応じて記憶部２２に記憶させる対応表を更新するようにしてもよい。

【0055】

（変形例２）
上述した実施形態において、第１演算は生成部２１２、つまり、本体装置２の制御部２１により行われていたが、端末１の制御部１１により行われてもよい。図１７は、変形例２のカラオケ装置３における演算を行う構成と、そのタイミングとを示す図である。図１７に示す動作の流れと図１５に示す動作の流れとで共通する工程は、共通の符号を付して説明を省略する。

【0056】

本体装置２の制御部２１は、指示信号を受け取るとこの指示信号が示す人物像番号に対応付けられた人物像データを人物像ＤＢ２２２から見つけ出し、この人物像データを端末１へ送信する（ステップＳ２０１）。また、制御部２１は、指示信号が示す曲番号に対応付けられた曲データを曲ＤＢ２２１から見つけ出し、これに含まれる演奏データを読み出して曲の演奏を行うとともに（ステップＳ１０４）、上述した曲データに含まれる動作データを端末１へ送信する（ステップＳ２０２）。端末１は、ステップＳ２０１で本体装置２から得た人物像データと、ステップＳ２０２で本体装置２から得た動作データとを用いて、第１演算を行う（ステップＳ２０３）。これにより、本体装置２の制御部２１によって第１演算を行った場合に比べて、制御部２１の負荷は低減される。

【0057】

なお、この場合、図１３に示した第２要求部１１５は、第１特定部１１１により特定された曲番号と、第２特定部１１２により特定された人物像番号とを本体装置２に送信する。そして、第２要求部１１５は、曲番号が示す曲の再生に伴ってｘｙｚ座標空間において人物像番号が示す人物像に行わせる動作を示す動作データの送信と、人物像番号が示す人物像の形状を示す人物像データの送信とを要求する。
また、この場合、図１３に示した生成部２１２は、第２要求部１１５による要求に応じて空間データの代わりに動作データおよび人物像データを生成する。具体的に、生成部２１２は、探し出した曲データから動作データを抽出することで、この動作データを生成するとともに、第２要求部１１５による要求に含まれる人物像番号に対応付けられた人物像データを人物像ＤＢ２２２から見つけ出すことで、この人物像データを生成する。

【0058】

また、この場合、図１３に示した送信部２１３は、生成部２１２が生成した動作データおよび人物像データを端末１に送信する。
そして、この場合、図１３に示した表示制御部１１６は、第２要求部１１５による要求に応じて本体装置２から送信された動作データおよび人物像データと、第３特定部１１３により特定された視点とに基づいて、その視点からｘｙｚ座標空間における上述の人物像を見たときの画像を表示する。したがって、この場合、表示制御部１１６は、図１４に示した第１演算を行って、さらに第２演算を行う。

【0059】

（変形例３）
上述した実施形態において、人物像ＤＢ２２２は本体装置２の記憶部２２に記憶されていたが、これに相当する内容を端末１の記憶部１２に記憶させてもよい。例えば、図２に破線で示すように、記憶部１２に上述した人物像ＤＢ２２２と共通する記憶内容を有する人物像ＤＢ１２３を記憶させてもよい。この場合、端末１は上述した指示信号に加えて、人物像番号で特定される人物像データを人物像ＤＢ１２３から読み出して本体装置２へ送信すればよい。この人物像データを受け取った本体装置２の制御部２１は、この人物像データと上述した動作データに基づいて第１演算を行えばよい。なお、この変形例３において、変形例２に示すように端末１の制御部１１に第１演算を行わせる場合には、本体装置２と端末１との間で人物像データを遣り取りする必要はない。この場合、端末１の制御部１１が人物像ＤＢ１２３から読みだした人物像データと、本体装置２から受け取った動作データとを用いて第１演算を行うからである。

【0060】

なお、この場合、図１３に示した第２要求部１１５は、第２特定部１１２により特定された人物像番号を本体装置２に送信しなくてもよい。第２要求部１１５は、第１特定部１１１により特定された曲番号を本体装置２に送信して、その曲番号が示す曲の再生に伴ってｘｙｚ座標空間において上述の人物像番号が示す人物像に行わせる動作を示す動作データの送信を要求すればよい。
また、この場合、図１３に示した生成部２１２は、第２要求部１１５による要求に応じて空間データの代わりに動作データを生成する。したがって、この場合、図１３に示した送信部２１３は、生成部２１２が生成した動作データを端末１に送信する。
そして、この場合、図１３に示した表示制御部１１６は、第２要求部１１５による要求に応じて本体装置２から送信された動作データと、人物像ＤＢ１２３から読み出した人物像データと、第３特定部１１３により特定された視点とに基づいて、その視点からｘｙｚ座標空間における上述の人物像を見たときの画像を表示する。

【0061】

（変形例４）
カラオケ装置３は、複数の端末１を備えていてもよい。またこの場合、曲を特定した端末１以外の端末１は、曲を特定した端末１と異なる人物像を表示してもよい。図１８は、変形例４のカラオケ装置３における演算を行う構成と、そのタイミングとを示す図である。図１８に示す動作の流れと図１５に示す動作の流れとで共通する工程は、共通の符号を付す。共通する工程については説明を省略する場合がある。

【0062】

カラオケ装置３は、端末１ａ，１ｂと、本体装置２とを備える。図１８に示す例において、端末１ａは、ユーザの操作を受け付けて曲を特定する一方、端末１ｂは、曲を特定しないが、人物像番号を特定し（ステップＳ３０１）、この人物像番号を含む指示信号を本体装置２に送信する（ステップＳ３０２）。本体装置２の制御部２１は、ステップＳ１０３で端末１ａから取得した指示信号（以下、指示信号ａという）を用いて曲の演奏を行う（ステップＳ１０４）。また、制御部２１は、指示信号ａと、ステップＳ３０２で端末１ｂから取得した指示信号（以下、指示信号ｂという）とを参照して、第１演算を行う（ステップＳ１０５）。この第１演算において、指示信号ａにより示される人物像番号と、指示信号ｂにより示される人物像番号とは異なる場合があるため、制御部２１は、それぞれ個別の空間データを生成し、端末１ａ，１ｂのそれぞれに送信する（ステップＳ１０８，Ｓ３０５）。

【0063】

端末１ｂのセンサ１３３は、端末１ｂの筐体の姿勢を検知し、この姿勢に応じた信号を制御部１１に送る（ステップＳ３０３）。端末１ｂの制御部１１は、端末１ｂのセンサ１３３が検知した筐体の姿勢に応じて、ｘｙｚ座標空間における視点データを加工して、現在の視点を特定する（ステップＳ３０４）。

【0064】

また、本体装置２から空間データを取得した端末１ｂの制御部１１は、その空間データと、ステップＳ３０４で加工された視点データと、ｘｙｚ座標空間において固定されている光源データとを用いて第２演算を行う（ステップＳ３０６）。そして、端末１ｂの制御部１１は、第２演算により生成された画像データに応じた画像を、端末１ｂの表示部１４の表示画面１４１に表示させる（ステップＳ３０７）

【0065】

以上により、カラオケ装置３は、本体装置２に提供する画像とは別に、選曲に用いた端末１ａと、選曲に用いられなかった端末１ｂとに、それぞれ個別の人物像が動作する様子を表現した画像を各端末１にそれぞれ提供する。したがって、複数の端末１は、各端末１に対応付けられた人物像が踊る様子を、それぞれ個別に各表示部１４に表示させる。

【0066】

なお、ステップＳ３０１において端末１ｂの制御部１１が行う人物像番号の特定の処理は、本体装置２が、端末１ａから曲番号と人物像番号とを含む指示信号ａを受け取った後に行われてもよい。この場合、本体装置２が受け取った指示信号ａから曲番号を読み出して端末１ｂに送ってもよい。端末１ｂの制御部１１は、本体装置２から送られた曲番号を自身の記憶部１２に記憶されている対応表１２２から参照して、これに対応付けられている人物像番号を特定することで、ステップＳ３０１を実現してもよい。

【0067】

（変形例５）
上述した実施形態において、光源データは、ｘｙｚ座標空間において固定されていたが、端末１による操作に応じて特定されるように構成されていてもよい。図１９は、変形例５のカラオケ装置３における光源を特定する構成と、そのタイミングとを示す図である。図１９に示す動作の流れと図１５に示す動作の流れとで共通する工程は、共通の符号を付す。共通する工程については説明を省略する場合がある。

【0068】

カラオケ装置３は、端末１ａ，１ｃと、本体装置２とを備える。図１９に示す例において、端末１ａは、ユーザの操作を受け付けて曲を特定する一方、端末１ｃは、曲を特定しないが、端末１ｃのセンサ１３３は、端末１ｃの筐体の姿勢を検知し、この姿勢に応じた信号を制御部１１に送る（ステップＳ４０１）。そして、端末１ｃの制御部１１は、端末１ｃのセンサ１３３が検知した筐体の姿勢に応じて、ｘｙｚ座標空間における光源データを加工して、現在の光源の座標を特定する（ステップＳ４０２）。

【0069】

光源の座標を特定した端末１ｃの制御部１１は、この座標を含むデータである光源データを生成し、近距離通信部１５を用いて本体装置２へ送信する（ステップＳ４０３）。本体装置２は、破線で示すように、この光源データを端末１ａに転送する。

【0070】

本体装置２から空間データを取得した端末１ａの制御部１１は、その空間データと、ステップＳ１０７で加工された視点データと、ステップＳ４０３で本体装置２から転送された光源データとを用いて第２演算を行う（ステップＳ１０９）。そして、端末１ａの制御部１１は、第２演算により生成された画像データに応じた画像を、端末１ａの表示部１４の表示画面１４１に表示させる（ステップＳ１１０）。なお、光源データは選曲に用いられなかった端末１ｃで生成されていたが、選曲に用いた端末１ａで生成されてもよい。

【0071】

以上により、カラオケ装置３は、端末１を用いて光源の位置などを決める。これにより、ユーザは、端末１を操作して、人物像を撮影するためのアングルを決定することができることに加えて、その人物像に当てる光を決定することができる。すなわち、ユーザは、人物像が踊る様子をカメラマンがするように撮影する楽しみを享受することに加えて、照明係がするようにその人物像を照らし出す光を調節する楽しみを享受することができる。

【0072】

（変形例６）
上述した第１演算および第２演算を行う構成は、それぞれの負荷に応じて決められてもよい。例えば、本体装置２の制御部２１により第１演算を行う場合に、ＣＰＵの負荷を表す数値が予め決められた閾値を超えたときには、制御部２１は、第１演算を端末１に行わせる旨の指示を端末１へ送るようにしてもよい。また、端末１や本体装置２は、それぞれに備えられたＣＰＵの負荷を監視して、この負荷を表す数値が予め決められた閾値を下回ったときには、他の構成に対して、演算能力に余裕がある旨の通知を送るようにしてもよい。この場合、上述した通知を送った端末１または本体装置２は、他の構成が実行していた演算を代行すればよい。

【0073】

（変形例７）
上述した実施形態において、人物像は、人間の体を１５個の部位に対応するパーツとして表現していたが、パーツの個数はこれに限られない。例えば、右手、左手のパーツにそれぞれ指のパーツを設けてもよいし、頭と胸とのパーツ間に首のパーツを設けてもよい。

【0074】

（変形例８）
上述した実施形態において、人物像は、人間の体を部位ごとにそれぞれポリゴンのパーツとして表現し、これら複数のパーツを組み合わせて構成されていたが、人物像は、人間の体を表現したものに限られない。人物像は、例えば猫や猿、昆虫などといった人間以外の生物の体を表現したものであってもよいし、スフィンクスやケンタウロスといった架空の生物の体、あるいはロボットなどの無生物の姿を表現したものであってもよい。また、例えば、マフラーや袖といった衣服・アクセサリーなどの物体も人物像に含めてもよい。この場合、これらの物体は、人物像のうち、動作データに動作が記述されたパーツに合わせて、動くように構成されていてもよい。例えば、マフラーの動きは、そのマフラーが巻かれている首の部分の動きと、マフラーの質量、周囲の圧などを加味した物理演算により求められてもよい。要するに人物像は、曲の再生に伴って動作する像であれば何でもよい。

【0075】

（変形例９）
上述した実施形態において、曲ＤＢ２２１は、曲番号と曲データとを対応付けて記憶し、曲データには、１つの動作データが記述されていたが、曲データには複数の動作データが記述されていてもよい。この場合、複数の動作データの各ヘッダ部には、その動作データを識別する識別情報として動作番号が記述されており、端末１は、本体装置２へ送信する指示信号に、曲番号と人物像番号とに加えて、いずれか１つの動作データを特定するための動作番号を含めてもよい。動作番号を含む指示信号を受け取った本体装置２は、その動作番号に基づいて、複数の動作データから１つの動作データを特定して、上述した第１演算を行ったり、特定したその動作データを端末１へ送ったりすればよい。

【0076】

１つの曲であっても、複数の歌手がその曲の歌を歌う場合や、複数の踊り手がその曲に合わせて踊る場合には、一般に複数の異なる動作が各人に割り当てられている。この構成によれば、曲データに複数の動作データが記述されていて、ユーザはそれらからいずれか１つを選択することができるので、例えば、ユーザは複数の踊り手がそれぞれ異なった振付で踊る曲において、所望する踊り手の振付を学習することができる。

【0077】

なお、端末１が指示信号に動作番号を含める態様としては、端末１がユーザの操作に応じて曲を特定した後、さらにユーザの操作を受け付けて動作番号を特定してもよい。また、予め対応表１２２に、曲番号と人物像番号と上述した動作番号とを対応付けて記述し、曲番号が特定されたことに連動して人物像番号と動作番号とが特定されるようにしてもよい。また、人物像番号と動作番号とが１対１の対応関係がある場合には、人物像番号で動作番号を代用してもよい。例えば、複数の動作データの各ヘッダ部には、人物像番号が記述されていてもよい。

【0078】

（変形例１０）
上述した実施形態において、対応表１２２は、１つの曲番号に１つの人物像番号を対応付けていたが、１つの曲番号に複数の人物像番号を対応付けてもよい。例えば、図７（ａ）に破線で示すように、対応表１２２には、曲番号と人物像番号（１人目）と、さらに『人物像番号（２人目）』を対応付けていてもよい。この場合、曲データに１人目の人物像の動作を示す動作データ（以下、動作データＡという）に加えて、２人目の人物像の動作を示す動作データ（以下、動作データＢという）が記述されているのであれば、端末１の制御部１１や本体装置２の制御部２１は、１人目の人物像番号が示す人物像に動作データＡが示す動作を行わせ、２人目の人物像番号が示す人物像に動作データＢが示す動作を行わせるように、第１演算を行って空間データを生成すればよい。

【0079】

具体的には、例えば、曲番号「Ｐ０１」に示す曲をユーザが選択した場合に、制御部１１は、図７（ａ）に示す対応表１２２において、その曲番号「Ｐ０１」に対応付けられている１人目の人物像番号「Ｍ０１」と、２人目の人物像番号「Ｍ１１」とを特定する。

【0080】

これにより端末１の制御部１１は、図７（ｂ）に示すように、曲番号「Ｐ０１」に１人目の人物像番号「Ｍ０１」と２人目の人物像番号「Ｍ１１」とを付加した信号を生成し、これをユーザの選曲に基づく指示を示す指示信号として、近距離通信部１５を用いて本体装置２へ送信する。その結果、人物像番号「Ｍ０１」で識別される１人目の人物像の人物像データと、人物像番号「Ｍ１１」で識別される２人目の人物像の人物像データとが、それぞれ動作データＡ、動作データＢに対応付けられて第１演算が行われて空間データが生成される。生成された空間データと、上述した光源データと、視点データとを用いて第２演算が行われることにより画像データが生成されると、端末１ａの制御部１１は、この画像データに応じた画像を、表示部１４の表示画面１４１に表示させればよい。これにより、表示画面１４１には、複数（この場合２人）の人物像が、上述の曲番号で特定される曲の再生に伴ってそれぞれ個別に動作する様子が表示される。

【0081】

すなわち、曲データに複数の動作データが記述されている曲であって１画面に複数の人物像を表示したい曲（デュエット曲やグループ曲など）がある場合、ユーザは、対応表１２２においてその曲の曲番号に複数の人物像番号を対応付けて記憶させればよい。これにより、ユーザは、上記の曲の再生に伴って、複数の人物像がそれぞれ異なる動作で踊る映像を端末１の表示画面１４１に表示させることができる。

【0082】

なお、このように１つの曲番号に対して、複数の人物像番号と複数の動作データとが対応付けられている場合には、人物像番号および動作データのそれぞれに付された順序（この場合、１人目、２人目の別）に基づいて、人物像番号と動作データとを関連づければよい。また、対応表１２２は、１つの曲番号に３以上の人物像番号を対応付けてもよい。

【0083】

またここで、ｍ，ｎが１以上の自然数とし、対応表１２２において或る１つの曲番号に対応付けて記述されている人物像番号の個数ｍが、その曲番号で特定される曲データに含まれる動作データの個数ｎよりも多い（すなわち、ｍ＞ｎ）場合、（ｎ＋１）人目からｍ人目までの人物像番号が示す人物像には、１人目からｍ人目までのいずれかの動作データが示す動作を行わせるようにしてもよいし、これらを順に割り当ててもよい。また、この場合、（ｎ＋１）人目からｍ人目までの人物像番号が示す人物像は使用しなくてもよい。

【0084】

そして、対応表１２２において或る１つの曲番号に対応付けて記述されている人物像番号の個数ｍが、その曲番号で特定される曲データに含まれる動作データの個数ｎよりも少ない（すなわち、ｍ＜ｎ）場合、（ｍ＋１）人目からｎ人目までの動作データには、１人目からｍ人目までのいずれかの人物像番号が示す人物像を割り当ててもよいし、これらを順に割り当ててもよいし、予め定められた人物像を割り当ててもよい。また、この場合、（ｍ＋１）人目からｎ人目までの動作データは使用しなくてもよい。

【0085】

例えば、図７（ａ）に示す対応表１２２において、曲番号「Ｐ０２」には、１人目の人物像番号「Ｍ０２」が対応付けられているが、２人目の人物像番号は未設定である。この場合において、曲番号「Ｐ０２」で識別される曲データに１人目および２人目の各動作データが記述されているとするならば、２人目の動作データに対応付けられる人物像番号が未設定ということになる。この場合であっても、記憶部１２または記憶部２２に、上述したようなルールが記憶されていれば、制御部１１または制御部２１は、そのルールに従って、未設定の人物像番号を新たに設定したり、未設定の人物像番号に対応する動作データを使用しないように制限したりすることができる。

【0086】

（変形例１１）
上述した実施形態において、曲データは、演奏データ、背景データ、歌詞データ、および動作データを含むものであったが、曲の進行に伴ってユーザに提示する情報を示す提示データを含んでいてもよい。この提示データとは、例えば、動作データに示される動作を数秒間先行して知らせるものであってもよい。この場合、ユーザは振付が複雑になる直前にそのことを警告されるので、振付の学習を効率的に行うことができる。また、提示データは、仮想空間における視点の位置についてアドバイスするものであってもよい。具体的には、提示データは、あるタイミングに差し掛かったときに、視点を右側に動かした方がよいことを示す矢印などを端末１の表示部１４に表示させるための制御データであってもよい。

【0087】

（変形例１２）
上述した実施形態において、端末１の操作部１３には、加速度センサや角速度センサなどを含むセンサ１３３を備えていたが、筐体の運動状態や姿勢などを検知してこれらに応じた信号を出力するセンサ１３３はこれに限られない。例えば、ユーザの体を撮影するカメラと、そのカメラで撮影された画像を解析するプロセッサなどにより、その運動状態や姿勢などを検知する構成を含んでいてもよい。

【0088】

（変形例１３）
上述した実施形態において、選曲に用いられた端末１は、曲の再生中に人物像が動作する様子を表現した画像を表示部１４に表示させていたが、この画像の表示中に、ユーザの操作を受け付けて、選曲を行ってもよい。具体的に、端末１は、人物像が動作する様子を表現した画像を表示部１４の表示画面１４１に表示させるとともに、その表示画面１４１の一部に「切り替えボタン」を表示させる。この「切り替えボタン」が表示されている位置にユーザの指などが触れると、タッチパネル１３２がユーザの触れた位置を検知して、画面を切り替える旨の指示を制御部１１に送る。この指示を受けた制御部１１は、図４に示したような選曲メニューを表示画面１４１に表示させる。これにより、端末１は、曲の再生に合わせて動作する人物像を表示することで、曲の再生を演出するとともに、その表示が行われている間にも、選曲をする機能を実現することができる。
なお、制御部１１は、表示画面１４１に、人物像が動作する様子に重畳して選曲メニューを表示させてもよいし、表示画面１４１の表示領域を分割して、このうちの一方に人物像が動作する様子を表示させ、他方に選曲メニューを表示させてもよい。

【0089】

（変形例１４）
上述した実施形態におけるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、端末１や本体装置２は、プログラムをネットワーク経由でダウンロードしてもよい。

【符号の説明】

【0090】

１（１ａ，１ｂ，１ｃ）…端末、１１…制御部、１１１…第１特定部、１１２…第２特定部、１１３…第３特定部、１１４…第１要求部、１１５…第２要求部、１１６…表示制御部、１２…記憶部、１２１…目次ＤＢ、１２２…対応表、１２３…人物像ＤＢ、１３…操作部、１３１…操作子、１３２…タッチパネル、１３３…センサ、１４…表示部、１４１…表示画面、１５…近距離通信部、２…本体装置、２１…制御部、２１１…再生部、２１２…生成部、２１３…送信部、２２…記憶部、２３…操作部、２３１…操作子、２３２…マイク、２４…表示部、２４１…表示画面、２５…近距離通信部、２６…通信部、２７…放音部、３…カラオケ装置、４…ネットワーク、５…サーバ、９…カラオケシステム、ＣＨ…パーツ、ＪＡ…角度、ＰＬ…光源、ＰＯ…重心、ＰＶ…視点座標、ＶＡ…画角

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】