特許 5773956 楽曲演奏装置、楽曲演奏制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5773956

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月2日

(54)【発明の名称】楽曲演奏装置、楽曲演奏制御方法及びプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20150813BHJP

   A63F 13/2145 20140101ALI20150813BHJP

   A63F 13/44 20140101ALI20150813BHJP

   A63F 13/54 20140101ALI20150813BHJP

   A63F 13/55 20140101ALI20150813BHJP

   A63F 13/814 20140101ALI20150813BHJP

【ＦＩ】

   G10H1/00 102Z

   A63F13/2145

   A63F13/44

   A63F13/54

   A63F13/55

   A63F13/814

【請求項の数】9

【全頁数】24

(21)【出願番号】特願2012-157947(P2012-157947)

(22)【出願日】2012年7月13日

(65)【公開番号】特開2014-21206(P2014-21206A)

(43)【公開日】2014年2月3日

【審査請求日】2013年12月18日

(73)【特許権者】

【識別番号】506113602

【氏名又は名称】株式会社コナミデジタルエンタテインメント

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100134544

【弁理士】

【氏名又は名称】森 隆一郎

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(74)【代理人】

【識別番号】100175824

【弁理士】

【氏名又は名称】小林 淳一

(72)【発明者】

【氏名】村井 潔

【審査官】 大野 弘

(56)【参考文献】

【文献】 特開平１１−３１９３２２（ＪＰ，Ａ）

【文献】 特開平０９−１０１７８０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｈ １／００

Ａ６３Ｆ １３／２１４５

Ａ６３Ｆ １３／４４

Ａ６３Ｆ １３／５４

Ａ６３Ｆ １３／５５

Ａ６３Ｆ １３／８１４

(57)【特許請求の範囲】

【請求項1】

演奏パターンが予め定められた基本トラックと並行して１以上の追加トラックを再生させる楽曲演奏装置であって、
追加トラックの再生タイミングを指示する操作を入力する操作入力部と、
指示された再生タイミングが前記基本トラックのリズムに合っているか否かについて判定するタイミング判定部と、
前記指示された再生タイミングが前記基本トラックのリズムに合っていないと前記タイミング判定部により判定された場合には追加トラックの再生を行わず、前記指示された再生タイミングが前記基本トラックのリズムに合っていると前記タイミング判定部により判定された場合には、前記指示された再生タイミングにしたがって追加トラックを再生する再生制御部と、
前記タイミング判定部の判定結果に応じて表示態様が変化するタイミング反映画像を表示部に表示させる表示制御部とを備え、
前記表示制御部は、
追加トラックが再生されているときに、当該追加トラックに対応するオブジェクトをさらに表示させる
楽曲演奏装置。

【請求項2】

前記表示制御部は、
前記タイミング反映画像としてアバターを表示させるとともに、前記追加トラックの再生が終了するのに応じて、前記追加トラックに対応するオブジェクトが前記アバターにより消去される態様の画像を表示させる
請求項１に記載の楽曲演奏装置。

【請求項3】

前記表示制御部は、
好みの追加トラックが予め設定された前記タイミング反映画像としてのアバターについて、前記好みの追加トラックが多く再生されるほど機嫌が良くなるように表示させる
請求項１または２に記載の楽曲演奏装置。

【請求項4】

前記再生制御部は、
複数種類の追加トラックのうちの１つの種類の追加トラックの再生を開始させる際に、前記１つの種類の追加トラックと同じ種類の追加トラックが再生中である場合には、前記同じ種類の追加トラックの再生を停止させ、前記１つの種類の追加トラックと異なる種類の追加トラックが再生中である場合には、前記異なる種類の追加トラックの再生を停止させない
請求項１から３のいずれか一項に記載の楽曲演奏装置。

【請求項5】

前記タイミング判定部は、
前記指示された再生タイミングが、前記基本トラックにおける所定の分節単位を分解する所定の分解数に応じて前記分節単位に設定した分解位置番号のうちのいずれに対応するのかを認識し、当該認識した分解位置番号が、判定基準音符として設定された所定の音符の長さを示す音符対応分解数の倍数である場合に、前記指示された追加トラックの再生タイミングが前記基本トラックのリズムに合っていると判定する
請求項１から４のいずれか一項に記載の楽曲演奏装置。

【請求項6】

前記操作入力部は、
タッチパネルに対して行われる操作を入力し、
前記再生制御部は、
追加トラックの再生タイミングを指示する操作が行われた前記タッチパネルの位置に応じて、当該追加トラックの再生音の態様が変化するように制御する
請求項１から５のいずれか一項に記載の楽曲演奏装置。

【請求項7】

前記再生制御部は、
追加トラックの再生タイミングを指示する操作としてのドラッグ操作に応じて変化する前記タッチパネルの位置に応じて、当該追加トラックの再生音の態様が変化するように制御する
請求項６に記載の楽曲演奏装置。

【請求項8】

演奏パターンが予め定められた基本トラックと並行して１以上（１または複数）の追加トラックを再生させる楽曲演奏制御方法であって、
追加トラックの再生タイミングを指示する操作を入力する操作入力ステップと、
指示された再生タイミングが前記基本トラックのリズムに合っているか否かについて判定するタイミング判定ステップと、
前記指示された再生タイミングが前記基本トラックのリズムに合っていないと前記タイミング判定ステップにより判定された場合には追加トラックの再生を行わず、前記指示された再生タイミングが前記基本トラックのリズムに合っていると前記タイミング判定ステップにより判定された場合には、前記指示された再生タイミングにしたがって追加トラックを再生する再生制御ステップと、
前記タイミング判定ステップの判定結果に応じて表示態様が変化するタイミング反映画像を表示部に表示させる表示制御ステップとを備え、
前記表示制御ステップは、
追加トラックが再生されているときに、当該追加トラックに対応するオブジェクトをさらに表示させる
楽曲演奏制御方法。

【請求項9】

演奏パターンが予め定められた基本トラックと並行して１以上（１または複数）の追加トラックを再生させる楽曲演奏制御装置としてのコンピュータに、
追加トラックの再生タイミングを指示する操作を入力する操作入力ステップと、
指示された再生タイミングが前記基本トラックのリズムに合っているか否かについて判定するタイミング判定ステップと、
前記指示された再生タイミングが前記基本トラックのリズムに合っていないと前記タイミング判定ステップにより判定された場合には追加トラックの再生を行わず、前記指示された再生タイミングが前記基本トラックのリズムに合っていると前記タイミング判定ステップにより判定された場合には、前記指示された再生タイミングにしたがって追加トラックを再生する再生制御ステップと、
前記タイミング判定ステップの判定結果に応じて表示態様が変化するタイミング反映画像を表示部に表示させ、追加トラックが再生されているときに、当該追加トラックに対応するオブジェクトをさらに表示させる表示制御ステップと
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲演奏装置、楽曲演奏制御方法及びプログラムに関する。

【背景技術】

【0002】

ユーザの操作に応じて楽器の音をシミュレーションして出力させることにより模擬的に楽器演奏を行えるようにした楽器アプリケーションが多く知られている。

【0003】

また、音楽に対する演出操作を楽しむための音楽演出ゲーム機として、以下のものが知られている。この音楽演出ゲーム機は、音楽及びその音楽に対して予め定められた演出手順に関するデータを記憶しており、その記憶内容に基づいて音楽を演奏する。そのうえで、この音楽演出ゲーム機は、演出操作の時期を示すための指示標識を表示する。ユーザが、この指示標識を見ながら演出操作を行うと、その演出操作に応じた演出効果が音楽演出ゲーム機のスピーカから出力される。そして、音楽演出ゲーム機は、演出手順とプレイヤーによる演出操作との相関関係に基づいて演出操作を評価し、その評価結果を表示するというものである（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第２９２２５０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、楽器アプリケーションは、そのほとんどが、既存の楽器をできるだけ忠実にシミュレートしようというものである。このため、楽器アプリケーションは、例えば、楽器経験者や楽器の演奏に高い関心を持っているようなユーザであればおもしろみを感じることができるが、例えば小さな子供などをはじめとする一般の人が手軽に楽しむことは難しいといえる。

【0006】

また、特許文献１の音楽演出ゲーム機は、演奏される音楽に対して予め定められた演出手順にしたがって演出操作を行うというものである。このように音楽演奏としてのプレイを行うにあたって予め決められた手順にしたがうという制約がある場合、ユーザが高い評価を獲得するには相当に高度な操作が要求される。したがって、特許文献１の音楽演出ゲーム機も、既存のユーザ以外の人が手軽に演奏を楽しむことは難しい。

【0007】

本発明は、このような事情に鑑みてなされたもので、多くのユーザが音楽の楽しさを感じながら手軽に演奏できる楽曲演奏装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決するために、本発明の一態様としての楽曲演奏装置は、演奏パターンが予め定められた基本トラックと並行して追加トラックを再生させる楽曲演奏装置であって、追加トラックの再生タイミングを指示する操作を入力する操作入力部と、指示された再生タイミングが前記基本トラックのリズムに合っているか否かについて判定するタイミング判定部と、前記指示された再生タイミングが前記基本トラックのリズムに合っていないと前記タイミング判定部により判定された場合には追加トラックの再生を行わず、前記指示された再生タイミングが前記基本トラックのリズムに合っていると前記タイミング判定部により判定された場合には、前記指示された再生タイミングにしたがって追加トラックを再生する再生制御部とを備える。

【0009】

また、本発明の楽曲演奏装置において、前記タイミング判定部は、前記指示された再生タイミングが、前記基本トラックにおける所定の分節単位を分解する所定の分解数に応じて前記分節単位に設定した分解位置番号のうちのいずれに対応するのかを認識し、当該認識した分解位置番号が、判定基準音符として設定された所定の音符の長さを示す音符対応分解数の倍数である場合に、前記指示された追加トラックの再生タイミングが前記基本トラックのリズムに合っていると判定してもよい。

【0010】

また、本発明の楽曲演奏装置において、前記再生制御部は、複数種類の追加トラックのうちの１つの種類の追加トラックの再生を開始させる際に、当該追加トラックと同じ種類の追加トラックが再生中である場合には、当該再生中の追加トラックの再生を停止させてもよい。

【0011】

また、本発明の楽曲演奏装置において、前記操作入力部は、タッチパネルに対して行われる操作を入力し、前記再生制御部は、追加トラックの再生タイミングを指示する操作が行われた前記タッチパネルの位置に応じて、当該追加トラックの再生音の態様が変化するように制御してもよい。

【0012】

また、本発明の楽曲演奏装置において、前記再生制御部は、追加トラックの再生タイミングを指示する操作としてのドラッグ操作に応じて変化する前記タッチパネルの位置に応じて、当該追加トラックの再生音の態様が変化するように制御してもよい。

【0013】

また、本発明の楽曲演奏装置において、前記タイミング判定部の判定結果に応じて表示態様が変化するタイミング反映画像を表示部に表示させる表示制御部をさらに備えてもよい。

【0014】

また、本発明の楽曲演奏装置において、前記表示制御部は、追加トラックが再生されているときに、当該追加トラックに対応するオブジェクトをさらに表示させてもよい。

【0015】

また、本発明の楽曲演奏装置において、前記表示制御部は、前記タイミング反映画像としてアバターを表示させるとともに、追加トラックの再生が終了するのに応じて、前記追加トラックに対応するオブジェクトが前記アバターにより消去される態様の画像を表示させてもよい。

【0016】

また、本発明の一態様としての楽曲演奏制御方法は、演奏パターンが予め定められた基本トラックと並行して追加トラックを再生させる楽曲演奏制御方法であって、追加トラックの再生タイミングを指示する操作を入力する操作入力ステップと、指示された再生タイミングが前記基本トラックのリズムに合っているか否かについて判定するタイミング判定ステップと、前記指示された再生タイミングが前記基本トラックのリズムに合っていないと前記タイミング判定ステップにより判定された場合には追加トラックの再生を行わず、前記指示された再生タイミングが前記基本トラックのリズムに合っていると前記タイミング判定ステップにより判定された場合には、前記指示された再生タイミングにしたがって追加トラックを再生する再生制御ステップとを備える。
を備える楽曲演奏制御方法。

【0017】

また、本発明の一態様としてプログラムは、演奏パターンが予め定められた基本トラックと並行して追加トラックを再生させる楽曲演奏制御装置としてのコンピュータに、追加トラックの再生タイミングを指示する操作を入力する操作入力ステップと、指示された再生タイミングが前記基本トラックのリズムに合っているか否かについて判定するタイミング判定ステップと、前記指示された再生タイミングが前記基本トラックのリズムに合っていないと前記タイミング判定ステップにより判定された場合には追加トラックの再生を行わず、前記指示された再生タイミングが前記基本トラックのリズムに合っていると前記タイミング判定ステップにより判定された場合には、前記指示された再生タイミングにしたがって追加トラックを再生する再生制御ステップとを実行させるためのものである。

【発明の効果】

【0018】

以上説明したように、本発明によれば、多くのユーザが音楽の楽しさを感じながら手軽に演奏できる楽曲演奏装置を提供することが可能になるという効果が得られる。

【図面の簡単な説明】

【0019】

【図1】本発明の第１の実施形態における楽曲演奏装置の構成例を示す図である。

【図2】第１の実施形態におけるトラック情報テーブルの構造例を示す図である。

【図3】第１の実施形態における楽曲演奏の態様例を説明するための図である。

【図4】本実施形態において、再生タイミング指示操作が基本トラックのリズムに合っているか否かを判定するための手法例を説明するための図である。

【図5】第１の実施形態における楽曲演奏装置が実行する処理手順例を示す図である。

【図6】第１の実施形態における楽曲演奏装置がリズム合致判定のために実行する処理手順例を示す図である。

【図7】第２の実施形態において、或る種類の追加トラックの再生時間が終了しないうちに同じ種類の追加トラックについての再生タイミング指示操作が再生された場合の再生制御例を示す図である。

【図8】第２の実施形態における楽曲演奏装置が実行する処理手順例を示す図である。

【図9】第３の実施形態における再生タイミング指示操作の一例を示す図である。

【図10】第３の実施形態における再生タイミング指示操作の一例を示す図である。

【図11】第３の実施形態におけるトラック情報テーブルの構造例を示す図である。

【図12】第３の実施形態のトラック情報テーブルにおける座標対応再生制御情報の構造例を示す図である。

【図13】第３の実施形態の楽曲演奏装置が再生タイミング指示操作入力のために実行する処理手順例を示す図である。

【図14】第３の実施形態の楽曲演奏装置が追加トラック再生のために実行する処理手順例を示す図である。

【図15】第４の実施形態における楽曲演奏装置の構成例を示す図である。

【図16】第４の実施形態において、表示部に表示されるアバターの態様例を示す図である。

【図17】第４の実施形態の楽曲演奏装置がアバターの表示のために実行する処理手順例を示す図である。

【図18】第５の実施形態におけるアバターとオブジェクの表態様例を示す図である。

【図19】第５の実施形態におけるトラック情報テーブルの構造例を示す図である。

【図20】第５の実施形態における楽曲演奏装置が、追加トラックの再生終了に同期してオブジェクトの表示を消去するための処理手順例を示す図である。

【発明を実施するための形態】

【0020】

＜第１の実施形態＞
［楽曲演奏装置の構成例］
図１は、第１の実施形態における楽曲演奏装置１００の構成例を示している。本実施形態の楽曲演奏装置１００は、基本トラックの再生と並行して、ユーザが再生タイミングを指示する操作を行って追加トラックを再生するというものである。ただし、ユーザが操作により指示した再生タイミングが基本トラックのリズムに合っていればその追加トラックが指示されたタイミングで再生されるが、基本トラックのリズムに合っていなければ再生されない。この点で、本実施形態の楽曲演奏装置１００による演奏はゲーム性を有している。

【0021】

図１に示す楽曲演奏装置１００は、操作部１０１、操作入力部１０２、タイミング判定部１０３、再生制御部１０４、記憶部１０５及び音声出力部１０６を備える。

【0022】

操作部１０１は、楽曲演奏装置１００に対してユーザが追加トラックの再生タイミングを指示する操作（再生タイミング指示操作）を行う部位である。

【0023】

操作入力部１０２は、操作部１０１に対して行われた追加トラックについての再生タイミング指示操作を入力する。
タイミング判定部１０３は、操作入力部１０２が入力した操作により指示された再生タイミングが基本トラックのリズムに合っているか否かについて判定する。

【0024】

再生制御部１０４は、基本トラックを再生する。また、再生タイミングを指示するための操作に応じて追加トラックを基本トラックと並行して再生する。
追加トラックを再生するにあたり、再生制御部１０４は、指示された再生タイミングが基本トラックのリズムに合っていないとタイミング判定部１０３により判定された場合には追加トラックの再生を行わない。これに対して、再生制御部１０４は、指示された再生タイミングが基本トラックのリズムに合っているとタイミング判定部１０３により判定された場合には、指示された再生タイミングにしたがって追加トラックを再生する。

【0025】

記憶部１０５は、楽曲演奏装置１００が楽曲演奏に関連して使用する各種のデータを記憶する。図１においては、記憶部１０５が記憶する情報のうち、トラック情報テーブル１５０が示されている。トラック情報テーブル１５０の構造例については、後述する。

【0026】

音声出力部１０６は、再生制御部１０４が再生した基本トラックと追加トラックの音声信号を音として出力する。

【0027】

［トラック情報テーブルの構造例］
図２は、第１の実施形態におけるトラック情報テーブル１５０の構造例を示している。
トラック情報テーブル１５０は、複数のテーブルセットＴＳを備える。これら複数のテーブルセットＴＳは、それぞれが異なる再生内容を有する基本トラックごとに対応する。

【0028】

１つのテーブルセットＴＳは、１つの基本トラックに対応する１つのレコードと、この基本トラックと並行して再生可能な複数種類の追加トラックごとに対応する複数のレコードを有して形成される。
また、１つのレコードは、トラック識別子１５１とトラック再生データ１５２とを含む。なお、以降の説明にあたり、基本トラックと追加トラックを特に区別する必要のない場合には「トラック」と記載する。

【0029】

トラック識別子１５１は、トラックごとに付された識別子を示す。
トラック再生データ１５２は、対応のトラックの再生データである。この再生データは、例えば、対応のトラックを再生するのに必要な音源と、その音源を再生するための再生制御データを含む。なお、再生制御データとしては、例えばＭＩＤＩ（Musical Instrument Digital Interface）に対応した形式であってもよいし、他の形式に対応したものであってもよく、特に限定されるものではない。

【0030】

楽曲演奏を開始するにあたり、ユーザは、まず楽曲演奏中において再生させる基本トラックを選択する操作を行う。この操作に応じて、再生制御部１０４は、例えば選択された基本トラックに対応するテーブルセットＴＳから基本トラックのトラック再生データ１５２を読み出して再生する。これにより、楽曲演奏中において基本トラックが継続して再生される。
基本トラックのトラック再生データ１５２は、所定の演奏パターンが予め定められている。この演奏パターンには、例えば楽曲としてのテンポと拍子も含まれる。基本トラックのトラック再生データ１５２は、例えば４小節や８小節などの所定の単位による演奏パターンであり、再生制御部１０４はこの演奏パターンを繰り返し再生する。

【0031】

また、再生制御部１０４は、再生中の基本トラックに対応するテーブルセットＴＳから、ユーザの操作により指定された追加トラックのトラック再生データ１５２を読み出して再生することにより、追加トラックを再生する。
前述したように、追加トラックのトラック再生データ１５２は、追加トラックの種類ごとに対応している。追加トラックは種類ごとに再生される内容（例えば、音色、フレーズ、和音構成など）が異なる。
また、追加トラックには、１回の再生タイミング指示操作に応じて再生される時間長（再生時間）が予め定められている。この再生時間は、追加トラックの種類ごとに異なっていてよい。追加トラックとしては、この再生時間にわたって１つの演奏パターンで完結するように演奏されるものであってもよいし、再生時間において演奏パターンがループして演奏されるようなものであってもよい。また、追加トラックによっては、例えば１回の再生タイミング指示が行われるのに応じて、基本トラックの再生が終了するまで継続して再生されるようなものがあってもよい。

【0032】

なお、トラック情報テーブル１５０におけるテーブルセットＴＳは、１つであってもよい。ただし、図２に示したように複数のテーブルセットを備えることにより、ユーザにとってはいろいろな基本トラックを選んで多様な楽曲を演奏することが可能となる。

【0033】

［楽曲演奏の態様例］
図３を参照して、本実施形態の楽曲演奏の態様例について説明する。
例えばユーザが本実施形態の楽曲演奏装置１００により楽曲演奏を行う場合、まず、ユーザは、再生させたい基本トラックを選択する。この操作に応じて、再生制御部１０４は、選択された基本トラックを再生する。

【0034】

基本トラックは、例えば所定のテンポと拍子が定められた所定の演奏パターンにより再生される。この基本トラックは、追加トラックが並行して再生されるので、比較的シンプルな演奏内容が好適である。

【0035】

そして、この基本トラックが再生中の状態において、ユーザは、例えば、まず基本トラックの音に重ねて再生したい追加トラックの種類を選択する。次に、この選択した種類の追加トラックの再生タイミングを指定するための操作を行う。なお、例えば追加トラックの種類の選択と、追加トラックの再生タイミングの指定とが同じ操作によって同時に行われるようにしてもよい。

【0036】

ここで、ユーザは、図３の時刻ｔ１において追加トラック１として示す或る種類の追加トラックについての再生タイミング指示操作を行ったとする。なお、第１の実施形態において、再生タイミング指示操作は、追加トラックの再生を開始させたいタイミングで操作部１０１を指で叩く（タップする）という操作であればよい。
基本トラックについて定められたテンポと拍子に応じてその基本トラックに合うリズムは決まる。図３においては、基本トラックにおいて示される等間隔のゲージの表記がリズムの合っているタイミングを示している。

【0037】

時刻ｔ１のタイミングは、基本トラックのリズムに合っている。そこで、再生制御部１０４は、時刻ｔ１から追加トラック１の再生を開始させる。
次に、ユーザは、時刻ｔ２において或る種類の追加トラックに対する再生タイミングの指示操作を行っている。しかし、この時刻ｔ２のタイミングは基本トラックのリズムに合っていない。そこで、再生制御部１０４は、時刻ｔ２に対応しては、追加トラックの再生を開始させない。

【0038】

次に、ユーザは、時刻ｔ３において追加トラック２に対する再生タイミングの指示操作を行っている。この時刻ｔ３のタイミングは基本トラックのリズムに合っている。そこで、再生制御部１０４は、時刻ｔ３に対応して、追加トラック２の再生を開始させる。

【0039】

前述のように、追加トラックの再生時間は、その種類ごとに応じて予め定められている。
図３において、追加トラック１は、時刻ｔ１から再生が開始され、追加トラック１に設定された再生時間Ｔ１を経過したタイミングで再生が終了する。また、追加トラック２は、時刻ｔ３から再生が開始され、追加トラック２に設定された再生時間Ｔ２を経過したタイミングで再生が終了する。

【0040】

このようにユーザは、基本トラックのリズムに合わせて、自分の好きなリズムパターンにより操作部１０１に対して再生タイミング指示操作を行っていくことができる。これにより、ユーザは、適当に追加トラックの種類を選んで基本トラックのリズムに合わせて再生タイミングを指示するという操作を行うだけで、基本トラックに対して追加トラックの音を重ねていきながら音楽を創作することができる。つまり、例えば子供であるとか、特に楽器の知識が無いようなユーザであっても、簡単に楽曲の演奏を楽しむことができる。
そのうえで、本実施形態では、ユーザが指示した再生タイミングが基本トラックのリズムとずれていれば、その再生タイミングの指示に応じた追加トラックの再生は行われないようになっている。これにより、楽曲演奏に際してゲーム性が与えられることとなって、楽曲演奏に際しての興趣性が高められる。

【0041】

［リズム合致判定手法例］
上記の説明より理解されるように、本実施形態の楽曲演奏装置１００における楽曲演奏は、予め定められた演奏手順、つまり、予め定められた特定のリズムパターンやメロディパターンなどに合わせるようにユーザが演奏するというものではない。本実施形態において、ユーザは、基本トラックのリズムに合わせてさえいれば、自分の好きなタイミング（つまり、符割り）で追加トラックの再生タイミングを指示する操作を行うだけで追加トラックが再生される。これにより、本実施形態では高い自由度で楽曲演奏が行える。

【0042】

図４を参照して、本実施形態において、任意の符割りにより指示された再生タイミングが基本トラックのリズムに合っているか否かを判定するための手法例について説明する。
本実施形態では、例えば基本トラックにおける１小節に対して所定の分解数（分解能）を設定する。この図の例では、基本トラックは４／４拍子である。そのうえで、１小節という所定の分節に対して、２４０の分解数を設定している。

【0043】

上記の分解数は、例えば以下のように設定する。
ここで、リズムが合っているか否かの判定にあたって判定基準とする音符（基準音符）について、２連符系では１６分音符を設定し、３連符系では４分音符を３分割した１拍３連における１つ分の音符を設定する。

【0044】

この場合、一拍の分解数（分解能）は、４と３の公倍数である１２の倍数とする。図４の例では、１２の５倍の６０を１拍の分解数として設定している。これに応じて、４／４拍子である場合の１小節の分解数は、６０×４＝２４０となる。

【0045】

また、本実施形態では、２４０の分解数を設定した基本トラックの１小節の長さを２４０等分し、２４０等分した各位置について、その先頭から最後にかけて１〜２４０の分解位置番号を設定する。

【0046】

タイミング判定部１０３は、１小節の分解数において基準音符の長さを示す分解数（基準音符分解数）を設定する。具体的に、図４のように１小節の分解数が２４０である場合、基準音符の１つである１６分音符の基準音符分解数については、２４０／１６＝１５のように設定する。また、１拍３連における１つの音符の基準音符分解数については、２４０／１２＝２０のように設定する。なお、これらの基準音符分解数については、例えば基本トラックの再生開始に応じたタイミングで予め設定し、設定した値を保持しておくようにすればよい。また、これらの基準音符分解数は、例えば基本トラック再生データにおいてパラメータの１つとして予め格納しておいてもよい。

【0047】

タイミング判定部１０３は、上記のように求めた基準音符分解数を利用して、例えば以下のように、指示された再生タイミングが基本トラックのリズムに合っているか否かについての判定を行う。
つまり、タイミング判定部１０３は、ユーザの操作により再生タイミングが指示されるのに応じて、この指示された再生タイミングが、基準音符分解数の整数倍である分解位置番号のタイミングに設定した誤差範囲内(例えばｍｓｅｃ単位による一定時間内)であるか否かについて判定する。

【0048】

指示された再生タイミングの分解位置番号が、１６分音符の基準音符分解数である１５の整数倍であれば、その指示された再生タイミングは、１小節を１６分音符により１６分割したタイミングのうちのいずれかと一致している。この場合、タイミング判定部１０３は、指示された再生タイミングが基本トラックにおける２連符系のリズムと合っていると判定する。
また、指示された再生タイミングの分解位置番号が、１拍３連における１つの音符の基準音符分解数である２０の整数倍であれば、その指示された再生タイミングは、１小節を３連符により１２分割したタイミングのうちのいずれかと一致している。この場合にも、タイミング判定部１０３は、指示された再生タイミングが基本トラックにおける３連符系のリズムと合っていると判定する。
一方、指示された再生タイミングの分解位置番号が、１６分音符の基準音符分解数である１５の整数倍でもなく、１拍３連における１つの音符の基準音符分解数である２０の整数倍でもない場合には、その指示された再生タイミングは、２連符系と３連符系のいずれのリズムとしてもずれている。この場合、タイミング判定部１０３は、指示された再生タイミングが基本トラックのリズムと合っていないと判定する。

【0049】

このように、タイミング判定部１０３は、ユーザの操作により指示された再生タイミングが基本トラックのリズムに合っているか否かについて判定する。このような判定手法によれば、指示された再生タイミングの個々を対象として基本トラックのリズムに合っているか否かについて判定できる。したがって、或る時間内において指示された複数の再生タイミングどのようなリズムパターンを形成していようとも、タイミング判定部１０３は、そのリズムパターンを形成する個々のタイミングが基本トラックのリズムに合っているか否か判定できる。
このように、タイミング判定部１０３は、任意に演奏されたリズムパターンを対象として基本トラックのリズムに合っているか否かの判定を行うことができる。

【0050】

［処理手順例］
図５のフローチャートは、第１の実施形態における楽曲演奏装置１００が実行する処理手順例を示している。なお、この図に示す処理は、基本トラックの再生中において実行されるものである。

【0051】

まず、操作入力部１０２は、再生すべき追加トラックの種類を選択するためにユーザが操作部１０１に対して行った操作を入力する（ステップＳ１０１）。
次に、操作入力部１０２は、ステップＳ１０１により選択された種類の追加トラックについての再生タイミングを指示するためにユーザが操作部１０１に対して行った操作を入力する（ステップＳ１０２）。
なお、前述もしたように、追加トラックの種類の選択とその再生タイミングの指示とが同じ操作により同時に行われてもよいが、ここでは、上記の各操作をそれぞれ個別に行う例を示している。

【0052】

次に、タイミング判定部１０３は、ステップＳ１０２により指示された再生タイミングが基本トラックのリズムと合っているか否かについて判定する（ステップＳ１０３）。このステップＳ１０３の処理は、例えば図４により説明した手法により行われる。このステップＳ１０３の処理については図６により後述する。

【0053】

次に、再生制御部１０４は、ステップＳ１０３のリズム合致判定によりリズムが合っているとの判定結果が得られたか否かについて判定する（ステップＳ１０４）。
リズムが合っているとの判定結果である場合（ステップＳ１０４−ＹＥＳ）、再生制御部１０４は、ステップＳ１０１により指定された種類の追加トラックを、ステップＳ１０２により指示された再生タイミングにより再生する（ステップＳ１０５）。
これに対して、リズムが合っていないとの判定結果である場合（ステップＳ１０４−ＮＯ）、再生制御部１０４は、ステップＳ１０５をスキップする。つまり、この場合の再生制御部１０４は、ステップＳ１０１により指定された種類の追加トラックの再生を行わない。

【0054】

図６のフローチャートは、図５のステップＳ１０３としてのリズム合致判定のための処理手順例を示している。
タイミング判定部１０３は、指示された再生タイミングが、基準音符分解数の整数倍である分解位置番号のタイミングに設定した誤差範囲内であるか否かについて判定する (ステップＳ２０１)。

【0055】

指示された再生タイミングが誤差範囲内である場合（ステップＳ２０１−ＹＥＳ）、タイミング判定部１０３は、基本トラックのリズムに合っていると判定する（ステップＳ２０２）。一方、指示された再生タイミングが誤差範囲内ではない場合（ステップＳ２０１−ＮＯ）、タイミング判定部１０３は、基本トラックのリズムに合っていないと判定する（ステップＳ２０３）。

【0056】

＜第２の実施形態＞
［概要］
次に、第２の実施形態について説明する。
本実施形態において楽曲演奏を行うにあたっては、種類の異なる追加トラックについては再生時間が重複して再生されてもよい。
例えば、図７（ａ）の例では、時刻ｔ１において追加トラック１の再生タイミングが指示されている。なお、この図の基本トラックにおいて示されるゲージは、この基本トラックのリズムに合うタイミングを示す。つまり、基本トラックのゲージは、基準音符分解数の整数倍である分解位置番号に対して設定された誤差範囲内に対応するタイミングを示す。
この追加トラック１について指示された時刻ｔ１の再生タイミングは基本トラックにおいて示されるゲージのタイミングと一致している。つまり、時刻ｔ１において指示された再生タイミングは基本トラックのリズムに合っている。これにより、時刻ｔ１から再生時間Ｔ１を経過するまでの間において追加トラック１が再生される。なお、再生時間Ｔ１は、追加トラック１について予め定められた再生時間を示す。

【0057】

また、追加トラック１の再生中である時刻ｔ２において、追加トラック１とは異なる種類の追加トラック２の再生タイミングが指示されている。この再生タイミングである時刻ｔ２も基本トラックにおいて示されるゲージと一致しており、基本トラックのリズムに合っている。これにより、追加トラック２は、時刻ｔ２から追加トラック２について予め定められた再生時間Ｔ２を経過するまでの間において再生される。

【0058】

さらに、追加トラック２の再生中である時刻ｔ３において、追加トラック１、２とは異なる種類の追加トラック３の再生タイミングが指示されている。この再生タイミングも基本トラックのリズムに合っているので、追加トラック３は、時刻ｔ３から追加トラック３について予め定められた再生時間Ｔ３を経過するまでの間において再生される。

【0059】

このように、種類の異なる追加トラックについては再生時間を重複させていくように次々と再生させていくことが可能である。このように異なる種類のトラックが同時に再生されることで、楽曲の音楽的雰囲気が豊かになる。

【0060】

ただし、種類が同じ複数の追加トラックの再生時間が重複した場合には、かえって音響が乱れてしまい、楽曲の雰囲気も損なわれることが多い。
そこで、第２の実施形態の再生制御部１０４は、或る追加トラックの再生中において、この再生中の追加トラックと種類が同じ追加トラックの再生を開始させるように再生タイミング指示操作が行われた場合には、以下のようにこれらの追加トラックの再生を制御する。

【0061】

例えば、図７（ａ）における時刻ｔ４に示すように、追加トラック３が再生中の時刻ｔ４において、さらに種類が同じ追加トラック３を指定して再生タイミングを指示する操作が行われたとする。この時刻ｔ４において指示された再生タイミングは基本トラックのリズムに合っている。

【0062】

このような場合、再生制御部１０４は、図７（ｂ）に示すように、時刻ｔ３から再生を開始させた追加トラック３については、その再生時間Ｔ３が経過していなくとも時刻ｔ４において再生を終了させる。そして、時刻ｔ４から、時刻ｔ４において再生タイミング指示操作が行われた追加トラック３の再生を開始させる。
このように再生制御が行われることで、種類が同じ複数の追加トラックが重複して再生されることが無くなり、楽曲の雰囲気が損なわれるのを避けることができる。

【0063】

［処理手順例］
図８のフローチャートは、第２の実施形態における楽曲演奏装置１００が実行する処理手順例を示している。なお、この図８において、図６と同様の処理となるステップについては同一符号を付して説明を省略する。

【0064】

図８において、再生制御部１０４は、ステップＳ１０４においてリズムが合っていると判定されるのに応じて、ステップＳ１０１により指定されたのと同じ種類の追加トラックが再生中であるか否かについて判定する（ステップＳ１０４Ａ）。
同じ種類の追加トラックが再生中である場合（ステップＳ１０４Ａ−ＹＥＳ）、再生制御部１０４は、再生中の追加トラックの再生をステップＳ１０２により指定された再生タイミングに応じて停止させる（ステップＳ１０４Ｂ）。
そのうえで、再生制御部１０４は、ステップＳ１０１により指定された種類の追加トラックを、同じステップＳ１０２により指示された再生タイミングで再生する（ステップＳ１０５）。
このように、ステップＳ１０４Ａ、Ｓ１０４ＢからＳ１０５の処理が実行されることで、図７（ｂ）に示したように、種類が同じ追加トラックの再生時間が重複して再生されないようにすることができる。

【0065】

なお、同じ種類の追加トラックが再生中でない場合（ステップＳ１０４Ａ−ＮＯ）、再生制御部１０４は、ステップＳ１０４ＢをスキップしてステップＳ１０５に進む。

【0066】

＜第３の実施形態＞
［概要］
続いて、第３の実施形態について説明する。
これまでに説明したように、ユーザは、操作部１０１であるタッチパネルに対して指を当てることにより再生タイミング指示操作を行う。そのうえで、第３の実施形態では、再生タイミング指示操作に際して指が当てられたタッチパネル（操作部１０１）上の位置に応じて、追加トラックの再生音の出力態様を変更させるものである。

【0067】

一例として、図９には、或る種類の追加トラックの再生タイミング指示操作として、操作部１０１としてのタッチパネルにおける座標Ｐ（ｘ１，ｙ１）に指を当てた場合と、座標Ｐ（ｘ２，ｙ２）に指を当てた場合とが示されている。
この場合において、例えば指定された種類の追加トラックが、所定の音源を使用して単音を再生するものであるとする。そして、この追加トラックにより再生される単音は、再生タイミング指示操作のためにタッチパネルに当てられた指が座標Ｐ（ｘ１，ｙ１）の場合と座標Ｐ（ｘ２，ｙ２）の場合とでその音の高さが異なるように変更される。
あるいは、指定された種類の追加トラックには、元の音源の波形に対して所定の音響効果やフィルターなどの音響効果が与えられているものとする。そして、この追加トラックにより再生される音は、再生タイミング指示操作のためにタッチパネルに当てられた指が座標Ｐ（ｘ１，ｙ１）の場合と座標Ｐ（ｘ２，ｙ２）の場合とで、その音響効果のかかり方や強さが異なるように変更されるというものである。

【0068】

また、第３の実施形態においては、再生タイミング指示操作として、図１０に示すように、タッチパネル（操作部１０１）上で指をドラッグさせるように操作することもできる。
図１０では、まず、操作部１０１としてのタッチパネル上の座標Ｐ（ｘ１１，ｙ１１）に対して指が当てられ、ここから破線で示す軌跡によりユーザの指がタッチパネル上で移動されている。そして、座標Ｐ（ｘ１２，ｙ１２）においてタッチパネルから指を離したものである。
なお、このように指をドラッグさせる場合には、はじめに指をタッチパネルに当てたときのタイミングと、ドラッグの後にタッチパネルから指を離したときのタイミングのいずれもが基本トラックのリズムに合っていれば、追加トラックが再生されるようにすればよい。

【0069】

上記のように再生タイミング指示操作としてのドラッグ操作を行っているときには、指定の追加トラックの再生音が出力される。そのうえで、この再生音は、このドラッグ操作の軌跡に応じ変化する。つまり、再生タイミング指示操作としてのドラッグ操作を行っているとき、ユーザは、このドラッグ操作により追加トラックがどのように変化するのかを確認できる。そして、ドラッグさせていた指をタッチパネルから離すと、引き続いて、ドラッグ操作のときと同じように再生音が変化する追加トラックが、例えば予め定められた再生時間にわたって再生される。

【0070】

このように、第３の実施形態では、再生タイミング指示操作にあたり、ユーザがタッチパネル上で指を当てる位置を変更したりドラッグ操作を行ったりすることで、追加トラックの再生音を変化させることが可能になる。これにより、楽曲演奏における楽しみがさらに増す。

【0071】

［トラック情報テーブルの構造例］
第３の実施形態における楽曲演奏装置１００の構成は図１と同様でよい。ただし、第３の実施形態においては、トラック情報テーブル１５０の構造が以下のように異なる。
図１１は、第３の実施形態におけるトラック情報テーブル１５０の構造例を示している。なお、この図において、図２と同一部分は同一符号を付して説明を省略する。
この図に示すトラック情報テーブル１５０のテーブルセットＴＳにおける１レコードは、トラック識別子１５１とトラック再生データ１５２に加えて、座標対応再生制御情報１５３をさらに含む。

【0072】

座標対応再生制御情報１５３は、タッチパネル(操作部１０１)の座標ごとに対応する追加トラックについての再生制御情報である。なお、座標対応再生制御情報１５３は、追加トラックのみに対応して設けられればよく、基本トラックに対応して設けられる必要はない。

【0073】

図１２は、或る１つのトラックに対応する座標対応再生制御情報１５３の例を示している。この図に示す座標対応再生制御情報１５３は、座標１５３ａごとに再生制御情報１５３ｂが対応付けられた構造である。

【0074】

座標１５３ａは、それぞれ、タッチパネル(操作部１０１)における１つの座標を示す。なお、座標１５３ａは、例えばタッチパネル(操作部１０１)における全座標の領域を所定数に分割したえうで、その分割された領域の座標範囲を示すものとしてもよい。

【0075】

再生制御情報１５３ｂは、座標１５３ａに対応してトラック再生データに適用すべき再生制御情報の内容を示す。

【0076】

再生制御部１０４は、タッチパネル(操作部１０１)が検出した再生タイミング指示操作による指の接触位置の座標を入力する。再生制御部１０４は、入力した座標と同じ座標１５３ａに対応付けられている再生制御情報１５３ｂを読み出す。
そして、再生制御部１０４は、追加トラックとしてトラック再生データを再生するにあたり、そのトラック再生データに対して読み出した再生制御情報を適用する。これにより、追加トラックは、再生タイミング指示操作により指が接触した座標に応じた再生制御情報に応じた音高、音色、特殊効果などにより再生される。
再生タイミング指示操作がタッチパネル(操作部１０１)をタップする操作である場合には、そのタップされたタッチパネル(操作部１０１)の座標１５３ａに対応付けられた再生制御情報が適用されたトラック再生データの音が再生される。
また、再生タイミング指示操作がドラッグ操作である場合には、そのドラッグ操作に応じたタッチパネル(操作部１０１)の座標１５３ａの軌跡に応じてトラック再生データの音に適用される再生制御情報が変化していくように再生が行われる。

【0077】

再生制御情報としては、多様なパラメータを定義できる。
一例として、例えばトラック再生データとしての音源に設定すべき音の高さ（音高）を再生制御情報として定義することができる。この場合には、再生タイミング指示操作によりタッチパネル(操作部１０１)に指が接触している座標が異なるのに応じて異なる音高で追加トラックが再生される。
また、例えばトラック再生データとしての音源にかけるべき所定の音響効果における所定のパラメータを再生制御情報として定義できる。一例として、音響効果がディレイなどである場合には、ディレイタイム（遅延時間）、ディレイの繰り返し回数、ディレイ音量（音響効果レベル）などのパラメータのうちのすべて又は一部を再生制御情報として定義できる。

【0078】

なお、図１２においては、再生制御情報１５３ｂの具体例として、音高とエコーの音響効果のレベル（エコーエフェクトレベル）を組み合わせた内容が示されている。この場合、再生制御部１０４は、操作入力部１０２から入力したタッチパネル(操作部１０１)の座標と同じ座標１５３ａに対応する再生制御情報１５３ｂが示す音高とエコーエフェクトレベルを適用して追加トラック再生データを再生する。

【0079】

［処理手順例］
第３の実施形態において楽曲演奏装置１００が実行する処理手順としては、例えば図５と同様でよい。そのうえで、操作入力部１０２は、ステップＳ１０２の再生タイミング指示操作入力のための処理として、図１３のフローチャートに示す手順を実行する。また、再生制御部１０４は、ステップＳ１０５の追加トラックの再生処理として、図１４に示す処理を実行する。

【0080】

図１３のフローチャートにおいて、操作入力部１０２は、再生タイミング指示操作としてタッチパネル（操作部１０１）に指を接触させる押圧操作が最初に行われたときのタイミングとタッチパネル（操作部１０１）にて検出された座標の各情報を保持する(ステップＳ３０１)。

【0081】

次に、操作入力部１０２は、ステップＳ３０１に対応して行われた押圧操作が解除されたか否かについて判定する（ステップＳ３０２）。ここで、押圧操作が解除されていなければ(ステップＳ３０２−ＮＯ)、操作入力部１０２は、タッチパネル（操作部１０１）にて検出された座標を時間情報とともに保持する。
上記のように、操作入力部１０２は、押圧操作が解除されるまで、ステップＳ３０３によりタッチパネル（操作部１０１）において検出される座標を時間情報とともに保持する。

【0082】

タッチパネル(操作部１０１)に対する押圧操作が解除されるのに応じて（ステップＳ３０２−ＹＥＳ）、操作入力部１０２は、この押圧操作が解除されたときのタイミングと、このときにタッチパネル（操作部１０１）にて検出されている座標を保持する（ステップＳ３０４）。

【0083】

上記の処理によって、再生タイミング指示操作としてドラッグ操作が行われた場合には、その開始から終了までにおいて、そのドラッグ操作に応じて変化する座標の情報が時間情報と対応付けられて保持される。また、再生タイミング指示操作としてタップ操作が行われた場合には、そのタップ操作が行われたタッチパネル（操作部１０１）上の座標の情報が保持される。

【0084】

また、図１４のフローチャートにおいて、再生制御部１０４は、タッチパネル（操作部１０１）に対する再生タイミング指示操作としての押圧操作の解除に応じたタイミングで、指定された追加トラックの再生を開始させる（ステップＳ４０１）。

【0085】

次に、再生制御部１０４は、追加トラックの再生時間が終了するまで（ステップＳ４０３−ＮＯ）、ステップＳ１０２により保持された座標の再生制御情報１５３ｂを、座標に対応付けられた時間情報に対応するタイミングでトラック情報テーブル１５０から読み出す。そして、再生制御部１０４は、読み出した再生制御情報１５３ｂを時間情報に対応するタイミングで追加トラックのトラック再生データに適用する（ステップＳ４０２）。
そして、再生時間が終了するのに応じて（ステップＳ４０３−ＹＥＳ）、ステップＳ４０１により開始させた追加トラックの再生を終了する（ステップＳ４０４）。

【0086】

＜第４の実施形態＞
［楽曲演奏装置の構成例］
次に、第４の実施形態について説明する。
図１５は、第４の実施形態における楽曲演奏装置１００の構成例を示している。なお、この図において、図１と同一部分には同一符号を付して説明を省略する。
第４の実施形態における楽曲演奏装置１００は、表示制御部１０７と表示部１０８をさらに備える。そのうえで、第４の実施形態における楽曲演奏装置１００は、タッチパネルとしての操作部１０１と表示部１０８とが組み合わされたタッチパネル付表示部１１０を備える。

【0087】

表示制御部１０７は、タイミング判定部１０３の判定結果に応じて表示態様が変化するタイミング反映画像を表示部１０８に表示させる。具体例として、表示制御部１０７は、タイミング反映画像として所定のデザインによるアバター（キャラクター）を表示部１０８に表示させる。

【0088】

また、記憶部１０５はアバター情報１６０をさらに記憶する。
アバター情報１６０は、表示制御部１０７がアバターを表示させるにあたって利用するアバターの画像情報などを含む。

【0089】

［アバターの表示態様例］
図１６は、タッチパネル付表示部１１０の表示部１０８におけるアバターＡＶＴの表示態様例を示している。基本トラックが再生されているとき、表示部１０８の画面にはアバターＡＶＴが表示される。このアバターＡＶＴは、例えば表示部１０８の画面内で基本トラックのリズムに合わせて踊るようなイメージで動くアニメーション画像として表示される。

【0090】

そして、ユーザがうまく基本トラックのリズムに合わせて追加トラックの再生タイミング指示操作を行っている状態が続いていると、アバターＡＶＴは、どんどん機嫌が良くなっていくようなイメージで表示が変化していく。具体的に、例えば、アバターＡＶＴは、図１６（ａ）から図１６（ｂ）への遷移として示すように、その表情が楽しそうなものに変化していく。また、これとともに、画面内でのアバターＡＶＴの踊りの動きも活発になっていく。

【0091】

これに対して、ユーザが基本トラックのリズムに再生タイミング指示操作をうまく合わせられない状態が続くと、アバターＡＶＴは、例えば図１６（ｃ）に示すように、不機嫌な表情に変化していく。また、踊りの動きも鈍いものとなっていって活発さがなくなっていくというものである。

【0092】

このように、第４の実施形態においては、再生タイミング指示操作とリズムとの合致の状態、つまり、ユーザのリズム感の善し悪しを反映するようにアバターＡＶＴの表示の態様が変化する。これにより、例えば、ユーザは、自分の演奏（再生タイミング指示操作）に応じて変化するアバターの表情や動きを見ながら、できるだけ機嫌がよくなるように目標を持って演奏することができる。

【0093】

［処理手順例］
図１７は、第４の実施形態の楽曲演奏装置１００における表示制御部１０７がアバターＡＶＴの表示のために実行する処理手順例を示している。
これまでの説明から理解されるように、タイミング判定部１０３は、１回の再生タイミング指示操作が行われるごとに、そのタイミングが基本トラックのリズムに合っているか否かについて判定している。表示制御部１０７は、この再生タイミング指示操作ごとに応じたタイミング判定部１０３による判定結果が入力されるのを待機している（ステップＳ５０１−ＮＯ）。

【0094】

そして、判定結果が入力されると（ステップＳ５０１−ＹＥＳ）、表示制御部１０７は、ステップＳ５０１に対応して入力した判定結果を含め、過去の所定回数分にまでさかのぼった判定結果を利用してリズム合致率を算出する（ステップＳ５０２）。例えば、過去の１０回分の判定結果のうち、リズムが合っているとの判定結果が８回で、リズムが合っていないとの判定結果が２回だった場合、タイミング判定部１０３は、リズム合致率が８０％（＝８／（８＋２））であると算出する。

【0095】

次に、表示制御部１０７は、ステップＳ５０２により算出されたリズム合致率に応じてアバターＡＶＴの感情状態を変更して表示させる（ステップＳ５０３）。ここでの感情状態とは、図１６にて説明したようにアバターＡＶＴの表情や踊りとしての動きの活発さなどである。この際、表示制御部１０７は、例えばリズム合致率に応じた表情のアバターの画像データをアバター情報１６０から読み出して表示させればよい。

【0096】

なお、タイミング反映画像としてのアバターＡＶＴは、例えば人のかたちを模したようなものに限定されるものではなく、例えば幾何学模様が組み合わされるなどより抽象的な態様であてもよい。
また、例えばアバターＡＶＴについて複数のキャラクターを用意して、これら複数のキャラクターのうちからユーザが選択して表示させることができるようにしてもよい。
また、例えばアバターＡＶＴが好みの追加トラックを予め設定しておき、その追加トラックが多く再生されるほどアバターＡＶＴの機嫌が良くなるように表示させてもよい。これにより、ユーザは、例えばアバターＡＶＴが好みの追加トラックを見つけることを目的としながら演奏することができるようになり、パズル的なゲーム要素が付加される。

【0097】

＜第５の実施形態＞
［概要］
次に、第５の実施形態について説明する。なお、第５の実施形態に対応する楽曲演奏装置１００の構成は、例えば図１５と同様でよい。
第５の実施形態においては、第４の実施形態のアバターＡＶＴに加えて、さらに追加トラックごとの種類に対応するオブジェクトをタッチパネル付表示部１１０の表示部１０８に表示させる。

【0098】

図１８は、第５の実施形態においてタッチパネル付表示部１１０（操作部（タッチパネル）１０１、表示部１０８）に表示されるアバターＡＶＴと追加トラックの種類ごとに対応するオブジェクトＯＢＪ（ＯＢＪ１〜ＯＢＪ４）の例を示している。
例えば、基本トラックが再生中であるとき、タッチパネル付表示部１１０の画面にはオブジェクトパレット領域ＡＲ１が表示される。オブジェクトパレット領域ＡＲ１には、再生中の基本トラックに対応する追加トラックの種類ごとに対応するオブジェクトが配列される。図１８のオブジェクトパレット領域ＡＲ１には、４つのオブジェクトＯＢＪ１〜ＯＢＪ４が配置されている。

【0099】

ユーザは、オブジェクトパレット領域ＡＲ１に配置されているオブジェクトＯＢＪ１〜ＯＢＪ４のうちから任意のものに対して指を当てるタッチ操作を行う。
これにより、再生タイミングを指示して再生すべき追加トラックが指定される。また、上記のようにタッチ操作を行ったときには、その追加トラックに設定された音（トラック再生データ）が再生されるようになっている。この再生音を聴くことで、ユーザは、指定したオブジェクトＯＢＪに対応する追加トラックがどのような音であるのかを確認できる。

【0100】

なお、再生音を確認してみて、他の追加トラックを指定し直したいと思ったときには、ユーザは、また、オブジェクトパレット領域ＡＲ１において別の追加トラックに対応するオブジェクトＯＢＪに対するタッチ操作を行えばよい。
また、オブジェクトパレット領域ＡＲ１におけるオブジェクトＯＢＪに対するタッチ操作は、追加トラックを指定する操作であって、そのタイミングが基本トラックのリズムに合っているか否かについての判定対象ではない。

【0101】

ユーザが追加トラックを再生させるときには、まず、上記のように、オブジェクトパレット領域ＡＲ１のうちから再生させたい追加トラックの種類に対応するオブジェクトに対するタッチ操作を行って追加トラックの種類を指定する。
次に、ユーザは、タッチパネル付表示部１１０の画面におけるオブジェクトパレット領域ＡＲ１以外の領域に対して再生タイミング指示操作を行う。この再生タイミング指示操作が基本トラックのリズムに合っていれば、その再生タイミング指示操作のタイミングにしたがって、指定した追加トラックの再生が行われる。
また、再生タイミング指示操作が行われたタッチパネル付表示部１１０上の位置には、指定された追加トラックに対応するオブジェクトが配置されるように表示される。また、例えば図１０に示したように再生タイミング指示操作としてドラッグ操作が行われた場合には、そのドラッグ操作の軌跡にしたがってオブジェクトＯＢＪが移動していくように表示される。
つまり、ユーザは、オブジェクトパレット領域ＡＲ１のうちから選択したオブジェクトＯＢＪを、オブジェクトパレット領域ＡＲ１以外の画面領域に配置させるようなイメージで再生タイミング指示操作を行うことができる。

【0102】

そして、上記再生タイミング指示操作が基本トラックのリズムに合っていれば、追加トラックの再生が開始される。このように再生が開始された追加トラックは、追加トラックごとに対応する所定の再生時間を経過するまで継続される。この再生時間においては、追加トラックに対応して配置されたオブジェクトＯＢＪもその表示が継続される。また、このように表示されるオブジェクトＯＢＪについては、例えば、再生タイミング指示操作により配置された位置において静止しているように表示されてもよいし、アニメーションにより画面内を移動したり、そのサイズや形状が変化するように表示されてもよい。

【0103】

そして、上記のように再生時間において表示されていたオブジェクトＯＢＪは、再生時間の経過によって追加トラックの再生が終了するのに応じて、画面から消去される。このように、再生タイミング指示操作によりタッチパネル付表示部１１０の画面上に配置されたオブジェクトＯＢＪは、追加トラックの再生に同期して表示される。これにより、ユーザは、オブジェクトＯＢＪの表示状況を見ることで、そのときにどの追加トラックが再生中であるのかを感覚的に把握できる。

【0104】

そのうえで、第５の実施形態においては、追加トラックの再生時間の終了に応じて、その追加トラックに対応するオブジェクトＯＢＪの表示を消去するにあたり、そのオブジェクトＯＢＪがアバターＡＶＴにより消去される態様の画像を表示する。
このような表示の一例としては、アバターＡＶＴがオブジェクトＯＢＪを食べてしまうことにより、そのオブジェクトＯＢＪを消去するというものである。この場合、再生タイミング指示操作がリズムに合っている場合が多くなるほど、アバターＡＶＴもオブジェクトを食べる機会が増える。つまり、このような表示は、オブジェクトＯＢＪを食べて栄養分とすることで、アバターＡＶＴが成長し、さらに活気付いていくというイメージである。このように表示が行われることにより、ユーザは、例えばアバターＡＶＴをさらに活発にさせようとしながら演奏することになり、ゲーム性やおもしろみがさらに増す。

【0105】

［トラック情報テーブルの構造例］
図１９は、第５の実施形態に対応するトラック情報テーブル１５０の構造例を示している。なお、この図において図１１と同一部分については同一符号を付して説明を省略する。
図１９に示すトラック情報テーブル１５０においては、この図に示すトラック情報テーブル１５０のテーブルセットＴＳにおける１レコードは、トラック識別子１５１とトラック再生データ１５２と座標対応再生制御情報１５３に加えて、オブジェクトデータ１５４の情報をさらに含む。

【0106】

オブジェクトデータ１５４は、追加トラックごとに対応するオブジェクトＯＢＪを画像として表示させるための画像データなどを含む情報である。
なお、このオブジェクトデータ１５４も、座標対応再生制御情報１５３と同様に、追加トラックのみに対応して設けられればよく、基本トラックに対応して設けられる必要はない。

【0107】

表示制御部１０７は、トラック情報テーブル１５０に格納されるオブジェクトデータ１５４読み出し、読み出したオブジェクトデータ１５４を利用して、図１８にて説明したようにオブジェクトＯＢＪを表示部１０８に表示させる。
なお、オブジェクトデータ１５４は、例えばトラック情報テーブル１５０とは異なる個別の情報として記憶部１０５に記憶されてもよい。この場合には、例えばオブジェクトデータ１５４とトラック情報テーブル１５０とをトラック識別子により対応付けるようにすればよい。

【0108】

［処理手順例］
図２０は、図１８にて説明したようにアバターＡＶＴが追加トラックの再生時間の終了に応じて、その追加トラックのオブジェクトＯＢＪを食べるように消去するという態様の表示を実現するために表示制御部１０７が実行する処理手順例を示している。

【0109】

まず、表示制御部１０７は、再生制御部１０４による追加トラックの再生状況として、再生中の追加トラックの再生時間の残り時間を一定時間ごとに監視する（ステップＳ５０１）。
次に、表示制御部１０７は、ステップＳ５０１の監視結果に基づいて、表示部１０８に表示中のオブジェクトＯＢＪのうちで消去対象のオブジェクトＯＢＪが有るか否かについて判定する（ステップＳ５０２）。消去対象のオブジェクトＯＢＪとは、ステップＳ５０１により監視された再生時間が一定以下になった追加トラックに対応するオブジェクトＯＢＪである。

【0110】

消去対象オブジェクトが無い場合（ステップＳ５０２−ＮＯ）、表示制御部１０７は、ステップＳ５０１に戻る。
一方、消去対象オブジェクトが有る場合（ステップＳ５０２−ＹＥＳ）、表示制御部１０７は、消去対象オブジェクトが対応する追加トラックの再生時間の終了タイミングに同期させて消去対象オブジェクトの表示を消去するための表示制御を実行する（ステップＳ５０３）。この際、表示制御部１０７は、アバターＡＶＴが消去対象オブジェクトを食べるという態様により消去対象オブジェクトを消去する。
なお、アバターＡＶＴが消去対象オブジェクトを消去する態様としては、アバターＡＶＴが消去対象オブジェクトを食べるという態様以外であってもよい。例えば、アバターＡＶＴが消去対象オブジェクトに体当たりしたりパンチなどを当てるという態様によって消去対象オブジェクトを消去してもよい。

【0111】

なお、本実施形態の楽曲演奏装置１００としてのハードウェアは、専用のゲーム装置であってもよいし、ゲームのプログラムを読み込んで動作する汎用のゲーム装置であってもよい。あるいは、本実施形態の楽曲演奏装置１００の機能を実現するゲームアプリケーションがインストールされたスマートフォンなどであってもよい。

【0112】

また、図１や図１５における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより楽曲演奏のための処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

【0113】

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

【0114】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0115】

１００ 楽曲演奏装置
１０１ 操作部
１０２ 操作入力部
１０３ タイミング判定部
１０４ 再生制御部
１０５ 記憶部
１０６ 音声出力部
１０７ 表示制御部
１０８ 表示部
１１０ タッチパネル付表示部
１２０ 操作入力部
１５０ トラック情報テーブル
１５１ トラック識別子
１５２ トラック再生データ
１５３ 座標対応再生制御情報
１５３ａ 座標
１５３ｂ 再生制御情報
１５４ オブジェクトデータ
１６０ アバター情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】