(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-14
(45)【発行日】2024-11-22
(54)【発明の名称】処理システム及びプログラム
(51)【国際特許分類】
A63F 13/814 20140101AFI20241115BHJP
A63F 13/55 20140101ALI20241115BHJP
A63F 13/54 20140101ALI20241115BHJP
G10H 1/00 20060101ALI20241115BHJP
【ＦＩ】
A63F13/814
A63F13/55
A63F13/54
G10H1/00 102Z
G10H1/00 Z
【請求項の数】
7
(21)【出願番号】P 2020047764
(22)【出願日】2020-03-18
(65)【公開番号】P2021145838
(43)【公開日】2021-09-27
【審査請求日】2022-12-20
【前置審査】
(73)【特許権者】
【識別番号】000134855
【氏名又は名称】株式会社バンダイナムコエンターテインメント
(74)【代理人】
【識別番号】100166523
【弁理士】
【氏名又は名称】西河 宏晃
(74)【代理人】
【識別番号】100124682
【弁理士】
【氏名又は名称】黒田 泰
(74)【代理人】
【識別番号】100090479
【弁理士】
【氏名又は名称】井上 一
(74)【代理人】
【識別番号】100104710
【弁理士】
【氏名又は名称】竹腰 昇
(72)【発明者】
【氏名】大久保 博
【審査官】柳 重幸
(56)【参考文献】
【文献】特開２００５－３３１９０５（ＪＰ，Ａ）
【文献】特開２０１８－０１１２０１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６３Ｆ １３／００－１３／９８
Ｇ１０Ｈ １／００－ ７／１２
(57)【特許請求の範囲】
【請求項1】
複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、マーカー情報を記憶するマーカー情報記憶部と、
前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、
キャラクタの動作制御を行うキャラクタ処理部と、
前記キャラクタの画像の表示処理を行う表示処理部と、
を含み、
前記音処理部は、
先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング処理を行い、
前記キャラクタ処理部は、
前記先行楽曲から前記後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング期間での前記キャラクタの動作を制御し、
前記音処理部は、
前記キャラクタの情報に基づいて、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用する前記マーカー情報の少なくとも１つを変化させ、
前記ミキシングパターンは、前記先行楽曲と前記後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであり、
前記ミックスモードは、前記先行楽曲に対して前記後続楽曲を早いタイミングでミキシングするマーカーが楽曲に設定されるショートミックスモードと、前記先行楽曲に対して前記後続楽曲を遅いタイミングでミキシングするマーカーが楽曲に設定されるロングミックスモードを含むことを特徴とする処理システム。
【請求項2】
請求項１において、前記マーカー情報記憶部は、
前記ミキシング期間の開始タイミングに対応するマーカーの情報と、前記ミキシング期間の終了タイミングに対応するマーカーの情報を記憶することを特徴とする処理システム。
【請求項3】
請求項１又は２において、前記マーカー情報のマーカーは、楽曲の曲構成に対応づけられており、
前記音処理部は、
前記先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、前記後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、前記マーカー情報に基づき特定し、当該期間を前記ミキシング期間として前記ミキシング処理を行うことを特徴とする処理システム。
【請求項4】
請求項１乃至３のいずれかにおいて、前記マーカー情報記憶部は、
楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、前記第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定される前記マーカー情報を記憶することを特徴とする処理システム。
【請求項5】
請求項１乃至４のいずれかにおいて、前記マーカー情報記憶部は、
楽曲が前記先行楽曲であるときのミキシング開始の許可タイミングを設定する第１マーカーの情報と、楽曲が前記先行楽曲であるときのミキシング終了タイミングを設定する第２マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング開始の許可タイミングを設定する第３マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング終了タイミングを設定する第４マーカーの情報を記憶することを特徴とする処理システム。
【請求項6】
請求項５において、前記音処理部は、
前記先行楽曲の前記第２マーカーと前記後続楽曲の前記第４マーカーとに基づいて、前記後続楽曲の再生開始タイミングを決定し、前記先行楽曲の前記第１マーカーと前記後続楽曲の前記第３マーカーに基づいて、前記ミキシング処理の開始タイミングを決定することを特徴とする処理システム。
【請求項7】
複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、マーカー情報を記憶するマーカー情報記憶部と、
前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、
キャラクタの動作制御を行うキャラクタ処理部と、
前記キャラクタの画像の表示処理を行う表示処理部として、
コンピュータを機能させ、
前記音処理部は、
先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング処理を行い、
前記キャラクタ処理部は、
前記先行楽曲から前記後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング期間での前記キャラクタの動作を制御し、
前記音処理部は、
前記キャラクタの情報に基づいて、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用する前記マーカー情報の少なくとも１つを変化させ、
前記ミキシングパターンは、前記先行楽曲と前記後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであり、
前記ミックスモードは、前記先行楽曲に対して前記後続楽曲を早いタイミングでミキシングするマーカーが楽曲に設定されるショートミックスモードと、前記先行楽曲に対して前記後続楽曲を遅いタイミングでミキシングするマーカーが楽曲に設定されるロングミックスモードを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理システム及びプログラム等に関する。
【背景技術】
【0002】
従来より、先行楽曲の再生後、先行楽曲の途中から後続楽曲を再生するというように２つの楽曲を連続再生する手法が知られている。例えば特許文献１には、先行楽曲のコマンドコメントと後続楽曲のコマンドコメントとに応じて２つの楽曲を連続再生する再生装置が開示されている。特許文献２には、リスナーの心情や気分を感知して楽曲を自動選択することで、先行楽曲の途中から後続楽曲へと違和感なくスムーズに再生移行する再生装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００５－３３１９０５号公報
【文献】特開２００６－１０６１０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
先行楽曲から後続楽曲への再生移行の際には、先行楽曲と後続楽曲のミキシングを行うことが望ましい。例えばミキシング期間において、先行楽曲の音量を徐々に小さくしながら、後続楽曲の音量を徐々に大きくすることで、違和感のないスムーズな再生移行を実現できる。そして先行楽曲から後続楽曲へと、ミキシングしながら再生移行するためには、先行楽曲と後続楽曲を接続するための接続情報が必要になる。しかしながら、これまでは、このような接続情報を有効利用する手法や、接続情報を用いた適切でスムーズな再生移行を実現する手法については提案されていなかった。
【0005】
本開示によれば、先行楽曲と後続楽曲の接続情報の有効利用や、或いは接続情報を利用した適切でスムーズな楽音の再生移行を実現できる処理システム及びプログラム等を提供できる。
【課題を解決するための手段】
【0006】
本開示の一態様は、複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、マーカー情報を記憶するマーカー情報記憶部と、前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、キャラクタの動作制御を行うキャラクタ処理部と、前記キャラクタの画像の表示処理を行う表示処理部と、を含み、前記音処理部は、先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング処理を行い、前記キャラクタ処理部は、前記先行楽曲から前記後続楽曲への切り替えの際に、前記マーカー情報に応じて前記先行楽曲と前記後続楽曲のミキシング期間での前記キャラクタの動作を制御する処理システムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0007】
本開示の一態様によれば、楽曲情報記憶部に記憶される楽曲情報に基づいて楽曲の再生処理が行われると共に、キャラクタの動作制御が行われて、当該キャラクタの画像の表示処理が行われる。そして先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じた先行楽曲と後続楽曲のミキシング処理が行われると共に、マーカー情報に応じたミキシング期間でのキャラクタの動作制御が行われる。このようにすれば、先行楽曲と後続楽曲の接続情報となるマーカー情報の有効利用を図ったり、或いは先行楽曲と後続楽曲の接続情報となるマーカー情報を利用した適切でスムーズな楽音の再生移行を実現できるようになる。
【0008】
また本開示の一態様では、前記キャラクタ処理部は、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、外部情報の分析結果、及び楽曲の曲構成の少なくとも１つに応じて、前記キャラクタの動作を変化させてもよい。
【0009】
このようにすれば、ミキシングパターン、ミックスモード、外部情報の分析結果、又は楽曲の曲構成に応じてキャラクタの動作が様々に変化するようになり、ミキシングパターン、ミックスモード、外部情報の分析結果、又は曲構成を反映させたキャラクタの動作制御を実現できるようになる。
【0010】
また本開示の一態様では、前記音処理部は、前記キャラクタの情報に基づいて、前記先行楽曲と前記後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用する前記マーカー情報の少なくとも１つを変化させてもよい。
【0011】
このようにすればキャラクタの情報に応じたミキシングパターン、ミックスモード又はマーカー情報により、先行楽曲と後続楽曲のミキシング処理などを行えるようになり、様々な態様の楽曲ミキシングを実現できるようになる。
【0012】
また本開示の一態様では、前記ミキシングパターンは、前記先行楽曲と前記後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであり、前記ミックスモードは、ベーシックミックスモード、ショートミックスモード又はロングミックスモードであってもよい。
【0013】
このようにすれば、ミキシングの音量調整パターン又はイコライザー調整パターン、ベーシックミックスモード、ショートミックスモード又はロングミックスモードを反映させたキャラクタの動作制御を実現したり、或いは、音量調整パターン又はイコライザー調整パターン、或いはこれらのミックスモードを、キャラクタの情報に応じて変化させることが可能になる。
【0014】
また本開示の一態様では、前記マーカー情報記憶部は、前記ミキシング期間の開始タイミングに対応するマーカーの情報と、前記ミキシング期間の終了タイミングに対応するマーカーの情報を記憶してもよい。
【0015】
このようにすれば、マーカー情報によりミキシング期間の開始タイミングや終了タイミングを設定して、先行楽曲と後続楽曲のミキシング処理を行ったり、ミキシング期間でのキャラクタの動作を制御できるようになる。
【0016】
また本開示の一態様では、前記マーカー情報のマーカーは、楽曲の曲構成に対応づけられており、前記音処理部は、前記先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、前記後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、前記マーカー情報に基づき特定し、当該期間を前記ミキシング期間として前記ミキシング処理を行ってもよい。
【0017】
このようにすれば、先行楽曲が第ｊ曲構成であり、後続楽曲が第ｋ曲構成であるときに、第ｊ曲構成と第ｋ曲構成のミキシング処理を行って、再生楽曲を先行楽曲から後続楽曲に切り替えることが可能になる。
【0018】
また本開示の一態様では、前記マーカー情報記憶部は、楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、前記第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定される前記マーカー情報を記憶してもよい。
【0019】
このようにすれば、楽曲のジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーの情報に応じて、先行楽曲と後続楽曲のミキシング処理を行ったり、ミキシング期間でのキャラクタの動作制御を行うことが可能になる。
【0020】
また本開示の一態様は、複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部と、マーカー情報を記憶するマーカー情報記憶部と、前記楽曲情報に基づいて楽曲の再生処理を行う音処理部と、を含み、前記マーカー情報記憶部は、楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、前記第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定される前記マーカー情報を記憶し、前記音処理部は、先行楽曲から後続楽曲への切り替えの際に、前記マーカー情報に応じて設定されるミキシング期間において、前記先行楽曲と前記後続楽曲のミキシング処理を行う処理システムに関係する。また本開示の一態様は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【0021】
本開示の一態様によれば、楽曲情報記憶部に記憶される楽曲情報に基づいて楽曲の再生処理が行われる。そして楽曲のジャンルに応じて異なった設定パターンでマーカー情報が設定されており、当該マーカーの情報に応じて設定されるミキシング期間において、先行楽曲と後続楽曲のミキシング処理が行われる。従って、先行楽曲と後続楽曲の接続情報であるマーカー情報を利用して適切でスムーズな楽音の再生移行を実現できるようになる。
【0022】
また本開示の一態様では、前記先行楽曲の音波形と、前記後続楽曲の音波形と、前記マーカー情報のマーカーのタイミングを、ユーザが視覚的に認識するための表示処理を行う表示処理部を含んでもよい。
【0023】
このような表示処理を行えば、ユーザは、先行楽曲、後続楽曲の音波形や、マーカーの画像を見ることで、先行楽曲から後続楽曲への切り替え操作や、或いは先行楽曲と後続楽曲のミキシングの操作を容易に行えるようになる。
【0024】
また本開示の一態様では、前記音処理部は、ユーザのミキシング操作のタイミングと前記マーカー情報のマーカーのタイミングとのズレ量が所定の範囲内である場合に、前記マーカーのタイミングに合うように前記ミキシング操作のタイミングを補正する処理を行ってもよい。
【0025】
このようにすれば、ユーザの技量が足りなくて、ユーザの操作が適切なタイミングで行われなかった場合にも、マーカーにより設定されるタイミングで楽曲のミキシングや切り替えを行うことが可能になる。
【0026】
また本開示の一態様では、前記音処理部は、ユーザのミキシング操作のタイミングとマーカーのタイミングとのズレ量に基づいて、ユーザのミキシング操作の評価処理を行ってもよい。
【0027】
このようにすれば、マーカーを見ながらユーザがミキシング操作を行った場合に、そのミキシング操作のタイミングが適切なタイミングであったか否かを評価できるようになり、ミキシング操作を行うことの面白味をユーザに与えることが可能になる。
【0028】
また本開示の一態様では、前記マーカー情報記憶部は、楽曲が前記先行楽曲であるときのミキシング開始の許可タイミングを設定する第１マーカーの情報と、楽曲が前記先行楽曲であるときのミキシング終了タイミングを設定する第２マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング開始の許可タイミングを設定する第３マーカーの情報と、楽曲が前記後続楽曲であるときのミキシング終了タイミングを設定する第４マーカーの情報を記憶してもよい。
【0029】
このような第１マーカー、第２マーカー、第３マーカー、第４マーカーの情報を用いることで、先行楽曲と後続楽曲のミキシング期間を適切に設定して、先行楽曲と後続楽曲をミキシングしながら、先行楽曲から後続楽曲に切り替える再生移行を実現できるようになる。
【0030】
また本開示の一態様では、前記音処理部は、前記先行楽曲の前記第２マーカーと前記後続楽曲の前記第４マーカーとに基づいて、前記後続楽曲の再生開始タイミングを決定し、前記先行楽曲の前記第１マーカーと前記後続楽曲の前記第３マーカーに基づいて、前記ミキシング処理の開始タイミングを決定してもよい。
【0031】
このようにすれば、第１マーカー～第４マーカーの情報を用いて、ミキシング期間の開始タイミングや終了タイミングを決定して、当該ミキシング期間において先行楽曲と後続楽曲のミキシング処理を行いながら、先行楽曲から後続楽曲に切り替える再生移行を実現できるようになる。
【0032】
また本開示の一態様では、前記マーカー情報記憶部は、第１ミックスモードで使用される前記第１～第４マーカーの第１マーカーセットの情報と、第２ミックスモードで使用される前記第１～第４マーカーの第２マーカーセットの情報を記憶し、前記音処理部は、前記第１ミックスモードでは、前記第１マーカーセットの情報に応じて設定される前記ミキシング期間において前記ミキシング処理を行い、前記第２ミックスモードでは、前記第２マーカーセットの情報に応じて設定される前記ミキシング期間において前記ミキシング処理を行ってもよい。
【0033】
このようにすれば、ベーシックミックスモード、ショートミックスモード又はロングミックスモードなどのミックスモードが設定された場合に、楽曲に設定される複数のマーカーセットの中から、設定されたミックスモードに対応するマーカーセットを用いることで、当該ミックスモードに適切なマーカーを用いてミキシング処理を行えるようになる。
【図面の簡単な説明】
【0034】
【図1】本実施形態の処理システムの構成例を示すブロック図。
【図2】仮想的なＤＪのキャラクタについての説明図。
【図3】キャラクタが操作するＤＪ機器の一例を示す図。
【図4】本実施形態の処理例を説明するフローチャート。
【図5】ミキシングパターンに応じたキャラクタの動作制御についての説明図。
【図6】ミックスモードに応じた楽曲再生及びキャラクタの動作制御の処理を説明するフローチャート。
【図7】外部入力情報を利用する手法の説明図。
【図8】楽曲の曲構成に応じたキャラクタの動作制御の説明図。
【図9】楽曲の曲構成に応じたキャラクタの動作制御の説明図。
【図10】キャラクタの情報に基づいてミキシングパターン、ミックスモード、使用するマーカー情報を変化させる処理を説明するフローチャート。
【図11】ミキシング期間の開始タイミング、終了タイミングに対応するマーカーを用いたミキシング処理の説明図。
【図12】本実施形態の処理例を説明するフローチャート。
【図13】ＤＪ画面の一例を示す図。
【図14】本実施形態で用いられるマーカーの具体例の説明図。
【図15】マーカーを用いたミキシング処理を説明するフローチャート。
【図17】ハウスミュージックでのマーカーの設定パターンとミキシング処理の説明図。
【図18】ＥＤＭでのマーカーの設定パターンとミキシング処理の説明図。
【図19】アニメソングでのマーカーの設定パターンとミキシング処理の説明図。
【図20】ミキシング開始の許可マーカーを用いる手法の説明図。
【図21】各ミックスモードのマーカーセットの説明図。
【図22】ミキシング操作とマーカーのタイミングのズレ量に基づく処理のフローチャート。
【発明を実施するための形態】
【0035】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲の記載内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、必須構成要件であるとは限らない。
【0036】
１．処理システム
図１は、本実施形態の処理システム（情報処理装置、アトラクション用装置、ゲーム装置）の構成例を示すブロック図である。なお、本実施形態の処理システムは図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
図１は、本実施形態の処理システム（情報処理装置、アトラクション用装置、ゲーム装置）の構成例を示すブロック図である。なお、本実施形態の処理システムは図１の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0037】
操作部１６０は、ユーザ（オペレータ、プレーヤ）が種々の操作情報（入力情報）を入力するためのものである。操作部１６０は、例えばキーボード、操作ボタン、方向指示キー、ジョイスティック、レバー又はタッチパネル型ディスプレイ等により実現できる。
【0038】
記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。プログラムや、プログラムの実行に必要なデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（hard disk drive）、ＳＳＤ（Solid State Drive）、又は光ディスク装置などにより実現できる。記憶部１７０は、楽曲情報記憶部１７２、マーカー情報記憶部１７４、モーションデータ記憶部１７５、キャラクタ情報記憶部１７６、オブジェクト情報記憶部１７７、描画バッファ１７８を含む。楽曲情報記憶部１７２は再生対象となる楽曲の情報を記憶する。例えば楽曲のサウンドデータや、ジャンル、アーティスト名又はアルバム名などの付加データを記憶する。マーカー情報記憶部１７４はマーカーについての各種の情報を記憶する。例えば楽曲に対するマーカーの設定パターン等の設定情報を楽曲に関連づけて記憶する。モーションデータ記憶部１７５は、キャラクタ等のモデルオブジェクトのモーション再生処理を行うためのモーションデータを記憶する。モーション再生処理はアニメーション処理とも呼ばれる。キャラクタ情報記憶部１７６は、キャラクタについての種々の情報を記憶する。例えばキャラクタのレベル又は能力等のパラメータの情報や、キャラクタの性格などの属性や状態を表す情報を記憶する。オブジェクト情報記憶部１７７は、キャラクタなどのモデルオブジェクトを構成するオブジェクトや仮想空間を構成するオブジェクトについての各種の情報（形状情報、位置情報等）を記憶する。描画バッファ１７８は、フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファである。
【0039】
情報記憶媒体１８０は、コンピュータにより読み取り可能な媒体であり、プログラムやデータなどを格納するものである。情報記憶媒体１８０は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。
【0040】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、タッチパネル型ディスプレイ、或いはＨＭＤ（Head Mounted Display）などにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ又はヘッドホン等により実現できる。
【0041】
Ｉ／Ｆ部１９４（インターフェース部）は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。
【0042】
通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【0043】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（或いは記憶部１７０）に配信してもよい。このようなサーバによる情報記憶媒体の使用も本実施形態の範囲内に含めることができる。
【0044】
処理部１００（プロセッサ）は、操作部１６０からの操作入力情報やプログラムなどに基づいて、音処理、キャラクタ処理、或いは表示処理などを行う。
【0045】
処理部１００の各部が行う本実施形態の各処理はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。例えば、プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置（例えばＩＣ等）や、１又は複数の回路素子（例えば抵抗、キャパシター等）で構成することもできる。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルター回路等を含んでもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【0046】
処理部１００は、音処理部１０２、キャラクタ処理部１１０、表示処理部１２０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【0047】
音処理部１０２は種々の音処理を行う。例えば音処理部１０２は楽曲の再生処理を行う。或いは音処理部１０２は、サウンドデータに対するフィルター処理などのデジタル信号処理や、音声解析処理などの音の解析処理や、或いは音に関する種々の判断処理を行ってもよい。
【0048】
キャラクタ処理部１１０は、キャラクタについての種々の処理を行う。例えばキャラクタ処理部１１０は、オブジェクト空間である仮想空間において、モデルオブジェクトであるキャラクタを動作させる処理を行う。例えばキャラクタ処理部１１０は、モーションデータ記憶部１７５に記憶されるモーションデータに基づいてキャラクタを動作させる処理を行う。モーションデータに基づくモーション再生処理はアニメーション処理とも呼ばれる。例えばキャラクタ処理部１１０は、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ、キャラクタ情報）などに基づいて、キャラクタを仮想空間内で動作（モーション、アニメーション）させたり、移動させる制御処理を行う。具体的には、キャラクタの動作情報（パーツオブジェクトの位置、或いは回転角度）や、移動情報（位置、回転角度、速度、或いは加速度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、キャラクタの動作処理や画像生成処理を行う時間の単位である。
【0049】
表示処理部１２０は、表示部１９０に画像を表示するための処理を行う。例えば処理部１００で行われる種々の処理の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、仮想空間において仮想カメラから見える画像が生成される。なお、表示処理部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。
【0050】
例えば本実施形態では、処理部１００は、ゲーム処理、仮想空間設定処理、仮想カメラ設定処理、移動体処理などを行うことができる。ゲーム処理は、例えば、ゲーム開始条件が満たされた場合にゲームを開始する処理、開始したゲームを進行させる処理、ゲーム終了条件が満たされた場合にゲームを終了する処理、或いはゲーム成績を演算する処理などである。仮想空間設定処理は、例えば、移動体（車、人、ロボット、電車、飛行機、船、モンスター又は動物等）、マップ（地形）、建物、観客席、コース（道路）、アイテム、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を仮想空間に配置設定する処理である。例えば仮想空間設定処理では、ワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する処理が行われる。具体的には、記憶部１７０のオブジェクト情報記憶部１７７には、仮想空間でのオブジェクト（パーツオブジェクト）の位置、回転角度、移動速度又は移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。仮想空間設定処理では、例えば各フレーム毎に、仮想空間情報であるオブジェクト情報の更新処理が行われる。また仮想カメラ設定処理は、仮想空間での仮想カメラの位置や方向を設定する処理である。例えば仮想カメラ設定処理では、キャラクタなどの移動体の位置や方向の情報や、或いは仮想カメラの位置や方向の設定情報に基づいて、仮想空間での仮想カメラの位置や方向を設定する処理が行われる。移動体処理は、仮想空間での移動体の移動情報を演算する処理である。例えば移動体処理では、仮想空間において移動体を移動させるための処理が行われる。また処理部１００は、音の生成処理を行う。例えば処理部１００での種々の処理の結果に基づいて音の生成処理を行う。具体的には、楽曲、効果音、又は音声などを生成し、音出力部１９２に出力させる。
【0051】
そして本実施形態の処理システムは、図１に示すように、楽曲情報記憶部１７２と、マーカー情報記憶部１７４と、音処理部１０２と、キャラクタ処理部１１０と、表示処理部１２０を含む。
【0052】
楽曲情報記憶部１７２は楽曲情報を記憶する。例えば複数の楽曲についての楽曲情報を記憶する。例えば楽曲情報記憶部１７２は、再生対象となる複数の楽曲についての楽曲情報を記憶する。楽曲情報は、例えば楽曲のサウンドデータである。或いは楽曲情報は、ジャンル、アーティスト名又はアルバム名などの付加データを含んでもよい。この楽曲情報に基づいて、楽曲の再生処理が行われる。
【0053】
マーカー情報記憶部１７４は、マーカー情報を記憶する。マーカー情報は、例えば先行楽曲から後続楽曲に切り替える際のタイミングを設定する情報である。例えばマーカー情報のマーカーは、先行楽曲から後続楽曲への切り替えタイミングの目印となるものである。具体的にはマーカー情報は、先行楽曲と後続楽曲のミキシング期間を設定する情報である。例えばマーカー情報のマーカーは、ミキシング期間のタイミングの目印となるものである。先行楽曲は、現在の楽曲から次の楽曲に切り替える再生移行において、先行する楽曲であり、後続楽曲は、先行楽曲に続く次の楽曲である。
【0054】
キャラクタ処理部１１０はキャラクタの動作制御を行う。例えばキャラクタ処理部１１０は、キャラクタの動作制御としてキャラクタのモーションを再生するモーション再生処理を行う。モーション再生処理は、モデルオブジェクトのスケルトンの姿勢を変化させて、モデルオブジェクトを動かすための処理であり、アニメーション処理とも呼ばれる。具体的にはキャラクタ処理部１１０は、モーションデータ記憶部１７５に記憶されたモーションデータに基づいてキャラクタのモーション処理を行う。モーションデータは、例えばキャラクタの動作を演じる演者の動作のモーションキャプチャを行うことで取得できる。モーションキャプチャの方式としては、光学式、慣性センサ式、機械式、磁気式などの種々の方式がある。モーションデータは、キャラクタ（演者）に対応するスケルトンの姿勢を規定するものであり、スケルトンは、複数の関節や、関節で規定される骨により構成され、階層構造である親子構造を有する。具体的にはモーションデータは、親の骨に対する子の骨の、Ｘ軸、Ｙ軸、Ｚ軸回りの回転角度α、β、γなどの情報を含むことができる。或いはモーションデータは、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向での骨のスケーリング率などの情報を含んでもよい。例えばモーションデータは、回転角度α、β、γ等が行列要素となる行列情報などにより実現される。
【0055】
表示処理部１２０は、キャラクタの画像の表示処理を行う。例えば表示処理部１２０は、３次元のモデルオブジェクトであるキャラクタのレンダリング処理を行い、オブジェクト空間である仮想空間において仮想カメラから見える画像であって、キャラクタの画像を含む仮想空間画像を生成する。
【0056】
そして音処理部１０２は、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング処理を行う。例えば音処理部１０２は、マーカー情報に応じたミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。例えばミキシング期間の開始タイミングに対応するマーカーと、ミキシング期間の終了タイミングに対応するマーカーが、先行楽曲や後続楽曲に設定されており、これらのマーカーを用いてミキシング期間が特定される。そして音処理部１０２は、これらのマーカーで特定されたミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。ミキシング処理では、ミキシング期間において、例えば先行楽曲の音量を徐々に小さくしながら後続楽曲の音量を徐々に大きくする音量調整が行われる。例えばミキシング期間の開始タイミングでは、後続楽曲の音量は例えばゼロであり、先行楽曲だけが再生出力される状態になっている。そしてミキシング期間の終了タイミングでは、先行楽曲の音量が例えばゼロになり、後続楽曲だけが再生出力される状態になる。またミキシング期間においては、例えば低周波数帯域などの特定の周波数帯域を減衰したり或いは増幅するイコライザー調整が行われる。例えばミキシング期間が開始してから所定期間の間は、後続楽曲の低周波数帯域を減衰したままの状態にし、ミキシング期間の終了タイミング又は終了タイミングを含む短い期間において、後続楽曲の低周波数帯域を増幅して元に戻すというようなイコライザー調整が行われる。
【0057】
そしてキャラクタ処理部１１０は、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング期間でのキャラクタの動作を制御する。例えばキャラクタ処理部１１０は、マーカー情報により設定されるミキシング期間において、ミキシング用の動作を行うようにキャラクタの動作を制御する。例えばキャラクタ処理部１１０は、マーカー情報に応じてミキシング期間を設定し、設定されたミキシング期間において、ミキシング用の動作を行うようにキャラクタの動作を制御する。具体的には、ミキシング期間の開始タイミングに対応するマーカーと、ミキシング期間の終了タイミングに対応するマーカーが先行楽曲や後続楽曲に設定され、キャラクタ処理部１１０は、これらのマーカーを用いてミキシング期間を特定して、キャラクタの動作を制御する。例えばキャラクタ処理部１１０は、ミキシング期間において行われる音処理部１０２のミキシング処理に連動して、キャラクタの動作を制御する。例えばミキシング用のモーションでキャラクタを動作させる。例えばキャラクタ処理部１１０は、キャラクタのモーションの補正を行うことで、ミキシング用のモーションでキャラクタを動作させる。具体的には、キャラクタの手がミキシング操作を行うように、キャラクタのモーション補正を行う。ミキシング操作は、例えばフェーダーの操作又はイコライザーの操作などである。一例としては、キャラクタの手（指）が、ミキシング操作を行うように、キャラクタの手を動かすためのインバースキネマティクス処理を行うことで、ミキシング用のモーションをキャラクタに行わせる。
【0058】
またキャラクタ処理部１１０は、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、外部情報の分析結果、及び楽曲の曲構成の少なくとも１つに応じて、キャラクタの動作を変化させる。例えばミキシングパターンが第１ミキシングパターンである場合には、第１ミキシングパターンに対応するモーションパターンで、キャラクタを動作させ、ミキシングパターンが第２ミキシングパターンである場合には、第２ミキシングパターンに対応するモーションパターンで、キャラクタを動作させる。また複数の楽曲を再生する際におけるミックスモードが、第１ミックスモードである場合には、第１ミックスモードに対応するモーションパターンで、キャラクタを動作させ、ミックスモードが第２ミックスモードである場合には、第２ミックスモードに対応するモーションパターンで、キャラクタを動作させる。或いは処理システムが外部情報を取得して外部情報の分析を行い、キャラクタ処理部１１０は、この外部情報の分析結果に基づいて、キャラクタの動作を変化させる。外部情報の分析結果は、例えばインターネット投票の分析結果、歓声などの外部環境の音声の分析結果、或いは観客の動きの分析結果などである。また楽曲の曲構成が第１曲構成である場合には、第１曲構成に対応するモーションパターンで、キャラクタを動作させ、楽曲の曲構成が第２曲構成である場合には、第２曲構成に対応するモーションパターンで、キャラクタを動作させる。
【0059】
また音処理部１０２は、キャラクタの情報に基づいて、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用するマーカー情報の少なくとも１つを変化させる。キャラクタの情報は例えばキャラクタに対して設定された判断条件の情報である。例えば音処理部１０２は、キャラクタの情報が第１情報である場合には、第１ミキシングパターンで先行楽曲と後続楽曲のミキシング処理を行い、キャラクタの情報が第１情報から第２情報に変化すると、第２ミキシングパターンで先行楽曲と後続楽曲のミキシング処理を行う。また音処理部１０２は、キャラクタの情報が第１情報である場合には、第１ミックスモードで複数の楽曲再生を行い、キャラクタの情報が第１情報から第２情報に変化すると、第２ミックスモードで複数の楽曲再生を行う。また音処理部１０２は、キャラクタの情報が第１情報である場合には、ミキシング処理や表示処理に使用するマーカー情報として、第１タイプのマーカー情報を使用し、キャラクタの情報が第１情報から第２情報に変化すると、第２タイプのマーカー情報を使用する。キャラクタの情報は、例えばキャラクタのレベル又は能力のパラメータや、キャラクタに設定された動作アルゴリズムなどのアルゴリズムの情報や、キャラクタの性格又は属性などの情報である。キャラクタの能力は例えばキャラクタのリズム感の能力、演奏テクニックの能力又はその場対応能力などであり、例えばＤＪとして能力である。キャラクタの情報は、例えばキャラクタに対して予め設定されており、例えばキャラクタに対応づけてキャラクタ情報記憶部１７６に記憶される。
【0060】
またミキシングパターンは、先行楽曲と後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンである。音量調整パターンは、例えばミキシングにおけるフェーダーによる音量調整パターンである。例えば音量調整のパターンは、ミキシング期間における先行楽曲や後続楽曲の音量の調整度合いや音量カープのパターンである。イコライザー調整パターンは、例えばミキシングにおけるイコライザーの調整パターンである。例えばイコライザー調整のパターンは、イコライザーによる低音、中音又は高音などの各周波数帯域の成分の調整度合いや調整カーブのパターンである。
【0061】
またミックスモードは、ベーシックミックスモード、ショートミックスモード又はロングミックスモードである。ショートミックスモードは、ベーシックミックスモードに比べて、先行楽曲に対して早いタイミングで後続楽曲をミキシングするミックスモードである。例えばショートミックスモードは、所定の演奏時間内における楽曲の演奏曲数が、ベーシックミックスモードに比べて多くなるミックスモードである。ロングミックスモードは、ベーシックミックスモードに比べて、先行楽曲に対して遅いタイミングで後続楽曲をミキシングするミックスモードである。例えばロングミックスモードは、所定の演奏時間内における楽曲の演奏曲数が、ベーシックミックスモードに比べて少なくなるミックスモードである。なおミックスモードの設定は、複数の楽曲に対して一括で行われてもよいし、楽曲ごとに変えてミックスモードを設定してもよい。例えばベーシックミックスモード用の第１楽曲群、ショートミックスモード用の第２楽曲群、ロングミックスモード用の第３楽曲群を用意して、これらの楽曲情報を楽曲情報記憶部１７２に記憶してもよい。またミックスモードの設定は、処理システムが自動的に行ってもよいし、ユーザが操作部１６０などを用いて設定してもよい。
【0062】
またマーカー情報記憶部１７４は、ミキシング期間の開始タイミングに対応するマーカーの情報と、ミキシング期間の終了タイミングに対応するマーカーの情報を記憶する。ミキシング期間の開始タイミングに対応するマーカーは、例えば当該開始タイミングに対応づけられるマーカーであり、例えばミキシング期間の開始タイミングを設定するマーカーであってもよいし、ミキシング開始の許可タイミングを設定するマーカーであってもよい。ミキシング期間の終了タイミングに対応するマーカーは、例えば当該終了タイミングに対応づけられるマーカーであり、ミキシング期間の終了タイミングを設定するマーカーである。或いはミキシング終了の許可タイミングを設定するマーカーであってもよい。
【0063】
またマーカー情報のマーカーは、楽曲の曲構成に対応づけられている。例えば楽曲が第１曲構成～第ｍ曲構成（ｍは２以上の整数）を有する場合に、マーカーは、例えば第１曲構成～第ｍ曲構成のうちの第ｉ曲構成（１≦ｉ≦ｍ）に対応づけられている。例えばマーカーは、曲構成の先頭タイミング、終了タイミング又は途中タイミングに対応づけられている。なおマーカーは例えば小節単位で設定される。また楽曲の曲構成に対して、楽曲が先行楽曲である場合のマーカーと、楽曲が後続楽曲である場合のマーカーを対応づけてもよい。曲構成は、例えば２小節、４小節、８小節、１６小節又は３２小節などの複数小節を１つのブロックとするものであり、楽曲は、このブロックである曲構成が複数個連なることで構成される。曲構成としては、例えばイントロ、イントロコーラス、ビルドアップ、ドロップ、ブレーク、コーラス、バース、Ａメロ、Ｂメロ又はアウトロなどの種々の構成がある。そして音処理部１０２は、先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、マーカー情報に基づき特定し、当該期間をミキシング期間としてミキシング処理を行う。例えば先行楽曲用のマーカーが先行楽曲の第ｊ曲構成に設定されており、後続楽曲用のマーカーが後続楽曲の第ｋ曲構成に設定されている場合に、音処理部１０２は、これらのマーカーに基づいてミキシング期間を特定する。先行楽曲用のマーカーとしては、例えば先行楽曲の第ｊ曲構成の開始タイミングに対応するマーカーや、第ｊ曲構成の終了タイミングに対応するマーカーなど想定できる。また後続楽曲用のマーカーとしては、例えば後続楽曲の第ｋ曲構成の開始タイミングに対応するマーカーや、第ｋ曲構成の終了タイミングに対応するマーカーなどを想定できる。そして音処理部１０２は、これらのマーカーを用いてミキシング期間を設定して、先行楽曲と後続楽曲のミキシング処理を行う。例えば先行楽曲の第ｊ曲構成と後続楽曲の第ｋ曲構成は、両者の曲構成同士をミキシングしても違和感や不自然さが少ない曲構成として、例えば楽曲のジャンルに応じて特定されている曲構成である。
【0064】
また本実施形態の処理システムは、複数の楽曲についての楽曲情報を記憶する楽曲情報記憶部１７２と、マーカー情報を記憶するマーカー情報記憶部１７４と、楽曲情報に基づいて楽曲の再生処理を行う音処理部１０２を含む。そしてマーカー情報記憶部１７４は、楽曲が第１ジャンルである場合には、第１設定パターンで楽曲の曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には、第１設定パターンとは異なる第２設定パターンで楽曲の曲構成に対してマーカーが設定されるマーカー情報を記憶する。第１設定パターン、第２設定パターンは、楽曲のどの曲構成にマーカーを設定するかについてのパターンである。例えば第１設定パターン、第２設定パターンは、楽曲のどの曲構成に、ミキシング期間の開始タイミング用のマーカーやミキシング期間の終了タイミング用のマーカーを設定するかについてのパターンである。例えば楽曲が第１ジャンルである場合と第２ジャンルである場合とで、楽曲のどの曲構成に対してマーカーを設定するかが異なっている。
【0065】
そして音処理部１０２は、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて設定されるミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。例えば音処理部１０２は、ジャンルに応じて異なった設定パターンで曲構成に対してマーカーが設定されるマーカー情報に基づいて、ミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。例えばミキシング期間の開始タイミングに対応するマーカーと、ミキシング期間の終了タイミングに対応するマーカーが、ジャンルに応じて異なる設定パターンで、先行楽曲や後続楽曲の曲構成に設定されており、これらのマーカーを用いてミキシング期間が設定される。そして音処理部１０２は、これらのマーカーにより設定されたミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。
【0066】
また表示処理部１２０は、先行楽曲の音波形と、後続楽曲の音波形と、マーカー情報のマーカーのタイミングを、ユーザが視覚的に認識するための表示処理を行う。例えば表示処理部１２０は、先行楽曲の音波形の画像と、後続楽曲の音波形の画像を表示部１９０に表示する処理を行う。そして表示処理部１２０は、先行楽曲の音波形の画像に対して、先行楽曲用のマーカーの画像を、当該マーカーにより設定されるタイミングの位置に表示する処理を行う。また表示処理部１２０は、後続楽曲の音波形の画像に対して、後続楽曲用のマーカーの画像を、当該マーカーにより設定されるタイミングの位置に表示する処理を行う。
【0067】
また音処理部１０２は、ユーザのミキシング操作のタイミングとマーカー情報のマーカーのタイミングとのズレ量が所定の範囲内である場合に、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する処理を行う。即ちユーザが、操作部１６０を用いて、後続楽曲の再生開始操作、フェーダーによる音量調整、又はイコライザーによるイコライザー調整などのミキシング操作を行った場合に、当該ミキシング操作のタイミングを取得する。そして当該ミキシング操作のタイミングと、マーカー情報のマーカーにより設定されるタイミングとのズレ量を測定する。そしてズレ量が所定の許容の範囲内である場合には、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する処理を行う。即ち音処理部１０４は、マーカーで設定されるタイミングで、ユーザのミキシング操作が行われたとして、先行楽曲と後続楽曲のミキシング処理を行う。
【0068】
また音処理部１０４は、ユーザのミキシング操作のタイミングとマーカーのタイミングとのズレ量に基づいて、ユーザのミキシング操作の評価処理を行う。例えばズレ量が所定の範囲内である場合にはミキシング操作に対して良い評価（グッド、エクセレント）を付与し、ズレ量が所定の範囲を越えている場合にはミキシング操作に対して悪い評価（バッド）を付与する評価処理を行う。そして表示処理部１２０は、この評価処理の結果に応じた表示処理を行う。例えば表示処理部１２０は、ユーザのミキシング操作に対する評価が、どのような評価結果（グッド、エクセレント、バッド）であったのかをユーザに報知する表示処理を行う。例えば評価処理の結果に基づくゲーム成績の情報を表示する。或いは表示処理部１２０は、評価処理の結果に基づいて、演出用の表示処理を行う。例えば演出エフェクトを発生させるような表示処理を行う。具体的には、キャラクタの周囲に演出エフェクトの表示物を出現させる表示処理を行う。
【0069】
またマーカー情報記憶部１７４は、楽曲が先行楽曲であるときのミキシング開始の許可タイミングを設定する第１マーカーの情報と、楽曲が先行楽曲であるときのミキシング終了タイミングを設定する第２マーカーの情報を記憶する。またマーカー情報記憶部１７４は、楽曲が後続楽曲であるときのミキシング開始の許可タイミングを設定する第３マーカーの情報と、楽曲が後続楽曲であるときのミキシング終了タイミングを設定する第４マーカーの情報を記憶する。即ち、マーカー情報記憶部１７４は、１つの楽曲に対して、楽曲が先行楽曲であるときに使用される第１マーカー、第２マーカーの情報と、楽曲が後続楽曲であるときに使用される第３マーカー、第４マーカーの情報を、当該楽曲に対応づけて記憶する。ここで、ミキシング開始の許可タイミングを設定するマーカーは、当該許可タイミング移行のタイミングでのミキシングを許可（許容）することを示すマーカーである。
【0070】
そして音処理部１０２は、先行楽曲の第２マーカーと後続楽曲の第４マーカーとに基づいて、後続楽曲の再生開始タイミングを決定する。そして先行楽曲の第１マーカーと後続楽曲の第３マーカーに基づいて、ミキシング処理の開始タイミングを決定する。例えば先行楽曲の第２マーカーのタイミングと後続楽曲の第４マーカーのタイミングが一致するように、後続楽曲の再生開始タイミングを決定する。そして後続楽曲の再生開始以降のタイミングにおいて、第１マーカーと第３マーカーによりミキシングが許可されたと判断されたタイミングで、先行楽曲と後続楽曲のミキシング処理を開始する。
【0071】
またマーカー情報記憶部１７４は、第１ミックスモードで使用される第１～第４マーカーの第１マーカーセットの情報と、第２ミックスモードで使用される第１～第４マーカーの第２マーカーセットの情報を記憶する。即ち第１ミックスモード用の第１～第４マーカーの情報を、第１マーカーセットの情報として記憶し、第２ミックスモード用の第１～第４マーカーの情報を、第２マーカーセットの情報として記憶する。第１ミックスモード、第２ミックスモードの各々は、ベーシックミックスモード、ショートミックスモード又はロングミックスモードである。そして音処理部１０２は、第１ミックスモードでは、第１マーカーセットの情報に応じて設定されるミキシング期間においてミキシング処理を行う。例えば第１マーカーセットの第１～第４マーカーを用いて、ミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。また音処理部１０２は、第２ミックスモードでは、第２マーカーセットの情報に応じて設定されるミキシング期間においてミキシング処理を行う。例えば第２マーカーセットの第１～第４マーカーを用いて、ミキシング期間を設定し、設定されたミキシング期間において先行楽曲と後続楽曲のミキシング処理を行う。
【0072】
なお本実施形態の処理システムは情報処理装置により実現される。即ち、この場合には情報処理装置が本実施形態の処理システムを含む構成になる。情報処理装置は、楽曲情報やマーカー情報などの各種の情報を処理する装置であり、プロセッサ等により実現される。情報処理装置は、例えばパーソナルコンピュータ、ゲーム装置又は携帯型情報処理装置などの端末装置である。或いは情報処理装置はサーバ装置であってもよい。また処理システムは端末装置とサーバ装置の分散処理により実現されてもよい。この場合には処理システムは複数の情報処理装置により実現される。この場合に端末装置は情報の入力処理や受信処理や送信処理や表示処理などだけを行うものであってもよい。
【0073】
２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。
次に本実施形態の手法について詳細に説明する。
【0074】
２．１ 仮想ＤＪのキャラクタ
本実施形態では、図２に示すように、仮想的なＤＪ（Disc Jockey）のキャラクタＣＨを登場させて、当該キャラクタＣＨの映像の表示を可能にしている。例えば仮想空間には、ＤＪ機器１０のオブジェクトが配置され、キャラクタＣＨはこのＤＪ機器１０を操作して、楽曲を連続再生するパフォーマンスを行う。例えばキャラクタＣＨは、楽曲のリズムやテンポに合わせて飛び跳ねたり踊るなどの動作をしながら、ＤＪ機器１０のフェーダーやイコライザーやターンテーブルなどを操作するＤＪのパフォーマンスを行う。このようなＤＪのパフォーマンスを行うキャラクタＣＨの映像は、クラブやライブの会場に設置された大型のモニターに表示される。また会場に設置されたスピーカからは、キャラクタＣＨの操作で次々と再生される楽曲のサウンドが出力される。或いは、図２のＤＪのキャラクタＣＨの映像は、インターネットなどのネットワークを介して、ユーザのスマートフォンやＰＣ（パーソナルコンピュータ）などの端末装置に配信される。ユーザはＤＪのキャラクタＣＨの映像をスマートフォンやＰＣのディスプレイを見ながら、スピーカから出力される楽曲を聴いて、ＤＪのキャラクタＣＨのパフォーマンスを楽しむ。
本実施形態では、図２に示すように、仮想的なＤＪ（Disc Jockey）のキャラクタＣＨを登場させて、当該キャラクタＣＨの映像の表示を可能にしている。例えば仮想空間には、ＤＪ機器１０のオブジェクトが配置され、キャラクタＣＨはこのＤＪ機器１０を操作して、楽曲を連続再生するパフォーマンスを行う。例えばキャラクタＣＨは、楽曲のリズムやテンポに合わせて飛び跳ねたり踊るなどの動作をしながら、ＤＪ機器１０のフェーダーやイコライザーやターンテーブルなどを操作するＤＪのパフォーマンスを行う。このようなＤＪのパフォーマンスを行うキャラクタＣＨの映像は、クラブやライブの会場に設置された大型のモニターに表示される。また会場に設置されたスピーカからは、キャラクタＣＨの操作で次々と再生される楽曲のサウンドが出力される。或いは、図２のＤＪのキャラクタＣＨの映像は、インターネットなどのネットワークを介して、ユーザのスマートフォンやＰＣ（パーソナルコンピュータ）などの端末装置に配信される。ユーザはＤＪのキャラクタＣＨの映像をスマートフォンやＰＣのディスプレイを見ながら、スピーカから出力される楽曲を聴いて、ＤＪのキャラクタＣＨのパフォーマンスを楽しむ。
【0075】
キャラクタＣＨは、キャラクタＣＨに対応する人物である演者のモーションキャプチャにより収録されたモーションデータに基づいて動作する。例えばキャラクタＣＨは、モーションデータに基づいて、楽曲のリズムやテンポに合わせて飛び跳ねたり踊るなどの動作を行う。また先行楽曲から後続楽曲に切り替わる際には、先行楽曲をフェードアウトして、後続楽曲をフェードインするミキシングが行われるが、このミキシング期間において、キャラクタＣＨはミキシング操作の動作を行う。例えばキャラクタＣＨは、仮想的なＤＪ機器１０のフェーダーやイコライザーなどを操作するミキシング操作を行う。例えばキャラクタＣＨの手がフェーダーを動かしたり、イコライザーのツマミを回す操作を行う。
【0076】
図３は、キャラクタＣＨが操作するＤＪ機器１０（ＤＪプレーヤー、ミキシング装置）の一例を簡素的に示す図である。フェーダー１１、１２は、各々、チャンネル１、チャンネル２の音量を調整するものである。本実施形態ではチャンネル１（デッキ１）で先行楽曲が再生され、チャンネル２（デッキ２）で後続楽曲が再生されるものとする。クロスフェーダー１４は、チャンネル１とチャンネル２の音量バランスを調整するものである。イコライザー２１、２２は、各々、チャンネル１、チャンネル２の楽曲のイコライジングを行うものであり、高音、中音、低音の調整用のツマミを有する。トリム調整ツマミ２３、２４は、各々、チャンネル１、２のゲインを調整するものである。また再生ボタン３１、３２、キューボタン３３、３４により、チャンネル１、２の楽曲の再生、停止、キューの操作などが可能になる。またターンテーブル３５、３６によりスクラッチなどのエフェクトの操作が可能になる。またディスプレイ４１、４２には楽曲の音波形が表示される。なお図３はＤＪ機器１０の一例を模式的に示すものであり、ＤＪ機器１０には図３に示すもの以外にも、例えばピッチコントローラー、エフェクト操作ツマミ又はパフォーマンスパッドなどが設けられていてもよい。またＤＪ機器１０は、キャラクタＣＨと同様に仮想空間のオブジェクトにより構成されるものであり、キャラクタＣＨやＤＪ機器１０のオブジェクトを用いて、キャラクタＣＨやＤＪ機器１０の画像を含む仮想空間画像が生成される。
【0077】
２．２ マーカー情報に応じたミキシング処理とキャラクタ動作制御
図４は本実施形態の処理を説明するフローチャートである。まず処理システムは、再生対象となる楽曲の楽曲情報を読み出す（ステップＳ１）。例えば図１の楽曲情報記憶部１７２から楽曲のサウンドデータなどの楽曲情報を読み出す。例えばＤＪの演奏においてプレイリストが作成されている場合には、プレイリストの複数の楽曲の楽曲情報を読み出す。また楽曲のマーカー情報を読み出す（ステップＳ２）。例えば図１のマーカー情報記憶部１７４から、再生される楽曲に対応づけられるマーカー情報を読み出す。そして処理システムは、キャラクタの楽曲の再生操作の動作に合わせ、楽曲の再生を開始する（ステップＳ３）。例えば１曲目の再生開始時には、キャラクタが再生ボタンを押すなどの再生操作の動作（アニメーション）を行うため、この再生操作の動作に合わせて、楽曲再生を開始する。具体的には複数の楽曲を、楽曲同士のミキシング等を行いながら次々に連続再生する楽曲再生を開始する。そして再生楽曲の情報に基づいたキャラクタの動作制御を行う（ステップＳ４）。例えば図２に示す仮想的なＤＪのキャラクタＣＨが、再生楽曲のテンポやリズムに合わせてダンスをしたり煽り動作をする動作制御を行う。
図４は本実施形態の処理を説明するフローチャートである。まず処理システムは、再生対象となる楽曲の楽曲情報を読み出す（ステップＳ１）。例えば図１の楽曲情報記憶部１７２から楽曲のサウンドデータなどの楽曲情報を読み出す。例えばＤＪの演奏においてプレイリストが作成されている場合には、プレイリストの複数の楽曲の楽曲情報を読み出す。また楽曲のマーカー情報を読み出す（ステップＳ２）。例えば図１のマーカー情報記憶部１７４から、再生される楽曲に対応づけられるマーカー情報を読み出す。そして処理システムは、キャラクタの楽曲の再生操作の動作に合わせ、楽曲の再生を開始する（ステップＳ３）。例えば１曲目の再生開始時には、キャラクタが再生ボタンを押すなどの再生操作の動作（アニメーション）を行うため、この再生操作の動作に合わせて、楽曲再生を開始する。具体的には複数の楽曲を、楽曲同士のミキシング等を行いながら次々に連続再生する楽曲再生を開始する。そして再生楽曲の情報に基づいたキャラクタの動作制御を行う（ステップＳ４）。例えば図２に示す仮想的なＤＪのキャラクタＣＨが、再生楽曲のテンポやリズムに合わせてダンスをしたり煽り動作をする動作制御を行う。
【0078】
次に処理システムは、マーカー情報に基づいて、先行楽曲と後続楽曲のミキシング期間になったか否かを判断する（ステップＳ５）。例えば先行楽曲の所定の楽曲構成に対応づけられたマーカーの情報や、後続楽曲の所定の楽曲構成に対応づけられたマーカーの情報に基づいて、先行楽曲と後続楽曲のミキシング期間になったか否かを判断する。具体的には、ミキシング期間の開始タイミングに対応するマーカーの情報や、ミキシング期間の終了タイミングに対応するマーカーの情報に基づいて、ミキシング期間になったか否かを判断する。そしてミキシング期間になった場合には、先行楽曲と後続楽曲のミキシング処理を行う（ステップＳ６、Ｓ７）。例えば先行楽曲をフェードアウトさせながら後続楽曲をフェードインさせるミキシング処理を行う。またミキシング期間になった場合には、ミキシング処理に基づいたキャラクタの動作制御を行う（ステップＳ８）。例えばミキシング用のモーションでキャラクタを動作させる。例えばインバースキネマティクス処理などによりキャラクタの手（指）を動かすモーション補正を、その時の基準のモーションに対して行うことで、ミキシング操作の動作をキャラクタに行わせる。即ち図３のフェーダー１１、１２、クロスフェーダー１４、イコライザー２１、２２などを操作するミキシング操作の動作をキャラクタに行わせる。そしてミキシング期間が終了したか否かを判断し（ステップＳ９）、終了した場合にはステップＳ４に戻る。これにより、そのときの後続楽曲を先行楽曲とし、次の楽曲を後続楽曲とするミキシング処理が行われるようになる。そして、全楽曲の再生が完了するまで複数の楽曲の連続再生が行われる。
【0079】
このように本実施形態では、図４のステップＳ１～Ｓ４に示すように、楽曲情報に基づいて楽曲の再生処理が行われると共に、キャラクタの動作制御が行われ、図２に示すようにキャラクタの画像の表示処理が行われる。そして図４のステップＳ５～Ｓ９に示すように、先行楽曲から後続楽曲への切り替えの際に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング処理が行われると共に、マーカー情報に応じて先行楽曲と後続楽曲のミキシング期間でのキャラクタの動作制御が行われる。例えばマーカー情報に基づいてミキシング期間が特定され、特定されたミキシング期間において、先行楽曲と後続楽曲のミキシング処理が行われると共に、ミキシング操作に対応したモーションを行うように、キャラクタの動作が制御される。例えばマーカー情報に基づいてミキシング期間での先行楽曲と後続楽曲のミキシング処理とキャラクタの動作制御とが連動するように制御され、当該キャラクタの画像が図２に示すように表示されるようになる。このようにすれば、先行楽曲から後続楽曲に切り替える際に、先行楽曲と後続楽曲の接続情報となるマーカー情報を有効利用した画像生成を実現できるようになる。例えばマーカー情報を用いて先行楽曲と後続楽曲のミキシング処理を実現できると共に、ミキシング操作等の動作を行うキャラクタの画像を生成できるようになる。また先行楽曲と後続楽曲の接続情報となるマーカー情報を利用したスムーズな楽音の再生移行も実現できるようになる。例えばマーカー情報により設定されるミキシング期間において先行楽曲と後続楽曲のミキシングを行うことで、先行楽曲から後続楽曲へのスムーズに再生移行することが可能になる。
【0080】
また本実施形態では、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、外部情報の分析結果、及び楽曲の曲構成の少なくとも１つに応じて、キャラクタの動作を変化させる。このようにすれば、ミキシングパターン、ミックスモード、外部情報の分析結果、又は楽曲の曲構成に応じてキャラクタの動作が様々に変化するようになり、ミキシングパターン、ミックスモード、外部情報の分析結果、又は曲構成を反映させたキャラクタの動作制御を実現できるようになる。
【0081】
例えば図５では、先行楽曲と後続楽曲のミキシングパターンＰＭＸ、ＰＭＹ、ＰＭＺ・・・と、キャラクタの動作パターンＭＴＸ、ＭＴＹ、ＭＴＺ・・・とが対応づけられている。そしてミキシングパターンがＰＭＸである場合には、ミキシング期間においてキャラクタは動作パターンＭＴＸで動作する。同様に、ミキシングパターンがＰＭＹ、ＰＭＺである場合には、ミキシング期間においてキャラクタは、各々、動作パターンＭＴＹ、ＭＴＺで動作する。
【0082】
ここでミキシングパターンは、例えば先行楽曲と後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンである。例えばミキシングパターンＰＭＸが、ミキシング期間において、先行楽曲の音量を徐々に小さくしながら、後続楽曲の音量を徐々に大きくする音量調整を行うパターンだったとする。この場合にミキシングパターンＰＭＸに対応するキャラクタの動作パターンＭＴＸは、図２の先行楽曲用のフェーダー１１を徐々に下方向に下げながら、後続楽曲用のフェーダー１２を徐々に上方向に上げる動作パターンになる。具体的には、リズムやテンポに合わせて動く基本モーションを行っている図２のキャラクタの左手を、フェーダー１１の位置に移動し、右手をフェーダー１２の位置に移動し、左手を下方向に動かし、右手を上方向に動かす動作パターンＭＴＸのモーションを行わせる。このような動作パターンＭＴＸのモーション処理は、左手や右手をエンドエフェクタとするインバースキネマティクス処理などにより実現できる。
【0083】
またミキシングパターンＰＭＹが、ミキシングパターンＰＭＸのような音量調整を行うと共に、低音をイコライザー調整するパターンであったとする。例えばミキシング期間の初めにおいて、後続楽曲の低音を減衰させてバスドラム等が聞こえないようにして、ミキシング期間の最後に後続楽曲の低音を増加させて元に戻し、バスドラムが聞こえるようにするイコライザー調整パターンであったとする。この場合には、ミキシングパターンＰＭＹに対応するキャラクタの動作パターンＭＴＹは、フェーダー１１、１２又はクロスフェーダー１４の操作を行いながら、後続楽曲用のイコライザー２２の低音の調整ツマミを回す動作パターンになる。この動作パターンＭＴＹも上述のようなインバースキネマティクス処理などにより実現できる。
【0084】
またミキシングパターンＰＭＺが、ミキシングパターンＰＭＸのような音量調整を行うと共に、中音をイコライザー調整するパターンであったとする。例えば、先行楽曲及び後続楽曲がボーカル曲であり、ミキシング期間の初めにおいて、後続楽曲の中音を減衰させてボーカルが聞こえないようにして、ミキシング期間の最後に後続楽曲の中音を増加させて元に戻し、ボーカルが聞こえるようにするイコライザー調整パターンであったとする。この場合には、ミキシングパターンＰＭＺに対応するキャラクタの動作パターンＭＴＺは、フェーダー１１、１２又はクロスフェーダー１４の操作を行いながら、後続楽曲用のイコライザー２２の中音の調整ツマミを回す動作パターンになる。この動作パターンＭＴＺも上述のようなインバースキネマティクス処理などにより実現できる。或いは、例えば図３のターンテーブル３５、３６によるエフェクトが加わるミキシングパターンである場合には、ターンテーブル３５、３６を操作するような動作パターンでキャラクタを動作させてもよい。このようにすれば、ミキシングパターンにおける音量調整やイコライザー調整のパターンに連動するように、ミキシング期間においてキャラクタを動作させること可能になり、あたかも本物のＤＪがＤＪ機器１０を操作しているかのように見える仮想空間画像を生成できるようになる。
【0085】
なおミキシング期間におけるキャラクタの動作は、インバースキネマティクス処理を行う手法には限定されず、種々のモーション処理手法を採用できる。例えばミキシング期間用のモーションデータを別途に用意して、ミキシング期間になったら、モーションデータを、ミキシング期間用のモーションデータに切り替えるようにしてもよい。
【0086】
また本実施形態では、ミックスモードに応じてキャラクタの動作を変化させる。ここでミックスモードは、ベーシックミックスモード、ショートミックスモード又はロングミックスモードである。ショートミックスモードは、ベーシックミックスモードに比べて、先行楽曲に対して早いタイミングで後続楽曲をミキシングするモードであり、ロングミックスモードは、先行楽曲に対して遅いタイミングで後続楽曲をミキシングするモードである。図６は、ミックスモードに応じてキャラクタの動作を変化させる処理を説明するフローチャートである。
【0087】
まず処理システムは、ミックスモードが設定（変更）された否かを判断し、ベーシックミックスモードが設定された場合には、後述の図２１で例示されるようなベーシックミックスモード用のマーカーセットを用いて、ベーシックミックスモードで楽曲再生を行うと共に、ベーシックミックスモードに対応したキャラクタの動作制御を行う（ステップＳ１１、Ｓ１２、Ｓ１３、Ｓ１４）。一方、ショートミックスモードが設定された場合には、ショートミックスモード用のマーカーセットを用いて、ショートミックスモードで楽曲再生を行うと共に、ショートミックスモードに対応したキャラクタの動作制御を行う（ステップＳ１５、Ｓ１６、１７）。またショートミックスモードが設定されていない場合には、ロングミックスモードが設定されたとして、ロングミックスモード用のマーカーセットを用いて、ロングミックスモードで楽曲再生を行うと共に、ロングミックスモードに対応したキャラクタの動作制御を行う（ステップＳ１８、Ｓ１９）。
【0088】
例えばショートミックスモードでは、ベーシックミックスモードに比べて、演奏時間内において速いタイミングで次々に楽曲が切り替わって行く。そこでショートミックスモードでは、ベーシックミックスモードに比べて、速い動きや激しい動きの動作パターンでキャラクタを動作させる。例えばショートミックスモード用のモーションデータとして、ベーシックミックスモード用のモーションデータに比べて、速い動きや激しい動きになるモーションデータを用意して、モーション再生を行う。一方、ロングミックスモードでは、ベーシックミックスモードに比べて、演奏時間内において遅いタイミングでゆっくりと楽曲が切り替わって行く。そこでロングミックスモードでは、ベーシックミックスモードに比べて、遅い動きや穏やかな動きの動作パターンでキャラクタを動作させる。例えばロングミックスモード用のモーションデータとして、ベーシックミックスモード用のモーションデータに比べて、遅い動きや穏やかな動きになるモーションデータを用意して、モーション再生を行う。このようにすれば、ベーシックミックスモード、ショートミックスモード又はロングミックスモードに応じたモーションでキャラクタを動作させることが可能になり、各ミックスモードに適した動作を行うキャラクタの画像を表示できるようになる。
【0089】
また本実施形態では、外部情報の分析結果に応じて、キャラクタの動作を変化させる。例えば図７では端末装置ＴＭ１～ＴＭｎがネットワーク５１０を介して本実施形態の処理システムに通信接続されている。ネットワーク５１０は、例えばインターネットを利用した通信路である。そして端末装置ＴＭ１～ＴＭｎのユーザが、ＤＪのキャラクタのパフォーマンスや再生楽曲についてのインターネット投票を行い、このインターネット投票の結果が、外部情報として分析される。そして処理システムは、インターネット投票の結果である外部情報の分析結果に応じて、キャラクタの動作を変化させる。例えばキャラクタのパフォーマンスを多くのユーザが支持するような分析結果である場合には、キャラクタの動きが盛り上がった動きになったり、ユーザへの特典となる特別な動きを行うようになる。或いはインターネット投票の結果である外部情報の分析結果に応じて、キャラクタがＤＪとして次に演奏する楽曲を選択するようにしてもよい。また外部情報の分析結果は、外部環境の音声や観客の動きの分析結果であってもよい。例えばクラブやライブの会場で図２に示すようなＤＪのキャラクタの映像をモニターに表示した場合に、観客の歓声や、キャラクタのパフォーマンスで盛り上がった観客の動きを分析する。そして、この分析結果を反映した動きでキャラクタを動作させる。例えば歓声が大きかったり、観客が盛り上がった動きをした場合には、それに応じてキャラクタの動きが盛り上がった動きになったり、ユーザへの特典となる特別な動きを行うようになる。このようにすれば、外部情報の分析結果を反映させた動作をキャラクタが行うようになり、あたかも本物のＤＪが、観客の歓声や動きに反応してパフォーマンスを行うようなリアルな仮想空間画像を生成することが可能になる。
【0090】
また本実施形態では、楽曲の曲構成に応じてキャラクタの動作を変化させる。例えば後述するようにハウスミュージック（テクノハウス）のジャンルの楽曲は、図８に示すようにイントロ、ビルドアップＡ、ドロップＡ、ブレーク、ビルドアップＢ、ドロップＢ、アウトロの曲構成を有する。この場合にこれらの曲構成に対して、キャラクタの動作パターンＭＴＡ、ＭＴＢ、ＭＴＣ、ＭＴＤ、ＭＴＥ、ＭＴＦ、ＭＴＧが対応づけられている。例えば楽曲のイントロの曲構成が再生されているときには、キャラクタは動作パターンＭＴＡで動作する。同様にビルドアップＡ、ドロップＡ、ブレーク、ビルドアップＢ、ドロップＢ、アウトロの曲構成が再生されているときには、各々、キャラクタは動作パターンＭＴＢ、ＭＴＣ、ＭＴＤ、ＭＴＥ、ＭＴＦ、ＭＴＧで動作する。例えば図８の各曲構成が再生されているときに、動作パターンＭＴＡ～ＭＴＧに対応するモーションデータを用いてキャラクタのモーション再生を行う。このようにすれば楽曲の曲構成に応じた動きでキャラクタを動作させることができ、楽曲に連動したキャラクタの動作を実現できるようになる。例えば楽曲のビルドアップが再生されているときには、図９に示すように、キャラクタＣＨが手を振ったり、体を激しく動かすなどの動作パターンで動作するようにする。これによりクラブやライブの会場の観客や、動画配信を端末装置で見ているユーザを盛り上げることが可能になる。なお動作パターンＭＴＡ～ＭＴＧは全てが互いに異なった動作パターンである必要はなく、これらのうちの少なくとも２つが異なった動作パターンであればよい。
【0091】
また本実施形態では、キャラクタの情報に基づいて、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、及びミキシングに使用するマーカー情報の少なくとも１つを変化させる。このようにすればキャラクタの情報に応じたミキシングパターン、ミックスモード又はマーカー情報により、先行楽曲と後続楽曲のミキシング処理などを行えるようになり、様々な態様の楽曲ミキシングを実現できるようになる。図１０は、キャラクタの情報に基づいてミキシングパターン、ミックスモード、使用するマーカー情報を変化させる処理を説明するフローチャートである。
【0092】
まずキャラクタのレベル等のパラメータ、性格情報、又は制御アルゴリズム情報などのキャラクタの情報を読み出す（ステップＳ２１）。即ち図１のキャラクタ情報記憶部１７６からキャラクタの情報を読み出す。キャラクタの情報は例えばキャラクタに対して予め設定された判断条件の情報である。次にキャラクタの情報に基づいて、先行楽曲と後続楽曲のミキシングパターン、複数の楽曲再生におけるミックスモード、又はミキシングに使用するマーカー情報を設定する（ステップＳ２２）。そして、このようにして設定されたミキシングパターン、ミックスモード又はマーカー情報に基づいて、先行楽曲と後続楽曲のミキシング処理を実行する（ステップＳ２３）。これによりキャラクタの情報を反映させたミキシングパターン、ミックスモード又はマーカー情報を用いてミキシング処理を実行できるようになる。
【0093】
例えばキャラクタの情報に基づいて、図５で説明した先行楽曲と後続楽曲のミキシングにおける音量調整パターン及びイコライザー調整パターンの少なくとも一方の調整パターンであるミキシングパターンを設定する。キャラクタの情報は、例えばキャラクタのレベル、能力等のパラメータ、キャラクタの性格、或いはキャラクタの制御アルゴリズムなどの情報である。例えばキャラクタのレベル又は能力が高い場合には、より複雑で難易度が高いミキシングパターンを設定する。或いはキャラクタの性格に応じてミキシングパターンを設定する。例えばキャラクタが細かい綿密な性格である場合には、複雑で綿密なミキシングパターンを設定する。或いはキャラクタを制御する制御アルゴリズムに応じて、ミキシングパターンを異ならせる。またキャラクタのレベル、能力等のパラメータ、性格、又は制御アルゴリズムに応じて、ベーシックミックスモード、ショートミックスモード、ロングミックスモードのうちのどのミックスモードを使用するのかを異ならせる。例えばキャラクタのレベル又は能力が低い場合には、ベーシックミックスモードしか使用できないが、レベル又は能力が高くなると、ショートミックスモードやロングミックスモードについても使用できるようになる。また例えばキャラクタがノリの良い性格である場合には、ショートミックスモードが使用され、大人しく落ち着きのある性格である場合には、ロングミックスモードが使用される。またキャラクタのレベル、能力等のパラメータ、性格、又は制御アルゴリズムに応じて、使用されるマーカー情報を異ならせる。例えば後述の図２１のように複数のマーカーセットがある場合に、どのマーカーセットを使用するかをキャラクタの情報に応じて異ならせる。或いは、キャラクタのレベル、能力等のパラメータ、性格又は制御アルゴリズムに応じて、楽曲の複数の曲構成のうちのどの曲構成に設定されたマーカー情報を使用するかを決定する。例えばキャラクタがノリの良い性格である場合には、ノリの良い曲構成のパートに設定されたマーカー情報が使用され、その曲構成になったときにミキシング処理が行われる。またキャラクタが大人しく落ち着きのある性格である場合には、静かなタイプの曲構成のパートに設定されたマーカー情報が使用され、その曲構成になったときにミキシング処理が行われる。
【0094】
またマーカー情報記憶部１７４は、ミキシング期間の開始タイミングに対応するマーカーの情報と、ミキシング期間の終了タイミングに対応するマーカーの情報を記憶する。このようにすれば、マーカー情報記憶部１７４に記憶されるマーカー情報により、ミキシング期間の開始タイミングや終了タイミングを設定して、先行楽曲と後続楽曲のミキシング処理を行ったり、ミキシング期間でのキャラクタの動作を制御できるようになる。
【0095】
例えば図１１では、先行楽曲はＣＸＡ～ＣＸＧの曲構成を有しており、後続楽曲はＣＹＡ～ＣＹＧの曲構成を有している。そして先行楽曲では、曲構成ＣＸＥに対して、ミキシング期間の開始タイミングに対応するマーカーＭＳＸと、ミキシング期間の終了タイミングに対応するマーカーＭＥＸが設定されている。また後続楽曲では、曲構成ＣＹＣに対して、ミキシング期間の開始タイミングに対応するマーカーＭＳＹと、ミキシング期間の終了タイミングに対応するマーカーＭＥＹが設定されている。このようにすれば、例えばマーカーＭＳＸ、ＭＳＹのタイミングをミキシング期間の開始タイミングとし、マーカーＭＥＸ、ＭＥＹのタイミングをミキシング期間の終了タイミングとして、先行楽曲と後続楽曲のミキシング処理を行えるようになる。例えばマーカーＭＳＸのタイミングを開始タイミングとして、先行楽曲のフェードアウトが開始され、マーカーＭＥＸのタイミングを終了タイミングとして、先行楽曲のフェードアウトが終了する。またマーカーＭＳＹのタイミングを開始タイミングとして、後続楽曲のフェードインが開始され、マーカーＭＥＹのタイミングを終了タイミングとして、後続楽曲のフェードインが終了する。この場合に、マーカーＭＳＸ、ＭＳＹが一致するタイミングや、或いはマーカーＭＥＸ、ＭＥＹが一致するタイミングを特定することで、後続楽曲の再生を開始するタイミングを特定できる。例えばマーカーＭＳＸ、ＭＳＹのタイミングが一致するように、後続楽曲の再生を開始したり、或いはマーカーＭＥＸ、ＭＥＹのタイミングが一致するように、後続楽曲の再生を開始する。
【0096】
また本実施形態では、マーカー情報のマーカーは、楽曲の曲構成に対応づけられている。そして先行楽曲が第ｊ曲構成（ｊは１以上の整数）であり、後続楽曲が第ｋ曲構成（ｋは１以上の整数）である期間を、マーカー情報に基づき特定し、当該期間をミキシング期間としてミキシング処理を行う。このようにすれば、先行楽曲が第ｊ曲構成であり、後続楽曲が第ｋ曲構成であるときに、第ｊ曲構成と第ｋ曲構成のミキシング処理を行って、再生楽曲を先行楽曲から後続楽曲に切り替えることが可能になる。
【0097】
例えば図１１では、マーカー情報のマーカーＭＳＸ、ＭＥＸは、先行楽曲の曲構成ＣＸＥに対応づけられ、マーカーＭＳＹ、ＭＥＹは、後続楽曲の曲構成ＣＹＣに対応づけられている。そして先行楽曲が曲構成ＣＸＥ（第ｊ曲構成）であり、後続楽曲が曲構成ＣＹＣ（第ｋ曲構成）である期間が、マーカーＭＳＸ、ＭＥＸ、ＭＳＹ、ＭＥＹに基づき特定され、当該期間をミキシング期間として、先行楽曲の曲構成ＣＸＥと後続楽曲の曲構成ＣＹＣのミキシング処理が行われる。例えば、マーカーＭＳＸ、ＭＳＹのタイミングを開始タイミングとし、マーカーＭＥＸ、ＭＥＹのタイミングを終了タイミングとするミキシング期間において、先行楽曲の曲構成ＣＸＥと後続楽曲の曲構成ＣＹＣのミキシング処理が行われる。例えば当該ミキシング期間において、先行楽曲の曲構成ＣＸＥをフェードアウトしながら、後続楽曲の曲構成ＣＹＣをフェードインするミキシング処理が行われる。この場合、例えば、曲構成ＣＸＥは、先行楽曲の曲構成ＣＸＡ～ＣＸＧのうち、後続楽曲の曲構成ＣＹＣとミキシングが行われても、不自然さや違和感が少ない曲構成である。同様に曲構成ＣＹＥは、後続楽曲の曲構成ＣＹＡ～ＣＹＧのうち、先行楽曲の曲構成ＣＸＥとミキシングが行われても不自然さや違和感が少ない曲構成である。従って、マーカーＭＳＸ、ＭＥＸ、ＭＳＹ、ＭＥＹを利用して、先行楽曲の曲構成ＣＸＥと後続楽曲の曲構成ＣＹＣのミキシングを行えば、先行楽曲から後続楽曲への不自然さや違和感が少ない再生移行が可能になる。
【0098】
２．３ ジャンルに応じた設定パターンのマーカー情報
本実施形態では、楽曲のジャンルに応じた設定パターンのマーカー情報を用いる手法を採用する。即ち楽曲のジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーの情報を用いて、先行楽曲と後続楽曲のミキシング処理を行う。なお、このようなマーカー情報を用いる本実施形態の手法は、上述のような仮想的なＤＪのキャラクタを登場させる適用例には限定されず、例えばキャラクタの動作制御や表示処理を行わないシステムにも適用できる。
本実施形態では、楽曲のジャンルに応じた設定パターンのマーカー情報を用いる手法を採用する。即ち楽曲のジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーの情報を用いて、先行楽曲と後続楽曲のミキシング処理を行う。なお、このようなマーカー情報を用いる本実施形態の手法は、上述のような仮想的なＤＪのキャラクタを登場させる適用例には限定されず、例えばキャラクタの動作制御や表示処理を行わないシステムにも適用できる。
【0099】
具体的には、このようなマーカー情報を用いる本実施形態の処理システムは、楽曲情報記憶部１７２とマーカー情報記憶部１７４と音処理部１０２を含む。そしてマーカー情報記憶部１７４は、楽曲が第１ジャンルである場合には第１設定パターンで曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には第２設定パターンで曲構成に対してマーカーが設定されるマーカー情報を記憶する。即ち、ジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーの情報を記憶する。そして音処理部１０２は、先行楽曲から後続楽曲への切り替えの際に、このマーカー情報に応じて設定されるミキシング期間において、先行楽曲と後続楽曲のミキシング処理を行う。図１２はこの場合の本実施形態の処理例を説明するフローチャートである。
【0100】
まず処理システムは、再生対象となる楽曲の楽曲情報を読み出す（ステップＳ３１）。そして、ジャンルに応じて異なる設定パターンで楽曲の曲構成に設定されるマーカーのマーカー情報を読み出す（ステップＳ３２）。即ちマーカー情報記憶部１７４は、楽曲が第１ジャンルである場合には第１設定パターンで曲構成に対してマーカーが設定され、楽曲が第２ジャンルである場合には第２設定パターンで曲構成に対してマーカーが設定されるマーカー情報を記憶しており、このような設定パターンのマーカー情報を読み出す。そして楽曲の再生を開始する（ステップＳ３３）。例えば複数の楽曲を、楽曲同士のミキシング等を行いながら次々に連続再生する楽曲再生を開始する。
【0101】
次に処理システムは、マーカー情報に基づいて先行楽曲と後続楽曲のミキシング期間になったか否かを判断する（ステップＳ３４）。例えばジャンルに応じて異なる設定パターンで先行楽曲や後続楽曲の曲構成に設定されるマーカー情報に基づいて、先行楽曲と後続楽曲のミキシング期間になったか否かを判断する。そしてミキシング期間になった場合には、先行楽曲と後続楽曲のミキシング処理を行う（ステップＳ３５、Ｓ３６）。例えば先行楽曲をフェードアウトさせながら後続楽曲をフェードインさせるミキシング処理を行う。そしてミキシング期間が終了したか否かを判断し（ステップＳ３７）、終了した場合にはステップＳ３４に戻る。これにより、そのときの後続楽曲を先行楽曲とし、次の楽曲を後続楽曲とするミキシング処理が行われるようになる。そして、全楽曲の再生が完了するまで複数の楽曲の連続再生が行われる。
【0102】
図１３は、ＤＪ画面の一例を示す図である。このＤＪ画面は、例えばＰＣ、スマートフォン又はゲーム装置などの端末装置のディスプレイに表示される。そしてユーザは、このＤＪ画面を見ながらＤＪの操作を行う。フェーダー５１、５２は、各々、チャンネル１、チャンネル２の音量を調整するものである。クロスフェーダー５４は、チャンネル１とチャンネル２の音量バランスを調整するものである。イコライザー６１、６２は、各々、チャンネル１、チャンネル２の楽曲のイコライジングを行うものであり、高音、中音、低音の調整用のツマミが設けられる。トリム調整ツマミ６３、６４は、各々、チャンネル１、２のゲインを調整するものである。シンクボタン６５、６６は、チャンネル１とチャンネル２の楽曲のテンポを同期させるボタンである。再生ボタン７１、７２、キューボタン７３、７４により、チャンネル１、２の楽曲の再生、停止、キューの操作が可能になる。表示領域８０には、楽曲再生のプレイリストが表示される。表示領域８１には、チャンネル１の先行楽曲の音波形が表示され、表示領域８２には、チャンネル２の後続楽曲の音波形が表示される。そして表示領域８１には、先行楽曲に設定されたマーカーＭＫ１、ＭＫ２が、先行楽曲の音波形に対応づけられて表示される。表示領域８２には、後続楽曲に設定されたマーカーＭＫ３、ＭＫ４が、後続楽曲の音波形に対応づけられて表示される。なお表示領域８３、８４には、各々、先行楽曲、後続楽曲の音波形が拡大表示される。
【0103】
図１４は本実施形態のマーカー情報のマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の説明図である。マーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４は、各々、第１マーカー、第２マーカー、第３マーカー、第４マーカーである。
【0104】
例えばマーカーＭＫ１は、楽曲が先行楽曲であるときのミキシング開始の許可タイミングを設定するマーカーである。即ちマーカーＭＫ１のタイミング以降のタイミングにおいて、ミキシングの開始が許容される。マーカーＭＫ１は、先行楽曲のミックスアウトのマーカーとも呼ぶことができる。
【0105】
マーカーＭＫ２は、楽曲が先行楽曲であるときのミキシング終了タイミングを設定するマーカーである。マーカーＭＫ２は、例えばミキシングの対象となる先行楽曲の曲構成の終了タイミングを示している。マーカーＭＫ２は先行楽曲のカットのマーカーとも呼ぶことができる。
【0106】
マーカーＭＫ３は、楽曲が後続楽曲であるときのミキシング開始の許可タイミングを設定するマーカーである。即ちマーカーＭＫ３のタイミング以降のタイミングにおいて、ミキシングの開始が許容される。マーカーＭＫ３は、後続楽曲のミックスインのマーカーとも呼ぶことができる。
【0107】
マーカーＭＫ４は、楽曲が後続楽曲であるときのミキシング終了タイミングを設定するマーカーである。例えばマーカーＭＫ４は、先行楽曲から後続楽曲への完全移行のタイミングを示している。マーカーＭＫ４は、後続楽曲への完全移行を示すトランスのマーカーとも呼ぶことができる。本実施形態では、マーカー情報記憶部１７４が、これらのマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の情報を、例えば複数の楽曲の各楽曲に対応づけて記憶している。
【0108】
このようなマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の情報を用いることで、先行楽曲と後続楽曲のミキシング期間を適切に設定して、先行楽曲と後続楽曲をミキシングしながら、先行楽曲から後続楽曲に切り替える再生移行を実現できるようになる。例えばマーカーＭＫ１、ＭＫ３を用いれば、先行楽曲と後続楽曲の各々について、どのタイミング以降であればミキシングの開始が許容されるのかを処理システム（コンピュータ）又はユーザが認識できるようになる。例えば先行楽曲から後続楽曲への切り替えを処理システムが自動的に行う場合は、マーカーＭＫ１、ＭＫ３を用いることで、ミキシングの開始が許容されるタイミングを処理システムが認識できるようになる。一方、先行楽曲から後続楽曲への切り替えをユーザが手動で行う場合は、マーカーＭＫ１、ＭＫ３を用いることで、ミキシングの開始が許容されるタイミングをユーザが認識できるようになる。またマーカーＭＫ２、ＭＫ４を用いれば、先行楽曲と後続楽曲の各々について、どのタイミングでミキシング期間が終了して先行楽曲から後続楽曲に移行するのかを処理システム又はユーザが認識できるようになる。
【0109】
また本実施形態では、先行楽曲のマーカーＭＫ２と後続楽曲のマーカーＭＫ４とに基づいて、後続楽曲の再生開始タイミングを決定する。そして先行楽曲のマーカーＭＫ１と後続楽曲のマーカーＭＫ３に基づいて、ミキシング処理の開始タイミングを決定する。このようにすればマーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４の情報を用いて、ミキシング期間の開始タイミングや終了タイミングを決定して、当該ミキシング期間において先行楽曲と後続楽曲のミキシング処理を行いながら、先行楽曲から後続楽曲に自動的に切り替える再生移行を実現できるようになる。図１５はこの場合の本実施形態の処理例を説明するフローチャートである。
【0110】
まず先行楽曲の再生を開始する（ステップＳ４１）。そして先行楽曲に設定されたマーカーＭＫ２と、後続楽曲に設定されたマーカーＭＫ４とに基づいて、後続楽曲の再生開始タイミングを決定する（ステップＳ４２）。即ち、先行楽曲、後続楽曲のミキシング終了タイミングを設定するマーカーＭＫ２、ＭＫ４を利用して、先行楽曲の次に再生される後続楽曲の再生開始タイミングを決定する。例えば先行楽曲のマーカーＭＫ２のタイミングと、後続楽曲のマーカーＭＫ４のタイミングが同じタイミングになるように、後続楽曲の再生開始タイミングを決定する。そして決定された再生開始タイミングで後続楽曲の再生を開始する（ステップＳ４３）。
【0111】
次に先行楽曲のマーカーＭＫ１と後続楽曲のマーカーＭＫ３とに基づいて、ミキシング処理の開始タイミングを決定する（ステップＳ４４）。例えばミキシング開始の許可タイミングを設定するマーカーＭＫ１、ＭＫ３の両方が許可状態になったことを条件に、ミキシング処理の開始が許可される。そしてミキシングの開始タイミングになったと判断した場合に、先行楽曲と後続楽曲のミキシング処理を開始する（ステップＳ４５、Ｓ４６）。なお先行楽曲と後続楽曲のテンポ（ＢＰＭ）は自動調整されるものとする。そしてミキシングの終了タイミングになったか否かを判断し、終了タイミングになったらミキシング処理を終了する（ステップＳ４７）。例えば先行楽曲、後続楽曲のマーカーＭＫ２、ＭＫ４のタイミングになったらミキシング処理を終了する。このように図１５の処理によれば、マーカーＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４を用いて、ミキシング処理の開始タイミング及び終了タイミングを自動的に判断して、ミキシング期間でのミキシング処理を自動的に実行できるようになる。
【0112】
次に、ジャンルに応じて異なる設定パターンに設定されるマーカーの具体例について詳細に説明する。
【0113】
図１６（Ａ）はハウスミュージック（テクノハウス）のジャンルの曲構成の代表例である。ハウスミュージックは、イントロ、ビルドアップＡ（１回目のビルドアップ）、ドロップＡ（１回目のドロップ）、ブレーク、ビルドアップＢ（２回目のビルドアップ）、ドロップＢ（２回目のドロップ）、アウトロの曲構成を有する。これらの曲構成の小節数は、図１６（Ａ）に示すように、各々、１６、１６、３２、１６、１６、３２、３２である。なおビルドアップＡはブレークであってもよい。
【0114】
図１６（Ｂ）はＥＤＭ（フューチャーベース）のジャンルの曲構成の代表例である。ＥＤＭは、イントロ、バースＡ（１回目のバース）、ビルドアップＡ（１回目のビルドアップ）、コーラスＡ（１回目のコーラス）、ブレーク、バースＢ（２回目のバース）、ビルドアップＢ（２回目のビルドアップ）、コーラスＢ（２回目のコーラス）、アウトロの曲構成を有する。これらの曲構成の小節数は、図１６（Ｂ）に示すように、各々、８、８、８、１６、８、８、１６、１６、８である。
【0115】
図１６（Ｃ）は、アニソンと呼ばれるアニメソングのジャンルの曲構成の代表例である。アニメソングは、イントロコーラス、イントロ、Ａメロ、Ｂメロ、ブレーク、コーラスＡ（１回目のコーラス）、ブレーク、コーラスＢ（２回目のコーラス）、アウトロの曲構成を有する。これらの曲構成の小節数は、図１６（Ｃ）に示すように、各々、８、４、８、８、２、１６、２、１６、２である。
【0116】
図１７は、図１６（Ａ）で説明したハウスミュージックでのマーカーＭＫ１～ＭＫ４の設定パターンとミキシング処理についての説明図である。図１７に示すように、ベーシックミックスモードとショートミックスモードとロングミックスモードとで、マーカーＭＫ１～ＭＫ４の設定パターンが異なっている。
【0117】
図１７に示すようにハウスミュージックのベーシックミックスモードでは、先行楽曲のビルドアップＢに対して、図１４で説明したマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のビルドアップＡに対してマーカーＭＫ３、ＭＫ４が設定される。これによりマーカーＭＫ１、ＭＫ３により設定される先行楽曲のビルドアップＢ及び後続楽曲のビルドアップＡの先頭（小節の先頭）のタイミングで、先行楽曲と後続楽曲のミキシング処理が開始して、再生移行が開始する。即ち先行楽曲のフェードアウトと後続楽曲のフェードインが開始する。そしてマーカーＭＫ２、ＭＫ４により設定されるビルドアップＢ及びビルドアップＡの最後のタイミングで、ミキシング処理が終了する。即ち先行楽曲から次曲の後続楽曲に完全移行する。例えばビルドアップＡ、ビルドアップＢは、共に盛り上がりのパートであるため、先行楽曲のビルドアップＢと後続楽曲のビルドアップＡをミキシングすることで、先行楽曲から後続楽曲への違和感の少ない再生移行を実現できる。
【0118】
ハウスミュージックのショートミックスモードでは、先行楽曲のブレークに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のビルドアップＡに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のブレーク及び後続楽曲のビルドアップＡの先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のブレーク及び後続楽曲のビルドアップＡの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。即ち、ベーシックミックスモードでは、先行楽曲のブレークの終了後に、先行楽曲から後続楽曲への再生移行が行われているが、ショートミックスモードでは、ノリを持続するために、穏やかなパートである先行楽曲のブレークを聴者に聴かせることなく、後続楽曲への再生移行が行われる。
【0119】
ハウスミュージックのロングミックスモードでは、先行楽曲のアウトロに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロ、ビルドアップＡに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のアウトロ及び後続楽曲のイントロの先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のアウトロ及び後続楽曲のビルドアップＡの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。これによりロングミックスモードでは、ショートミックスモードやベーシックミックスモードに比べて、長い時間間隔での楽曲の切り替えを実現できるようになる。
【0120】
【0121】
図１８に示すようにＥＤＭのベーシックミックスモードでは、先行楽曲のアウトロに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のアウトロ及び後続楽曲のイントロの先頭のタイミングで、先行楽曲と後続楽曲のミキシング処理が開始して、再生移行が開始する。そして先行楽曲のアウトロ及び後続楽曲のイントロの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。
【0122】
ＥＤＭのショートミックスモードでは、先行楽曲のブレークに対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロに対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のブレーク及び後続楽曲のイントロの先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のブレーク及び後続楽曲のイントロの最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。これによりショートミックスモードでは、ベーシックミックスモードに比べて、短い時間間隔での楽曲の切り替えを実現できるようになる。
【0123】
【0124】
図１９に示すようにアニメソングのベーシックミックスモードでは、先行楽曲のアウトロの終わりの１小節に対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロの終わりの１小節に対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のアウトロ及び後続楽曲のイントロの終わりの１小節の先頭のタイミングで、先行楽曲と後続楽曲のミキシング処理が開始して、再生移行が開始する。そして先行楽曲のアウトロ及び後続楽曲のイントロの終わりの１小節の最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。
【0125】
アニメソングのショートミックスモードでは、先行楽曲のコーラスＡの終わりの１小節に対してマーカーＭＫ１、ＭＫ２が設定され、後続楽曲のイントロの終わりの１小節に対してマーカーＭＫ３、ＭＫ４が設定される。これにより先行楽曲のコーラスＡ及び後続楽曲のイントロの終わりの１小節の先頭のタイミングで、ミキシング処理が開始して、再生移行が開始する。そして先行楽曲のコーラスＡ及び後続楽曲のイントロの終わりの１小節の最後のタイミングで、ミキシング処理が終了して、後続楽曲に完全移行する。これによりショートミックスモードでは、ベーシックミックスモードやロングミックスモードに比べて、短い時間間隔での楽曲の切り替えを実現できるようになる。また、ロングミックスモードでは、先行楽曲のアウトロの小節の終わりから、後続楽曲の先頭が来て、後続楽曲の再生が開始する。
【0126】
なお図２０では、図１７と同様に、ハウスミュージックのベーシックミックスモードでのマーカーの設定パターンとミキシング処理の例を示している。そして図１７では、後続楽曲のビルドアップＡの小節数は１６であったが、図２０では、後続楽曲のビルドアップＡの小節数は３２になっている。従って、この場合にビルドアップＡに設定されたマーカーＭＫ３のタイミングでミキシング処理を開始してしまうと、適切なミキシング処理を実現できなくなる。この点、マーカーＭＫ３、ＭＫ１は、図１４で説明したようにミキシング開始の許可タイミングを設定するマーカーである。従って、マーカーＭＫ３のタイミングでは、先行楽曲のマーカーＭＫ１は許可状態のタイミングになっていないため、ミキシング処理は開始しないようになる。そして図２０に示すように、マーカーＭＫ３、ＭＫ１の両方が許可状態になったタイミングにおいてミキシング処理が開始する。これにより先行楽曲のビルドアップＢの小節数と後続楽曲のビルドアップＡの小節数が異なっている場合にも、適正なミキシング処理を実現できるようになる。
【0127】
以上のように本実施形態では、マーカー情報のマーカーは、楽曲の曲構成に対応づけられている。そして図１７～図１９に示すように、楽曲のジャンルに応じて異なる設定パターンで楽曲の曲構成に対してマーカーが設定される。例えば楽曲が第１ジャンル（例えばハウスミュージック）である場合には、第１設定パターンで曲構成に対してマーカーが設定され、楽曲が第２ジャンル（例えばＥＤＭ）である場合には、第２設定パターンで曲構成に対してマーカーが設定される。そして、このように楽曲のジャンルに応じて異なった設定パターンで設定されるマーカーの情報を用いて、先行楽曲と後続楽曲のミキシング処理が行われる。従って、先行楽曲と後続楽曲の接続情報であるマーカー情報を利用して、楽曲のジャンルに応じた適切な楽音の再生移行を実現できるようになる。例えばハウスミュージックでは、図１７のような設定パターンでマーカーＭＫ１～ＭＫ４を設定してミキシング処理を行うことで、ハウスミュージックのジャンルに適切な再生移行を実現できる。またＥＤＭでは、図１８のような設定パターンでマーカーＭＫ１～ＭＫ４を設定してミキシング処理を行うことで、ＥＤＭのジャンルに適切な再生移行を実現できる。またアニメソングでは、図１９のような設定パターンでマーカーＭＫ１～ＭＫ４を設定してミキシング処理を行うことで、アニメソングのジャンルに適切な再生移行を実現できる。
【0128】
また本実施形態では図２１に示すように、マーカー情報記憶部１７４は、ベーシックミックスモードで使用されるマーカーＭＫ１（Ｎ）～ＭＫ４（Ｎ）のマーカーセットであるベーシックミックスモード用のマーカーセットと、ショートミックスモードで使用されるマーカーＭＫ１（Ｓ）～ＭＫ４（Ｓ）のマーカーセットであるショートミックスモード用のマーカーセットの情報を記憶する。またロングミックスモードで使用されるマーカーＭＫ１（Ｌ）～ＭＫ４（Ｌ）のマーカーセットであるロングミックスモード用のマーカーセットの情報を記憶する。例えば、１つの楽曲に対して、ベーシックミックスモード用のマーカーセットと、ショートミックスモード用のマーカーセットと、ロングミックスモード用のマーカーセットが設定される。即ち１つの楽曲に対して、各々が４種類のマーカーＭＫ１～ＭＫ４のセットである複数のマーカーセットが設定される。このようにすれば、ベーシックミックスモード、ショートミックスモード又はロングミックスモードなどのミックスモードが設定された場合に、楽曲に設定される複数のマーカーセットの中から、設定されたミックスモードに対応するマーカーセットを用いることで、当該ミックスモードに適切なマーカーを用いてミキシング処理を実行できるようになる。なおベーシックミックスモード、ショートミックスモード、ロングミックスモードの１つが、第１ミックスモードであり、他の１つが第２ミックスモードである。またベーシックミックスモード用のマーカーセット、ショートミックスモード用のマーカーセット、ロングミックスモード用のマーカーセットの１つが、第１マーカーセットであり、他の１つが第２マーカーセットである。
【0129】
また本実施形態では、所定の条件が満たされた場合に、先行楽曲から後続楽曲への切り替えや先行楽曲と後続楽曲のミキシングが行われるが、この楽曲の切り替えやミキシングは、処理システム（コンピュータ）が自動的に行う全自動で実現してもよい、ユーザの操作を必要とする手動又は半自動により実現してもよい。半自動の場合には、例えば先行楽曲と後続楽曲の終了タイミングを合わせる操作や後続楽曲の再生を開始する操作については、処理システムが自動的に行う。そしてフェーダーによる音量調整やイコライザー調整についてはユーザが手動で行う。
【0130】
例えば本実施形態では図１３のようなＤＪ画面を、ユーザの端末装置のディスプレイに表示し、ユーザがＤＪの操作を行うことで、先行楽曲から後続楽曲への切り替えやミキシングが行われる。この場合には、先行楽曲の音波形と、後続楽曲の音波形と、マーカー情報のマーカーのタイミングを、ユーザが視覚的に認識するための表示処理を行う。例えば図１３では、表示領域８１に、先行楽曲の音波形と、先行楽曲に設定されたマーカーＭＫ１、ＭＫ２の画像が表示される。また表示領域８２に、後続楽曲の音波形と、後続楽曲に設定されたマーカーＭＫ３、ＭＫ４の画像が表示される。このような表示処理を行えば、ユーザは、先行楽曲、後続楽曲の音波形や、マーカーＭＫ１～ＭＫ４の画像を見ることで、先行楽曲から後続楽曲への切り替え操作や、或いは先行楽曲と後続楽曲のミキシングの操作を容易に行えるようになる。従って、例えば楽曲の切り替えやミキシングの操作に関する特別な知識や技術がなくても、聴者が違和感を感じないような楽曲の切り替えやミキシングを実現できるようになる。
【0131】
また本実施形態では、ユーザのミキシング操作のタイミングとマーカー情報のマーカーのタイミングとのズレ量が所定の範囲内である場合に、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する処理を行うようにしてもよい。このようにすれば、ユーザの技量が足りなくて、ユーザの操作が適切なタイミングで行われなかった場合にも、マーカーにより設定されるタイミングで楽曲のミキシングや切り替えを行うことが可能になる。これにより、ユーザにとって利便性が高い操作インターフェースを提供できるようになる。また本実施形態では、ユーザのミキシング操作のタイミングとマーカーのタイミングとのズレ量に基づいて、ユーザのミキシング操作の評価処理を行うようにしてもよい。これにより、マーカーを見ながらユーザがミキシング操作を行った場合に、そのミキシング操作のタイミングが適切なタイミングであったか否かを評価できるようになる。従って、ユーザは、ミキシング操作をタイミング良く行えば、良い評価を得ることができるため、ミキシング操作に熱中するようになる。これにより、ミキシング操作を行うことの面白味をユーザに与えることができ、これまでにないＤＪのゲームの実現が可能になる。図２２はこの場合の本実施形態の処理例を示すフローチャートである。
【0132】
まず処理システムは、ユーザのミキシング操作のタイミングとマーカーのタイミングのズレ量を求める（ステップＳ５１）。例えばユーザのミキシング操作のタイミングを短い時間間隔でサンプリングする監視処理を行うことで、ミキシング操作のタイミングとマーカーのタイミングのズレ量を測定できる。そして、求められたズレ量に基づいて、ユーザのミキシング操作の評価処理を行う（ステップＳ５２）。例えばズレ量が小さければ、ユーザのミキシング操作に対する評価は良い評価（グッド、エクセレント）になり、ズレ量が大きければ、ユーザのミキシング操作に対する評価は悪い評価（バッド）になる。次に、ズレ量が所定の範囲内か否かを判断する（ステップＳ５３）。例えばユーザのミキシング操作のズレ量が、許容できる範囲内なのかを判断できる。そしてズレ量が所定の範囲内である場合には、マーカーのタイミングに合うようにミキシング操作のタイミングを補正する（ステップＳ５４）。このようにすることで、ユーザのミキシング操作のアシストが可能になり、ユーザは、ミキシング操作に関する特別や技量や知識が無くても、先行楽曲と後続楽曲の適切なミキシングや切り替えを行えるようになる。
【0133】
なお図２２のステップＳ５２に示すような評価処理を行った場合には、ユーザのＤＪタイムの時間で、楽曲の切り替えやミキシングについての評価の集計処理を行って、集計結果をユーザに提示したり、集計結果に応じた特典をユーザに付与するようにしてもよい。また、ユーザのミキシング操作に対する評価結果をユーザに報知する処理を行うことが望ましい。例えば「グッド」、「エクセレント」、「バッド」の文字が書かれた画像を表示する。またユーザのミキシング操作の評価が良い評価であった場合には、演出エフェクトを発生する処理を行ってもよい。例えばキャラクタの周囲に、キラキラと輝くエフェクト表示物などを表示する処理を行う。
【0134】
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また音の再生処理、ミキシング処理、再生処理、キャラクタの動作制御処理、表示処理、マーカーの設定処理等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本開示の範囲に含まれる。
【符号の説明】
【0135】
１０…ＤＪ機器、１１、１２…フェーダー、１４…クロスフェーダー、
２１、２２…イコライザー、２３、２４…トリム調整ツマミ、３１、３２…再生ボタン、
３３、３４…キューボタン、３５、３６…ターンテーブル、４１、４２…ディスプレイ、
５１、５２…フェーダー、５４…クロスフェーダー、６１、６２…イコライザー、
６３、６４…トリム調整ツマミ、６５、６６…シンクボタン、７１、７２…再生ボタン、
７３、７４…キューボタン、８０、８１、８２、８３、８４…表示領域、
１００…処理部、１０２…音処理部、１０４…音処理部、１１０…キャラクタ処理部、
１２０…表示処理部、１６０…操作部、１７０…記憶部、１７２…楽曲情報記憶部、
１７４…マーカー情報記憶部、１７５…モーションデータ記憶部、
１７６…キャラクタ情報記憶部、１７７…オブジェクト情報記憶部、
１７８…描画バッファ、１８０…情報記憶媒体、１９０…表示部、１９２…音出力部、
１９４…Ｉ／Ｆ部、１９５…携帯型情報記憶媒体、１９６…通信部、
５１０…ネットワーク、ＣＨ…キャラクタ、ＣＸＡ～ＣＸＧ、ＣＹＡ～ＣＹＧ…曲構成、
ＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４、ＭＥＸ、ＭＥＹ、ＭＳＸ、ＭＳＹ…マーカー、
ＭＴＡ～ＭＴＧ、ＭＴＸ、ＭＴＹ、ＭＴＺ…動作パターン、
ＰＭＸ、ＰＭＹ、ＰＭＺ…ミキシングパターン、ＴＭ１～ＴＭｎ…端末装置
２１、２２…イコライザー、２３、２４…トリム調整ツマミ、３１、３２…再生ボタン、
３３、３４…キューボタン、３５、３６…ターンテーブル、４１、４２…ディスプレイ、
５１、５２…フェーダー、５４…クロスフェーダー、６１、６２…イコライザー、
６３、６４…トリム調整ツマミ、６５、６６…シンクボタン、７１、７２…再生ボタン、
７３、７４…キューボタン、８０、８１、８２、８３、８４…表示領域、
１００…処理部、１０２…音処理部、１０４…音処理部、１１０…キャラクタ処理部、
１２０…表示処理部、１６０…操作部、１７０…記憶部、１７２…楽曲情報記憶部、
１７４…マーカー情報記憶部、１７５…モーションデータ記憶部、
１７６…キャラクタ情報記憶部、１７７…オブジェクト情報記憶部、
１７８…描画バッファ、１８０…情報記憶媒体、１９０…表示部、１９２…音出力部、
１９４…Ｉ／Ｆ部、１９５…携帯型情報記憶媒体、１９６…通信部、
５１０…ネットワーク、ＣＨ…キャラクタ、ＣＸＡ～ＣＸＧ、ＣＹＡ～ＣＹＧ…曲構成、
ＭＫ１、ＭＫ２、ＭＫ３、ＭＫ４、ＭＥＸ、ＭＥＹ、ＭＳＸ、ＭＳＹ…マーカー、
ＭＴＡ～ＭＴＧ、ＭＴＸ、ＭＴＹ、ＭＴＺ…動作パターン、
ＰＭＸ、ＰＭＹ、ＰＭＺ…ミキシングパターン、ＴＭ１～ＴＭｎ…端末装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】