特許 6978061 出力制御方法、出力制御システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6978061

(24)【登録日】2021年11月15日

(45)【発行日】2021年12月8日

(54)【発明の名称】出力制御方法、出力制御システム、及びプログラム

(51)【国際特許分類】

   H04R 3/00 20060101AFI20211125BHJP

【ＦＩ】

   H04R3/00

【請求項の数】24

【全頁数】21

(21)【出願番号】特願2018-5864(P2018-5864)

(22)【出願日】2018年1月17日

(65)【公開番号】特開2019-125936(P2019-125936A)

(43)【公開日】2019年7月25日

【審査請求日】2020年12月1日

(73)【特許権者】

【識別番号】517041246

【氏名又は名称】株式会社ＣＯＴＯＤＡＭＡ

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】沼田 耕平

【審査官】 大石 剛

(56)【参考文献】

【文献】 特開２０１０−０３３６６１（ＪＰ，Ａ）

【文献】 特開２０１０−０６１０８９（ＪＰ，Ａ）

【文献】 国際公開第２００７／１２５９９０（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｒ ３／００

(57)【特許請求の範囲】

【請求項1】

プロセッサにより実行される方法であって、
ユーザインタフェースを通じて第１の楽曲と第２の楽曲との間の比率を指定する比率指定情報を取得することと、
前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を含む音響であって、前記比率指定情報に従う比率で前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分を含む音響を音響デバイスに出力させるための音響信号を前記音響デバイスに出力することと、
前記第１の楽曲に対応する映像成分及び前記第２の楽曲に対応する映像成分の少なくとも一方を含む歌詞に関する映像であって、前記比率指定情報に従う比率で前記第１の楽曲に対応する映像成分及び前記第２の楽曲に対応する映像成分を含む映像を表示デバイスに出力させるための映像信号を前記表示デバイスに出力することと
を含む出力制御方法。

【請求項2】

請求項１記載の出力制御方法であって、
前記映像は、前記音響デバイスから出力される音響に対応する歌詞を表す文字要素と、背景要素とを含み、
前記映像信号は、前記背景要素として、前記比率指定情報に従う比率で前記第１の楽曲に対応する背景要素成分及び前記第２の楽曲に対応する背景要素成分を含む映像を、前記表示デバイスに出力させるように構成される出力制御方法。

【請求項3】

請求項２記載の出力制御方法であって、
前記映像信号は、前記文字要素として、前記比率指定情報に従う比率で前記第１の楽曲に対応する歌詞を表す文字要素成分及び前記第２の楽曲に対応する歌詞を表す文字要素成分を含む映像を、前記表示デバイスに出力させるように構成される出力制御方法。

【請求項4】

請求項１〜請求項３のいずれか一項記載の出力制御方法であって、
前記音響信号を出力することは、
前記第１の楽曲に対応する第１の楽曲データをデコードして、第１の音響信号を生成することと、
前記第２の楽曲に対応する第２の楽曲データをデコードして、第２の音響信号を生成することと、
前記第１の音響信号及び前記第２の音響信号に基づき、前記音響信号を前記音響デバイスに出力することとを含む出力制御方法。

【請求項5】

請求項１〜請求項４のいずれか一項記載の出力制御方法であって、
前記映像信号を出力することは、
前記第１の楽曲に対応する第１の歌詞データに基づき、第１の映像信号を生成することと、
前記第２の楽曲に対応する第２の歌詞データに基づき、第２の映像信号を生成することと、
前記第１の映像信号及び前記第２の映像信号に基づき、前記映像信号を前記表示デバイスに出力することとを含む出力制御方法。

【請求項6】

請求項１〜請求項５のいずれか一項記載の出力制御方法であって、
前記ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得すること
を更に含み、
前記音響信号を出力することは、前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を前記テンポ指定情報に従うテンポで前記音響デバイスに出力させるための音響信号を前記音響デバイスに出力することを含み、
前記映像信号を出力することは、前記音響に対応するテンポで前記映像を前記表示デバイスに表示させるための映像信号を前記表示デバイスに出力することを含む出力制御方法。

【請求項7】

請求項１〜請求項５のいずれか一項記載の出力制御方法であって、
前記音響信号は、音響用再生クロックに従って生成され、
前記映像信号は、映像用再生クロックに従って生成され、
前記出力制御方法は、更に、
前記ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得することと、
前記音響デバイスが前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を前記テンポ指定情報に従うテンポで出力し、前記表示デバイスが前記音響に対応するテンポで前記映像を表示するように、前記音響用再生クロック及び前記映像用再生クロックの速度を、前記テンポ指定情報に従って変更することと
を含む出力制御方法。

【請求項8】

請求項１〜請求項３のいずれか一項記載の出力制御方法であって、
前記音響信号を出力することは、
第１の音響用再生クロックに従って、前記第１の楽曲に対応する第１の楽曲データをデコードし、第１の音響信号を生成することと、
第２の音響用再生クロックに従って、前記第２の楽曲に対応する第２の楽曲データをデコードし、第２の音響信号を生成することと、
前記第１の音響信号及び前記第２の音響信号に基づき、前記音響信号を前記音響デバイスに出力することと
を含み、
前記映像信号を出力することは、
第１の映像用再生クロックに従って、前記第１の楽曲に対応する第１の歌詞データに基づく第１の映像信号を生成することと、
第２の映像用再生クロックに従って、前記第２の楽曲に対応する第２の歌詞データに基づく第２の映像信号を生成することと、
前記第１の映像信号及び前記第２の映像信号に基づき、前記映像信号を前記表示デバイスに出力することと
を含み、
前記出力制御方法は、更に、
前記ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得することと、
前記音響デバイスが前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を前記テンポ指定情報に従うテンポで出力し、前記表示デバイスが前記音響に対応するテンポで前記映像を表示するように、前記第１及び第２の音響用再生クロック、並びに、前記第１及び第２の映像用再生クロックの速度を、前記テンポ指定情報に従って変更することと
を含む出力制御方法。

【請求項9】

請求項１〜請求項３のいずれか一項記載の出力制御方法であって、
前記音響信号を出力することは、
前記第１の楽曲に対応する第１の楽曲データをデコードして、第１の音響信号を生成することと、
前記第２の楽曲に対応する第２の楽曲データをデコードして、第２の音響信号を生成することと、
前記第１の音響信号及び前記第２の音響信号に基づき、前記音響信号を前記音響デバイスに出力することと
を含み、
前記出力制御方法は、更に、
前記ユーザインタフェースを通じて演奏位置を指定する位置指定情報を取得することと、
前記位置指定情報に従って、前記第１の楽曲データ及び前記第２の楽曲データの少なくとも一方のデコード位置を、変更することと
を含む出力制御方法。

【請求項10】

請求項１〜請求項９のいずれか一項記載の出力制御方法であって、更に、
前記ユーザインタフェースを通じてワードを指定するワード指定情報を取得することと、
前記第１の楽曲及び前記第２の楽曲の少なくとも一方における、前記ワード指定情報に従うワードを含む一つ以上の歌詞部分に対応する一つ以上の楽曲部分を、前記ユーザインタフェースを通じて表示することと
を含む出力制御方法。

【請求項11】

請求項１０記載の出力制御方法であって、
前記ユーザインタフェースを通じて前記一つ以上の楽曲部分から選択された一つの楽曲部分を表す選択情報を取得することを含み、
前記音響信号を出力することは、前記選択情報に従って、前記第１の楽曲及び前記第２の楽曲の一方の演奏位置を、前記選択された一つの楽曲部分に対応する位置に変更するように、前記音響信号を前記音響デバイスに出力することを含む出力制御方法。

【請求項12】

プロセッサと、
前記プロセッサにより実行される命令を格納するメモリと、
を備え、前記命令は、前記プロセッサに、
ユーザインタフェースを通じて第１の楽曲と第２の楽曲との間の比率を指定する比率指定情報を取得することと、
前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を含む音響であって、前記比率指定情報に従う比率で前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分を含む音響を音響デバイスに出力させるための音響信号を前記音響デバイスに出力することと、
前記第１の楽曲に対応する映像成分及び前記第２の楽曲に対応する映像成分の少なくとも一方を含む歌詞に関する映像であって、前記比率指定情報に従う比率で前記第１の楽曲に対応する映像成分及び前記第２の楽曲に対応する映像成分を含む映像を表示デバイスに出力させるための映像信号を前記表示デバイスに出力することと
を実行させるように構成される出力制御システム。

【請求項13】

ユーザインタフェースを通じて第１の楽曲と第２の楽曲との間の比率を指定する比率指定情報を取得するように構成される比率取得部と、
前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を含む音響であって、前記比率取得部が取得した前記比率指定情報に従う比率で前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分を含む音響を音響デバイスに出力させるための音響信号を前記音響デバイスに出力するように構成される音響信号出力部と、
前記第１の楽曲に対応する映像成分及び前記第２の楽曲に対応する映像成分の少なくとも一方を含む歌詞に関する映像であって、前記比率指定情報に従う比率で前記第１の楽曲に対応する映像成分及び前記第２の楽曲に対応する映像成分を含む映像を表示デバイスに出力させるための映像信号を前記表示デバイスに出力するように構成される映像信号出力部と
を含む出力制御システム。

【請求項14】

請求項１３記載の出力制御システムであって、
前記映像は、前記音響デバイスから出力される音響に対応する歌詞を表す文字要素と、背景要素とを含み、
前記映像信号は、前記背景要素として、前記比率指定情報に従う比率で前記第１の楽曲に対応する背景要素成分及び前記第２の楽曲に対応する背景要素成分を含む映像を、前記表示デバイスに出力させるように構成される出力制御システム。

【請求項15】

請求項１４記載の出力制御システムであって、
前記映像信号は、前記文字要素として、前記比率指定情報に従う比率で前記第１の楽曲に対応する歌詞を表す文字要素成分及び前記第２の楽曲に対応する歌詞を表す文字要素成分を含む映像を、前記表示デバイスに出力させるように構成される出力制御システム。

【請求項16】

請求項１３〜請求項１５のいずれか一項記載の出力制御システムであって、
前記音響信号出力部は、
前記第１の楽曲に対応する第１の楽曲データをデコードして、第１の音響信号を生成するように構成される第１音響信号生成部と、
前記第２の楽曲に対応する第２の楽曲データをデコードして、第２の音響信号を生成するように構成される第２音響信号生成部と、
を備え、前記第１の音響信号及び前記第２の音響信号に基づき、前記音響信号を前記音響デバイスに出力するように構成される出力制御システム。

【請求項17】

請求項１３〜請求項１６のいずれか一項記載の出力制御システムであって、
前記映像信号出力部は、
前記第１の楽曲に対応する第１の歌詞データに基づき、第１の映像信号を生成するように構成される第１映像信号生成部と、
前記第２の楽曲に対応する第２の歌詞データに基づき、第２の映像信号を生成するように構成される第２映像信号生成部と、
を備え、前記第１の映像信号及び前記第２の映像信号に基づき、前記映像信号を出力するように構成される出力制御システム。

【請求項18】

請求項１３〜請求項１７のいずれか一項記載の出力制御システムであって、
前記ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得するように構成されるテンポ取得部
を更に備え、
前記音響信号出力部は、前記音響信号として、前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を前記テンポ取得部が取得したテンポ指定情報に従うテンポで前記音響デバイスに出力させるための音響信号を生成し、
前記映像信号出力部は、前記映像信号として、前記音響に対応するテンポで前記映像を前記表示デバイスに表示させるための映像信号を前記表示デバイスに出力する出力制御システム。

【請求項19】

請求項１３〜請求項１７のいずれか一項記載の出力制御システムであって、
前記音響信号は、音響用再生クロックに従って生成され、
前記映像信号は、映像用再生クロックに従って生成され、
前記出力制御システムは、更に、
前記ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得するように構成されるテンポ取得部と、
前記音響デバイスが前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を前記テンポ指定情報に従うテンポで出力し、前記表示デバイスが前記音響に対応するテンポで前記映像を表示するように、前記音響用再生クロック及び前記映像用再生クロックの速度を、前記テンポ取得部が取得したテンポ指定情報に従って変更するように構成される変更部と、
を備える出力制御システム。

【請求項20】

請求項１３〜請求項１５のいずれか一項記載の出力制御システムであって、
前記音響信号出力部は、
第１の音響用再生クロックに従って、前記第１の楽曲に対応する第１の楽曲データをデコードし、第１の音響信号を生成する第１音響信号生成部と、
第２の音響用再生クロックに従って、前記第２の楽曲に対応する第２の楽曲データをデコードし、第２の音響信号を生成する第２音響信号生成部と、
を備え、前記第１の音響信号及び前記第２の音響信号に基づき、前記音響信号を生成するように構成され、
前記映像信号出力部は、
第１の映像用再生クロックに従って、前記第１の楽曲に対応する第１の歌詞データに基づく第１の映像信号を生成するように構成される第１映像信号生成部と、
第２の映像用再生クロックに従って、前記第２の楽曲に対応する第２の歌詞データに基づく第２の映像信号を生成するように構成される第２映像信号生成部と、
を備え、前記第１の映像信号及び前記第２の映像信号に基づき、前記映像信号を生成するように構成され、
前記出力制御システムは、更に、
前記ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得するように構成されるテンポ取得部と、
前記音響デバイスが前記第１の楽曲の音響成分及び前記第２の楽曲の音響成分の少なくとも一方を前記テンポ指定情報に従うテンポで出力し、前記表示デバイスが前記音響に対応するテンポで前記映像を表示するように、前記第１及び第２の音響用再生クロック、並びに、前記第１及び第２の映像用再生クロックの速度を、前記テンポ取得部が取得したテンポ指定情報に従って変更するように構成される変更部と、
を備える出力制御システム。

【請求項21】

請求項１３〜請求項１６のいずれか一項記載の出力制御システムであって、
前記音響信号出力部は、
前記第１の楽曲に対応する第１の楽曲データをデコードして、第１の音響信号を生成するように構成される第１音響信号生成部と、
前記第２の楽曲に対応する第２の楽曲データをデコードして、第２の音響信号を生成するように構成される第２音響信号生成部と、
を備え、前記第１の音響信号及び前記第２の音響信号に基づき、前記音響信号を生成するように構成され、
前記出力制御システムは、更に、
前記ユーザインタフェースを通じて演奏位置を指定する位置指定情報を取得するように構成される位置取得部と、
前記位置取得部が取得した位置指定情報に従って、前記第１の楽曲データ及び前記第２の楽曲データの少なくとも一方のデコード位置を、変更するように構成される変更部と、
を備える出力制御システム。

【請求項22】

請求項１３〜請求項２１のいずれか一項記載の出力制御システムであって、更に、
前記ユーザインタフェースを通じてワードを指定するワード指定情報を取得するように構成されるワード取得部と、
前記第１の楽曲及び前記第２の楽曲の少なくとも一方における、前記ワード取得部が取得したワード指定情報に従うワードを含む一つ以上の歌詞部分に対応する一つ以上の楽曲部分を、前記ユーザインタフェースを通じて表示するように構成される表示制御部と、
を備える出力制御システム。

【請求項23】

請求項２２記載の出力制御システムであって、
前記ユーザインタフェースを通じて前記一つ以上の楽曲部分から選択された一つの楽曲部分を表す選択情報を取得するように構成される選択情報取得部を備え、
前記音響信号出力部は、前記選択情報取得部が取得した選択情報に従って、前記第１の楽曲及び前記第２の楽曲の一方の演奏位置を、前記選択された一つの楽曲部分に対応する位置に変更するように、前記音響信号を前記音響デバイスに出力する出力制御システム。

【請求項24】

請求項１〜請求項１２のいずれか一項記載の出力制御方法を、コンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音響及び映像の出力制御方法及びシステムに関する。

【背景技術】

【0002】

ＤＪ（Ｄｉｓｃ Ｊｏｃｋｅｙ）機器としてのミキサが既に知られている。ミキサは、二つの音源からの音響信号を混合し、その混合信号をスピーカシステムに出力するように構成される。混合比は、ミキサに備えられた操作部（具体的にはクロスフェーダ）を用いてユーザにより調整される。近年では、コンピュータを用いて、二つのディジタル音源からの音響信号を混合することも行われている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−２０４２５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

クラブシーンでは、演奏される楽曲を光で演出することが行われている。光による演出は、聴衆の楽しみを増加させる。周知の演出技術は、例えば、光源（例えばレーザ光源）からの光の照射方向や光の色を変化させる。しかしながら、従来の演出技術は、非日常的な空間を形成することに優れているものの、演奏される楽曲への聴衆の関心を高めるものではない。

【0005】

そこで、本開示の一側面によれば、演奏される楽曲への聴衆の関心を高め得る、新規な音響及び映像の出力制御方法及びシステムを提供できることが望ましい。特には、第１の楽曲及び第２の楽曲の混合音が演奏される環境において、音響に対応する適切な映像を表示デバイスに出力させることが可能な技術を提供できることが望ましい。

【課題を解決するための手段】

【0006】

本開示の一側面によれば、プロセッサにより実行される出力制御方法が提供される。当該方法は、ユーザインタフェースを通じて第１の楽曲と第２の楽曲との間の比率を指定する比率指定情報を取得することを含む。

【0007】

当該方法は、比率指定情報に従って、第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方を含む音響を音響デバイスに出力させるための音響信号を、音響デバイスに出力することを更に含む。音響は、比率指定情報に従う比率で第１の楽曲の音響成分及び第２の楽曲の音響成分を含み得る。

【0008】

当該方法は更に、比率指定情報に従って、第１の楽曲に対応する映像成分及び第２の楽曲に対応する映像成分の少なくとも一方を含む歌詞に関する映像を表示デバイスに出力させるための映像信号を、表示デバイスに出力することを含む。映像は、比率指定情報に従う比率で第１の楽曲に対応する映像成分及び第２の楽曲に対応する映像成分を含み得る。

【0009】

本開示の一側面によれば、比率指定情報に従って音響デバイスからの音響出力が制御され、更には歌詞に関する映像の表示デバイスによる表示が制御される。歌詞に関する映像の表示は、演奏される楽曲への聴衆の関心を高める。従って、この方法によれば、第１の楽曲及び第２の楽曲の混合音が演奏される環境において、聴衆の関心を高めることが可能な映像を、適切に表示デバイスに表示させることができる。

【0010】

本開示の別側面において、映像は、音響デバイスから出力される音響に対応する歌詞を表す文字要素と、背景要素とを含み得る。この場合、映像信号は、背景要素として、比率指定情報に従う比率で第１の楽曲に対応する背景要素成分及び第２の楽曲に対応する背景要素成分を含む映像を、表示デバイスに出力させるように構成され得る。映像信号は、文字要素として、比率指定情報に従う比率で第１の楽曲に対応する歌詞を表す文字要素成分及び第２の楽曲に対応する歌詞を表す文字要素成分を含む映像を、表示デバイスに出力させるように構成されてもよい。

【0011】

本開示の別側面によれば、音響信号を出力することは、第１の楽曲に対応する第１の楽曲データをデコードして、第１の音響信号を生成することと、第２の楽曲に対応する第２の楽曲データをデコードして、第２の音響信号を生成することと、第１の音響信号及び第２の音響信号に基づき、上記音響信号を音響デバイスに出力することとを含んでいてもよい。

【0012】

本開示の別側面によれば、映像信号を出力することは、第１の楽曲に対応する第１の歌詞データに基づき、第１の映像信号を生成することと、第２の楽曲に対応する第２の歌詞データに基づき、第２の映像信号を生成することと、第１の映像信号及び第２の映像信号に基づき、上記映像信号を表示デバイスに出力することとを含んでいてもよい。

【0013】

本開示の別側面によれば、出力制御方法は、ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得することを含んでいてもよい。この場合、音響信号を出力することは、第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方をテンポ指定情報に従うテンポで音響デバイスに出力させるための音響信号を音響デバイスに出力することを含んでいてもよい。映像信号を出力することは、音響に対応するテンポで映像を表示デバイスに表示させるための映像信号を表示デバイスに出力することを含んでいてもよい。

【0014】

本開示の別側面によれば、音響信号は、音響用再生クロックに従って生成されてもよく、映像信号は、映像用再生クロックに従って生成されてもよい。出力制御方法は、音響デバイスが第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方をテンポ指定情報に従うテンポで出力し、表示デバイスが音響に対応するテンポで映像を表示するように、音響用再生クロック及び映像用再生クロックの速度を、テンポ指定情報に従って変更することを含んでいてもよい。

【0015】

本開示の別側面によれば、音響信号を出力することは、第１の音響用再生クロックに従って、第１の楽曲に対応する第１の楽曲データをデコードし、第１の音響信号を生成することと、第２の音響用再生クロックに従って、第２の楽曲に対応する第２の楽曲データをデコードし、第２の音響信号を生成することと、第１の音響信号及び第２の音響信号に基づき、音響信号を音響デバイスに出力することとを含んでいてもよい。

【0016】

映像信号を出力することは、第１の映像用再生クロックに従って、第１の楽曲に対応する第１の歌詞データに基づく第１の映像信号を生成することと、第２の映像用再生クロックに従って、第２の楽曲に対応する第２の歌詞データに基づく第２の映像信号を生成することと、第１の映像信号及び第２の映像信号に基づき、映像信号を表示デバイスに出力することとを含んでいてもよい。

【0017】

出力制御方法は、音響デバイスが第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方をテンポ指定情報に従うテンポで出力し、表示デバイスが音響に対応するテンポで映像を表示するように、第１及び第２の音響用再生クロック、並びに、第１及び第２の映像用再生クロックの速度を、テンポ指定情報に従って変更することを含んでいてもよい。

【0018】

本開示の別側面によれば、出力制御方法は、ユーザインタフェースを通じて演奏位置を指定する位置指定情報を取得することと、位置指定情報に従って、第１の楽曲データ及び第２の楽曲データの少なくとも一方のデコード位置を、変更することとを含んでいてもよい。

【0019】

本開示の別側面によれば、出力制御方法は、ユーザインタフェースを通じてワードを指定するワード指定情報を取得することと、第１の楽曲及び第２の楽曲の少なくとも一方における、ワード指定情報に従うワードを含む一つ以上の歌詞部分に対応する一つ以上の楽曲部分を、ユーザインタフェースを通じて表示することとを含んでいてもよい。

【0020】

本開示の別側面によれば、出力制御方法は更に、ユーザインタフェースを通じて一つ以上の楽曲部分から選択された一つの楽曲部分を表す選択情報を取得することを含んでいてもよい。この場合、音響信号を出力することは、選択情報に従って、第１の楽曲及び第２の楽曲の一方の演奏位置を、選択された一つの楽曲部分に対応する位置に変更するように、音響信号を音響デバイスに出力することを含んでいてもよい。

【0021】

本開示の別側面によれば、上述した出力制御方法を実行するように構成にされる出力制御システムが提供されてもよい。出力制御システムは、プロセッサと、プロセッサにより実行される命令を格納するメモリと、を備えていてもよい。命令は、プロセッサに、比率指定情報を取得することと、第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方を含む音響であって、比率指定情報に従う比率で第１の楽曲の音響成分及び第２の楽曲の音響成分を含む音響を音響デバイスに出力させるための音響信号を音響デバイスに出力することと、第１の楽曲に対応する映像成分及び第２の楽曲に対応する映像成分の少なくとも一方を含む歌詞に関する映像であって、比率指定情報に従う比率で第１の楽曲に対応する映像成分及び第２の楽曲に対応する映像成分を含む映像を表示デバイスに出力させるための映像信号を表示デバイスに出力することと、を実行させるように構成されていてもよい。

【0022】

本開示の別側面によれば、出力制御システムは、比率取得部と、音響信号出力部と、映像信号出力部とを備えていてもよい。比率取得部は、ユーザインタフェースを通じて第１の楽曲と第２の楽曲との間の比率を指定する比率指定情報を取得するように構成されてもよい。

【0023】

音響信号出力部は、第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方を含む音響であって、比率取得部が取得した比率指定情報に従う比率で第１の楽曲の音響成分及び第２の楽曲の音響成分を含む音響を音響デバイスに出力させるための音響信号を音響デバイスに出力するように構成されてもよい。

【0024】

映像信号出力部は、第１の楽曲に対応する映像成分及び第２の楽曲に対応する映像成分の少なくとも一方を含む歌詞に関する映像であって、比率指定情報に従う比率で第１の楽曲に対応する映像成分及び第２の楽曲に対応する映像成分を含む映像を表示デバイスに出力させるための映像信号を表示デバイスに出力するように構成されてもよい。

【0025】

本開示の別側面によれば、出力制御システムは、テンポ取得部を備えていてもよい。テンポ取得部は、ユーザインタフェースを通じてテンポを指定するテンポ指定情報を取得するように構成され得る。出力制御システムは、音響デバイスが第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方をテンポ指定情報に従うテンポで出力し、表示デバイスが音響に対応するテンポで映像を表示するように、音響用再生クロック及び映像用再生クロックの速度を、テンポ取得部が取得したテンポ指定情報に従って変更するように構成される変更部を備えていてもよい。

【0026】

本開示の別側面によれば、出力制御システムは、ユーザインタフェースを通じて演奏位置を指定する位置指定情報を取得するように構成される位置取得部と、位置取得部が取得した位置指定情報に従って、第１の楽曲データ及び第２の楽曲データの少なくとも一方のデコード位置を、変更するように構成される変更部とを備えていてもよい。

【0027】

本開示の別側面によれば、出力制御システムは、ワード取得部及び表示制御部を備えていてもよい。ワード取得部は、ユーザインタフェースを通じてワードを指定するワード指定情報を取得するように構成されてもよい。表示制御部は、第１の楽曲及び第２の楽曲の少なくとも一方における、ワード取得部が取得したワード指定情報に従うワードを含む一つ以上の歌詞部分に対応する一つ以上の楽曲部分を、ユーザインタフェースを通じて表示するように構成されてもよい。

【0028】

本開示の別側面によれば、出力制御システムは、ユーザインタフェースを通じて一つ以上の楽曲部分から選択された一つの楽曲部分を表す選択情報を取得する選択情報取得部を備えていてもよい。音響信号出力部は、選択情報取得部が取得した選択情報に従って、第１の楽曲及び第２の楽曲の一方の演奏位置を、選択された一つの楽曲部分に対応する位置に変更するように、音響信号を音響デバイスに出力するように構成されてもよい。

【0029】

本開示の別側面によれば、出力制御方法を、コンピュータに実行させるためのコンピュータプログラムが提供されてもよい。本開示の別側面によれば、当該コンピュータプログラムを格納するコンピュータ読取可能な非一時的記録媒体が提供されてもよい。

【図面の簡単な説明】

【0030】

【図1】楽曲再生システムの構成を表すブロック図である。

【図2】プロセッサにより実現される機能を表すブロック図である。

【図3】コントロール画面の例を示す図である。

【図4】コントローラが実行する処理を表すフローチャートである。

【図5】コントローラによるテンポの変更例を示す図である。

【図6】コントローラによる混合比の変更例を示す図である。

【図7】映像ミキサが実行する処理を表すフローチャートである。

【図8】合成映像の生成態様を説明する図である。

【図9】図９Ａは、第１の映像の例を示し、図９Ｂは、第２の映像の例を示し、図９Ｃは、第１の映像と第２の映像との合成映像の例を示す。

【図10】図１０Ａは、変形例における合成映像の生成態様を説明し、図１０Ｂは、変形例における合成映像の例を示す。

【発明を実施するための形態】

【0031】

以下に本開示の例示的実施形態を、図面を参照して説明する。
図１に示す本実施形態の楽曲再生システム１は、例えばクラブシーンでＤＪ用システムとして使用される。楽曲再生システム１は、サーバシステム５と、再生制御装置１０と、スピーカシステム４０と、表示デバイス５０と、を備える。

【0032】

サーバシステム５は、一つ以上のサーバ装置を含む。サーバシステム５は、再生制御装置１０と広域ネットワークを通じて通信可能に構成される。サーバシステム５は、複数の楽曲のそれぞれについて、楽曲データＤＭ及び歌詞データＤＬを備え、再生制御装置１０から要求された楽曲の、楽曲データＤＭ及び歌詞データＤＬを、要求元の再生制御装置１０に提供するように構成される。

【0033】

楽曲データＤＭは、対応する楽曲のオーディオデータである。楽曲データＤＭは、ＷＡＶ、ＭＰ３等の周知のデータ形式で構成され得る。歌詞データＤＬは、対応する楽曲の歌詞を表すテキストデータを含み、歌詞の各部分に、タイムコードを有する。タイムコードは、対応する楽曲の再生開始時からの経過時間であって、対応する歌詞部分が歌唱される時点の経過時間、換言すれば、歌唱時刻を表す。

【0034】

再生制御装置１０は、ユーザから指定された楽曲についての楽曲データＤＭ及び歌詞データＤＬをサーバシステム５から広域ネットワークを通じて取得し、取得した楽曲データＤＭに基づき、対応する楽曲の音を、スピーカシステム４０に出力させるように構成される。

【0035】

更に、再生制御装置１０は、スピーカシステム４０から出力される楽曲を演出するための映像を、表示デバイス５０に表示させるように構成される。楽曲再生システム１がクラブシーンで利用されるとき、再生制御装置１０には、比較的大規模なスピーカシステム４０及び表示デバイス５０が接続される。表示デバイス５０は、スクリーンに映像を映し出すプロジェクタであってもよいし、液晶ディスプレイ及び有機ＥＬディスプレイ等であってもよい。

【0036】

再生制御装置１０は、例えば、周知のパーソナルコンピュータに、特有のコンピュータプログラムＣＰがインストールされることにより構成される。再生制御装置１０は、図１に示すように、プロセッサ１１と、メモリ１２と、ストレージデバイス１３と、クロック信号生成器１４と、通信部１６と、操作部１７と、表示部１８と、接続部１９と、を備える。

【0037】

プロセッサ１１は、ストレージデバイス１３に格納されたコンピュータプログラムＣＰ（命令）に従う処理を実行するように構成される。ストレージデバイス１３は、例えば、ハードディスクドライブやソリッドステートドライブであり得る。メモリ１２は、プロセッサ１１による処理実行時にワークメモリとして機能する。クロック信号生成器１４は、ソフトウェアクロックの刻時動作の基準として用いられるクロック信号をプロセッサ１１に入力するように構成される。

【0038】

通信部１６は、サーバシステム５と広域ネットワークを通じて通信可能に構成される。操作部１７は、ユーザからの操作信号をプロセッサ１１に入力するように構成される。操作部１７は、例えばキーボード及びポインティングデバイスを含む。表示部１８は、プロセッサ１１により制御されて、再生制御装置１０を操作するユーザに向けて各種情報を表示する。表示部１８は、例えば液晶ディスプレイである。

【0039】

接続部１９は、スピーカシステム４０及び表示デバイス５０を接続可能に構成される。具体的に、接続部１９は、プロセッサ１１からの音響信号を、スピーカシステム４０に適合する音響信号に変換してスピーカシステム４０に出力し、プロセッサ１１からの映像信号を、表示デバイス５０に適合する映像信号に変換して、表示デバイス５０に出力するように構成される。

【0040】

プロセッサ１１は、予めインストールされたコンピュータプログラムＣＰを実行することにより、図２に示すコントローラ２０と、第１音響再生器２１と、第１映像再生器２２と、第２音響再生器２４と、第２映像再生器２５と、音響ミキサ２７と、映像ミキサ２９として機能する。

【0041】

コントローラ２０は、操作部１７を通じて入力されるユーザからの操作信号に従って、第１音響再生器２１、第１映像再生器２２、第２音響再生器２４、第２映像再生器２５、音響ミキサ２７、及び、映像ミキサ２９を制御するように構成される。

【0042】

第１音響再生器２１は、ユーザにより指定された第１の楽曲を再生するために、第１の楽曲データをデコードして、第１の音響信号Ａ１を生成し、生成した第１の音響信号Ａ１を音響ミキサ２７に出力するように構成される。

【0043】

第１音響再生器２１は、再生クロックＣ１１に従って動作し、これにより、対応するテンポで楽曲が再生されるように第１の音響信号Ａ１を生成及び出力する。再生クロックＣ１１は、ソフトウェアクロックであり、第１の楽曲の再生は、再生クロックＣ１１により定義される時間軸に沿って行われる。再生クロックＣ１１の刻時速度が変更されることにより、第１音響再生器２１による第１の音響信号Ａ１のサンプリング周波数は変化し、第１の楽曲の再生速度、即ち、第１の楽曲のテンポ、更には、第１の楽曲のピッチが変化する。

【0044】

第１映像再生器２２は、別の再生クロックＣ１２に従って動作し、これにより、第１の楽曲の再生に合わせて、第１の楽曲を演出するための第１の映像を表示デバイス５０に表示させるための第１の映像信号Ｖ１を生成し、生成した第１の映像信号Ｖ１を映像ミキサ２９に出力するように構成される。再生クロックＣ１２は、ソフトウェアクロックであり、第１の映像の再生（表示）は、再生クロックＣ１２により定義される時間軸に沿って行われる。

【0045】

具体的に、第１の映像信号Ｖ１は、第１の映像として、第１の楽曲の歌詞を含む映像を表示デバイス５０に表示させるための信号である。第１映像再生器２２は、第１の楽曲の歌詞データと、予めストレージデバイス１３に格納された映像定義データＤＰとに基づき、第１の楽曲の歌詞を表す文字要素と、文字要素を装飾する背景要素とを含む映像を表示デバイス５０に表示させるための映像信号を第１の映像信号Ｖ１として生成する。

【0046】

ストレージデバイス１３は、楽曲の種類毎に、映像定義データＤＰを備える。第１映像再生器２２は、歌詞データが示す歌詞、及び、歌詞データのメタデータが示す曲ジャンルの少なくとも一方に基づき、楽曲の種類を判別し、判別した種類の映像定義データＤＰに基づいて、第１の映像信号Ｖ１を生成する。映像定義データＤＰは、歌詞を表す文字要素の表示に用いるべきフォントのタイプ、サイズ、及び、動き、並びに、文字要素を装飾する背景要素のタイプ、色、及び、動きを定義する。

【0047】

第２音響再生器２４は、ユーザにより指定された第２の楽曲を再生するために、第２の楽曲データをデコードして、第２の音響信号Ａ２を生成し、生成した第２の音響信号Ａ２を音響ミキサ２７に出力するように構成される。

【0048】

具体的に、第２音響再生器２４は、別の再生クロックＣ２１に従って動作し、これにより、対応するテンポで楽曲が再生されるように第２の音響信号Ａ２を生成及び出力する。再生クロックＣ２１は、ソフトウェアクロックであり、第２の楽曲の再生は、再生クロックＣ２１により定義される時間軸に沿って行われる。再生クロックＣ２１の刻時速度が変更されることにより、第２音響再生器２４による第２の音響信号Ａ２のサンプリング周波数は変化し、第２の楽曲の再生速度、即ち、第２の楽曲のテンポ、更には、第２の楽曲のピッチが変化する。

【0049】

第２映像再生器２５は、別の再生クロックＣ２２に従って動作し、これにより、第２の楽曲の再生に合わせて、第２の楽曲を演出するための第２の映像を表示デバイス５０に表示させるための第２の映像信号Ｖ２を生成し、生成した第２の映像信号Ｖ２を映像ミキサ２９に出力するように構成される。再生クロックＣ２２は、ソフトウェアクロックであり、第２の映像の再生（表示）は、再生クロックＣ２２により定義される時間軸に沿って行われる。第２映像再生器２５における映像信号の生成は、第１映像再生器２２と同様の手法で、第２の楽曲の歌詞データと映像定義データＤＰとを用いて行われる。第２の映像は、第２の楽曲の歌詞を表す文字要素と、文字要素を装飾する背景要素とを含む。

【0050】

音響ミキサ２７は、第１音響再生器２１から入力される第１の音響信号Ａ１と、第２音響再生器２４から入力される第２の音響信号Ａ２とを、コントローラ２０により設定された混合比で混合し、その混合信号ＭＡを、接続部１９を介してスピーカシステム４０に出力するように構成される。混合信号ＭＡは、設定された混合比で第１の楽曲の音響成分及び第２の楽曲の音響成分を含む音響をスピーカシステム４０に出力させるための音響信号である。

【0051】

例えば、設定された混合比が７０％である場合、音響ミキサ２７は、第１の楽曲の音響成分を３０％含み、第２の楽曲の音響成分を７０％含む音響がスピーカシステム４０から出力されるように、第１の音響信号Ａ１と第２の音響信号Ａ２とを３：７の混合比で混合した混合信号ＭＡを、スピーカシステム４０に出力する。

【0052】

混合比は、０％から１００％までの範囲で設定される。従って、音響ミキサ２７は、第１の音響信号Ａ１及び第２の音響信号Ａ２のうちの一方のみを、形式的に混合信号ＭＡとしてスピーカシステム４０に出力する場合がありえる。即ち、音響ミキサ２７は、設定された混合比で、第１の楽曲の音響成分及び第２の楽曲の音響成分の少なくとも一方を含む音響をスピーカシステム４０に出力させるための音響信号（混合信号ＭＡ）を、スピーカシステム４０に伝送するように構成される。

【0053】

映像ミキサ２９は、第１映像再生器２２から入力される第１の映像信号Ｖ１と、第２映像再生器２５から入力される第２の映像信号Ｖ２とを、コントローラ２０により設定された混合比で混合して、その混合信号ＭＶを、接続部１９を介して表示デバイス５０に出力するように構成される。混合信号ＭＶに基づいて表示デバイス５０により表示される映像は、第１の映像と第２の映像との合成映像であり、合成映像は、スピーカシステム４０から出力される音響に対応する歌詞を含み、上記設定された混合比で第１の楽曲に対応する第１の映像成分及び第２の楽曲に対応する第２の映像成分を含む。

【0054】

コントローラ２０により設定される混合比は、音響ミキサ２７及び映像ミキサ２９に対して共通である。従って、映像ミキサ２９は、音響ミキサ２７と同様に、第１の映像信号Ｖ１及び第２の映像信号Ｖ２のうちの一方のみを、形式的に混合信号ＭＶとして表示デバイス５０に出力する場合がありえる。即ち、映像ミキサ２９は、設定された混合比で、第１の楽曲に対応する映像成分及び第２の楽曲に対応する映像成分の少なくとも一方を含む映像を表示デバイス５０に出力させるための映像信号（混合信号ＭＶ）を表示デバイス５０に伝送するように構成される。

【0055】

コンピュータプログラムＣＰがプロセッサ１１により実行されたときに、表示部１８には、図３に例示されるコントロール画面Ｇが表示される。コントロール画面Ｇは、グラフィカルユーザインタフェース（ＧＵＩ）を提供する。

【0056】

コントローラ２０は、表示部１８にコントロール画面Ｇを表示し、操作部１７を通じて入力されるユーザからのコントロール画面Ｇに対する操作信号に従って、第１音響再生器２１、第１映像再生器２２、第２音響再生器２４、第２映像再生器２５、音響ミキサ２７、及び、映像ミキサ２９を制御する。

【0057】

コントロール画面Ｇは、第１の曲情報表示領域Ｒ１１と、第２の曲情報表示領域Ｒ１２と、第１の波形表示領域Ｒ２１と、第２の波形表示領域Ｒ２２と、拡大波形表示領域Ｒ３と、第１の操作領域Ｒ４１と、第２の操作領域Ｒ４２と、第１の映像表示領域Ｒ５１と、第２の映像表示領域Ｒ５２と、合成映像表示領域Ｒ６と、クロスフェーダ領域Ｒ７と、第１の検索ワード入力領域Ｒ８１と、第２の検索ワード入力領域Ｒ８２と、第１の検索結果表示領域Ｒ９１と、第２の検索結果表示領域Ｒ９２と、を備える。

【0058】

第１の曲情報表示領域Ｒ１１は、第１の楽曲のタイトル及びアーティスト名を含む曲情報を表示する。第２の曲情報表示領域Ｒ１２は、第２の楽曲のタイトル及びアーティスト名を含む曲情報を表示する。

【0059】

第１の波形表示領域Ｒ２１は、第１の楽曲全体の波形を表す。第１の波形表示領域Ｒ２１は更に、第１の楽曲についての現在の再生位置、及び、ユーザにより設定されたキュー（ＣＵＥ）ポイントを示す。

【0060】

第２の波形表示領域Ｒ２２は、第２の楽曲全体の波形を表す。第２の波形表示領域Ｒ２２は更に、第２音響再生器２４による第２の楽曲についての現在の再生位置、及び、ユーザにより設定されたキューポイントを示す。例えば、図３において三角形で示される位置が「現在の再生位置」に対応し、四角形で示される位置がキューポイントに対応し得る。拡大波形表示領域Ｒ３は、第１の楽曲の拡大波形及び第２の楽曲の拡大波形を、現在の再生位置に対応する波形部分を中心に配置するように表示する。

【0061】

第１の操作領域Ｒ４１は、第１の楽曲を再生／停止する操作、第１の楽曲に対するテンポ／ピッチを調整する操作、キューポイントを設定／選択する操作等の各種操作を受け付けるためのグラフィカルユーザインタフェースを提供する。第２の操作領域Ｒ４２もまた、第１の操作領域Ｒ４１と同様に構成され、第２の楽曲に関する各種操作を受け付けるためのグラフィカルユーザインタフェースを提供する。

【0062】

第１の映像表示領域Ｒ５１は、第１映像再生器２２からの第１の映像信号Ｖ１に基づく第１の映像を表示する。第２の映像表示領域Ｒ５２は、第２映像再生器２５からの第２の映像信号Ｖ２に基づく第２の映像を表示する。合成映像表示領域Ｒ６は、映像ミキサ２９からの混合信号ＭＶに基づく第１の映像と第２の映像との合成映像を表示する。

【0063】

クロスフェーダ領域Ｒ７は、楽曲の混合比、即ち、スピーカシステム４０から出力される第１の楽曲と第２の楽曲との間の比率をユーザが調整可能なグラフィカルユーザインタフェースを提供する。具体的に、クロスフェーダ領域Ｒ７は、仮想的な調整ツマミを有する。ユーザは、操作部１７を介して調整ツマミの位置を調整することによって、楽曲の混合比を指定することができる。即ち、コントローラ２０は、調整ツマミの位置情報の形態で、混合比の指定情報を取得することができる。

【0064】

第１の検索ワード入力領域Ｒ８１は、第１の楽曲に関する検索ワードの入力を操作部１７を通じてユーザから受付可能な構成にされ、第２の検索ワード入力領域Ｒ８２は、第２の楽曲に関する検索ワードの入力を操作部１７を通じてユーザから受付可能な構成にされる。

【0065】

第１の検索結果表示領域Ｒ９１は、第１の楽曲において、第１の検索ワード入力領域Ｒ８１に入力された検索ワードに対応する歌詞部分が歌われる区間のリストを表示する。リストには、区間毎に、対応する区間の歌詞内容及び歌唱時刻が表示され得る。例えば、図３に例示される第１の検索結果表示領域Ｒ９１において、区間番号「１」「２」「３」に関連付けられる記号「＊＊＊＊＊＊」に対応する位置に、歌詞内容及び歌唱時刻が表示され得る。

【0066】

上述の検索ワードに対応する歌詞部分は、検索ワードを含む歌詞部分であってもよいし、検索ワードと少なくとも類似するワードを含む歌詞部分であってもよいし、検索ワードと相関の強いワードを含む歌詞部分であってもよい。

【0067】

リストアップされた区間の夫々は、第１の波形表示領域Ｒ２１にカラーや記号を用いて示されてもよい。第１の検索結果表示領域Ｒ９１は、リストアップされた区間の任意の一つ以上を選択可能なグラフィカルユーザインタフェースを提供する。このグラフィカルユーザインタフェースは、ユーザが、リストアップされた区間の一つ以上をキューポイントの設定対象として任意選択することができるように構成されてもよいし、ユーザが、リストアップされた区間の任意の一つをスキップ位置、即ち移動先の再生位置として選択することができるように構成されてもよい。

【0068】

第２の検索結果表示領域Ｒ９２は、第１の検索結果表示領域Ｒ９１と同様、第２の楽曲において、第２の検索ワード入力領域Ｒ８２に入力された検索ワードに対応する歌詞部分が歌われる区間のリストを表示し、リストアップされた区間の任意の一つ以上を選択可能なグラフィカルユーザインタフェースを提供する。リストには、区間毎に、対応する区間の歌詞部分及び歌唱時刻が表示され得る。リストアップされた区間の夫々は、第２の波形表示領域Ｒ２２に表示されてもよい。

【0069】

コントローラ２０は、操作部１７を通じてコントロール画面Ｇに対する操作がなされる度、図４に示す処理を実行する。具体的には、コントローラ２０は、操作部１７を通じて取得したユーザからの操作信号に基づき、コントロール画面Ｇに対するユーザの操作を判別し（Ｓ１１０）、判別した操作に対応する処理を実行する（Ｓ１２０−Ｓ１８０）。

【0070】

詳細には、コントローラ２０は、ユーザの操作が、再生開始操作及び再生停止操作のいずれかである場合（Ｓ１２０でＹｅｓ）、Ｓ１２５に移行して、ユーザから指定された楽曲の再生を開始又は停止するように、対応する音響再生器を制御する。同時に、この楽曲を演出する映像の再生を開始又は停止するように、対応する映像再生器を制御する。制御対象の音響再生器は、第１音響再生器２１及び第２音響再生器２４の少なくとも一方である。同様に、制御対象の映像再生器は、第１映像再生器２２及び第２映像再生器２５の少なくとも一方である。

【0071】

コントローラ２０は、ユーザの操作が、キューポイントの設定操作である場合（Ｓ１３０でＹｅｓ）、その操作に応じて、ユーザから指定された楽曲のユーザから指定された位置にキューポイントを設定する（Ｓ１３５）。

【0072】

コントローラ２０は、ユーザの操作が、再生位置の変更操作である場合（Ｓ１４０でＹｅｓ）、その操作に応じて、ユーザから指定された楽曲の再生位置が、ユーザから指定された移動先の再生位置に変更されるように、対応する音響再生器を制御する。ユーザは、再生位置の変更操作として、予め設定されたキューポイントを選択する操作を行うことができる。この場合、選択されたキューポイントが移動先の再生位置に対応する。ユーザは、再生位置の変更操作として、移動先の再生位置を、波形表示領域Ｒ２１，Ｒ２２，Ｒ３を通じて具体的に指定する操作を行うこともできる。再生位置の変更は、対応する音響再生器による対応する楽曲データのデコード位置を変更することにより実現される。同時に、この楽曲を演出する映像の再生位置が、楽曲（音響）と同じ位置に変更されるように、対応する映像再生器を制御する（Ｓ１４５）。再生位置（デコード位置）の変更は、対応する再生クロックの時刻を変更することにより実現可能である。

【0073】

コントローラ２０は、ユーザの操作が、テンポ／ピッチの調整操作である場合（Ｓ１５０でＹｅｓ）、その操作に応じて、ユーザから指定された楽曲のテンポ／ピッチを調整するように、対応する音響再生器及び映像再生器を制御する（Ｓ１５５）。

【0074】

例えば、コントローラ２０は、図５に示すように、第１の楽曲のテンポを、標準テンポの９０％に調整する操作がなされた場合、第１音響再生器２１及び第１映像再生器２２の夫々の再生テンポを９０％に落とすように制御する。具体的には、第１音響再生器２１の再生クロックＣ１１の刻時速度を標準速度の９０％に落とすように制御し、第１映像再生器２２の再生クロックＣ１２の刻時速度を標準速度の９０％に落とすように制御する。再生テンポを調整することによっては、波形の周波数が調整される。従って、テンポの調整によって、同時にピッチ（音の高低）も調整される。テンポの調整は、例えば、第１の楽曲と第２の楽曲のテンポ（拍子）を合わせるために行われる。

【0075】

コントローラ２０は、第２の楽曲のテンポ／ピッチを調整する操作がなされた場合、第２音響再生器２４及び第２映像再生器２５を、上述した例と同様に制御する。コントローラ２０は、第１の楽曲及び第２の楽曲の両者に対して同時にテンポ／ピッチを調整する操作がなされた場合、第１音響再生器２１及び第１映像再生器２２、並びに、第２音響再生器２４及び第２映像再生器２５を同時に制御することができる。

【0076】

コントローラ２０は、ユーザの操作が、クロスフェーダ領域Ｒ７を通じた混合比の変更操作である場合（Ｓ１６０でＹｅｓ）、音響ミキサ２７がユーザにより指定された混合比で、第１音響再生器２１からの第１の音響信号Ａ１と第２音響再生器２４からの第２の音響信号Ａ２とを混合して、その混合信号ＭＡを出力するように、音響ミキサ２７を制御する（Ｓ１６５）。同時に、コントローラ２０は、映像ミキサ２９が、音響ミキサ２７と同一の混合比で、第１映像再生器２２からの第１の映像信号Ｖ１と、第２映像再生器２５からの第２の映像信号Ｖ２とを混合して、その混合信号ＭＶを出力するように、映像ミキサ２９を制御する（Ｓ１６５）。具体的には、コントローラ２０は、音響ミキサ２７及び映像ミキサ２９における混合比の設定値を、ユーザから指定された値に変更する。

【0077】

例えば、コントローラ２０は、クロスフェーダ領域Ｒ７を通じてユーザにより混合比を７０％に変更する操作がなされた場合、その操作信号（混合比の指定情報）に従って、図６に示すように、音響ミキサ２７における混合比の設定値を７０％に変更すると同時に、映像ミキサ２９における混合比の設定値を７０％に変更するように動作する。

【0078】

コントローラ２０は、ユーザの操作が、歌詞内のワードを検索する操作である場合（Ｓ１７０でＹｅｓ）、ユーザから指定されたワードを、指定された楽曲の歌詞内で検索し（Ｓ１７１）、その検索結果が、対応する検索結果表示領域に表示されるように、表示部１８を制御する（Ｓ１７５）。例えば、第１の検索ワード入力領域Ｒ８１に検索ワード「ＬＯＶＥ」が入力された場合には、第１の楽曲の歌詞内で検索ワード「ＬＯＶＥ」を含む歌詞部分を検索し、該当する歌詞部分を含む区間のリストを第１の検索結果表示領域Ｒ９１に表示するように、表示部１８を制御する。

【0079】

第１の検索結果表示領域Ｒ９１により表示された区間の夫々は、上述したようにキューポイントの設定対象として選択可能である。コントローラ２０は、第１の検索結果表示領域Ｒ９１に表示された区間の一つをキューポイントに設定する操作がなされた場合、Ｓ１３５において、対応する区間の先頭をキューポイントに設定する。

【0080】

第１の検索結果表示領域Ｒ９１により表示された区間の夫々は、上述したようにスキップ位置としても選択可能である。コントローラ２０は、第１の検索結果表示領域Ｒ９１に表示された区間の一つを、スキップ位置（即ち移動先の再生位置）に指定する再生位置の変更操作がなされた場合、Ｓ１４５において、対応する区間の先頭に再生位置を変更する処理を行う。

【0081】

コントローラ２０は、ユーザの操作が上述した操作以外である場合、その操作に対応した処理を実行する（Ｓ１８０）。このようにして、コントローラ２０は、操作部１７を通じてコントロール画面Ｇに対する操作がなされる度、なされた操作に対応する処理を実行する（Ｓ１１０−Ｓ１８０）。

【0082】

続いて、映像ミキサ２９の動作を、図７−図１０Ｂを用いて説明する。
映像ミキサ２９に入力される第１の映像信号Ｖ１は、背景レイヤＬＢ１と文字レイヤＬＣ１とを含み、第２の映像信号Ｖ２も同様に、背景レイヤＬＢ２と文字レイヤＬＣ２とを含む。映像ミキサ２９は、背景レイヤＬＢ１，ＬＢ２と文字レイヤＬＣ１，ＬＣ２とを個別に処理して、第１の映像信号Ｖ１と第２の映像信号Ｖ２とを混合するように動作する。

【0083】

即ち、映像ミキサ２９は、図７に示すように、第１の映像信号Ｖ１の背景レイヤＬＢ１と、第２の映像信号Ｖ２の背景レイヤＬＢ２とを、設定された混合比で混合して、合成背景レイヤＬＢ０を生成する（Ｓ２１０）。合成背景レイヤＬＢ０は、第２の映像信号Ｖ２の背景レイヤＬＢ２に、第１の映像信号Ｖ１の背景レイヤＬＢ１を設定された混合比で重ねて構成され得る。例えば、設定された混合比がＸ％である場合、映像ミキサ２９は、第１の映像信号Ｖ１の背景レイヤＬＢ１を透過率Ｘ％で第２の映像信号Ｖ２の背景レイヤＬＢ２上に重ねて、合成背景レイヤＬＢ０を生成し得る。

【0084】

映像ミキサ２９は、設定された混合比が０％である場合には、第１の映像信号Ｖ１の背景レイヤＬＢ１を、合成背景レイヤＬＢ０に設定し、設定された混合比が１００％である場合には、第２の映像信号Ｖ２の背景レイヤＬＢ２を、合成背景レイヤＬＢ０に設定することができる。

【0085】

映像ミキサ２９は、第１の映像信号Ｖ１の文字レイヤＬＣ１及び第２の映像信号Ｖ２の文字レイヤＬＣ２の一方を、合成背景レイヤＬＢ０上に重ねるようにして、第１の映像信号Ｖ１と第２の映像信号Ｖ２との混合信号ＭＶを生成し、これを出力する（Ｓ２２０）。具体的に、映像ミキサ２９は、設定された混合比が５０％以下であるときには、図８に示すように、第１の映像信号Ｖ１の文字レイヤＬＣ１を、合成背景レイヤＬＢ０上に重ねるようにして、第１の映像信号Ｖ１と第２の映像信号Ｖ２との混合信号ＭＶを生成する。映像ミキサ２９は、混合比が５０％を超える場合には、第２の映像信号Ｖ２の文字レイヤＬＣ２を、合成背景レイヤＬＢ０上に重ねるようにして、第１の映像信号Ｖ１と第２の映像信号Ｖ２との混合信号ＭＶを生成する。

【0086】

映像ミキサ２９は、各フレームに対して、Ｓ２１０，Ｓ２２０の処理を実行することにより、第１の楽曲に対応する映像成分と、第２の楽曲に対応する映像成分とを設定された混合比で含む合成映像が表示デバイス５０に表示されるように、表示デバイス５０に対する映像信号ＭＶを生成及び出力する。

【0087】

第１の映像信号Ｖ１が歌詞を表す文字要素「ＡＢＣ」を含む図９Ａに示す映像を表し、第２の映像信号Ｖ２が歌詞を表す文字要素「ＤＥＦ」を含む図９Ｂに示す映像を表すとき、更には、設定された混合比が５０％以下であるとき、映像ミキサ２９は、図９Ｃに示すように、背景要素については、両者の成分を含み、文字要素については、音響成分の割合が高い第１の楽曲の歌詞を表す文字要素「ＡＢＣ」を有する合成映像を表示デバイス５０に表示させるための映像信号を生成する。

【0088】

別例として、映像ミキサ２９は、文字要素についても第１の映像成分、及び、第２の映像成分を含むように、第１の映像信号Ｖ１及び第２の映像信号Ｖ２を混合する構成にされてもよい。

【0089】

例えば、映像ミキサ２９は、上述したように合成背景レイヤＬＢ０を生成すると共に、図１０Ａに示すように、第２の映像信号Ｖ２の文字レイヤＬＣ２に、第１の映像信号Ｖ１の文字レイヤＬＣ１を設定された混合比で重ねて合成文字レイヤＬＣ０を生成し、合成背景レイヤＬＢ０上に、合成文字レイヤＬＣ０を重ねるようにして、第１の映像信号Ｖ１と第２の映像信号Ｖ２との混合信号ＭＶを生成してもよい。

【0090】

この例によれば、第１の映像信号Ｖ１が図９Ａに示す映像を表し、第２の映像信号Ｖ２が図９Ｂに示す映像を表すとき、混合信号ＭＶが表す合成映像は、図１０Ｂに示すように、第１の楽曲の歌詞を表す文字要素「ＡＢＣ」、及び、第２の楽曲の歌詞を表す文字要素「ＤＥＦ」を含む。図１０Ｂでは、視認性の観点から、文字要素「ＤＥＦ」を文字要素「ＡＢＣ」からずらして配置しているが、文字要素「ＤＥＦ」は、合成映像において、合成前の第２の映像信号Ｖ２における文字要素「ＤＥＦ」と同じ位置に配置されてもよい。もちろん、文字要素の位置は、合成時に、合成前の位置から変更されてもよい。

【0091】

本開示が、上述の実施形態に限定されるものではなく、種々の態様を採り得ることは言うまでもない。

【0092】

例えば、再生制御装置１０は、汎用のパーソナルコンピュータに専用のコンピュータプログラムＣＰをインストールすることにより構成される例に限られない。再生制御装置１０は、タブレット端末で実現されてもよい。再生制御装置１０は、上述したプロセッサ１１により実現される機能を、専用の電子回路で実現する専用装置として構成されてもよい。

【0093】

上記実施形態における１つの構成要素が有する機能は、複数の構成要素に分散して設けられてもよい。複数の構成要素が有する機能は、１つの構成要素に統合されてもよい。上記実施形態の構成の一部は、省略されてもよい。上記実施形態の構成の少なくとも一部は、他の上記実施形態の構成に対して付加又は置換されてもよい。特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【0094】

用語間の対応関係は、次の通りである。スピーカシステム４０は、音響デバイスの一例に対応する。操作部１７及びクロスフェーダ領域Ｒ７は、比率取得部の一例に対応する。第１音響再生器２１、第２音響再生器２４、及び、音響ミキサ２７は、音響信号出力部の一例に対応し、第１音響再生器２１は、第１音響信号生成部の一例に対応し、第２音響再生器２４は、第２音響信号生成部の一例に対応する。第１映像再生器２２、第２映像再生器２５、及び、映像ミキサ２９は、映像信号出力部の一例に対応し、第１映像再生器２２は、第１映像信号生成部の一例に対応し、第２映像再生器２５は、第２映像信号生成部の一例に対応する。再生クロックＣ１１，Ｃ２１は、音響用再生クロックの一例に対応し、再生クロックＣ１２，Ｃ２２は、映像用再生クロックの一例に対応する。

【0095】

操作部１７、第１の操作領域Ｒ４１、及び第２の操作領域Ｒ４２は、テンポ取得部の一例に対応する。コントローラ２０が実行するＳ１５５の処理は、変更部により実現される処理の一例に対応する。操作部１７、第１の検索ワード入力領域Ｒ８１、及び第２の検索ワード入力領域Ｒ８２は、ワード取得部の一例に対応し、コントローラ２０が実行するＳ１７５の処理は、表示制御部の一例に対応する。操作部１７、第１の検索結果表示領域Ｒ９１、及び、第２の検索結果表示領域Ｒ９２は、選択情報取得部の一例に対応する。

【符号の説明】

【0096】

１…楽曲再生システム、５…サーバシステム、１０…再生制御装置、１１…プロセッサ、１２…メモリ、１３…ストレージデバイス、１４…クロック信号生成器、１６…通信部、１７…操作部、１８…表示部、１９…接続部、２０…コントローラ、２１…第１音響再生器、２２…第１映像再生器、２４…第２音響再生器、２５…第２映像再生器、２７…音響ミキサ、２９…映像ミキサ、４０…スピーカシステム、５０…表示デバイス。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】