特許 7156646 楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-11

(45)【発行日】2022-10-19

(54)【発明の名称】楽曲配信システム及び楽曲配信方法ならびに楽曲配信プログラム

(51)【国際特許分類】

   G10K 15/02 20060101AFI20221012BHJP

   H04N 21/235 20110101ALI20221012BHJP

   H04N 21/435 20110101ALI20221012BHJP

【ＦＩ】

G10K15/02

H04N21/235

H04N21/435

【請求項の数】 21

(21)【出願番号】P 2020522441

(86)(22)【出願日】2018-05-29

(86)【国際出願番号】 JP2018020624

(87)【国際公開番号】W WO2019229861

(87)【国際公開日】2019-12-05

【審査請求日】2020-11-02

【前置審査】

(73)【特許権者】

【識別番号】500140725

【氏名又は名称】株式会社オープンストリーム

(74)【代理人】

【識別番号】110002516

【氏名又は名称】特許業務法人白坂

(72)【発明者】

【氏名】川竹 力

【審査官】大野 弘

(56)【参考文献】

【文献】特開２００７－２４１６５２（ＪＰ，Ａ）

【文献】特開２００９－０１７４１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／０２

Ｈ０４Ｎ ２１／２３５

Ｈ０４Ｎ ２１／４３５

(57)【特許請求の範囲】

【請求項1】

再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれた、配信対象となる楽曲データを公共通信網にストリーム配信し、選曲操作者が選択する複数の番組楽曲を楽曲再生端末に順次配信し再生させるために、前記公共通信網を介して前記番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、前記選曲操作者による選曲再生操作入力を受け付ける選曲再生操作入力部と、該選曲再生操作入力部への入力内容に基づいて、各前記番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報であって、前記選曲再生操作入力部において入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記入力操作の内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成する再生制御指令情報作成部と、前記再生制御指令情報を前記公共通信網に送出する再生制御指令情報送出部とを備えた選曲再生制御指令部と、を備えた楽曲配信部と、
前記公共通信網を介して前記楽曲データを受信するとともに、当該楽曲データに基づいて楽曲をストリーム再生する楽曲再生部と、前記楽曲の再生時に関連映像を表示させる映像表示部と、前記番組楽曲の楽曲データを前記楽曲配信元サーバから取得する番組楽曲データ取得部と、前記番組楽曲に対応する前記再生制御指令情報を前記楽曲配信部より取得する再生制御指令情報取得部と、前記再生制御指令情報が示す再生タイミング及び再生条件に従い前記番組楽曲の楽曲データを前記楽曲再生部に対し順次ストリーム再生させる番組再生制御部と、を備えた楽曲再生端末と、
前記楽曲再生端末とは別に設けられ、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付ける映像操作入力部と、前記映像操作入力に基づく前記関連映像の映像制御指令情報を前記公共通信網に送出する映像制御指令情報送出部とを備えた映像制御指令部と、
前記公共通信網を介して前記映像制御指令情報を取得する映像制御指令情報取得部と、前記番組楽曲の楽曲データの前記楽曲再生端末への配信を前記楽曲配信元サーバに指示する番組楽曲配信指示部と、前記映像操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを、取得した前記映像制御指令情報に含まれる前記タイムスタンプにより把握するとともに、前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させるため、前記番組楽曲について作成される前記再生制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送する再生制御指令情報取得・転送部とを有する楽曲配信・映像管理部と、
を備えたことを特徴とする楽曲配信システム。

【請求項2】

前記楽曲データには再生時のデータビットの時系列的な出力タイミングを個々に記述した再生タイミング情報が組み込まれ、前記再生タイミング情報に基づいて前記ストリーム配信中の楽曲の再生タイミングを把握するものである請求項１記載の楽曲配信システム。

【請求項3】

前記楽曲配信部は、複数の前記楽曲データを順次ストリーム配信するものであり、
前記映像制御指令情報は、前記楽曲の再生が第一の楽曲から第二の楽曲に切り替わるのに対応して、前記関連映像の表示内容を第一の関連映像から第二の関連映像に切り替えるための映像切替指令情報を含むものである請求項１記載の楽曲配信システム。

【請求項4】

前記関連映像は、表示オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを前記楽曲の再生音と同期して変化させるサウンドビジュアライザーの生成出力映像であり、
前記映像切替指令情報は、前記サウンドビジュアライザーを第一のサウンドビジュアライザーから第二のサウンドビジュアライザーに切り替えるサウンドビジュアライザー切替指示情報である請求項３記載の楽曲配信システム。

【請求項5】

前記映像操作入力部は、操作位置に応じて前記第一のサウンドビジュアライザーと前記第二のサウンドビジュアライザーとのミキシング比率を連続的に変更可能な映像クロスフェード入力部を備え、
前記映像制御指令部は、前記映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を前記映像制御指令情報として作成するものである請求項４記載の楽曲配信システム。

【請求項6】

前記楽曲再生端末には、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を前記公共通信網に送出する評価情報送出部とを備え、
前記楽曲配信・映像管理部は、前記評価情報を受信する評価情報受信部と、前記評価情報が肯定的内容を有していた場合に前記楽曲の再生を盛り上げるための盛上げ画像データを、前記関連映像のデータとして記憶する盛上げ画像データ記憶部と、前記評価情報の受信状態が予め定められた条件を充足する場合に、前記盛上げ画像データと前記盛上げ画像にかかる表示制御指令情報とを前記楽曲再生端末に送出する盛上げ画像送出部とを備え、
前記楽曲再生端末には、前記盛り上げ画像データと前記表示制御指令情報とに基づき前記盛上げ画像を前記映像表示部に表示させる盛上げ画像表示制御部が設けられる請求項１記載の楽曲配信システム。

【請求項7】

前記盛上げ画像表示制御部は、前記評価情報が肯定的内容を有していた場合に、前記盛上げ画像を前記関連映像に重ねて表示させる請求項６記載の楽曲配信システム。

【請求項8】

前記楽曲再生端末は、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を前記公共通信網に送出する評価情報送出部とを備え、
前記楽曲配信・映像管理部は、前記評価情報を受信する評価情報受信部と、前記評価情報が肯定的内容を有していた場合に前記楽曲の再生を盛り上げるための盛上げ音声データを記憶する盛上げ音声データ記憶部と、前記評価情報の受信状態が予め定められた条件を充足する場合に、前記盛上げ音声データを音声出力制御指令情報とともに前記楽曲再生端末に送出する盛上げ音声情報送出部とを備え、
前記楽曲再生端末には、前記盛上げ音声データと前記音声出力制御指令情報とに基づき前記盛上げ音声を出力させる盛上げ音声出力部が設けられる請求項１記載の楽曲配信システム。

【請求項9】

前記番組再生制御部は前記楽曲データを再生開始後、前記再生制御指令情報に含まれる前記タイムスタンプが示す再生位置が到来するに伴い、前記再生条件が示す制御タスクを再生中の前記楽曲データに対して発動するものである請求項１記載の楽曲配信システム。

【請求項10】

前記再生制御指令情報作成部は、再生楽曲の音量、音質、テンポないし音程の少なくともいずれかにかかる設定・変更入力操作がなされたときの前記楽曲の再生位置を示す前記再生タイミング情報を前記タイムスタンプとして取得し、前記入力操作の内容が示す再生条件と前記タイムスタンプとを対応付けた情報を前記再生制御指令情報として作成するものである請求項１記載の楽曲配信システム。

【請求項11】

前記再生条件が示す制御タスクは、先行楽曲の再生途中にて後続楽曲を前記先行楽曲にミキシングしつつ再生させる制御に関するものであり、
前記再生制御指令情報作成部は、前記後続楽曲の再生開始入力操作がなされたときの前記先行楽曲の再生位置をミキシング開始のタイムスタンプとして取得するものであり、
前記番組再生制御部は、前記先行楽曲の再生開始後、前記再生制御指令情報に含まれる前記ミキシング開始のタイムスタンプが示す再生位置が到来するに伴い、前記後続楽曲の再生を前記先行楽曲とミキシングしつつ開始させるものである請求項１記載の楽曲配信システム。

【請求項12】

前記再生制御指令情報作成部は、前記後続楽曲の再生開始入力操作がなされた後の前記先行楽曲とのミキシング再生期間中において、両楽曲のミキシング条件にかかる設定・変更入力がなされたときの、前記先行楽曲又は前記後続楽曲の再生位置を前記タイムスタンプとして取得し、前記設定・変更入力が示すミキシング条件を前記タイムスタンプと対応付けて前記再生制御指令情報として作成するものであり、
前記番組再生制御部は、前記ミキシング再生期間中において前記タイムスタンプが示す再生位置が到来するに伴い、前記ミキシング条件にて前記後続楽曲と前記先行楽曲とをミキシングしつつ再生させるものである請求項１１記載の楽曲配信システム。

【請求項13】

前記選曲再生操作入力部は、操作位置に応じて前記後続楽曲と前記先行楽曲とのミキシング比率を連続的に変更可能な楽曲クロスフェード入力部を備え、
前記再生制御指令情報作成部は、該楽曲クロスフェード入力部の操作位置に応じて設定・変更される前記ミキシング比率を前記ミキシング条件にかかる情報として作成するものである請求項１１記載の楽曲配信システム。

【請求項14】

前記再生制御指令情報作成部は、再生中の楽曲の特定情報と前記再生条件とを取得しつつ、それら情報の取得時刻を示す前記再生タイミング情報と対応付けてスナップショット情報を作成するものであり、
前記楽曲配信管理部は、前記スナップショット情報を取得して前記楽曲再生端末に転送するスナップショット転送部を有し、
前記楽曲再生端末の前記番組再生制御部は、転送される前記スナップショット情報を取得するとともに、該スナップショット情報に基づいて、前記楽曲データの取得・再生にかかる制御を補正する楽曲再生制御補正部を備える請求項１記載の楽曲配信システム。

【請求項15】

前記映像制御指令部は、前記選曲操作者が順次選択し再生する番組楽曲をモニタリングする番組楽曲モニタリング部と、前記番組楽曲に対応する前記関連映像としての複数の番組映像を取得する番組映像取得部と、前記選曲操作者による前記番組映像の選択及び表示制御操作を受け付ける前記映像操作入力部と、前記映像操作入力部への入力操作内容に基づいて、各前記番組映像の表示タイミング及び表示条件を含んだ映像制御指令情報を作成する映像制御指令情報作成部と、前記映像制御指令情報を前記公共通信網に送出する映像制御指令情報送出部とを備え、
前記楽曲配信管理部は、前記映像制御指令情報作成部が作成する前記映像制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送する映像制御指令情報取得・転送部を備え、
前記楽曲再生端末は、前記番組映像を取得する番組映像取得部と、前記番組楽曲に対応する前記映像制御指令情報を取得する映像制御指令情報取得部と、前記映像制御指令情報が示す表示タイミング及び表示生条件に従い前記番組映像を前記映像表示部に対し順次表示させる映像制御部を備える請求項１記載の楽曲配信システム。

【請求項16】

前記楽曲データはストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものであり、
前記映像制御指令情報作成部は、前記映像操作入力部において入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記映像操作入力部への前記入力操作内容が示す表示条件と該タイムスタンプとを対応付けた情報を前記再生制御指令情報として作成するものであり、
前記映像制御部は、前記楽曲データを再生開始後、前記再生制御指令情報に含まれる前記タイムスタンプが示す再生位置が到来するに伴い、前記表示条件が示す映像表示タスクを、表示中の前記番組映像に対して発動するものである請求項１５記載の楽曲配信システム。

【請求項17】

前記表示条件が示す映像表示タスクは、先行映像の表示途中にて後続映像を前記先行映像にミキシングしつつ表示させるものであり、
前記映像制御指令情報作成部は、前記後続映像の表示開始入力操作がなされたときに再生されている先行楽曲の再生位置を示す再生タイミング情報を映像ミキシング開始のタイムスタンプとして取得するものであり、
前記映像制御部は、前記先行映像の表示開始後、前記再生制御指令情報に含まれる前記映像ミキシング開始のタイムスタンプが示す前記先行楽曲の再生位置が到来するに伴い、前記後続映像の表示を前記先行映像とミキシングしつつ開始させるものである請求項１６記載の楽曲配信システム。

【請求項18】

前記映像制御指令情報作成部は、前記後続映像の表示開始入力操作がなされた後の前記先行映像とのミキシング表示期間中において、両映像のミキシング条件にかかる設定・変更入力がなされたときの前記先行楽曲又は前記先行楽曲の再生途中にて再生される後続楽曲の再生位置をタイムスタンプとして取得し、前記設定・変更入力の内容が示す映像ミキシング条件を前記タイムスタンプと対応付けて前記映像制御指令情報として作成するものであり、
前記映像制御部は、前記ミキシング表示期間中において前記タイムスタンプが示す番組楽曲の再生位置が到来するに伴い、前記ミキシング条件にて前記後続映像と前記先行映像とをミキシングしつつ再生させるものである請求項１７記載の楽曲配信システム。

【請求項19】

前記映像操作入力部は、操作位置に応じて前記後続映像と前記先行映像とのミキシング比率を連続的に変更可能な映像クロスフェード入力部を備え、
前記映像制御指令情報作成部は、該映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を前記映像ミキシング条件にかかる情報として作成するものである請求項１８記載の楽曲配信システム。

【請求項20】

公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において前記楽曲データに基づき楽曲をストリーム再生させるとともに、前記楽曲再生端末に設けられた映像表示部にて前記楽曲の再生時に関連映像を表示させる、請求項１に記載の楽曲配信システムにおける楽曲配信方法であって、
再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれた、配信対象となる楽曲データを公共通信網にストリーム配信し、選曲操作者が選択する複数の番組楽曲を前記楽曲再生端末に順次配信し再生させるために、前記公共通信網を介して前記番組楽曲の楽曲データを楽曲配信元サーバから取得し、前記選曲操作者による選曲再生操作入力を受け付け、入力内容に基づいて、各前記番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報であって、入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記入力操作の内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成し、前記再生制御指令情報を前記公共通信網に送出し、
前記公共通信網に接続された前記楽曲配信・映像管理部において、前記公共通信網を介して前記映像制御指令情報を取得し、前記番組楽曲の楽曲データの前記楽曲再生端末への配信を前記楽曲配信元サーバに指示し、前記映像操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを、取得した前記映像制御指令情報に含まれる前記タイムスタンプにより把握するとともに、前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させるため、前記番組楽曲について作成される前記再生制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送することを特徴とする楽曲配信方法。

【請求項21】

公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において前記楽曲データに基づき楽曲をストリーム再生させるとともに、前記楽曲再生端末に設けられた映像表示部にて前記楽曲の再生時に関連映像を表示させる、請求項１に記載の楽曲配信システムにおける楽曲配信プログラムであって、
再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれた、配信対象となる楽曲データを公共通信網にストリーム配信し、選曲操作者が選択する複数の番組楽曲を前記楽曲再生端末に順次配信し再生させるために、前記公共通信網を介して前記番組楽曲の楽曲データを楽曲配信元サーバから取得し、前記選曲操作者による選曲再生操作入力を受け付け、入力内容に基づいて、各前記番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報であって、入力操作がなされたときの前記楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、前記入力操作の内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成し、前記再生制御指令情報を前記公共通信網に送出するステップと、
前記公共通信網に接続された前記楽曲配信・映像管理部において、前記公共通信網を介して前記映像制御指令情報を取得し、前記番組楽曲の楽曲データの前記楽曲再生端末への配信を前記楽曲配信元サーバに指示し、前記映像操作入力が実行されたときのストリーム配信中の前記楽曲の再生タイミングを、取得した前記映像制御指令情報に含まれる前記タイムスタンプにより把握するとともに、前記映像制御指令情報に基づく前記関連映像の表示制御を前記楽曲再生端末に対し、把握した前記再生タイミングと同期した形で実行させるため、前記番組楽曲について作成される前記再生制御指令情報を、前記公共通信網を介して取得して前記楽曲再生端末に転送するステップと、
をコンピュータに実行させるための楽曲配信プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、その楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるようにする楽曲配信システム、楽曲配信方法及び楽曲配信プログラムに関するものである。

【背景技術】

【0002】

イベント会場や音楽ラウンジなどにおいて、会場内にリズム感の良い音楽が流れ、会場内のスクリーンに音楽と同期した映像が流れることも多い。このような場所では、会場内の音楽についてはディスクジョッキー（以下、「ＤＪ」と略称する）が主に担当し、映像についてはビジュアルジョッキー（ビデオジョッキーとも呼ばれることもある：以下、ＶＪと称する）が主に担当する。ＤＪは音楽を切り替えてつないだり、合成するなどの操作により、聴覚を通じて客（オーディエンス）に高揚感を与え、ＶＪは音楽と同期したリズムで、様々な内容を有する短い映像素材や様々な図形、文字、背景色などを合成して視覚を通じてオーディエンスに高揚感を与え、客が気分よく踊ったりたたずんだりすることを容易にさせている。このように、音楽と同期した映像で、瞬間的にリズムが変化する音楽に合わせて瞬時に映像を次々と変化させ、かつ、見ている者に高揚感や爽快感を与える。他方、近年はスマートフォンなどの携帯端末に音楽を配信するサービスが普及しており、上記のようなディスクジョッキー番組形式のサービスを、複数の楽曲のストリーミング配信サービスにより実現しようとする試みがある。この場合、楽曲に同期する映像をクリッピングして同時配信することも行われている（例えば、特許文献１、２）。

【0003】

上記特許文献１及び２に開示された方式では、楽曲に同期する映像のファイルは楽曲ファイルとの間で再生タイミング情報を予め共有したクリッピングファイルが使用され、ＤＪによる選曲再生時には、共有されている再生タイミング情報に従って楽曲と映像との再生同期が図られている。一方、特許文献３には、ステージ上で繰り広げられる音楽ライヴの音声及び映像をインターネットを通じて携帯端末に配信するとともに、携帯端末から入力されるユーザーコメントを配信画像上にリアルタイムに反映・表示させるシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００７－ ８６４８４号公報

【文献】特開２００７－２４１６５２号公報

【文献】特許６０３９９１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ディスクジョッキー番組の現場において、楽曲に重ね合わせる映像の再生制御がＶＪにより行われる場合、ＶＪは映像機材を操作しつつ、楽曲に応じて映像を手動により切り替え選択しつつ再生する。この場合、映像ファイルは楽曲ファイルとクリッピングされていない、独立したものが使用される。また、サウンドビジュアライザーなど再生音に合わせてその場で表示内容が変化する映像出力が用いられる場合は、事前に用意された映像ファイル自体が存在しないこともある。

【0006】

楽曲に合わせて映像を表示したり切り替えたりするタイミングはＶＪの人的判断に委ねられており、映像と音声の同期もＶＪの判断および操作に支配される。例えばＤＪとＶＪが同じスタジオに詰め、お互いがオンサイトで意思疎通しながら楽曲再生と映像再生とを連携させて番組進行を図り、そのスタジオでの映像と音声が同期担保されつつ放送配信されるとき、聴取者（オーディエンス）は楽曲と映像とのコラボレーションを最高の状態で享受することができる。

【0007】

他方、インターネット環境が発達した近年、楽曲や映像が個別の聴取者（オーディエンス）にストリーミング配信されるサービス形態が急速に普及しつつある。その特性を利用すれば、ＤＪが配給者からダウンロードした楽曲をＤＪ側の端末でストリーム再生しつつ、これをモニタリングするＶＪが映像再生を異なる端末上で行い、それぞれ音声と映像をインターネット上に各端末からアップロードする形でストリーム配信することで、映像がコラボレーションしたＤＪ番組をバーチャルに実現できると考えられる。

【0008】

しかし、周知のごとく、インターネット上のデータ転送には、通信容量逼迫などを背景としたさまざまな遅延要素が存在するので、異なる端末から配信される音声と映像をＤＪないしＶＪの意図通りにリアルタイム同期させることは望むべくもない。例えば、特許文献１では映像と楽曲とは初めからクリッピングされたストリームファイルが使用されているに過ぎず、他方、特許文献２には、携帯端末のユーザが自身の端末上で、もともと連関していない映像ファイルと楽曲ファイルとを収集し、楽曲ファイルのタイムスタンプを用いて映像ファイルを後付けクリッピングして番組として構成し、これを再配信する構成も開示されているが、楽曲と映像のクリッピングは同一端末上で行われている。すなわち、いずれの場合も、ＤＪの選曲に合わせて映像を別端末からリアルタイムに同期させつつ配信する点については言及されていない。また、特許文献３は、ステージ上の演奏風景を音声ととともにビデオ撮影したものが配信されるのであって、データに基づく再生映像及び再生音声のクリッピングを配信時に行なうものではない。

【0009】

本発明の課題は、再生中の楽曲に対し人為的操作によりその場で映像を付加してストリーム配信サービスを行う場合においても、再生映像と楽曲との間の同期を問題なく確保でき、映像付きの楽曲再生を違和感なく楽しむことができる楽曲配信システム、楽曲配信方法及び楽曲配信プログラムを提供することにある。

【課題を解決するための手段】

【0010】

上記課題を解決するために、本発明の楽曲配信システムは、
配信対象となる楽曲データを公共通信網にストリーム配信する楽曲配信部と、
公共通信網を介して楽曲データを受信するとともに、当該楽曲データに基づいて楽曲をストリーム再生する楽曲再生部と、楽曲の再生時に関連映像を表示させる映像表示部とを備えた楽曲再生端末と、
楽曲再生端末とは別に設けられ、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付ける映像操作入力部と、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出する映像制御指令情報送出部とを備えた映像制御指令部と、
公共通信網を介して映像制御指令情報を取得する映像制御指令情報取得部と、映像操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握する楽曲再生タイミング把握部と、映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させる映像同期制御指令部と、を有する映像管理部と、を備えたことを特徴とする。

【0011】

また、本発明の楽曲配信方法は、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるようにした楽曲配信方法であって、
楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出し、
公共通信網に接続された映像管理部において、映像制御指令情報を取得し、映操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握し、さらに映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させることを特徴とする法。

【0012】

さらに、本発明の楽曲配信プログラムは、公共通信網を介して楽曲再生端末に配信対象となる楽曲データをストリーム配信し、該楽曲再生端末において楽曲データに基づき楽曲をストリーム再生させるとともに、楽曲再生端末に設けられた映像表示部にて楽曲の再生時に関連映像を表示させるための楽曲配信プログラムであって、
楽曲再生端末とは別に設けられた映像制御指令部から、ストリーム配信中の楽曲をモニタリングする映像操作者による映像操作入力を受け付け、映像操作入力に基づく関連映像の映像制御指令情報を公共通信網に送出するステップと、
公共通信網に接続された映像管理部において、映像制御指令情報を取得し、映操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングを把握し、さらに映像制御指令情報に基づく関連映像の表示制御を楽曲再生端末に対し、把握した再生タイミングと同期した形で実行させるステップと、をコンピュータに実行させるものである。

【0013】

上記の構成においては、映像制御指令部において楽曲のストリーム配信中に映像操作者（例えば、前述のＶＪ）による映像操作入力がなされ、その入力に基づく映像制御指令情報が公共通信網に送出される。そして、映像制御指令部において、制御操作入力が実行されたときのストリーム配信中の楽曲の再生タイミングが把握され、上記の映像制御指令情報に基づく関連映像の表示制御指令が、上記把握した再生タイミングと同期した形でなされるよう楽曲再生端末に対して発動される。すなわち、楽曲再生のタイミングを基準に映像操作者の映像表示制御入力タイミングを把握し、配信楽曲をストリーム再生する楽曲再生端末にその映像制御の実行タイミングを指令するように構成することで、映像操作者の意図通りのタイミングにて楽曲再生端末側の映像表示制御を実施することが可能となる。その結果、再生映像と楽曲との間の同期を問題なく確保でき、映像付きの楽曲再生を違和感なく楽しむことができるようになる。

【0014】

楽曲データは再生時のデータビットの時系列的な出力タイミングを個々に記述した再生タイミング情報が組み込まれたものとして構成できる。前述の楽曲再生タイミング把握部は、上記の再生タイミング情報に基づいてストリーム配信中の楽曲の再生タイミングを把握するように構成できる。再生中の楽曲の再生タイミング情報を利用することで、映像操作者による映像操作入力のタイミングをより正確に把握することができる。

【0015】

楽曲配信部は、楽曲配信部は、複数の楽曲データを順次ストリーム配信するものとして構成できる。この場合、映像制御指令情報は、楽曲の再生が第一の楽曲から第二の楽曲に切り替わるのに対応して、関連映像の表示内容を第一の関連映像から第二の関連映像に切り替えるための映像切替指令情報を含むものとできる。

【0016】

上記の構成によると、映像操作者が、順次ストリーム再生される楽曲を聞きながら、ある楽曲（第一の楽曲）から次の楽曲（第二の楽曲）に切り替わるタイミング（例えば第二の楽曲の再生開始タイミング）で、表示中の関連映像（第一の関連映像）を同様に別の関連映像（第二の関連映像）に切替え操作したとき、その映像切替えの操作入力タイミングが楽曲の再生タイミングを基準に把握され、これに基づいて楽曲再生端末に対する映像切替え指示がなされる。その結果、楽曲再生端末における楽曲再生の切替えと映像切替えとの同期を問題なく図ることができる。

【0017】

関連映像は、例えば表示オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを楽曲の再生音と同期して変化させるサウンドビジュアライザーの出力映像とすることができる。この場合、映像制御指令情報は、サウンドビジュアライザーを第一のサウンドビジュアライザーから第二のサウンドビジュアライザーに切り替えるサウンドビジュアライザー切替指示情報を含むように構成できる。

【0018】

サウンドビジュアライザーは再生楽曲の音声入力を受けて視覚的な映像を生成する一種の映像生成モジュールであり、映像表示するべき端末にサウンドビジュアライザーのモジュールをソフト的に組み込んでおくことで、音声入力を利用して端末側で映像を生成出力できる。その結果、サイズの大きい動画ファイルの転送処理や再生処理に伴う処理負荷を大幅に軽減できる。また、映像は抽象的ではあるが、再生楽曲の音響スペクトルに直接的に反応し、曲の強弱、音高、テンポなどにきめ細かく対応した特徴的な演出が可能である。しかし、音響入力に対する反応が鋭敏である分、楽曲再生との同期がずれた場合、その不具合を聴取者に悟られやすくなる。そこで、上記のごとく、映像制御指令情報に、楽曲切替に対応してサウンドビジュアライザーの種別を切り替えるサウンドビジュアライザー切替指示情報を含ませておくことで、楽曲に合わせて映像操作者が行う映像切替を楽曲再生端末側においても忠実なタイミングにて反映させることができ、こうした不具合を効果的に解消することができる。

【0019】

次に、楽曲再生端末には、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を公共通信網に送出する評価情報送出部とを備え、
映像管理部は、評価情報を受信する評価情報受信部と、評価情報が肯定的内容を有していた場合に楽曲の再生を盛り上げるための盛上げ画像データを、関連映像のデータとして記憶する盛上げ画像データ記憶部と、評価情報の受信状態が予め定められた条件を充足する場合に、盛上げ画像データと盛上げ画像にかかる表示制御指令情報とを楽曲再生端末に送出する盛上げ画像送出部とを設けることができる。楽曲再生端末には、盛り上げ画像データと表示制御指令情報とに基づき盛上げ画像を映像表示部に表示させる盛上げ画像表示制御部を設けることができる。

【0020】

上記の構成によると、聴取者が保有する楽曲再生端末に配信楽曲に対する評価入力部が設けられており、再生楽曲に対し聴取者が高い好感を示した場合に、該端末から肯定的な評価情報が入力・送信され、映像制御指令部にてこれが取得される。そして、評価情報の受信状態が予め定められた条件、特に聴取者が高い好感を示したと考えられる条件が到来したとき、効果的に盛上げ画像を表示でき、楽曲配信サービスのイベント性をより高めることができる。

【0021】

また、盛上げ画像表示制御部は、評価情報が肯定的内容を有していた場合に、盛上げ画像を関連映像に重ねて表示させるように構成してもよい。本発明の場合、楽曲のストリーム再生と関連映像の表示とをコラボレーションさせることが大きな目的の一つであり、盛上げ画像を表示するタイミングにおいても関連映像にこれを重ね表示により継続することは、関連映像と楽曲との一体不可分性を聴取者に意識させることができる。

【0022】

なお、再生楽曲に対し聴取者が高い好感を示した場合に、盛上げ画像とともに、又は盛上げ画像とは別に、盛上げ音声が出力されるように楽曲再生端末を構成してもよい。盛上げ音声は、例えば拍手、歓声、指笛音などの効果音である。これにより、楽曲配信サービスのイベント性をより高めることができる。この場合の構成も、楽曲再生端末は、ユーザにより操作される配信楽曲に対する評価入力部と、入力された評価情報を公共通信網に送出する評価情報送出部とを備える。また、楽曲配信システムは、評価情報を受信する評価情報受信部と、評価情報が肯定的内容を有していた場合に楽曲の再生を盛り上げるための盛上げ音声データを記憶する盛上げ音声データ記憶部と、評価情報の受信状態が予め定められた条件を充足する場合に、盛上げ音声データを音声出力制御指令情報とともに楽曲再生端末に送出する盛上げ音声情報送出部とを備えるように構成する。そして、楽曲再生端末には、盛上げ音声データと音声出力制御指令情報とに基づき盛上げ音声を出力させる盛上げ音声出力部が設けられる。

【0023】

次に、楽曲配信部は、
選曲操作者が選択する複数の番組楽曲を楽曲再生端末に順次配信し再生させるために、公共通信網を介して番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、選曲操作者による選曲再生操作入力を受け付ける選曲再生操作入力部と、該選曲再生操作入力部への入力内容に基づいて、各番組楽曲の再生タイミング及び再生条件を含んだ再生制御指令情報を作成する再生制御指令情報作成部と、再生制御指令情報を公共通信網に送出する再生制御指令情報送出部とを備えた選曲再生制御指令部と、
番組楽曲の楽曲データの楽曲再生端末への配信を楽曲配信元サーバに指示する番組楽曲配信指示部と、番組楽曲について作成される再生制御指令情報を、公共通信網を介して取得して楽曲再生端末に転送する再生制御指令情報取得・転送部とを有する楽曲配信管理部とを備え、
楽曲再生端末は、番組楽曲の楽曲データを楽曲配信元サーバから取得する番組楽曲データ取得部と、番組楽曲に対応する再生制御指令情報を楽曲配信管理部より取得する再生制御指令情報取得部と、再生制御指令情報が示す再生タイミング及び再生条件に従い番組楽曲の楽曲データを楽曲再生部に対し順次ストリーム再生させる番組再生制御部と、を備えるものとして構成できる。

【0024】

番組形式の楽曲配信においては、選曲操作及び楽曲の再生条件入力を司る選曲操作者（特に、ＤＪ）の果たす役割が重要であり、製作される番組全体のクオリティも選曲操作者の操作手腕に大きく依存する。特に、インターネット等の公共通信網を介した番組配信に際しては、選曲操作者が実行する曲の再生開始や再生条件（後述するごとく、例えば音質、テンポ、音程、かける曲を切り替える際のミキシング形態など）の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが、番組の配信品質を担保する上での大前提となる。この課題を解消する最も簡単な方法は、選曲操作者が取得する配信楽曲に対し、曲順や再生タイミング、及び再生条件をすべて反映させる加工を行い、その加工後の楽曲データファイルを聴取者に再配信する方式である。

【0025】

しかし、この方式には次のような大きな欠点がある。
（１）サイズの大きい楽曲ファイルを、楽曲配信元サーバ→選曲操作者及び選曲操作者→聴取者（一般に多数）の２段階にてファイルアップロード及びダウンロードを実行しなければならず、公共通信網の容量を圧迫する問題を生じやすい。
（２）楽曲提供者が運営する楽曲配信元サーバからの楽曲ファイルのダウンロードは、聴取者との契約により１回に制限されていることが多く、一旦取得した楽曲ファイルを転売したり、転売目的で二次加工したりするには、著作権をクリアするための許諾を楽曲提供者から取得する必要が生じ、面倒である。
（３）配信楽曲の多くは圧縮ファイル形式でダウンロードされ、これを非圧縮ファイルにデコードした後再生に供する。再生条件を変更した状態で聴取者に再配信するには、一旦圧縮ファイルをデコードした後、再生条件変更のためのファイル加工を施し、その後再度圧縮ファイルにエンコードして聴取者に再配信することになるので、そのファイル変換処理に多大な処理負荷を要し、楽曲再生同期の遅延要因となる。

【0026】

しかし、上記の方式によると、聴取者と選曲操作者は楽曲データを楽曲配信元サーバから直接ダウンロードする形で取得する一方、選曲操作者から聴取者向けにアップロードされるのは、再生条件を反映した楽曲データの加工ファイルではなく、該再生条件を含んだサイズの小さい再生制御指令情報である。したがって、加工ファイルをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、聴取者側での楽曲のストリーム再生に際しては、転送されてくる再生制御指令情報により、再生開始タイミングや再生条件の設定・変更の内容及びタイミングが選曲操作者の意図通りに反映されるので、配信される番組の品質も高度に担保することができる。また、楽曲配信元サーバからの楽曲データの配信は、各々契約者となる聴取者と選曲操作者に向けてのもののみとなるので、楽曲提供者の意図に反した二次配信の問題も回避できる。さらに、楽曲データの再生条件変更に必要な加工ファイル作成のエンコード・デコード処理の負荷も生じない。

【0027】

上記の構成においても、楽曲データは再生ストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものであり、再生制御指令情報作成部は、選曲再生操作入力部において入力操作がなされたときの楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、入力操作内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するように構成できる。番組再生制御部は、楽曲データを再生開始後、再生制御指令情報に含まれるタイムスタンプが示す再生位置が到来するに伴い、再生条件が示す制御タスクを再生中の楽曲データに対して発動するように構成することができる。楽曲データに随伴する再生タイミング情報を用いて選曲再生操作入力のタイミングを特定し、これを再生条件とともに楽曲再生端末に送信することで、選曲操作者の意図をより正確に反映した再生制御を楽曲再生端末にて実施することが可能となる。

【0028】

この場合、再生制御指令情報作成部は、再生楽曲の音量、音質、テンポないし音程の少なくともいずれかにかかる設定・変更入力操作がなされたときの楽曲の再生位置を示す再生タイミング情報をタイムスタンプとして取得し、入力操作内容が示す再生条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するように構成できる。ＤＪなどの選曲操作者が楽曲の再生進行に合わせて実行する音量、音質、テンポないし音程の設定変更は楽曲の演奏行為にも匹敵する重要な操作である。上記構成では、その選曲操作者による操作が聴取者側での楽曲再生に反映される同期性が高められ、配信番組の付加価値を大いに高めることに貢献する。

【0029】

また、ＤＪなどの選曲操作者が行う別の重要な操作に、曲を次々と変えて再生する際のつなぎに行うミキシング操作がある。このミキシング操作を聴取者側での楽曲再生に忠実に反映させる上で、次のような構成を採用すると効果的である。すなわち、再生条件が示す制御タスクが、先行楽曲の再生途中にて後続楽曲を先行楽曲にミキシングしつつ再生させる制御に関するものである場合、再生制御指令情報作成部は、後続楽曲の再生開始入力操作がなされたときの先行楽曲の再生位置を示す再生タイミング情報を楽曲ミキシング開始タイムスタンプとして取得するものとする。そして、番組再生制御部は、先行楽曲の再生開始後、再生制御指令情報に含まれる楽曲ミキシング開始タイムスタンプが示す再生位置が到来するに伴い、後続楽曲の再生を先行楽曲とミキシングしつつ開始させるように構成する。

【0030】

上記のように構成すると、後続楽曲を先行楽曲にミキシングするときの後続楽曲の再生開始タイミングを、先行楽曲の再生タイミング情報を用いて正確に特定することができ、曲と曲のつなぎにかかる選曲操作者のタイミング設定テクニックを聴取者側での楽曲再生に忠実に反映することができる。

【0031】

この場合、再生制御指令情報作成部は、後続楽曲の再生開始入力操作がなされた後の先行楽曲とのミキシング再生期間中において、両楽曲のミキシング条件にかかる設定・変更入力がなされたときの、先行楽曲又は後続楽曲の再生位置をタイムスタンプとして取得し、設定・変更入力が示すミキシング条件をタイムスタンプと対応付けて再生制御指令情報として作成するように構成できる。番組再生制御部は、ミキシング再生期間中においてタイムスタンプが示す再生位置が到来するに伴い、上記のミキシング条件にて後続楽曲と先行楽曲とをミキシングしつつ再生させるものとできる。これにより、後続楽曲の再生開始タイミングだけでなく、曲の重なり再生部分におけるミキシング条件についても、選曲操作者の操作設定内容を聴取者側での楽曲再生によりきめ細かく反映できる。より具体的には、選曲再生操作入力部が、操作位置に応じて後続楽曲と先行楽曲とのミキシング比率を連続的に変更可能な楽曲クロスフェード入力部を備える場合、再生制御指令情報作成部は、該楽曲クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率をミキシング条件にかかる情報として作成するように構成できる。曲のつなぎ目における選曲操作者のスムーズなクロスフェード操作を聴取者側での楽曲再生にきめ細かく反映することができる。

【0032】

本発明の楽曲配信システムにおいて再生制御指令情報作成部は、再生中の楽曲の特定情報と再生条件とを取得しつつ、それら情報の取得時刻を示す再生タイミング情報と対応付けてスナップショット情報を作成するものとして構成できる。楽曲配信管理部は、上記スナップショット情報を取得して楽曲再生端末に転送するスナップショット転送部を有するものとし、楽曲再生端末の番組再生制御部は、転送されるスナップショット情報を取得するとともに、該スナップショット情報に基づいて、楽曲データの取得・再生にかかる制御を補正する楽曲再生制御補正部を設けることができる。楽曲再生端末にてストリーム再生される楽曲と再生条件実行の同期タイミングに万一ずれが生じた場合にあっても、上記のスナップショット情報を定期的に取得して楽曲再生端末に転送し、補正処理を実施することで、再生楽曲に対する再生条件実行の同期タイミングを容易に修正することができる。また、配信番組が楽曲再生端末にて途中から聴取開始された場合などにおいても、スナップショット情報を用いて現在の番組進行位置を容易に把握することができ、楽曲再生端末における楽曲データのストリーミング再生を追随させる補正が可能となる。

【0033】

さらに、上記の構成においては、映像制御指令部は、選曲操作者が順次選択し再生する番組楽曲をモニタリングする番組楽曲モニタリング部と、番組楽曲に対応する関連映像としての複数の番組映像を取得する番組映像取得部と、選曲操作者による番組映像の選択及び表示制御操作を受け付ける映像操作入力部と、映像操作入力部への入力操作の内容に基づいて、各番組映像の表示タイミング及び表示条件を含んだ映像制御指令情報を作成する映像制御指令情報作成部と、映像制御指令情報を公共通信網に送出する映像制御指令情報送出部とを備え、楽曲配信管理部は、映像制御指令情報作成部が作成する映像制御指令情報を、公共通信網を介して取得して楽曲再生端末に転送する映像制御指令情報取得・転送部を備えるものとして構成できる。楽曲再生端末は、番組映像を取得する番組映像取得部と、番組楽曲に対応する映像制御指令情報を取得する映像制御指令情報取得部と、映像制御指令情報が示す表示タイミング及び表示生条件に従い番組映像を映像表示部に対し順次表示させる映像制御部を備えるように構成する。

【0034】

上記のような番組進行においては、映像選択操作及び映像の表示条件入力を司る映像操作者（特に、ＶＪ）の果たす役割も同様に重要である。そして、映像操作者が実行する映像の表示開始や表示条件（後述するごとく、表示映像を切り替える際のミキシング形態など）の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが必要となる。この課題も、映像操作者が取得する映像に対し、表示順や表示タイミング、及び表示条件をすべて反映させる加工を行い、その加工後の映像データファイルを聴取者に再配信すれば解決できるが、公共通信網の容量を圧迫する問題を同様に生じやすい。

【0035】

しかし、前述の方式によると、映像操作者から聴取者向けにアップロードされるのは、再生条件を反映した映像データの加工ファイルではなく、表示条件を含んだサイズの小さい映像制御指令情報である。したがって、映像加工ファイルをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、聴取者側での映像表示に際し、転送されてくる映像制御指令情報により、表示開始タイミングや表示条件の設定・変更の内容及びタイミングを像操作者の意図通りに反映することができる。

【0036】

上記の構成においても、楽曲データはストリーム内のデータビットの時系列的な出力タイミングを記述した再生タイミング情報が組み込まれたものとすることができ、映像制御指令情報作成部は、映像操作入力部において入力操作がなされたときの楽曲データの再生位置を示す再生タイミング情報をタイムスタンプとして取得し、映像操作入力部への入力操作内容が示す表示条件と該タイムスタンプとを対応付けた情報を再生制御指令情報として作成するようにできる。映像制御部は、楽曲データを再生開始後、再生制御指令情報に含まれるタイムスタンプが示す再生位置が到来するに伴い、表示条件が示す映像表示タスクを、表示中の番組映像に対して発動するように構成することができる。楽曲データに随伴する再生タイミング情報を用いて映像操作入力のタイミングを特定し、これを表示生条件とともに楽曲再生端末に送信することで、映像操作者の意図をより正確に反映した映像表示制御を楽曲再生端末にて実施することが可能となる。

【0037】

また、ＶＪなどの映像操作者が行う別の重要な操作に、映像を曲に合わせて次々と変えて再生する際のつなぎに行う映像ミキシング操作がある。この映像ミキシング操作を聴取者側での楽曲再生に忠実に反映させるために、次のような構成を採用すると効果的である。すなわち、表示条件が示す映像表示タスクは、先行映像の表示途中にて後続映像を先行映像にミキシングしつつ表示させるものとし、映像制御指令情報作成部は、後続映像の表示開始入力操作がなされたときに再生されている先行楽曲の再生位置を示す再生タイミング情報を映像ミキシング開始タイムスタンプとして取得するものとする。映像制御部は、先行映像の表示開始後、再生制御指令情報に含まれる映像ミキシング開始タイムスタンプが示す先行楽曲の再生位置が到来するに伴い、後続映像の表示を先行映像とミキシングしつつ開始させるものとする。

【0038】

上記のように構成すると、後続映像を先行映像にミキシングするときの後続映像の表示開始タイミングを、先行楽曲の再生タイミング情報を用いて正確に特定することができ、曲と曲のつなぎに合わせた映像切替における映像操作者のタイミング設定テクニックを聴取者側での楽曲再生に忠実に反映することができる。

【0039】

この場合、映像制御指令情報作成部は、後続映像の表示開始入力操作がなされた後の先行映像とのミキシング表示期間中において、両映像のミキシング条件にかかる設定・変更入力がなされたときの、先行楽曲又は後続楽曲の再生位置をタイムスタンプとして取得し、設定・変更入力が示す映像ミキシング条件をタイムスタンプと対応付けて映像制御指令情報として作成するように構成できる。また、映像制御部は、ミキシング表示期間中においてタイムスタンプが示す番組楽曲の再生位置が到来するに伴い、ミキシング条件にて後続映像と先行映像とをミキシングしつつ再生させるものとする。これにより、映像ミキシング条件についても、映像操作者の操作設定内容を聴取者側での楽曲再生及び映像表示に対し、よりきめ細かく反映できる。より具体的には、映像操作入力部は、操作位置に応じて後続映像と先行映像とのミキシング比率を連続的に変更可能な映像クロスフェード入力部を備えるものとし、映像制御指令情報作成部は、該映像クロスフェード入力部の操作位置に応じて設定・変更されるミキシング比率を映像ミキシング条件にかかる情報として作成するものとできる。映像操作者のスムーズな映像クロスフェード操作を聴取者側での楽曲再生に合わせてきめ細かく反映することができる。

【発明の効果】

【0040】

本発明の作用及び効果の詳細については、「課題を解決するための手段」の欄にすでに記載したので、ここでは繰り返さない。

【図面の簡単な説明】

【0041】

【図1】本発明の楽曲配信システムの一例を示すブロック図。

【図2】楽曲配信・映像管理部の内部構成の一例を示すブロック図。

【図3】ＤＪ司令部の内部構成の一例を示すブロック図。

【図4】ＶＪ司令部の内部構成の一例を示すブロック図。

【図5】楽曲再生端末をなす携帯端末の内部構成の一例を示すブロック図。

【図6】ＤＪ司令部（選曲再生制御指令部）のモニタ画面の表示例を示す図。

【図7】図３の操作パネルレイヤを抽出して描いた図。

【図8】同じくサウンドビジュアライザ（関連画像）の表示レイヤを抽出して描いた図。

【図9】同じく盛上げ画像（関連画像）の表示レイヤを抽出して描いた図。

【図10】ＶＪ司令部（映像制御指令部）のモニタ画面の表示例を示す図。

【図11】楽曲ストリーミング配信中の携帯端末の画面表示例を示す図。

【図12】楽曲再生制御処理の流れを示すタイミングチャート。

【図13】映像制御処理の流れを示すタイミングチャート。

【図14】ＤＪコマンド（再生制御指令情報）の例を示す図。

【図15】楽曲ストリーミング配信時の各データの対応関係を示す模式図。

【発明を実施するための形態】

【0042】

以下、本発明の実施の形態を添付の図面に基づき説明する。
図１は、本発明の楽曲配信システムの位置構成例を示すブロック図である。楽曲配信システム１は、公共通信網としてのインターネット１００により相互に接続される楽曲配信元サーバ１０２、楽曲配信・映像管理部１０１、ＤＪ司令部（選曲再生制御指令部）１０３、ＶＪ司令部（映像制御指令部）１０４、携帯端末（楽曲再生端末：本実施形態ではスマートフォン）１５０などを含んで構成される。携帯端末１５０は楽曲再生端末として使用され、携帯電話基地局１０６とのパケット通信を介してインターネット１００に接続される。

【0043】

楽曲配信・映像管理部１０１は楽曲配信管理部と映像管理部との主機能を担うコンピュータユニットとして構成され、マイコン３０を処理主体として備えている。マイコン３０は、ＭＰＵ３１、プログラム実行領域となるＲＡＭ３２、ＲＯＭ３３、入出力部２９及びそれらを相互に接続するバス３４等からなる。また、バス３４にはハードディスクドライブ３５が接続され、ここに配信システムソフト１０１ａがインストールされている。配信システムソフト１０１ａは、楽曲配信管理部１０１の、請求項に記した楽曲配信管理部及び映像管理部の以下の機能を実現するためのソフトウェアコンポーネント１０１ｂ～１０１ｅを含んで構成されている。

【0044】

・楽曲取得指示機能実現部１０１ｂ
番組楽曲配信指示部：番組楽曲の楽曲データの携帯端末１５０への配信を楽曲配信元サーバに指示する。
・ＤＪ／ＶＪコマンド転送機能実現部１０１ｃ
再生制御指令情報取得・転送部：インターネット１００を介し、後述のＤＪ司令部１０３（選曲再生制御指令部）にて番組楽曲ごとに作成されるＤＪコマンド（再生制御指令情報）を取得し、携帯端末１５０に転送する。
映像制御指令情報取得・転送部：インターネット１００を介して、後述のＶＪ司令部１０４（映像制御指令部）にて作成されるＶＪコマンド（映像制御指令情報）を取得し、携帯端末１５０に転送する。
・スナップショット機能実現部１０１ｄ
スナップショット転送部：ＤＪ司令部１０３で取得されるスナップショット情報を取得して携帯端末１５０に転送する。
・盛上げ画像表示機能実現部１０１ｅ
評価情報受信部：携帯端末１５０からの評価情報を受信する。
盛上げ画像送出部：評価情報の受信状態が予め定められた条件を充足する場合に、楽曲の再生を盛り上げるための盛上げ画像データと盛上げ画像にかかる表示制御指令情報とを楽曲再生端末に送出する。

【0045】

また、ハードディスクドライブ３５には、上記の盛上げ画像データ１０１ｆと、該盛上げ画像データとともに出力することが予定された盛上げ音声の音源データ１０１ｇ（以下、盛上げ音源データ：例えば拍手、歓声、指笛音など）が記憶されている。図９は盛上げ画像の一例を示すものであり、この実施形態では花火のアニメーション映像が採用されている。

【0046】

楽曲配信元サーバ１０２は大容量データの記憶・蓄積が可能な一般的なコンピュータサーバ（インターネット接続された複数のコンピュータ群よりなるクラウドサーバであってもよい）により構成され、配信対象となる多数の楽曲データが蓄積された楽曲データベース１０２ａを有する。

【0047】

ＤＪ司令部１０３はコンピュータユニットとして構成され、マイコン５０を処理主体として備えている。マイコン５０は、ＭＰＵ５１、プログラム実行領域となるＲＡＭ５２、ＲＯＭ５３、入出力部４９及びそれらを相互に接続するバス５４等からなる。また、バス５４にはハードディスクドライブ５５が接続され、ここに選曲再生制御指令部の主機能を実現するＰＣＤＪソフト１０３ａがインストールされている。また、ハードディスクドライブ５５には、番組楽曲データ取得部及び再生制御指令情報送出部の機能を実現するための通信ソフト１０３ｂが同様にインストールされている。マイコン５０の入出力部４９には、番組楽曲モニタリング用のスピーカ６０がオーディオアンプ５９（入力側のＤ／Ａ変換部は図示略）を介して、さらにＤＪのトークを集音するためのマイク６１がＡ／Ｄ変換部６２を介してそれぞれ接続されている。

【0048】

さらに、入出力部４９には、選曲再生操作入力のＧＵＩ部分を構築するとともに楽曲再生時の関連映像の表示部として機能するモニタ５６が表示インターフェース５７を介して接続されている。また、入出力部４９には、選曲再生操作入力部としてのＤＪコマンド入力部５８が接続されている。本実施形態では、ＤＪコマンド入力部５８は入力ＧＵＩを表示するモニタ５６に重ね配置されるタッチパネルとしてＤＪコマンド入力部５８を構成しているが、市販のＰＣＤＪコントローラを用いてもよい。

【0049】

図６は、ＤＪ司令部１０３のモニタ５６（タッチパネル（ＤＪコマンド入力部）５８が重ねられている）の表示画面を示している。この画面は、操作パネル５６ａ、関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像５６ｃの各表示レイヤが透視形態で重ね表示されたものである。図７は、操作パネル５６ａのレイヤを抜き出して示すものであり、アナログＤＪコンソールをイメージして各コンポーネントがレイアウトされている。なお、ＰＣＤＪソフトの機能自体は公知であるので、以下に概略のみを説明する。

【0050】

取得する番組楽曲はパネルの左右コラムに１曲ずつ、計２曲がロードされるようになっており、右側の楽曲Ａと左側の楽曲Ｂの選曲・再生のための制御入力コンポーネントが独立して操作できるようになっている。以下、左側のコラムについて説明する。コラムの最上位置にはダウンロードした楽曲のタイトル（及びアーチスト名）３０１Ａが表示され、その下には楽曲再生位置を示すタイミングバー３０２Ａが表示されている。その下に形成されているのは、音量・音質の調整パネルであり、低域（ＬＯＷ）、中域（ＭＩＤ）及び高域（ＨＩ）の２つの周波数帯域の音声波形成分の各ゲインをコントロールするためのつまみ３０４Ａを有したグラフィックイコライザパネル３０３Ａと、全体音量をコントロールするためのつまみ３０６Ａを有したボリュームパネル３０５Ａが含まれる。また、コラムの最下部には楽曲の再生・停止ボタン３１１Ａ、巻き戻しボタン３１６Ａ、左右の曲のビートを同期させる同期ボタン３１７Ａが形成されている。

【0051】

また、左右のコラムの操作パネルレイアウトは、メニューアイコン群３１８Ａの所望のものをタッチすることにより異なるテーマのものに随時切り替えることができる。例えば、選曲及びロードの操作は選曲用の別パネル（非図示）に切り替えて、指で選曲リストをスクロールし、曲を選んでタッチするなどの公知の操作に実行できる。

【0052】

右側のコラムの構成も全く同じであるが、ＤＪが左右の手で別々に操作することの利便性を考慮し、各操作部が左右反転してレイアウトされている。各部の説明は、末尾のアルファベットを「Ａ」から「Ｂ」に替えつつ、左側コラムの対応するものと同一番号の符号を付与して説明を略する。

【0053】

また、左右のコラムの間のスペースには、上から再生タイミングデジタル表示部３１５、機能選択用のアイコン（説明略）、楽曲のＷＡＶＥファイル（非圧縮ＰＣＭ波形データファイル）の波形ウィンドウ３０７Ａ，３０７Ｂとこれに重畳表示される再生位置バー３０８及びクロスフェード入力部３０９が形成されている。クロスフェード入力部３０９は操作バー３１０の（例えば、左右への）スライド操作が可能であり、右側の楽曲と左側の楽曲の音声データがその操作位置に応じたゲイン比率にてデジタル的にミキシングされる。操作バー３１０を左端に移動させると楽曲Ｂの音量がゼロとなって楽曲Ｂだけが再生され、右端に移動させるとその逆となる。また、中間の操作位置では両者の音がミックスされた状態となる。そして、先行して再生されているのが楽曲Ａの場合、操作バー３１０を左端に移動させた状態で、そのエンディング付近で楽曲Ｂの再生を開始し、操作バー３１０を右端にまで適当な速度でスライドさせると、楽曲Ａがフェードアウトし、楽曲Ｂの冒頭部がフェードインしつつこれに重ねてつながれるクロスフェード効果が得られるようになっている。

【0054】

ＤＪ司令部１０３の操作パネル５６ａからの入力情報は、操作が実行されるごとに、その操作位置も含めて全てＤＪコマンドとして発行され、楽曲ファイルごとに付与される示す再生タイミング情報から、操作実行時に取得するタイムスタンプ（楽曲ファイルの再生開始点を基準として再生時刻の情報である）と対応付けた形で再生制御指令情報として楽曲配信・映像管理部１０１を経て後述の携帯端末１５０に送られる。

【0055】

図１４は、本実施形態にて採用されているＤＪコマンドの関係イベントのリストを示している。末尾のスナップショットイベント（後述）以外のものは公知であるため、詳細は略する。いずれも、一旦発行されたＤＪコマンドの実行状態は、次の操作変更が実行されるまで継続される。

【0056】

また、図４に示すごとく、ＶＪ司令部１０４もコンピュータユニットとして構成され、マイコン７０を処理主体として備えている。マイコン７０は、ＭＰＵ７１、プログラム実行領域となるＲＡＭ７２、ＲＯＭ７３、入出力部６９及びそれらを相互に接続するバス７４等からなる。また、バス７４にはハードディスクドライブ７５が接続され、映像制御指令部の主機能を実現するＰＣＶＪソフト１０４ａがインストールされている。マイコン７０の入出力部４９には、番組映像取得部及び映像操作入力部のＧＵＩ部分を構築するとともに関連映像の表示部として機能するモニタ７６が表示インターフェース７７を介して接続されている。また、入出力部６９には、映像操作入力部としてのＶＪコマンド入力部７８が接続されている。本実施形態では、ＶＪコマンド入力部７８は入力ＧＵＩを表示するモニタ７６に重ね配置されるタッチパネルとして構成している。他方、入出力部６９には、番組楽曲モニタリング部としてのスピーカ８０がオーディオアンプ７９（入力側のＤ／Ａ変換部は図示略）を介して接続されている。

【0057】

ハードディスクドライブ７５には、サウンドビジュアライザー１０５ｃのモジュールが（複数組）インストールされている。さらに、ハードディスクドライブ７５には、番組楽曲データ取得及び映像制御指令情報送出の各機能を実現するための通信ソフト１０４ｂが同様にインストールされている。

【0058】

サウンドビジュアライザーのモジュール１０５ｃは公知のアルゴリズムに従い構築されている。概略は、周知の高速フーリエ変換等を用いたアルゴリズムにより、入力される楽曲再生音声の周波数スペクトラムを解析し、その解析結果（各周波数成分クラスの存在比率等）に応じて、あらかじめ用意されている画像オブジェクトの形態、寸法、表示位置及び色調の少なくともいずれかを再生音と同期して変化させつつ映像出力するものである。個々のサウンドビジュアライザーのモジュール１０５ｃは、周波数スペクトラム解析と画像オブジェクトの表示制御だけを行なうエンジンであって、そのサイズは数１０ｋＢ～１ＭＢ程度までの小容量のプログラムファイルである。

【0059】

図８は、サウンドビジュアライザーの一例を示すものであり、音声入力の波形を反映して変化する波形映像と３５１と、その背景に重畳されるカラーグラデーション画像３５０とからなり、カラーグラデーション画像３５０の色調及びグラデーション分布が入力音声の周波数により、同じく明るさが入力音声波形の振幅により、音声と同期して変化する。

【0060】

図１０は、ＶＪ司令部のモニタ７６（タッチパネル７８が重ねられている）の表示画面を示している。この画面もＶＪ操作パネルの背景に関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像３６０の各表示レイヤが透視形態で重ね表示される映像表示エリア７６Ｍが形成されている。また、映像表示エリア７６Ｍの上方には再生中の楽曲のタイトル３０１Ｂが表示されている。

【0061】

ＶＪ操作パネルの下部には選択可能な関連映像として、複数のサウンドビジュアライザーの選択アイコン群３７０が表示されている。また、その上方には選択したサウンドビジュアライザーのロードエリア３７１Ａ，３７１Ｂが形成されている。これは、ＤＪ司令部１０３と同様に、２つのサウンドビジュアライザーを同時選択できるようにするためである。本実施形態では、選択アイコン群３７０から所望のものを指で選択し、ロードエリア３７１Ａないし３７１Ｂまでドラッグすることで選択が完了する。これは、表示するべき映像の決定するための映像操作入力の一つである。さらに、サウンドビジュアライザーモジュールはロードされた後、楽曲再生音の入力と同期して自動的に映像出力を開始するものであり、種類によっては、音入力の待ち受け状態から映像出力する形態のものもある。したがって、サウンドビジュアライザーモジュールのローディングにかかる上記操作は、実質的に映像表示開始を指示するための映像操作入力であるともいえる。

【0062】

選択され、ロードされた２つのサウンドビジュアライザーは音声入力待機状態となり、楽曲の演奏が開始されるとこれに反応して映像表示エリア７６Ｍ内にて出力映像を変化させる。映像表示エリア７６Ｍの下方には映像クロスフェード入力部３１９が形成されている。映像クロスフェード入力部３１９は主要な映像操作入力部をなすものであって、操作バー３２０のスライド操作が可能であり、選択された２つのサウンドビジュアライザーの映像フレームがその操作位置に応じた比率にてデジタル的にミキシングされる。このミキシングは、例えばフレーム間の対応する画素の設定値同士を、操作位置に応じて線形結合演算することで実施できる。

【0063】

例えば操作バー３２０を左端に移動させるとサウンドビジュアライザー３７１Ａだけが表示され、右端に移動させるとその逆となる。また、中間の操作位置では２つのサウンドビジュアライザーの映像が重ねてミックスされた状態となる。そして、先行して表示されているのがサウンドビジュアライザー３７１Ａの映像である場合、操作バー３１０を左端に移動させた状態で、操作バー３１０を右端にまで適当な速度でスライドさせると、映像Ａがフェードアウトし、映像Ｂがフェードインしつつ切り替わる映像クロスフェード効果が得られる。なお、映像は曲の切れ目で切り替えることもできるし、曲の途中で切り替えることもできる。

【0064】

このほか、図示はしていないが、サウンドビジュアライザー３７１Ａの明るさや色調の変更設定や、映像変形などを行なうための他の映像操作入力部を設けておき、表示中の映像に対して随時映像操作入力を実施できるように構成することも可能である。また、任意の演出画像のデータをＶＪ司令部１０４側で用意しておき、該演出画像を随時表示出力させるための演出画像表示ボタンを映像操作入力部として設けておくことも可能である。

【0065】

ＶＪ司令部１０４（再生制御指令情報作成部）の操作パネルからなされる映像操作入力の入力情報は、操作が実行されるごとに、その操作位置も含めて全てＶＪコマンドとして発行され、楽曲ファイルごとに付与される示す再生タイミング情報から、操作実行時に取得するタイムスタンプ（楽曲ファイルの再生開始点を基準として再生時刻の情報である）と対応付けた形で再生制御指令情報として楽曲配信・映像管理部１０１を経て後述の携帯端末１５０に送られる。また、ＶＪ司令部１０４で選択されたサウンドビジュアライザーモジュールは、インターネット１００を経由して、配信楽曲が再生中の携帯端末１５０に送信される。

【0066】

.
次に、図５は、携帯端末１５０の電気的構造を示すものである。携帯端末１５０は、ＣＰＵ１５２、メモリ１５３、入出力部１５４がバス１５５で接続されたマイコン１５１を有する。メモリ１５３には携帯電話端末１５０の動作環境を構築するためのＯＳ（図示せず）と、ＤＪ及びＶＪが主導する番組の再現環境を実現しつつ楽曲の圧縮データファイルを展開してデジタル再生するための携帯端末アプリ１５３ａが格納されている。また、ＲＡＭ１５１には上記のアプリの実行エリア１５１ａ、再生に供する楽曲データをバッファリングする楽曲バッファエリア１５１ｂ、関連映像の表示生成エンジンであるサウンドビジュアライザーモジュールの格納エリア（以下、ＳＶＳＬ格納エリアという）１５１ｃ、サウンドビジュアライザーの映像と前述の盛上げ画像とを合成して表示するための画像合成エリア１５１ｄなどが形成されている。

【0067】

また、入出力部１５４には、液晶パネルないし有機ＥＬパネルよりなるモニタ１５６（映像表示部）、タッチパネル１５７及びその入力インターフェース１５８、無線通信インターフェース１５９、振動センサ１６０などが接続されている。また、楽曲再生部として、スピーカ１６１がアンプ１６２（入力側のＤ／Ａ変換部は図示略）を介して接続されている。

【0068】

モニタ１５８は端末操作入力のＧＵＩ部分を構築するとともに楽曲再生時の関連映像の表示部として機能する。また、タッチパネル１５７は入力部を構成するものであり、本実施形態においては評価入力部としても機能する。

【0069】

無線通信インターフェース１５９はインターネット１０２を介して楽曲データを受信する役割を果たす。また、携帯端末アプリ１５３ａは、請求項に記載した下記の各部を機能実現するものである。
番組楽曲データ取得部：番組楽曲の楽曲データを楽曲配信元サーバから取得する。
選曲再生制御情報取得部：番組楽曲に対応するＤＪコマンド（選曲再生制御情報）を楽曲配信・映像管理部１０１を経由してＤＪ司令部１０３より取得する。
番組再生制御部：ＤＪコマンドが示す再生タイミング及び再生条件に従い番組楽曲の楽曲データを順次連続的にストリーム再生させる。
番組映像取得部：関連映像である番組映像を取得する。
映像制御指令情報取得部：番組楽曲に対応するＶＪコマンド（映像制御指令情報）を楽曲配信・映像管理部１０１を経由してＶＪ司令部１０４より取得する。
映像制御部：ＶＪコマンドが示す表示タイミング及び表示条件に従い番組映像を順次表示させる。

【0070】

図１０は、携帯端末１５０のモニタ１５６（タッチパネル１５７が重ねられている）の表示画面を示している。この画面は、携帯端末１５０にてダウンロードした携帯端末アプリ１５３ａを立ち上げることにより表示されるものであり、端末操作パネルの背景に関連画像（サウンドビジュアライザー）５６ｂ、及び盛上げ画像３６０の各表示レイヤが透視形態で重ね表示される映像表示エリア７６Ｍが形成されている。また、映像表示エリア７６Ｍの上方には再生中の楽曲のタイトル３０１Ｂが表示されている。他方、下方には、担当ＤＪの名前３７１、担当ＶＪの名前３７２、及び再生タイミングデジタル表示部３１５もそれぞれ表示されている。

【0071】

そして、その下方には評価入力部である「Ｗｈｏｏｐ」ボタン１５６ｗが表示されており、対応位置にタッチすることで「Ｗｈｏｏｐ」情報が評価情報としてインターネット上に送出される。「Ｗｈｏｏｐ」ボタン１５６ｗは、種々のソーシャルネットワーキングサービスにおいて周知の「いいね」ボタンに相当するものであり、再生中の楽曲とＤＪやＶＪの盛り上げに賛同し、肯定的な評価意思表示を行なうために端末所有者（番組のオーディエンス）により随時操作される。「Ｗｈｏｏｐ」ボタン１５６ｗが多数のオーディエンスにより類似のタイミングで操作されるとき、その操作の数は楽曲配信・映像管理部１０１にて集計把握でき、一定時間内の集計数などに基づいて、配信した番組に対するオーディエンスの評価状態を随時把握することが可能である。なお、評価情報の入力は、携帯端末１５０をシェイクする操作を振動センサ１６０により検知して行うようにしてもよい。

【0072】

以下、楽曲配信システム１の動作について説明する。
図１２は、ＤＪ形式による番組楽曲の端末配信と、端末側での同期再生の流れを示すものである。ＤＪ司令部１０３ではＰＣＤＪソフト１０３ａ（図３）を立ち上げ、図７の操作パネル５６ａが表示された状態とする。ＤＪ（選曲操作者）は、予め定められた番組構成に従い、必要な楽曲をロードし、トークも交えながら曲を変えつつ順次再生してゆく作業に入る。まず、操作パネル５６ａの左右に最初の楽曲３０１Ａと次の楽曲３０１Ｂとを選曲し、ＤＪコマンドの一つである楽曲ロードコマンド（図１４：Track Load Event）を自身に対して発行する（図１２のＤ１）。一方、Ｄ２では、この楽曲ロードコマンドを楽曲配信・映像管理部１０１に向けても送信・発行する。

【0073】

まず、ＤＪ司令部１０３では、発行した楽曲ロードコマンドに従い、Ｄ４にて対応する楽曲のストリーム配信を楽曲配信元サーバ１０２に要求する。楽曲配信元サーバ１０２は楽曲データベース１０２ａから楽曲データ（例えばＭＰ３、ＡＡＣなどの圧縮データファイル）を読み出し、ＤＪ司令部１０５に送信する。このとき、図７にて再生・停止ボタン３１１Ａ，３１１Ｂはいずれも停止状態であり、配信された楽曲データはＤ６にてＷＡＶＥデータ（ＰＣＭ波形データファイル）に変換され、ＲＡＭ５２内のバッファリングエリアにバッファリングされるだけで、再生開始されない。

【0074】

次に、楽曲配信・映像管理部１０１は、Ｄ２で受けた楽曲ロードコマンドを、事前契約により聴取者として登録されているオーディエンスの携帯端末１５０（一般に複数）に向けて転送する。携帯端末１５０ではこれを受け、Ｄ７にて、対応する楽曲のストリーム配信を楽曲配信元サーバ１０２に要求する。楽曲配信元サーバ１０２は、Ｄ８にて楽曲データベース１０２ａから楽曲データを読み出し、各携帯端末１５０にストリーム配信する。携帯端末１５０は、Ｄ９にて、配信された楽曲データをＷＡＶＥデータに変換し、ＲＡＭ５２内のバッファリングエリアにバッファリングする。携帯端末１５０の端末アプリ１５３ａには、端末所有者による楽曲の再生・停止のインターフェースが設けられておらず、楽曲配信・映像管理部１０１から再生開始のコマンドを受け取らない限り、楽曲の再生は開始されない。

【0075】

ここまでの説明から、次のことが明らかである。
（１）楽曲データは配信権を所有する楽曲配信元サーバ１０２から、個別の契約者であるＤＪ司令部１０３と携帯端末１５０に、それぞれ配信されており、配信権のないＤＪ司令部１０３から携帯端末１５０に直接向かうデータ送信の流れは存在しない。
（２）携帯端末１５０は、Ｄ９では、配信された楽曲データはＤ６にてＷＡＶＥデータに変換され、ＲＡＭ５２内のバッファリングエリアにバッファリングされ、再生開始指示を受けるまで再生開始されない。当然、ＤＪの行うような再生制御操作もできない。これらの動作は、下記に詳述するごとく、携帯端末アプリ１５３ａがＤＪ司令部１０３から送信されてくるＤＪコマンドを利用して実行するのであり、ＤＪ司令部１０３による楽曲再生操作がＤＪコマンド列によって携帯端末１５０にてバーチャルに再現されることの一環をなすものである。

【0076】

続いて、ＤＪ司令部１０３では、Ｄ１０にて、ＤＪ司令部１０３にて配信を受けている楽曲データの再生開始コマンド（図１４：Track Start Event）を実行し、Ｄ１４にて楽曲Ａの再生を開始する。これは、すなわち、図７にて、ＤＪにより楽曲Ａの再生開始ボタン３１１Ａが操作されることを意味する。また、図１２のＤ１１にてＤＪ司令部１０３は、楽曲配信・映像管理部１０１に向けても再生開始コマンドを送信する。楽曲配信・映像管理部１０１は、Ｄ１２にてオーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｄ１３にてこれを受け、配信を受けた楽曲の再生を開始する。ここから、楽曲を組み合わせた番組の本体が携帯端末１５０上にて始まる。

【0077】

以下、ＤＪは、操作パネル上の各操作部を操作しつつ、再生楽曲の音量、音質、テンポ、音程等を様々に変更設定しながら楽曲Ａの再生音に味付けを行なってゆく。操作はＤＪの両手を使った手作業であり、操作の時系列順に各操作部の状態からＤＪコマンドが読み取られる。そして、各操作を行ったときの楽曲の再生位置は、図１５に示すように、楽曲Ａのデータファイル内に組み込まれているタイミングデータからタイムスタンプとして特定され、このタイムスタンプと、そのときの操作に伴い発行されるＤＪコマンドとの組が再生制御指令情報として作成される（図１２：Ｄ１７）。

【0078】

ＤＪ司令部１０３（再生制御指令情報作成部）では、Ｄ１６にて、自身が発行したＤＪコマンドにより配信される楽曲の再生が制御され、その制御を受けた再生音が図３のスピーカ６０より出力される。ＤＪはその再生音を聞きながら、さらに操作パネル５６ａ（図７）上で再生制御を継続する。こうして、再生制御指令情報がタイムスタンプを伴うＤＪコマンドとして次々と作成され、Ｄ１７にて楽曲配信・映像管理部１０１に送信される。楽曲配信・映像管理部１０１は、Ｄ１８にて各オーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｄ１９にてこれを受け、バッファリングされている楽曲データに対し、再生制御指令情報に含まれるタイムスタンプの示す再生位置にて、そのＤＪコマンドが示す再生制御処理（例えば、音量、音質、テンポ、音程等の変更）を実行するとともに、その処理後のデータに基づいて楽曲再生がなされる（Ｄ１５～Ｄ１９の処理は番組配信が終了されるまで繰り返される）。

【0079】

図１５では、Ａ側で楽曲Ａがロードされ（Track Loading A、TLAと略）、Ｂ側で楽曲Ｂがロードされている（Track Loading B、TLBと略）。また、楽曲Ａだけで再生開始されるので、クロスフェード操作部３０９（図７）はＡ側一杯に設定されている（５段階、ＣＦＭＸ５／０はＡ側一杯、ＣＦＭＸ０／５はＢ側一杯、ＣＦＭＸ２／３等はミキシング状態を示す）。タイミング０：００で楽曲Ａの再生が開始されている（Track Start A、TSAと略)。ＤＪはその後、図７のグラフィックイコライザパネル３０３Ａとボリュームパネル３０５Ａとを操作し、図１４のイコライザーイベント（ＥＱＡと略）とボリュームフェーダーイベント（ＶＯＬと略）にかかるＤＪコマンドが継続的に発行されている。

【0080】

例えば図１５にて、楽曲Ａから楽曲Ｂにクロスフェード処理を交えながら切り替えるときのデータ処理の流れは次のようである。タイミングデータから楽曲Ａの再生は３：０６で終了し、その終了６秒前に次の楽曲Ｂが再生開始されている（ＴＳＢ）。この開始時の楽曲Ａ側のタイムスタンプ（３：００）が、楽曲Ｂの開始指示コマンド（ＴＳＢ）とともに携帯端末１５０に送られる。また、ＤＪは、クロスフェード操作部３０９（図７）を、Ａ側一杯の状態（ＣＦＭＸ５／０）の状態からＢ側一杯の状態（ＣＦＭＸ５／０）となるまで、約６秒かけて移動させている。この時の、各タイミングでのクロスフェード操作部３０９の状態がＤＪコマンドとして特定され、個々の操作位置でのタイムスタンプが楽曲Ｂのタイミングデータより取得され、再生制御指令情報として携帯端末１５０に送られる。

【0081】

携帯端末１５０では、これを参照することにより、先に再生開始している楽曲Ａの再生終了の６秒前（楽曲Ａの再生位置：３：００）に楽曲Ｂの再生を正確に開始することができ、さらに、クロスフェード操作部３０９の設定状態変化も、楽曲Ｂ側のタイムスタンプから忠実に再現されることとなる。なお、クロスフェード操作期間に限っては楽曲Ａがのタイムスタンプを継続利用してもよい。

【0082】

番組形式の楽曲配信においては、ＤＪの果たす役割が重要であり、製作される番組全体のクオリティも選曲操作者の操作手腕に大きく依存する。特に、インターネット等の公共通信網を介した番組配信に際しては、選曲操作者が実行する曲の再生開始や再生条件の設定・変更のタイミングが、聴取者にストリーミング配信される楽曲の再生タイミングと同期していることが、番組の配信品質を担保する上での大前提となる。

【0083】

例えば、ＤＪが取得する配信楽曲に対し、曲順や再生タイミング、及び再生条件をすべて反映させる加工を行い、その加工後の楽曲データファイルを携帯端末１５０に再配信する方式であると、サイズの大きい楽曲ファイルを、楽曲配信元サーバ１０２→ＤＪ司令部１０３及びＤＪ司令部１０３→携帯端末１５０の２段階にてファイルアップロード及びダウンロードを実行しなければならず、インターネット１００の通信容量を圧迫する問題がある。また、楽曲配信元サーバ１０２からの楽曲ファイルのダウンロードは、聴取者との契約により１回に制限されていることが多く、一旦取得した楽曲ファイルを転売したり、転売目的で二次加工したりするには、著作権をクリアするための許諾を楽曲提供者から取得する必要が生じ、面倒である。

【0084】

しかし、上記の方式によると、オーディエンスの携帯端末１５０とＤＪ司令部１０３とは、楽曲データを楽曲配信元サーバ１０２から直接ダウンロードする形で取得する一方、ＤＪ司令部１０３から携帯端末１５０に向けてアップロードされるのは、再生条件を含んだサイズの小さい再生制御指令情報のみであるから、加工した楽曲ファイルそのものをアップロードする場合と比較してデータ通信量を大幅に削減することができる。そして、携帯端末１５０側での楽曲のストリーム再生に際しては、転送されてくる再生制御指令情報により、再生開始タイミングや再生条件の設定・変更の内容及びタイミングがＤＪの意図通りに反映され、配信される番組の品質も高度に担保することができる。

【0085】

なお、操作部の数は多く、全ての操作部の操作設定状態を漏れなくＤＪコマンドとして送信継続することは送信データ量の肥大化を招き、楽曲データの再配信を廃止することのうまみが薄れることにつながる。そこで、楽曲再生開始時の各操作部の操作状態を示すＤＪコマンドを一括して携帯端末１５０に送信することにより初期設定状態を形成し、その後は、楽曲再生後にＤＪ操作により変更を受けた操作部の状態のみをＤＪコマンドとして送信するとともに、端末１５０側では受信したＤＪコマンドに含まれる再生制御設定状態のみを変更して、他は現在の設定状態を維持するようにすれば、ＤＪコマンドの送信負荷及び通信容量占有量を減らすことができる。

【0086】

また、ＤＪ司令部１０３からの再生制御指令情報の発行・送信頻度については、データ量の肥大化を回避しつつ、ＤＪの行うきめ細かい楽曲再生制御のニュアンスが極度に損なわれない範囲にて適宜設定する必要がある。例えば、１回の再生制御指令情報の送信ビット数が１６ビット程度である場合、例えば音楽再生の品質を最低限保つ量子化サンプリング周波数を８ｋＨｚ程度とみなしたとき、その１／５００～１／５０程度の頻度で再生制御指令情報の送信を行なうと、１秒間の再生制御指令情報の送信回数は１６～１６０回となり、再生制御ニュアンスをおおむね保持できる回数と符合する。このときの、再生制御指令情報の送信ビットレートは０．２５ｋｂｐｓ～２．５ｋｂｐｓとなり、８ｋＨｚ／１６ビットサンプリングにて作成される非圧縮ＰＣＭデータの送信ビットレート（約１２８ｋｂｓ）と比較しても十分なデータ通信量削減が見込まれる。

【0087】

次に、図１３は、図１２に対応するＶＪ司令部側の映像制御処理を分離して示すものである。ＶＪ司令部１０４においてＶＪ（映像操作者）は、ＤＪが再生制御する楽曲をモニタリングしつつ、前述の映像操作入力によりサウンドビジュアライザーを用いた映像表示制御を実行してゆくので、図１３に示す図示しないステップにて楽曲配信元サーバ１０２より楽曲の配信を受け、さらにＶ１４にて楽曲配信・映像管理部１０１を経由してＤＪ司令部が発行するタイムスタンプとＤＪコマンドを含む再生制御指令情報を取得する。そして、Ｖ１５で、その再生制御指令情報により制御しつつ楽曲データを再生し、スピーカ８０（図４）より出力することで、ＤＪ司令部１０３における楽曲再生状態のモニタリングを開始できる。

【0088】

次いで、ＶＪ司令部１０４ではＰＣＶＪソフト１０４ａ（図４）を立ち上げ、図１０の操作画面が表示された状態とする。ＶＪ（映像操作者）は、予め定められた番組構成に従い、必要なＳＶＳＬモジュールをロードし、曲に合わせて（あるいは曲の途中で）順次モジュールを切り替えながら映像操作入力を行う。まず、Ｖ１８にて、左右のロードエリアに最初のサウンドビジュアライザー３７１Ａと次のサウンドビジュアライザー３７１Ｂとを選択し、対応するＳＶＬＳモジュールをロードする。また、Ｖ１９では、ロードしたものと同じＳＶＬＳモジュールを楽曲配信・映像管理部１０１を経由して携帯端末１５０に送信する（Ｖ１９→Ｖ２０）。前述のごとくＳＶＬＳモジュールのサイズは小さく、送信は速やかに完了できる。携帯端末１５０では、取得したＳＶＬＳモジュールをロードする（Ｖ２１）。

【0089】

以下、ＶＪは、図１０の操作パネル上の各操作部を操作して、楽曲再生に合わせた映像（サウンドビジュアライザー）の表示切替えを含む映像操作入力を行なってゆく。そして、操作の時系列順に各操作部の状態からＶＪコマンドが読み取られる。また、各操作を行ったときの楽曲の再生位置は、ＤＪ司令部１０３での処理と同様に、楽曲Ａのデータファイル内に組み込まれているタイミングデータからタイムスタンプとして特定され、このタイムスタンプと、そのときの操作に伴い発行されるＶＪコマンドとの組が映像制御指令情報として作成される。

【0090】

ＶＪ司令部１０４では、Ｖ２２にて、自身が発行したＶＪコマンドが指定するサウンドビジュアライザーの映像出力がモニタ７６の映像表示エリア７６Ｍ（図１０）に表示される。ＶＪは再生音を聞きながら、さらに操作パネル上で映像制御（例えば他のサウンドビジュアライザーへの切替え）を継続する。こうして、映像制御指令情報がタイムスタンプを伴うＶＪコマンドとして次々と作成され、Ｖ２３にて楽曲配信・映像管理部１０１に送信される。楽曲配信・映像管理部１０１は、Ｖ２４にて各オーディエンスの携帯端末１５０に向けてこれを転送する。携帯端末１５０では、Ｖ２５にてこれを受け、再生制御指令情報に含まれるタイムスタンプの示す再生位置にて、そのＶＪコマンドが示す映像制御処理、例えば、サウンドビジュアライザーの切替えを実行するとともに、その切替え後のサウンドビジュアライザーに基づいて映像表示がなされる（Ｖ１８～Ｖ２５の処理は番組配信が終了されるまで繰り返される）。

【0091】

図１５の右３列のデータに示すごとく、Ａ側でサウンドビジュアライザー１がロードされ（ＳＶ１ＬＡ）、Ｂ側でサウンドビジュアライザー２がロードされている（ＳＶ２ＬＢ）。また、サウンドビジュアライザー１だけで表示生開始されるので、クロスフェード操作部３１９（図１０）はＡ側一杯に設定されている（５段階、ＣＦＭＸ５／０はＡ側一杯、ＣＦＭＸ０／５はＢ側一杯、ＣＦＭＸ２／３等はミキシング状態を示す）。

【0092】

楽曲Ａの再生は３：０６で終了し、その終了６秒前に次の楽曲Ｂが再生開始されるのに合わせ、Ｂ側のサウンドビジュアライザー２への切替えが行われている。このときのＡ側のタイムスタンプ（３：００）が、サウンドビジュアライザー２への切替コマンド（ＳＶ２ＬＢ）とともに携帯端末１５０に送られる。また、ＶＪは、クロスフェード操作部３１９（図１０）を、Ａ側一杯の状態（ＣＦＭＸ５／０）の状態からＢ側一杯の状態（ＣＦＭＸ５／０）となるまで、約６秒かけて移動させている。この時の、各タイミングでのクロスフェード操作部３１９の状態がＶＪコマンドとして特定され、個々の操作位置でのタイムスタンプが楽曲Ｂのタイミングデータより取得され、映像制御指令情報として携帯端末１５０に送られる。

【0093】

携帯端末１５０では、これを参照することにより、先に再生開始している楽曲Ａの再生終了の６秒前（楽曲Ａの再生位置：３：００）に、サウンドビジュアライザー１から同２への切替えに移行することができ、さらに、クロスフェード操作部３１９の設定状態変化（つまり、映像ミキシングの状態変化）も、楽曲Ｂ側（クロスフェード期間中は楽曲Ａ側でもよい）のタイムスタンプから忠実に再現されることとなる。

【0094】

以上を受け、図１１に示すように、携帯端末１５０では、ＤＪによる再生制御処理が反映された形で番組楽曲のストリーム再生を行なうことができ、ＶＪによる映像制御操作が反映された映像を映像表示領域７６Ｍに表示することができる。楽曲の再生はＤＪの操作が忠実に反映されたものとなり、映像表示切替にもＤＪに合わせたＶＪの操作が的確に反映されることとなる。これを享受するオーディエンスは、番組を気に入り、よいと感じれば、その評価入力としてＷｈｏｏｐボタン１５６を操作する。以下の処理は、図１３によると次の通りである。

【0095】

まずＶ２６で、携帯端末１５０からはＷｈｏｏｐボタン操作に伴う（肯定的な）反応情報があることを楽曲配信・映像管理部１０１に通知する。楽曲配信・映像管理部１０１では、例えば最初の反応情報が到来してから予め定められた期間内の（肯定的な）反応情報の数（以下、Ｗｈｏｏｐ数という）を計数する（Ｖ２７）。そして、その計数されたＷｈｏｏｐ数が画像発動基準値（これは１でもよいが、ノイズ的な反応を排除するために、複数回に設定しておくとよい）に到達するごとに、そのときの再生中の楽曲のタイムスタンプを取得し、さらに盛上げ画像データ１０１ｆ（図２）を読み出して、携帯端末１５０、ＤＪ司令部（図１３では図示略）及びＶＪ司令部にそれぞれ送信する（Ｖ２８，Ｖ３０）。

【0096】

各送信先、例えば図１１の携帯端末１５０のように、取得した盛上げ画像データに基づく盛上げ画像３６０が、サウンドビジュアライザーによる関連映像上に透視形態で合成され、表示される（Ｖ３１，Ｖ２９）。盛上げ画像３６０は、番組楽曲のストリーム配信を受けている全ての携帯端末１５０にて表示されることとなる。Ｗｈｏｏｐ数が画像発動基準値に到達すれば、一旦その計数値をクリアし計数を再開する。そして、再度画像発動基準値に到達すれば、盛上げ画像データとタイムスタンプの送信が繰り返され、盛上げ画像３６０の表示が継続される。例えば図１１の花火のアニメーション映像の場合、Ｗｈｏｏｐ数が画像発動基準値に到達するごとに花火が繰り返し打ちあがることになる。このとき、花火の表示位置や表示サイズを映像表示エリア７５Ｍ内にて乱数を用いてその都度変更すれば、Ｗｈｏｏｐが発生するごとに花火が打ち上る位置が変わり、視覚的な楽しさが高められる。特に、多数の端末１５０から同時にＷｈｏｏｐが発動されると、多くの花火が映像表示エリア７５Ｍ内にてスターマインのごとく乱れ飛び、より華やかな演出を行なうことが可能となる。

【0097】

そして、本実施形態では、同様のアルゴリズムにて、拍手、歓声、指笛音、あるいは花火の打ち上げ音などからなる盛上げ音源データ１０１ｇ（図２）を読み出し、各送信先にて盛上げ画像とともに盛上げ音声を出力させるようにしている（Ｖ３２～Ｖ３５）。なお、盛上げ画像及び盛上げ音声の出力は、一方又は双方を省略することも可能である。

【0098】

なお、上記の番組配信形態においては、定められた配信時刻が到来するに伴い、ＤＪ司令部１０３及びＶＪ司令部１０４での楽曲再生制御及び映像制御をライヴ配信する形を想定することができるが、この場合、契約した携帯端末１５０の中には配信開始時刻当初からの視聴ができず、途中からの参加となる場合もあり得る。この場合、配信にログインしたときの楽曲と映像の配信状況については、楽曲再生制御情報と映像制御情報の流れについては受信できても、楽曲データのストリーム配信については、どの曲のどの位置が現在ストリーミング中であるかを直ちには把握できないことがある。そこで、本実施形態では、ＤＪ司令部１０３にてスナップショットの実行を指令するＤＪコマンド（図１４：Snapshot Event）が発行されるようになっている。

【0099】

図１２の下に示すように、ＤＪ司令部１０３ではこのコマンドの発動により、ストリーム配信の中の楽曲名と映像名、及び再生タイミングなどがキャプチャされ、スナップショット情報として、楽曲配信・映像管理部１０１を経由して各携帯端末１５０に送られる。ストリーミング再生の同期が取れないでいる途中視聴参加の端末はこのスナップショット情報を参照し、配信を受けるべき楽曲の種別と、随伴する関連映像（サウンドビジュアライザー）の種類、及び楽曲の現在の再生位置を特定し、必要に応じて楽曲データとサウンドビジュアライザーの配信を楽曲配信・映像管理部１０１に要請する（楽曲配信・映像管理部１０１はこれを受けて楽曲データ、サウンドビジュアライザー及びタイムスタンプを各所より取得して携帯端末１５０に中継配信する）。これにより、途中視聴参加の携帯端末１５０では、現在の番組進行位置を容易に把握することができ、楽曲データのストリーミング再生を追随補正することが可能となる。

【0100】

また、図１２からも明らかなごとく、楽曲配信元サーバ１０２、ＤＪ司令部１０３及び携帯端末１５０間の楽曲データファイルの配信系統は、楽曲配信・映像管理部１０１を境に明確に分離されている。これは、ＤＪ司令部１０３への楽曲配信は選曲再生制御指令情報を作成するだけの目的で使用されており、携帯端末１５０への楽曲配信は作成済みの選曲再生制御指令情報による再生制御にのみ使用されていることを意味する。また、作成された選曲再生制御指令情報（及びＶＪ司令部１０４で作成した映像制御指令情報）を番組ごとにセットにしたファイルは、例えば楽曲配信・映像管理部１０１の記憶装置（ハードディスクドライブ３５）に保存しておくことが可能である。このとき、ＤＪのトークなども録音して音声ファイルとして保存しておけば、ＤＪ及びＶＪによる番組のリアルライヴ配信が終了した後であっても、楽曲配信元サーバ１０２からの携帯端末１５０への楽曲配信と、楽曲配信・映像管理部１０１からの、保存された選曲再生制御指令情報、映像制御指令情報、ＤＪトークファイルおよび関連映像データ（ＳＶＬＳモジュール）のセットファイルの配信とを組み合わせることで、携帯端末１５０への番組配信を任意の日時に再現することができる。これは、ＤＪライヴ番組の再放送配信やオンデマンド配信を行う上で有利な形態であるといえる。

【0101】

また、楽曲再生と同期させる関連映像は、サウンドビジュアライザーに限らず、動画ファイルを用いた再生動画を使用することもできるし、ＣＧを使用することもできる。プロモーションビデオ等の動画ファイルを使用する場合は、楽曲ファイルと同様に、映像配信元サーバから動画ファイルをＶＪ、ＤＪ、オーディエンス（携帯端末）のそれぞれに独立に配信することが同様に望ましい。ＶＪ司令部１０４では配信された動画の再生・停止・切替えに加え、明るさ、色バランス調整、早送り・巻き戻し、合成、変形といった種々のグラフィック操作を映像制御入力として実施することで、関連映像によるイベントの盛り上げを図ることができる。

【0102】

以上、本発明の実施の形態について説明したが、あくまで例示であって、本発明はこれに限定されるものではない。

【符号の説明】

【0103】

１ 楽曲配信システム
２９，４９，６９ 入出力部
３０，５０，７０ マイコン
３１，５１，７１ ＭＰＵ
３２，５２，７２ ＲＡＭ
３３，５３，７３ ＲＯＭ
３４，５４，７４ バス
５６ モニタ
５６ａ 操作パネル
５６ｂ 関連画像（サウンドビジュアライザー）
５６ｃ 盛上げ画像
５８ ＤＪコマンド入力部
５９ オーディオアンプ
６０ スピーカ
６１ マイク
６２ Ａ／Ｄ変換部
７６ モニタ
７６Ｍ 映像表示エリア
７８ タッチパネル
１００ インターネット
１０１ 楽曲配信・映像管理部
１０１ａ 配信システムソフト
１０１ｂ～１０１ｅ ソフトウェアコンポーネント
１０１ｆ 盛上げ画像データ
１０１ｇ 盛上げ音源データ
１０２ 楽曲配信元サーバ
１０２ａ 楽曲データベース
１０３ ＤＪ司令部（選曲再生制御指令部）
１０３ａ ＰＣＤＪソフト
１０４ ＶＪ司令部（映像制御指令部）
１０４ｂ 通信ソフト
１０５ｃ サウンドビジュアライザー
１０６ 携帯電話基地局
１５０ 携帯端末（楽曲再生端末：本実施形態ではスマートフォン）
１５１ マイコン
１５１ａ アプリ実行エリア
１５１ｂ 楽曲バッファエリア
１５１ｃ サウンドビジュアライザーモジュールの格納エリア
１５２ ＣＰＵ
１５３ メモリ
１５３ａ 携帯端末アプリ
１５４ 入出力部
１５５バス
１５６ モニタ
１５６ 「Ｗｈｏｏｐ」ボタン
１５９ 無線通信インターフェース
１６０ 振動センサ
１６１ スピーカ
１６２ アンプ
３０１Ａ，Ｂ 楽曲のタイトル
３０３Ａ，Ｂ グラフィックイコライザパネル
３０４Ａ，Ｂ つまみ
３０５Ａ，Ｂ ボリュームパネル
３０６Ａ，Ｂ つまみ
３０７Ａ，Ｂ 波形ウィンドウ
３０８ 再生位置バー
３０９ クロスフェード入力部
３１０ 操作バー
３１１Ａ，Ｂ 再生・停止ボタン
３１５ 再生タイミングデジタル表示部
３１６Ａ，Ｂ 巻き戻しボタン
３１７Ａ，Ｂ 同期ボタン
３１９ 映像クロスフェード入力部
３７１ 担当ＤＪの名前
３７２ 担当ＶＪの名前

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】