特許 7343268 任意信号挿入方法及び任意信号挿入システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-04

(45)【発行日】2023-09-12

(54)【発明の名称】任意信号挿入方法及び任意信号挿入システム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20230905BHJP

   G10H 1/40 20060101ALI20230905BHJP

   G10L 19/018 20130101ALI20230905BHJP

【ＦＩ】

G10H1/00 Z

G10H1/00 B

G10H1/40

G10L19/018

【請求項の数】 7

(21)【出願番号】P 2018082899

(22)【出願日】2018-04-24

(65)【公開番号】P2019191336

(43)【公開日】2019-10-31

【審査請求日】2021-04-15

(73)【特許権者】

【識別番号】515053885

【氏名又は名称】唐沢 培雄

(74)【代理人】

【識別番号】100094226

【弁理士】

【氏名又は名称】高木 裕

(74)【代理人】

【識別番号】100087066

【弁理士】

【氏名又は名称】熊谷 隆

(72)【発明者】

【氏名】柏 浩太郎

(72)【発明者】

【氏名】唐沢 培雄

【審査官】上田 雄

(56)【参考文献】

【文献】特開２０１５－１９７４９７（ＪＰ，Ａ）

【文献】特開２００６－１０６４１１（ＪＰ，Ａ）

【文献】特開２００１－２３９４８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－１／４６

Ｇ１０Ｌ １９／００－１９／２６

(57)【特許請求の範囲】

【請求項1】

所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入方法であって、
前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、
奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、
前記リアルタイム演奏部の奏者に対して演奏する音響のリズム情報を発報するリズム発信装置と、
を用意し、
前記演算装置は、前記リズム発信装置に対して第一のリズムを出力すると同時に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入方法。

【請求項2】

所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入方法であって、
前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、
奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、
を用意し、
前記リアルタイム演奏部は、演奏を行うことで生じる第二のリズムの情報を前記演算装置に送信し、
前記演算装置は、前記リアルタイム演奏部から送信された第二のリズムが前記第一のリズムに同期したことを確認した後に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入方法。

【請求項3】

前記同期の確認は、前記実演による音響に関するＭＩＤＩデータに含まれる前記第二のリズムと、予め記録されている前記音響の楽譜情報に関するＭＩＤＩデータに含まれる前記第一のリズムとを照合することで行われることを特徴とする請求項２に記載の任意信号挿入方法。

【請求項4】

前記音響内に挿入される任意信号には、周辺機器を操作・制御して所定の動作を実施するよう命じる挿入情報を少なくとも含むことを特徴とする請求項１乃至３の内の何れかに記載の任意信号挿入方法。

【請求項5】

前記周辺機器は複数あり、
前記挿入情報は、前記複数の周辺機器それぞれが有する固有の情報に対応して異なる動作を実施するよう命じることを特徴とする請求項４に記載の任意信号挿入方法。

【請求項6】

所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入システムであって、
前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、
前記演算装置に演奏の開始を指示する開始指示部と、
奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、
前記リアルタイム演奏部の奏者に対して演奏する音響のリズム情報を発報するリズム発信装置と、
前記リアルタイム演奏部から出力される音響内に挿入された前記任意信号を受信して当該任意信号に含まれる挿入情報によって操作・制御される周辺機器と、
を具備し、
前記演算装置は、前記リズム発信装置に対して第一のリズムを出力すると同時に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入システム。

【請求項7】

所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入システムであって、
前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、
奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、
前記リアルタイム演奏部から出力される音響内に挿入された前記任意信号を受信して当該任意信号に含まれる挿入情報によって操作・制御される周辺機器と、
を具備し、
前記リアルタイム演奏部は、演奏を行うことで生じる第二のリズムの情報を前記演算装置に送信する手段を有し、
前記演算装置は、前記リアルタイム演奏部から入力された第二のリズムが前記第一のリズムに同期したことを確認した後に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばコンサート会場などで実演奏される音響（楽曲）のなかに容易に任意信号を挿入することができる任意信号挿入方法及び任意信号挿入システムに関する発明である。

【背景技術】

【0002】

複数の音によって構成された音響のなかに、所定の周波数によって構成された伝送可能な任意信号を、事前に定められたタイミングで挿入する任意信号挿入方法に関して、例えば特許文献１に記載の方法が従来技術として存在する。この特許文献１に記載の方法は、ＣＤやＤＶＤ等の記録媒体に録音・録画された既成の音楽コンテンツを音源とする音響（音響信号）のなかに、周辺機器を制御するための制御コードを予め埋め込んでおき、当該制御コードを所定のタイミングで発報することで周辺機器の制御を行うという方法である。当該制御コードが埋め込まれた音響（音響信号）は、映像・音楽プレーヤなどの再生装置で再生され、さらにこの再生音から抽出装置を用いて制御コードを抽出し、これによって周辺機器を制御することを可能にしている。特許文献１に記載の方法においては、所定数のサンプルを１フレームとして読み込み、このフレームに含まれる音響（音響信号）のなかに、電子透かし手法により制御コードを埋め込むといった手法が採られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－３２３１６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

前記特許文献１に記載の従来技術によれば、予め定められた所望のタイミングで任意信号（制御コード）を音響内に挿入することができるものの、任意信号（制御コード）が挿入される前記音響は、ＣＤやＤＶＤ等のように、予め記録媒体に録音・録画することができる音楽コンテンツである。即ち、前記特許文献１に記載の従来技術では、予め決まったリズムで奏でられるとは限らない音響、例えば奏者がコンサート会場で実演する音響のように、演奏する者、時間、場所などが異なることで変化し得るリズムの音響に対して、その実演の場で直接任意信号（制御コード）を挿入することは、技術的に困難であった。

【0005】

本発明の目的は、例えばコンサート会場での奏者の演奏など、リアルタイムで演奏されている音響などの中に、事前に定められた挿入タイミングで、任意信号を容易に挿入することができる任意信号挿入方法及び任意信号挿入システムを提供することにあり、加えてこの挿入された任意信号を用いて周辺機器を遠隔操作・制御することにある。

【課題を解決するための手段】

【0006】

前記課題を解決するための本発明は、所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入方法であって、前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、前記リアルタイム演奏部の奏者に対して演奏する音響のリズム情報を発報するリズム発信装置と、を用意し、前記演算装置は、前記リズム発信装置に対して第一のリズムを出力すると同時に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入方法である。
本発明によれば、奏者の実演による音響などのように、その演奏の度、またはその演奏の途中に変化し得るリズムの音響内に、事前に定められた所望のタイミングで任意信号を容易且つ正確に挿入することができる。

【0007】

また本発明によれば、奏者が第一のリズムで音響を奏でるように促されることで前記２つのリズムの同期が図られる。この結果、実演による音響内に、直接、事前に定められた所望の挿入タイミングで任意信号を容易且つ正確に挿入することができる。

【0008】

また、前記課題を解決するための本発明は、所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入方法であって、前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、を用意し、前記リアルタイム演奏部は、演奏を行うことで生じる第二のリズムの情報を前記演算装置に送信し、前記演算装置は、前記リアルタイム演奏部から送信された第二のリズムが前記第一のリズムに同期したことを確認した後に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入方法である。
奏者が実演している音響の現在のリズムは、少なくともその後所定時間（例えば４０秒間）までは、そのまま一定に保たれることが実験によって確認されている。即ち、奏者の音響のリズム（第二のリズム）が第一のリズムに同期した直後であれば、これら２つのリズムが少なくとも所定時間同期している。そこで本発明では、この所定時間（同期していると推定される時間）内に任意信号を所望の挿入タイミングで前記演奏中の音響の中に挿入することとした。これによって、実演による音響内に、直接、事前に定められた所望の挿入タイミングで任意信号を容易且つ正確に挿入することができる。

【0009】

また、前記課題を解決するための本発明は、前記特徴に加え、前記同期の確認は、前記実演による音響に関するＭＩＤＩデータに含まれる前記第二のリズムと、予め記録されている前記音響の楽譜情報に関するＭＩＤＩデータに含まれる前記第一のリズムとを照合することで行われる、ことを特徴とする。
本発明によれば、ＭＩＤＩデータという電気信号を用いることで、第一のリズムと第二のリズムの同期の確認を容易且つ確実に行うことができる。

【0010】

また、前記課題を解決するための本発明は、前記特徴に加え、前記音響内に挿入される任意信号には、周辺機器を操作・制御して所定の動作を実施するよう命じる挿入情報を少なくとも含むことを特徴とする。
本発明によれば、音響内に挿入された任意信号によって、周辺機器に対し所定の動作を実施するよう命じることが可能になる。例えば、携帯端末の表示画面の色彩をリズムに合わせて変化させたりすることもできる。

【0011】

さらに、前記課題を解決するための本発明は、前記特徴に加え、前記周辺機器は複数あり、前記挿入情報は、前記複数の周辺機器それぞれが有する固有の情報に対応して異なる動作を実施するよう命じることを特徴とする。
異なる動作の中には、動作しないということも含まれる。
本発明によれば、例えば演奏会場にいる多数の聴衆の所持する携帯端末の内の所定のグループの携帯端末の動作と、他の所定のグループの携帯端末の動作とを異ならせること等ができ、これにより、演奏会場において、種々のパフォーマンスが可能になる。

【0012】

また前記課題を解決するための本発明は、所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入システムであって、前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、前記演算装置に演奏の開始を指示する開始指示部と、奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、前記リアルタイム演奏部の奏者に対して演奏する音響のリズム情報を発報するリズム発信装置と、前記リアルタイム演奏部から出力される音響内に挿入された前記任意信号を受信して当該任意信号に含まれる挿入情報によって操作・制御される周辺機器と、を具備し、前記演算装置は、前記リズム発信装置に対して第一のリズムを出力すると同時に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入システムである。
本発明によれば、奏者の実演による音響などのように、その演奏の度、またはその演奏の途中に変化し得るリズムの音響内に、事前に定められた所望のタイミングで任意信号を容易且つ正確に挿入することができる。

【0013】

また前記課題を解決するための本発明は、所定の周波数によって構成された伝送可能な任意信号を、所望の挿入タイミングで音響内に挿入する任意信号挿入システムであって、前記挿入タイミングを、予め設定された第一のリズムとともに所定のタイムコードに関連付けて記憶しておく演算装置と、奏者が演奏を行うことで生じる第二のリズムによる音響を、前記任意信号を挿入した状態で出力するリアルタイム演奏部と、前記リアルタイム演奏部から出力される音響内に挿入された前記任意信号を受信して当該任意信号に含まれる挿入情報によって操作・制御される周辺機器と、を具備し、前記リアルタイム演奏部は、演奏を行うことで生じる第二のリズムの情報を前記演算装置に送信する手段を有し、前記演算装置は、前記リアルタイム演奏部から入力された第二のリズムが前記第一のリズムに同期したことを確認した後に、前記リアルタイム演奏部に対して前記第一のリズムに関連付けた挿入タイミングで前記任意信号を出力することを特徴とする任意信号挿入システムである。
本発明によれば、奏者の実演による音響などのように、その演奏の度、またはその演奏の途中に変化し得るリズムの音響内に、事前に定められた所望のタイミングで任意信号を容易且つ正確に挿入することができる。

【0014】

また、前記課題を解決するため、前記特徴に加え、前記所定の周波数が可聴帯域（２０～２０ｋＨｚ）中の、可聴容易周波数（２０～１５ｋＨｚ）であるか、又は、可聴困難周波数（１５ｋ～２０ｋＨｚ）であることが好ましい。

【発明の効果】

【0015】

本発明によれば、例えば、奏者によって実演される楽曲の音響のように、演奏する者、時間、場所が異なることで変化し得るリズムの音響であっても、当該音響内に予め定められた所望のタイミングで任意信号を容易且つ確実に挿入することができる。

【図面の簡単な説明】

【0016】

【図1】任意信号挿入システム１の構成を示すブロック図である。

【図2】タイムコードやこれと関連付けられた挿入タイミングなどを示す図である。

【図3】任意信号挿入方法の実施手順を示すフローチャートである。

【図4】打楽器等が発するハンドクラップ音の波形である。

【図5】打楽器等が発するハンドクラップ音に挿入信号を挿入した波形である。

【図6】挿入情報の挿入プロセスを示すフローチャートである。

【図7】挿入情報の挿入プロセスを示すフローチャートである。

【図8】挿入情報の挿入プロセスを示すフローチャートである。

【図9】任意信号挿入システム２の構成を示すブロック図である。

【図10】タイムコードやこれと関連付けられた挿入タイミングなどを示す図である。

【図11】任意信号挿入方法の実施手順を示すフローチャートである。

【図12】ＭＩＤＩ信号を使用して楽譜追跡を行う手順を示すフローチャートである。

【図13】挿入タイミングの判定条件を規定する際の基準となる実験データである。

【発明を実施するための形態】

【0017】

[第１実施形態]
本発明に係る第１実施形態を、図１ないし８を参照しながら説明する。
〔システム構成〕
はじめに、第１実施形態を実施するために用いられる任意信号挿入システム１の構成について説明する。任意信号挿入システム１は、図１に示すように、楽曲の開始指示部１０、演算装置２０、装置対応インターフェース３０、リズム発信装置４０、リアルタイム演奏部５０及び被制御装置６０とを具備して構成されている。

【0018】

楽曲の開始指示部１０は、楽曲の演奏開始と同時に演算装置２０に作動開始の指示を与える部位であり、例えば演算装置２０に接続するフットペダルやキーボード、又は液晶モニター等のタッチパネルなどから構成されている。前記作動開始の指示は、奏者又はＰＡエンジニア等によって実行される。

【0019】

演算装置２０は、詳細については後述する実施手順を、所定の演算処理に基づいて履行する部位であり、記憶装置２２と、演算部２４と、外部インターフェース２６とを具備して構成されている。

【0020】

前記記憶装置２２は、事前にプログラミングされた伝送情報（以下、「マスターデータＭＤ」という。）を記憶・格納する装置であり、例えばハードディスク又はＳＳＤから構成されている。

【0021】

マスターデータＭＤは、少なくともタイムコードＴＣと、楽曲のリズム情報（以下、「マスターリズム情報ＭＲ」という。このマスターリズム情報ＭＲは、特許請求の範囲に記載の「第一のリズム」に相当する。）と、所望のタイミングで周辺機器を操作・制御するための情報である挿入情報（以下、「挿入情報Ｍ」という。）及び挿入タイミングに関する情報（以下、「挿入タイミングＴ」という。）とを含む。挿入情報Ｍは、所定の周波数によって構成された伝送可能な任意信号から構成され、また少なくともマスターリズム情報（高，低）ＭＲ及び挿入タイミングＴは、図２に示すように、タイムコードＴＣに関連付けられている。マスターデータＭＤは、例えばＭＩＤＩ（Musical Instruments Digital Interface）データの形式をとるが、その他のデータ形式であってもよい。

【0022】

タイムコードＴＣは、演算装置２０の有する時計（タイマー）の時刻であり、マスターリズム情報ＭＲ及び挿入タイミングＴ等の各種情報を時間的に管理するパラメータ（指標）である。タイムコードＴＣは、この例では一定の間隔で刻まれた時分秒であるが、その他にもテンポ基準となる音符（八分音符や十六分音符等）を一単位としてもよい。また図２には、０．１秒刻みの時分秒を一単位とするタイムコードＴＣが示されているが、当該時間間隔は任意に設定できる。この例でのマスターリズム情報ＭＲには高音と低音がある。一般的にリズムセッション楽器５１、例えばドラムセットにおいて、音程は大きく分けて２種類になる。例えば一方はバスドラムなどで打つ低い音程、他方はスネアドラムなどで発せられる高い音程であり、これら高音と低音がそれぞれリズムになる。挿入タイミングＴは、挿入情報Ｍを挿入する時刻をタイミングコードＴＣとの関係で示している。挿入情報Ｍは、楽曲中に挿入する情報をいい、前記挿入タイミングＴの二重丸で示した時刻（01時23分01.80秒）に楽曲中に挿入される。

【0023】

任意信号は、挿入情報Ｍを挿入した下記する音響情報伝送機能を有した楽器５３用の楽器音であっても良いし、挿入情報Ｍその物であっても良い。

【0024】

演算部２４は、楽曲の開始指示部１０からの指示命令をトリガーとして、詳細については後述する実施手順にしたがい、所定の基準時間ＳＴが経過した後にマスターリズム情報ＭＲをリズム発信装置４０に向けて出力し、また、挿入情報Ｍ及び挿入タイミングＴをリアルタイム演奏部５０（より具体的には、後述する音響情報伝送情報を有した楽器５３）に出力するよう構成された部位であり、CPU、キャッシュメモリ（メインメモリ）及び当該キャッシュメモリ（メインメモリ）に記憶された前記演算処理を実行する動作プログラムなどから構成されている。キャッシュメモリ（メインメモリ）には、例えば音声編集ソフト（DAW）を予め記憶・格納しておき、この音声編集ソフト（DAW）を用いて、マスターデータＭＤを適宜編集できるように構成してもよい。

【0025】

出力インターフェース２６は、記憶装置２２に記憶・格納されているマスターデータＭＤ（より具体的には、マスターデータＭＤに含まれるマスターリズム情報ＭＲおよび挿入情報Ｍ及び挿入タイミングＴ）を所定のデータ形成の形で外部装置（より具体的には、リズム発信装置４０及びリアルタイム演奏部５０）に向けて出力するために、この外部装置と演算装置２０とを電気的に接続するための部位(接続端子）である。

【0026】

装置対応インターフェース３０は、演算装置２０（より具体的には、演算装置２０が具備する出力インターフェース２６）とリズム発信装置４０との間で電気信号の送受信を可能にする部位（接続端子）であり、この部位を通じて、演算装置２０のマスターリズム情報ＭＲ（より具体的には、演算装置２０の記憶装置２４に記憶・格納されたマスターリズム情報ＭＲ）が、演算装置２０からリズム発信装置４０へと出力される。

【0027】

リズム発信装置４０は、装置対応インターフェース３０を介して演算装置２０から送信されるマスターリズム情報ＭＲ（より具体的には、マスターリズム情報ＭＲに関するリズム信号ＳＲ）を受信し、これを所定の形に変換して奏者に発信（報知）する装置であり、例えばリズムを音の形で伝達するヘッドホンやスピーカといった音響装置、又はリズムを光の形で伝達する照明器具から構成されている。

【0028】

リアルタイム演奏部５０は、奏者等によって実際に楽曲が演奏される部位であり、リズムセッション楽器５１、その他の楽器５２及び音響情報伝送機能を有した楽器５３からなる楽器群、並びにステージ音響システム５４から構成されている。

【0029】

リズムセッション楽器５１は、例えばドラムスやベース等のリズムを取るのに好適な楽器から構成されており、当該楽器の演奏者を通じて所定のリズム（以下、「リズムＲ」という。このリズムＲは、特許請求の範囲に記載の「第二のリズム」に相当する。）の音響が発せられる。リズムセッション楽器５１の奏者は、リズム発信装置４０を通じて発信される音又は照明にリードされたリズム（マスターリズム情報ＭＲのリズム）を感知することでマスターリズム情報ＭＲのリズムに従ったリズムの演奏が促され、これにより、実際の演奏リズム（第二のリズム）とマスターリズム情報ＭＲのリズム（第一のリズム）との同期（この同期は、特許請求の範囲に記載の「同期」に相当する。）が図られることになる。

【0030】

その他の楽器５２は、リズムセッション楽器５１から発せられるリズムにしたがって楽曲の主旋律を奏でる部位であり、例えばギターなどの他、ボーカル等も含まれる。

【0031】

音響情報伝送機能を有した楽器５３は、出力インターフェース２６を通じて演算装置２０から出力された挿入情報Ｍ及び挿入タイミングＴを受信し、当該挿入情報Ｍ及び挿入タイミングＴをステージ音響システム５４に向けて出力する部位であり、例えばサンプラーやシンセサイザー等から構成されている。この音響情報伝送機能を有した楽器５３は、図示しない記憶手段を有しており、演算装置２０から入力した挿入情報Ｍなどを記憶する。なお、演算装置２０から入力する挿入情報Ｍが、この挿入情報Ｍを挿入した楽器音である場合は、当該挿入情報Ｍの挿入タイミングＴを受信した際に、この楽器音をそのまま出力するように構成する。一方、演算装置２０から入力する挿入情報Ｍが、当該挿入情報Ｍ（この場合の挿入情報は、当該挿入情報Ｍが挿入された楽器音を検索するのに用いる検索用信号であっても良い）のみであるような場合は、予め前記図示しない記憶手段に挿入情報Ｍが挿入された楽器音を記憶しておき、演算装置２０から挿入情報Ｍ（前記検索用信号であっても良い）を受信した際に、前記挿入情報Ｍを挿入した楽器音を検索して待機し、挿入タイミングＴを受信した際に当該楽器音を出力するように構成する。

【0032】

ステージ音響システム５４は、リズムセッション楽器５１、その他の楽器５２及び音響情報伝送機能を有した楽器５３から発せられた音（音響）（より具体的には、これら音（音響）に関する電気信号）を受信し、これら複数の音から１つの楽曲音（音響）を構成した後、これを聴衆等に向けて発報する部位であり、ミキサー、PA装置及び楽器個別アンプ等から構成されている。前記楽曲音には、挿入情報Ｍが含まれており、後述するように、この挿入情報Ｍに基づいて被制御装置６０を、遠隔操作・制御する。

【0033】

被制御装置６０は、リアルタイム演奏部５０から発せられる音、より具体的には、リアルタイム演奏部５０を構成するステージ音響システム５４から発せられた楽曲音（音響）に組み込まれた挿入情報Ｍに基づいて遠隔操作・制御される部位であり、特許請求の範囲に記載の周辺機器に相当する。被制御装置６０は、例えば聴衆が所持する携帯端末（スマートフォン等）から構成されている。

【0034】

〔実施手順〕
次に、任意信号挿入システム１を用いて第１実施形態を実施するための具体的手順を、図１ないし図３を参照しながら説明する。当該具体的手順は、図３に示すように、タイムコードのカウントアップステップＳ１１（以下、「カウントアップステップＳ１１」という。）、マスターリズム情報ＭＲの出力ステップＳ１２（以下、「出力ステップＳ１２」という。）、挿入情報Ｍの出力ステップＳ１３（以下、「出力ステップＳ１３」という。）、挿入タイミングＴの出力ステップＳ１４（以下、単に「出力ステップＳ１４」という。）から構成されている。これらステップは、いずれも演算装置２０の演算部２４において実行される。

【0035】

カウントアップステップＳ１１では、タイムコードＴＣ、すなわち、時刻に合わせた一定の間隔で刻まれた時分秒（またはテンポ基準となる音符（八分音符や十六分音符等）でもよい）を一単位とする時間的パラメータ(指標）を、タイマーを用いてカウントアップする。具体的には、前記一単位に相当する時間を前記タイマーで計測し、当該一単位に相当する時間間隔で、タイムコードＴＣを累積的にカウントする。

【0036】

このカウントアップステップＳ１１が実行されることで、タイムコードＴＣに関連付けられたマスターリズム情報ＭＲ及び挿入タイミングＴが、タイムコードＴＣの時間軸で管理される。これにより、以下の出力ステップＳ１２，Ｓ１３，Ｓ１４において、これら情報を、適正なタイミングで外部装置（具体的には、リズム発信装置４０及びリアルタイム演奏部５０）に向けて出力することが可能になる。

【0037】

タイムコードＴＣのカウントアップが開始されると、マスターリズム情報ＭＲの出力ステップＳ１２へと移行する。この出力ステップＳ１２では、マスターリズム情報ＭＲが、関連付けられたタイムコードＴＣに対応した時刻（図２で示された実施形態では、１時２３分１．４秒及び１時２３分１．６秒等）に、マスターリズム情報ＭＲが、出力インターフェース２６及び装置対応インターフェース３０を通じてリズム発信装置４０へと出力される。

【0038】

マスターリズム情報ＭＲは、単一の種類のリズムから構成されるだけでなく、例えば前述のように、低い音程のマスターリズム情報ＭＲ（低）及び高い音程のマスターリズム情報ＭＲ（高）といった複数種類のリズム情報から構成されるなど、種々の形態をとることができる。

【0039】

マスターリズム情報ＭＲの出力先であるリズム発信装置４０は、前述したように、例えばリズムを音として伝達するヘッドホンやスピーカ等の音響装置、又はリズムを光で伝達する照明器具から構成されている。奏者（より具体的には、リズムセッション楽器５１の奏者）は、リズム発信装置４０が発信する音（音響)又は光を通じてマスターリズム情報ＭＲを感知することになる。

【0040】

リズム発信装置４０を通じてマスターリズム情報ＭＲを感知した奏者（より具体的には、リズムセッション楽器５１の奏者）は、当該マスターリズム情報ＭＲに含まれるリズムに従って演奏するように促される。この結果、実際の演奏リズム（第二のリズム）とマスターリズム情報ＭＲのリズム（第一のリズム）との同期が図られる。

【0041】

次に、出力ステップＳ１３では、挿入情報Ｍ（または挿入情報Ｍを挿入した楽器音、以下同様）が、出力インターフェース２６を通じてリアルタイム演奏部５０（音響情報伝送機能を有した楽器５３）へと出力され、次に、出力ステップＳ１４では、挿入情報Ｍの挿入タイミングＴが、出力インターフェース２６を通じてリアルタイム演奏部５０（音響情報伝送機能を有した楽器５３）へと出力される。

【0042】

ここで、挿入情報Ｍは、当該挿入情報Ｍを挿入（発報）するタイムコードＴＣの時刻よりも少し前のタイミングで音響情報伝送機能を有した楽器５３へ送信され、一方、挿入タイミングＴは、当該挿入情報Ｍを挿入（発報）するタイムコードＴＣの時刻丁度に音響情報伝送機能を有した楽器５３へ送信される。これは以下の理由による。出力インターフェース２６のデータ伝送速度と、音響情報伝送機能を有した楽器５３の信号処理能力が何れも超高速であるような場合は、挿入情報Ｍを、その挿入タイミングの時刻丁度に演算部２４から出力してもよい。即ちこの場合は挿入タイミングＴの演算部２４からの出力は不要になる。しかし、一般的に、使用される出力インターフェース２６の伝送速度はそれほど高速ではなく、また使用される音響情報伝送機能を有した楽器５３の信号処理能力（例えば、挿入情報Ｍに紐付けられた楽器音を検索したりするなど）もそれほど高速ではなく、挿入情報量の多い挿入情報Ｍは、その挿入タイミングの時刻丁度に演算部２４から出力したのでは発報タイミングが遅れてしまう。一方、挿入タイミングＴは短い信号で済むので、その挿入タイミングの時刻丁度に演算部２４から出力してもその発報タイミングが遅れることはない。このため、タイムコードＴＣの時刻（図２で示された実施形態では、１時２３分１．８秒）となる少し前のタイミングに事前に挿入情報量の多い挿入情報Ｍを出力して音響情報伝送機能を有した楽器５３に発報の前準備をさせておき、実際の発報タイミング（前記時刻、１時２３分１．８秒）に情報量の少ない挿入タイミングＴの信号を出力し、この出力タイミング丁度に音響情報伝送機能を有した楽器５３から挿入情報Ｍを含む音響（音響情報データを含んだ楽器音）を出力させる構成としたのである。

【0043】

即ち、挿入タイミングＴを受信したリアルタイム演奏部５０（音響情報伝達情報を有した楽器５３）は、前述したように、挿入情報Ｍを音響（音響情報データを含んだ楽器音）として発報する。この音響（音響情報データを含んだ楽器音）は、前述したように、ミキサー等から構成されたステージ音響システム５４によって１つの楽曲音（音響情報データを含んだ楽曲音）に構成された後、例えばコンサート会場の聴衆に向けて発報される。この楽曲音には、聴衆が所持する携帯端末（スマートフォン等）の被制御装置６０を遠隔操作・制御する挿入情報Ｍが含まれている。

【0044】

図２に示す例は、挿入情報Ｍがスマートフォンの表示画面を所望の色で点灯させる命令情報（制御情報）である場合の例を示している。この例によれば、例えばコンサート会場の聴衆が所持するスマートフォンの表示画面を、挿入タイミングＴが関連付けられたタイムコードＴＣに対応する時刻（０１時２３分０１．８０秒）に、緑色からピンク色に切換えるという遠隔操作・制御を行っている。挿入情報Ｍによる命令情報としては、上記以外にも、女性の有するスマートフォンの表示画面をピンク色に、男性の有するスマートフォンを緑色に表示させるなど、複数のスマートフォン（周辺機器）それぞれが有する固有の情報に対応して異なる動作を実施するよう命じることもできる。またスマートフォンを振動させたり、その表示画面に所望の広告を表示させたり、所望の音声を発報させたりすること等、他の各種の動作をさせることもできる。

【0045】

〔任意信号（挿入情報Ｍ）を楽器音の中に挿入する方法（音響情報の生成法）〕
次に、前記音響情報伝送機能を有した楽器５３（具体的にはサンプラー）において、任意信号（より具体的には挿入情報Ｍ）を楽器音の中に挿入する方法の一例を、図４ないし８を参照しながら説明する。挿入情報Ｍは、所定の周波数の音（音響）の形で楽曲（楽曲を構成する音響）の中に挿入されるが、当該周波数は、人間の可聴帯域（２０～２０ｋＨｚ）にあることが望ましい。なぜなら、本発明を有効活用するためには、“音”を扱う既存のシステム（例えばラジオ、テレビ、音楽プレーヤー等）を有効利用することが望ましいところ、これら既存のシステムの略全てが、主として可聴帯域の音を出力することを前提に設計されているからである。

【0046】

ここで、標準的な体格の成人が意味のある音として聞き分けることのできる音は、１５ｋＨｚが上限と言われている。すなわち、多くの人において、２０～１５ｋＨｚの音は、可聴が容易な周波数（以下、「可聴容易周波数」という。）であり、他方、１５ｋ～２０ｋＨｚの音は、可聴が困難な周波数（以下、「可聴困難周波数」という。）の音である。そこで本発明では、人間の可聴帯域（２０～２０ｋＨｚ）を前記可聴容易領域と可聴困難領域とに区別し、それぞれの領域に適した挿入方法を以下に記載する。

【0047】

可聴容易領域にある周波数の音(音響）を利用して挿入情報Ｍを挿入する方法においては、元の音響の雰囲気（品質）に影響を与え難い方法で挿入することが求められる。このような方法として、例えば、特願２０１４－７４１８０（特開２０１５－１９７４９７）に記載の「音響を用いた任意信号の伝達方法」（以下、「挿入方法１」という。）がある。

【0048】

この挿入方法１では、音を形成する波形を、音の認識に主体的に寄与する本質部分（本質音）と音の認識に付随的に寄与する付随部分（付随音）とに分離し、前記付随音に替えて、挿入情報Ｍを構成する任意信号を挿入する。ここで、前記付随音は、音の認識において前記本質音の下に隠れるため、これを任意信号に差し替えても元の音響の雰囲気（品質）に大きな影響を与えることがない。

【0049】

例えば、打楽器等が発するハンドクラップ音においては、図４に示すように、１１ｍｓ周期程度のインパルス応答に類似した２，３個の波形ａ１が続いた後に長い波形ａ２が現れる。前記波形ａ１は、連続時間は数ｍｓ程度であって、音程感のない音となって聞こえる部分であることが本発明者によって確認されている。この波形ａ１が、前記付随音（以下、「付随音ａ１」という。）に相当し、また、波形ａ１の後に続く長い波形ａ２が、前記本質音（以下、「本質音ａ２」という。）に相当する。第１実施形態では、この付随音ａ１に替えて任意信号（以下、「任意信号ｂ１」という。）を挿入する。ここで、任意信号ｂ１は、挿入情報Ｍを構成する所定の周波数からなる音である。図５に、前記例にならって、打楽器等が発するハンドクラップ音をベースに付随音ａ１を任意信号ｂ１に替えた一実施例を示す。この例では、任意信号ｂ１が、複数の任意信号ｂ－１及びｂ－２から構成されている。なお、汎用的なサンプラーの音は、ハンドクラップ音や短い効果音が使用され、基本的に楽曲のメインメロディーを奏でることよりもリズムタイミング的に補完音として使用されることが多いので、上記の方法で任意信号を容易に挿入でき、好適である。

【0050】

次に、前記挿入方法１にならって、挿入情報ＭをマスターデータＭＤに含まれる情報として生成されるプロセスを、図６を参照しながら説明する。

【0051】

この図６で示されるプロセスでは、はじめにサンプリング音源を音響情報伝送機能を有した楽器５３から録音し、このサンプリング音源を分析する（プロセスＰ１０）。具体的には、前記挿入方法１にならって、前記本質音ａ２と前記付随音ａ１とを区別し、これらを分離する。

【0052】

次に、プロセスＰ１０によって実施された分析結果に基づいて、サンプリング音源が挿入情報Ｍを構成する任意信号を挿入するのに適した音源か否かを判断する（プロセスＰ１１）。

【0053】

プロセスＰ１１において、サンプリング音源が挿入情報Ｍを構成する任意信号を挿入するのに適した音源と判断されると、挿入情報Ｍの主要部を形成する挿入信号を生成する（プロセスＰ１２）。この挿入信号は、挿入方法１に関する説明のなかの任意信号ｂ１に相当し（以下、「挿入信号ｂ１」という。）、前述したように、人間の可聴帯域（２０～２０ｋＨｚ）のなかの、可聴容易周波数（２０～１５ｋＨｚ）の音として構成される。なお、プロセスＰ１１で、サンプリング音源が挿入情報Ｍを構成する任意信号を挿入するのに不適当であると判断されると、その旨が作業者に向けて表示される。

【0054】

プロセスＰ１２で挿入信号ｂ１が生成されると、この挿入信号ｂ１と予め録音されたサンプリング音源とを、前記挿入方法１にならって合成する（プロセスＰ１３）。具体的には、本質音ａ２はそのままに（合成後の本質音を便宜的に本質音ｂ２と称する。）、付随音ａ１を挿入信号ｂ１（ｂ１－１及びｂ１－２）に差し替える。この結果、挿入信号ｂ１（ｂ１－１及びｂ１－２）と本質音ｂ２とから構成された挿入情報Ｍが生成される。

【0055】

前記プロセスＰ１０ないしＰ１３を経て生成された挿入情報Ｍは、前述したように、演算装置２０の記憶装置２２、または音響情報伝送機能を有した楽器５３の記憶手段に記憶・格納される。

【0056】

前記挿入方法１によれば、帯域の広い可聴容易周波数を利用することでより多くの情報を挿入することができ、かつ元の音響の雰囲気（品質）に影響を与えることもない。

【0057】

可聴容易領域にある周波数の音(音響）を利用して挿入情報Ｍを挿入する別の方法として、挿入情報Ｍの主要部を形成する挿入信号ｂ１を、楽曲を構成する音（音響）の一部として積極的に活用する方法（以下、「挿入方法２」という。）がある。例えば挿入信号ｂ１に対応するコード音を効果音等の意味のある音として活用する。

【0058】

挿入方法２の実施プロセスを図７に示す。このプロセスでは、はじめに適切な本質音ｂ２を作成し、又は種々のサンプリング音源の中から適当なものを選択しこれを本質音ｂ２として使用する（プロセスＰ２０）。

【0059】

次に、挿入情報Ｍの主要部を形成する挿入信号ｂ１（ｂ１－１及びｂ１－２）を生成する（プロセスＰ２１）。このとき、挿入信号ｂ１は、前述したように、２０～１５ｋＨｚの範囲にある可聴容易周波数の音からなる効果音等の、楽曲において意味のある音とする。即ちこの例の場合、挿入情報Ｍが楽曲の一部を構成する。

【0060】

その後前記プロセスＰ２０で生成された本質音ｂ２と、プロセスＰ２１で生成された挿入信号ｂ１とを合成する（プロセスＰ２２）。これにより、挿入信号ｂ１と本質音ｂ２とから構成された挿入情報Ｍが生成される。

【0061】

前記プロセスＰ２０ないしＰ２２を経て生成された挿入情報Ｍは、挿入方法１と同様、演算装置２０の記憶装置２２、または音響情報伝送機能を有した楽器５３の記憶手段に記憶・格納される。

【0062】

一方、可聴困難領域にある周波数の音(音響）を利用して挿入情報Ｍを挿入する方法においては、前記挿入方法１又は２を用いてもよいが、元来意味ある音（音響）として識別困難であることから、挿入音秘匿、又は意味のある音として構成することが厳格に要求されない。このため、所望のタイミング（挿入タイミングＴ）に楽曲を構成する音響に付加する方法（以下、「挿入方法３」という。）によって実施してもよい。

【0063】

挿入方法３の実施プロセスを図８に示す。このプロセスでは、はじめに適当な本質音を生成し、又は種々のサンプリング音源の中から適当なものを選択しこれを本質音として使用する（プロセスＰ３０）。なお、サンプリング音源の中には挿入信号と同じ周波数（挿入情報Ｍのキャリヤ周波数）が含まれている可能性がある。したがって、サンプリング音源を本質音に使用する際には、フィルターを用いて事前にキャリヤ周波数を除去しておくことが望ましい。また、可聴可能な音に寄与しない周波数成分であっても、レベルが飽和しないように注意する必要がある。

【0064】

次に、挿入情報Ｍの主要部を形成する挿入信号を生成する（プロセスＰ３１）。このとき、挿入信号は、前述したように、１５ｋ～２０ｋＨｚの範囲にある可聴困難周波数の音から構成される。

【0065】

前記プロセスＰ３０で生成された本質音と、プロセスＰ３１で生成された挿入信号とを合成する（プロセスＰ３２）。これにより、挿入信号と本質音とから構成された挿入情報Ｍが生成される。

【0066】

前記プロセスＰ３０ないしＰ３２を経て生成された挿入情報Ｍは、挿入方法１及び２と同様に、演算装置２０の記憶装置２２、または音響情報伝送機能を有した楽器５３の記憶手段に記憶・格納される。

【0067】

この挿入方法３によれば、挿入方法１及び２のように、挿入音秘匿、又は意味のある音として構成することが厳格に要求されないことから構成に自由度が生まれ、構成が単純化及び演出の多様化を図ることができる。

【0068】

以上に述べた第１実施形態によれば、事前にプログラミングされた伝送情報に含まれるマスターリズム情報ＭＲにしたがったリズムで奏者が演奏することになるので、マスターリズム情報ＭＲと実際に奏でられるリズムとが同期する。この結果、演奏する者や時間や場所が異なることで変化し得るリズムからなる音響内に、事前に定められた所望のタイミングで、被制御装置６０を制御等する伝送可能な任意信号を容易に挿入することが可能になる。

【0069】

[第２実施形態]
本発明に係る第２実施形態を、図９ないし１３を参照しながら説明する。なお、第１実施形態と同一の符号又は記号を付された文言は、特に説明が無い限り、第１実施形態と同一の概念を表す。

【0070】

〔システム構成〕
第２実施形態に用いられる任意信号挿入システム２は、図９に示すように、演算装置２００、リアルタイム演奏部５００及び被制御装置６００といった装置から主に構成されている。

【0071】

演算装置２００は、詳細については後述する実施手順を、所定の演算処理に基づいて履行する部位であって、入力インターフェース２１０、記憶装置２２０、演算部２４０及び出力インターフェース２６０から主に構成されている。

【0072】

入力インターフェース２１０は、リアルタイム演奏部５００（より具体的には、後述するＭＩＤＩ出力付き主旋律担当楽器５１０）から、例えばＭＩＤＩデータ形式化された実演奏ＭＩＤＩデータＤを受信するための部位である。

【0073】

記憶装置２２０は、タイムコードＴＣと、予め記録された楽曲の楽譜情報（以下、「楽譜情報ＧＤ」という。）と、挿入情報Ｍ（挿入情報Ｍそのもの、または挿入情報Ｍを挿入した音響情報伝送機能を有した楽器５３０用の楽器音）と、挿入タイミングＴなどを記憶・格納しており、例えばハードディスクまたはＳＳＤから構成されている。楽譜情報ＧＤは、下記するＭＩＤＩ出力付き主旋律担当楽器５１０のＭＩＤＩ信号データを予めリハーサルなどで記録したものであり、少なくともリズム情報ＧＲを含み、このリズム情報ＧＲと挿入タイミングＴとは、図１０に示すように、タイムコードＴＣに関連付けられている。これら各種情報は、例えばＭＩＤＩデータ形式の形をとるが、その他のデータ形式であってもよい。なお、タイムコードＴＣは、第１実施形態のタイムコードＴＣと同じ概念である。

【0074】

演算部２４０は、詳細については後述する実施手順にしたがって楽譜追跡を実行することで、挿入情報Ｍを挿入するのに適した挿入タイミングＴを抽出し、この抽出された挿入タイミングＴと挿入情報Ｍとを外部装置（より具体的には、後述するリアルタイム演奏部５００の音響情報伝送情報を有した楽器５３０）に向けて出力するよう構成された部位であり、CPUとキャッシュメモリ（メインメモリ）と、キャッシュメモリ（メインメモリ）に記憶された前記楽譜追跡を実行するための動作プログラムとを具備して構成されている。

【0075】

出力インターフェース２６０は、記憶装置２２０に記憶・格納されている挿入情報Ｍと挿入タイミングＴを所定のデータ形成の形で外部装置（より具体的には音響情報伝達情報を有した楽器５３０）へ出力するために、この外部装置と演算装置２００とを電気的に接続するための部位である。

【0076】

リアルタイム演奏部５００は、奏者等によってリアルタイムに奏でられる楽器音と、後述する挿入情報Ｍが挿入された音響情報データを含んだ楽器音とからなる楽曲音を生成し、これを外部に向けて発する部位であり、ＭＩＤＩ出力付き主旋律担当楽器５１０、その他の楽器５２０及び音響情報伝送機能を有した楽器５３０からなる楽器群と、ステージ音響システム５４０とから主に構成されている。

【0077】

ＭＩＤＩ出力付き主旋律担当楽器５１０は、楽曲の主旋律を奏でる部位であり、また、前述したように、演算装置２００の入力インターフェース２１０を通じて演算部２４０に実演奏ＭＩＤＩデータＤを出力する部位である。ＭＩＤＩ出力付き主旋律担当楽器５１０は、例えばＭＩＤＩ出力付きギター等の楽器から構成されている。

【0078】

その他の楽器５２０は、前記ＭＩＤＩ出力付き主旋律担当楽器５１０とともに楽曲を奏でる楽器やボーカル、及び所定のリズムを奏でるベースやドラム等のリズムセッション楽器から構成されている。

【0079】

音響情報伝送機能を有した楽器５３０は、出力インターフェース２６０を通じて演算装置２００から出力された挿入情報Ｍと挿入タイミングＴ（より具体的には、挿入情報Ｍと挿入タイミングＴに関するそれぞれの電気信号）を受信し、当該挿入情報Ｍが挿入された前記音響情報データを含む楽器音を前記挿入タイミングで出力する部位であり、例えばサンプラーやシンセサイザー等から構成されている。この音響情報伝送機能を有した楽器５３０も、前記音響情報伝送機能を有した楽器５３と同様の記憶手段及び機能を有している。即ち、この記憶手段に演算装置２００から入力した挿入情報Ｍなどを記憶する。また、演算装置２００から入力する挿入情報Ｍが、この挿入情報Ｍを挿入した楽器音である場合は、当該挿入情報Ｍの挿入タイミングＴを受信した際に、この楽器音をそのまま出力するように構成する。一方、演算装置２００から入力する挿入情報Ｍが、当該挿入情報Ｍ（この場合の挿入情報は、当該挿入情報Ｍが挿入された楽器音を検索するのに用いる検索用信号であっても良い）のみであるような場合は、予め前記図示しない記憶手段に挿入情報Ｍが挿入された楽器音を記憶しておき、演算装置２００から挿入情報Ｍ（前記検索用信号であっても良い）を受信した際に、前記挿入情報Ｍを挿入した楽器音を検索して待機し、挿入タイミングＴを受信した際に当該楽器音を出力するように構成する。

【0080】

ステージ音響システム５４０は、ＭＩＤＩ出力付き主旋律担当楽器５１０及びその他の楽器５２０が奏でる楽器音と、音響情報伝送機能を有した楽器５３０によって生成された前記音響情報データを含む楽器音（より具体的には、これら音（音響）に関する電気信号）を受信し、これら複数の楽器音から１つの楽曲音（楽曲情報）を構成し、これを聴衆等に向けて発報する部位であって、ミキサー、PA装置及び楽器個別アンプ等から構成されている。前記楽曲音には、挿入情報Ｍが含まれており、第１実施形態と同様に、挿入情報Ｍに基づいて被制御装置６００を、遠隔操作・制御する。なお、挿入情報Ｍは、第１実施形態のところで述べた方法により、前記音響情報データとして可聴容易周波数領域、又は可聴困難周波数領域の信号（音）の形で楽曲音に組み込まれている。

【0081】

被制御装置６００は、第１実施形態の被制御装置６０と同様に、ステージ音響システム５４０から発せられた楽曲音（楽曲情報）に組み込まれた挿入情報Ｍに基づいて遠隔操作・制御される部位であって、例えば聴衆が所持する携帯端末（スマートフォン等）から構成されている。

【0082】

〔実施手順〕
次に、任意信号挿入システム２を用いて第２実施形態を実行するための具体的手順を説明する。当該具体的手順は、図１１に示すように、楽譜追跡ステップＳ２０、挿入情報出力ステップＳ２１及び挿入タイミング出力ステップＳ２２から構成されている。

【0083】

楽譜追跡ステップＳ２０は、楽譜追跡、すなわち、事前に記録された楽曲の楽譜情報とリアルタイムに演奏されている楽曲情報とを、タイムコードＴＣを時間軸として比較するステップである。

【0084】

リアルタイムに楽譜追跡を行う方法として、ＭＩＤＩ信号を使用して行う方法と、汎用的な楽器音を使用して行う方法とが考えられるが、以下ではより実用的なＭＩＤＩ信号を使用して行う方法を説明する。

【0085】

図１２は、前記ＭＩＤＩ信号を使用して楽譜追跡を行う方法の一実施例を示す図である。この実施例においては、楽譜情報ＧＤ及び実演奏データＤが、いずれもＭＩＤＩ形式のデータであって、これら２つのデータに含まれているリズム情報を照合する（ステップＳ２０－１）。次に、楽譜情報ＧＤに含まれるリズム情報が、実演奏データＤに含まれるリズム情報を有効に追跡しているか否かを、音符(小節）を一単位として判定する（ステップＳ２０－２）。

【0086】

ステップＳ２０－１における前記照合は、例えば以下のようにして実行される。すなわち、楽譜情報ＧＤの中に含まれるリズム情報ＧＲ（第一のリズム）と実演奏データＤに含まれるリズム情報Ｒ２（第二のリズム）とを、所定の音符群（小節）単位で一致しているか否かを照合する。

【0087】

また、ステップＳ２０－２における前記判定は、例えばDannenberg のDP(dynamic programming)マッチングの手法が用いられる。このDPマッチングの手法では、前記音符(小節）の単位で楽譜追跡アルゴリズムの正解率ｇを算出し、当該正解率ｇが、予め規定された閾値Ｇ以上であれば有効な音符群（小節）と判定する。閾値Ｇは、挿入情報Ｍの重要度に応じて変えることができる。例えば多少送信タイミング等を間違ってもいい場合は小さな値を設定し、スポンサー情報など（誤送信よりは送信しない方が良い）重要な内容の場合は大きくする。

【0088】

楽譜追跡アルゴリズムの正解率ｇは、以下のようにして算出される。すなわち、楽譜情報ＧＤ及び実演奏データＤの所定の音符群（小節）に含まれるリズム情報ＧＲ及びリズム情報Ｒ２を同一時間軸（同一タイムコード）に関連付けた上で、双方の時間差Δｔを演算装置２００が具備するタイマー（ハードウエアクロック等）によって測定する。時間差Δｔが、予め規定した閾値Ｔ以下のときは、一音符群（小節）において有効と判定し、閾値Ｔより大きいときは、一音符群（小節）において無効と判定する。これを、予め定められた時間内に含まれる前記音符群（小節）の数（以下、「判定回数Ｎ」という。）だけ繰り返す。一音符群（小節）において有効と判定された数ｎを判定回数Ｎで除した数の百分率が正解率ｇとなる。すなわち正解率ｇは、ｇ＝ｎ/Ｎ×１００（％）の式で定義される。この正解率ｇが、予め規定した閾値Ｇ以上のときは、ステップＳ２０－２において有効と判定され、閾値Ｇ未満のときは、ステップＳ２０－２において無効と判定される。

【0089】

楽譜追跡ステップＳ２０（より具体的にはステップＳ２０－２）で有効と判定されると、挿入情報出力ステップＳ２１及び挿入タイミング出力ステップＳ２２へと移行する。これに対し、楽譜追跡ステップＳ２０（より具体的にはステップＳ２０－２）で無効と判定されると、ステップＳ２０－１へと戻る。

【0090】

挿入情報出力ステップＳ２１では、タイムコードＴＣの進行にしたがって、対応する挿入情報Ｍ（または挿入情報Ｍを挿入した楽器音、以下同様）を、リアルタイム演奏部５００（具体的には、音響情報伝送機能を有した楽器５３０）に向けて出力する。また、挿入タイミング出力ステップＳ２２では、タイムコードＴＣの進行にしたがって、対応する挿入タイミングＴを、リアルタイム演奏部５００（具体的には、音響情報伝送機能を有した楽器５３０）に向けて出力する。なお、挿入情報Ｍと挿入タイミングＴを、音響情報伝送機能を有した楽器５３０に送信するそれぞれのタイミングは、上記第１実施形態の場合と同様である。挿入タイミングＴを受信した音響情報伝送機能を有した楽器５３０は、音響情報データを含んだ楽器音を、ステージ音響システム５４０を通じて、聴衆等に向けて発報する。

【0091】

このように、第２実施形態では、例えば図１０に示すように、事前に記録されている曲の楽譜情報ＧＤのリズム情報ＧＲが、同じ曲の実演奏データＤのリズム情報Ｒ２を有効に追跡しているか否か（同期しているか否か）を判定し、有効に追跡しているとき（同期しているとき、図１０で有効のとき）に挿入タイミングＴが存在していると、その挿入情報Ｍをその挿入タイミングＴで発報する。一方、有効に追跡していないとき（同期していないとき、図１０で無効のとき）は、挿入情報Ｍを発報しない。

【0092】

ここで、上記第２実施形態のように、楽譜追跡によって挿入タイミングＴを求める方法は、上記第１実施形態のように、リズム発信装置４０からの音や照明によってリズムを常に同期させながら挿入タイミングを求める方法と異なり、リズムが同期したと判断した後でもリズムが同期しているであろうと予測して、同期と判断した後の挿入タイミングを決めている（換言すれば、過去の有効性の判定結果から将来の挿入タイミングＴの有効性を予測することになる）。この挿入タイミングの予測の妥当性については、以下に述べる実験結果によって担保されている。

【0093】

すなわち、演奏が速くなる現象（走る）を論理的に評価することを目的に、一般成人24 名（12 ペア）に対して実施された実験から、図１３で示すように、人間のリズムの維持能力は高いことが確認されている。この図１３に示された結果によれば、基準のリズム（メトローム）を停止してから４０秒の間は、比較的正確にリズムを刻めることが実証されており、特に停止直後においてはほとんど正確にリズムを維持できることがわかる。

【0094】

前記図１３に示す実験結果によれば、少なくとも実演奏と同期したリズムを刻んでいると判定された後から４０秒の間に存在する挿入タイミングＴ、すなわち、楽譜追跡ステップＳ２０（より具体的にはステップＳ２０－２）で有効と判定された後の４０秒の間に存在する挿入タイミングＴは、楽譜情報ＧＤ及び実演奏ＭＩＤＩデータＤに含まれるリズムが同期した状態下でのタイミングと解することができる。

【0095】

以上、本発明者によってなされた発明の実施形態を具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変形可能である。

【符号の説明】

【0096】

１：任意信号挿入システム
２：任意信号挿入システム
１０：楽曲の開始指示部（開始指示部）
２０：演算装置
２２：記憶装置
２４：演算部
２６：出力インターフェース
３０：装置対応インターフェース
４０：リズム発信装置
５０：リアルタイム演奏部
５１：リズムセッション楽器
５２：その他の楽器
５３：音響情報伝送機能を有した楽器
５４：ステージ音響システム
６０：被制御装置
２００：演算装置
２１０：入力インターフェース
２２０：記憶装置
２４０：演算部
２６０：出力インターフェース
５００：リアルタイム演奏部
５１０：ＭＩＤＩ出力付き主旋律担当楽器
５２０：その他の楽器
５３０：音響情報伝送機能を有した楽器
５４０：ステージ音響システム
６００：被制御装置
ＭＤ：マスターデータ
ＭＲ：マスターリズム情報（第一のリズム）
Ｄ：実演奏データ
Ｒ：リズム（第二のリズム）
Ｍ：挿入情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】