特開 2024-133688 効果音混合装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133688

(43)【公開日】2024-10-02

(54)【発明の名称】効果音混合装置

(51)【国際特許分類】

   G10K 15/04 20060101AFI20240925BHJP

   H04R 3/00 20060101ALI20240925BHJP

【ＦＩ】

G10K15/04 302G

H04R3/00 310

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2024111374

(22)【出願日】2024-07-11

(62)【分割の表示】P 2020063927の分割

【原出願日】2020-03-31

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】岡田 佑介

(57)【要約】      （修正有）

【課題】聴者にとってより自然な効果音を楽曲に付与する効果音出力装置、方法、プログラム及び記憶媒体を提供する。
【解決手段】効果音混合装置（効果音出力装置）は、複数のモードから１つのモードを選択するモード選択部を含む制御部と、第１の領域で発生する音を含む近傍音用の音源データと、第１の領域より基準位置から離れている第２の領域で発生する音を含む遠方音用の音源データと、を出力する効果音出力部と、を有し、出力される近傍音用の音源データの出力レベルと出力される遠方音用の音源データの出力レベルを、それぞれ、選択したモードに基づいて決定する。
【選択図】図５

【特許請求の範囲】

【請求項1】

複数のモードから１つのモードを選択するモード選択部と、
第１の領域で発生する音を含む近傍音用の音源データと、前記第１の領域より基準位置から離れている第２の領域で発生する音を含む遠方音用の音源データと、を出力する効果音出力部と、を有し、
前記出力される近傍音用の音源データの出力レベルと前記出力される遠方音用の音源データの出力レベルは、それぞれ、前記選択されたモードに基づいて決定される、効果音出力装置。

【請求項2】

前記複数のモードは、会場の大きさに応じた複数種類のモードを含む、請求項１に記載の効果音出力装置。

【請求項3】

前記効果音は、歓声および／または拍手の音を含む、請求項１または２に記載の効果音出力装置。

【請求項4】

前記効果音は、会場において常時発生している環境音を含む、請求項１から３のいずれか一項に記載の効果音出力装置。

【請求項5】

前記効果音は、前記楽曲のリズムおよび／または拍に連動した音を含む、請求項１から４のいずれか一項に記載の効果音出力装置。

【請求項6】

前記近傍音用の音源データは、複数種類あり、
前記出力される近傍音用の音源データは、前記近傍音用の複数種類の音源データのうちからランダムに選択される、請求項１から５のいずれか一項に記載の効果音出力装置。

【請求項7】

前記遠方音用の音源データは、複数種類あり、
前記出力される遠方音用の音源データは、前記遠方音用の複数種類の音源データのうちからランダムに選択される、請求項１から６のいずれか一項に記載の効果音出力装置。

【請求項8】

複数のモードから１つのモードを選択するモード選択部と、
複数の音源データを出力する効果音出力部と、を有し、
前記複数の音源データの各々は、複数の領域のうちの１つの領域で発生する音を含み、
前記複数の音源データの各々の出力レベルは、前記選択されたモードに基づいて決定される、効果音出力装置。

【請求項9】

複数のモードから１つのモードを選択するモード選択工程と、
第１の領域で発生する音を含む近傍音用の音源データと、前記第１の領域より基準位置から離れている第２の領域で発生する音を含む遠方音用の音源データと、を出力する効果音出力工程と、を有し、
前記出力される近傍音用の音源データの出力レベルと前記出力される遠方音用の音源データの出力レベルは、それぞれ、前記選択されたモードに基づいて決定される、効果音出力方法。

【請求項10】

請求項９に記載の効果音出力方法を、コンピュータに実行させる効果音出力プログラム。

【請求項11】

請求項１０に記載の効果音出力プログラムを記憶しているコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、効果音混合装置に関する。

【背景技術】

【0002】

楽曲に効果音を付与し、ライブ会場の雰囲気を味わえるようにする技術が知られている。例えば、特許文献１には、カラオケ効果音システムが開示されており、このカラオケ効果音設定システムでは、楽曲のジャンルに応じて効果音の種別が設定され、選択されたライブ会場の規模に応じて効果音の出力態様（手拍子や歓声を発する人数）が設定されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－７０９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

観客による歓声や拍手の音や大きさなどは、会場の規模により変わってくる。そこで、会場の規模ごとに、その会場用の歓声などの音源データを用意し、効果音として用いる音源データを楽曲に応じて変えることで、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。しかしながら、会場の規模ごとに、その会場用の歓声などの音源データを用意した場合、これらの音源データを記憶するために大きな容量の記憶装置が必要になる。しかしながら、特許文献１には、このような課題を解決するための技術が開示されていない。

【0005】

また、ライブ会場では、楽曲が演奏される際に、演奏の始まりの部分や、終わりの部分において、観客による歓声や拍手が発生する。この歓声や拍手が発生するタイミングは、ライブ会場の規模やライブ会場で演奏される楽曲のジャンルなどにより変化する。しかしながら、特許文献１では、このように歓声などが生じるタイミングの違いは考慮されていない。

【0006】

また、ライブ会場では、多くの人が集まっているため、歓声や拍手がないときでも、ざわざわとしている。このため、このざわつきなどの環境音を、楽曲に付与（混合）することで、ライブ会場の雰囲気を味わえるようにすることが可能である。しかしながら、１つの環境音用の音源データを単に連続して出力しただけでは、同じ音源データの音が規則的に繰り返し流れるだけになり、実際のライブ会場で生じる環境音に比べ、規則性が感じられ、自然な環境音と感じられない。特許文献１には、このような課題を解決するための技術が開示されていない。

【0007】

また、ライブ会場では、観客は、楽曲に合わせ、手拍子や足踏みによりリズムを取ることがある。しかしながら、観客は、演奏されるすべての楽曲に、手拍子などによりリズムを取るわけではない。特許文献１では、すべての曲に手拍子を入れており、特許文献１には、このような課題を解決するための技術が開示されていない。

【0008】

また、ライブ会場において、観客は、楽曲の拍に位置に合わせて、手拍子を行おうとするが、観客による手拍子が拍の位置にぴったりと合うことはない。そのため、正確に拍の位置に鳴るように、手拍子の音を出力した場合、聴者は、楽曲に混合された手拍子を、機械的で、不自然な手拍子であると感じてしまう。しかしながら、特許文献１には、このような課題を解決するための技術が開示されていない。

【0009】

本発明が解決しようとする課題としては、聴者にとってより自然な効果音を楽曲に付与することが一例として挙げられる。

【課題を解決するための手段】

【0010】

上記課題を解決するために、請求項１に記載の発明は、楽曲の特徴量を取得する楽曲特徴量取得部と、前記特徴量に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。

【0011】

請求項６に記載の発明は、楽曲の特徴量を取得する楽曲特徴量取得工程と、前記特徴量に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する。

【0012】

請求項７に記載の発明は、請求項６に記載の効果音出力方法を、コンピュータにより実行させる。

【0013】

請求項８に記載の発明は、請求項７に記載の効果音出力プログラムを記憶している。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施例に係る効果音混合装置１００である。

【図2】楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。

【図3】本発明の一実施例に係る効果音混合装置１００における処理動作の一例を示す図である。

【図4】楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。

【図5】本発明の一実施例に係る効果音混合装置１００における処理動作の一例を示す図である。

【図6】楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。

【図7】楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。

【図8】本発明の一実施例に係る効果音混合装置１００における処理動作の一例を示す図である。

【図9】効果音出力部１３０による効果音の出力の一例を示す図である。

【図10】本発明の一実施例に係る効果音混合装置１００における処理動作の一例を示す図である。

【図11】本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。

【図12】楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。

【図13】楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。

【図14】本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。

【発明を実施するための形態】

【0015】

本発明の一実施形態に係る効果音出力装置は、楽曲の特徴量を取得する楽曲特徴量取得部と、前記特徴量に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。このようにすることで、楽曲のジャンルなどの楽曲の特徴量に応じて効果音を付与することが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0016】

前記楽曲の特徴量は、単位時間あたりの拍の数と、音量と、前記楽曲における和音の変化を示す和音変化パラメータと、に基づいた指標である第１の指標を含み、前記出力決定部は、前記第１の指標に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、楽曲がノリのいい曲であるときのみに、楽曲に手拍子が付与されることになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0017】

前記楽曲の特徴量は、帯域ごとのパワーと、前記楽曲における和音の明瞭度を示す和音明瞭度パラメータと、に基づいた指標である第２の指標を含み、前記出力決定部は、前記第２の指標に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、楽曲がノリのいい曲であるときのみに、楽曲に手拍子が付与されることになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0018】

前記楽曲の特徴量は、単位時間あたりの拍の数と、音量と、前記楽曲における和音の変化を示す和音変化パラメータと、に基づいた指標である第１の指標、および帯域ごとのパワーと、前記楽曲における和音の明瞭度を示す和音明瞭度パラメータと、に基づいた指標である第２の指標を含み、前記出力決定部は、前記第１の指標および前記第２の指標に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、楽曲がノリのいい曲であるときのみに、楽曲に手拍子が付与されることになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0019】

前記楽曲の特徴量は、単位時間あたりの拍の数を含み、前記出力決定部は、前記単位時間あたりの拍の数が所定の範囲内にないときは、前記楽曲に効果音を混合しないと決定し、前記単位時間あたりの拍の数が所定の範囲内にあるときは、前記算出された第１の指標および第２の指標に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、楽曲がノリのいい曲であるときのみに、楽曲に手拍子が付与されることになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0020】

また、本発明の一実施形態にかかる効果音出力方法は、楽曲の特徴量を取得する楽曲特徴量取得工程と、前記特徴量に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する。このようにすることで、楽曲のジャンルなどの楽曲の特徴量に応じて効果音を付与することが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0021】

また、本発明の一実施形態に係る効果音出力プログラムは、上記の効果音出力方法を、コンピュータに実行させる。このようにすることで、コンピュータを用いて、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0022】

また、本発明の一実施形態に係るコンピュータ読み取り可能な記憶媒体は、上記の効果音出力プログラムを記憶している。このようにすることで、上記の効果音出力プログラムを、機器に組み込む以外にも単体で流通することが可能になり、バージョンアップ等を容易に行うことが可能になる。

【実施例0023】

＜効果音混合装置１００＞
図１は、本発明の一実施例に係る効果音混合装置１００である。効果音混合装置１００は、聴者がライブ会場で楽曲を聴いているような雰囲気を味わえるようにするために、楽曲に効果音を混合（付与）して出力する。そこで、効果音混合装置１００は、楽曲のデータや効果音用の音源データなどを記憶する記憶部１１０と、楽曲を出力する楽曲出力部１２０と、効果音を出力する効果音出力部１３０と、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する混合部１４０と、を有する。混合部１４０により効果音が混合された楽曲の音は、スピーカなどの音出力装置から出力される。

【0024】

記憶部１１０は、楽曲のデータや効果音用の音源データを記憶する。記憶部１１０は、ハードディスクやフラッシュメモリなどの記憶装置である。

【0025】

楽曲出力部１２０は、楽曲を出力する。楽曲出力部１２０は、例えば、記憶部１１０やＣＤ（Ｃｏｍｐｃｔ Ｄｉｓｃ）、クラウド上などに記憶された楽曲のデータを取得し、この取得したデータから楽曲の信号を生成し、生成された楽曲の信号を出力する。

【0026】

効果音出力部１３０は、効果音を出力する。効果音出力部１３０は、例えば、記憶部１１０に記憶された効果音用の音源データを取得し、この取得した音源データから効果音の信号を生成し、生成された効果音の信号を出力する。

【0027】

効果音としては、ライブ会場において楽曲に始まりや終わりに生じる歓声や拍手などの第１の効果音、ライブ会場において常時発生している環境音（ざわつき）などの第２の効果音、ライブ会場において楽曲のリズムや拍に合わせて行われる手拍子などの第３の効果音がある。

【0028】

図２は、楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。図２に示した例では、第１の効果音（歓声や拍手など）は、楽曲の始まりの部分と終わりの部分に付与される。第２の効果音（環境音）は、楽曲の出力が始まる前から出力され、楽曲が再生されている間はずっと出される。第３の効果音（手拍子など）は、下記で詳述するように、楽曲が出力されている間に、楽曲の拍の位置に出力される。

【0029】

混合部１４０は、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合し、効果音が混合された楽曲を出力する。混合部１４０は、例えば、複数の信号を加算して、加算された信号を出力する装置であり、楽曲出力部１２０から出力された楽曲の信号と効果音出力部１３０から出力された効果音の信号とを加算し、加算された信号を出力する。

【0030】

さらに、効果音混合装置１００は、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する制御部１５０を有する。制御部１５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを有するコンピュータにより構成される。

【0031】

制御部１５０は、例えば、楽曲の特徴量を取得する楽曲特徴量取得部１５１と、楽曲の曲調やジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択するモード選択部１５２と、楽曲特徴量取得部１５１により取得された楽曲の特徴量やモード選択部１５２により選択されたモードに基づいて、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する出力制御部１５３と、を有する。上記実施形態の効果音出力装置は、例えば、効果音出力部１３０と制御部１５０を含む。

【0032】

楽曲特徴量取得部１５１は、楽曲の特徴量を取得する。楽曲の特徴量は、例えば、楽曲の音量、楽曲の拍の位置、単位時間あたりの拍の数（例えば、ＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ））、楽曲の拍子、楽曲に使用される和音の種類の数、単位時間あたりの和音の数、和音の明瞭度、各帯域のパワー、楽曲のサビの位置などがある。

【0033】

楽曲特徴量取得部１５１は、楽曲を解析することで、楽曲の特徴量を取得するようにしても良いし、事前の解析で得られていた楽曲の特徴量が記憶部１１０やクラウド上に記憶されるようにし、楽曲特徴量取得部１５１は、記憶部１１０やクラウド上に記憶された楽曲の特徴量を取得するようにしても良い。また、楽曲特徴量取得部１５１は、記憶部１１０やＣＤなどに記憶された楽曲のデータに付与されたタグ情報から、楽曲の特徴量を取得するようにしても良い。

【0034】

例えば、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の音量に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。このようにすることで、楽曲の音量に比べて、混合された効果音の音量が大きくなりすぎることや、小さくなりすぎることを防ぐことが可能になり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0035】

また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲の曲調を検出し、この検出された曲調に基づいて、効果音出力部１３０からの効果音の出力を制御するようにしても良い。このとき、例えば、記憶部１１０が、スタジアムや野外フェス、アリーナなどの大規模会場用の効果音や、ホールや中大規模のライブハウスなどの中規模会場用の効果音、小規模のライブハウスや音楽バーなどの小規模会場用の効果音を記憶するようにし、出力制御部１５３は、検出された曲調に基づいて、効果音出力部１３０から出力される効果音を、大規模会場用の効果音、中規模会場用の効果音、小規模会場用の効果音のいずれにするかを決定するようにしても良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0036】

モード選択部１５２は、楽曲のジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択する。このとき、モード選択部１５２は、ユーザの入力に基づいてモードを選択するようにしても良いし、楽曲の特徴量や楽曲のタグ情報などに基づいてモードを選択するようにしても良い。

【0037】

例えば、複数のモードには、ライブ会場の規模ごとに用意されたモードを含むようにすると良い。例えば、大規模会場用のモードや、中規模会場用のモード、小規模会場用のモードを用意すると良い。そして、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、例えば、大規模用のモードが選択された場合は、出力される効果音として、大規模用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0038】

例えば、複数のモードには、曲調やジャンルごとに用意されたモードを含むようにすると良い。例えば、ノリのいいポップス用のモードや、落ち着いたポップス用のモード、クラシック用のモード、ジャズ用のモードなどを用意すると良い。そして、記憶部１１０が、各モード用の効果音を記憶するようにし、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、ノリのいいポップス用のモードが選択された場合は、出力される効果音として、ノリのいいポップス用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0039】

＜効果音混合装置１００における処理動作＞
図３は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。楽曲特徴量１５１が楽曲の特徴量を取得する、または、モード選択部１５２がモードを選択する（ステップＳ３０１）。出力制御部１５３は、取得した特徴量または選択されたモードに基づいて、楽曲出力部１２０により楽曲を出力し、効果音出力部１３０により効果音の出力する（ステップＳ３０２）。混合部１４０が、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する（ステップＳ３０３）。

【0040】

＜効果音の出力＞
観客による歓声や拍手、環境音、手拍子の音や大きさなどは、例えば、会場の規模により変わってくる。そこで、会場の規模ごとに、その会場用の歓声などの音源データを用意し、効果音として用いる音源データを楽曲に応じて変えることで、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。しかしながら、会場の規模ごとに、その会場用の歓声などの音源データを用意した場合、これらの音源データを記憶するために大きな容量の記憶装置が必要になる。

【0041】

そこで、本発明の一実施例に係る効果音混合装置１００では、複数の領域で発生した音を混合することで、効果音を出力するようにする。具体的には、本実施例では、出力制御部１５３は、効果音出力部１３０により、各々が複数の領域の一つの領域で発生する音を含む複数の音源データを効果音として出力するようにする。そして、このとき、出力制御部１５３は、例えば、モード選択部１５２により選択されたモードに基づいて、複数の音源データの出力レベルを決定する。

【0042】

例えば、本実施例では、出力制御部１５３は、効果音出力部１３０により、基準位置の近傍（第１の領域）で発生する音を含む近傍音用の音源データと、基準位置の遠方（第１の領域より基準位置から離れている第２の領域）で発生する音を含む遠方音用の音源データと、を効果音として出力するようにすると良い。そして、このとき、出力制御部１５３は、例えば、モード選択部１５２により選択されたモードに基づいて、出力される近傍音用の音源データの出力レベルと出力される遠方音用の音源データの出力レベルを決定するようにすると良い。ここで、基準位置は、例えば、ライブ会場における観客の位置である。また、基準位置は、ライブ会場のステージの位置であっても良い。

【0043】

このため、本実施例では、例えば、遠方音用の音源データの出力レベルを近傍音用の音源データの出力レベルと同じくらいすることで、近傍で発生する歓声や拍手と遠方で発生する歓声や拍手の両方が楽曲に付与されることになり、聴者は、大規模なライブ会場で楽曲が演奏されている雰囲気を味わうことが可能になる。また、遠方音用の音源データの出力レベルの出力をゼロにすることで、近傍で発生する歓声や拍手だけが楽曲に付与されることになり、聴者は、小規模なライブ会場で楽曲が演奏されている雰囲気を味わうことが可能になる。つまり、本実施例では、少ない音源データにより、様々な規模の会場に適した効果音を楽曲に付与することが可能になる。結果、少ない音源データにより、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0044】

近傍音用の音源データと遠方音用の音源データが用意される効果音は、第１の効果音（歓声、拍手など）でも良いし、第２の効果音（環境音）でも良いし、第３の効果音（手拍子など）でも良い。例えば、図４に示した例では、第１の効果音、第２の効果音に対して、近傍音用の音源データと遠方用の音源データを出力している。

【0045】

例えば、複数のモードに、大規模会場用のモードや、中規模会場用のモード、小規模会場用のモードが含まれているようにすることで、本実施例では、会場の規模に応じた効果音を楽曲に付与することが可能になる。例えば、モード選択部１５２により大規模会場用のモードが選択されたとき、出力制御部１５３は、遠方音用の音源データと近傍音用の音源データを同じ出力レベルで出力するように効果音出力部１３０を制御すると良い。また、例えば、モード選択部１５２により中規模会場用のモードが選択されたとき、出力制御部１５３は、遠方音用の音源データの出力レベルを近傍音用の音源データの出力レベルに比べて小さくなるように出力するように効果音出力部１３０を制御すると良く、モード選択部１５２により小規模会場用のモードが選択されたとき、出力制御部１５３は、遠方音用の音源データの出力レベルをゼロにし、近傍音用の音源データだけを出力するように効果音出力部１３０を制御すると良い。

【0046】

また、記憶部１１０が、近傍音用の音源データとして、複数種類の音源データを記憶するようにし、出力制御部１５３は、効果音出力部１３０から出力される近傍音用の音源データを、この複数種類の音源データからランダムに選択するようにしても良い。同様に、記憶部１１０が、遠方音用の音源データとして、複数種類の音源データを記憶するようにし、出力制御部１５３は、効果音出力部１３０から出力される遠方音用の音源データを、この複数種類の音源データからランダムに選択するようにしても良い。このようにすることで、効果音出力部１３０から出力される効果音が単調でなくなり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0047】

また、記憶部１１０が、残響用の音源データを記憶するようにし、出力制御部１５３は、近傍音用の音源データ、遠方音用の音源データに加え、残響用の音源データを出力するようにしても良い。このようにすることで、楽曲に付与される効果音が、ライブ会場で生じる音に近い音になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0048】

図５は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。モード選択部１５２がモードを選択する（ステップＳ５０１）。出力制御部１５３は、選択されたモードに基づいて、近傍音用の音源データの出力レベルと遠方音用の音源データの出力レベルを決定し（ステップＳ５０２）、効果音出力部１２０により、この決定された出力レベルで、近傍音用の音源データと遠方音用の音源データを出力する（ステップＳ５０３）。

【0049】

なお、上記実施例では、複数の音源データを混合することで、第１の効果音のバリエーションを増やしているが、音処理を使い分けること（例えば、パラメータ設定を変えること）で、第１の効果音のバリエーションを増やすようにして良い。

【0050】

また、上記実施例では、複数の音源データの各々の出力レベルを変えることで、会場の規模に適した第１の効果音を出力しているが、複数の音源データの各々の出力レベルを変えることで、会場のその他の特徴（会場の形状など）に適した第１の効果音を出力できるようにしても良い。

【0051】

＜第１の効果音（歓声、拍手など）の出力＞
ライブ会場では、楽曲が演奏される際に、演奏の始まりの部分や、終わりの部分において、観客による歓声や拍手が発生する。この歓声や拍手が発生するタイミングは、ライブ会場の規模やライブ会場で演奏される楽曲のジャンルなどにより変化する。

【0052】

そこで、本発明の一実施例に係る効果音混合装置１００では、楽曲のジャンルに基づいて、第１の効果音（歓声、拍手）の楽曲への付与の仕方を決定する。このとき、楽曲のジャンルは、楽曲特徴量取得部１５１により取得されるようにすると良い。また、モードが曲調やジャンルごとに用意されている場合、モード選択部１５２によりモードを選択することでも、楽曲のジャンルが決まる。よって、本実施例に係る効果音混合装置１００では、設定されたモード（つまり、モード選択部により選択されたモード）に基づいて、第１の効果音（歓声、拍手）の楽曲への付与の仕方を決定するようにしても良い。

【0053】

例えば、本実施例に係る効果音混合装置１００では、出力制御部１５３は、楽曲のジャンルまたはモード選択部により選択されたモードに基づいて、第１の効果音が楽曲の始まりの部分に重複する時間を決定し、この決定に基づいて、楽曲出力部１２０による楽曲の出力と効果音出力部１３０による効果音の出力を制御する。特に、本実施例に係る効果音混合装置１００では、出力制御部１５３は、楽曲のジャンルまたはモード選択部により選択されたモードに基づいて、楽曲の始まりの部分に重複するように第１の効果音を出力するのか否かを決定し、この決定に基づいて、楽曲出力部による楽曲の出力と効果音出力部による効果音の出力を制御する。例えば、本実施例において、効果音出力部１３０は、図６に示すように、楽曲の始まりの部分に重複するように、第１の効果音が出力されるように制御される。また、本実施例において、効果音出力部１３０は、図７に示すように、楽曲の出力が開始される前に、楽曲に重複しないように、第１の効果音が出力されるように制御される。このようにすることで、本実施例では、楽曲のジャンルに応じた効果音の出力を行うことが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0054】

また、楽曲の始まりの部分に付与される効果音を出力するタイミングは、楽曲の音量や楽曲の音量の変化スピードに基づいて決定されるようにしても良い。

【0055】

また、本実施例に係る効果音混合装置１００では、楽曲の終わりの部分に付与される効果音を出力するタイミングを、楽曲の終了までの時間および前記楽曲の音量に基づいて決定する。例えば、図６、７に示すように、楽曲の終了の所定の時間ｔｅ前の時間以降に、楽曲のレベルが所定の音量値以下になったときに、楽曲の終わりの部分に付与される第１の効果音を出力する。このようにすることで、ライブ会場において楽曲が終わったと観客が感じたときに行う歓声や拍手と同様のタイミングで、楽曲に歓声や拍手などの第１の効果音を付与することが可能になる。

【0056】

楽曲の終了する際の音量の変化は、楽曲によって異なる。そこで、楽曲の終わりの部分に付与される効果音を出力するタイミングは、楽曲の音量の変化スピードに基づくようにしても良い。このようにすることで、楽曲の終了する際の音量の変化に適した効果音の出力を行うことが可能になる。

【0057】

このとき、閾値となる所定の音量値は、楽曲のジャンルおよび／または会場の規模に基づいて決定するようにしても良い。このようにすることで、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0058】

例えば、音楽のジャンルを二つのグループ、第１のグループと第２のグループに分け、出力制御部１５３は、楽曲のジャンルが第１のグループに含まれるジャンルであるときは、図６に示すように、第１の効果音の出力を開始するように、楽曲出力部１２０と効果音出力部１３０を制御するようにすると良い。また、出力制御部１５３は、楽曲のジャンルが第２のグループに含まれるジャンルであるときは、図７に示すように、効果音出力部１３０による第１の効果音の出力が終了した後に、楽曲の出力が開始されるように、楽曲出力部１２０と楽曲出力部１３０を制御するようにすると良い。

【0059】

落ち着いた音楽のジャンルの楽曲は、ノリのいい音楽のジャンルの楽曲よりも小さい会場で演奏されることが多い。そこで、出力制御部１５３は、例えば、楽曲のジャンルが第１のグループに含まれるジャンルであるときは、楽曲の終了の所定時間ｔｅ前の時間以降かつ楽曲の音量が第１の音量値以下になったときに第１の効果音の出力を開始するように、効果音出力部１４０を制御するようにし、楽曲のジャンルが第２のグループに含まれるジャンルであるときは、楽曲の終了の所定時間ｔｅ前の時間以降かつ楽曲の音量が第２の音量値以下になったときに第１の効果音の出力を開始するように、効果音出力部１４０を制御するようにしても良い。

【0060】

また、記憶部１１０に第１の効果音用の複数種類の音源データを記憶するようにし、出力制御部１５３は、第１の効果音を出力するごとに、この複数種類の音源データからランダムに１つの音源データを選択し、この音源データを第１の効果音として出力するようにしても良い。このようにすることで、楽曲の始まりと終わりとで、歓声や拍手が変わり、また、楽曲ごとに、歓声や拍手が変わるため、楽曲に付与される効果音がより自然になり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0061】

このとき、記憶部１１０には、会場の規模ごとに、第１の効果音用の複数種類の音源データを記憶するようし、出力制御部１５３は、第１の効果音を出力するごとに、モード選択部１５２により選択されたモードに基づいた規模の会場用の複数種類の音源データからランダムに選択し、この音源データを第１の効果音として出力するようにしても良い。このようにすることで、会場の規模にあった歓声や拍手が楽曲に付与されることになり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。このとき、第１の効果音用の音源データは、上述したように、近傍用の音源データと遠方用の音源データにより構成されるようにしても良い。

【0062】

楽曲の始まる部分に付与される第１の効果音用の音源データとは別に、楽曲の終わりの部分に付与される第１の効果音用の音源データを用意するようにしても良い。また、このとき、記憶楽曲の始まる部分に付与される第１の効果音と楽曲の終わりの部分に付与される第１の効果音のそれぞれに対して、複数種類の音源データを用意するようにしても良い。

【0063】

楽曲を連続して出力するときは、出力制御部１５３は、図６に示すように、前の楽曲に終わりの部分に付与された第１の効果音の出力が終わった後に、楽曲出力部１２０により次の楽曲の出力をするようにすると良い。このとき、前の楽曲と次の楽曲の間の時間ｔｉは、一定であっても良いし、ランダムに選択されるようにしても良い。

【0064】

また、例えば、第２のグループに含まれるジャンルの楽曲が連続して出力されるときは、出力制御部１５３は、図７に示すように、前の楽曲に終わりの部分に付与された第１の効果音の出力が終わったときに、楽曲出力部１２０により次の楽曲の出力をするようにすると良い。または、第２のグループに含まれるジャンルの楽曲が連続して出力されるときに、出力制御部１５３は、楽曲が連続している間は、効果音出力部１３０により第１の効果音を出力せず、最後の楽曲の終わりの部分にのみ、効果音出力部１３０により第１の効果音を出力するようにしても良い。このとき、出力制御部１５３は、連続する楽曲間には間隔が入らないように、楽曲出力部１２０により楽曲を出力するようにしても良い。

【0065】

また、第１の効果音の出力レベルは、例えば、第１の効果音が出力開始から一定時間経過するまでの間に、ゼロから漸増するようにしても良い。つまり、第１の効果音は、フェイドインするようにしても良い。

【0066】

図８は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。出力制御部１５３は、楽曲のジャンルが第１のグループに含まれるジャンルであるならば（ステップＳ８０１、ＹＥＳ）、まず、楽曲出力部１２０により、楽曲を出力する（ステップＳ８０２）。楽曲が出力されてから所定の時間ｔｂが経過したときに（ステップＳ８０３、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ８０４）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ８０５）。そして、楽曲の終了の所定時間ｔｅ前の時間を超えた後（ステップＳ８０６、ＹＥＳ）、楽曲の音量が第１の音量値以下になったときに（ステップＳ８０７、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ８０８）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ８０９）。

【0067】

一方、出力制御部１５３は、楽曲のジャンルが第１のグループに含まれるジャンルでなく、第２のグループに含まれるジャンルであるならば（ステップＳ８０１、ＮＯ）、まず、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ８１０）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ８１１）。第１の効果音の出力が終了したとき（ステップＳ８１２、ＹＥＳ）、出力制御部１５３は、楽曲出力部１２０により、楽曲を出力する（ステップＳ８１３）。そして、楽曲の終了の所定時間ｔｅ前の時間を超えた後（ステップＳ８１４、ＹＥＳ）、楽曲の音量が第２の音量値以下になったときに（ステップＳ８１５、ＹＥＳ）、出力制御部１５３は、複数種類の第１の効果音用の音源データからランダムに１つの音源データを選択し（ステップＳ８１６）、効果音出力部１３０により、この音源データを第１の効果音として出力する（ステップＳ８１７）。

【0068】

また、出力制御部１５３は、楽曲の音量と楽曲の音量の変化スピードに基づいて、効果音出力部１３０により出力される第１の効果音の音量や第１の効果音の音量の遷移を決定するようにしても良い。

【0069】

＜第２の効果音（環境音）の出力＞
ライブ会場では、多くの人が集まっているため、歓声や拍手がないときでも、ざわざわとしている。このため、このざわつきなどの環境音を、楽曲に付与（混合）することで、ライブ会場の雰囲気を味わえるようにすることが可能である。しかしながら、１つの環境音用の音源データを単に連続して出力しただけでは、同じ音源データの音が規則的に繰り返し流れるだけになり、実際のライブ会場で生じる環境音に比べ、規則性が感じられ、自然な環境音と感じられない。

【0070】

そこで、本発明の一実施例に係る効果音混合装置１００では、第２の効果音を連続して出力する際に、連続して出力される第２の効果音のうちの互いに前後する第２の効果音の一部は同時に出され、その前後する第２の効果音が同時に出力される時間（重複時間ＴＯ）は、ランダムに設定される。つまり、本実施例では、出力制御部１５３は、効果音出力部１３０により第２の効果音を出力する際に、ランダムに重複時間ＴＯを選択し、図９に示すように、前に出力された第２の効果音の終了の選択された重複時間ＴＯだけ前に、次の第２の効果音を出力するように、効果音出力部１３０を制御する。

【0071】

このようにすることで、たとえ第２の効果音用の音源データが一種類の音源データのみであっても、第２の効果音の出力のタイミングが単調でなく、ランダムになり、規則性が薄れる。結果、聴者にとってより自然な環境音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0072】

第２の効果音用の音源データは、一種類の音源データのみを含んでいても良いし、複数種類の音源データを含んでいても良い。第２の効果音用の音源データが一種類の音源データのみを含んでいる場合は、第２の効果音用の音源データに記憶される記憶部１１０の容量を抑えることが可能になる。

【0073】

一方、第２の効果音用の音源が複数種類の音源データを含んでいる場合は、効果音出力部により出力される第２の効果音の各々は、複数種類の音源データからランダムに選択された音源データの音であるようにすると良い。つまり、出力制御部１５３は、複数種類の第２の効果音用の音源データのうちから１つの音源データをランダムに選択し、この選択された音源データを第２の効果音として出力するように、効果音出力部１３０を制御すると良い。このようにすることで、より規則性が無くなり、結果、聴者にとってより自然な環境音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0074】

また、会場の規模ごとにモードが用意されているようなときは、第２の効果音の音源データを、会場の規模ごとに用意するようにしても良い。そして、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、音源データを選択し、この音源データを効果音出力部１３０により出力するようにしても良い。

【0075】

重複時間ＴＯは、例えば、所定の範囲から選択されるようにすると良い。このとき、重複時間ＴＯは、会場の大きさ、つまり、モード選択部１５２により選択されたモードにより異なる範囲から選択されるようにしても良い。

【0076】

出力制御部１５３は、重複時間ＴＯにおいて、前の第２の効果音の出力レベルを、ゼロまで漸減させ、つまり、フェイドアウトさせ、後の第２の効果音の出力レベルは、ゼロから漸増させる、つまり、フェイドインさせるようにすると良い。このようにすることで、重複時間ＴＯにおいても、効果音の出力レベルが変化することがなくなり、結果、聴者にとってより自然な環境音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0077】

なお、上記では、連続して出力される効果音は、第２の効果音（環境音）であるが、上記の連続して出力される効果音は、第１の効果音（歓声、拍手など）であっても良い。つまり、楽曲の始まりや終わりの部分に付与される第１の効果音として、２以上の音源データを連続して出力するようにしても良い。

【0078】

図１０は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。楽曲の再生が開始されたときに（ステップＳ１００１、ＹＥＳ）、出力制御部１５３は、効果音出力部１３０により第２の効果音を出力する（ステップＳ１００２）。楽曲の再生が終了していないならば（ステップＳ１００３、ＮＯ）、出力制御部１５３は、重複時間をランダムに選択し（ステップＳ１００４）、前に出力された第２の効果音と選択された重複時間だけ重複するように、前の出力された第２の効果音の出力の終了の重複時間前の時間に（ステップＳ１００５、ＹＥＳ）、効果音出力部１３０により第２の効果音を出力する（ステップＳ１００２）。楽曲の再生が終了したならば（ステップＳ１００３、ＹＥＳ）、処理を終了する。図１０に示した処理動作では、複数の楽曲が連続再生される場合は、ステップＳ１００３において、この連続再生が終了したのか否かの確認を行い、連続再生が終了したときに、楽曲の再生が終了したと判断する。

【0079】

＜第３の効果音（手拍子など）の混合判定＞
ライブ会場では、観客は、楽曲に合わせ、手拍子や足踏みによりリズムを取ることがある。しかしながら、観客は、演奏されるすべての楽曲に、手拍子などによりリズムを取るわけではない。観客は、例えば、ノリのいい曲に対しては、手拍子などでリズムを取る。

【0080】

そこで、本発明の一実施例に係る効果音混合装置１００では、出力制御部１５３出力制御部１５３が、楽曲の特徴量に基づいて、楽曲に第３の効果音（手拍子など）を混合（付与）するのか否かを決定する。このようにすることで、例えば、出力制御部１５３が、楽曲の特徴量に基づき、楽曲がノリのいい曲であるのか否かを判断し、ノリのいい曲のみに、手拍子などの第３の効果音を付与することが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0081】

例えば、楽曲特徴量取得部１５１は、楽曲の特徴量として、ＢＰＭなどの単位時間あたりの拍の数を取得するようにすると良い。そして、出力制御部１５３は、この単位時間あたりの拍の数が所定の範囲内にあるのか否かを判断し、単位時間あたりの拍の数が所定の範囲内にないときは、楽曲に第３の効果音を混合しないと決定し、単位時間あたりの拍の数が所定の範囲内にあるときは、楽曲に第３の効果音を混合すると決定するようにすると良い。

【0082】

また、例えば、楽曲特徴量取得部１５１は、音量（例えば、楽曲における最大音量）と、単位時間あたりの拍の数と、楽曲における和音の変化を示す和音変化パラメータと、に基づいた第１の指標を楽曲の特徴量として取得するようにし、出力制御部１５３は、第１の指標に基づいて、楽曲に第３の効果音を混合するのか否かを決定するようにしても良い。第１の指標は、楽曲がノリのいい曲であるのか否かを判定するための指標であり、例えば、単位時間あたりの拍の数や音量、和音変化パラメータを重み付け加算することなどで得られる。

【0083】

単位時間あたりの拍の数を見ることにより、テンポの速い楽曲であるのか否かを知ることが可能である。テンポが速い楽曲は、リズムを取りたくなるような、ノリのいい曲である可能性が高い。また、音量が大きい楽曲は、観客を圧倒して巻き込む迫力があり、ノリのいい曲である可能性が高い。また、和音の変化が大きい楽曲は、観客を盛り上げる力があり、ノリのいい曲である可能性が高い。和音変化パラメータとしては、単位時間あたりの和音の数や、楽曲における和音の種類数などや、これらのパラメータの重み付け加算することで得られるパラメータなどがある。

【0084】

よって、第１の指標を用いることで、楽曲が、テンポが速く、音が大きめで、和音の変化が多い、ノリのいい曲であるのか否かを判断することが可能になる。例えば、テンポが速く、音が大きめで、和音の変化が多い楽曲ほど、第１の指標が小さくなるように、第１の指標を定義した場合は、出力制御部１５３は、楽曲に対して算出された第１の指標が第１の閾値以下である場合に、この楽曲はノリがいい曲であるとして、この楽曲に第３の効果音を混合することを決定し、第１の指標が第１の閾値より大きい場合に、この楽曲はノリがいい曲でないとして、この楽曲に第３の効果音を混合しないことを決定すると良い。このようにすることで、楽曲がノリのいい曲であるときのみに、楽曲に手拍子が付与されることになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0085】

また、例えば、楽曲特徴量取得部１５１は、帯域ごとのパワーと、楽曲における和音の明瞭度を示す和音明瞭度パラメータと、に基づいた第２の指標を楽曲の特徴量として取得するようにし、出力制御部１５３は、第２の指標に基づいて、楽曲に第３の効果音を混合するのか否かを決定するようにしても良い。第２の指標は、楽曲がノリのいい曲であるのか否かを判定するための指標であり、例えば、帯域間のパワー比（例えば、低音域と高音域のパワー比）や和音明瞭度パラメータを重み付け加算することなどで得られる。

【0086】

帯域ごとのパワーを見ることにより、低音を発するベースやバスドラムなどのリズムパートが強い楽曲であるのか否かを知ることが可能である。リズムパートが強い楽曲は、リズムを取りたくなるような、ノリのいい曲である可能性が高い。また、和音が明瞭である楽曲は、安らぎや落ち着きを与えるのに対し、和音が明瞭でない楽曲は、騒々しく、リズムが強調される。このため、和音が明瞭でない楽曲は、リズムを取りたくなるような、ノリのいい曲である可能性が高い。和音明瞭度パラメータとしては、例えば、ＷＯ２００９／１０４２６９のハーモニー明瞭度などを用いると良い。このハーモニー明瞭度も楽曲における和音の明瞭度を示す値である。

【0087】

よって、第２の指標を用いることで、楽曲が、リズムパートの強く、和音が明瞭でない、ノリのいい曲であるのか否かを判断することが可能になる。例えば、リズムパートが強く、和音が明瞭でない楽曲ほど、第２の指標が大きくなるように、第２の指標を定義した場合は、出力制御部１５３は、楽曲に対して算出された第２の指標が第２の閾値以上である場合に、この楽曲はノリがいい曲であるとして、この楽曲に第３の効果音を混合することを決定し、第２の指標が第２の閾値未満である場合に、この楽曲はノリがいい曲でないとして、この楽曲に第３の効果音を混合しないことを決定すると良い。このようにすることで、楽曲がノリのいい曲であるときのみに、楽曲に手拍子が付与されることになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0088】

なお、上記では、楽曲の特徴量に基づいて楽曲に混合されるのか否かを決定される効果音は、第３の効果音（手拍子）であるが、上記の混合されるのか否かを決定される効果音は、第１の効果音（歓声、拍手など）や第２の効果音（環境音）であっても良い。つまり、楽曲の始まりや終わりの部分に第１の効果音に付与するのか否かや、楽曲の生成中に第２の効果音を付与するのか否かを、楽曲の特徴量に基づいて決定するようにしても良い。

【0089】

図１１は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。出力制御部１５３は、第１の条件「楽曲のＢＰＭが所定の範囲内にある」、第２の条件「第１の指標が第１の閾値以下である」、第３の条件「第２の指標が第２の閾値以上である」の３つの条件のすべてを満たしているのか否かを確認し（ステップＳ１１０１）、３つの条件のすべてを満たしているときは（ステップＳ１１０１、ＹＥＳ）、出力制御部１５３は、楽曲に第３の効果音を混合すると決定し、効果音出力部１３０により、第３の効果音を出力する（ステップＳ１１０２）。３つの条件のすべてを満たしていないときは（ステップＳ１１０１、ＮＯ）、出力制御部１５３は、楽曲に第３の効果音を混合しないと決定する（ステップＳ１１０３）。

【0090】

＜第３の効果音（手拍子）の出力＞
ライブ会場において、観客は、楽曲の拍に位置に合わせて、手拍子を行おうとするが、通常、観客による手拍子が拍の位置にぴったりと合わないことが多々ある。そのため、正確に拍の位置に鳴るように、手拍子の音を出力した場合、聴者は、楽曲に混合された手拍子を、機械的で、不自然な手拍子であると感じてしまう。

【0091】

そこで、本発明の一実施例に係る効果音混合装置１００では、例えば、図１２に示すように、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の拍の位置Ｂｐから第１の時間ｔ１経過後に、効果音出力部１２０により、第３の効果音（手拍子など）を出力する。このため、本実施例では、手拍子が拍の位置にぴったりと合うことがない。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0092】

第１の時間ｔ１は、一定でなく、ランダムに選択されるようにしても良い。このようにすることで、拍の位置から手拍子の発生までのずれが、ランダムになり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0093】

また、本発明の一実施例に係る効果音混合装置１００では、第３の効果音用の複数種類の音源データを用意しておき、拍に位置から第１の時間経過後に、複数種類の音源データからランダムに選択された音源データを出力する。つまり、本実施例では、記憶部１１０は、第３の効果音用の複数種類の音源データを記憶しており、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の拍の位置から第１の時間経過後に、効果音出力部１２０により、複数種類の音源データからランダムに選択された音源データを、第３の効果音として出力する。このため、本実施例では、混合される手拍子が単調でなくなり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0094】

複数種類の音源データの各々を、複数の人の手拍手を録音した場合、複数の人の拍手が常にぴったりと揃うことはない。このため、録音するごとに、複数の人の間での手拍子のずれが変化する。よって、このような場合は、出力制御部１５３は、図１３に示すように、楽曲の拍の位置Ｂｐに、効果音出力部１２０により、複数種類の音源データからランダムに選択された音源データを、第３の効果音として出力するようにしても良い。このようにすることでも、すべての手拍子が拍の位置にぴったりに合うことがなく、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0095】

第３の効果音は、楽曲の始まりから終わりまで付与されるようにしても良いし、図１３に示すように、楽曲の一部期間だけ付与されるようにしても良い。例えば、第３の効果音の出力を開始するタイミングは、楽曲の出力開始からの時間および楽曲の音量に基づいて決定されるようにすると良い。例えば、出力制御部１５３は、楽曲の出力開始から第２の時間ｔ２経過後に楽曲の音量が第３の音量値以上になった時以降、楽曲の拍の位置（または楽曲の拍の位置から第１の時間経過後）に、第３の効果音の出力の開始をするようにすると良い。このようにすることで、観客が楽曲にノリ始めるようなタイミングで手拍子の付与を開始することが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。なお、楽曲の出力開始から第２の時間ｔ２経過する前に、楽曲の音量が第３の音量値以上になったときは、出力制御部１５３は、楽曲の出力開始から第２の時間ｔ２経過したときに、第３の効果音を出力の開始をするようにしても良い。

【0096】

また、例えば、第３の効果音の出力を終了するタイミングは、楽曲のサビが始まる位置などの楽曲のパートが切り替わる位置および楽曲の音量に基づいて決定されるようにすると良い。例えば、楽曲特徴量取得部１５１により、楽曲のパートが切り替わる位置を取得するようにし、出力制御部１５３は、取得した楽曲のパートが切り替わる位置から第３の時間経過後に、第３の効果音の出力を止めるようにすると良い。このようにすることで、例えば、観客が楽曲にサビに聴き入るようなタイミングで手拍子の付与を終了することが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。第３の効果音の出力は、第３の効果音の出力が開始されてから第４の時間経過した後に終了するようにしても良い。

【0097】

また、第３の効果音の出力を開始するときは、時間をかけ、第３の効果音の出力レベルをゼロから漸増するように、つまり、フェイドインするようにすると良い。また、第３の効果音の出力を終了するときは、第３の効果音の出力が終了する前の第３の時間の間、第３の効果音の出力レベルをゼロまで漸減する、つまり、フェイドアウトするようにすると良い。このようにすることで、聴者に、一部の観客の手拍子が会場全体に広がっていく雰囲気や、観客による手拍子が徐々に減っていく雰囲気を味わわせることが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0098】

第３の効果音は、図１３に示すように、楽曲の拍の位置ごとに出力されるようにしても良いし、楽曲の拍の位置の一部に出力されるようにしても良い。例えば、ライブ会場において、観客は、ノリのいい曲に対して、いわゆる裏打ちをする。つまり、観客は、４分の４拍子で曲であれば、各小節において２拍目の位置と４拍目の位置に手拍子を入れる。そこで、楽曲が４分の４拍子である場合は、小節ごとに、２拍目の位置と４拍目の位置に、第３の効果音が出力されるようにしても良い。また、パターン化した手拍子を入れるようにしても良い。

【0099】

図１４は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。楽曲が開始してから第２の時間が経過し（ステップＳ１４０１、ＹＥＳ）、楽曲の音量が第３の音量値以上であるならば（ステップＳ１４０２、ＹＥＳ）、楽曲の拍の位置への第３の効果音の出力を開始する（ステップＳ１４０３）。楽曲のサビの始まりの位置から第３の時間が経過した時（ステップＳ１４０４、ＹＥＳ）、第３の効果音の出力を終了する（ステップＳ１４０５）。

【0100】

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に記載した本発明の趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。

【符号の説明】

【0101】

１００ 効果音混合装置
１１０ 記憶部
１２０ 楽曲出力部
１３０ 効果音出力部
１４０ 混合部
１５０ 制御部
１５１ 音楽特徴量取得部
１５２ モード選択部
１５３ 出力制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】