特開 2023-50570 効果音混合装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023050570

(43)【公開日】2023-04-11

(54)【発明の名称】効果音混合装置

(51)【国際特許分類】

   G10K 15/04 20060101AFI20230404BHJP

【ＦＩ】

G10K15/04 302F

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021160744

(22)【出願日】2021-09-30

(71)【出願人】

【識別番号】000005016

【氏名又は名称】パイオニア株式会社

(74)【代理人】

【識別番号】100134832

【弁理士】

【氏名又は名称】瀧野 文雄

(74)【代理人】

【識別番号】100165308

【弁理士】

【氏名又は名称】津田 俊明

(74)【代理人】

【識別番号】100115048

【弁理士】

【氏名又は名称】福田 康弘

(72)【発明者】

【氏名】岡田 佑介

【テーマコード（参考）】

5D208

【Ｆターム（参考）】

5D208DA01

5D208DA06

5D208DE01

5D208DE02

(57)【要約】

【課題】聴者にとってより自然な効果音を楽曲に付与する。
【解決手段】楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得し、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、
前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する、効果音混合装置。

【請求項2】

前記楽曲の特徴量は、前記楽曲の単位時間あたりの拍の数を含み、
前記出力決定部は、前記楽曲の拍の明瞭度および前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する、請求項１に記載の効果音混合装置。

【請求項3】

楽曲の単位時間あたりの拍の数および当該楽曲の拍の位置における音量レベルの均等度を、含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、
前記楽曲の単位時間あたりの拍の数および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する、効果音混合装置。

【請求項4】

前記楽曲の特徴量は、楽曲の拍の明瞭度を含み、
前記出力決定部は、前記楽曲の拍の明瞭度、前記楽曲の単位時間あたりの拍の数、および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する、請求項３に記載の効果音混合装置。

【請求項5】

前記出力決定部は、前記楽曲の音量レベルが曲の始まりから所定の時間が経過するまで所定の音量レベルより小さいままであるならば、前記楽曲に効果音を混合しないと決定する、請求項１から４のいずれか一項に記載の効果音混合装置。

【請求項6】

楽曲の単位時間あたりの拍の数を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、
前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する、効果音混合装置。

【請求項7】

前記出力決定部は、前記楽曲の単位時間あたりの拍の数が所定の範囲内にないならば、前記楽曲に効果音を混合しないと決定する、請求項６に記載の効果音混合装置。

【請求項8】

コンピュータにより実行される効果音混合方法であって、
楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得工程と、
前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する、効果音混合方法。

【請求項9】

請求項８に記載の効果音混合方法を、コンピュータに実行させる効果音混合プログラム。

【請求項10】

請求項９に記載の効果音混合プログラムを記憶しているコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、効果音混合装置に関する。

【背景技術】

【0002】

楽曲に効果音を付与し、ライブ会場の雰囲気を味わえるようにする技術が知られている。例えば、特許文献１には、カラオケ効果音システムが開示されており、このカラオケ効果音設定システムでは、楽曲のジャンルに応じて効果音の種別が設定され、選択されたライブ会場の規模に応じて効果音の出力態様（手拍子や歓声を発する人数）が設定されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－７０９９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ライブ会場では、観客は、楽曲に合わせ、手拍子や足踏みによりリズムを取ることがある。しかしながら、観客は、演奏されるすべての楽曲に、手拍子などによりリズムを取るわけではない。特許文献１では、すべての曲に手拍子を入れており、特許文献１には、このような課題を解決するための技術が開示されていない。

【0005】

本発明が解決しようとする課題としては、聴者にとってより自然な効果音を楽曲に付与することが一例として挙げられる。

【課題を解決するための手段】

【0006】

上記課題を解決するために、請求項１に記載の発明は、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。

【0007】

請求項３に記載の発明は、楽曲の単位時間あたりの拍の数および当該楽曲の拍の位置における音量レベルの均等度を、含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。

【0008】

請求項６に記載の発明は、楽曲の単位時間あたりの拍の数を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。

【0009】

請求項６に記載の発明は、コンピュータにより実行される効果音混合方法であって、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得工程と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する。

【0010】

請求項７に記載の発明は、請求項６に記載の効果音混合方法を、コンピュータに実行させる。

【0011】

請求項８に記載の発明は、請求項７に記載の効果音混合プログラムを記憶している。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施例に係る効果音混合装置１００である。

【図2】楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。

【図3】効果音混合装置１００における処理動作の一例を示す図である。

【図4】効果音混合装置１００における処理動作の一例を示す図である。

【発明を実施するための形態】

【0013】

本発明の一実施形態に係る効果音出力装置は、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。

【0014】

前記楽曲の特徴量は、前記楽曲の単位時間あたりの拍の数を含み、前記出力決定部は、前記楽曲の拍の明瞭度および前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、拍が明瞭なノリのいい曲にのみに、効果音を付与することが可能になる。

【0015】

本発明の一実施形態に係る効果音出力装置は、楽曲の単位時間あたりの拍の数および当該楽曲の拍の位置における音量レベルの均等度を、含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能であり、かつ、テンポが速すぎる「４つ打ち」の曲には、効果音を混合しないようにすることが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。

【0016】

前記楽曲の特徴量は、楽曲の拍の明瞭度を含み、前記出力決定部は、前記楽曲の拍の明瞭度、前記楽曲の単位時間あたりの拍の数、および前記楽曲の拍の位置における音量レベルの均等度に基づいて、前記楽曲に効果音を混合するのか否かを決定するようにしても良い。このようにすることで、拍が明瞭なノリのいい曲にのみに、効果音を付与することが可能になる。

【0017】

前記出力決定部は、前記楽曲の音量レベルが曲の始まりから所定の時間が経過するまで所定の音量レベルより小さいままであるならば、前記楽曲に効果音を混合しないと決定するようにしても良い。このようにすることで、イントロが長いなどの特殊な曲には、効果音を混合しないようにすることが可能になる。

【0018】

本発明の一実施形態に係る効果音出力装置は、楽曲の単位時間あたりの拍の数を含む当該楽曲の特徴量を取得する楽曲特徴量取得部と、前記楽曲の単位時間あたりの拍の数に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定部と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。

【0019】

前記出力決定部は、前記楽曲の単位時間あたりの拍の数が所定の範囲内にないならば、前記楽曲に効果音を混合しないと決定するようにしても良い。このようにすることで、テンポが速すぎ、手拍子等でリズムが取るのが難しい曲に、効果音を混合しないようにすることが可能になる。

【0020】

また、本発明の一実施形態にかかる効果音出力方法は、コンピュータにより実行される効果音混合方法であって、楽曲の拍の明瞭度を含む当該楽曲の特徴量を取得する楽曲特徴量取得工程と、前記楽曲の拍の明瞭度に基づいて、前記楽曲に効果音を混合するのか否かを決定する出力決定工程と、を有する。このため、本実施形態では、ノリのいい曲にのみに、効果音を付与することが可能である。結果、聴者にとってより自然な効果音を楽曲に付与することが可能であり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能である。

【0021】

また、本発明の一実施形態に係る効果音出力プログラムは、上記の効果音出力方法を、コンピュータに実行させる。このようにすることで、コンピュータを用いて、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0022】

また、本発明の一実施形態に係るコンピュータ読み取り可能な記憶媒体は、上記の効果音出力プログラムを記憶している。このようにすることで、上記の効果音出力プログラムを、機器に組み込む以外にも単体で流通することが可能になり、バージョンアップ等を容易に行うことが可能になる。

【実施例0023】

＜効果音混合装置１００＞
図１は、本発明の一実施例に係る効果音混合装置１００である。効果音混合装置１００は、聴者がライブ会場で楽曲を聴いているような雰囲気を味わえるようにするために、楽曲に効果音を混合（付与）して出力する。そこで、効果音混合装置１００は、楽曲のデータや効果音用の音源データなどを記憶する記憶部１１０と、楽曲を出力する楽曲出力部１２０と、効果音を出力する効果音出力部１３０と、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する混合部１４０と、を有する。混合部１４０により効果音が混合された楽曲の音は、スピーカなどの音出力装置から出力される。

【0024】

記憶部１１０は、楽曲のデータや効果音用の音源データを記憶する。記憶部１１０は、ハードディスクやフラッシュメモリなどの記憶装置である。

【0025】

楽曲出力部１２０は、楽曲を出力する。楽曲出力部１２０は、例えば、記憶部１１０やＣＤ（Ｃｏｍｐｃｔ Ｄｉｓｃ）、クラウド上などに記憶された楽曲のデータを取得し、この取得したデータから楽曲の信号を生成し、生成された楽曲の信号を出力する。

【0026】

効果音出力部１３０は、効果音を出力する。効果音出力部１３０は、例えば、記憶部１１０に記憶された効果音用の音源データを取得し、この取得した音源データから効果音の信号を生成し、生成された効果音の信号を出力する。

【0027】

効果音としては、ライブ会場において楽曲に始まりや終わりに生じる歓声や拍手などの第１の効果音、ライブ会場において常時発生している環境音（ざわつき）などの第２の効果音、ライブ会場において楽曲のリズムや拍に合わせて行われる手拍子などの第３の効果音がある。

【0028】

図２は、楽曲出力部１２０による楽曲の出力、効果音出力部１３０による効果音の出力の一例を示す図である。図２に示した例では、第１の効果音（歓声や拍手など）は、楽曲中や、楽曲の始まりの部分と終わりの部分に付与される。第２の効果音（環境音）は、楽曲の出力が始まる前から出力され、楽曲が再生されている間はずっと出される。第３の効果音（手拍子など）は、下記で詳述するように、楽曲が出力されている間に、楽曲の拍やテンポに同期して出力される。

【0029】

第３の効果音は、楽曲の拍のすべてに同期して出力されるようにしても良いし、楽曲の拍のの一部に同期して出力されるようにしても良い。例えば、ライブ会場において、観客は、ノリのいい曲に対して、いわゆる裏打ちをする。つまり、観客は、４分の４拍子の曲であれば、各小節において２拍目の位置と４拍目の位置に手拍子を入れる。そこで、楽曲が４分の４拍子である場合は、小節ごとに、２拍目の位置と４拍目の位置に、第３の効果音が出力されるようにしても良い。また、パターン化した手拍子を入れるようにしても良い。

【0030】

混合部１４０は、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合し、効果音が混合された楽曲を出力する。混合部１４０は、例えば、複数の信号を加算して、加算された信号を出力する装置であり、楽曲出力部１２０から出力された楽曲の信号と効果音出力部１３０から出力された効果音の信号とを加算し、加算された信号を出力する。

【0031】

さらに、効果音混合装置１００は、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する制御部１５０を有する。制御部１５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを有するコンピュータにより構成される。

【0032】

制御部１５０は、例えば、楽曲の特徴量を取得する楽曲特徴量取得部１５１と、楽曲の曲調やジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択するモード選択部１５２と、楽曲特徴量取得部１５１により取得された楽曲の特徴量やモード選択部１５２により選択されたモードに基づいて、楽曲出力部１２０からの楽曲の出力、効果音出力部１３０からの効果音の出力を制御する出力制御部１５３と、を有する。

【0033】

楽曲特徴量取得部１５１は、楽曲の特徴量を取得する。楽曲の特徴量は、例えば、楽曲の音量、楽曲の拍の位置、単位時間あたりの拍の数（例えば、ＢＰＭ（Ｂｅａｔｓ Ｐｅｒ Ｍｉｎｕｔｅ））、楽曲の拍子、楽曲の拍の明瞭度、楽曲の拍の位置における音量レベルの均等度、楽曲に使用される和音の種類の数、単位時間あたりの和音の数、和音の明瞭度、各帯域のパワー、楽曲のサビの位置などである。

【0034】

楽曲特徴量取得部１５１は、楽曲を解析することで、楽曲の特徴量を取得するようにしても良いし、事前の解析で得られていた楽曲の特徴量が記憶部１１０やクラウド上に記憶されるようにし、楽曲特徴量取得部１５１は、記憶部１１０やクラウド上に記憶された楽曲の特徴量を取得するようにしても良い。また、楽曲特徴量取得部１５１は、記憶部１１０やＣＤなどに記憶された楽曲のデータに付与されたタグ情報から、楽曲の特徴量を取得するようにしても良い。

【0035】

例えば、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の音量に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。このようにすることで、楽曲の音量に比べて、混合された効果音の音量が大きくなりすぎることや、小さくなりすぎることを防ぐことが可能になり、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲の曲調を検出し、この検出された曲調に基づいて、効果音出力部１３０から出力される効果音の音量を制御すると良い。

【0036】

また、出力制御部１５３は、楽曲特徴量取得部１５１により取得された楽曲の特徴量に基づいて、楽曲のレベルや曲調を検出し、この検出されたレベルや曲調に基づいて、効果音出力部１３０からの効果音の出力を制御するようにしても良い。このとき、例えば、記憶部１１０が、楽曲のレベルや曲調ごとに効果音を記憶するようにし、出力制御部１５３は、検出されたレベルや曲調に基づいて、効果音を出力するようにしても良い。また、例えば、記憶部１１０が、スタジアムや野外フェス、アリーナなどの大規模会場用の効果音や、ホールや中大規模のライブハウスなどの中規模会場用の効果音、小規模のライブハウスや音楽バーなどの小規模会場用の効果音を記憶するようにし、出力制御部１５３は、検出された曲調に基づいて、効果音出力部１３０から出力される効果音を、大規模会場用の効果音、中規模会場用の効果音、小規模会場用の効果音のいずれにするかを決定するようにしても良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0037】

モード選択部１５２は、楽曲の曲調やジャンル、ライブ会場の規模などに関する複数のモードのうちから１つのモードを選択する。このとき、モード選択部１５２は、ユーザの入力に基づいてモードを選択するようにしても良いし、楽曲の特徴量や楽曲のタグ情報などに基づいてモードを選択するようにしても良い。

【0038】

例えば、複数のモードには、ライブ会場の規模ごとに用意されたモードを含むようにすると良い。例えば、大規模会場用のモードや、中規模会場用のモード、小規模会場用のモードを用意すると良い。そして、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、例えば、大規模用のモードが選択された場合は、出力される効果音として、大規模用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0039】

例えば、複数のモードには、曲調やジャンルごとに用意されたモードを含むようにすると良い。例えば、ノリのいい曲用のモードや、落ち着いた曲用のモード、クラシック用のモード、ジャズ用のモードなどを用意すると良い。そして、記憶部１１０が、各モード用の効果音を記憶するようにし、出力制御部１５３は、モード選択部１５２により選択されたモードに基づいて、効果音出力部１３０から出力される効果音を決定し（つまり、ノリのいい曲用のモードが選択された場合は、出力される効果音として、ノリのいい曲用の効果音を決定し）、効果音出力部１３０からこの決定された効果音が出力されるように制御すると良い。このようにすることで、楽曲に合った効果音が付与されることになり、より自然な効果音を楽曲に応じて出力することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0040】

＜効果音混合装置１００における処理動作＞
図３は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。楽曲特徴量１５１が楽曲の特徴量を取得する、または、モード選択部１５２がモードを選択する（ステップＳ３０１）。出力制御部１５３は、取得した特徴量または選択されたモードに基づいて、楽曲出力部１２０により楽曲を出力し、効果音出力部１３０により効果音の出力する（ステップＳ３０２）。混合部１４０が、楽曲出力部１２０から出力された楽曲に、効果音出力部１３０から出力された効果音を混合する（ステップＳ３０３）。

【0041】

＜第３の効果音（手拍子など）の混合判定＞
ライブ会場では、観客は、楽曲に合わせ、手拍子や足踏みによりリズムを取ることがある。しかしながら、観客は、演奏されるすべての楽曲に、手拍子などによりリズムを取るわけではない。観客は、例えば、ノリのいい曲に対しては、手拍子などでリズムを取る。

【0042】

そこで、本発明の一実施例に係る効果音混合装置１００では、出力制御部１５３が、楽曲の特徴量に基づいて、楽曲に第３の効果音（手拍子など）を混合（付与）するのか否かを決定する。このようにすることで、例えば、出力制御部１５３が、楽曲の特徴量に基づき、楽曲がノリのいい曲であるのか否かを判断し、ノリのいい曲のみに、手拍子などの第３の効果音を付与することが可能になり、結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0043】

テンポが速い楽曲は、リズムを取りたくなるような、ノリのいい曲である可能性が高い。一方で、ノリがいい曲であっても、テンポが速すぎると、手拍子等でリズムが取るのが難しく、手拍子が生じにくい。そこで、楽曲のテンポが所定の範囲内にあるときに、第３の効果音を楽曲に混合するようにすると良い。そこで、例えば、楽曲特徴量取得部１５１は、楽曲の特徴量として、ＢＰＭなどの単位時間あたりの拍の数を取得するようにすると良い。そして、出力制御部１５３は、この単位時間あたりの拍の数が所定の範囲内にあるのか否か（第１の閾値より大きく、かつ第２の閾値以下であるのか否か）を判断し、単位時間あたりの拍の数が所定の範囲内にない（第１の閾値以下である、または第２の閾値より大きい）ときは、楽曲に第３の効果音を混合しないと決定し、単位時間あたりの拍の数が所定の範囲内にある（第１の閾値より大きく、かつ第２の閾値以下である）ときは、楽曲に第３の効果音を混合すると決定するようにすると良い。

【0044】

ビートがはっきりしていない曲は、ノリのいい曲でない可能性が高い。そこで、例えば、楽曲特徴量取得部１５１は、楽曲の特徴量として、楽曲の拍の明瞭度を取得するようにすると良い。そして、出力制御部１５３は、楽曲の拍の明瞭度に基づいて、楽曲に第３の効果音を混合するのか否かを決定するようにすると良い。このとき、例えば、出力制御部１５３は、楽曲の拍が明瞭でないならば、楽曲に第３の効果音を混合しないと決定し、楽曲の拍が明瞭であるならば、楽曲に第３の効果音を混合すると決定するようにすると良い。

【0045】

このようにすることで、ノリのいい曲にのみに、手拍子などの第３の効果音を付与することが可能になる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0046】

楽曲の拍の明瞭度を指標として、例えば、楽曲の拍の周期、または楽曲の拍の２倍の周期で繰り返されるリズムの振幅を用いると良い。ノリのいい曲では、楽曲の拍の周期や楽曲の拍の２倍の周期で、バスドラムやスネアドラムなどによりビートが刻まれている可能性が高い。楽曲の拍の周期、または楽曲の拍の２倍の周期で繰り返されるリズムの振幅は、例えば、楽曲の波形のエンベロープ（包絡線）を周波数分解処理（例えば、ＦＦＴ（高速フーリエ変換）処理）を行うことで検出することが可能である（例えば、国際公開２００９／１２５４８９号参照）。例えば、出力制御部１５３は、楽曲の波形のエンベロープにおいて、楽曲の拍の周波数近辺の成分の振幅、楽曲の拍の２倍の周波数近辺の成分の振幅が所定の値より大きいならば、楽曲の拍が明瞭であると判断し、楽曲の拍の周波数近辺の成分の振幅、楽曲の拍の２倍の周波数近辺の成分の振幅が所定の値より大きくないならば、楽曲の拍が明瞭でないと判断するようにすると良い。

【0047】

一般に、すべての拍においてバスドラムなどでリズムが取られる曲、いわゆる「４つ打ち」の曲は、ノリのいい曲である。「４つ打ち」の曲の場合、通常、すべての拍に手拍子が入ることになるが、テンポが速すぎる曲において、すべての拍に手拍子が入ると、せわしくなってしまう。そこで、テンポが速すぎる「４つ打ち」の曲には、第３の効果音を混合しないようにすると良い。例えば、「４つ打ち」の曲は、一般に、拍の位置における音量レベルの比較的均等である。そこで、例えば、楽曲特徴量取得部１５１は、楽曲の特徴量として、楽曲の拍の位置における音量レベルの均等度と、ＢＰＭなどの単位時間あたりの拍の数と、を取得するようにすると良い。そして、出力制御部１５３は、楽曲の拍の位置における音量レベルの均等度と、ＢＰＭなどの単位時間あたりの拍の数と、に基づいて、楽曲に第３の効果音を混合するのか否かを決定するようにすると良い。このとき、例えば、出力制御部１５３は、楽曲の拍の位置における音量レベルが均等であり、単位時間あたりの拍の数が第３の閾値より大きいならば、単位時間あたりの拍の数が上記の所定の範囲内にあったとしても、楽曲に第３の効果音を混合しないと決定する。

【0048】

このようにすることで、テンポが速すぎる「４つ打ち」の曲には、第３の効果音が付与されないことになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0049】

楽曲の拍の位置における音量レベルの均等度は、例えば、楽曲が４分の４拍子の曲であれば、例えば、４Ｎ－３（Ｎ＝１、２、・・・）拍目の音量レベルの総和、４Ｎ－２拍目の音量レベルの総和、４Ｎ－１拍目の音量レベルの総和、４Ｎ拍目の音量レベルの総和を用いて求めると良い。例えば、出力制御部１５３は、上記の４つの音量レベルの総和のうちの最大値Ｂ１から２番目に大きい値Ｂ２を引いた値を２番目に大きい値Ｂ２で割った値（（Ｂ１－Ｂ２）／Ｂ２）が所定の値より小さいならば、楽曲の拍の位置における音量レベルが均等であると判断し、（Ｂ１－Ｂ２）／Ｂ２が所定の値以上であるならば、楽曲の拍の位置における音量レベルが均等でないと判断するようにすると良い。

【0050】

曲の始まりにおいて、長い時間、楽曲の音量レベルが小さいままである楽曲は、イントロが長いなどの特殊な曲である可能性が高い。ライブ会場において、観客は、一般に、このような特殊な曲の演奏中に手拍子などでリズムを取らない。そこで、このような特殊な曲には、第３の効果音を混合しないようにすると良い。そこで、例えば、出力制御部１５３は、楽曲の音量レベルが曲の始まりから所定の時間（第１の時間）が経過するまで所定の音量レベル（第１の音量レベル）より小さいままであるならば、楽曲に第３の効果音を混合しないと決定する。このようにすることで、イントロが長いなどの特殊な楽曲には、第３の効果音が付与されないことになる。結果、聴者にとってより自然な効果音を楽曲に付与することが可能になり、聴者に、ライブ会場にいる雰囲気をより味わわせることが可能になる。

【0051】

なお、上記では、楽曲の特徴量に基づいて楽曲に混合されるのか否かを決定される効果音は、第３の効果音（手拍子）であるが、上記の混合されるのか否かを決定される効果音は、第１の効果音（歓声、拍手など）や第２の効果音（環境音）であっても良い。つまり、曲中や、楽曲の始まりや終わりの部分に第１の効果音に付与するのか否かや、楽曲の再生中に第２の効果音を付与するのか否かを、楽曲の特徴量に基づいて決定するようにしても良い。

【0052】

図４は、本実施例に係る効果音混合装置１００における処理動作の一例を示す図である。出力制御部１５３は、単位時間あたりの拍の数が第１の閾値より大きく、かつ第２の閾値以下であるのか否かを確認する（ステップＳ４０１）。

【0053】

単位時間あたりの拍の数が第１の閾値以下である、または第２の閾値より大きいならば（ステップＳ４０１、ＮＯ）、出力制御部１５３は、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、単位時間あたりの拍の数が第１の閾値より大きく、かつ第２の閾値以下であるならば（ステップＳ４０１、ＹＥＳ）、出力制御部１５３は、楽曲の拍が明瞭であるのか否かを確認する（ステップＳ４０３）。

【0054】

楽曲の拍が明瞭でないならば（ステップＳ４０３、ＮＯ）、出力制御部１５３は、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、楽曲の拍が明瞭であるならば（ステップＳ４０３、ＹＥＳ）、出力制御部１５３は、楽曲の拍の位置における音量レベルが均等であるのか否かを確認する（ステップＳ４０４）。

【0055】

楽曲の拍の位置における音量レベルが均等であるならば（ステップＳ４０４、ＹＥＳ）、出力制御部１５３は、単位時間あたりの拍の数が第３の閾値（例えば、第１の閾値＜第３の閾値＜第２の閾値）より大きいのか否かを確認する（ステップＳ４０５）。単位時間あたりの拍の数が第３の閾値より大きいならば（ステップＳ４０５、ＹＥＳ）、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、単位時間あたりの拍の数が第３の閾値より大きくないならば（ステップＳ４０５、ＮＯ）、楽曲の音量レベルが曲の始まりから第１の時間が経過するまで第１の音量レベルより小さいままであるのか否かを確認する（ステップＳ４０６）。

【0056】

楽曲の拍の位置における音量レベルが均等でないならば（ステップＳ４０４、ＮＯ）、出力制御部１５３は、楽曲の音量レベルが楽曲の始まりから第１の時間が経過するまで第１の音量レベルより小さいままであるのか否かを確認する（ステップＳ４０６）。

【0057】

楽曲の音量レベルが曲の始まりから第１の時間が経過するまで第１の音量レベルより小さいままであるならば（ステップＳ４０６、ＹＥＳ）、出力制御部１５３は、楽曲に第３の効果音を混合しないと決定し（ステップＳ４０２）、楽曲の音量レベルが曲の始まりから第１の時間が経過するまでに第１の音量レベル以上になるならば（ステップＳ４０６、ＮＯ）、楽曲に第３の効果音を混合すると決定し、効果音出力部１３０により、第３の効果音を出力する（ステップＳ４０７）。

【0058】

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に記載した本発明の趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。

【符号の説明】

【0059】

１００ 効果音混合装置
１１０ 記憶部
１２０ 楽曲出力部
１３０ 効果音出力部
１４０ 混合部
１５０ 制御部
１５１ 音楽特徴量取得部
１５２ モード選択部
１５３ 出力制御部

【図1】

【図2】

【図3】

【図4】