特許 7176113 楽曲構造解析装置および楽曲構造解析プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-11

(45)【発行日】2022-11-21

(54)【発明の名称】楽曲構造解析装置および楽曲構造解析プログラム

(51)【国際特許分類】

   G10L 25/51 20130101AFI20221114BHJP

   G10G 3/04 20060101ALI20221114BHJP

【ＦＩ】

G10L25/51 300

G10G3/04

【請求項の数】 5

(21)【出願番号】P 2021528064

(86)(22)【出願日】2019-06-17

(86)【国際出願番号】 JP2019023927

(87)【国際公開番号】W WO2020255212

(87)【国際公開日】2020-12-24

【審査請求日】2021-12-03

(73)【特許権者】

【識別番号】315017409

【氏名又は名称】ＡｌｐｈａＴｈｅｔａ株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】鈴木 四郎

(72)【発明者】

【氏名】佐飛 利尚

【審査官】大野 弘

(56)【参考文献】

【文献】特開２００８－２５１１０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２５／５１

Ｇ１０Ｇ ３／０４

(57)【特許請求の範囲】

【請求項1】

楽曲データを構成する所定の周波数以下の信号強度のうち、所定区間内の最大レベルのピーク信号を検出するピーク信号検出手段と、
前記ピーク信号検出手段により検出されたピーク信号について、前記楽曲データを構成する単位区間毎にピーク信号の代表値を算出する代表値算出手段と、
前記代表値算出手段により算出された単位区間毎のピーク信号の代表値について、時間的に前後する単位区間の間の差分として算出される抑揚レベルの大きさと、前記楽曲データ中の抑揚レベルの数とに基づいて、前記楽曲データの曲調を判定する曲調判定手段と、
を備える楽曲構造解析装置。

【請求項2】

請求項１に記載の楽曲構造解析装置において、
前記代表値算出手段は、前記単位区間中のピーク信号の平滑化処理を行う楽曲構造解析装置。

【請求項3】

請求項１または請求項２に記載の楽曲構造解析装置において、
前記楽曲データを構成する単位区間は、小節毎の区間である楽曲構造解析装置。

【請求項4】

請求項１から請求項３のいずれか一項に記載の楽曲構造解析装置において、
前記曲調判定手段は、
前記代表値算出手段により算出された単位区間毎のピーク信号の代表値について、時間的に前後する単位区間同士の代表値の差分を、単位区間毎の抑揚レベルとして算出する抑揚レベル算出部と、
前記抑揚レベル算出部により算出された単位区間毎の抑揚レベルを、高いレベルから低いレベルに向かってソートするソート処理部と、
前記ソート処理部によりソートされた抑揚レベルの序列のメジアン値を境界として、立ち上がりレベル群と、立ち下がりレベル群に分割する信号群分割部と、
前記信号群分割部により分割された立ち上がりレベル群および立ち下がりレベル群のそれぞれについて、統計処理を行って統計量を算出する統計処理部と、
前記統計処理部により算出された立ち上がりレベル群の統計量および立ち下がりレベル群の統計量を合算して、前記楽曲データの曲調を判定する曲調判定部と、
を備える楽曲構造解析装置。

【請求項5】

コンピュータを請求項１から請求項４のいずれか一項に記載の楽曲構造解析装置として機能させるコンピュータ読取可能なプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲構造解析装置および楽曲構造解析プログラムに関する。

【背景技術】

【0002】

従来、楽曲データの構造解析では、ＦＦＴ（Fast Fourier Transform）等の周波数分析を行い、楽曲データの周波数スペクトル、低、中、高帯域の周波数成分、低帯域の周波数成分の出現頻度等を利用して、楽曲データの構造解析、ジャンル判定等が行われている。
たとえば、特許文献１には、楽曲の特徴量として、抑揚度、周波数比等を利用して、解析対象となる楽曲のジャンル判定を行う技術が開示されている。

【0003】

特許文献１にいう抑揚度とは、楽曲のパワー、ビートの強さ等をいい、周波数比とは、楽曲の低、中、高音のバランスの程度をいう。特許文献１では、検出されたビートの強さ、音のバランスの程度と、予め楽曲のジャンルに応じて記憶された抑揚度および周波数比とに基づいて、クラッシック、ジャズ、ロック等の楽曲ジャンルの判定を行っている。
このような楽曲構造の解析技術を利用することにより、ＤＪパフォーマンス等において、再生中の楽曲から他の楽曲に切り替えるに際して、聴取者に違和感を与えることなく、スムーズな楽曲切替を行うことができるという利点がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００８－２５０１１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、前記特許文献１に記載の技術では、抑揚度が楽曲の振幅データの標準偏差として与えられているにすぎない。このため、時間的に前の信号の信号強度から信号強度が大きく上昇する立ち上がりピーク信号と、前の信号の信号強度から信号強度が大きく下降する立ち下がりピーク信号とを区別して統計処理を行っていないため、楽曲ジャンルの判定精度が悪くなるという課題がある。

【0006】

本発明の目的は、楽曲データの曲調を高精度に判定できる楽曲構造解析装置および楽曲構造解析プログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の楽曲構造解析装置は、楽曲データを構成する所定の周波数以下の信号強度データのうち、所定区間内の最大レベルのピーク信号を検出するピーク信号検出手段と、前記ピーク信号検出手段により検出されたピーク信号について、前記楽曲データを構成する単位区間毎にピーク信号の代表値を算出する代表値算出手段と、前記代表値算出手段により算出された単位区間毎のピーク信号の代表値間の変化となる抑揚レベルの大きさと、前記楽曲データ中の抑揚レベルの数とに基づいて、前記楽曲データの曲調を判定する曲調判定手段と、を備える。
本発明の楽曲構造解析プログラムは、コンピュータを前述した楽曲構造解析装置として機能させるコンピュータ読取可能なプログラムである。

【図面の簡単な説明】

【0008】

【図1】本発明の実施の形態に係る楽曲構造解析装置の構造を示すブロック図。

【図2】前記実施の形態におけるピーク信号の検出と平滑化処理を説明するためのグラフ。

【図3】前記実施の形態における抑揚レベルの算出を説明するためのグラフ。

【図4】前記実施の形態における抑揚レベルのソート処理および信号群の分割を説明するためのグラフ。

【図5】前記実施の形態における抑揚値を算出する方法を説明するためのグラフ。

【図6】前記実施の形態における作用を説明するためのフローチャート。

【発明を実施するための形態】

【0009】

図１には、本発明の実施の一形態に係る楽曲構造解析装置１が示されている。楽曲構造解析装置１は、入力された楽曲データの解析を行って、楽曲データの曲調を判定する装置である。
楽曲構造解析装置１は、ＬＰＦ（Low Pass Filter）処理手段２、ピーク信号検出手段４、代表値算出手段５、曲調判定手段６、および判定結果出力手段７を備える。これらの各機能的手段は、コンピュータのＣＰＵ上で実行されるコンピュータ読取可能なプログラムとして構成される。
なお、本実施の形態では、楽曲構造解析装置１は、ＬＰＦ処理手段２を備えている。予め、ＬＰＦ処理手段２によるＬＰＦ処理は他のコンピュータで行い、楽曲データに付随したデータとして取得してもよい。

【0010】

楽曲構造解析装置１により解析された楽曲データの曲調は、判定結果出力手段７を介しコンピュータ上のディスプレイ８、照明制御手段９に出力される。楽曲データの曲調は、波形グラフ等の特徴を表す画像として、コンピュータ上のディスプレイ８に表示され、ＤＪプレイヤー等の演奏者に楽曲データの曲調を認識させる。ＤＪプレイヤーは、推定された楽曲データの曲調から、ＤＪコントローラ等で現在再生中の楽曲から、次に再生する楽曲の適否を判断して、違和感のない最適なＤＪパフォーマンスをすることができる。
また、解析された楽曲データの曲調は、照明制御手段９に出力され、楽曲データの曲調に応じた照明制御が実行され、ＤＪパフォーマンスにおける照明演出が行われる。

【0011】

ＬＰＦ処理手段２は、楽曲データの低域周波数の信号のみを通過させ、中域周波数、高域周波数の信号をカットする。カットオフ周波数は、バスドラム、ベース等のリズムセクションの信号の周波数に相当し、たとえば２００Ｈｚ以下、好ましくは１００Ｈｚ以下である。
ＬＰＦ処理手段２が低域周波数の信号の信号強度のピークを、所定間隔、たとえば拍毎に検出することにより、展開区間毎に変化することが多いリズムセクションの音量感の変化を把握することができる。

【0012】

ピーク信号検出手段４は、ＬＰＦ処理後のレベルをある所定区間毎、たとえば拍単位での最大レベルの信号値を検出し、さらに、別のある単位区間、たとえば小節毎に、その区間内の最大レベルの信号値をピーク信号として検出する。

【0013】

代表値算出手段５は、ピーク信号検出手段４により検出されたピーク信号について、楽曲データを構成する単位区間毎にピーク信号の代表値を算出する。なお、単位区間は、楽曲データを区切る区間として任意のものを採用することができ、たとえばＡメロ、Ｂメロ等の楽曲構造の特徴を表す特徴区間や、小節等の区間を採用することができるが、本実施の形態では、１小節を単位区間としている。
具体的には、代表値算出手段５は、ピーク信号検出手段４により検出されたピーク信号の時系列データの平滑化処理を行って、小節毎のピーク信号の代表値を算出する。代表値算出手段５は、第１平滑化処理部５１および第２平滑化処理部５２を備える。

【0014】

第１平滑化処理部５１は、拍毎に検出された低域周波数の信号の信号強度を、小節毎に平滑化処理する。
具体的には、第１平滑化処理部５１は、１小節中に検出された低域周波数の信号のピーク信号の信号強度のうち、時間的に最初のピーク信号の信号強度を最初の代表値として設定する。

【0015】

次に、第１平滑化処理部５１は、時系列的に次に検出されたピーク信号の信号強度が、最初に設定された代表値の所定の閾値の範囲内に含まれているか否かを判定する。所定の閾値の範囲としては、たとえば、次のピーク信号の信号強度が代表値に対して±１０％の範囲内にあるか否かに基づいて判定する。

【0016】

次のピーク信号が所定の閾値の範囲内に含まれていると判定された場合、第１平滑化処理部５１は、次のピーク信号の信号強度を代表値に書き替える。
次のピーク信号が所定の閾値の範囲内に含まれていないと判定された場合、第１平滑化処理部５１は、代表値を当該ピーク信号の信号強度に書き替える。

【0017】

第１平滑化処理部５１による平滑化処理によって小節内のピーク信号は、閾値の範囲内に含まれる代表値と、閾値の範囲から外れた代表値が極大点または極小点として混在することとなる。
以後、第１平滑化処理部５１は、同様の判定を行って、時系列順で検出されたピーク信号の平滑化処理を小節毎に実施する。

【0018】

第２平滑化処理部５２は、第１平滑化処理部５１により行われた平滑化処理の結果に対して、さらに平滑化処理を実施する。
具体的には、第２平滑化処理部５２は、第１平滑化処理部５１により平滑化処理されたピーク信号の代表値の極大点または極小点を与える代表値を、時間的に前後するピーク信号の代表値のうち、より大きな代表値となる代表値に書き替える。

【0019】

この結果、ピーク信号検出手段４によって検出された信号強度の時系列的な波形は、図２に示すように、１小節毎に代表値をとる信号強度の時系列的な波形に平滑化される。なお、図２において、グラフＧ１はピーク信号検出手段４によって検出された信号強度の波形であり、グラフＧ２は、グラフＧ１の前の信号に対する変化量を表すグラフであり、グラフＧ３は平滑化された信号強度の波形である。
代表値算出手段５により平滑化処理された小節毎の代表値の結果は、曲調判定手段６の抑揚レベル算出部６１に出力される。

【0020】

曲調判定手段６は、代表値算出手段５によって算出された単位区間毎のピーク信号の代表値について、時間的に前後する単位区間の間の差分として算出される抑揚レベルと、楽曲データ中の抑揚レベルの数とに基づいて、楽曲データの曲調を判定する。
ここで、楽曲データの曲調とは、一般に楽曲に称されるクラシック、ジャズ、ロック等楽曲ジャンルを意味するのではなく、楽曲構造を特徴付けるＡメロ、Ｂメロ、サビ等の特徴区間において、楽曲の勢いが上昇する立ち上がり区間（ＵＰ区間）や、楽曲の勢いが下降する立ち下がり区間（ＤＯＷＮ区間）等を含む概念である。
曲調判定手段６は、抑揚レベル算出部６１、ソート処理部６２、信号群分割部６３、統計処理部６４、および曲調判定部６５を備える。

【0021】

抑揚レベル算出部６１は、時間的に前後する小節間の代表値の差分を、抑揚レベルとして算出する。具値的には、図３に示すように、ピーク信号検出手段４によって検出された波形グラフＧ４を、代表値算出手段５により波形グラフＧ５のような平滑化処理を行った後、抑揚レベル算出部６１は、小節間の代表値の差分を、グラフＧ６に示すように、小節毎の抑揚レベルとして算出する。

【0022】

なお、図３では図示を略したが、抑揚レベル算出部６１は、グラフＧ６のように立ち上がり側（ＵＰ側）の抑揚レベルに加え、立ち下がり側（ＤＯＷＮ側）の抑揚レベルもあるので、立ち下がり側の抑揚レベルも算出する。立ち下がり側の抑揚レベルは、立ち上がり側の抑揚レベルを正の値（＋側）とした場合、負の値（－側）をとる。

【0023】

ソート処理部６２は、抑揚レベル算出部６１により算出された小節毎の抑揚レベルを、高いレベルから低いレベルに向かってソートする。
具体的には、ソート処理部６２は、図４に示すグラフＧ７のように、抑揚レベルの大きなピーク信号の代表値から小さなピーク信号の代表値に向かって小節毎のピーク信号の代表値をソートする。

【0024】

信号群分割部６３は、図４に示すように、ソート処理された抑揚レベルの集合を、メジアン値を境界として、＋側（ＵＰ側）の抑揚レベルの集合となる立ち上がりレベル群ＡＲ１、および－側（ＤＯＷＮ側）の抑揚レベルの集合となる立ち下がりレベル群ＡＲ２に分割する。

【0025】

立ち上がりレベル群ＡＲ１は、時系列的に前のピーク信号よりも大きなピーク信号、すなわち抑揚レベルが正の群をいい、立ち下がりレベル群ＡＲ２は、時系列的に前のピーク信号よりも小さなピーク信号、すなわち抑揚レベルが負の群をいう。また、抑揚レベルのメジアン値は、時系列的に前のピーク信号と等しいピーク信号と同義であり、メジアン値を境界として分割することにより、ソート処理部６２によってソートされた抑揚レベルの集合が、正側の立ち上がりレベル群ＡＲ１、負側の立ち下がりレベル群ＡＲ２に分割される。

【0026】

統計処理部６４は、信号群分割部６３によって分割された立ち上がりレベル群ＡＲ１、立ち下がりレベル群ＡＲ２のそれぞれについて、統計処理を行って抑揚値を算出する。
具体的には、統計処理部６４は、まず、図４における立ち上がりレベル群ＡＲ１の抑揚レベルのソートデータを、図５に示すように、０未満の部分を削除した立ち上がりレベル群ＡＲ１’に変換する。

【0027】

次に、統計処理部６４は、立ち上がりレベル群ＡＲ１’のミラーコピーレベル群ＭＡＲ１’を生成する。
そして、統計処理部６４は、立ち上がりレベル群ＡＲ１’とミラーコピーレベル群ＭＡＲ１’を、抑揚レベルの最高値Ｌｍａｘ同士が組み合わされるように合体させる。
統計処理部６４は、図５に示す図形に基づいて、下記式（１）から立ち上がりレベル群ＡＲ１の抑揚値Ａを算出する。
Ａ＝Ｌｍａｘ×Ｗ１・・・（１）

【0028】

ここで、Ｗ１は図５における抑揚レベルの最高値Ｌｍａｘの半分の値Ｌｍａｘ／２における抑揚レベルの幅をいい、本実施の形態では立ち上がりレベル幅Ｗ１と称する。この立ち上がりレベル幅Ｗ１は、抑揚レベルの最高値Ｌｍａｘ前後の抑揚レベルの分布を意味し、立ち上がりレベル幅Ｗ１が大きいほど、最高値Ｌｍａｘに近い抑揚レベルのデータが存在することとなる。

【0029】

統計処理部６４は、図４に示す立ち下がりレベル群ＡＲ２のデータに基づいて、立ち上がりレベル群ＡＲ１の抑揚値Ａと同様の手順で、立ち下がりレベル群ＡＲ２の抑揚値Ｂを算出する。
ただし、立ち下がりレベル群ＡＲ２の場合、すべてのデータが負の値をとるので、ミラーコピーレベル群の生成の前に、立ち下がりレベル群ＡＲ２のすべてのデータを上下方向に反転させた後、ミラーコピーレベル群を生成する。

【0030】

曲調判定部６５は、統計処理部６４で算出された立ち上がりレベル群ＡＲ１の抑揚値Ａ、および立ち下がりレベル群ＡＲ２の抑揚値Ｂを合算し、合算した抑揚値の合計値に基づいて楽曲データの曲調を判定する。これにより、曲調判定部６５は、立ち上がりレベル群ＡＲ１の抑揚傾向（ＵＰ側）のみならず、立ち下がりレベル群ＡＲ２の抑揚傾向（ＤＯＷＮ側）も加えて楽曲データの曲調判定を行うこととなる。したがって、曲調判定部６５は、ＵＰ側の抑揚傾向およびＤＯＷＮ側の抑揚傾向両者の傾向を踏まえて楽曲データの曲調を判定する。

【0031】

次に、本実施の形態の作用を、図６に示すフローチャートに基づいて説明する。
楽曲構造解析装置１は、ＨＤＤ等の記憶装置から楽曲データの読み出しを行う（手順Ｓ１）。ＬＰＦ処理手段２は、読み出された楽曲データに対してＬＰＦ処理を行って、楽曲データの中域および高域の周波数成分を除去する（手順Ｓ２）。

【0032】

ピーク信号検出手段４は、ＦＦＴ解析によって生成された周波数スペクトルに基づいて、時間的に前後する信号の信号強度よりも信号強度の大きな信号をピーク信号として検出する（手順Ｓ３）。
代表値算出手段５の第１平滑化処理部５１は、検出されたピーク信号の時間的変化について、第１平滑化処理を行ってピーク信号の信号強度の平均化処理を行う（手順Ｓ４）。
次に、代表値算出手段５の第２平滑化処理部５２は、第１平均化処理されたピーク信号に基づいて、極大点、極小点の平滑化を行う第２平滑化処理を行って、小節毎のピーク信号の代表値を算出する（手順Ｓ５）。

【0033】

抑揚レベル算出部６１は、時間的に前後する小節間の代表値の差分を、抑揚レベルとして算出する（手順Ｓ６）。
ソート処理部６２は、算出された小節毎の抑揚レベルを、高いレベルから低いレベルに向かってソートする（手順Ｓ７）。
信号群分割部６３は、ソート処理された抑揚レベルの集合を、メジアン値を境界として、立ち上がりレベル群ＡＲ１および立ち下がりレベル群ＡＲ２に分割する（手順Ｓ８）。

【0034】

統計処理部６４は、立ち上がりレベル群ＡＲ１について統計処理を行って、抑揚値Ａを算出する（手順Ｓ９）。
統計処理部６４は、立ち下がりレベル群ＡＲ２について統計処理を行って、抑揚値Ｂを算出する（手順Ｓ１０）。
曲調判定部６５は、算出された抑揚値Ａおよび抑揚値Ｂを合算し、合算した抑揚値の合計値に基づいて楽曲データの曲調を判定する（手順Ｓ１１）。

【0035】

曲調判定部６５による楽曲データの曲調判定結果は、判定結果出力手段７を介してディスプレイ８や、照明制御手段９に出力される。
ディスプレイ８では、判定結果に応じたアイコン表示等を行うことにより、次曲として再生する楽曲データの曲調をアイコン等によって操作者に視認させ、操作者の次曲選択のための情報を提供する。
照明制御手段９では、判定結果に応じた照明制御を実行することにより、楽曲データの曲調に応じた照明演出を行って、ＤＪパフォーマンスの向上が図られる。

【0036】

本実施の形態によれば、以下のような効果がある。
本実施の形態では、楽曲データの曲調判定を、立ち上がりレベル群ＡＲおよび立ち下がりレベル群ＡＲ２を区別して行っている。したがって、立ち上がりおよび立ち下がりが組み合わされて構成される楽曲の抑揚を把握することができるため、楽曲データの曲調を高精度に判定することができる。

【0037】

本実施の形態では、代表値算出手段５により２回の平滑化処理を行っている。したがって、検出された信号強度の検出ばらつき等を除外して曲調判定を行うことができるため、同様に楽曲データの曲調を高精度に判定できる。
本実施の形態では、抑揚レベルの最高値と、抑揚レベルの最高値近傍の分布を考慮して、楽曲データの曲調を判定している。したがって、抑揚レベルの最高値の分布に応じた曲調の判定を行うことができるため、楽曲データの曲調をより高精度に判定できる。

【0038】

なお、本発明は、前述した実施の形態に限定されるものではなく、以下に示すような変形をも含むものである。
前述の実施の形態では、代表値算出手段５は、平滑化処理を行って代表値を算出していたが、本発明はこれに限られない。たとえば、ピーク信号の検出にあたり、サンプリングタイムを長くとり、ピーク信号が細かく変化しないように検出して、その平均値を代表値として算出してもよい。
その他、本発明の実施の際の具体的な構造および形状等は、本発明の目的を達成できる範囲で他の構造としてもよい。

【符号の説明】

【0039】

１…楽曲構造解析装置、２…ＬＰＦ処理手段、４…ピーク信号検出手段、５…代表値算出手段、６…曲調判定手段、７…判定結果出力手段、８…ディスプレイ、９…照明制御手段、５１…第１平滑化処理部、５２…第２平滑化処理部、６１…抑揚レベル算出部、６２…ソート処理部、６３…信号群分割部、６４…統計処理部、６５…曲調判定部、Ａ…抑揚値、ＡＲ…立ち上がりレベル群、ＡＲ１…立ち上がりレベル群、ＡＲ１’…立ち上がりレベル群、ＡＲ２…立ち下がりレベル群、Ｂ…抑揚値、Ｌｍａｘ…最高値、ＭＡＲ１’…ミラーコピーレベル、Ｗ１…立ち上がりレベル幅。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】