特許 7544837 楽曲解析装置、楽曲解析方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】楽曲解析装置、楽曲解析方法およびプログラム

(51)【国際特許分類】

   G10L 25/51 20130101AFI20240827BHJP

   G10G 1/00 20060101ALI20240827BHJP

【ＦＩ】

G10L25/51 300

G10G1/00

【請求項の数】 7

(21)【出願番号】P 2022553386

(86)(22)【出願日】2020-10-02

(86)【国際出願番号】 JP2020037493

(87)【国際公開番号】W WO2022070396

(87)【国際公開日】2022-04-07

【審査請求日】2023-02-02

(73)【特許権者】

【識別番号】315017409

【氏名又は名称】ＡｌｐｈａＴｈｅｔａ株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】弁理士法人樹之下知的財産事務所

(72)【発明者】

【氏名】菅家 浩之

(72)【発明者】

【氏名】鈴木 四郎

【審査官】中村 天真

(56)【参考文献】

【文献】特開２００８－０６５１５３（ＪＰ，Ａ）

【文献】国際公開第２０１７／１９５３２６（ＷＯ，Ａ１）

【文献】国際公開第２０１７／１９５２９２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－ ３／０４

Ｇ１０Ｈ １／００－ １／４６

Ｇ１０Ｌ ２５／００－２５／９３

(57)【特許請求の範囲】

【請求項1】

楽曲の音声データにおいて、スネアドラム音に対応する周波数帯域のレベル波形と、低音周波数帯域のレベル波形とを抽出する音声データ処理部と、
前記音声データ処理部により抽出された前記スネアドラム音に対応する周波数帯域のレベル波形のピークが出現する時間間隔を検出するピーク間隔検出部と、
前記楽曲に含まれる複数の区間から、前記時間間隔が段階的に短くなる第１の区間群を検索する区間群検索部と、
前記音声データ処理部により抽出された前記低音周波数帯域のレベル波形から、前記低音周波数帯域のレベルが所定の閾値を超える第２の区間群を検出するレベル検出部と、
前記第１の区間群に続いて出現し、かつ前記レベル検出部により検出された前記第２の区間群を前記楽曲におけるサビ区間として特定する区間特定部と
を備える楽曲解析装置。

【請求項2】

前記区間群検索部は、前記時間間隔が少なくとも２段階以上にわたって段階的に短くなる前記第１の区間群を検索する、請求項１に記載の楽曲解析装置。

【請求項3】

前記区間の長さは、前記楽曲の小節に対応する、請求項１または請求項２に記載の楽曲解析装置。

【請求項4】

前記サビ区間に関する情報を視覚化して表示させる表示制御部をさらに備える、請求項１から請求項３のいずれか１項に記載の楽曲解析装置。

【請求項5】

前記ピーク間隔検出部は、前記ピークの部分的な欠落を補完して前記時間間隔を検出する、請求項１から請求項４のいずれか１項に記載の楽曲解析装置。

【請求項6】

楽曲の音声データにおいて、スネアドラム音に対応する周波数帯域のレベル波形と、低音周波数帯域のレベル波形とを抽出するステップと、
抽出された前記スネアドラム音に対応する周波数帯域のレベル波形のピークが出現する時間間隔を検出するステップと、
前記楽曲に含まれる複数の区間から、前記時間間隔が段階的に短くなる第１の区間群を検索するステップと、
抽出された前記低音周波数帯域のレベル波形から、前記低音周波数帯域のレベルが所定の閾値を超える第２の区間群を検出するステップと、
前記第１の区間群に続いて出現し、かつ前記検出するステップにおいて検出された前記第２の区間群を前記楽曲におけるサビ区間として特定するステップと
を含む楽曲解析方法。

【請求項7】

楽曲の音声データにおいて、スネアドラム音に対応する周波数帯域のレベル波形と、低音周波数帯域のレベル波形とを抽出する音声データ処理部と、
前記音声データ処理部により抽出された前記スネアドラム音に対応する周波数帯域のレベル波形のピークが出現する時間間隔を検出するピーク間隔検出部と、
前記楽曲に含まれる複数の区間から、前記時間間隔が段階的に短くなる第１の区間群を検索する区間群検索部と、
前記音声データ処理部により抽出された前記低音周波数帯域のレベル波形から、前記低音周波数帯域のレベルが所定の閾値を超える第２の区間群を検出するレベル検出部と、
前記第１の区間群に続いて出現し、かつ前記レベル検出部により検出された前記第２の区間群を前記楽曲におけるサビ区間として特定する区間特定部と
を備える楽曲解析装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲解析装置、楽曲解析方法およびプログラムに関する。

【背景技術】

【0002】

音声データに基づいて楽曲の構造を解析する技術が知られている。例えば、特許文献１には、繰り返し出現するフレーズに基づいて楽曲のサビと呼ばれる区間を抽出する技術が記載されている。このような技術は、ポピュラーミュージックなどのボーカル成分を含む楽曲で、同じフレーズが繰り返される場合に有効である。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－６５１５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方、別のジャンルの楽曲、例えばクラブミュージックにおいては、楽曲にボーカル成分が含まれていなかったり、楽器音でもメロディが強調されていなかったりするため、フレーズの繰り返しに基づく上記の特許文献１のような楽曲解析手法は必ずしも有効に機能しない場合がある。

【0005】

そこで、本発明は、フレーズの繰り返しによらずに楽曲の構造を解析することが可能な楽曲解析装置、楽曲解析方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

［１］楽曲の音声データにおいて第１の周波数帯域のピークが出現する時間間隔を検出するピーク間隔検出部と、楽曲に含まれる複数の区間から、時間間隔が段階的に短くなる第１の区間群を検索する区間群検索部と、音声データにおいて第１の周波数帯域とは異なる第２の周波数帯域のレベルを検出するレベル検出部と、第１の区間群に続いて出現し、かつレベルが閾値を超えている第２の区間群を楽曲における特徴的な区間として特定する区間特定部とを備える楽曲解析装置。
［２］第１の周波数帯域は、スネアドラム音に対応する周波数帯域である、［１］に記載の楽曲解析装置。
［３］区間群検索部は、時間間隔が少なくとも２段階以上にわたって段階的に短くなる第１の区間群を検索する、［１］または［２］に記載の楽曲解析装置。
［４］区間の長さは、楽曲の小節に対応する、［１］から［３］のいずれか１項に記載の楽曲解析装置。
［５］第２の周波数帯域は、低音周波数帯域である、［１］から［４］のいずれか１項に記載の楽曲解析装置。
［６］特徴的な区間に関する情報を視覚化して表示させる表示制御部をさらに備える、［１］から［５］のいずれか１項に記載の楽曲解析装置。
［７］ピーク間隔検出部は、ピークの部分的な欠落を補完して時間間隔を検出する、［１］から［６］のいずれか１項に記載の楽曲解析装置。
［８］楽曲の音声データにおいて第１の周波数帯域のピークが出現する時間間隔を検出するステップと、楽曲に含まれる複数の区間から、時間間隔が段階的に短くなる第１の区間群を検索するステップと、音声データにおいて第１の周波数帯域とは異なる第２の周波数帯域のレベルを検出するステップと、第１の区間群に続いて出現し、かつレベルが閾値を超えている第２の区間群を楽曲における特徴的な区間として特定するステップとを含む楽曲解析方法。
［９］楽曲の音声データにおいて第１の周波数帯域のピークが出現する時間間隔を検出するピーク間隔検出部と、楽曲に含まれる複数の区間から、時間間隔が段階的に短くなる第１の区間群を検索する区間群検索部と、音声データにおいて第１の周波数帯域とは異なる第２の周波数帯域のレベルを検出するレベル検出部と、第１の区間群に続いて出現し、かつレベルが閾値を超えている第２の区間群を楽曲における特徴的な区間として特定する区間特定部とを備える楽曲解析装置としてコンピュータを機能させるためのプログラム。

【0007】

上記の構成によれば、第１の周波数帯域のピークが出現する時間間隔と、第２の周波数帯域のレベルとに基づいて楽曲における特徴的な区間の始点および終点を検出することによって、フレーズの繰り返しによらずに楽曲の構造を解析することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る楽曲解析装置の概略的なブロック図である。

【図2】ピークの検出について概念的に説明するための図である。

【図3】時間間隔の検出および区間群の検索について概念的に説明するための図である。

【図4】コーラス区間の開始位置の特定について概念的に説明するための図である。

【図5】コーラス区間の終了位置の特定について概念的に説明するための図である。

【図6】コーラス区間に関する視覚化された情報の例を示す図である。

【発明を実施するための形態】

【0009】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0010】

図１は、本発明の一実施形態に係る楽曲解析装置の概略的なブロック図である。図示された例において、楽曲解析装置１００は、音声データ入力部１１０と、バンドパスフィルタ（ＢＰＦ）１２１Ａ，１２１Ｂを含む音声データ処理部１２０と、ピーク間隔検出部１３０と、区間群検索部１４０と、レベル検出部１５０と、区間特定部１６０と、表示制御部１７０とを含む。楽曲解析装置１００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、音声データ処理部１２０、ピーク間隔検出部１３０、区間群検索部１４０、レベル検出部１５０、区間特定部１６０および表示制御部１７０の機能はプロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される。

【0011】

図２は、図１に示された例におけるピークの検出について概念的に説明するための図である。図１の例において、音声データ入力部１１０は、楽曲の音声データの入力を受け付ける。音声データ処理部１２０は、音声データにＢＰＦ１２１Ａを適用して、第１の周波数帯域のレベル波形を抽出する。ここで、図２（ａ）はＢＰＦ１２１Ａを適用する前のレベル波形の例であり、図２（ｂ）はＢＰＦ１２１Ａによって抽出された第１の周波数帯域のレベル波形の例である。本実施形態において、第１の周波数帯域はスネアドラム音に対応する周波数帯域であり、具体的には１ｋＨｚ以上４ｋＨｚ以下の周波数帯域が例示される。ピーク間隔検出部１３０は、図２（ｃ）の例に示されるように、抽出されたレベル波形において、第１の周波数帯域のピークＰを検出する。本実施形態において、それぞれのピークＰは、楽曲におけるスネアドラムの発音位置である。

【0012】

図３は、図１に示された例における時間間隔の検出および区間群の検索について概念的に説明するための図である。図示された例において、ピーク間隔検出部１３０は、図３（ａ）に示されるように第１の周波数帯域のピークＰが出現する時間間隔ｉ_１，ｉ_２，・・・を検出する。ここで、意図的な発音のスキップやピークＰの検出漏れなどを考慮して、ピーク間隔検出部１３０は、ピークＰの部分的な欠落を補完して時間間隔ｉ_１，ｉ_２，・・・を検出してもよい。

【0013】

一方、区間群検索部１４０は、楽曲に含まれる所定の長さの複数の区間から、図３（ｂ）に示されるようにピークＰが出現する時間間隔ｉ_１，ｉ_２，・・・が段階的に短くなる区間群ＳＧ_１（区間Ｓ_１，Ｓ_２，・・・を含む）を検索する。本実施形態において、個々の区間Ｓ_１，Ｓ_２，・・・の長さは楽曲の小節に対応する。従って、区間群検索部１４０が検索する区間群ＳＧ_１は、ピークＰの間隔が例えば２００ｍｓ、１００ｍｓ、５０ｍｓのように段階的に短くなる連続した小節群である。ここで、区間群検索部１４０は、時間間隔ｉ_１，ｉ_２，・・・が２段階以上にわたって段階的に短くなることを条件として、区間群ＳＧ_１を検索してもよい。

【0014】

図４は、図１に示された例におけるコーラス区間の開始位置の特定について概念的に説明するための図である。図示された例において、区間特定部１６０は、区間群検索部１４０によって検索された区間群ＳＧ_１（区間Ｓ_１，Ｓ_２，Ｓ_３を含む。区間Ｓ_１は図示されていない）に続いて出現する区間Ｓ_４をコーラス区間の最初の区間として特定する。ここで、コーラス区間は楽曲における特徴的な区間の例であり、他の例では必ずしもコーラスと呼ばれる区間でなくてもよい。また、続いて出現することは、必ずしも直後に出現することのみを意味せず、例えば区間群ＳＧ_１の後に楽曲のブレイクなどによる空白の区間が挿入され、その後の区間Ｓ_４がコーラス区間の最初の区間として特定されてもよい。

【0015】

例えばクラブミュージックのようなジャンルの楽曲では、コーラス区間の前のビルドアップまたはプレコーラスなどと呼ばれる部分において、スネアドラム音のような打楽器音が例えば４分音符→８分音符→１６分音符のように段階的に短くなる間隔で連打されることが多くある。本実施形態では、この点に着目して区間特定部１６０がコーラス区間の始点を特定する。上述のように、それぞれの区間は楽曲の小節に対応するため、コーラス区間の始点は、例えば図３に示したピークＰが出現する時間間隔ｉ_１，ｉ_２，・・・が段階的に短くなる小節群の次の小節の開始位置になる。

【0016】

図５は、図１に示された例におけるコーラス区間の終了位置の特定について概念的に説明するための図である。上述したＢＰＦ１２１Ａとは別に、音声データ処理部１２０は、音声データ入力部１１０に入力された音声データにＢＰＦ１２１Ｂを適用して、第２の周波数帯域のレベル波形を抽出する。ここで、図５（ａ）はＢＰＦ１２１Ｂを適用する前のレベル波形の例であり、図５（ｂ）はＢＰＦ１２１Ｂによって抽出された第２の周波数帯域のレベル波形の例である。本実施形態において、第２の周波数帯域は低音周波数帯域であり、具体的には５０Ｈｚ以上１５０Ｈｚ以下の周波数帯域が例示される。レベル検出部１５０は、例えば図５（ｃ）に示されるような第２の周波数帯域のレベルを検出する。具体的には、レベル検出部１５０は、ＢＰＦ１２１Ｂによって抽出された第２の周波数帯域のレベル波形におけるサンプリング区間ごとのピークレベルを検出してもよい。あるいは、レベル検出部１５０は、音声データ処理部１２０が第２の周波数帯域のレベル波形に対してさらにフィルタリングを実行した平均レベル波形からレベルを検出してもよい。

【0017】

一方、区間特定部１６０は、上記のように区間群検索部１４０によって検索された区間群ＳＧ_１に続いて出現し、かつ第２の周波数帯域のレベルが閾値ＴＨを超えている区間群ＳＧ_２をコーラス区間として特定する。つまり、コーラス区間の終点は、レベル検出部１５０が検出した第２の周波数帯域のレベルに基づいて特定される。図５（ｃ）の例において、第２の周波数帯域のレベルが閾値を超えている区間群ＳＧ_２は、図４の例でコーラス区間の最初の区間として特定された区間Ｓ_４を含む。この場合、区間特定部１６０は、区間群ＳＧ_２の終点をコーラス区間の終点として特定する。

【0018】

例えばクラブミュージックのようなジャンルの楽曲では、コーラス区間において低音が相対的に大きい状態が持続することが多くある。本実施形態では、この点に着目して区間特定部１６０がコーラス区間の終点を特定する。上述のように、それぞれの区間は楽曲の小節に対応するため、コーラス区間の終点は、第２の周波数帯域のレベルが閾値を下回った後の最初の小節の開始位置になる。

【0019】

図６は、コーラス区間に関する視覚化された情報の例を示す図である。図示された例において、表示制御部１７０は、例えば楽曲解析装置１００を実装するコンピュータのディスプレイに、波形表示５０１とともに楽曲区間表示５０２を表示させる。楽曲区間表示５０２は、例えば利用可能な他の楽曲解析手法を用いて特定された他の区間とともに、図５に示す例においてコーラス区間として特定された区間群ＳＧ_２を示す表示５０２Ａを含む。また、上記で区間群検索部１４０によって検索された、スネアドラムの発音位置を示すピークＰの時間間隔が段階的に短くなる区間群ＳＧ_１が、ビルドアップまたはプレコーラスの区間を示す表示５０２Ｂによって示されてもよい。

【0020】

本実施形態に係る楽曲解析装置１００は、例えばＤＪパフォーマンスのために楽曲の構造を解析するＤＪアプリケーションとして実装される。他の例では、楽曲の部分ごとに演出を加えるカラオケシステムや、楽曲の特定の部分を抽出するサンプラーなどとして楽曲解析装置が実装されてもよい。これらの場合において、楽曲解析装置は必ずしも、表示制御部によってコーラス区間に関する情報を視覚化して表示させなくてもよい。例えば、カラオケシステムの場合、コーラス区間の始点および終点を示す情報が演出を制御する機能に入力されてもよい。また、サンプラーの場合、コーラス区間の始点および終点を示す情報が楽曲の抽出する部分を決定する機能に入力されてもよい。

【0021】

以上で説明したような本発明の一実施形態によれば、コーラス区間の始点が第１の周波数帯域（例えば、スネアドラム音に対応する周波数帯域）のピークが出現する時間間隔に基づいて検出され、コーラス区間の終点が第２の周波数帯域（例えば、低音周波数帯域）のレベルに基づいて検出される。従って、本実施形態では、フレーズの繰り返しによらずに楽曲の構造を解析することができる。これによって、例えば楽曲にボーカル成分が含まれていなかったり、楽器音でもメロディが強調されていなかったりするクラブミュージックのようなジャンルの楽曲であっても、コーラス区間のような楽曲における特徴的な区間を精度良く検出することができる。

【0022】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はこれらの例に限定されない。本発明の属する技術の分野の当業者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0023】

１００…楽曲解析装置、１１０…音声データ入力部、１２０…音声データ処理部、１２１Ａ，１２１Ｂ…バンドパスフィルタ（ＢＰＦ）、１３０…ピーク間隔検出部、１４０…区間群検索部、１５０…レベル検出部、１６０…区間特定部、１７０…表示制御部、５０１…波形表示、５０２…楽曲区間表示、Ｐ…ピーク、Ｓ_１，Ｓ_２，Ｓ_３，Ｓ_４…区間、ＳＧ_１，ＳＧ_２…区間群、ｉ_１，ｉ_２…時間間隔。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】