特許 7176114 楽曲解析装置、プログラムおよび楽曲解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-11

(45)【発行日】2022-11-21

(54)【発明の名称】楽曲解析装置、プログラムおよび楽曲解析方法

(51)【国際特許分類】

   G10G 3/04 20060101AFI20221114BHJP

   G10L 25/51 20130101ALI20221114BHJP

   G10H 1/38 20060101ALI20221114BHJP

【ＦＩ】

G10G3/04

G10L25/51 300

G10H1/38 Z

【請求項の数】 8

(21)【出願番号】P 2021528066

(86)(22)【出願日】2019-06-17

(86)【国際出願番号】 JP2019023929

(87)【国際公開番号】W WO2020255214

(87)【国際公開日】2020-12-24

【審査請求日】2021-11-24

(73)【特許権者】

【識別番号】315017409

【氏名又は名称】ＡｌｐｈａＴｈｅｔａ株式会社

(74)【代理人】

【識別番号】110000637

【氏名又は名称】特許業務法人樹之下知的財産事務所

(72)【発明者】

【氏名】鈴木 四郎

(72)【発明者】

【氏名】佐飛 利尚

【審査官】大野 弘

(56)【参考文献】

【文献】特開平０５－２７３９７６（ＪＰ，Ａ）

【文献】国際公開第２０１０／１３７０７４（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ ３／０４

Ｇ１０Ｌ ２５／５１

Ｇ１０Ｈ １／３８

(57)【特許請求の範囲】

【請求項1】

楽曲データを解析することによって複数のキー候補を決定するキー候補決定部と、
前記複数のキー候補から抽出される１のキーについて、前記複数のキー候補の残りのキーから前記１のキーを主調とした場合の近親調に該当するキーを検出する処理を前記複数のキー候補のそれぞれについて実行し、前記近親調に該当するキーの数に応じて算出される近親調スコアに従って前記複数のキー候補から前記楽曲のキーを選定するキー選定部と
を備える楽曲解析装置。

【請求項2】

前記近親調は、属調、下属調、同主調、および平行調の一部または全部を含む、請求項１に記載の楽曲解析装置。

【請求項3】

前記キー選定部は、前記近親調の種類ごとに重み付けられた点数を加算することによって前記近親調スコアを算出する、請求項２に記載の楽曲解析装置。

【請求項4】

前記キー候補決定部は、前記楽曲データの周波数解析によって生成される音響クロマベクトルに各キーの所定の度数の音について高くなる係数をかけ合わせることによって各キーの候補スコアを算出し、前記候補スコアに従って前記複数のキー候補を決定する、請求項１から請求項３のいずれか１項に記載の楽曲解析装置。

【請求項5】

前記キー選定部は、前記複数のキー候補の中に前記近親調スコアが等しい複数のキーがある場合に、前記候補スコアが相対的に高いキーを前記楽曲のキーとして選定する、請求項４に記載の楽曲解析装置。

【請求項6】

前記楽曲のキーを示す楽曲キー情報をユーザーに提示するか、または前記楽曲データに関連付けて記録するために出力する楽曲キー情報出力部をさらに備える、請求項１から請求項５のいずれか１項に記載の楽曲解析装置。

【請求項7】

請求項１から請求項６のいずれか１項に記載の楽曲解析装置としてコンピュータを動作させるように構成されたプログラム。

【請求項8】

楽曲データを解析することによって複数のキー候補を決定するステップと、
前記複数のキー候補から抽出される１のキーについて、前記複数のキー候補の残りのキーから前記１のキーを主調とした場合の近親調に該当するキーを検出する処理を前記複数のキー候補のそれぞれについて実行し、前記近親調に該当するキーの数に応じて算出される近親調スコアに従って前記複数のキー候補から前記楽曲のキーを選定するステップと
を含む楽曲解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲解析装置、プログラムおよび楽曲解析方法に関する。

【背景技術】

【0002】

楽曲のキーを自動的に特定する技術が提案されている。例えば、特許文献１には、楽曲の音声データを取得する音声データ取得部と、キーと音階の組み合わせとの対応を示すキー情報を格納する記憶部と、所定区間の音声データを周波数解析してクロマベクトルを求め、クロマベクトルに含まれる音階の中から複数の音階を選択し、選択した複数の音階の組み合わせとキー情報とに基づいてキー候補を決定し、決定したキー候補の中から楽曲のキーを特定するキー推定部とを含む楽曲キー推定装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０２５６４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の特許文献１では、キー候補間の音階における距離や、各キー候補に含まれる音階の強度、各キー候補を示す音階の１つ前の音階の強度に基づいて、キー候補の中から楽曲のキーを特定している。しかしながら、この方法では、必ずしも楽曲のキーが高い精度で適切に推定されない場合がある。

【0005】

そこで、本発明は、楽曲のキーをより高い精度で適切に推定することが可能な楽曲解析装置、プログラムおよび楽曲解析方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のある観点によれば、楽曲データを解析することによって複数のキー候補を決定するキー候補決定部と、複数のキー候補から抽出される１のキーについて、複数のキー候補の残りのキーから１のキーを主調とした場合の近親調に該当するキーを検出する処理を複数のキー候補のそれぞれについて実行し、近親調に該当するキーの数に応じて算出される近親調スコアに従って複数のキー候補から楽曲のキーを選定するキー選定部とを備える楽曲解析装置が提供される。

【0007】

本発明の別の観点によれば、上記の楽曲解析装置としてコンピュータを動作させるように構成されたプログラムが提供される。

【0008】

本発明のさらに別の観点によれば、楽曲データを解析することによって複数のキー候補を決定するステップと、複数のキー候補から抽出される１のキーについて、複数のキー候補の残りのキーから１のキーを主調とした場合の近親調に該当するキーを検出する処理を複数のキー候補のそれぞれについて実行し、近親調に該当するキーの数に応じて算出される近親調スコアに従って複数のキー候補から楽曲のキーを選定するステップとを含む楽曲解析方法が提供される。

【0009】

上記の構成によれば、近親調を用いた判定によって楽曲のキーをより高い精度で適切に推定することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係る楽曲解析装置の概略的な機能構成を示すブロック図である。

【図2】キーテーブルの例を示す図である。

【図3】近親調の関係の例を示す図である。

【図4】本発明の一実施形態に係る楽曲解析方法の処理の例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0012】

図１は、本発明の一実施形態に係る楽曲解析装置の概略的な機能構成を示すブロック図である。図示された例において、楽曲解析装置１００は、クロマベクトル生成部１１０、キー候補決定部１２０、キー選定部１３０、および楽曲キー情報出力部１４０を含む。楽曲解析装置１００は、例えば通信インターフェース、プロセッサ、およびメモリを有するコンピュータによって実装され、クロマベクトル生成部１１０、キー候補決定部１２０、キー選定部１３０、および楽曲キー情報出力部１４０の機能はプロセッサがメモリに格納された、または通信インターフェースを介して受信されたプログラムに従って動作することによって実現される。以下、各部の機能についてさらに説明する。

【0013】

クロマベクトル生成部１１０は、楽曲データ１１１、具体的には例えばＰＣＭ（pulse code modulation）データについて周波数解析、具体的にはＦＦＴ（fast Fourier transform）１１２、ピッチ検出１１３、および１／１２オクターブバンド化１１４の処理を実行し、さらにクロマベクトル生成１１５の処理、具体的には１／１２オクターブバンド化１１４の結果を１オクターブの１２音に集約し、さらに１２音それぞれの成分を時間軸方向に積算する処理によってクロマベクトル１１６（音響クロマベクトル）を生成する。本実施形態において、クロマベクトル１１６は、１２音のそれぞれが楽曲内に現れる頻度に対応する１２の要素からなる。

【0014】

キー候補決定部１２０は、上記のように楽曲データを解析することによって生成されたクロマベクトル１１６に基づいてキー候補１２１を決定する。具体的には、キー候補決定部１２０は、クロマベクトル１１６を必要に応じて正規化した上で、図２に例示するような全２４キーのキーテーブル１２２を参照してキー候補１２１を決定する。例えば、キー候補決定部１２０は、キーテーブル１２２に示される各キーの所定の度数（図示された例ではＩ度、III度、およびＶ度）の音について高くなる係数をクロマベクトル１１６にかけ合わせることによって算出される各キーの候補スコアに従ってキー候補１２１を決定してもよい。

【0015】

一例として、クロマベクトルＶ＝（ｖ_Ａ，ｖ_Ｂ♭，ｖ_Ｂ，ｖ_Ｃ，ｖ_Ｄ♭，ｖ_Ｄ，ｖ_Ｅ♭，ｖ_Ｅ，ｖ_Ｆ，ｖ_Ｇ♭，ｖ_Ｇ，ｖ_Ａ♭）である場合、各キーのスコアベクトルＳ＝（ｓ_{Ａｍａｊｏｒ}，ｓ_{Ｂ♭ｍａｊｏｒ}，ｓ_{Ｂｍａｊｏｒ}，ｓ_{Ｃｍａｊｏｒ}，ｓ_{Ｄ♭ｍａｊｏｒ}，ｓ_{Ｄｍａｊｏｒ}，ｓ_{Ｅ♭ｍａｊｏｒ}，ｓ_{Ｅｍａｊｏｒ}，ｓ_{Ｆｍａｊｏｒ}，ｓ_{Ｇ♭ｍａｊｏｒ}，ｓ_{Ｇｍａｊｏｒ}，ｓ_{Ａ♭ｍａｊｏｒ}，ｓ_{Ａｍｉｎｏｒ}，ｓ_{Ｂ♭ｍｉｎｏｒ}，ｓ_{Ｂｍｉｎｏｒ}，ｓ_{Ｃｍｉｎｏｒ}，ｓ_{Ｄ♭ｍｉｎｏｒ}，ｓ_{Ｄｍｉｎｏｒ}，ｓ_{Ｅ♭ｍｉｎｏｒ}，ｓ_{Ｅｍｉｎｏｒ}，ｓ_{Ｆｍｉｎｏｒ}，ｓ_{Ｇ♭ｍｉｎｏｒ}，ｓ_{Ｇｍｉｎｏｒ}，ｓ_{Ａ♭ｍｉｎｏｒ}）は、以下のように係数行列ＭをクロマベクトルＶにかけ合わせることによって算出される。

【0016】

【数1】

【0017】

ここで、係数行列の係数ｋ_Ｉ，ｋ_II，ｋ_III，…，ｋ_VIIは、各キーのＩ度からVII度までの音に対応して設定される。楽曲の中では、キーのＩ度の音が最も多く用いられ、次いでIII度およびＶ度の音が多く用いられ、II度、IV度、VI度、およびVII度の音は用いられるが頻度は少ない。従って、キー候補決定部１２０は、例えばｋ_Ｉ＝３、ｋ_III＝ｋ_Ｖ＝２、ｋII＝ｋIV＝ｋ_VI＝ｋ_VII＝１、といったような割合で係数ｋ_Ｉ，ｋ_II，ｋ_III，…，ｋ_VIIを設定して各キーの候補スコアを算出してもよい。他の例として、キー候補決定部１２０は、クロマベクトルＶに係数をかけ合わせる代わりに、クロマベクトルＶにおける要素の大きさを順位点に換算したもの（例えば、最大の要素に１２、次に大きい要素に１１、以下同様で、最も小さい要素に１を与えたもの）に係数をかけ合わせてもよい。

【0018】

キー候補決定部１２０は、例えば上記のように各キーの候補スコアを算出した上で、候補スコアが相対的に高いか、または候補スコアが所定の閾値を超えるキーをキー候補１２１に決定する。より具体的には、例えば、キー候補決定部１２０は、候補スコアが相対的に高い所定の数（例えば、スコアが高い方から５つ）のキーをキー候補１２１に決定してもよい。あるいは、キー候補決定部１２０は、候補スコアが閾値を超えたキーをすべてキー候補１２１に決定するか、または候補スコアが閾値を超え、かつ候補スコアが相対的に高い所定の数のキーをキー候補１２１に決定してもよい。なお、キー候補決定部１２０は複数のキー候補１２１を決定するように構成されるが、例えば候補スコアに大きな差がある場合は、キー候補決定部１２０が単一のキー候補１２１を決定することもありうる。

【0019】

キー選定部１３０は、キー候補決定部１２０が決定した複数のキー候補１２１に対して、以下で説明するような近親調判定を実行し、楽曲のキーを選定する。選定された楽曲のキーは、楽曲キー情報出力部１４０によって楽曲キー情報１４１として出力される。近親調判定は、例えば図３に示すような近親調の関係に基づく判定である。図示された例では、主調のキー（Ｃ_{ｍａｊｏｒ}）に対して、主音（Ｉ度の音）が同じである同主調（Ｃ_{ｍｉｎｏｒ}）、主音が完全Ｖ度上の属調（Ｇ_{ｍａｊｏｒ}）、主音が完全Ｖ度下の下属調（Ｆ_{ｍａｊｏｒ}）、主調、属調、および下属調のそれぞれと主音が異なるが構成音が同じである平行調（Ａ_{ｍｉｎｏｒ}、Ｅ_{ｍｉｎｏｒ}、およびＤ_{ｍｉｎｏｒ}）が近親調であり、共通音が多く主調との関係性が近いことが知られている。キー選定部１３０は、例えば上記の属調、下属調、同主調、および平行調の全部を近親調として扱ってもよいし、特に関係性の近い一部の調、具体的には例えば属調、下属調、および同主調を近親調として扱ってもよい。

【0020】

より具体的には、キー選定部１３０は、キー候補決定部１２０が決定した複数のキー候補から抽出される１のキーについて、複数のキー候補の残りのキーから当該１のキーを主調とした場合の近親調に該当するキーを検出する処理を複数のキー候補のそれぞれについて実行し、近親調に該当するキーの数に応じて算出される近親調スコアに従って複数のキー候補から楽曲のキーを選定する。例えば、キー候補決定部１２０が｛Ｃ_{ｍａｊｏｒ}，Ｃ_{ｍｉｎｏｒ}，Ｇ_{ｍａｊｏｒ}，Ｆ_{ｍａｊｏｒ}，Ａ_{ｍｉｎｏｒ}｝の５つのキーをキー候補に決定した場合に、キー選定部１３０は、（ｉ）Ｃ_{ｍａｊｏｒ}を主調とした場合、（ii）Ｃ_{ｍｉｎｏｒ}を主調とした場合、（iii）Ｇ_{ｍａｊｏｒ}を主調とした場合、（iv）Ｆ_{ｍａｊｏｒ}を主調とした場合、および（ｖ）Ａ_{ｍｉｎｏｒ}を主調とした場合の５通りについて、キー候補の残りのキーから近親調に該当するキーを検出する。近親調に該当するキーの数をｎとすると、（ｉ）の場合にはｎ＝４（図３の例に示すように、他のキー候補がすべて近親調に該当する）、（ii）の場合にはｎ＝１、（iii）および（iv）の場合にはｎ＝２、（ｖ）の場合にはｎ＝３となる。

【0021】

上記の例において、キー選定部１３０は、例えば数ｎをそのまま近親調スコアとして用いて、ｎが最大になる（ｉ）の場合の主調、すなわちＣ_{ｍａｊｏｒ}を楽曲のキーとして選定してもよい。あるいは、キー選定部１３０は、特定の種類の近親調が含まれる場合に相対的に高くなるように近親調スコアを算出してもよい。例えば、キー選定部１３０は、候補キーの残りのキーから検出された近親調に該当するキーが同主調であった場合は３点、属調および下属調であった場合は２点、平行調については１点、といったように、近親調の種類ごとに重み付けされた点数を加算することによって近親調スコアを算出してもよい。

【0022】

なお、キー候補決定部１２０が単一のキー候補を決定した場合、キー選定部１３０の処理は実行されず、決定されたキー候補がそのまま楽曲のキーとして選定される。また、キー候補決定部１２０が決定しキー候補が２つの場合、どちらのキーを主調にした場合も近親調スコアは同じになる。このような場合、および決定されたキー候補が３つ以上であって複数のキーで近親調スコアが等しい場合において、キー選定部１３０は、例えばキー候補決定部１２０で算出された候補スコアが相対的に高いキーを楽曲のキーとして選定してもよい。

【0023】

楽曲キー情報出力部１４０は、例えば楽曲キー情報１４１をディスプレイへの表示などによってユーザーに提示するために出力する。あるいは、楽曲キー情報出力部１４０は、楽曲キー情報１４１を、例えば楽曲データ１１１のメタデータとして楽曲に関連付けて記録するために出力してもよい。楽曲に関連付けて記録された楽曲キー情報１４１を用いて、例えば楽曲データ１１１を用いた楽曲の再生時に楽曲のキーをユーザーに提示することができる。また、ＤＪ機器を用いて楽曲同士をつなぎ合わせてミックスを作成する際に、楽曲に関連付けて記録された楽曲キー情報１４１に基づいてミックスの候補になる楽曲を自動的にユーザーに提示してもよい。

【0024】

本実施形態では、近親調判定によって楽曲のキーがより高い精度で適切に推定されるため、例えば上記の例のようにＤＪ機器を用いてミックスを作成する際に、ユーザーに正確な楽曲のキーが提示されたり、正確な楽曲のキーに基づいて自動的に候補になる楽曲が提示されたりすることによって、品質の高いミックスを作成することができる。その他の用途、具体的には例えばカラオケや楽曲製作などにおいても、正確な楽曲のキーが推定されることは有用である。

【0025】

図４は、本発明の一実施形態に係る楽曲解析方法の処理の例を示すフローチャートである。図示された処理は、例えば上記で説明した楽曲解析装置１００において実行される。まず、クロマベクトル生成部１１０が、楽曲データの周波数解析によってクロマベクトル１１６を生成する（ステップＳ１１０）。次に、キー候補決定部１２０が、クロマベクトル１１６から算出される候補スコアに従って複数のキー候補を決定する（ステップＳ１２０）。さらに、キー選定部１３０が、複数のキー候補のそれぞれについて上述したような近親調スコアを算出し、近親調スコアに従って複数のキー候補から楽曲のキーを選定する（ステップＳ１３０）。続いて、楽曲キー情報出力部１４０が、楽曲キー情報１４１をユーザーに提示するか、または楽曲データ１１１に関連付けて記録するために出力する（ステップＳ１４０）。

【0026】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変形例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0027】

１００…楽曲解析装置、１１０…クロマベクトル生成部、１１１…楽曲データ、１１３…ピッチ検出、１１４…１／１２オクターブバンド化、１１５…クロマベクトル生成、１１６…クロマベクトル、１２０…キー候補決定部、１２１…キー候補、１２２…キーテーブル、１３０…キー選定部、１４０…楽曲キー情報出力部、１４１…楽曲キー情報。

【図1】

【図2】

【図3】

【図4】