特開 2024-148250 楽曲データ処理装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024148250

(43)【公開日】2024-10-18

(54)【発明の名称】楽曲データ処理装置、方法、及びプログラム

(51)【国際特許分類】

   G10G 3/04 20060101AFI20241010BHJP

【ＦＩ】

G10G3/04

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023061216

(22)【出願日】2023-04-05

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】田畑 裕二

【テーマコード（参考）】

5D182

【Ｆターム（参考）】

5D182AD10

(57)【要約】

【課題】楽曲データからチューニング値の特定と、コード判定を行うための技術に関し、楽曲に合わせた楽器演奏をする際の正確なチューニング値の特定を容易に行い、これに基づいてより正確なコード判定を行う。
【解決手段】チューニング値特定部２０１は、ＦＦＴの演算点に対応するビン番号毎に、位相エラーを算出する位相エラー算出処理Ｓ２１２、位相エラーを考慮したカレント周波数及びそれに基づく仮音階を算出する周波数特定処理Ｓ２１３、仮音階の小数部に基づいて算出した音階ずれ量に基づいて楽曲データに対するチューニング値を特定するチューニング値特定処理Ｓ２１４を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

処理単位毎に入力された楽曲データから生成した入力データに対して実行した高速フーリエ変換の演算結果に基づき前記楽曲データを処理するプロセッサを備え、
前記プロセッサは、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記演算結果である今回の前記処理単位での位相から、前記演算結果である前回の前記処理単位での位相に前記ビン番号に対応するビン番号周波数のもとで前記処理単位が１単位進んだときに変位すべき位相量である標準位相変位を加算した結果を、減算して得られるずれ量を位相エラーとして算出する、
楽曲データ処理装置。

【請求項2】

前記ビン番号毎に、前記標準位相変位に前記位相エラーを加算した結果の前記標準位相変位に対する比を、前記ビン番号周波数に乗算して得た周波数であるカレント周波数を算出し、
基準音の周波数に対する前記カレント周波数の比に基づいて仮音階を算出し、前記仮音階の小数部に基づいて音階ずれ量を算出し、
前記音階ずれ量に基づいて前記楽曲データに対するチューニング値を算出する、
請求項１に記載の楽曲データ処理装置。

【請求項3】

処理単位毎に入力された楽曲データから生成した入力データに対して実行した高速フーリエ変換の演算結果に基づき前記楽曲データを処理するプロセッサを備え、
前記プロセッサは、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記演算結果である今回の前記処理単位での位相から、前記演算結果である前回の前記処理単位での位相に前記ビン番号に対応するビン番号周波数のもとで前記処理単位が１単位進んだときに変位すべき位相量である標準位相変位を加算した結果を、減算して得られるずれ量を位相エラーとして算出し、
前記位相エラーに基づいて前記ビン番号毎のカレント周波数を特定し、
特定された前記ビン番号毎の前記カレント周波数に基づいて前記楽曲データにおけるコードを判定する、
楽曲データ処理装置。

【請求項4】

前記コードの判定は、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記楽曲データに対するチューニング値と、前記ビン番号に対して算出されている前記カレント周波数とに基づき、前記ビン番号毎の真音階を算出し、
前記ビン番号毎に算出した前記真音階の整数部と小数部と、前記演算結果から算出される前記ビン番号毎の振幅とに基づき、所定の音階範囲の音数音階に、前記振幅の値を分配合成することにより、前記音数音階毎の周波数の振幅強度を特徴量としたベクトルであるクロマベクトルを生成し、
前記クロマベクトルに基づいて前記楽曲データにおけるコードを判定する、
ことを含む請求項３に記載の楽曲データ処理装置。

【請求項5】

前記プロセッサは、前記ビン番号に対応する前記ビン番号周波数を、前記高速フーリエ変換に先立って前記楽曲データにサンプル毎に乗算される窓データの窓サイズに対する前記ビン番号の比を、前記楽曲データのサンプルレートに乗算することにより算出する、請求項１又は請求項３に記載の楽曲データ処理装置。

【請求項6】

前記プロセッサは、前記仮音階の小数部をビン番号毎音階ずれ量として算出する動作を、１つの前記処理単位内の所定の音域範囲内の各前記ビン番号に対して実行して前記１つの処理単位に対応する処理単位毎音階ずれ量を算出する動作を、更に前記楽曲データ全体に渡る各前記処理単位に対して実行して算出した各前記処理単位毎音階ずれ量から前記楽曲データに対応する楽曲音階ずれ量として前記音階ずれ量を算出する、
請求項２に記載の楽曲データ処理装置。

【請求項7】

前記プロセッサは、前記音階ずれ量から１音階あたりの音階ずれ率を算出して前記任意の音階の第１音周波数に乗算することにより前記楽曲データに対するチューニング値を算出する、請求項２に記載の楽曲データ処理装置。

【請求項8】

前記プロセッサは、
前記楽曲データの音域全体の音数ｎ（ｎ＞１２）のｎ音階に対応するｎ音クロマベクトルと、前記ｎ音クロマベクトルを１２音階に丸め込む演算により、１２音階に対応する１２音クロマベクトルと、を前記クロマベクトルとして生成し、
前記１２音クロマベクトルの変化に基づいて、テンポ値、小節位置、及び拍位置をビートトラッキング情報として検出し、
前記ビートトラッキング情報に基づいてコード判定すべき時間長を決定し、前記時間長に対して前記１２音クロマベクトルの要素値毎の合計値を要素値とするビート長１２音クロマベクトルを生成し、
前記ビート長１２音クロマベクトルとコードの構成音／非構成音で重みづけされたコード構成音テーブルの値とを乗算し、合計が最大となるコードをコード判定結果として出力する、
請求項４に記載の楽曲データ処理装置。

【請求項9】

処理単位毎に入力された楽曲データから生成した入力データに対して実行した高速フーリエ変換の演算結果に基づき前記楽曲データを処理するプロセッサに、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記演算結果から夫々算出される前回の前記処理単位での位相と今回の前記処理単位での位相との位相差と、前記ビン番号の演算点に対応するビン番号周波数のもとで前記処理単位が１単位進んだときに変位すべき位相量である標準位相変位と、を比較したときのずれ量である位相エラーを算出する処理、
を実行させるための楽曲データ処理方法。

【請求項10】

前記ビン番号毎に、前記標準位相変位に前記位相エラーを加算した結果の前記標準位相変位に対する比を、前記ビン番号周波数に乗算して得た周波数であるカレント周波数を算出する処理と、
基準音の周波数に対する前記カレント周波数の比に基づいて仮音階を算出し、前記仮音階の小数部に基づいて音階ずれ量を算出する処理と、
前記音階ずれ量に基づいて前記楽曲データに対するチューニング値を算出する処理と、
を実行させるための請求項９に記載の楽曲データ処理方法。

【請求項11】

処理単位毎に入力された楽曲データから生成した入力データに対して実行した高速フーリエ変換の演算結果に基づき前記楽曲データを処理するプロセッサに、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記演算結果である今回の前記処理単位での位相から、前記演算結果である前回の前記処理単位での位相に前記ビン番号に対応するビン番号周波数のもとで前記処理単位が１単位進んだときに変位すべき位相量である標準位相変位を加算した結果を、減算して得られるずれ量を位相エラーとして算出する処理と、
前記位相エラーに基づいて前記ビン番号毎のカレント周波数を特定する処理と、
特定された前記ビン番号毎の前記カレント周波数に基づいて前記楽曲データにおけるコードを判定する処理と、
を実行させるための楽曲データ処理方法。

【請求項12】

前記コードを判定する処理は、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記楽曲データに対するチューニング値と、前記ビン番号に対して算出されている前記カレント周波数とに基づき、前記ビン番号毎の真音階を算出する処理と、
前記ビン番号毎に算出した前記真音階の整数部と小数部と、前記演算結果から算出される前記ビン番号毎の振幅とに基づき、所定の音階範囲の音数音階に、前記振幅の値を分配合成することにより、前記音数音階毎の周波数の振幅強度を特徴量としたベクトルであるクロマベクトルを生成する処理と、
前記クロマベクトルに基づいて前記楽曲データにおけるコードを判定する処理と、
を含む請求項１１に記載の楽曲データ処理方法。

【請求項13】

処理単位毎に入力された楽曲データから生成した入力データに対して実行した高速フーリエ変換の演算結果に基づき前記楽曲データを処理するコンピュータに、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記演算結果から夫々算出される前回の前記処理単位での位相と今回の前記処理単位での位相との位相差と、前記ビン番号の演算点に対応するビン番号周波数のもとで前記処理単位が１単位進んだときに変位すべき位相量である標準位相変位と、を比較したときのずれ量である位相エラーを算出する処理、
を実行させるためのプログラム。

【請求項14】

前記ビン番号毎に、前記標準位相変位に前記位相エラーを加算した結果の前記標準位相変位に対する比を、前記ビン番号周波数に乗算して得た周波数であるカレント周波数を算出する処理と、
基準音の周波数に対する前記カレント周波数の比に基づいて仮音階を算出し、前記仮音階の小数部に基づいて音階ずれ量を算出する処理と、
前記音階ずれ量に基づいて前記楽曲データに対するチューニング値を算出する処理と、
を実行させるための請求項１３に記載のプログラム。

【請求項15】

処理単位毎に入力された楽曲データから生成した入力データに対して実行した高速フーリエ変換の演算結果に基づき前記楽曲データを処理するコンピュータに、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記演算結果である今回の前記処理単位での位相から、前記演算結果である前回の前記処理単位での位相に前記ビン番号に対応するビン番号周波数のもとで前記処理単位が１単位進んだときに変位すべき位相量である標準位相変位を加算した結果を、減算して得られるずれ量を位相エラーとして算出する処理と、
前記位相エラーに基づいて前記ビン番号毎のカレント周波数を特定する処理と、
特定された前記ビン番号毎の前記カレント周波数に基づいて前記楽曲データにおけるコードを判定する処理と、
を実行させるためのプログラム。

【請求項16】

前記コードを判定する処理は、
前記高速フーリエ変換の演算点に対応するビン番号毎に、前記楽曲データに対するチューニング値と、前記ビン番号に対して算出されている前記カレント周波数とに基づき、前記ビン番号毎の真音階を算出する処理と、
前記ビン番号毎に算出した前記真音階の整数部と小数部と、前記演算結果から算出される前記ビン番号毎の振幅とに基づき、所定の音階範囲の音数音階に、前記振幅の値を分配合成することにより、前記音数音階毎の周波数の振幅強度を特徴量としたベクトルであるクロマベクトルを生成する処理と、
前記クロマベクトルに基づいて前記楽曲データにおけるコードを判定する処理と、
を含む請求項１５に記載のプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲データからチューニング値を特定するための処理と、コード判定を行うための処理の技術に関する。

【背景技術】

【0002】

音響信号の楽曲データからのチューニング値（例えばＡ４音の周波数）の特定は、単音であれば自己相関関数を用いて検出可能である。
また、自己相関関数による手法のほかに、音響信号の分析に多く用いられる手法にフーリエ変換処理がある。特に、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ：高速フーリエ変換）による方法は計算機上で高速な処理が可能であり、多くの信号分析に用いられている。

【0003】

更に、ＦＦＴとクロマベクトルという技術を組み合わせて、コード判定を可能とする技術も知られている（例えば非特許文献１）。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】松岡 保静，渡部 瑞希，“音楽のコード認識技術とその応用”，［online］，NTT DOCOMOテクニカル・ジャーナル Vol.25 No.2, Jul.2017, ［令和５年２月２６日検索］，インターネット ＜URL：https://www.docomo.ne.jp/binary/pdf/corporate/technology/rd/technical_journal/bn/vol25_2/vol25_2_004jp.pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、対象データがコード音（和音）や複数の楽器音から構成される合成音データである場合、自己相関関数による手法はチューニング値の検出には適用できない。
また、ＦＦＴにより得られる分析結果における周波数情報は、ＦＦＴビン番号毎の離散値の合成となり、楽曲全体のチューニング値といった連続的な値を取る周波数の検出には適さないという課題があった。

【0006】

本発明は、楽曲に合わせて楽器演奏をする際や、楽曲のコード進行を判定する際に必要となる正確なチューニング値を得ることを目的とする。

【課題を解決するための手段】

【0007】

態様の一例の楽曲データ処理装置は、処理単位毎に入力された楽曲データから生成した入力データに対して実行した高速フーリエ変換の演算結果に基づき楽曲データを処理するプロセッサを備え、プロセッサは、高速フーリエ変換の演算点に対応するビン番号毎に、演算結果である今回の処理単位での位相から、演算結果である前回の処理単位での位相にビン番号に対応するビン番号周波数のもとで処理単位が１単位進んだときに変位すべき位相量である標準位相変位を加算した結果を、減算して得られるずれ量を位相エラーとして算出する。

【発明の効果】

【0008】

本発明によれば、楽曲に合わせた楽器演奏をする際や、楽曲のコード進行を判定する際に必要となる正確なチューニング値を得ることが可能となる。

【図面の簡単な説明】

【0009】

【図1】楽曲データ処理装置のハードウェアの構成例を示すブロック図である。

【図2】コード判定処理部のブロック図である。

【図3】チューニング値特定部の処理例を示すフローチャートである。

【図4】クロマベクトル生成部の処理例（（ａ））と、コード判定部の処理例（（ｂ））を示すフローチャートである。

【図5】コード構成音テーブルの例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明を実施するための形態について図面を参照しながら詳細に説明する。図１は、楽曲データに対してチューニング値を特定し、その特定されたチューニング値に基づいてコード判定を行うことができる楽曲データ処理装置１００のハードウェアの構成例を示すブロック図である。

【0011】

楽曲データ処理装置１００は、例えばユーザが操作するスマートフォン端末、タブレット端末、又はいわゆるノートブックパソコンなどのパーソナルコンピュータであるユーザ端末である。
楽曲データ処理装置１００においては、少なくとも１つのプロセッサとしてのＣＰＵ（中央演算処理装置）１０１、ＲＯＭ（リードオンリーメモリ）１０２、ＲＡＭ（ランダムアクセスメモリ）１０３、例えばタッチパネルディスプレイによって構成される入力部１０４及び表示／出力部１０５、並びにサーバ装置や他のユーザ端末と通信するために例えばインターネットやローカルエリアネットワークなどに接続する通信部１０６が、システムバス１０７により相互に接続されている。その他、ユーザ端末として一般的に備わっており本実施形態の動作と直接には関係ないブロック（例えば、マイク、スピーカ、通話機能、カメラ等）は、省略しているが、これらのブロックを備えてもよいことは言うまでもない。

【0012】

ＣＰＵ１０１は、ＲＡＭ１０３をワークメモリとして使用しながらＲＯＭ１０２に記憶された制御プログラムを実行することにより、図１の楽曲データ処理装置１００の制御動作を実行する。また、ＲＯＭ１０２は、上記制御プログラム及び各種固定データのほか、例えば後述する図５の［コード構成音テーブル］のデータ等を記憶している。制御プログラム等はＲＯＭ１０２にあらかじめ記憶されているのではなく、通信部１０６を介してインターネット等から適宜ダウンロードしてインストールできるようにしてもよい。

【0013】

図１のコンピュータによって実行される本実施形態の処理例を以下に詳細に説明する。「ＣＰＵ１０１」「ＲＯＭ１０２」又は「ＲＡＭ１０３」などと言及する場合、図１のＣＰＵ１０１、ＲＯＭ１０２、又はＲＡＭ１０３を参照することを意味するものとする。

【0014】

まず、以下の物理単位を下記（１）式により定義する。
サンプルレート ：ＳＲ（サンプル／秒）
ＦＦＴ処理レート：ＰＲ（回／秒）
ＦＦＴ窓サイズ ：ＷＬ（サンプル）
処理単位 ：ＰＵ＝ＳＲ／ＰＲ（サンプル／回）
・・・（１）
処理単位ＰＵは、１回にまとめて対応する処理単位である。

【0015】

図２は、図１の楽曲データ処理装置１００のＣＰＵ１０１等で構成されるコード判定処理部２００のブロック図である。コード判定処理部２００は、楽曲データ処理装置１００内で後述する処理を実行し、対応するハードウェアは、上述の通りＣＰＵ１０１、ＲＯＭ１０２、及びＲＡＭ１０３の少なくともいずれかを含む。
コード判定処理部２００によって実行されるプログラムは、図１の楽曲データ処理装置１００であるユーザ端末の工場出荷時に、ＲＯＭ１０２に記憶させられて出荷され、ユーザが使用時にＲＯＭ１０２からＲＡＭ１０３にロードして使用するようにできる。
或いは、コード判定処理部２００によって実行されるプログラムは、ユーザが、楽曲データ処理装置１００のユーザ端末に、例えばコード判定処理部２００の機能を備えたいわゆるアプリ（アプリケーション）を、このアプリを提供するベンダー企業のＷｅｂサイト等から、インターネット等のネットワークを経由して、図１の通信部１０６からＲＡＭ１０３にダウンロード及びインストールすることにより、動作させることができる。

【0016】

コード判定処理部２００は、大きく分けてチューニング値特定部２０１、クロマベクトル生成部２０２、及びコード判定部２０３から構成される。

【0017】

チューニング値特定部２０１は、波形データ読込み処理Ｓ２１０、振幅／位相算出処理Ｓ２１１、位相エラー算出処理Ｓ２１２、周波数特定処理Ｓ２１３、及びチューニング値特定処理Ｓ２１４を実行する。

【0018】

クロマベクトル生成部２０２は、８８音クロマベクトル生成処理Ｓ２２０及び１２音クロマベクトル生成処理Ｓ２２１を実行する。

【0019】

コード判定部２０３は、ビートトラッキング処理Ｓ２３０及びコード判定処理Ｓ２３１を実行する。

【0020】

図３は、図２のチューニング値特定部２０１の更に詳細な処理例を示すフローチャートである。
ＣＰＵ１０１は主に、図２のチューニング値特定部２０１のブロック内に「主な情報」として記載した、［ＦＦＴ窓データ］、［複素データ］（［振幅］［位相］）、［位相エラー］、［カレント周波数］と［仮音階］、［仮音階整数部］と［仮音階小数部］、［仮音階小数部重心］、及び［チューニング値］などの情報を、ＲＡＭ１０３に記憶された変数として取り扱う。

【0021】

図３において、ＣＰＵ１０１は、ＲＯＭ１０２又は通信部１０６を介して外部のネットワーク（インターネット等）から読み込まれた、コード判定対象の楽曲データの波形データを、前述した（１）式で定義した処理単位ＰＵ［サンプル／回］＝ＳＲ（サンプルレート［サンプル／秒］）／ＰＲ（ＦＦＴ処理レート［回／秒］）で、ＲＡＭ１０３に順次読み込むことになるが、ここで、まず波形データの最終データまで読込み及び処理が完了したか否かを判定する（図３のステップＳ３００）。

【0022】

最終データまで完了しておらずステップＳ３００の判定がＮＯならば、ＣＰＵ１０１は、図２で説明した波形データ読込み処理Ｓ２１０を実行する。具体的には、ＣＰＵ１０１は、ＰＵサンプルの新たな波形データをＲＡＭ１０３に読み込むと共に、（１）式で定義されたＦＦＴ窓サイズＷＬ［サンプル］を有するＦＦＴ窓データを、例えばＲＯＭ１０２から例えばＲＡＭ１０３又は特には図示しないＣＰＵ１０１が内蔵するレジスタ等のＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ，Ｆｉｒｓｔ Ｏｕｔ）バッファにセットする。

【0023】

次に、ＣＰＵ１０１は、図２で説明した振幅／位相算出処理Ｓ２１１を実行する。

【0024】

具体的には、ＣＰＵ１０１はまず、ＲＡＭ１０３に現在までに処理単位ＰＵ［サンプル］毎に読み込まれている楽曲データの最新の処理単位ＰＵ（サンプル）の中央サンプルと、ＦＩＦＯバッファにセットされているＦＦＴ窓データの中央サンプルとが一致するようにして、ＲＡＭ１０３上の楽曲データのサンプルとＦＩＦＯバッファ中のＦＦＴ窓データのサンプルとを、対応するサンプル毎に乗算する。

【0025】

次に、ＣＰＵ１０１は、ＦＦＴ窓サイズＷＬ［サンプル］分の乗算結果データに対して、ＦＦＴ演算を実行する。

【0026】

更に、ＣＰＵ１０１は、ＦＦＴ演算の結果得られたＦＦＴビン番号ｂｉｎ（以下「ビン番号ｂｉｎ」と記載）毎に、ＦＦＴの演算結果である複素データを取得し、その複素データから振幅と位相を算出する。ここで、ＦＦＴ演算の演算点はＦＦＴ窓サイズＷＬ［サンプル］に等しいが、０～（ＷＬ／２）－１までの演算結果と、ＷＬ／２～ＷＬ－１までの演算結果は、鏡像関係にある。従って、ビン番号ｂｉｎは、ＦＦＴの演算点に対応し、かつその演算点数の半分の０≦ｂｉｎ＜ＦＦＴ窓サイズＷＬ／２の値をとる。
今、ビン番号ｂｉｎにおける複素データの実数部をｒｅ（ｂｉｎ）、虚数部をｉｍ（ｂｉｎ）とすると、ビン番号ｂｉｎにおける振幅Ａｍｐ（ｂｉｎ）と位相Ｐｈｓ（ｂｉｎ）は、下記（２）式及び（３）式で示される各演算により算出される。

【0027】

Ａｍｐ（ｂｉｎ）＝Ｓｑｒｔ（ｒｅ（ｂｉｎ）×ｒｅ（ｂｉｎ）
＋ｉｍ（ｂｉｎ）×ｉｍ（ｂｉｎ）） ・・・（２）
ここで、「Ｓｑｒｔ（ｎ）」はｎの平方根を演算する演算関数である。
Ｐｈｓ（ｂｉｎ）＝Ａｔａｎ（ｉｍ（ｂｉｎ），ｒｅ（ｂｉｎ）） ・・・（３）
ここで、「Ａｔａｎ（ｙ，ｘ）」はｘに対するｙのアークタンジェントを演算する演算関数である。

【0028】

図３の説明に戻り、以上の振幅／位相算出処理Ｓ２１１の後、ＣＰＵ１０１は、図２で説明した位相エラー算出処理Ｓ２１２を実行する。

【0029】

具体的にはＣＰＵ１０１はまず、ＦＦＴの演算点に対応するビン番号ｂｉｎ（０≦ｂｉｎ＜ＦＦＴ窓サイズＷＬ／２）毎に、下記（４）式で示される演算により、ＦＦＴビン周波数ＢＦＱ（ｂｉｎ）（ビン番号周波数）を算出する。

【0030】

ＢＦＱ（ｂｉｎ）＝ＳＲ×ｂｉｎ／ＷＬ ・・・（４）

【0031】

上記（４）式に示されるように、ＦＦＴビン周波数ＢＦＱ（ｂｉｎ）（Ｈｚ＝１／秒）は、ＦＦＴ窓サイズＷＬ（サンプル）に対するビン番号ｂｉｎの比を、楽曲データのサンプルレートＳＲ（サンプル数／秒）に乗算することにより算出される。即ち、ＦＦＴビン周波数ＢＦＱ（ｂｉｎ）は、ビン番号ｂｉｎが示すＦＦＴの演算点に依存して決定される周波数である。

【0032】

次に、ＣＰＵ１０１は、ビン番号ｂｉｎ毎に、上記（４）式で示される演算により算出されるＦＦＴビン周波数ＢＦＱ（ｂｉｎ）のもとで、処理単位ＰＵが１単位（＝ＳＲ／ＰＲ［サンプル］）進んだときに変位すべき位相量である標準位相変位ＮＰＤ（ｂｉｎ）を、下記（５）式で示される演算により算出する。

【0033】

ＮＰＤ（ｂｉｎ）＝２π×ＢＦＱ（ｂｉｎ）×ＰＵ／ＳＲ ・・・（５）
ここで、πは円周率である。

【0034】

次に、ＣＰＵ１０１は、ビン番号ｂｉｎ毎に、（６）式で示される演算により、ＦＦＴ演算結果である複素データから（３）式で示される演算で算出される今回の処理単位での位相Ｐｈｓ１（ｂｉｎ）から、同様に算出される前回の処理単位での位相Ｐｈｓ０（ｂｉｎ）に（５）式で示される演算で算出される標準位相変位ＮＰＤ（ｂｉｎ）を加算した結果を、減算して得られるずれ量を、位相エラーｅＰｈｓ（ｂｉｎ）として算出する。

【0035】

ｅＰｈｓ（ｂｉｎ）＝Ｐｈｓ１（ｂｉｎ）－（Ｐｈｓ０（ｂｉｎ）
＋ＮＰＤ（ｂｉｎ））％（２π） ・・・（６）
なお、位相エラーｅＰｈｓ（ｂｉｎ）は±πの範囲を超えないよう（１）式で定義されるサンプルレートＳＲ［サンプル数／秒］、ＦＦＴ処理レートＰＲ［回／秒］、及びＦＦＴ窓サイズＷＬ［サンプル］が調整されている。ここで「％」は剰余演算式であり、（６）式の右辺は２πで割った余りを意味する。

【0036】

前回の処理単位での位相Ｐｈｓ０（ｂｉｎ）に（５）式で示される演算により算出される標準位相変位ＮＰＤ（ｂｉｎ）を加算したものは、本来であれば今回の処理単位での位相Ｐｈｓ１（ｂｉｎ）と一致するはずである。しかしながら、実際には、楽曲データの周波数が、（４）式で示される演算により算出されるＦＦＴビン周波数ＢＦＱ（ｂｉｎ）とは異なるケースについては上記両者は一致しないので、上記（４）、（５）、及び（６）式で示される各演算により、Ｐｈｓ１（ｂｉｎ）と（Ｐｈｓ０（ｂｉｎ）＋ＮＰＤ（ｂｉｎ））％（２π）との差分が位相エラーｅＰｈｓ（ｂｉｎ）として算出される。

【0037】

図３の説明に戻り、以上の位相エラー算出処理Ｓ２１２の後、ＣＰＵ１０１は、図２で説明した周波数特定処理Ｓ２１３を実行する。

【0038】

具体的にはＣＰＵ１０１はまず、ビン番号ｂｉｎ（０≦ｂｉｎ＜ＦＦＴ窓サイズＷＬ／２）毎に、位相エラー算出処理Ｓ２１２で算出した位相エラーｅＰｈｓ（ｂｉｎ）からカレント周波数ｃＦｑ（ｂｉｎ）と仮音階ｖＮｔ（ｂｉｎ）を算出する。
（５）式で示される演算により算出した標準位相変位ＮＰＤ（ｂｉｎ）に（６）式で示される演算により算出した位相エラーｅＰｈｓ（ｂｉｎ）を加算した結果を標準位相変位ＮＰＤ（ｂｉｎ）で除算することにより、標準位相変位ＮＰＤ（ｂｉｎ）に対する実際の位相の比率が算出できる。
そこで、ＣＰＵ１０１は、下記（７）式で示される演算により、（４）式で示される演算により算出したＦＦＴビン周波数ＢＦＱ（ｂｉｎ）にその比率を乗算することにより、ビン番号ｂｉｎ毎に、カレント周波数ｃＦｑ（ｂｉｎ）を算出する。

【0039】

ｃＦｑ（ｂｉｎ）＝ＢＦＱ（ｂｉｎ）×（ＮＰＤ（ｂｉｎ）
＋ｅＰｈｓ（ｂｉｎ））／ＮＰＤ（ｂｉｎ） ・・・（７）

【0040】

また、ＣＰＵ１０１は、ビン番号ｂｉｎ毎に、（７）式で示される演算により算出されたカレント周波数ｃＦｑ（ｂｉｎ）を用いて、下記（８）式で示される演算により仮音階ｖＮｔ（ｂｉｎ）を算出する。

【0041】

ｖＮｔ（ｂｉｎ）＝Ｌｏｇ（ｃＦｑ（ｂｉｎ）／４４０．０，２．０）×１２
＋６９ ・・・（８）
ここで、「６９」は、Ａ４音の音階番号である。また、Ｌｏｇ（ｘ，２．０）は、ｘに対して２を底とする対数を演算する演算関数である。
ビン番号ｂｉｎにおける仮音階ｖＮｔ（ｂｉｎ）は、上記（８）式に示されるように、ビン番号ｂｉｎにおけるカレント周波数ｃＦｑ（ｂｉｎ）を任意の１つの音高の第１音周波数であるＡ４基準音の周波数４４０Ｈｚで除算した結果に対して、２底の対数を計算し、その結果を１２倍してＡ４音階番号＝６９に加算する演算により、算出することができる。

【0042】

続いて、ＣＰＵ１０１は、全てのビン番号ｂｉｎ（０≦ｂｉｎ＜ＦＦＴ窓サイズＷＬ／２）における（２）式で示される演算により算出される複素データの振幅Ａｍｐ（ｂｉｎ）の合計値が一定値以上である場合に、下記（９）式に示されるように、ビン番号ｂｉｎ毎に、（８）式で示される演算により算出される仮音階ｖＮｔ（ｂｉｎ）の小数部を四捨五入することにより、仮音階整数部ｉｖＮｔ（ｂｉｎ）を算出する。

【0043】

ｉｖＮｔ（ｂｉｎ）＝ｖＮｔ（ｂｉｎ）の小数部の四捨五入結果 ・・・（９）

【0044】

更に、ＣＰＵ１０１は、下記（１０）式に示されるように、ビン番号ｂｉｎ毎に、（８）式で示される演算により算出される仮音階ｖＮｔ（ｂｉｎ）から（９）式で示される演算により算出される仮音階整数部ｉｖＮｔ（ｂｉｎ）を減算することにより、仮音階小数部ｆｖＮｔ（ｂｉｎ）を算出する。

【0045】

ｆｖＮｔ（ｂｉｎ）＝ｖＮｔ（ｂｉｎ）－ｉｖＮｔ（ｂｉｎ） ・・・（１０）

【0046】

（９）式で示される演算が四捨五入の演算であることにより、（１０）式で示される演算により算出される仮音階小数部ｆｖＮｔ（ｂｉｎ）は、－０．５以上０．５未満の範囲に収まる。
（１０）式で示される演算により算出される仮音階小数部ｆｖＮｔ（ｂｉｎ）は、ビン番号ｂｉｎ毎の音階ずれ量と考えることができる。

【0047】

ＣＰＵ１０１は更に、（９）式で示される演算により算出された仮音階整数部ｉｖＮｔ（ｂｉｎ）が予め決められた音域範囲内（例：３６（Ｃ２）～９５（Ｂ６））にあるビン番号ｂｉｎの範囲での仮音階小数部ｆｖＮｔ（ｂｉｎ）と振幅Ａｍｐ（ｂｉｎ）（（２）式参照）の重心である仮音階小数部重心Ｆｌｔを、下記（１１）式で示される演算により算出する。

【数1】

ここで、
ｂｉｎ：ビン番号、
ｍｉｎ_ｂｉｎ：予め決められた音域の最小ビン番号、
ｍａｘ_ｂｉｎ：予め決められた音域の最大ビン番号、
Ａｍｐ（ｂｉｎ）：（２）式の演算で算出されるビン番号ｂｉｎの振幅、
ｆｖＮｔ（ｂｉｎ）：（１０）式の演算で算出されるビン番号ｂｉｎの仮音階小数部、
である。なお、上記式を満たすには、振幅が所定の閾値以上でなければならない。
つまりＣＰＵ１０１は、１つの処理単位ＰＵ内の上記所定の音域範囲内の各ビン番号ｂｉｎに対して（１０）式で示される演算により各仮音階小数部ｆｖＮｔ（ｂｉｎ）を算出し、それらの各仮音階小数部ｆｖＮｔ（ｂｉｎ）の例えば重心を算出することにより、１つの処理単位に対応する処理単位毎音階ずれ量である仮音階小数部重心Ｆｌｔを算出する。

【0048】

図３の説明に戻り、以上の周波数特定処理Ｓ２１３の後、ＣＰＵ１０１は、ステップＳ３００の判定処理に戻る。このようにして、ＣＰＵ１０１は、波形データ読込み処理Ｓ２１０、振幅／位相算出処理Ｓ２１１、位相エラー算出処理Ｓ２１２、及び周波数特定処理Ｓ２１３を、対象の楽曲データを（１）式で定義した処理単位ＰＵ［サンプル］毎に最終データまで読み込んで波形データ読込み処理Ｓ２１０から周波数特定処理Ｓ２１３までの処理が完了したと判定するまで、繰り返し実行する。
この繰返し処理により、ＣＰＵ１０１は、楽曲データの先頭から末尾まで処理単位ＰＵ［サンプル］毎に、処理単位毎音階ずれ量である仮音階小数部重心Ｆｌｔを算出することができる。

【0049】

コード判定を行う楽曲データを処理単位ＰＵ［サンプル］毎に最終データまで読込んで波形データ読込み処理Ｓ２１０から周波数特定処理Ｓ２１３までの処理が完了し図３のステップＳ３００の判定がＹＥＳになると、ＣＰＵ１０１は、図２で説明したチューニング値特定処理Ｓ２１４を実行する。

【0050】

具体的には、ＣＰＵ１０１はまず、楽曲データの先頭から末尾まで処理単位ＰＵ［サンプル］毎に得られた各仮音階小数部重心Ｆｌｔの平均値である仮音階小数部重心平均値ａＦｌｔを算出する。
この仮音階小数部重心平均値ａＦｌｔは、楽曲データ全体の音階ずれ量に相当しているといえる。

【0051】

そして、ＣＰＵ１０１は、上述の算出した仮音階小数部重心平均値ａＦｌｔを用いて、下記（１２）式で示される演算により、チューニング値ｓＴｕｎを特定する。

【0052】

ｓＴｕｎ＝４４０．０×Ｐｏｗ（２．０，ａＦｌｔ／１２） ・・・（１２）
ここで、Ｐｏｗ（ｘ，ｙ）は、ｘのｙ累乗を求める演算関数である。

【0053】

ＣＰＵ１０１は、上記（１２）式で示される演算では、「２の［楽曲データ全体の音階ずれ量に相当する仮音階小数部重心平均値ａＦｌｔを１２で除算した結果値］乗」を演算することにより、１音階あたりの音階ずれ率を計算し、その音階ずれ率を任意の音階の第１音周波数、例えばＡ４基準音の周波数４４０．０（Ｈｚ）に乗算することにより、楽曲データに対するチューニング値ｓＴｕｎを算出している。

【0054】

以上のようにして、図３のフローチャートで示される図２のチューニング値特定部２０１の処理により、楽曲データ全体に対するチューニング値ｓＴｕｎを算出することができる。

【0055】

図４（ａ）は、図２のクロマベクトル生成部２０２の更に詳細な処理例を示すフローチャートである。
ＣＰＵ１０１は主に、図２のクロマベクトル生成部２０２のブロック内に「主な情報」として記載した、［真音階］、［８８音クロマベクトル］及び［１２音クロマベクトル］などの情報を、ＲＡＭ１０３に記憶された変数として取り扱う。

【0056】

ＣＰＵ１０１はまず、図２で説明した８８音クロマベクトル生成処理Ｓ２２０を実行する。

【0057】

具体的には、ＣＰＵ１０１は、図２及び図３のチューニング値特定部２０１において（１２）式で示される演算により算出された楽曲データ全体にわたるチューニング値ｓＴｕｎと、図２の周波数特定処理Ｓ２１３において（７）式で示される演算により算出したビン番号ｂｉｎ（０≦ｂｉｎ＜ＦＦＴ窓サイズＷＬ／２）毎のカレント周波数ｃＦｑ（ｂｉｎ）とに基づき、下記（１３）式で示される演算により、ビン番号ｂｉｎ毎の真音階ｓＮｔ（ｂｉｎ）を算出する。

【0058】

ｓＮｔ（ｂｉｎ）＝Ｌｏｇ（ｃＦｑ（ｂｉｎ）／ｓＴｕｎ，２．０）×１２＋６９
・・・（１３）
ここで、（８）式で示される演算で仮音階ｖＮｔ（ｂｉｎ）を算出したときと同様に、「６９」は、Ａ４音の音階番号である。
ビン番号ｂｉｎにおける真音階ｓＮｔ（ｂｉｎ）は、上記（１３）式に示されるように、ビン番号ｂｉｎにおけるカレント周波数ｃＦｑ（ｂｉｎ）を（１２）式で示される演算により算出されたチューニング値ｓＴｕｎで除算した結果に対して、２底の対数を計算し、その結果を１２倍してＡ４音階番号＝６９に加算する演算により、算出することができる。

【0059】

続いて、ＣＰＵ１０１は、下記（１４）式に示されるように、ビン番号ｂｉｎ毎に、（１３）式で示される演算により算出される真音階ｓＮｔ（ｂｉｎ）の小数部を切捨てすることにより、真音階整数部ｉＮｔ（ｂｉｎ）を算出する。

【0060】

ｉＮｔ（ｂｉｎ）＝ｓＮｔ（ｂｉｎ）の小数部を切捨てした結果 ・・・（１４）

【0061】

更に、ＣＰＵ１０１は、下記（１５）式に示されるように、ビン番号ｂｉｎ毎に、（１３）式で示される演算により算出される真音階ｓＮｔ（ｂｉｎ）から（１４）式で示される演算により算出される真音階整数部ｉＮｔ（ｂｉｎ）を減算することにより、真音階小数部ｆＮｔ（ｂｉｎ）を算出する。

【0062】

ｆＮｔ（ｂｉｎ）＝ｓＮｔ（ｂｉｎ）－ｉＮｔ（ｂｉｎ） ・・・（１５）

【0063】

（１４）式が切捨ての演算であることにより、（１５）式で示される演算により算出される真音階小数部ｆＮｔ（ｂｉｎ）は、０．０以上１．０未満の範囲に収まる。

【0064】

次に、ＣＰＵ１０１は、ビン番号ｂｉｎ毎に、（２）式で示される演算により算出される振幅Ａｍｐ（ｂｉｎ）を、（１４）式で示される演算によりビン番号ｂｉｎ毎に算出される真音階整数部ｉＮｔ（ｂｉｎ）と（１５）式で示される演算によりビン番号ｂｉｎ毎に算出される真音階小数部ｆＮｔ（ｂｉｎ）とに基づき、所定の音階範囲の音数音階に分配合成することにより、その音数音階毎の周波数の振幅強度を特徴量としたベクトルであるクロマベクトルＣＲＶ［ｎ］を生成する。

【0065】

より具体的には、楽曲データの音域全体、例えばＡ０（２１）～Ｃ８（１０８）の８８音階において、８８音クロマベクトルをＣＲＶ８８［ｎ］（ｎ：０～８７）で表すと、ＣＰＵ１０１は、下記（１６）式及び（１７）式で示される各分配（合成）演算により、８８音クロマベクトルＣＲＶ８８［ｎ］を生成する。

【0066】

ＣＲＶ８８［ｉＮｔ（ｂｉｎ）－２１］＋＝Ａｍｐ（ｂｉｎ）
×（１．０－ｆＮｔ（ｂｉｎ））
・・・（１６）
ＣＲＶ８８［ｉＮｔ（ｂｉｎ）＋１－２１］＋＝Ａｍｐ（ｂｉｎ）
×ｆＮｔ（ｂｉｎ）
・・・（１７）
ここで「＋＝」は複合代入演算子であり、式中の左辺の値と右辺の値を足した結果を左辺の変数に入れることを意味する。

【0067】

図４（ａ）の説明に戻り、ＣＰＵ１０１は、８８音クロマベクトル生成処理Ｓ２２０の後に、図２で説明した１２音クロマベクトル生成処理Ｓ２２１を実行する。

【0068】

具体的には、ＣＰＵ１０１は、（１６）式及び（１７）式で示される各演算により算出された８８音クロマベクトルＣＲＶ８８［ｎ］（ｎ：０～８７）の隣接する３音階（ｎ－１，ｎ，ｎ＋１）の最小値を基にノイズ除去を行った後、１２音階に丸め込む再合成演算を実行する。
ここで、１２音クロマベクトルをＣＲＶ１２［ｍ］（ｍ：０～１１）で表すと、これは下記（１８）式で示される再合成演算により算出される。

【0069】

ＣＲＶ１２［（ｎ＋２１）％１２］＋＝ＣＲＶ８８［ｎ］ ・・・（１８）
ここで、ｎ：０～８７、％１２：１２で割る剰余演算である。

【0070】

以上のようにして、図４（ａ）のフローチャートで示される図２のクロマベクトル生成部２０２の処理により、８８音クロマベクトルＣＲＶ８８［ｎ］（ｎ：０～８７）と１２音クロマベクトルＣＲＶ１２［ｍ］（ｍ：０～１１）を生成することができる。

【0071】

図４（ｂ）は、図２のコード判定部２０３の更に詳細な処理例を示すフローチャートである。
ＣＰＵ１０１は主に、図２のコード判定部２０３のブロック内に「主な情報」として記載した、［ビートトラッキング情報］（テンポ値、小節位置、拍位置）、［ビート長１２音クロマベクトル］、［コード構成音テーブル］、及び［コード判定結果］などの情報を、ＲＡＭ１０３に記憶された変数として取り扱う。

【0072】

ＣＰＵ１０１はまず、図２で説明したビートトラッキング処理Ｓ２３０を実行する。

【0073】

具体的には、ＣＰＵ１０１は、楽曲データの音量変化や構成音、例えば図２のクロマベクトル生成部２０２において図４（ａ）の１２音クロマベクトル生成処理Ｓ２２１で（１８）式で示される演算により算出した１２音クロマベクトルＣＲＶ１２［ｍ］の変化から、［ビートトラッキング情報］（テンポ値、小節位置、拍位置）を検出する。

【0074】

次に、ＣＰＵ１０１は、図２で説明したコード判定処理Ｓ２３１を実行する。

【0075】

具体的には、ＣＰＵ１０１は、図４（ｂ）のビートトラッキング処理Ｓ２３０で算出した［ビートトラッキング情報］に基づきコード判定すべき時間長を決定し、該当する時間長に対し（１８）式で示される演算により得られている１２音クロマベクトルＣＲＶ１２［ｍ］の要素値毎の合計値を要素値とする［ビート長１２音クロマベクトル］を作成する。

【0076】

更に、ＣＰＵ１０１は、下記（１９）式で示される演算により、上記［ビート長１２音クロマベクトル］と、コードの構成音／非構成音で重みづけされた［コード構成音テーブル］の値とを乗算し、合計が最大となるコードを［コード判定結果］に格納する。

【0077】

［ビート長１２音クロマベクトル］×［コード構成音テーブル］の合計最大値
→［コード判定結果］ ・・・（１９）
なお、ＣＰＵ１０１は、ルート音の違いにより［コード構成音テーブル］を１２回シフトして決定する。

【0078】

図５は、Ｃ（ド）音を基準（ルート音）とする、［コード構成音テーブル］の重みづけの構成例の表を示す図である。図５（ａ）の表はメジャーコードの場合、図５（ｂ）の表はマイナーコードの場合を示している。図５において、構成音の重みづけは正の値をとり、３和音ではそれぞれ２０（合計６０）としている。非構成音は負の値をとり、特にメジャー／マイナーコードの違いとなる長短３度は絶対値の大きい値としている。

【0079】

以上説明したように、本実施形態によれば、楽曲に合わせた楽器演奏をする際の正確なチューニング値を特定しチューニング操作を容易に行うことが可能となる。また、このチューニング値に基づいて、より正確なコード判定結果を得ることが可能になる。
なお、以上説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。本実施形態は、その他の様々な形態で実施されることが可能であり、発明の趣旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。本実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0080】

１００ 楽曲データ処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 入力部
１０５ 表示／出力部
１０６ 通信部
１０７ システムバス
２０１ チューニング値特定部
２０２ クロマベクトル生成部
２０３ コード判定部

【図1】

【図2】

【図3】

【図4】

【図5】