特許 7072165 モード分解装置、モード分解方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-12

(45)【発行日】2022-05-20

(54)【発明の名称】モード分解装置、モード分解方法、プログラム

(51)【国際特許分類】

   G10L 25/27 20130101AFI20220513BHJP

   G10G 1/00 20060101ALI20220513BHJP

【ＦＩ】

G10L25/27

G10G1/00

【請求項の数】 5

(21)【出願番号】P 2018043193

(22)【出願日】2018-03-09

(65)【公開番号】P2019159018

(43)【公開日】2019-09-19

【審査請求日】2020-11-24

【新規性喪失の例外の表示】特許法第３０条第２項適用 （１） 発行日 平成２９年９月１１日 刊行物 「日本音響学会 ２０１７年秋季研究発表会 講演論文集８２１頁～８２２頁」 発行者名 一般社団法人 日本音響学会 （２） 開催日 平成２９年１０月２２日 集会名 「音楽音響研究会」 開催場所 アクトシティ浜松コングレスセンター 開催者名 一般社団法人 日本音響学会 音楽音響研究委員会

(73)【特許権者】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(73)【特許権者】

【識別番号】000130329

【氏名又は名称】株式会社コルグ

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】及川 靖広

(72)【発明者】

【氏名】矢田部 浩平

(72)【発明者】

【氏名】草野 翼

(72)【発明者】

【氏名】升山 義紀

(72)【発明者】

【氏名】宮城 雄介

(72)【発明者】

【氏名】高橋 健

(72)【発明者】

【氏名】大石 耕史

【審査官】菊池 智紀

(56)【参考文献】

【文献】特開２００８－２０９５４９（ＪＰ，Ａ）

【文献】特開２０１６－１２３８４１（ＪＰ，Ａ）

【文献】特開平０２－０３９１９７（ＪＰ，Ａ）

【文献】特開２０１３－２５０３５７（ＪＰ，Ａ）

【文献】升山義紀 他，"交互方向乗数法を用いたモード分解による楽器音の解析"，日本音響学会2018年春季研究発表会講演論文集CD-ROM，2018年02月27日，pp.793-794

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－ ７／０２

Ｇ１０Ｈ １／００－ ７／１２

Ｇ１０Ｌ ２１／００－２５／９３

(57)【特許請求の範囲】

【請求項1】

楽音信号を各モードに分解するフィルタの振幅応答の逆特性と各モードの周波数成分のアダマール積と、前記楽音信号の周波数成分に関する最小二乗問題であって、完全再構成性と因果性を充たすことを制約とした制約付き最小二乗問題を解くことにより、前記楽音信号を各モードに分解するモード分解装置であって、
楽音信号sまたはその近似音から極を取り出す極取り出し部と、
iを前記楽音信号sの各モードのインデックスとし、前記極の情報に基づいて定まるi番目の共振周波数f_iの共振フィルタの振幅応答|h_i|に基づいて、i番目の第１の重みw_i ⁽¹⁾を推定する動作を各モードについて繰り返し実行する第１重み推定部と、
jをj≠iを満たす楽音信号sのモードのインデックスとし、j番目の共振周波数f_jの共振フィルタの振幅応答|h_j|に基づいて、i番目の第２の重みw_i ⁽²⁾を推定する動作を各モードについて繰り返し実行する第２重み推定部と、
残差rに対する重みである残差重みw_rを推定する残差重み推定部と、
前記i番目の第１の重みw_i ⁽¹⁾と前記i番目の第２の重みw_i ⁽²⁾のアダマール積であるi番目の第３の重みw_iと、i番目の前記モードx_iの周波数成分F(x_i)と、前記楽音信号sの周波数成分F(s)と、パラメータλと、前記残差重みw_rと、前記残差rの周波数成分F(r)に関する最小二乗問題

【数30】

の解を、完全再構成性と因果性を充たすことを制約として求めることにより、前記楽音信号sを各モードx₁,...,x_Nに分解するモード分解部
を含み、
前記第１重み推定部は、
kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、μをパラメータとし、i番目の第１の重みw_i ⁽¹⁾[k]を、

【数31】

と推定し、
前記第２重み推定部は、
kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、g_jをj番目のモードx_jに対応するピークの大きさとし、i番目の第２の重みw_i ⁽²⁾[k]を

【数32】

と推定し、
前記残差重み推定部は、
kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、g_jをj番目のモードx_jに対応するピークの大きさとし、残差重みw_r[k]を

【数33】

と推定する
モード分解装置。

【請求項2】

i,jを楽音信号sの各モードのインデックスとし、
ARモデルを用いて近似した楽音信号sから極p_iを取り出す極取り出し部と、
極p_iとその複素共役p_i ^－のみを極に持つ共振フィルタの振幅応答を正規化したものを|h_i~|とし、ξを周波数インデックスとして、

【数34】

に基づいて、各モードx_iを中心周波数f_iの狭帯域な信号にする第１の重みw_i ⁽¹⁾を推定する第１重み推定部と、
前記ARモデルで近似した楽器音sスペクトルで各モードの中心周波数f_iにあたるピークの大きさをg_iとし、j番目の共振周波数f_jの共振フィルタの振幅応答を|h_j|とし、

【数35】

に基づいて、他のモードの混入を防ぐ第２の重みw_i ⁽²⁾を推定する第２重み推定部と、
前記i番目の第１の重みw_i ⁽¹⁾と前記i番目の第２の重みw_i ⁽²⁾のアダマール積をi番目の第３の重みw_iとし、i番目の前記モードx_iの周波数成分F(x_i)に関する最小二乗問題

【数36】

の解を、完全再構成性と因果性を充たすことを制約として、FISTAを用いて求めることにより、前記楽音信号sを各モードx₁,...,x_Nに分解するモード分解部
を含むモード分解装置。

【請求項3】

楽音信号を各モードに分解するフィルタの振幅応答の逆特性と各モードの周波数成分のアダマール積と、前記楽音信号の周波数成分に関する最小二乗問題であって、完全再構成性と因果性を充たすことを制約とした制約付き最小二乗問題を解くことにより、前記楽音信号を各モードに分解する、モード分解装置が実行するモード分解方法であって、
楽音信号sまたはその近似音から極を取り出す極取り出しステップと、
iを前記楽音信号sの各モードのインデックスとし、前記極の情報に基づいて定まるi番目の共振周波数f_iの共振フィルタの振幅応答|h_i|に基づいて、i番目の第１の重みw_i ⁽¹⁾を推定する動作を各モードについて繰り返し実行する第１重み推定ステップと、
jをj≠iを満たす楽音信号sのモードのインデックスとし、j番目の共振周波数f_jの共振フィルタの振幅応答|h_j|に基づいて、i番目の第２の重みw_i ⁽²⁾を推定する動作を各モードについて繰り返し実行する第２重み推定ステップと、
残差rに対する重みである残差重みw_rを推定する残差重み推定ステップと、
前記i番目の第１の重みw_i ⁽¹⁾と前記i番目の第２の重みw_i ⁽²⁾のアダマール積であるi番目の第３の重みw_iと、i番目の前記モードx_iの周波数成分F(x_i)と、前記楽音信号sの周波数成分F(s)と、パラメータλと、前記残差重みw_rと、前記残差rの周波数成分F(r)に関する最小二乗問題

【数37】

の解を、完全再構成性と因果性を充たすことを制約として求めることにより、前記楽音信号sを各モードx₁,...,x_Nに分解するモード分解ステップ
を含み、
前記第１重み推定ステップは、
kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、μをパラメータとし、i番目の第１の重みw_i ⁽¹⁾[k]を、

【数38】

と推定し、
前記第２重み推定ステップは、
kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、g_jをj番目のモードx_jに対応するピークの大きさとし、i番目の第２の重みw_i ⁽²⁾[k]を

【数39】

と推定し、
前記残差重み推定ステップは、
kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、g_jをj番目のモードx_jに対応するピークの大きさとし、残差重みw_r[k]を

【数40】

と推定する
モード分解方法。

【請求項4】

モード分解装置が実行するモード分解方法であって、
i,jを楽音信号sの各モードのインデックスとし、
ARモデルを用いて近似した楽音信号sから極p_iを取り出す極取り出しステップと、
極p_iとその複素共役p_i ^－のみを極に持つ共振フィルタの振幅応答を正規化したものを|h_i~|とし、ξを周波数インデックスとして、

【数41】

に基づいて、各モードx_iを中心周波数f_iの狭帯域な信号にする第１の重みw_i ⁽¹⁾を推定する第１重み推定ステップと、
前記ARモデルで近似した楽器音sスペクトルで各モードの中心周波数f_iにあたるピークの大きさをg_iとし、j番目の共振周波数f_jの共振フィルタの振幅応答を|h_j|とし、

【数42】

に基づいて、他のモードの混入を防ぐ第２の重みw_i ⁽²⁾を推定する第２重み推定ステップと、
前記i番目の第１の重みw_i ⁽¹⁾と前記i番目の第２の重みw_i ⁽²⁾のアダマール積をi番目の第３の重みw_iとし、i番目の前記モードx_iの周波数成分F(x_i)に関する最小二乗問題

【数43】

の解を、完全再構成性と因果性を充たすことを制約として、FISTAを用いて求めることにより、前記楽音信号sを各モードx₁,...,x_Nに分解するモード分解ステップ
を含むモード分解方法。

【請求項5】

コンピュータを請求項１または２に記載のモード分解装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は楽音信号を複数のモードに分解するモード分解装置、モード分解方法、プログラムに関する。

【背景技術】

【0002】

楽器音のモードの減衰特性は楽器の種類や音の高さ、強さによって異なり、音色に大きな影響を与える。そこで、楽器音に対してモードの減衰特性の解析が盛んに行われている（非特許文献１）。特に打楽器や撥弦楽器の各モードの減衰特性において、発音時の挙動は重要である。

【先行技術文献】

【非特許文献】

【0003】

【文献】T. Cheng, S. Dixon and M. Mauch, "Modelling the decay of piano sounds," Int. Conf. Acoust., Speech Signal Process. (ICASSP), pp. 594{598, Apr. 2015.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、発音時に非調波成分が存在するため、各モードの発音時の挙動の解析は容易ではない。楽器音sをN個の中心周波数f_i(i=1,...,N)の狭帯域なモードm_iと非調波成分等の残差rに分解することを考える。このようなモード分解では一般にバンドパスフィルタが用いられる。しかし、フィルタの特性により各モードの振幅包絡が変化する他に、位相遅延やプリリンギングが発生する。因果的なフィルタを用いると、各モードに位相遅延が発生し、モードm_i及び残差rの足し合わせと元の楽器音sが一致する完全再構成性が満たされない。一方、位相遅延のないフィルタを用いるとプリリンギングが発生し、因果性が満たされない。バンドパスフィルタ以外の手法として、短時間フーリエ変換(STFT, Short-Time Fourier Transform)や経験的モード分解(EMD, Empirical Mode Decomposition)を用いる手法も提案されているが、下表にまとめる通り、上記の課題をすべて解決するモード分解にはなっていない。

【0005】

【表1】

【0006】

そこで本発明では、振幅包絡が変化せず、因果性と完全再構成性を充たすモード分解ができるモード分解装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明のモード分解装置は、楽音信号を各モードに分解するフィルタの振幅応答の逆特性と各モードの周波数成分のアダマール積と、楽音信号の周波数成分に関する最小二乗問題であって、完全再構成性と因果性を充たすことを制約とした制約付き最小二乗問題を解くことにより、楽音信号を各モードに分解する。

【発明の効果】

【0008】

本発明のモード分解装置によれば、振幅包絡が変化せず、因果性と完全再構成性を充たすモード分解ができる。

【図面の簡単な説明】

【0009】

【図1】実施例１のモード分解装置の構成を示すブロック図。

【図2】実施例１のモード分解装置の動作を示すフローチャート。

【図3】設計した共振フィルタ|h₅|の振幅応答（上段左）、第１重みw₅ ⁽¹⁾（上段右）、第２重みw₅ ⁽²⁾と残差重みw_r（下段左）、第３重みw₅（下段右）を示す図。

【図4】フィルタと提案手法によるモード分解の結果を示す図。

【図5】実施例２のモード分解装置の構成を示すブロック図。

【図6】実施例２のモード分解装置の動作を示すフローチャート。

【図7】実施例３のモード分解装置の構成を示すブロック図。

【図8】実施例３のモード分解装置の動作を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【実施例1】

【0011】

＜理論＞
以下、実施例１のモード分解装置１の基礎となる理論を説明する。因果的な線形フィルタを用いると、位相遅延が起こる。一方。このフィルタと同じ振幅応答|h_i|を持つ位相遅延のないフィルタを考えると、フィルタ処理は

【0012】

【数1】

【0013】

と表せるが、プリリンギングが発生する。ただし、F，F^-1，○はそれぞれ離散フーリエ変換、逆離散フーリエ変換、アダマール積を表す。そこで、式（１）で示したフィルタ処理を最小二乗法を用いて再定式化することで、フィルタ処理を拡張する。フィルタの振幅応答|h_i|に逆特性|h_i|^-1が存在する時、式（１）を変形すると

【0014】

【数2】

【0015】

となる。式（２）を最小二乗問題に置き換えると

【0016】

【数3】

【0017】

と表せる。この問題の解は式（１）と一致するため、フィルタ処理は最小二乗問題の解として解釈できる。このように、最小二乗問題として定式化することで、制約や他のコスト関数の導入が可能である。

【0018】

最小二乗問題（式（３））は各モードごとのフィルタ処理に対応し、完全再構成性、因果性は考慮されていない。そこで、これらを制約として、フィルタ処理に対応する最小二乗問題を解くことで、上記の性質を満たしたモード分解を実現する。すなわち、以下の制約付き最小二乗問題

【0019】

【数4】

【0020】

を解くことで、楽器音sをN個のモードx_i及び残差rへ分解する。ただし、nは時間サンプルを、τは楽器の発音時刻に対応するサンプルを表す。また、λは残差の大きさを調整するパラメータである。この問題は凸なので、適当な凸最適化アルゴリズムで解くことができる。式（４）では、全てのモード及び残差を同時に扱い、下段左式の制約を導入することで、完全再構成性を考慮することができる。また、下段右式の制約は各モードx_iの因果性を表す。これにより、得られた各モードx_i及び残差rが上記の性質を同時に満たすモード分解が可能である。式（４）上段のコスト関数における周波数領域での重みw_iを|h_i|^-1の拡張として考えると、コスト関数の最小化はフィルタ処理の一般化に対応する。

【0021】

式（４）における重みw_iは各モードx_iが所望の周波数特性を持つように任意に作成することができる。楽器音のモード分解を考えるため、各モードx_iが狭帯域かつ他のモードの成分の混入が少ない信号にする重みw_iを作成する。ARモデルを用いて楽器音sを近似し、極の情報から共振周波数f_iの共振フィルタを設計した。共振フィルタの振幅応答を|h_i|とし、楽器音sのスペクトルのピークでモードm_iに対応するピークの大きさをg_iとする。これらの情報を利用し、各モードx_iを中心周波数f_iの狭帯域な信号にする第１の重みw_i ⁽¹⁾と、他のモードの混入を防ぐ第２の重みw_i ⁽²⁾を作成する。これら2つの重みのアダマール積w_i ⁽¹⁾ _○w_i ⁽²⁾を式（４）の重みw_i（第３の重み）とした（詳細は実施例１において後述）。

【0022】

＜理論に基づく本発明の装置の一般的表現＞
すなわち、以下の実施例に記載するモード分解装置１は、楽音信号sを各モードm₁,...,m_N（あるいはx₁,...,x_N）に分解するフィルタの振幅応答|h_i|の逆特性|h_i|^-1（第３の重みw_iとして拡張）と各モードm₁,...,m_N（あるいはx₁,...,x_N）の周波数成分F(m_i)（あるいはF(x_i)）のアダマール積と、楽音信号sの周波数成分F(s)に関する最小二乗問題であって、完全再構成性（（４）下段左式）と因果性（（４）下段右式）を充たすことを制約とした制約付き最小二乗問題を解くことにより、楽音信号を各モードに分解する装置であるといえる。

【0023】

＜モード分解装置１＞
以下、図１を参照して実施例１のモード分解装置１の構成を説明する。同図に示すように、本実施例のモード分解装置１は、極取り出し部１１と、第１重み推定部１２と、第２重み推定部１３と、残差重み推定部１４と、モード分解部１５を含む構成である。

【0024】

以下、図２を参照して各部の動作について説明する。まず、極取り出し部１１は、楽音信号sまたはその近似音から極を取り出す（Ｓ１１）。

【0025】

第１重み推定部１２は、iを楽音信号sの各モードのインデックスとし、極の情報に基づいて定まるi番目の共振周波数f_iの共振フィルタの振幅応答|h_i|に基づいて、i番目の第１の重みw_i ⁽¹⁾を推定する動作を各モードについて繰り返し実行する（Ｓ１２）。具体的には、第１重み推定部１２は、kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、μを上限を表すパラメータとし、i番目の第１の重みw_i ⁽¹⁾[k]を、

【0026】

【数5】

【0027】

と推定する（Ｓ１２）。

【0028】

第２重み推定部１３は、jをj≠iを満たす楽音信号sのモードのインデックスとし、j番目の共振周波数f_jの共振フィルタの振幅応答|h_j|に基づいて、i番目の第２の重みw_i ⁽²⁾を推定する動作を各モードについて繰り返し実行する（Ｓ１３）。具体的には、第２重み推定部１３は、kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、g_jをj番目のモードx_jに対応するピークの大きさとし、i番目の第２の重みw_i ⁽²⁾[k]を

【0029】

【数6】

【0030】

と推定する（Ｓ１３）。

【0031】

残差重み推定部１４は、残差rに対する重みである残差重みw_rを推定する（Ｓ１４）。具体的には、残差重み推定部１４は、kをインデックスを表すものとし、ξ[k]をインデックスkに対応する周波数とし、g_jをj番目のモードx_jに対応するピークの大きさとし、残差重みw_r[k]を

【0032】

【数7】

【0033】

と推定する（Ｓ１４）。

【0034】

モード分解部１５は、i番目の第１の重みw_i ⁽¹⁾とi番目の第２の重みw_i ⁽²⁾のアダマール積であるi番目の第３の重みw_iと、i番目のモードx_iの周波数成分F(x_i)と、楽音信号sの周波数成分F(s)と、パラメータλと、残差重みw_rと、残差rの周波数成分F(r)に関する最小二乗問題

【0035】

【数8】

【0036】

の解を、完全再構成性と因果性を充たすこと、すなわち

【0037】

【数9】

【0038】

を制約として求めることにより、楽音信号sを各モードx₁,...,x_Nに分解する（Ｓ１５）。

【0039】

＜実験＞
一例として、The University of Iowa Musical Instrument Samples (MIS)（参考非特許文献１）のbellsC5stereobrassを提案手法により解析した。ARモデルの次数を300とし、楽器音sの近似にはBurg法（参考非特許文献２）を用いた。また、重みw_i ⁽¹⁾のパラメータをμ=10^-3とした。制約付き最小二乗問題（式（４））は、λ=3×10^-3とし、Over-relaxation Monotone Fast Iterative Shrinkage-Thresholding Algorithm (OMFISTA)（参考非特許文献３）により解いた。第５モードに対応する共振フィルタの振幅応答|h₅|,第１重みw₅ ⁽¹⁾,第２重みw₅ ⁽²⁾，第３重みw_i，残差重みw_rを図３に示す。

【0040】

提案手法で得られた各モード及び残差の波形x₁，x₂，x₃，x₄，rと、式（１）で表される位相遅延のない共振フィルタを用いた場合の各モード及び残差の波形を図４に示す。共振フィルタでは，フィルタの特性により各モードの音の立ち上がりが鈍くなり、プリリンギングも発生している。一方、提案手法ではプリリンギングが発生せず、残差が発音時の非調波成分に集中している。また、OMFISTAを用いることで式（４）下段の制約は常に満たされるため、完全再構成性も必ず満たされる。
（参考非特許文献１：Electronic Music Studios School of Music University of Iowa，"the University of Iowa Electronic Music Studios," Samples, http://theremin.music.uiowa.edu/MIS.html）
（参考非特許文献２：S. Kay, Modern spectral estimation: Theory and application, Prentice Hall, New Jersey, 1988.）
（参考非特許文献３：M. Yamagishi and I. Yamada, "Over-relaxation of the fast iterative shrinkage-thresholding algorithm with variable stepsize" IOP Sci. Inv. Probl., vol.27, no. 10, p. 105008, Sep. 2011．）

【実施例2】

【0041】

＜理論＞
以下、実施例２のモード分解装置２の基礎となる理論を説明する。最小二乗問題（式（３））は各モードごとの線形なフィルタ処理に対応しているが、完全再構成性、因果性は必ずしも考慮されていない。そこで、完全再構成性及び因果性を制約とした上で、フィルタ処理に対応する最小二乗問題を解くことで、プリリンギングが発生せず位相遅延のないモード分解を実現した。

【0042】

すなわち、以下の制約付き最小二乗問題

【0043】

【数10】

【0044】

を解くことで、楽器音sをN個のモードx_iへ分解する。実施例１と同様、nは時間インデックスを、τは楽器の発音時刻に対応するサンプルを表す。式（８）上段のコスト関数における周波数領域での重みw_iをフィルタの周波数特性の逆h_i ^-1の拡張として考えると、上段のコスト関数の最小化はフィルタ処理の一般化に対応する。特に、重みw_iが非負の実数ベクトルの時、零位相のフィルタによるフィルタ処理の拡張に対応する。

【0045】

重みw_iを非負の実数ベクトルにし、式（８）下段で完全再構成性を満たす制約を導入したことで位相遅延のないモード分解を実現する。また、式（８）下段の制約は各モードが発音時刻τより前に成分を持たないことを示している。これにより、プリリンギングの発生を防ぎ、各モードにおいて因果性を満たすことを示している。

【0046】

式（８）における重みw_iは各モードx_iが所望の周波数特性を持つように任意に作成することができる。楽器音のモード分解を考えているため、各モードx_iが狭帯域かつ他のモードの成分の混入が少ない信号にする重みw_iを作成する。

【0047】

まず、ARモデルを用いて楽器音sを近似し、ARモデルのパラメータから楽器音のモードm_iに対応する極p_iを選ぶ。この時、極p_iの偏角は各モードの中心周波数f_iを正規化したものに対応する。極p_iごとに極p_iとその複素共役p_i ^－のみを極に持つ共振フィルタを設計し、この共振フィルタの振幅応答を正規化したものを|h_i~|とする。また、ARモデルで近似した楽器音sスペクトルで各モードの中心周波数f_iにあたるピークの大きさをg_iとする。

【0048】

これらの情報を利用し、各モードx_iを中心周波数f_iの狭帯域な信号にする第１の重みw_i ⁽¹⁾と、他のモードの混入を防ぐ第２の重みw_i ⁽²⁾を作成する。これら２つの重みのアダマール積w_i ⁽¹⁾ _○w_i ⁽²⁾を後述する式（１４）の第３の重みw_iとした。第１の重みw_i ⁽¹⁾は

【0049】

【数11】

【0050】

とした。これにより、第１の重みw_i ⁽¹⁾のうち、モードの中心周波数f_iへの重みは0になり急峻なディップを持つ。また、第２の重みw_i ⁽²⁾を

【0051】

【数12】

【0052】

とする。これにより第２の重みw_i ⁽²⁾は他のモードの中心周波数f_j≠iに対しピークを持つ。そのため、第３の重みw_iはモードの中心周波数f_iでディップを持ち、他のモード中心周波数f_j≠iでピークを持つ。

【0053】

式（８）の手法はフィルタ処理の一般化にあたるため、コスト関数でデータ忠実性を考慮している。これにより、各モードに他のモードの成分が混在するモードミキシングが発生してしまう。そこで本実施例では、フィルタ処理の一般化にあたるコスト関数ではなく、各モードの周波数領域で重み付けしたエネルギーをコスト関数にした問題を考える。そこで、楽器音のスペクトルs^、推定するモードのスペクトルをx_i^を利用し、周波数領域での完全再構成性の制約のもと重み付けしたエネルギーの最小化問題

【0054】

【数13】

【0055】

を解くことで楽器音のスペクトルs^を各モードのスペクトルをx_i^へ分解することを考える。但し、w_i∈R^Lは各モードに対する重みを表す。離散フーリエ変換Fはユニタリ作用素であるため、周波数領域での完全再構成性が満たされる時、式（１１）下段の周波数領域の完全再構成性制約の両辺に逆離散フーリエ変換F^-1をかけた時間領域での完全再構成性も満たされる。式（１１）上段のコスト関数は周波数インデックスξごとに独立であり、周波数インデックスξごとに考えることができる。式（１１）を周波数インデックスξごとに考えると

【0056】

【数14】

【0057】

と書き換えることができる。ここで、全ての周波数サンプルξに対し複数のモードの重みw_i[ξ]が同時に0でない時、式（１２）の解は

【0058】

【数15】

【0059】

となる。式（１３）は、式（１１）の解x_iが、周波数応答がG_iとなるフィルタを楽器音sにかけたものと一致することを示している。つまり、式（１１）はモードの周波数領域で重み付けしたエネルギーの最小化を考えていたが、完全再構成性を考慮した位相遅延のないフィルタバンクG_1,...,Nを作成し、そのフィルタバンクを楽器音sにかけることと一致している。

【0060】

G_i[ξ]は重みw_1,...,N[ξ]どうしの比によって決まり、重みw_i[ξ]=0の時、G_i[ξ]=1となり、G_i≠j[ξ]=0となる。そのため、周波数応答がG_iで与えられるフィルタは各モードの成分を排他的にする性質がある。そのため、式（１１）を解くことで、モードミキシングの少ないモード分解を実現することができる。

【0061】

フィルタ処理を拡張した最適化問題によるモード分解より、周波数領域で重み付けした各モードのエネルギーの最小化によるモード分解（式（１１））の方がモードミキシングが少ないことが式（１１）の解析解（１３）より分かった。しかし、式（１１）では因果性を考慮していなかった。そこで、各モードの時間波形x_iを変数とし、各モードの因果性を制約に加えた上で、周波数領域で重み付けした各モードのエネルギーの最小化問題

【0062】

【数16】

【0063】

を解くことによる楽器音のモード分解を考える。この問題は凸なので、適当な凸最適化アルゴリズムで解くことができる。

【0064】

変数を各モードの時間波形x_iで持ち、式（１４）下段の各モードの因果性を表す制約を導入することで、各モードx_iにおけるプリリンギングの発生を防ぐ。これにより、各モードx_iが完全再構成性、因果性を同時に満たした位相遅延のないモード分解が可能である。

【0065】

本実施例では式（１４）をFast Iterative Shrinkage-Thresholding Algorithm (FISTA) を用いて解いた。FISTAを用いると式（１４）の解は

【0066】

【数17】

【0067】

を反復することで求められる。但し、kは反復のインデックス、μはステップサイズを表し、作用素Tは

【0068】

【数18】

【0069】

を表している。また、T^*は作用素Tの随伴作用素を表す。κ_Cは式（１４）の下段の完全再構成性と因果性表す制約を同時に満たすアフィン部分空間Cへの射影を表し、

【0070】

【数19】

【0071】

となる。式（１７）の上段は各モードx_iの足し合わせを楽器音sに一致させる効果があり、完全再構成性の制約に対応している。一方、下段はプリリンギングの発生を防ぐ効果があり、因果性の制約に対応している。FISTAでは、式（１５）に示す通り、各反復ごとに各モードの時間波形x_iに対し上記の制約を同時に満たすアフィン部分空間Cへの射影κ_Cを行う。そのため、制約付き最小二乗問題（式（１４））をFISTAを用いて解くことで、各反復においてモードx_iは必ず完全再構成性と因果性を満たす。

【0072】

＜モード分解装置２＞
図５を参照して、本実施例のモード分解装置２の構成について説明する。同図に示すように、本実施例のモード分解装置２は、極取り出し部２１と、第１重み推定部２２と、第２重み推定部２３と、モード分解部２４を含む。

【0073】

図６を参照して各部の動作について説明する。極取り出し部２１は、楽音信号sまたはその近似音から極を取り出す（Ｓ２１）。

【0074】

第１重み推定部２２は、式（９）に基づいて、各モードx_iを中心周波数f_iの狭帯域な信号にする第１の重みw_i ⁽¹⁾を推定する（Ｓ２２）。

【0075】

第２重み推定部２３は、式（１０）に基づいて、他のモードの混入を防ぐ第２の重みw_i ⁽²⁾を推定する（Ｓ２３）。

【0076】

モード分解部２４は、式（１４）の上段で表される最小二乗問題を、式（１４）の下段に表す完全再構成性、因果性を充たすことを制約として、FISTAを用いて求めることにより、楽音信号sを各モードx₁,...,x_Nに分解する（Ｓ２４）。

【実施例3】

【0077】

＜理論＞
以下、実施例３のモード分解装置３の基礎となる理論を説明する。一般に、楽器音sから周波数応答がh_n^である線形フィルタを用いてモードx_nを推定することは、

【0078】

【数20】

【0079】

と表される。ただし、s^=Fsは楽器音sのスペクトルを表し、F、○はそれぞれ離散フーリエ変換、アダマール積を表す。フィルタの周波数応答h_n^に逆特性h_n ^-1^が存在する時、式（１８）の解は最小二乗問題:

【0080】

【数21】

【0081】

の解と一致する。一般に知られている通り、線形なフィルタ処理では各モードの位相遅延とプリリンギングを同時に解消することができない。これらは分解されたモードの立ち上がりを変化させ、楽器音の立ち上がりの解析を困難にする。

【0082】

そこで、式（１９）に対し、(I)完全再構成・因果性を表す制約の導入、(II)制約のみによるデータ忠実性の考慮、(III)アタック成分の変数への組み込み、という３点の変更を加えたモード分解手法を提案した。(I)により位相遅延及びプリリンギングを明示的に解消し、(III)においてモード分解の残差をアタック成分とする。上記手法において、凸最適化問題:

【0083】

【数22】

【0084】

を解くことで、楽器音sをN個のモードx_nとアタック成分x_N+1に分解する。ただし、実施例１と同様、F^-1は逆離散フーリエ変換、tは時間インデックス、τは楽器の発音時刻に対応するサンプルを表す。しかし、上記手法では、モード数が多く複数のモードの中心周波数が近い実楽器音に適用する場合、計算時間と分解性能が課題となっていた。そこで本実施例では、式（２０）のADMM（Alternating Direction Method of Multipliers）を用いた高速な解法（後述）を利用し、分解性能向上のための重みw_iを改善することで（後述）、上記の課題を解決する。

【0085】

ADMMを用いることで、式（２０）の高速な解法を実現する。式（２０）の解はADMMを用いて任意の初期値z^[0]^、u^[0]^から

【0086】

【数23】

【0087】

を反復することで求められる。ただし、

【0088】

【数24】

【0089】

とし、x^T^はx^の転置を、kは反復インデックスを表す。また、

【0090】

【数25】

【0091】

とする。ただし、C₁、C₂はそれぞれ完全再構成性と因果性を表す制約を満たす空間、χ_Cは空間Cに対する指示関数、P_C2は空間C₂への距離射影、prox_ρ,fは関数fの近接作用素を表し、それぞれ

【0092】

【数26】

【0093】

で与えられる。式（２８）は解析的に解くことができ

【0094】

【数27】

【0095】

と表せる。ただし、y_nξ^=z_nξ^-x_nξ^、ξは周波数インデックスを表す。すなわち、式（２９）～（３３）を用いて式（２１）を計算し、式（２６）、（２７）を用いて式（２２）を計算することが可能である。これにより、式（２０）の解を効率的に求めることができる。

【0096】

式（２０）における重みw_nは各モード及びアタック成分x_nが所望の周波数特性を持つよう任意に作成することができる。本実施例では、自己回帰モデルを用いて楽器音sを近似し、各モードに対応する極の情報から共振フィルタを設計する。共振フィルタの正規化した振幅応答|h_n~|及び振幅応答の最大値a_nを利用し、各モードx_nを狭帯域な信号にする第１の重みw_n ^dipと、他のモードの混入を防ぐ第２の重みw_n ^peaksを作成する。式（２０）の第３の重みw_nを２つの重みのアダマール積w_n ^dip _○w_n ^peaksで表し、第１の重みw_n ^dip、第２の重みw_n ^peaksをそれぞれ

【0097】

【数28】

【0098】

とする。ただし、μ>0は第１の重みw_n ^dipによって各モードx_nをどれだけ狭帯域にするか調整するパラメータを表す。本実施例では第１の重みw_n ^dip、第２の重みw_n ^peaksはそれぞれ目的のモードの中心周波数に対する共振フィルタの振幅応答、他のモードの中心周波数に対するノッチフィルタの振幅応答の和に対応する。また、アタック成分に対する重みw_N+1を

【0099】

【数29】

【0100】

とし、λ>0はアタック成分の大きさを調整するパラメータを表す。

【0101】

＜モード分解装置３＞
図７を参照して、本実施例のモード分解装置３の構成について説明する。同図に示すように、本実施例のモード分解装置３は、極取り出し部３１と、第１重み推定部３２と、第２重み推定部３３と、アタック成分重み推定部３４と、モード分解部３５を含む。

【0102】

図８を参照して各部の動作について説明する。極取り出し部３１は、楽音信号sまたはその近似音から極を取り出す（Ｓ３１）。

【0103】

第１重み推定部３２は、式（３４）に基づいて、第１の重みw_n ^dipを推定する（Ｓ３２）。

【0104】

第２重み推定部３３は、式（３５）に基づいて、第２の重みw_n ^peaksを推定する（Ｓ３３）。

【0105】

アタック成分重み推定部３４は、式（３６）に基づいて、アタック成分重みw_N+1を推定する（Ｓ３４）。

【0106】

モード分解部３５は、式（２０）の上段で表される最小二乗問題を、式（２０）の下段に表す完全再構成性、因果性を充たすことを制約として、ADMMを用いて求めることにより、楽音信号sを各モードx₁,...,x_Nとアタック成分x_N+1に分解する（Ｓ３５）。

【0107】

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

【0108】

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

【0109】

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

【0110】

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

【0111】

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

【0112】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

【0113】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0114】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0115】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】