特許 7552740 音響解析システム、電子楽器および音響解析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】音響解析システム、電子楽器および音響解析方法

(51)【国際特許分類】

   G10G 1/00 20060101AFI20240910BHJP

   G10H 1/36 20060101ALI20240910BHJP

【ＦＩ】

G10G1/00

G10H1/36

【請求項の数】 13

(21)【出願番号】P 2022579439

(86)(22)【出願日】2022-01-21

(86)【国際出願番号】 JP2022002232

(87)【国際公開番号】W WO2022168638

(87)【国際公開日】2022-08-11

【審査請求日】2023-07-24

(31)【優先権主張番号】P 2021017465

(32)【優先日】2021-02-05

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】傍嶋 將文

(72)【発明者】

【氏名】篠井 暖

【審査官】浜岸 広明

(56)【参考文献】

【文献】特開２０１５－０７９１１０（ＪＰ，Ａ）

【文献】特開２０１０－０５４８０２（ＪＰ，Ａ）

【文献】特開２０１３－２５０３５７（ＪＰ，Ａ）

【文献】特開２００３－２５５９３０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ １／００－７／０２

Ｇ１０Ｈ １／００－７／１２

(57)【特許請求の範囲】

【請求項1】

目標音色の指示を受付ける指示受付部と、
相異なる音色に対応する複数の音響成分を含む第１音響信号を取得する取得部と、
相異なる音色に対応する複数の音響成分を含む第１訓練用音響信号と音色を示す訓練用指示データとの組合せと、前記第１訓練用音響信号の前記複数の音響成分のうち前記訓練用指示データが示す音色に対応する音響成分を表す第２訓練用音響信号との関係を学習した第１学習済モデルに、前記第１音響信号と前記目標音色を示す指示データとを入力することで、前記目標音色に対応する音響成分を表す第２音響信号を生成する分離部と、
前記第２音響信号において前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンを算定する解析部と、
相異なる演奏音を表す複数の参照信号の各々における信号強度の時間的な変動を表す参照リズムパターンと前記解析リズムパターンとを対比し、当該対比の結果に基づいて、前記複数の参照信号のうち１以上の参照信号を選択する選択部と
を具備する音響解析システム。

【請求項2】

前記解析部は、相異なる音色に対応する複数の周波数特性を表す基底行列を利用した非負値行列因子分解により、前記第２音響信号から係数行列を前記解析リズムパターンとして算定する
請求項１の音響解析システム。

【請求項3】

前記選択部は、
前記複数の参照信号の各々について、前記参照リズムパターンと前記解析リズムパターンとの類似度を算定し、
前記類似度に基づいて、前記複数の参照信号から前記１以上の参照信号を選択する
請求項１の音響解析システム。

【請求項4】

前記選択部は、訓練用参照リズムパターンと訓練用解析リズムパターンとを含む訓練用入力データと、前記訓練用参照リズムパターンと前記訓練用解析リズムパターンとの訓練用類似度との関係を学習した第２学習済モデルに、前記参照リズムパターンと前記解析リズムパターンとを含む入力データを入力することで、前記類似度を出力する
請求項３の音響解析システム。

【請求項5】

前記選択部は、相異なる音楽ジャンルに対応する複数の第２学習済モデルのうち特定の音楽ジャンルに対応する第２学習済モデルに、前記入力データを入力することで、前記類似度を出力する
請求項４の音響解析システム。

【請求項6】

前記複数の第２学習済モデルのうち一の音楽ジャンルに対応する第２学習済モデルは、当該音楽ジャンルに対応する複数の訓練データを利用した機械学習により確立される
請求項５の音響解析システム。

【請求項7】

前記第２学習済モデルは、
畳込ニューラルネットワークにより構成され、前記入力データから特徴データを生成する第１モデルと、
再帰型ニューラルネットワークにより構成され、前記特徴データから類似度を生成する第２モデルとを含む
請求項４から請求項６の何れかの音響解析システム。

【請求項8】

前記参照リズムパターンは、相異なる音色に対応する複数の係数列を含み、
前記解析リズムパターンは、相異なる音色に対応する複数の係数列を含み、
前記選択部は、
前記参照リズムパターンにおける前記複数の係数列の各々について当該係数列の複数の要素を平均または総和することで圧縮参照リズムパターンを生成し、
前記解析リズムパターンにおける前記複数の係数列の各々について当該係数列の複数の要素を平均または総和することで圧縮解析リズムパターンを生成し、
前記圧縮参照リズムパターンと前記圧縮解析リズムパターンとの類似度を算定し、
前記複数の参照信号から、前記類似度に基づいて、前記１以上の参照信号を選択する
請求項１の音響解析システム。

【請求項9】

前記１以上の参照信号は、２以上の参照信号であり、
前記２以上の参照信号に関する情報を前記類似度に応じた順番で表示装置に表示させる提示部をさらに具備する
請求項３から請求項８の何れかの音響解析システム。

【請求項10】

前記第２音響信号を時間軸上で区分した複数の単位期間の各々について、
前記解析部は、前記解析リズムパターンを算定し、
前記選択部は、前記１以上の参照信号を選択する
請求項１から請求項９の何れかの音響解析システム。

【請求項11】

前記選択部が選択した前記１以上の参照信号を利用者に提示する提示部をさらに具備する
請求項１から請求項８の何れかの音響解析システム。

【請求項12】

目標音色の指示を受付ける指示受付部と、
相異なる音色に対応する複数の音響成分を含む第１音響信号を取得する取得部と、
相異なる音色に対応する複数の音響成分を含む第１訓練用音響信号と音色を示す訓練用指示データとの組合せと、前記第１訓練用音響信号の前記複数の音響成分のうち前記訓練用指示データが示す音色に対応する音響成分を表す第２訓練用音響信号との関係を学習した第１学習済モデルに、前記第１音響信号と前記目標音色を示す指示データとを入力することで、前記目標音色に対応する音響成分を表す第２音響信号を生成する分離部と、
前記第２音響信号において前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンを算定する解析部と、
相異なる演奏音を表す複数の参照信号の各々における信号強度の時間的な変動を表す参照リズムパターンと前記解析リズムパターンとを対比し、当該対比の結果に基づいて、前記複数の参照信号のうち１以上の参照信号を選択する選択部と、
利用者による演奏を受付ける演奏装置と、
前記選択された１以上の参照信号が表す演奏音と、前記演奏装置が受付けた演奏に対応する楽音とを再生システムに再生させる再生制御部と
を具備する電子楽器。

【請求項13】

目標音色の指示を受付け、
相異なる音色に対応する複数の音響成分を含む第１音響信号を取得し、
相異なる音色に対応する複数の音響成分を含む第１訓練用音響信号と音色を示す訓練用指示データとの組合せと、前記第１訓練用音響信号の前記複数の音響成分のうち前記訓練用指示データが示す音色に対応する音響成分を表す第２訓練用音響信号との関係を学習した第１学習済モデルに、前記第１音響信号と前記目標音色を示す指示データとを入力することで、前記目標音色に対応する音響成分を表す第２音響信号を生成し、
前記第２音響信号において前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンを算定し、
相異なる演奏音を表す複数の参照信号の各々における信号強度の時間的な変動を表す参照リズムパターンと前記解析リズムパターンとを対比し、当該対比の結果に基づいて、前記複数の参照信号のうち１以上の参照信号を選択する
コンピュータシステムにより実現される音響解析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音響信号を解析する技術に関する。

【背景技術】

【0002】

楽曲の演奏音を表す音響信号の特徴を解析する技術が従来から提案されている。例えば、特許文献１には、機械学習技術を利用して、楽曲を自動的に作成する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０２０／１６６０９４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

例えば、楽曲の作成または楽器の演奏の練習等の場面においては、特定の楽曲において特定の音色で反復されるパターンに類似するパターンを、利用者が所望する場合がある。しかし、利用者が適切なパターンを探すには手間がかかり、音楽的な専門知識も必要となるため、実際には困難である。以上の事情を考慮して、本開示のひとつの態様は、特定の音色で演奏されたパターンを探す利用者の労力を軽減することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る音響解析システムは、目標音色の指示を受付ける指示受付部と、相異なる音色に対応する複数の音響成分を含む第１音響信号を取得する取得部と、相異なる演奏音を表す複数の参照信号のうち１以上の参照信号を選択する音響解析部と、を具備し、前記１以上の参照信号における信号強度の時間的な変動を表す参照リズムパターンは、前記複数の音響成分のうち前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンに類似する。

【0006】

以上の課題を解決するために、本開示のひとつの態様に係る電子楽器は、目標音色の指示を受付ける指示受付部と、相異なる音色に対応する複数の音響成分を含む第１音響信号を取得する取得部と、相異なる演奏音を表す複数の参照信号のうち１以上の参照信号を選択する音響解析部と、利用者による演奏を受付ける演奏装置と、前記選択された１以上の参照信号が表す演奏音と、前記演奏装置が受付けた演奏に対応する楽音とを再生システムに再生させる再生制御部と、を具備し、前記１以上の参照信号における信号強度の時間的な変動を表す参照リズムパターンは、前記複数の音響成分のうち前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンに類似する。

【0007】

以上の課題を解決するために、本開示のひとつの態様に係る音響解析方法は、目標音色の指示を受付け、相異なる音色に対応する複数の音響成分を含む第１音響信号を取得し、相異なる演奏音を表す複数の参照信号のうち１以上の参照信号を選択し、前記１以上の参照信号における信号強度の時間的な変動を表す参照リズムパターンは、前記複数の音響成分のうち前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンに類似する。

【図面の簡単な説明】

【0008】

【図1】実施形態に係る電子楽器の構成を例示するブロック図である。

【図2】電子楽器の機能的な構成を例示するブロック図である。

【図3】音響解析部の具体的な構成を例示するブロック図である。

【図4】分離部の説明図である。

【図5】解析リズムパターンの解析に関する説明図である。

【図6】解析リズムパターンを生成する処理の具体的な手順を例示するフローチャートである。

【図7】選択部の動作の説明図である。

【図8】解析画像を例示する模式図である。

【図9】解析画像を例示する模式図である。

【図10】音響解析処理の具体的な手順を例示するフローチャートである。

【図11】情報処理システムの構成を例示するブロック図である。

【図12】情報処理システムの機能的な構成を例示するブロック図である。

【図13】情報処理システムの制御装置が機械学習により学習済モデルを確立する処理の手順を説明するフローチャートである。

【図14】情報処理システムによる基底行列の生成の説明図である。

【図15】情報処理システムによる参照リズムパターンの生成の説明図である。

【図16】第２実施形態に係る音響解析部の具体的な構成を例示するブロック図である。

【図17】第２実施形態における音響解析処理の具体的な手順を例示するフローチャートである。

【図18】第３実施形態の選択部の説明図である。

【図19】第４実施形態における演奏システムの構成を例示するブロック図である。

【図20】第５実施形態の選択部の説明図である

【図21】学習済モデルの具体的な構成を例示するブロック図である。

【図22】第５実施形態における音響解析処理の具体的な手順を例示するフローチャートである。

【図23】第５実施形態における情報処理システムの機能的な構成を例示するブロック図である。

【図24】第６実施形態に係る演奏システムの構成を例示するブロック図である。

【発明を実施するための形態】

【0009】

Ａ：第１実施形態
図１は、本開示の実施形態に係る電子楽器１０の構成を例示するブロック図である。電子楽器１０は、利用者による演奏に応じた楽音を再生する機能と、特定の楽曲の演奏音を表す音響信号Ｓ1を解析する機能とを実現する音響解析システムである。

【0010】

電子楽器１０は、制御装置１１と記憶装置１２と通信装置１３と操作装置１４と演奏装置１５と音源装置１６と放音装置１７と表示装置１９とを具備する。なお、電子楽器１０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置としても実現される。

【0011】

制御装置１１は、電子楽器１０の各要素を制御する単数または複数のプロセッサで構成される。制御装置１１は、例えば、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。

【0012】

記憶装置１２は、制御装置１１が実行するプログラムと、制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１２は、例えば、磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、電子楽器１０に対して着脱される可搬型の記録媒体、または、例えばインターネット等の通信網９０を介して制御装置１１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置１２として利用してもよい。

【0013】

記憶装置１２は、電子楽器１０による解析対象である音響信号Ｓ1を記憶する。音響信号Ｓ1は、相異なる楽器が発音する楽音の複数の音響成分を含む信号である。なお、音響信号Ｓ1は、歌唱者が歌唱により発音する音声の音響成分を含んでもよい。音響信号Ｓ1は、例えば、音楽配信装置（図示略）から電子楽器１０に配信された音楽ファイルとして記憶装置１２に記憶される。音響信号Ｓ1は、「第１音響信号」の一例である。また、例えば光ディスク等の記録媒体から音響信号Ｓ1を読出す再生装置が電子楽器１０に音響信号Ｓ1を供給してもよい。

【0014】

通信装置１３は、通信網９０を介して他の装置と通信する。例えば、通信装置１３は、後述する情報処理システム４０と通信する。なお、通信装置１３と通信網９０との間の通信回線における無線区間の有無は不問である。また、電子楽器１０とは別体の通信装置１３としては、例えば、スマートフォンまたはタブレット端末等の情報端末が例示される。

【0015】

操作装置１４は、利用者からの指示を受付ける入力機器である。操作装置１４は、例えば、利用者が操作する複数の操作子、または、利用者による接触を検知するタッチパネルである。利用者は、操作装置１４を操作することで、複数種の楽器のうち所望の楽器（以下、「目標楽器」という）を電子楽器１０に指示することが可能である。楽音の音色は楽器の種類毎に相違するから、利用者による楽器の指示は「音色の指示」の一例である。また、目標楽器は、「目標音色」の一例である。

【0016】

演奏装置１５は、利用者による演奏を受付ける入力機器である。具体的には、演奏装置１５は、相異なる音高に対応する複数の鍵１５１が配列された鍵盤である。利用者は、所望の鍵１５１を順次に操作することで楽曲を演奏する。すなわち、電子楽器１０は、電子鍵盤楽器である。

【0017】

音源装置１６は、演奏装置１５に対する演奏に応じた音響信号を生成する。具体的には、音源装置１６は、演奏装置１５の複数の鍵１５１のうち利用者が押鍵した鍵１５１に対応する音色を表す音響信号を生成する。なお、記憶装置１２に記憶されたプログラムを実行することで、制御装置１１が音源装置１６の機能を実現してもよい。すなわち、音源装置１６は、省略されてもよい。

【0018】

放音装置１７は、音源装置１６により生成される音響信号が表す楽音を放音する。放音装置１７は、例えばスピーカまたはヘッドホンである。本実施形態における音源装置１６および放音装置１７は、利用者による演奏に応じた楽音を再生する再生システム１８として機能する。表示装置１９は、制御装置１１による制御のもとで画像を表示する。表示装置１９は、例えば液晶表示パネルである。

【0019】

図２は、電子楽器１０の機能的な構成を例示するブロック図である。電子楽器１０の制御装置１１は、記憶装置１２に記憶されたプログラムを実行することで、複数の機能（取得部１１１、指示受付部１１２、音響解析部１１３、提示部１１４および再生制御部１１５）を実現する。なお、相互に別体で構成された複数の装置により制御装置１１の機能を実現してもよいし、制御装置１１の機能の一部または全部を専用の電子回路により実現してもよい。

【0020】

取得部１１１は、音響信号Ｓ1を取得する。具体的には、取得部１１１は、記憶装置１２から音響信号Ｓ1の各サンプルを順次に読み出す。なお、取得部１１１は、電子楽器１０が通信可能な外部装置から音響信号Ｓ1を取得してもよい。

【0021】

指示受付部１１２は、操作装置１４に対する利用者からの指示を受付ける。具体的には、指示受付部１１２は、目標楽器の指示を利用者から受付け、当該目標楽器を示す指示データＤを生成する。

【0022】

図３は、音響解析部１１３の機能的な構成を例示するブロック図である。音響解析部１１３は、分離部１１３１と解析部１１３２と選択部１１３３とを具備する。

【0023】

図４は、分離部１１３１の説明図である。分離部１１３１は、音響信号Ｓ1に対する音源分離により音響信号Ｓ2を生成する。具体的には、分離部１１３１は、音響信号Ｓ1の相異なる楽器に対応する複数の音響成分から、利用者により指示された目標楽器に対応する音響成分を表す音響信号Ｓ2を分離する。すなわち、音響信号Ｓ2は、音響信号Ｓ1の複数の音響成分のうち目標楽器の音響成分を目標楽器以外の音響成分に対して相対的に強調した信号である。音響信号Ｓ2は、「第２音響信号」の一例である。

【0024】

分離部１１３１による音響信号Ｓ2の生成には、学習済モデルＭが利用される。具体的には、分離部１１３１は、音響信号Ｓ1と指示データＤとの組合せである入力データＸを学習済モデルＭに入力することで、当該学習済モデルＭから音響信号Ｓ2を出力する。学習済モデルＭは、音響信号Ｓ1と指示データＤとの組合せと、音響信号Ｓ2との関係を機械学習により学習したモデルである。

【0025】

学習済モデルＭは、例えば深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）で構成される。学習済モデルＭとしては、例えば、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、または、畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の任意の形式のニューラルネットワークが利用される。また、学習済モデルＭは、複数種の深層ニューラルネットワークの組合せで学習済モデルＭが構成されてもよい。さらに、学習済モデルＭには、長短期記憶（ＬＳＴＭ：Long Short-Term Memory）等の付加的な要素が搭載されてもよい。

【0026】

学習済モデルＭは、音響信号Ｓ1と指示データＤとの組合せである入力データＸから音響信号Ｓ2を生成する演算を制御装置１１に実行させるプログラムと、当該演算に適用される複数の変数（例えば加重値およびバイアス）との組合せで実現される。学習済モデルＭを実現するプログラムおよび複数の変数は、記憶装置１２に記憶される。学習済モデルＭを規定する複数の変数の各々の数値は、機械学習により予め設定される。

【0027】

図３の解析部１１３２は、音響信号Ｓ2の解析により解析リズムパターンＹを生成する。図５は、解析リズムパターンＹの解析に関する説明図である。図５における記号ｆは周波数を意味し、記号ｔは時間を意味する。解析部１１３２は、音響信号Ｓ2を時間軸上で区分した複数の期間（以下、単位期間という）Ｔの各々について解析リズムパターンＹを生成する。単位期間Ｔは、例えば楽曲内の小節の所定個に相当する時間長（例えば１小節、４小節または８小節）の期間である。

【0028】

解析リズムパターンＹは、相異なる音色に対応するＭ個の係数列ｙ1～ｙMで構成される。Ｍ種類の音色のうち第ｍ番目（ｍ＝１～Ｍ）の音色に対応する係数列ｙmは、音響信号Ｓ2における当該音色の音響成分に関する信号強度（例えば振幅またはパワー）の時間的な変動を表す非負の数値列である。なお、例えば楽器の種類毎および楽音の音高毎に音色は相違する。したがって、係数列ｙmは、楽器と音高との組合せに対応する音響成分に関する強度の時間的な変動とも換言される。

【0029】

解析部１１３２は、既知の基底行列Ｂを利用した非負値行列因子分解（ＮＭＦ：Non-negative Matrix Factorization）により音響信号Ｓ2から解析リズムパターンＹを生成する。基底行列Ｂは、相異なる楽器が発音する楽音の音色に対応するＭ個の周波数特性ｂ1～ｂMを含む非負値行列である。第ｍ番目の楽器の音響成分に対応する周波数特性ｂmは、周波数軸上における当該音響成分の強度の系列（基底ベクトル）である。具体的には、周波数特性ｂmは、例えば振幅スペクトルまたはパワースペクトルである。機械学習により事前に生成された基底行列Ｂが記憶装置１２に記憶される。

【0030】

以上の説明から理解される通り、解析リズムパターンＹは、基底行列Ｂに対応する非負値の係数行列（アクティベーション行列）である。すなわち、解析リズムパターンＹにおける各係数列ｙmは、基底行列Ｂ内の周波数特性ｂmに対する加重値（活性度）の時間変動である。各係数列ｙmは、音響信号Ｓ2における第ｍ番目の音色に関するリズムパターンとも換言される。

【0031】

図６は、解析部１１３２が解析リズムパターンＹを生成する処理の具体的な手順を例示するフローチャートである。音響信号Ｓ2の単位期間Ｔ毎に図６の処理が実行される。

【0032】

解析部１１３２は、音響信号Ｓ2の単位期間Ｔについて観測行列Ｏを生成する（Ｓa1）。観測行列Ｏは、図５に示すように、音響信号Ｓ2の周波数特性の時系列を表す非負値行列である。具体的には、単位期間Ｔ内における振幅スペクトルまたはパワースペクトルの時系列（スペクトログラム）が観測行列Ｏとして生成される。

【0033】

解析部１１３２は、記憶装置１２に記憶された基底行列Ｂを利用した非負値行列因子分解により観測行列Ｏから解析リズムパターンＹを算定する（Ｓa2）。具体的には、解析部１１３２は、基底行列Ｂと解析リズムパターンＹとの積ＢＹが観測行列Ｏに近似（理想的には一致）するように解析リズムパターンＹを算定する。

【0034】

図７は、図３に例示された選択部１１３３の動作の説明図である。記憶装置１２には、相異なる演奏音を表すＮ個の参照信号Ｒ1～ＲNと、相異なる参照信号Ｒn（ｎ＝１～Ｎ）に対応するＮ個の参照リズムパターンＺ1～ＺNとが記憶される。各参照リズムパターンＺnは、特定の楽器が発音する楽音の相異なる音色に対応するＭ個の係数列ｚ1～ｚMで構成される。例えば、参照リズムパターンＺnの係数列ｚmは、第ｎ番目の楽器における第ｍ番目のリズムパターンである。

【0035】

Ｎ個の参照信号Ｒ1～ＲNの各々は、相異なる楽曲の一部の演奏音を表す。具体的には、各参照信号Ｒnは、楽曲のうち反復的な演奏に好適な部分（すなわちループ素材）を表す。本実施形態では、Ｎ個の参照信号Ｒ1～ＲNの各々から参照リズムパターンＺnが生成される。

【0036】

選択部１１３３は、Ｎ個の参照リズムパターンＺ1～ＺNの各々と解析リズムパターンＹとを対比する。具体的には、選択部１１３３は、各参照リズムパターンＺnと解析リズムパターンＹとを対比することで、類似度Ｑnを算定する。以下の説明では、参照リズムパターンＺnと解析リズムパターンＹとの相関の指標である相関係数を類似度Ｑnとして例示する。したがって、参照リズムパターンＺnと解析リズムパターンＹとが相互に類似するほど、類似度Ｑnは大きい数値となる。すなわち、類似度Ｑnは、参照リズムパターンＺnと解析リズムパターンＹとが類似する度合いの指標である。

【0037】

選択部１１３３は、算定した類似度Ｑnに基づいて、Ｎ個の参照信号Ｒ1～ＲNのうち１個以上の参照信号Ｒnを選択し、選択した参照信号Ｒnを提示部１１４および再生制御部１１５に出力する。具体的には、選択部１１３３は、類似度Ｑnが所定の閾値を上回る複数の参照信号Ｒn、または、類似度Ｑnの降順で上位に位置する所定個の参照信号Ｒnを選択する。

【0038】

以上の説明から理解される通り、音響解析部１１３（選択部１１３３）は、Ｎ個の参照信号Ｒ1～ＲNのうち、参照リズムパターンＺnが解析リズムパターンＹに類似する複数の参照信号Ｒnを選択する。なお、選択部１１３３は、音響信号Ｓ1の単位期間Ｔ毎に所定個の参照信号Ｒnを選択してもよいし、音響信号Ｓ1の全部の単位期間Ｔにわたる類似度の平均値の降順で所定個の参照信号Ｒnを選択してもよい。

【0039】

図２の提示部１１４は、音響解析部１１３による解析の結果を表示装置１９に表示させる。具体的には、提示部１１４は、選択部１１３３が選択した複数の参照信号Ｒnを利用者に提示する。第１実施形態の提示部１１４は、図８または図９の解析画像を表示装置１９に表示させる。解析画像は、参照信号Ｒnをランキング形式で表示する画像である。

【0040】

図８の解析画像は、目標楽器である「Drum」の解析リズムパターンＹに類似する参照リズムパターンＺnに対応する各参照信号Ｒnを表す画像である。同様に、図９の解析画像は、目標楽器である「Guitar」の解析リズムパターンＹに類似する参照リズムパターンＺnに対応する各参照信号Ｒnを表す画像である。

【0041】

利用者は、図８または図９の解析画像を参照することで、複数の参照信号Ｒnのうち目標楽器の解析リズムパターンＹに類似する参照リズムパターンＺnに対応する参照信号Ｒnを視覚的に把握することができる。例えば、図８の解析画像を参照することで、利用者は、目標楽器「Drum」の解析リズムパターンＹに最も類似する参照リズムパターンＺnに対応する参照信号Ｒnを確認することができる。なお、図８および図９の「DrumPattern01」等の文字列は参照信号Ｒnのラベル名であり、当該文字列の左側に付された「１」等の数字は類似度Ｑnに応じた順位を表す。したがって、図８および図９では、「DrumPattern01」および「GuitarRiff01」が最も類似度Ｑnの大きい参照信号Ｒnである。

【0042】

図２の再生制御部１１５は、再生システム１８による楽音の再生を制御する。具体的には、再生制御部１１５は、演奏装置１５に対する操作に応じて再生システム１８（具体的には音源装置１６）に発音を指示する。また、再生制御部１１５は、選択部１１３３が選択した複数の参照信号Ｒnのうち利用者が解析画像から選択した１個の参照信号Ｒnが表す演奏音を、再生システム１８に再生させる。

【0043】

図１０は、制御装置１１が実行する処理（音響解析処理）の具体的な手順を例示するフローチャートである。例えば電子楽器１０に対する利用者からの指示を契機として音響解析処理が実行される。

【0044】

音響解析処理を開始すると、取得部１１１は、音響信号Ｓ1を取得する（Ｓb1）。指示受付部１１２は、利用者による目標楽器の指定を待機する（Ｓb2：NO）。指示受付部１１２が目標楽器の指定を受付けると（Ｓb2：YES）、分離部１１３１は、音響信号Ｓ1から音響信号Ｓ2を分離する（Ｓb3）。

【0045】

解析部１１３２は、音響信号Ｓ2を時間軸上で区分した複数の単位期間Ｔの各々について観測行列Ｏ（図５参照）を生成する（Ｓb4）。解析部１１３２は、記憶装置１２に記憶された基底行列Ｂを利用した非負値行列因子分解により、各観測行列Ｏから解析リズムパターンＹを算定する（Ｓb5）。

【0046】

選択部１１３３は、Ｎ個の参照信号Ｒ1～ＲNの各々に関する参照リズムパターンＺnと解析リズムパターンＹとの類似度Ｑnを算定する（Ｓb6）。選択部１１３３は、Ｎ個の参照信号Ｒ1～ＲNのうち参照リズムパターンＺnが解析リズムパターンＹと類似する複数の参照信号Ｒnを選択する（Ｓb7）。

【0047】

提示部１１４は、選択部１１３３が選択した各参照信号Ｒnを識別するラベル名を、類似度Ｑnの降順で表示装置１９に表示させる（Ｓb8）。再生制御部１１５は、利用者による参照信号Ｒnの選択を待機する（Ｓb9：NO）。表示装置１９に表示された複数の参照信号Ｒnの何れかを利用者が選択すると（Ｓb9：YES）、再生制御部１１５は、当該参照信号Ｒnを再生システム１８に供給することで、参照信号Ｒnが表す演奏音を再生させる（Ｓb10）。

【0048】

図１の情報処理システム４０は、分離部１１３１が音響信号Ｓ2の生成に利用する学習済モデルＭを生成する。図１１は、情報処理システム４０の構成を例示するブロック図である。情報処理システム４０は、制御装置４１と記憶装置４２と通信装置４３とを具備する。なお、情報処理システム４０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置として実現される。

【0049】

制御装置４１は、情報処理システム４０の各要素を制御する単数または複数のプロセッサで構成される。制御装置４１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡまたはＡＳＩＣ等の１種類以上のプロセッサにより構成される。通信装置４３は、通信網９０を介して電子楽器１０と通信する。

【0050】

記憶装置４２は、制御装置４１が実行するプログラムと制御装置４１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置４２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。また、情報処理システム４０に対して着脱される可搬型の記録媒体または通信網９０を介して制御装置４１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置４２として利用してもよい。

【0051】

図１２は、情報処理システム４０の機能的な構成を例示するブロック図である。制御装置４１は、記憶装置４２に記憶されたプログラムを実行することで、学習済モデルＭを機械学習により確立するための複数の要素（訓練データ取得部５１および学習処理部５２）として機能する。

【0052】

学習処理部５２は、複数の訓練データＴDを利用した教師あり機械学習により学習済モデルＭを確立する。訓練データ取得部５１は、複数の訓練データＴDを取得する。具体的には、訓練データ取得部５１は、記憶装置４２に保存された複数の訓練データＴDを記憶装置４２から取得する。

【0053】

複数の訓練データＴDの各々は、図１２に示すように、訓練用の入力データＸtと訓練用の音響信号Ｓ2tとの組合せで構成される。訓練用の入力データＸtは、訓練用の音響信号Ｓ1tと訓練用の指示データＤtとが組み合わされたデータである。訓練用の音響信号Ｓ1tは、相異なる楽器に対応する複数の音響成分を含む既知の信号である。訓練用の音響信号Ｓ1tは、「第１訓練用音響信号」の一例である。

【0054】

訓練用の指示データＤtは、複数種の楽器の何れかを指定するデータである。訓練用の指示データＤtは、「訓練用指示データ」の一例である。訓練用の音響信号Ｓ2tは、訓練用の音響信号Ｓ1tの複数の音響成分のうち訓練用の指示データＤtが示す楽器に対応する音響成分を表す既知の信号である。訓練用の音響信号Ｓ2tは、「第２訓練用音響信号」の一例である。

【0055】

図１３は、制御装置４１が機械学習により学習済モデルＭを確立する処理（以下、学習処理という）Ｓcの具体的な手順を説明するフローチャートである。学習処理Ｓcは、学習済モデルＭを生成する方法とも表現される。

【0056】

学習処理Ｓcが開始されると、訓練データ取得部５１は、記憶装置４２に記憶された複数の訓練データＴDの何れか（以下、「選択訓練データＴD」という）を取得する（Ｓc1）。学習処理部５２は、図１２に示すように、選択訓練データＴDの入力データＸtを初期的または暫定的なモデル（以下、「暫定モデル」という）Ｍ0に入力し（Ｓc2）、当該入力に対して暫定モデルＭ0が出力する音響信号Ｓ2を取得する（Ｓc3）。

【0057】

学習処理部５２は、暫定モデルＭ0が生成する音響信号Ｓ2と選択訓練データＴDの音響信号Ｓ2tとの誤差を表す損失関数を算定する（Ｓc4）。学習処理部５２は、損失関数が低減（理想的には最小化）されるように、暫定モデルＭ0の複数の変数を更新する（Ｓc5）。損失関数に応じた複数の変数の更新には、例えば誤差逆伝播法が利用される。

【0058】

学習処理部５２は、所定の終了条件が成立したか否かを判定する（Ｓc6）。終了条件とは、例えば、損失関数が所定の閾値を下回ること、または、損失関数の変化量が所定の閾値を下回ることである。終了条件が成立しない場合（Ｓc6：NO）、訓練データ取得部５１は、未選択の選択訓練データＴDを新たな選択訓練データＴDとして選択する（Ｓc1）。すなわち、学習処理部５２は、終了条件の成立まで、暫定モデルＭ0の複数の変数を更新する処理を反復する（Ｓc1～Ｓc5）。終了条件が成立した場合（Ｓc6：YES）、学習処理部５２は、暫定モデルＭ0を規定する複数の変数の更新（Ｓc1～Ｓc5）を終了する。終了条件が成立した時点における暫定モデルＭ0が、学習済モデルＭとして確定される。すなわち、学習済モデルＭの複数の変数は、学習処理Ｓcの終了の時点における数値に確定される。

【0059】

以上の説明から理解される通り、学習済モデルＭは、複数の選択訓練データＴDにおける入力データＸtと音響信号Ｓ2tとの間に潜在する関係のもとで、未知の入力データＸに対して統計的に妥当な音響信号Ｓ2を出力する。すなわち、学習済モデルＭは、前述の通り、訓練用の入力データＸtと訓練用の音響信号Ｓ2tとの関係を、機械学習により学習したモデルである。

【0060】

情報処理システム４０は、以上の手順で確立された学習済モデルＭを通信装置４３から電子楽器１０に送信する（Ｓc7）。具体的には、学習処理部５２は、学習済モデルＭの複数の変数を通信装置４３から電子楽器１０に送信する。電子楽器１０の制御装置１１は、情報処理システム４０から受信した学習済モデルＭを記憶装置１２に保存する。具体的には、学習済モデルＭを規定する複数の変数が記憶装置１２に記憶される。

【0061】

また、図１の情報処理システム４０は、解析部１１３２および選択部１１３３により使用される基底行列Ｂと参照リズムパターンＺnとを生成する。図１４は、情報処理システム４０による基底行列Ｂの生成の説明図である。図１５は、情報処理システム４０による参照リズムパターンＺnの生成の説明図である。基底行列Ｂおよび参照リズムパターンＺnは、例えば、以下の手順で生成される。

【0062】

制御装置４１は、図１４に示すように、記憶装置４２に記憶されているＮ個の参照信号Ｒ1～ＲNを読み出す。制御装置４１は、各参照信号Ｒnから観測行列Ｏnを生成する。観測行列Ｏnは、前述の観測行列Ｏと同様に、参照信号Ｒnの周波数特性の時系列（スペクトログラム）を表す非負値行列である。

【0063】

次に、制御装置４１は、Ｎ個の観測行列Ｏ1～ＯNを時間軸上で連結することで観測行列ＯTを生成する。制御装置４１は、観測行列ＯTに対する非負値行列因子分解により観測行列ＯTから基底行列Ｂを生成する。以上の説明から理解される通り、基底行列Ｂは、Ｎ個の参照信号Ｒ1～ＲNに含まれる全種類の音色に対応する周波数特性ｂmを含む。

【0064】

続いて、制御装置４１は、図１５に示すように、生成済の基底行列Ｂを利用した非負値行列因子分解により各観測行列Ｏnから参照リズムパターンＺnを算定する。具体的には、制御装置４１は、基底行列Ｂと参照リズムパターンＺnとの積ＢＺnが観測行列Ｏnに近似（理想的には一致）するように参照リズムパターンＺnを算定する。情報処理システム４０は、以上の手順で生成された基底行列ＢおよびＮ個の参照リズムパターンＺ1～ＺNを通信装置４３から電子楽器１０に送信する。電子楽器１０の制御装置１１は、情報処理システム４０から受信した基底行列ＢおよびＮ個の参照リズムパターンＺ1～ＺNを記憶装置１２に記憶する。

【0065】

以上に説明した通り、第１実施形態においては、複数の参照信号Ｒnのうち、利用者から指示された楽器（目標楽器）の解析リズムパターンＹに対して参照リズムパターンＺnが類似する参照信号Ｒnが選択される。これにより、利用者は、自身が指定した楽器の望むリズムパターンを探す手間が軽減し、例えば、楽曲作成または演奏練習の効率性が向上する。

【0066】

また、第１実施形態においては、Ｎ個の参照信号Ｒ1～ＲNの各々の参照リズムパターンＺnと利用者から指示された楽器の解析リズムパターンＹとの類似度Ｑnに応じて複数の参照信号Ｒnが適切に選択される。

【0067】

さらに、第１実施形態においては、複数の参照信号Ｒnについて参照リズムパターンＺnが目標楽器の解析リズムパターンＹに類似する順序を把握することができる。これにより、利用者は、例えば、当該順序に応じて楽曲作成または演奏練習をすることができる。

【0068】

加えて、第１実施形態においては、利用者が、図８または図９の解析画像を参照することで、複数の参照信号Ｒnのうち目標楽器の解析リズムパターンＹに類似する参照リズムパターンＺnに対応する参照信号Ｒnを視覚的に把握することができる。

【0069】

Ｂ：第２実施形態
次に、第２実施形態について説明する。なお、以下に例示する各形態において機能および構成が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

【0070】

図１６は、第２実施形態に係る音響解析部１１３の具体的な構成を例示するブロック図である。第２実施形態の音響解析部１１３は、第１実施形態と同様の要素（分離部１１３１、解析部１１３２および選択部１１３３）から分離部１１３１が除かれた構成である。具体的には、第１実施形態においては、解析部１１３２とは別個の分離部１１３１により目標楽器の音響成分が強調された音響信号Ｓ2が生成されるのに対し、第２実施形態においては、解析部１１３２が解析リズムパターンＹを生成する過程において目標楽器の音響成分が強調される。

【0071】

図１７は、第２実施形態の制御装置１１が実行する処理（音響解析処理）の具体的な手順を例示するフローチャートである。

【0072】

音響解析処理を開始すると、取得部１１１は、音響信号Ｓ1を取得する（Ｓd1）。解析部１１３２は、音響信号Ｓ1を時間軸上で区分した複数の単位期間Ｔの各々について観測行列Ｏを生成する（Ｓd2）。第１実施形態の観測行列Ｏが音源分離後の音響信号Ｓ2に対応する非負値行列であるのに対し、第２実施形態の観測行列Ｏは、音響信号Ｓ1の周波数特性の時系列を表す非負値行列である。具体的には、単位期間Ｔにおける振幅スペクトルまたはパワースペクトルの時系列（スペクトログラム）が当該観測行列Ｏとして生成される。

【0073】

次に、解析部１１３２は、基底行列Ｂを利用した非負値行列因子分解により観測行列Ｏから解析リズムパターンＹを算定する（Ｓd3）。基底行列Ｂには、楽器名のラベルが付与されている。具体的には、基底行列Ｂを構成するＭ個の周波数特性ｂ1～ｂMの各々について楽器名のラベルが対応づけられている。すなわち、Ｍ個の周波数特性ｂ1～ｂMのうち第ｍ番目の周波数特性がどの楽器の音響成分の強度の系列なのかは既知である。

【0074】

指示受付部１１２は、利用者による目標楽器の指定を待機する（Ｓd4：NO）。指示受付部１１２が目標楽器の指定を受付けると（Ｓd4：YES）、解析部１１３２は、解析リズムパターンＹを構成するＭ個の係数列ｙ1～ｙMのうち目標楽器以外の楽器に対応する１個以上の係数列ｙmの各要素を０に設定する（Ｓd5）。これにより、当該解析リズムパターンＹは、目標楽器以外の楽器に対応する係数列ｙmの各要素が０である非負値の係数行列となる。

【0075】

以上の処理を実行すると、制御装置１１は、第１実施形態と同様に、ステップＳb6からステップＳb10の処理を実行する。したがって、第２実施形態においても第１実施形態と同様の効果が実現される。

【0076】

Ｃ：第３実施形態
図１８は、第３実施形態の選択部１１３３の説明図である。選択部１１３３は、解析リズムパターンＹを時間軸上で圧縮することで圧縮解析リズムパターンＹ'を生成する。具体的には、選択部１１３３は、解析リズムパターンＹを構成するＭ個の係数列ｙ1～ｙMの各々について、係数列ｙmの複数の要素の平均または総和を算出することにより圧縮解析リズムパターンＹ'を生成する。したがって、圧縮解析リズムパターンＹ'は、相異なる音色に対応するＭ個の係数ｙ'1～ｙ'Mで構成される。すなわち、係数ｙ'mは、係数列ｙmの複数の要素の平均または総和である。Ｍ種類の音色のうち第ｍ番目の音色に対応する係数ｙ'mは、当該音色の音響成分に関する強度を表す非負の数値である。

【0077】

同様に、選択部１１３３は、Ｎ個の参照リズムパターンＺ1～ＺNの各々から圧縮参照リズムパターンＺ'nを生成する。Ｎ個の圧縮参照リズムパターンＺ'1～Ｚ'Nは、記憶装置１２に記憶される。圧縮参照リズムパターンＺ'nは、参照リズムパターンＺnが時間軸上で圧縮されることにより生成される。具体的には、選択部１１３３は、参照リズムパターンＺnを構成するＭ個の係数列ｚ1～ｚMの各々について、係数列ｚmの各要素の平均または総和を算出することにより圧縮参照リズムパターンＺ'nを生成する。したがって、圧縮参照リズムパターンＺ'nは、特定の楽器が発音する楽音の相異なる音色に対応するＭ個の係数ｚ'1～ｚ'Mで構成される。すなわち、係数ｚ'mは、係数列ｚmの複数の要素の平均または総和である。Ｍ種類の音色のうち第ｍ番目の音色に対応する係数ｚ'mは、当該音色の音響成分に関する強度を表す非負の数値である。

【0078】

選択部１１３３は、Ｎ個の圧縮参照リズムパターンＺ'1～Ｚ'Nの各々と圧縮解析リズムパターンＹ'とを対比することで、類似度Ｑnを算定する。以上の説明から理解される通り、前述の形態における選択部１１３３は、参照リズムパターンＺnと解析リズムパターンＹとを対比することで類似度Ｑnを算出するのに対し、第３実施形態の選択部１１３３は、参照リズムパターンＺnを時間軸の方向に圧縮した圧縮参照リズムパターンＺ'nと、解析リズムパターンＹを時間軸の方向に圧縮した圧縮解析リズムパターンＹ'とを対比することで類似度Ｑnを算出する。

【0079】

以上に説明した第３実施形態においても第１実施形態と同様の効果が実現される。なお、第１実施形態および第２実施形態の構成は、第３実施形態にも同様に適用される。

【0080】

Ｄ：第４実施形態
図１９は、第４実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、電子楽器１０と情報装置８０とを具備する。情報装置８０は、例えばスマートフォンまたはタブレット端末等の装置である。情報装置８０は、例えば有線または無線により電子楽器１０に接続される。

【0081】

情報装置８０は、制御装置８１と記憶装置８２と表示装置８３と操作装置８４とを具備するコンピュータシステムで実現される。制御装置８１は、情報装置８０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置８１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。

【0082】

記憶装置８２は、制御装置８１が実行するプログラムと制御装置８１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置８２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、情報装置８０に対して着脱される可搬型の記録媒体、または例えば通信網９０を介して制御装置８１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置８２として利用してもよい。

【0083】

表示装置８３は、制御装置８１による制御のもとで画像を表示する。操作装置８４は、利用者からの指示を受付ける入力機器である。具体的には、操作装置８４は、目標楽器の指示を利用者から受付ける。

【0084】

制御装置８１は、記憶装置８２に記憶されたプログラムを実行することで、第１実施形態における電子楽器１０の制御装置１１と同様の機能（取得部１１１，指示受付部１１２，音響解析部１１３，提示部１１４および再生制御部１１５）を実現する。音響解析部１１３が使用する、参照信号Ｒnと基底行列Ｂと学習済モデルＭとは、記憶装置８２に記憶される。また、記憶装置８２には音響信号Ｓ1も記憶される。他方、第４実施形態の電子楽器１０においては、第１実施形態で例示した機能（取得部１１１，指示受付部１１２，音響解析部１１３，提示部１１４および再生制御部１１５）は省略されてもよい。なお、電子楽器１０と情報装置８０との間における機能の分担は以上の例示から適宜に変更される。例えば、取得部１１１，指示受付部１１２，音響解析部１１３，提示部１１４および再生制御部１１５のうちの一部の機能が情報装置８０に搭載され、他の機能が電子楽器１０に搭載されてもよい。すなわち、演奏システム１００の全体として、以上に例示した複数の機能が実現されればよい。

【0085】

取得部１１１は、記憶装置８２に記憶された音響信号Ｓ1を取得する。指示受付部１１２は、操作装置８４に対する利用者からの指示を受付ける。音響解析部１１３は、第１実施形態と同様に、音響信号Ｓ1と指示データＤとから複数の参照信号Ｒnを特定する。提示部１１４は、音響解析部１１３が選択した複数の参照信号Ｒnを表示装置８３に表示させる。再生制御部１１５は、複数の参照信号Ｒnのうち利用者が選択した１個の参照信号Ｒnを電子楽器１０に供給することで、再生システム１８に演奏音を再生させる。なお、提示部１１４および再生制御部１１５は電子楽器１０に搭載されてもよい。例えば、提示部１１４は、第１実施形態と同様に表示装置１９に解析画像を表示させてもよい。

【0086】

以上の説明から理解される通り、第４実施形態においても第１実施形態と同様の効果が実現される。なお、第２実施形態または第３実施形態の構成は、第４実施形態にも同様に適用される。

【0087】

第４実施形態においては、例えば、情報処理システム４０により構築された学習済モデルＭが情報装置８０に転送され、当該学習済モデルＭが記憶装置８２に記憶される。以上の構成において、情報装置８０の利用者の正当性（事前に登録された正規の利用者であること）を認証する認証処理部（図示略）が情報処理システム４０に搭載されてもよい。利用者の正当性が認証処理部により認証された場合に、学習済モデルＭが情報装置８０に自動的に（すなわち利用者からの指示を必要とせずに）転送される。

【0088】

Ｅ：第５実施形態
図２０は、選択部１１３３の説明図である。第５実施形態の選択部１１３３は、解析リズムパターンＹと参照リズムパターンＺnとの組合せである入力データＸaが入力される。選択部１１３３は、当該入力データＸaに対応する類似度Ｑnを出力する。

【0089】

第５実施形態の選択部１１３３による類似度Ｑnの生成には、学習済モデルＭaが利用される。具体的には、選択部１１３３は、入力データＸaを学習済モデルＭaに入力することで、当該学習済モデルＭaから類似度Ｑnを出力する。学習済モデルＭaは、解析リズムパターンＹと参照リズムパターンＺnとの組合せと、類似度Ｑnとの関係を機械学習により学習したモデルである。

【0090】

学習済モデルＭaは、例えば、再帰型ニューラルネットワークまたは畳込ニューラルネットワーク等の任意の形式の深層ニューラルネットワークで構成される。例えば、学習済モデルＭaは、再帰型ニューラルネットワークと畳込ニューラルネットワークとの組合せで構成される。

【0091】

学習済モデルＭaは、入力データＸaから類似度Ｑnを生成する演算を制御装置１１に実行させるプログラムと、当該演算に適用される複数の変数（例えば加重値およびバイアス）との組合せで実現される。学習済モデルＭaを実現するプログラムおよび複数の変数は、記憶装置１２に記憶される。学習済モデルＭaを規定する複数の変数の各々の数値は、機械学習により予め設定される。

【0092】

図２１は、学習済モデルＭaの具体的な構成を例示するブロック図である。学習済モデルＭaは、第１モデルＭa1と第２モデルＭa2とを含む。入力データＸaは、第１モデルＭa1に入力される。

【0093】

第１モデルＭa1は、特徴データＸafを入力データＸaから生成する。第１モデルＭa1は、入力データＸaと特徴データＸafとの関係を学習した学習済モデルである。特徴データＸafは、解析リズムパターンＹと参照リズムパターンＺnとの相違に応じた特徴を表すデータである。第１モデルＭa1は、例えば、畳込ニューラルネットワークで構成される。

【0094】

第２モデルＭa2は、類似度Ｑnを特徴データＸafから生成する。第２モデルＭa2は、特徴データＸafと類似度Ｑnとの関係を学習した学習済モデルである。第２モデルＭa2は、例えば、再帰型ニューラルネットワークで構成される。なお、第２モデルＭa2には、長短期記憶（ＬＳＴＭ：Long Short-Term Memory）またはゲート付き回帰型ユニット（ＧＲＵ：Gated Recurrent Unit）等の付加的な要素が搭載されてもよい。

【0095】

図２２は、第５実施形態の制御装置１１が実行する処理（音響解析処理）の具体的な手順を例示するフローチャートである。第５実施形態においては、図１０に例示した第１実施形態の処理のうちステップＳb6がステップＳe1およびステップＳe2に置換される。ステップＳb1からステップＳb5までの処理の内容と、ステップＳb7からステップＳb10までの処理の内容とは、第１実施形態と同様である。

【0096】

選択部１１３３は、Ｎ個の参照信号Ｒ1～ＲNの各々に関する参照リズムパターンＺnと解析リズムパターンＹとを組み合わせて入力データＸa1～ＸaNを生成する。選択部１１３３は、各入力データＸan（ｎ＝１～Ｎ）を学習済モデルＭaに入力し（Ｓe1）、当該入力データＸa1～ＸaNの各々に対応する類似度Ｑnを出力する（Ｓe2）。第５実施形態においても第１実施形態と同様の効果が実現される。

【0097】

以上に例示した学習済モデルＭaは、情報処理システム４０により生成される。図２３は、情報処理システム４０のうち学習済モデルＭaの生成に関する機能的な構成を例示するブロック図である。制御装置４１は、記憶装置４２に記憶されたプログラムを実行することで、学習済モデルＭaを機械学習により確立するための複数の要素（訓練データ取得部５１aおよび学習処理部５２a）として機能する。

【0098】

学習処理部５２aは、複数の訓練データＴDaを利用した教師あり機械学習により学習済モデルＭaを確立する。訓練データ取得部５１aは、複数の訓練データＴDaを取得する。具体的には、訓練データ取得部５１aは、記憶装置４２に保存された複数の訓練データＴDaを記憶装置４２から取得する。

【0099】

複数の訓練データＴDaの各々は、図２３に示すように、訓練用の入力データＸatと訓練用の類似度Ｑntとの組合せで構成される。訓練用の入力データＸatは、訓練用の解析リズムパターンＹtと訓練用の参照リズムパターンＺntとが組み合わされたデータである。訓練用の解析リズムパターンＹtは、相異なる音色に対応する複数の係数列で構成される既知の係数行列である。参照リズムパターンＺntは「訓練用参照リズムパターン」の一例であり、解析リズムパターンＹtは「訓練用解析リズムパターン」の一例である。

【0100】

訓練用の参照リズムパターンＺntは、特定の楽器が発音する楽音の相異なる音色に対応する複数の係数列で構成される既知の係数行列である。訓練用の類似度Ｑntは、訓練用の入力データＸatに予め対応づけられている数値である。具体的には、訓練用の入力データＸatには、当該入力データＸatにおける解析リズムパターンＹtと訓練用の参照リズムパターンＺntとの類似度Ｑntが対応付けられる。類似度Ｑntは「訓練用類似度」の一例である。

【0101】

学習処理部５２aは、複数の訓練データＴDaの各々における入力データＸatを暫定的なモデルに入力し、当該モデルが出力する類似度Ｑと当該訓練データＴDaの類似度Ｑntとの損失関数が低減（理想的には最小化）されるように、暫定的なモデルの複数の変数を更新する。すなわち、学習済モデルＭaは、入力データＸatと類似度Ｑntとの関係を学習する。したがって、学習済モデルＭaは、訓練用の複数の入力データＸatにおける入力データＸatと類似度Ｑとの間に潜在する関係のもとで、未知の入力データＸanに対して統計的に妥当な類似度Ｑnを出力する。

【0102】

Ｆ：第６実施形態
図２４は、第６実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、第４実施形態と同様に、電子楽器１０と情報装置８０とを具備する。電子楽器１０および情報装置８０の構成は、第４実施形態と同様である。

【0103】

情報処理システム４０は、相異なる音楽ジャンルに対応する複数の学習済モデルＭaを記憶する。各音楽ジャンルに対応する学習済モデルＭaを確立するための学習処理において、特定の音楽ジャンルの入力データＸatを含む訓練データＴDaが利用される。すなわち、複数の訓練データＴDaのセットが音楽ジャンル毎に個別に用意され、音楽ジャンル毎の個別の学習処理により学習済モデルＭaが確立される。「音楽ジャンル」とは、楽曲を音楽的な観点で分類した区分（種別）を意味する。例えば、ロック、ポップス、ジャズ、トランスまたはヒップホップ等の音楽的な区分が音楽ジャンルの典型例である。

【0104】

情報装置８０は、情報処理システム４０が保持する複数の学習済モデルＭaの何れかを選択的に通信網２００を介して取得する。具体的には、情報装置８０は、複数の学習済モデル６０のうち、特定の音楽ジャンルに対応する１個の学習済モデルＭaを情報処理システム４０から取得する。例えば、情報装置８０は、音響信号Ｓ1（音楽ファイル）に含まれるジャンルタグを参照して、当該タグにより示される音楽ジャンルに対応する学習済モデルＭaを情報処理システム４０から取得する。ジャンルタグとは、ＭＰ３ファイルまたはＡＡＣ（Advanced Audio Coding）ファイル等の音楽ファイルに付与された、特定の音楽ジャンルを示すタグ情報である。あるいは、情報装置８０は、音響信号Ｓ1を解析することで楽曲の音楽ジャンルを推定する。音楽ジャンルの推定には、公知の任意の技術が利用される。情報装置８０は、当該音楽ジャンルに対応する学習済モデルＭaを情報処理システム４０から取得する。情報処理システム４０から取得した学習済モデルＭaは記憶装置８２に記憶され、選択部１１３３が類似度Ｑnを出力する処理に利用される。

【0105】

以上の説明から理解される通り、本変形例においても第１実施形態から第５実施形態と同様の効果が実現される。また、第６実施形態においては、音楽ジャンル毎に学習済モデルＭaが確立されるから、音楽ジャンルに関わらず共通の学習済モデルＭaが利用される構成と比較して、精度の高い類似度Ｑnが得られるという利点もある。

【0106】

なお、以上の説明においては、相異なる音楽ジャンルに対応する複数の学習済モデルＭaを情報処理システム４０が保持する構成を例示したが、複数の学習済モデルＭaを情報装置８０が情報処理システム４０から取得および保持してもよい。すなわち、情報装置８０の記憶装置８２に複数の学習済モデルＭaが記憶される。音響解析部１１３は、複数の学習済モデルＭaの何れかを選択的に利用して類似度Ｑnを算定する。

【0107】

Ｇ：変形例
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されるものではなく種々の変更を加え得る。前述の態様に付与され得る具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0108】

（１）前述の各形態においては、音響信号Ｓ1の相異なる楽器に対応する複数の音響成分から、利用者に指示された楽器に対応する音響信号Ｓ2を分離したが、当該複数の音響成分のうち歌唱音声の音響成分が分離されてもよい。

【0109】

（２）前述の各形態においては、参照リズムパターンＺnと解析リズムパターンＹとの相関を類似度Ｑnとして例示したが、参照リズムパターンＺnと解析リズムパターンＹとの距離を類似度Ｑnとして選択部１１３３が算定してもよい。以上の構成においては、参照リズムパターンＺnと解析リズムパターンＹとが相互に類似するほど、類似度Ｑnは小さい値となる。なお、参照リズムパターンＺnと解析リズムパターンＹとの距離としては、例えば、コサイン距離またはKLダイバージェンス等の距離指標が任意に採用される。

【0110】

（３）前述の各形態においては、選択部１１３３は、Ｎ個の参照信号Ｒ1～ＲNのうち、参照リズムパターンＺnが解析リズムパターンＹに類似する複数の参照信号Ｒnを選択したが、選択部１１３３が１個の参照信号Ｒnを選択してもよい。

【0111】

（４）前述の各形態においては、参照信号Ｒnは、典型的には単一の楽器の演奏音を含む部分であるが、相異なる２種類以上の楽器の演奏音を含む部分であってもよい。

【0112】

（５）第２実施形態においては、解析リズムパターンＹを構成するＭ個の係数列ｙ1～ｙMのうち目標楽器以外の楽器に対応する１個以上の係数列ｙmの各要素を０に設定したが、当該各要素を０に設定しなくてもよい。

【0113】

（６）前述の各形態においては、情報処理システム４０が学習済モデルＭを確立したが、情報処理システム４０の機能（訓練データ取得部５１および学習処理部５２）は、第４実施形態の情報装置８０に搭載されてもよい。また、前述の形態においては、情報処理システム４０が基底行列Ｂおよび参照リズムパターンＺnを生成するが、基底行列Ｂおよび参照リズムパターンＺnを生成する情報処理システム４０の機能は、第４実施形態の情報装置８０に搭載されてもよい。

【0114】

（７）前述の各形態においては、深層ニューラルネットワークを学習済モデルＭとして例示したが、学習済モデルＭは深層ニューラルネットワークに限定されない。例えば、ＨＭＭ（Hidden Markov Model）またはＳＶＭ（Support Vector Machine）等の統計的推定モデルを、学習済モデルＭとして利用してもよい。また、前述の各形態においては、複数の訓練データＴDを利用した教師あり機械学習を学習処理Ｓcとして例示したが、訓練データＴDを必要としない教師なし機械学習、または報酬を最大化させる強化学習により、学習済モデルＭを確立してもよい。教師なし機械学習としては、例えば公知のクラスタリングを利用した機械学習が例示される。

【0115】

（８）前述の各形態に例示した機能（取得部１１１,指示受付部１１２,音響解析部１１３,提示部１１４,再生制御部１１５）は、前述の通り、制御装置（１１,８１）を構成する単数または複数のプロセッサと、記憶装置（１２,８２）に記憶されたプログラムとの協働により実現される。以上のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。

【0116】

（９）前述の各形態においては、解析リズムパターンＹと参照リズムパターンＺnとを対比することで類似度Ｑnが算定されるが、類似度Ｑnを算定する方法は、当該例示に限定されない。例えば、選択部１１３３は、音響信号Ｓ2から抽出した特徴量と参照信号Ｒnから抽出した特徴量との組合せ（以下、「特徴量データ」という）に対応する類似度Ｑnをテーブルから検索することで、類似度Ｑnを決定してもよい。当該テーブルには、複数の特徴量データの各々について類似度Ｑnが登録される。なお、音響信号Ｓ2および参照信号Ｒnの特徴量とは、例えば、演奏音の周波数特性の時系列を表すデータである。例えば、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient），ＭＳＬＳ（Mel-Scale Log Spectrum）、または定Ｑ変換（ＣＱＴ：Constant-Q Transform）等の周波数特性の時系列を表すデータが、当該特徴量として例示される。

【0117】

（１０）前述の第５実施形態においては、入力データＸaから類似度Ｑnを生成するための学習済モデルＭaが深層ニューラルネットワークで構成される形態を例示したが、学習済モデルＭaの種類は以上の例示に限定されない。例えば、ＨＭＭ（Hidden Markov Model）またはＳＶＭ（Support Vector Machine）等の統計的推定モデルを、学習済モデルＭaとして利用してもよい。学習済モデルＭaの具体例は以下の通りである。

【0118】

（１０－１）ＨＭＭ
ＨＭＭは、類似度Ｑnの相異なる数値に対応する複数の潜在状態を相互に連結した統計的推定モデルである。ＨＭＭには、音響信号Ｓ2から抽出した特徴量と参照信号Ｒnから抽出した特徴量との組合せである特徴量データが時系列に入力される。特徴量データは、例えば楽曲の１小節に相当する区間内のデータである。

【0119】

選択部１１３３は、以上に例示したＨＭＭで構成される学習済モデルＭaに特徴量データの時系列を入力する。選択部１１３３は、複数の特徴量データが観測されたという条件のもとで最尤の類似度Ｑnの時系列を、ＨＭＭを利用して推定する。類似度Ｑnの推定には、例えばビタビアルゴリズム等の動的計画アルゴリズムが利用される。

【0120】

ＨＭＭは、類似度Ｑnを含む複数の訓練データを利用した教師あり機械学習により確立される。機械学習においては、複数の特徴量データの時系列に対して最尤の類似度Ｑnの時系列が出力されるように、各潜在状態における遷移確率および出力確率が反復的に更新される。

【0121】

（１０－２）ＳＶＭ
類似度Ｑnが取り得る複数の数値から２個の数値を選択する全通りの組合せの各々についてＳＶＭが用意される。２個の数値の組合せに対応するＳＶＭについては、多次元空間内の超平面が機械学習により確立される。超平面は、２個の数値のうち一方の数値に対応する特徴量データが分布する空間と、他方の数値に対応する特徴量データが分布する空間とを分離する境界面である。本変形例に係る学習済モデルは、相異なる数値の組合せに対応する複数のＳＶＭで構成される（multi-class SVM）。

【0122】

選択部１１３３は、特徴量データを複数のＳＶＭの各々に入力する。各組合せに対応するＳＶＭは、超平面で分離される２個の空間の何れに特徴量データが存在するかに応じて、当該組合せに係る２種類の数値の何れかを選択する。相異なる組合せに対応する複数のＳＶＭの各々において同様に数値の選択が実行される。選択部１１３３は、複数のＳＶＭによる選択の回数が最大となる数値を選択し、当該数値を類似度Ｑnと決定する。

【0123】

以上の例示から理解される通り、本変形例に係る選択部１１３３は、特徴量データを学習済モデルに入力することで、音響信号Ｓ2から抽出された特徴量と参照信号Ｒnから抽出された特徴量とが類似する度合いの指標である類似度Ｑnを当該学習済モデルから出力する要素、として機能する。

【0124】

（１１）前述の第５実施形態においては、複数の訓練データＴDaを利用した教師あり機械学習を学習処理として例示したが、報酬を最大化させる強化学習により、学習済モデルＭaを確立してもよい。例えば、学習処理部５２aは、各訓練データＴDaの入力データＸatに対して暫定モデルＭa0が出力する類似度Ｑと当該訓練データＴDaの類似度Ｑntとが一致する場合に報酬関数を「＋１」に設定し、両者が一致しない場合に報酬関数を「－１」に設定する。学習処理部５２aは、複数の訓練データＴDaについて設定された報酬関数の総和が最大化されるように、暫定モデルＭa0の複数の変数を反復的に更新することで、学習済モデルＭaを確立する。

【0125】

（１２）第１実施形態においては、音響信号Ｓ1および指示データＤを含む入力データＸと、音響信号Ｓ2との関係を学習した学習済モデルＭを利用して、入力データＸに応じた音響信号Ｓ2を生成したが、入力データＸから音響信号Ｓ2を生成するための構成および方法は、以上の例示に限定されない。例えば、相異なる複数の入力データＸの各々に音響信号Ｓ2が対応付けられた参照テーブルが、分離部１１３１による音響信号Ｓ2の生成に利用されてもよい。参照テーブルは、入力データＸと音響信号Ｓ2との対応が登録されたデータテーブルであり、例えば記憶装置１２に記憶される。分離部１１３１は、音響信号Ｓ1と指示データＤとの組合せに対応する入力データＸを参照テーブルから検索し、複数の音響信号Ｓ2のうち当該入力データＸに対応付けられた音響信号Ｓ2を、参照テーブルから取得する。

【0126】

（１３）第５実施形態および第６実施形態においては、解析リズムパターンＹおよび参照リズムパターンＺnとを含む入力データＸaと、類似度Ｑnとの関係を学習した学習済モデルＭaを利用して、入力データＸaに応じた類似度Ｑnを生成したが、入力データＸaから類似度Ｑnを生成するための構成および方法は、以上の例示に限定されない。例えば、相異なる複数の入力データＸaの各々に類似度Ｑnが対応付けられた参照テーブルが、選択部１１３３による類似度Ｑnの生成に利用されてもよい。参照テーブルは、入力データＸaと類似度Ｑnとの対応が登録されたデータテーブルであり、例えば記憶装置１２に記憶される。選択部１１３３は、解析リズムパターンＹおよび参照リズムパターンＺnとの組合せに対応する入力データＸaを参照テーブルから検索し、複数の類似度Ｑnのうち当該入力データＸaに対応付けられた類似度Ｑnを、参照テーブルから取得する。

【0127】

（１４）前述の各形態においては、指示受付部１１２が目標楽器の指示を利用者から受付ける形態を例示したが、指示受付部１１２が目標楽器の指示を利用者以外から受付けてもよい。例えば、指示受付部１１２が外部装置から目標楽器の指示を受付ける形態、または、電子楽器１０の内部的な処理により発生する指示を指示受付部１１２が受付ける形態も想定される。

【0128】

（１５）前述の各形態においては、電子楽器１０として電子鍵盤楽器を例示したが、電子楽器の形態は以上の例示に限定されない。例えば、電子弦楽器（例えば電子ギターまたは電子バイオリン）、電子ドラム、電子管楽器（例えば電子サックス、電子クラリネットまたは電子フルート）等の電子楽器にも、本開示は同様に適用される。

【0129】

Ｆ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0130】

本開示のひとつの態様（態様１）に係る音響解析システムは、目標音色の指示を受付ける指示受付部と、相異なる音色に対応する複数の音響成分を含む第１音響信号を取得する取得部と、相異なる演奏音を表す複数の参照信号のうち１以上の参照信号を選択する音響解析部とを具備し、前記１以上の参照信号における信号強度の時間的な変動を表す参照リズムパターンは、前記複数の音響成分のうち前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンに類似する。以上の構成によれば、複数の参照信号のうち、目標音色の解析リズムパターンに対して参照リズムパターンが類似する１以上の参照信号が選択される。これにより、利用者は、自身が指定した音色の望むリズムパターンを探す手間が軽減し、例えば楽曲作成または演奏練習の効率性が向上する。

【0131】

態様１の具体例（態様２）において、前記音響解析部は、前記目標音色に対応する前記音響成分を表す第２音響信号を前記第１音響信号から分離する分離部と、前記第２音響信号の前記解析リズムパターンを算定する解析部と、前記複数の参照信号から、前記参照リズムパターンが、前記解析部が算定した前記解析リズムパターンに類似する１以上の参照信号を選択する選択部と、を有する。

【0132】

態様２の具体例（態様３）において、前記分離部は、相異なる音色に対応する複数の音響成分を含む第１訓練用音響信号と音色を示す訓練用指示データとの組合せと、前記第１訓練用音響信号の前記複数の音響成分のうち前記訓練用指示データが示す音色に対応する音響成分を表す第２訓練用音響信号との関係を学習した学習済モデルに、前記第１音響信号と前記目標音色を示す指示データとを入力することで、前記第２音響信号を出力する。

【0133】

態様２または態様３の具体例（態様４）によれば、前記解析部は、相異なる音色に対応する複数の周波数特性を表す基底行列を利用した非負値行列因子分解により、前記第２音響信号から係数行列を前記解析リズムパターンとして算定する。

【0134】

態様２の具体例（態様５）において、前記解析部は、相異なる音色に対応する音の周波数特性を表す基底行列を利用した非負値行列因子分解により、前記第２音響信号から係数行列を算定し、前記算定した係数行列に含まれる複数の係数列のうち、前記目標音色以外の音色に対応する係数列の各要素を０に設定することで、前記解析リズムパターンを生成する。

【0135】

態様２から態様５の何れかの具体例（態様６）によれば、前記選択部は、前記複数の参照信号の各々について、前記参照リズムパターンと前記解析リズムパターンとの類似度を算定し、前記複数の参照信号から、前記類似度に基づいて、前記１以上の参照信号を選択する。以上の態様においては、複数の参照信号の各々の参照リズムパターンと、目標音色の解析リズムパターンとの類似度に応じて、１以上の参照信号が適切に選択される。

【0136】

態様６の具体例（態様７）において、前記選択部は、訓練用参照リズムパターンと訓練用解析リズムパターンとを含む訓練用の入力データと、前記訓練用参照リズムパターンと前記訓練用解析リズムパターンとの訓練用類似度との関係を学習した学習済モデルに、前記参照リズムパターンと前記解析リズムパターンとを含む入力データを入力することで、前記類似度を出力する。

【0137】

態様７の具体例（態様８）において、前記選択部は、相異なる音楽ジャンルに対応する複数の学習済モデルのうち特定の音楽ジャンルに対応する前記学習済モデルに、前記入力データを入力することで、前記類似度を出力する。

【0138】

態様８の具体例（態様９）において、前記複数の学習済モデルのうち一の音楽ジャンルに対応する学習済モデルは、当該音楽ジャンルに対応する複数の訓練データを利用した機械学習により確立される。

【0139】

態様７から態様９の何れかの具体例（態様１０）において、前記学習済モデルは、畳込ニューラルネットワークにより構成され、前記入力データから特徴データを生成する第１モデルと、再帰型ニューラルネットワークにより構成され、前記特徴データから類似度を生成する第２モデルとを含む。

【0140】

態様２から態様５の何れかの具体例（態様１１）において、前記参照リズムパターンは、相異なる音色に対応する複数の係数列を含み、前記解析リズムパターンは、相異なる音色に対応する複数の係数列を含み、前記選択部は、前記参照リズムパターンにおける前記複数の係数列の各々について当該係数列の複数の要素を平均または総和することで圧縮参照リズムパターンを生成し、前記解析リズムパターンにおける前記複数の係数列の各々について当該係数列の複数の要素を平均または総和することで圧縮解析リズムパターンを生成し、前記圧縮参照リズムパターンと前記圧縮解析リズムパターンとの類似度を算定し、前記複数の参照信号から、前記類似度に基づいて、前記１以上の参照信号を選択する。

【0141】

態様６から態様１１の何れかの具体例（態様１２）において、前記１以上の参照信号は、２以上の参照信号であり、前記２以上の参照信号に関する情報を前記類似度に応じた順番で表示装置に表示させる提示部をさらに具備する。以上の態様においては、利用者は、複数の参照信号のうち、参照リズムパターンが目標音色の解析リズムパターンに類似する順序を把握することができる。これにより、利用者は、例えば、当該順序に応じて楽曲作成または演奏練習をすることができる。

【0142】

態様２から態様１２の何れかの具体例（態様１３）において、前記第２音響信号を時間軸上で区分した複数の単位期間の各々について、前記解析部は、前記解析リズムパターンを算定し、前記選択部は、前記１以上の参照信号を選択する。

【0143】

態様１から態様１１の何れかの具体例（態様１４）において、前記音響解析部が選択した前記１以上の参照信号を利用者に提示する提示部をさらに具備する。以上の態様によれば、利用者は、音響解析部により選択された１以上の参照信号を視覚的に把握することができる。

【0144】

本開示のひとつの態様（態様１５）に係る電子楽器は、目標音色の指示を受付ける指示受付部と、相異なる音色に対応する複数の音響成分を含む第１音響信号を取得する取得部と、相異なる演奏音を表す複数の参照信号のうち１以上の参照信号を選択する音響解析部と、利用者による演奏を受付ける演奏装置と、前記選択された１以上の参照信号が表す演奏音と、前記演奏装置が受付けた演奏に対する楽音とを再生システムに再生させる再生制御部と、を具備し、前記１以上の参照信号における信号強度の時間的な変動を表す参照リズムパターンは、前記複数の音響成分のうち前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンに類似する。

【0145】

本開示のひとつの態様（態様１６）に係る音響解析方法は、目標音色の指示を受付け、相異なる音色に対応する複数の音響成分を含む第１音響信号を取得し、相異なる演奏音を表す複数の参照信号のうち１以上の参照信号を選択し、前記１以上の参照信号における信号強度の時間的な変動を表す参照リズムパターンは、前記複数の音響成分のうち前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンに類似する。

【0146】

本開示のひとつの態様（態様１７）に係るプログラムは、目標音色の指示を受付ける指示受付部と、相異なる音色に対応する複数の音響成分を含む第１音響信号を取得する取得部と、相異なる演奏音を表す複数の参照信号のうち１以上の参照信号を選択する音響解析部としてコンピュータを機能させ、前記１以上の参照信号における信号強度の時間的な変動を表す参照リズムパターンは、前記複数の音響成分のうち前記目標音色に対応する音響成分の強度の時間的な変動を表す解析リズムパターンに類似する。

【符号の説明】

【0147】

１０…電子楽器、１１,８１…制御装置、１２,８２…記憶装置、１３…通信装置、１４,８４…操作装置、１５…演奏装置、１６…音源装置、１７…放音装置、１８…再生システム、１９,８３…表示装置、４０…情報処理システム、９０…通信網、１００…演奏システム、１１１…取得部、１１２…指示受付部、１１３…音響解析部、１１４…提示部、１１５…再生制御部、１１３１…分離部、１１３２…解析部、１１３３…選択部、Ｄ…指示データ、Ｄt…訓練用の指示データ、Ｍ…学習済モデル、Ｏ…観測行列、類似度…Ｑn（Ｑ1～ＱN）、Ｒn（Ｒ1～ＲN）…参照信号、Ｓ1,Ｓ2…音響信号、Ｓ1t,Ｓ2t…訓練用の音響信号、Ｔ…単位期間、Ｙ…解析リズムパターン、Ｚn（Ｚ1～ＺN）…参照リズムパターン。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】