特許 7544154 情報処理システム、電子楽器、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】情報処理システム、電子楽器、情報処理方法およびプログラム

(51)【国際特許分類】

   G10H 1/24 20060101AFI20240827BHJP

   G06N 20/00 20190101ALI20240827BHJP

   G10G 3/04 20060101ALI20240827BHJP

【ＦＩ】

G10H1/24

G06N20/00

G10G3/04

【請求項の数】 19

(21)【出願番号】P 2022575523

(86)(22)【出願日】2021-12-28

(86)【国際出願番号】 JP2021048897

(87)【国際公開番号】W WO2022153875

(87)【国際公開日】2022-07-21

【審査請求日】2023-07-03

(31)【優先権主張番号】P 2021003525

(32)【優先日】2021-01-13

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110003177

【氏名又は名称】弁理士法人旺知国際特許事務所

(72)【発明者】

【氏名】傍嶋 將文

(72)【発明者】

【氏名】篠井 暖

【審査官】大野 弘

(56)【参考文献】

【文献】特許第５２８３２８９（ＪＰ，Ｂ１）

【文献】特開２０１８－１０９６９０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／２４

Ｇ１０Ｇ ３／０４

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

目的楽曲の音響を表す音響データを取得する第１取得部と、
参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部と
を具備する情報処理システム。

【請求項2】

前記目的楽曲に対応する伴奏パターンを示す伴奏データを取得する第２取得部
をさらに具備し、
前記学習済モデルは、前記参照楽曲の音響および当該参照楽曲の伴奏パターンと、当該参照楽曲に使用される音色との関係を学習したモデルであり、
前記入力データは、前記取得した音響データと前記取得した伴奏データとを含む
請求項１の情報処理システム。

【請求項3】

前記学習済モデルは、
前記目的楽曲の音響に関する特徴を表す第１データを前記音響データから生成する第１モデルと、
前記伴奏パターンの特徴を表す第２データを前記伴奏データから生成する第２モデルと、
前記第１データと前記第２データとを含む中間データから前記音色データを生成する第３モデルとを含む
請求項２の情報処理システム。

【請求項4】

複数の楽曲の各々について当該楽曲に適応する音色が登録された参照データに、前記目的楽曲に適応する音色が登録されている場合に、当該音色を示す音色データを前記参照データから特定する音色特定部
をさらに具備し、
前記生成部は、前記目的楽曲について音色が前記参照データに登録されていない場合に、前記学習済モデルを利用して前記音色データを生成する
請求項１から請求項３の何れかの情報処理システム。

【請求項5】

利用者が演奏した楽曲に対応する複数の候補楽曲を、前記参照データに登録された前記複数の楽曲から推定する楽曲推定部
をさらに具備し、
前記音色特定部は、前記利用者が前記複数の候補楽曲の何れかを前記目的楽曲として選択した場合に、当該目的楽曲に対応する前記音色データを前記参照データから特定する
請求項４の情報処理システム。

【請求項6】

前記生成部は、前記利用者が前記複数の候補楽曲以外の楽曲を前記目的楽曲として選択した場合に、前記学習済モデルを利用して前記音色データを生成する
請求項５の情報処理システム。

【請求項7】

前記参照データには、前記複数の楽曲の各々について、当該楽曲の内容を表す比較データが登録され、
前記楽曲推定部は、前記複数の楽曲の各々について登録された前記比較データと、前記利用者による演奏を表すデータとを比較することで、前記複数の候補楽曲を推定する
請求項５または請求項６の情報処理システム。

【請求項8】

前記音響データは、前記目的楽曲の音響に関する周波数特性の時系列を表すデータである
請求項１から請求項７の何れかの情報処理システム。

【請求項9】

利用者による演奏を受付ける演奏受付部と、
目的楽曲の音響を表す音響データを取得する第１取得部と、
参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部と、
前記演奏受付部が受付ける演奏に応じて、前記音色データに応じた音色の音響を再生する再生部と
を具備する電子楽器。

【請求項10】

前記演奏受付部は、相異なる音高に対応する複数の鍵が配列された鍵盤を含み、
前記再生部は、前記複数の鍵のうち前記利用者が演奏した鍵に対応する音高と、前記音色データに応じた音色とを有する音響を再生する
請求項９の電子楽器。

【請求項11】

目的楽曲の音響を表す音響データを取得し、
参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する
コンピュータシステムにより実現される情報処理方法。

【請求項12】

さらに、前記目的楽曲に対応する伴奏パターンを示す伴奏データを取得し、
前記学習済モデルは、前記参照楽曲の音響および当該参照楽曲の伴奏パターンと、当該参照楽曲に使用される音色との関係を学習したモデルであり、
前記入力データは、前記音響データと前記伴奏データとを含む
請求項１１の情報処理方法。

【請求項13】

前記学習済モデルは、
前記目的楽曲の音響に関する特徴を表す第１データを前記音響データから生成する第１モデルと、
前記伴奏パターンの特徴を表す第２データを前記伴奏データから生成する第２モデルと、
前記第１データと前記第２データとを含む中間データから前記音色データを生成する第３モデルとを含む
請求項１２の情報処理方法。

【請求項14】

さらに、
複数の楽曲の各々について当該楽曲に適応する音色が登録された参照データに、前記目的楽曲に適応する音色が登録されている場合に、当該音色を示す音色データを前記参照データから特定し、
前記目的楽曲について音色が前記参照データに登録されていない場合に、前記学習済モデルを利用して前記音色データを生成する
請求項１１から請求項１３の何れかの情報処理方法。

【請求項15】

さらに、
利用者が演奏した楽曲に対応する複数の候補楽曲を、前記参照データに登録された前記複数の楽曲から推定し、
前記音色データの特定においては、前記利用者が前記複数の候補楽曲の何れかを前記目的楽曲として選択した場合に、当該目的楽曲に対応する前記音色データを前記参照データから特定する
請求項１４の情報処理方法。

【請求項16】

前記利用者が前記複数の候補楽曲以外の楽曲を前記目的楽曲として選択した場合に、前記学習済モデルを利用して前記音色データを生成する
請求項１５の情報処理方法。

【請求項17】

前記参照データには、前記複数の楽曲の各々について、当該楽曲の内容を表す比較データが登録され、
前記複数の候補楽曲の推定においては、前記複数の楽曲の各々について登録された前記比較データと、前記利用者による演奏を表すデータとを比較することで、前記複数の候補楽曲を推定する
請求項１５または請求項１６の情報処理方法。

【請求項18】

前記音響データは、前記目的楽曲の音響に関する周波数特性の時系列を表すデータである
請求項１１から請求項１７の何れかの情報処理方法。

【請求項19】

目的楽曲の音響を表す音響データを取得する第１取得部、および、
参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部
としてコンピュータシステムを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、楽曲に関する情報を処理する技術に関する。

【背景技術】

【0002】

利用者が演奏した楽曲を複数種の音色の何れかで再生可能な電子楽器が従来から提案されている。例えば特許文献１には、利用者が演奏する楽曲に好適な音色を設定できる技術が開示されている。楽曲に好適な音色は、楽曲毎に事前に登録される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－１４０３０８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、特許文献１の技術においては、楽曲毎に音色を事前に登録する必要がある。したがって、例えば利用者が作成した楽曲等、未登録の新規な楽曲について好適な音色を設定することはできない。以上の事情を考慮して、本開示のひとつの態様は、新規な楽曲について音色を特定することをひとつの目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る情報処理システムは、目的楽曲の音響を表す音響データを取得する第１取得部と、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部とを具備する。

【0006】

本開示のひとつの態様に係る電子楽器は、利用者による演奏を受付ける演奏受付部と、目的楽曲の音響を表す音響データを取得する第１取得部と、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部と、前記演奏受付部が受付ける演奏に応じて、前記音色データに応じた音色の音響を再生する再生部とを具備する。

【0007】

本開示のひとつの態様に係る情報処理方法は、目的楽曲の音響を表す音響データを取得し、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する。

【0008】

本開示のひとつの態様に係るプログラムは、目的楽曲の音響を表す音響データを取得する第１取得部、および、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部、としてコンピュータシステムを機能させる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態における演奏システムの構成を例示するブロック図である。

【図2】電子楽器の構成を例示するブロック図である。

【図3】情報処理システムの構成を例示するブロック図である。

【図4】情報処理システムの機能的な構成を例示するブロック図である。

【図5】学習済モデルの構成を例示するブロック図である。

【図6】解析処理の具体的な手順を例示するフローチャートである。

【図7】演奏処理の具体的な手順を例示するフローチャートである。

【図8】機械学習システムの構成を例示するブロック図である。

【図9】機械学習システムの機能的な構成を例示するブロック図である。

【図10】学習処理の具体的な手順を例示するフローチャートである。

【図11】第２実施形態における情報処理システムの機能的な構成を例示するブロック図である。

【図12】参照データの模式図である。

【図13】推定処理の具体的な手順を例示するフローチャートである。

【図14】選択画面の模式図である。

【図15】制御処理の具体的な手順を例示するフローチャートである。

【図16】第３実施形態における電子楽器の機能的な構成を例示するブロック図である。

【図17】第４実施形態における演奏システムの構成を例示するブロック図である。

【図18】第５実施形態における演奏システムの構成を例示するブロック図である。

【発明を実施するための形態】

【0010】

Ａ：第１実施形態
図１は、第１実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、利用者Ｕが所望の楽曲（以下「目的楽曲」という）を演奏するためのコンピュータシステムであり、信号供給装置１０と電子楽器２０と情報処理システム３０と機械学習システム４０とを具備する。信号供給装置１０は電子楽器２０に有線または無線で接続される。電子楽器２０と情報処理システム３０とは、例えばインターネット等の通信網２００を介して相互に通信する。

【0011】

信号供給装置１０は、音響信号Ｖを電子楽器２０に供給する。音響信号Ｖは、目的楽曲の演奏音の波形を表すサンプル系列である。例えばＣＤ等の記録媒体に記録された音響信号Ｖを電子楽器２０に供給する再生装置、または、配信装置（図示略）から通信網２００を介して受信した音響信号Ｖを電子楽器２０に供給する通信機器が、信号供給装置１０として例示される。例えばスマートフォンまたはタブレット端末等の情報端末も信号供給装置１０として利用される。また、周囲の音を収音することで音響信号Ｖを生成する収音装置も、信号供給装置１０として利用される。収音装置は、例えば、利用者Ｕによる演奏で楽器が発音する楽音、または、利用者Ｕが歌唱により発音する音声を収音する。なお、信号供給装置１０は、電子楽器２０に搭載されてもよい。

【0012】

電子楽器２０は、利用者Ｕが目的楽曲を演奏するために使用する演奏機器である。信号供給装置１０から供給される音響信号Ｖは、電子楽器２０から情報処理システム３０に送信される。情報処理システム３０は、音響信号Ｖを解析することで伴奏データＣと音色データＺとを生成する。伴奏データＣは、目的楽曲に好適な伴奏パターンＰを示すデータである。例えば、相異なる複数の伴奏パターンＰの何れかを識別するための識別情報が、伴奏データＣとして生成される。各伴奏パターンＰは、伴奏音を表す信号である。例えばドラム等の打楽器の楽音で構成されるリズムパターンが、伴奏パターンＰの一例である。

【0013】

音色データＺは、目的楽曲に好適な音色を示すデータである。例えば、相異なる複数種の音色の何れかを識別するための識別情報が、音色データＺとして生成される。例えば、相異なる種類の楽器（例えばピアノ，バイオリン，ギター等）に対応する複数種の音色の何れかが音色データＺにより指示される。また、１種類の楽器に対する相異なる奏法で発音される複数種の音色の何れかが、音色データＺにより指示されてもよい。例えば、弦楽器については、撥弦奏法および擦弦奏法等の相異なる奏法に対応する複数種の音色の何れかが、音色データＺにより指示される。

【0014】

情報処理システム３０が生成した伴奏データＣおよび音色データＺは、音響信号Ｖの送信元の電子楽器２０に送信される。電子楽器２０は、伴奏データＣが示す伴奏パターンＰの伴奏音を再生する処理と、音色データＺが示す音色の演奏音を利用者Ｕによる演奏に応じて再生する処理とを並行に実行する。以上の説明から理解される通り、利用者Ｕは、所望の目的楽曲に好適な伴奏パターンＰの再生に並行して、目的楽曲に好適な音色により当該目的楽曲を演奏できる。

【0015】

図２は、電子楽器２０の構成を例示するブロック図である。電子楽器２０は、制御装置２１と記憶装置２２と通信装置２３と演奏装置２４と操作装置２５と表示装置２６と音源装置２７と放音装置２８とを具備するコンピュータシステムで実現される。なお、電子楽器２０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0016】

制御装置２１は、電子楽器２０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置２１は、ＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより構成される。

【0017】

記憶装置２２は、制御装置２１が実行するプログラムと制御装置２１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置２２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、電子楽器２０に対して着脱される可搬型の記録媒体、または例えば通信網２００を介して制御装置２１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置２２として利用してもよい。なお、音響信号Ｖは、記憶装置２２に記憶されてもよい。

【0018】

第１実施形態の記憶装置２２は、相異なる複数の伴奏パターンＰを記憶する。例えば、拍子（例えば４分の４拍子，４分の３拍子），楽器の種類，リズム等の音楽的な要素は、伴奏パターンＰ毎に相違する。記憶装置２２に記憶された複数の伴奏パターンＰのうち、情報処理システム３０から受信した伴奏データＣが示す伴奏パターンＰが、選択的に再生される。すなわち、目的楽曲に好適な伴奏パターンＰが再生される。

【0019】

通信装置２３は、通信網２００を介して情報処理システム３０と通信する。具体的には、通信装置２３は、目的楽曲の音響信号Ｖを情報処理システム３０に送信する。また、通信装置２３は、情報処理システム３０から送信される伴奏データＣおよび音色データＺを受信する。なお、電子楽器２０と情報処理システム３０との間の通信回線における無線区間の有無は不問である。また、電子楽器２０とは別体の通信装置２３を有線または無線により電子楽器２０に接続してもよい。電子楽器２０と別体の通信装置２３としては、例えばスマートフォンまたはタブレット端末等の情報端末が利用される。

【0020】

演奏装置２４は、利用者Ｕによる演奏を受付ける入力機器である。例えば、演奏装置２４は、相異なる音高に対応する複数の鍵が配列された鍵盤を具備する。利用者Ｕは、演奏装置２４の所望の鍵を順次に操作することで目的楽曲を演奏する。なお、演奏装置２４の具体的な形態は任意であり、鍵盤には限定されない。演奏装置２４は、「演奏受付部」の一例である。

【0021】

操作装置２５は、利用者Ｕからの指示を受付ける入力機器である。操作装置２５は、例えば、利用者Ｕが操作する複数の操作子、または、利用者Ｕによる接触を検知するタッチパネルである。表示装置２６は、制御装置２１による制御のもとで画像を表示する。例えば液晶表示パネルまたは有機ＥＬ（Electroluminescence）パネル等の各種の表示パネルが表示装置２６として利用される。

【0022】

音源装置２７は、演奏装置２４に対する演奏に応じた演奏信号Ａを生成する。演奏信号Ａは、演奏装置２４に対する演奏で指示された演奏音の波形を表す音響信号である。具体的には、音源装置２７は、演奏装置２４の複数の鍵のうち利用者Ｕが押鍵した鍵に対応する音高の楽音を表す演奏信号Ａを生成する。演奏信号Ａが表す演奏音の音色は、複数種の音色の何れかに可変に設定される。例えば、音源装置２７は、情報処理システム３０から受信した音色データＺが示す音色の演奏信号Ａを生成する。

【0023】

また、音源装置２７は、演奏装置２４に対する演奏に応じた楽音と、伴奏パターンＰが表す伴奏音との混合音の演奏信号Ａを生成可能である。なお、記憶装置２２に記憶されたプログラムを実行することで、制御装置２１が音源装置２７の機能を実現してもよい。すなわち、演奏信号Ａの生成に専用される音源装置２７は省略される。また、音源装置２７が生成する演奏信号Ａを音響信号Ｖとして情報処理システム３０に送信してもよい。

【0024】

放音装置２８は、演奏信号Ａが表す演奏音を放音する。例えばスピーカまたはヘッドホンが放音装置２８として利用される。以上の説明から理解される通り、電子楽器２０が情報処理システム３０から伴奏データＣと音色データＺとを受信した状態では、利用者Ｕは、伴奏データＣが示す伴奏パターンＰの再生に並行して、音色データＺが示す音色により目的楽曲を演奏できる。以上の説明から理解される通り、第１実施形態における音源装置２７および放音装置２８は、音色データＺが示す音色の音響を利用者Ｕによる演奏に応じて再生する再生部２９として機能する。

【0025】

図３は、情報処理システム３０の構成を例示するブロック図である。情報処理システム３０は、制御装置３１と記憶装置３２と通信装置３３とを具備するコンピュータシステムで実現される。なお、情報処理システム３０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0026】

制御装置３１は、情報処理システム３０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置３１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。

【0027】

記憶装置３２は、制御装置３１が実行するプログラムと制御装置３１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置３２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、情報処理システム３０に対して着脱される可搬型の記録媒体、または例えば通信網２００を介して制御装置３１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置３２として利用してもよい。

【0028】

通信装置３３は、通信網２００を介して電子楽器２０と通信する。具体的には、通信装置３３は、電子楽器２０から送信される音響信号Ｖを受信する。また、通信装置３３は、伴奏データＣおよび音色データＺを電子楽器２０に送信する。

【0029】

図４は、情報処理システム３０の機能的な構成を例示するブロック図である。情報処理システム３０の制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで解析処理部５０として機能する。解析処理部５０は、音響信号Ｖの解析により伴奏データＣおよび音色データＺを生成する。解析処理部５０は、第１取得部５１と第２取得部５２と生成部５３とを具備する。

【0030】

第１取得部５１は、目的楽曲の演奏音を表す音響データＦを取得する。具体的には、第１取得部５１は、音響信号Ｖを解析することで音響データＦを生成する。例えば、音響信号Ｖの一部または全部から音響データＦが生成される。音響データＦは、目的楽曲の演奏音に関する時間的な変化を表す任意の形式のデータである。具体的には、音響データＦは、例えば、演奏音の周波数特性の時系列を表すデータである。例えばＭＦＣＣ（Mel-Frequency Cepstrum Coefficient），ＭＳＬＳ（Mel-Scale Log Spectrum）、または定Ｑ変換（ＣＱＴ：Constant-Q Transform）等の周波数特性の時系列を表すデータが、音響データＦとして例示される。音響データＦは、音響信号Ｖが表す演奏音の音色に関する特徴（音色特徴量）を表すデータとも表現される。音響データＦの生成には、例えば短時間フーリエ変換等の公知の周波数解析が任意に採用される。なお、音響信号Ｖを構成するサンプル系列を音響データＦとして利用してもよい。

【0031】

第２取得部５２は、目的楽曲に好適な伴奏パターンＰを示す伴奏データＣを取得する。具体的には、第２取得部５２は、音響信号Ｖを解析することで伴奏データＣを生成する。音響信号Ｖの一部または全部から伴奏データＣが生成される。具体的には、音響信号Ｖの一部を利用して、第１取得部５１による音響データＦの生成と第２取得部５２による伴奏データＣの生成とが実行される。例えば、第２取得部５２は、まず、音響信号Ｖの解析により目的楽曲の音楽ジャンルを推定する。音楽ジャンルの推定には、例えば特開２０１５－７９１１０号等の公知の技術が任意に採用される。そして、第２取得部５２は、相異なる音楽ジャンルに対応する複数の伴奏データＣのうち、目的楽曲について推定された音楽ジャンルに対応する伴奏データＣを特定する。なお、第２取得部５２は、音響データＦの解析により伴奏データＣを特定してもよい。第２取得部５２による取得の候補となる複数の伴奏データＣは、例えば記憶装置３２に記憶される。

【0032】

生成部５３は、第１取得部５１が取得した音響データＦと第２取得部５２が取得した伴奏データＣとを含む入力データＸに応じて音色データＺを生成する。具体的には、生成部５３は、音響信号Ｖが表す演奏音と伴奏データＣが指定する伴奏パターンＰとの組合せに対して好適な音色を示す音色データＺを生成する。生成部５３による音色データＺの生成には、学習済モデル６０が利用される。音響信号Ｖが表す演奏音の音色と音色データＺが示す音色との異同は不問である。

【0033】

楽曲の演奏音に関する時間的な変化（音響データＦ）と当該楽曲の演奏に多用される音色との間には相関がある。また、楽曲に好適な伴奏パターンＰと当該楽曲の演奏に多用される音色との間にも相関がある。学習済モデル６０は、以上の傾向を学習した統計的推定モデルである。すなわち、学習済モデル６０は、複数の既知の楽曲（以下「参照楽曲」という）の各々における演奏音および伴奏パターンＰの組合せと、当該参照楽曲に多用される音色との関係を機械学習により学習した統計的推定モデルである。具体的には、学習済モデルは、参照楽曲の入力データＸ（音響データＦと伴奏データＣとの組合せ）と当該参照楽曲の音色データＺとの関係を学習した統計的推定モデルである。生成部５３は、音響データＦと伴奏データＣとを含む入力データＸを学習済モデル６０に入力することで、学習済モデル６０から音色データＺを出力する。参照楽曲に多用される音色とは、参照楽曲に適応した音色（参照楽曲の演奏に好適な音色）とも換言される。

【0034】

学習済モデル６０は、例えば深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）で構成される。例えば、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、または畳込ニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等の任意の形式のニューラルネットワークが学習済モデル６０として利用される。複数種の深層ニューラルネットワークの組合せで学習済モデル６０が構成されてもよい。また、長短期記憶（ＬＳＴＭ：Long Short-Term Memory）等の付加的な要素が学習済モデル６０に搭載されてもよい。

【0035】

学習済モデル６０は、入力データＸから音色データＺを生成する演算を制御装置３１に実行させるプログラムと、当該演算に適用される複数の変数との組合せで実現される。学習済モデル６０に関する複数の変数は、例えば加重値およびバイアスを含む。学習済モデル６０を実現するプログラムおよび複数の変数は、記憶装置３２に記憶される。学習済モデル６０を規定する複数の変数の各々の数値は、機械学習により事前に設定される。

【0036】

図５は、学習済モデル６０の具体的な構成を例示するブロック図である。学習済モデル６０は、第１モデル６１と第２モデル６２と第３モデル６３とを含む。入力データＸの音響データＦは第１モデル６１に入力され、当該入力データＸの伴奏データＣは第２モデル６２に入力される。

【0037】

第１モデル６１は、目的楽曲の演奏音の特徴を表す第１データｙ1を音響データＦから生成する。第１モデル６１は、音響データＦと第１データｙ1との関係を学習した学習済モデル６０である。すなわち、第１モデル６１は、音響データＦの特徴を抽出するモデルである。第１データｙ1は、目的楽曲に好適な音色データＺを学習済モデル６０が入力データＸから生成するために寄与する音響データＦの特徴を表すデータである。

【0038】

例えば、第１モデル６１が畳込ニューラルネットワークで構成された形態では、音響データＦが表す周波数特性の時系列（すなわち、時間－周波数領域に分布する数値群）が２次元画像として第１モデル６１に入力される。第１モデル６１が再帰型ニューラルネットワークで構成された形態では、音響データＦにおいて時間軸上の各時点に対応する部分が第１モデル６１に順次に入力される。また、第１モデル６１が畳込ニューラルネットワークと再帰型ニューラルネットワークとの組合せで構成された形態では、音響データＦにおいて時間軸上の各時点に対応する部分が畳込ニューラルネットワークに順次に入力され、当該畳込ニューラルネットワークの時刻毎の出力データが、後段の再帰型ニューラルネットワークに順次に入力される。

【0039】

第２モデル６２は、伴奏パターンＰの特徴を表す第２データｙ2を伴奏データＣから生成する。第２モデル６２は、伴奏データＣと第２データｙ2との関係を学習した学習済モデル６０である。すなわち、第２モデル６２は、伴奏データＣが示す伴奏パターンＰの識別情報を第２データｙ2に変換するモデルであり、例えば畳込ニューラルネットワークで構成される。

【0040】

第２データｙ2は、例えば多次元の仮想空間内に設定される埋込ベクトル（embedding vector）である。仮想空間は、伴奏パターンＰの音響的な特徴に応じて各伴奏パターンＰの位置（すなわち第２データｙ2が指定する座標）が決定される連続空間である。複数の伴奏パターンＰの間で音響的な特徴が類似するほど、各伴奏パターンＰの第２データｙ2が仮想空間内に指定する座標間の距離は小さい数値となる。すなわち、仮想空間は、複数の伴奏パターンＰの相互間の関係を表す空間と表現される。

【0041】

第１モデル６１が生成する第１データｙ1と第２モデル６２が生成する第２データｙ2とを含む中間データＹが、第３モデル６３に入力される。第３モデル６３は、中間データＹと音色データＺとの関係を学習した学習済モデル６０であり、中間データＹから音色データＺを生成する。第３モデル６３は、例えば再帰型ニューラルネットワークまたは畳込ニューラルネットワークで構成される。

【0042】

図６は、制御装置３１が音色データＺを生成する処理（以下「解析処理」という）Ｓaの具体的な手順を例示するフローチャートである。例えば、電子楽器２０から送信された音響信号Ｖの受信を契機として解析処理Ｓaが開始される。

【0043】

解析処理Ｓaが開始されると、第１取得部５１は、目的楽曲の音響信号Ｖを解析することで音響データＦを生成する（Ｓa1）。第２取得部５２は、音響信号Ｖの解析により伴奏データＣを生成する（Ｓa2）。第２取得部５２は、伴奏データＣを通信装置３３から電子楽器２０に送信する（Ｓa3）。なお、第１取得部５１による音響データＦの生成（Ｓa1）と第２取得部５２による伴奏データＣの生成（Ｓa2）および送信（Ｓa3）との順序は逆転されてもよい。

【0044】

生成部５３は、音響データＦと伴奏データＣとを含む入力データＸを学習済モデル６０に入力することで、音色データＺを学習済モデル６０から出力する（Ｓa4）。生成部５３は、音色データＺを通信装置３３から電子楽器２０に送信する（Ｓa5）。なお、伴奏データＣを音色データＺとともに電子楽器２０に送信してもよい。

【0045】

図７は、伴奏データＣおよび音色データＺを受信した電子楽器２０の制御装置２１が実行する処理（以下「演奏処理」という）Ｓbの具体的な手順を例示するフローチャートである。伴奏データＣおよび音色データＺの受信を契機として演奏処理Ｓbが開始される。

【0046】

演奏処理Ｓbが開始されると、制御装置２１は、音色データＺが示す音色を音源装置２７に指示する（Ｓb1）。したがって、音源装置２７は、演奏装置２４に対する利用者Ｕの操作に応じて、音色データＺが示す音色の楽音を表す演奏信号Ａを生成可能な状態となる。

【0047】

利用者Ｕは、操作装置２５を操作することで伴奏パターンＰの再生を指示することが可能である。制御装置２１は、伴奏パターンＰの再生が利用者Ｕから指示されるまで待機する（Ｓb2：NO）。伴奏パターンＰの再生が指示された場合（Ｓb2：YES）、制御装置２１は、情報処理システム３０から受信した伴奏データＣが示す伴奏パターンＰの再生を、音源装置２７に指示する（Ｓb3）。

【0048】

制御装置２１は、利用者Ｕが演奏装置２４を操作したか否かを判定する（Ｓb4）。演奏装置２４が操作された場合（Ｓb4：YES）、制御装置２１は、利用者Ｕが操作した鍵に対応する音高の発音を音源装置２７に指示する（Ｓb5）。音源装置２７は、音色データＺが示す音色の演奏音を表す演奏信号Ａを生成する。したがって、利用者Ｕによる演奏音と伴奏パターンＰの伴奏音とが放音装置２８から再生される。演奏装置２４が操作されない場合（Ｓb4：NO）、演奏音の再生（Ｓb5）は実行されない。

【0049】

制御装置２１は、利用者Ｕが演奏の終了を指示するまで、音源装置２７に対する演奏音の再生の指示（Ｓb4，Ｓb5）を反復する（Ｓb6：NO）。演奏の終了が利用者Ｕから指示された場合（Ｓb6：YES）、制御装置２１は演奏処理Ｓbを終了する。

【0050】

以上に例示した第１実施形態によれば、目的楽曲の音響を表す音響データＦを含む入力データＸを学習済モデル６０に入力することで、目的楽曲に適応した音色を示す音色データＺが生成される。したがって、例えば新規な楽曲に対して好適な音色を特定できる。第１実施形態においては特に、目的楽曲の演奏音を表す音響データＦと、目的楽曲に対応する伴奏パターンＰを示す伴奏データＣとを含む入力データＸが学習済モデル６０に入力される。したがって、目的楽曲の音響と当該目的楽曲の伴奏パターンＰとの組合せに対して好適な音色を特定できる。

【0051】

また、第１実施形態によれば、目的楽曲に適応する伴奏パターンＰまたは音色を選択するための音楽的な知識が利用者Ｕにない場合でも、適切な伴奏パターンＰおよび音色を選択できるという利点がある。また、適切な伴奏パターンＰおよび音色を利用者Ｕが選択するための手間を軽減できるという利点もある。

【0052】

図１の機械学習システム４０は、以上に例示した学習済モデル６０を生成する。図８は、機械学習システム４０の構成を例示するブロック図である。機械学習システム４０は、制御装置４１と記憶装置４２と通信装置４３とを具備する。なお、機械学習システム４０は、単体の装置として実現されるほか、相互に別体で構成された複数の装置としても実現される。

【0053】

制御装置４１は、機械学習システム４０の各要素を制御する単数または複数のプロセッサで構成される。制御装置４１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。通信装置４３は、情報処理システム３０と通信する。

【0054】

記憶装置４２は、制御装置４１が実行するプログラムと制御装置４１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置４２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。また、機械学習システム４０に対して着脱される可搬型の記録媒体、または通信網２００を介して制御装置４１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置４２として利用してもよい。

【0055】

図９は、機械学習システム４０の機能的な構成を例示するブロック図である。制御装置４１は、記憶装置４２に記憶されたプログラムを実行することで、学習済モデル６０を機械学習により確立するための複数の要素（訓練データ取得部７１および学習処理部７２）として機能する。

【0056】

学習処理部７２は、複数の訓練データＴを利用した教師あり機械学習（後述の学習処理Ｓc）により学習済モデル６０を確立する。訓練データ取得部７１は、複数の訓練データＴを取得する。具体的には、訓練データ取得部７１は、記憶装置４２に保存された複数の訓練データＴを記憶装置４２から取得する。

【0057】

複数の訓練データＴの各々は、訓練用の入力データＸtと訓練用の音色データＺtとの組合せで構成される。入力データＸtは、既知の参照楽曲の音響データＦtと、当該参照楽曲に好適な伴奏パターンＰの伴奏データＣtとを含む。音響データＦtは、参照楽曲の演奏を収録した結果から生成される。伴奏データＣtが示す伴奏パターンＰは、例えば、訓練データＴの作成者が、参照楽曲の音楽的な特徴（例えば曲調または拍子等）を考慮して選定する。

【0058】

各訓練データＴの音色データＺtは、当該訓練データＴに対応する参照楽曲に好適な音色を示すデータである。すなわち、各訓練データＴの音色データＺtは、当該訓練データＴの入力データＸtに対する正解値（ラベル）に相当する。音色データＺtは、例えば、訓練データＴの作成者が、参照楽曲および伴奏パターンＰの組合せの音楽的な特徴を考慮して選定する。

【0059】

図１０は、制御装置４１が学習済モデル６０を確立する学習処理Ｓcの具体的な手順を例示するフローチャートである。学習処理Ｓcは、機械学習により学習済モデル６０を生成する方法（学習済モデル生成方法）とも表現される。

【0060】

学習処理Ｓcが開始されると、訓練データ取得部７１は、記憶装置４２に記憶された複数の訓練データＴの何れか（以下「選択訓練データＴ」という）を取得する（Ｓc1）。学習処理部７２は、図９に例示される通り、選択訓練データＴの入力データＸtを初期的または暫定的なモデル（以下「暫定モデル６５」という）に入力し（Ｓc2）、当該入力に対して暫定モデル６５が出力する音色データＺを取得する（Ｓc3）。

【0061】

学習処理部７２は、暫定モデル６５が生成する音色データＺと選択訓練データＴの音色データＺtとの誤差を表す損失関数を算定する（Ｓc4）。学習処理部７２は、損失関数が低減（理想的には最小化）されるように、暫定モデル６５の複数の変数を更新する（Ｓc5）。損失関数に応じた複数の変数の更新には、例えば誤差逆伝播法が利用される。

【0062】

学習処理部７２は、所定の終了条件が成立したか否かを判定する（Ｓc6）。終了条件は、例えば、損失関数が所定の閾値を下回ること、または、損失関数の変化量が所定の閾値を下回ることである。終了条件が成立しない場合（Ｓc6：NO）、訓練データ取得部７１は、未選択の訓練データＴを新たな選択訓練データＴとして選択する（Ｓc1）。すなわち、終了条件の成立（Ｓc6：YES）まで、学習済モデル６０の複数の変数を更新する処理（Ｓc2－Ｓc5）が反復される。終了条件が成立した場合（Ｓc6：YES）、学習処理部７２は、暫定モデル６５を規定する複数の変数の更新（Ｓc2－Ｓc5）を終了する。終了条件が成立した時点における暫定モデル６５が、学習済モデル６０として確定される。すなわち、学習済モデル６０の複数の変数は、学習処理Ｓcの終了の時点における数値に確定される。

【0063】

以上の説明から理解される通り、学習済モデル６０は、複数の訓練データＴにおける入力データＸtと音色データＺtとの間に潜在する関係のもとで、未知の入力データＸに対して統計的に妥当な音色データＺを出力する。すなわち、学習済モデル６０は、前述の通り、参照楽曲の演奏音および伴奏パターンＰと、当該参照楽曲に多用される音色との関係を、機械学習により学習したモデルである。学習済モデル６０は、参照楽曲の入力データＸtと当該参照楽曲の音色データＺtとの関係を学習したモデルとも表現される。

【0064】

学習処理部７２は、以上の手順で確立された学習済モデル６０を通信装置４３から情報処理システム３０に送信する（Ｓc7）。具体的には、学習処理部７２は、学習済モデル６０の複数の変数を通信装置４３から情報処理システム３０に送信する。情報処理システム３０の制御装置３１は、機械学習システム４０から受信した学習済モデル６０を記憶装置３２に保存する。具体的には、学習済モデル６０を規定する複数の変数が記憶装置３２に記憶される。

【0065】

Ｂ：第２実施形態
第２実施形態を説明する。なお、以下に例示する各態様において機能が第１実施形態と同様である要素については、第１実施形態の説明と同様の符号を流用して各々の詳細な説明を適宜に省略する。

【0066】

図１１は、第２実施形態における情報処理システム３０の機能的な構成を例示するブロック図である。第１実施形態においては情報処理システム３０が音響信号Ｖを電子楽器２０から受信する構成を例示した。第２実施形態における情報処理システム３０の通信装置３３は、音響信号Ｖまたは演奏データＤを電子楽器２０から受信する。

【0067】

音響信号Ｖは、第１実施形態と同様に、目的楽曲の演奏音の波形を表すサンプル系列である。他方、演奏データＤは、演奏装置２４に対する利用者Ｕの演奏の内容を表す時系列データである。具体的には、演奏データＤは、例えばＭＩＤＩ（Musical Instrument Digital Interface）規格に準拠した形式のデータであり、楽曲を構成する複数の音符の各々について音高と発音期間とを指定する。

【0068】

第２実施形態の制御装置３１は、記憶装置３２に記憶されたプログラムを実行することで、第１実施形態と同様の解析処理部５０のほか、楽曲推定部５６および音色特定部５７として機能する。

【0069】

楽曲推定部５６は、通信装置３３が電子楽器２０から受信した音響信号Ｖまたは演奏データＤを解析することで、利用者Ｕが演奏した目的楽曲を推定する。具体的には、楽曲推定部５６は、目的楽曲に該当する可能性が高い複数の楽曲（以下「候補楽曲」という）を特定する。楽曲推定部５６による候補楽曲の推定には、記憶装置３２に記憶された参照データＲが利用される。なお、候補楽曲の特定に利用される音響信号Ｖおよび演奏データＤは、利用者Ｕによる演奏を表すデータとして包括的に表現される。

【0070】

図１２は、参照データＲの模式図である。図１２に例示される通り、参照データＲは、既存の複数の楽曲の各々について、楽曲情報Ｒa（Ｒa1，Ｒa2，…）と比較データＲb（Ｒb1，Ｒb2，…）と伴奏データＣ（Ｃ1，Ｃ2，…）と音色データＺ（Ｚ1，Ｚ2，…）とが登録されたデータベースである。各楽曲の楽曲情報Ｒaは、当該楽曲の識別情報および楽曲名等の情報を含む。各楽曲の比較データＲbは、当該楽曲の内容を表す時系列データである。具体的には、比較データＲbは、演奏データＤと同様に、例えばＭＩＤＩ規格に準拠した形式のデータであり、楽曲を構成する複数の音符の各々について音高と発音期間とを指定する。各楽曲の伴奏データＣは、当該楽曲に好適な伴奏パターンＰを示すデータである。また、各楽曲の音色データＺは、当該楽曲に好適な音色を示すデータである。

【0071】

図１３は、楽曲推定部５６が実行する処理（以下「推定処理」という）Ｓdの具体的な手順を例示するフローチャートである。例えば電子楽器２０から送信された音響信号Ｖまたは演奏データＤの受信を契機として推定処理Ｓdが開始される。

【0072】

推定処理Ｓdが開始されると、楽曲推定部５６は、通信装置３３が電子楽器２０から受信したのが音響信号Ｖであるか否かを判定する（Ｓd1）。通信装置３３が音響信号Ｖを受信した場合（Ｓd1：YES）、楽曲推定部５６は、音響信号Ｖから演奏データＤを生成する（Ｓd2）。演奏データＤは、利用者Ｕによる演奏の内容を表す時系列データである。音響信号Ｖから演奏データＤを生成する処理には、公知の採譜技術が任意に採用される。通信装置３３が演奏データＤを受信した場合（Ｓd1：NO）、演奏データＤの生成（Ｓd2）は実行されない。以上の通り、楽曲推定部５６は、利用者Ｕによる演奏を表す演奏データＤを取得する。演奏データＤは、通信装置３３が受信した音響信号Ｖから生成されたデータ、または、通信装置３３が電子楽器２０から受信したデータである。

【0073】

楽曲推定部５６は、参照データＲに楽曲毎に登録された比較データＲbと演奏データＤとを相互に比較することで、所定個の候補楽曲を特定する（Ｓd3）。具体的には、楽曲推定部５６は、参照データＲに登録された複数の楽曲の各々について、当該楽曲の比較データＲbと演奏データＤとの類似度を算定し、複数の楽曲のうち類似度の降順で上位に位置する所定個の楽曲を候補楽曲として選択する。すなわち、楽曲推定部５６は、比較データＲbが演奏データＤに類似する所定個の候補楽曲を特定する。したがって、候補楽曲は、利用者Ｕが演奏した楽曲に対応する楽曲である。楽曲推定部５６は、以上の処理で特定した各候補楽曲について参照データＲに登録された楽曲情報Ｒaを、通信装置３３から電子楽器２０に送信する（Ｓd4）。すなわち、複数の候補楽曲の楽曲情報Ｒaが電子楽器２０に送信される。

【0074】

電子楽器２０の制御装置２１は、情報処理システム３０から受信した各候補楽曲の楽曲情報Ｒaを表示装置２６に表示させる。図１４は、表示装置２６に表示される画面（以下「選択画面」という）Ｇの模式図である。表示装置２６には、複数の候補楽曲の各々について楽曲情報Ｒa（具体的には楽曲名）が表示されるほか、参照データＲに登録されていない楽曲であることを意味する「未登録曲」の文字列が表示される。未登録曲は、例えば利用者Ｕが独自に作成した楽曲である。利用者Ｕは、操作装置２５を操作することで選択画面Ｇから目的楽曲を選択する。制御装置２１は、利用者Ｕが選択した目的楽曲を示す選択指示Ｅを、通信装置２３から情報処理システム３０に送信する。

【0075】

例えば、目的楽曲が既存の候補楽曲である場合、利用者Ｕは、選択画面Ｇから当該候補楽曲を選択する。利用者Ｕが候補楽曲を選択した場合、制御装置２１は、当該候補楽曲を示す選択指示Ｅを通信装置３３から情報処理システム３０に送信する。例えば候補楽曲の楽曲情報Ｒaを含む選択指示Ｅが情報処理システム３０に送信される。他方、目的楽曲が候補楽曲以外の楽曲（例えば自作曲）である場合、利用者Ｕは選択画面Ｇから未登録曲を選択する。利用者Ｕが未登録曲を選択した場合、制御装置２１は、目的楽曲が未登録曲であることを示す選択指示Ｅを、通信装置３３から情報処理システム３０に送信する。

【0076】

既存の候補楽曲については伴奏データＣおよび音色データＺが参照データＲに登録されている一方、利用者Ｕの自作曲等の未登録曲については伴奏データＣおよび音色データＺが参照データＲに登録されていない。図１１の音色特定部５７は、目的楽曲が参照データＲに登録済の候補楽曲である場合に、当該候補楽曲の伴奏データＣおよび音色データＺを参照データＲから特定する。具体的には、音色特定部５７は、目的楽曲について登録された伴奏データＣおよび音色データＺを記憶装置３２から取得する。他方、第２実施形態の解析処理部５０は、目的楽曲が未登録曲である場合に、音響信号Ｖの解析により目的楽曲の伴奏データＣおよび音色データＺを生成する。解析処理部５０の構成および動作は第１実施形態と同様である。

【0077】

図１５は、第２実施形態における情報処理システム３０の制御装置３１が実行する処理（以下「制御処理」という）Ｓeの具体的な手順を例示するフローチャートである。例えば音響信号Ｖまたは演奏データＤの受信を契機として制御処理Ｓeが開始される。

【0078】

制御処理Ｓeが開始されると、楽曲推定部５６は、図１３に例示した推定処理Ｓdを実行する。すなわち、楽曲推定部５６は、比較データＲbが演奏データＤに類似する所定個の候補楽曲を電子楽器２０に通知する。推定処理Ｓdを実行すると、制御装置３１は、通信装置３３が電子楽器２０から選択指示Ｅを受信するまで待機する（Ｓe1：NO）。

【0079】

通信装置３３が選択指示Ｅを受信した場合（Ｓe1：YES）、制御装置３１は、選択指示Ｅが候補楽曲を示すか否かを判定する（Ｓe2）。以上の判定は、目的楽曲が参照データＲに登録されているか否かを判定する処理である。すなわち、選択指示Ｅが候補楽曲を示す場合（Ｓe2：YES）、目的楽曲が参照データＲに登録されていることを意味し、選択指示Ｅが未登録曲を示す場合（Ｓe2：NO）、目的楽曲が参照データＲに登録されていないことを意味する。目的楽曲が参照データＲに登録されていない場合、伴奏データＣおよび音色データＺは参照データＲから特定されない。

【0080】

選択指示Ｅが候補楽曲を示す場合（Ｓe2：YES）、音色特定部５７は、当該候補楽曲の伴奏データＣおよび音色データＺを参照データＲから特定する（Ｓe3）。音色特定部５７は、候補楽曲の伴奏データＣおよび音色データＺを通信装置３３から電子楽器２０に送信する（Ｓe4）。電子楽器２０は、情報処理システム３０から受信した伴奏データＣおよび音色データＺを利用して図７の演奏処理Ｓbを実行する。

【0081】

他方、選択指示Ｅが未登録曲を示す場合（Ｓe2：NO）、解析処理部５０は、学習済モデル６０を利用した図６の解析処理Ｓaを実行する。すなわち、解析処理部５０は、電子楽器２０から受信した音響信号Ｖの解析により伴奏データＣと音色データＺとを生成し、伴奏データＣおよび音色データＺを通信装置３３から電子楽器２０に送信する（Ｓa3，Ｓa5）。電子楽器２０は、情報処理システム３０から受信した伴奏データＣおよび音色データＺを利用して図７の演奏処理Ｓbを実行する。

【0082】

以上に説明した通り、第２実施形態においては、目的楽曲の音色（音色データＺ）が参照データＲに登録されている場合に、音色特定部５７が参照データＲから音色データＺを特定し、目的楽曲の音色が参照データＲに登録されていない場合には、解析処理部５０が学習済モデル６０を利用して音色データＺを生成する。すなわち、目的楽曲について適切な音色が参照データＲに登録されている場合には、登録済の音色を示す音色データＺが生成される。したがって、登録済の楽曲について適切な音色を特定しながら、未登録の楽曲（例えば利用者Ｕが作成した新規な楽曲）についても適切な音色を特定できる。また、登録済の目的楽曲については参照データＲから伴奏データＣおよび音色データＺが特定されるから、解析処理Ｓaは不要である。したがって、解析処理Ｓaに必要な負荷が軽減されるという利点もある。

【0083】

Ｃ：第３実施形態
図１６は、第３実施形態に係る電子楽器２０の機能的な構成を例示するブロック図である。第２実施形態においては、情報処理システム３０が解析処理部５０と楽曲推定部５６と音色特定部５７とを具備する構成を例示した。第３実施形態においては、電子楽器２０が解析処理部５０と楽曲推定部５６と音色特定部５７とを具備する。以上の要素は、記憶装置２２に記憶されたプログラムを制御装置２１が実行することで実現される。

【0084】

図１６に例示された各要素（楽曲推定部５６，音色特定部５７および解析処理部５０）の具体的な構成および動作は、第１実施形態および第２実施形態と同様である。例えば、楽曲推定部５６は、信号供給装置１０から供給される音響信号Ｖ、または演奏装置２４に対する演奏に応じた演奏データＤを解析することで、利用者Ｕが演奏した目的楽曲に該当する可能性が高い複数の候補楽曲を特定する。楽曲推定部５６は、各候補楽曲の楽曲情報Ｒaを含む選択画面Ｇを表示装置２６に表示させ、選択画面Ｇに対する利用者Ｕからの操作を受付ける。

【0085】

音色特定部５７は、目的楽曲が参照データＲに登録済の候補楽曲である場合に、当該候補楽曲の伴奏データＣおよび音色データＺを参照データＲから特定する。楽曲推定部５６による候補楽曲の推定と音色特定部５７による処理とに適用される参照データＲは、記憶装置２２に記憶される。

【0086】

目的楽曲が未登録曲である場合、解析処理部５０は、音響信号Ｖの解析により目的楽曲の伴奏データＣおよび音色データＺを生成する。解析処理部５０による解析処理Ｓaに適用される学習済モデル６０は、記憶装置２２に記憶される。すなわち、機械学習システム４０が生成した学習済モデル６０が電子楽器２０に転送される。学習済モデル６０の構成は第１実施形態と同様である。

【0087】

音源装置２７は、第１実施形態と同様に、伴奏データＣが示す伴奏パターンＰの伴奏音と、音色データＺが示す音色の演奏音との混合音を表す演奏信号Ａを生成する。演奏信号Ａは放音装置２８に供給される。したがって、音源装置２７および放音装置２８は、音色データＺが示す音色の音響を利用者Ｕによる演奏に応じて再生し、伴奏データＣが示す伴奏パターンＰの伴奏音を再生する再生部２９として機能する。

【0088】

以上の説明から理解される通り、第３実施形態においても第１実施形態および第２実施形態と同様の効果が実現される。なお、図１６においては解析処理部５０と楽曲推定部５６と音色特定部５７とを具備する電子楽器２０を例示したが、楽曲推定部５６および音色特定部５７は電子楽器２０から省略されてもよい。

【0089】

Ｄ：第４実施形態
図１７は、第４実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、電子楽器２０と情報装置８０とを具備する。情報装置８０は、例えばスマートフォンまたはタブレット端末等の装置である。情報装置８０は、例えば有線または無線により電子楽器２０に接続される。

【0090】

情報装置８０は、制御装置８１と記憶装置８２とを具備するコンピュータシステムで実現される。制御装置８１は、情報装置８０の各要素を制御する単数または複数のプロセッサで構成される。例えば、制御装置８１は、ＣＰＵ、ＳＰＵ、ＤＳＰ、ＦＰＧＡ、またはＡＳＩＣ等の１種類以上のプロセッサにより構成される。記憶装置８２は、制御装置８１が実行するプログラムと制御装置８１が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置８２は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、情報装置８０に対して着脱される可搬型の記録媒体、または例えば通信網２００を介して制御装置８１が書込または読出を実行可能な記録媒体（例えばクラウドストレージ）を、記憶装置８２として利用してもよい。

【0091】

制御装置８１は、記憶装置８２に記憶されたプログラムを実行することで解析処理部５０と楽曲推定部５６と音色特定部５７とを実現する。解析処理部５０と楽曲推定部５６と音色特定部５７との各々の構成および動作は、第１実施形態から第３実施形態の例示と同様である。楽曲推定部５６および音色特定部５７が使用する参照データＲと、解析処理部５０が使用する学習済モデル６０とは、記憶装置８２に記憶される。

【0092】

解析処理部５０または楽曲推定部５６が特定した伴奏データＣおよび音色データＺが電子楽器２０に送信される。電子楽器２０の音源装置２７は、第１実施形態と同様に、伴奏データＣが示す伴奏パターンＰの伴奏音と、音色データＺが示す音色の演奏音との混合音を表す演奏信号Ａを生成する。演奏信号Ａは放音装置２８に供給される。

【0093】

以上の説明から理解される通り、第４実施形態においても第１実施形態から第３実施形態と同様の効果が実現される。なお、図１７においては解析処理部５０と楽曲推定部５６と音色特定部５７とを具備する情報装置８０を例示したが、楽曲推定部５６および音色特定部５７は情報装置８０から省略されてもよい。

【0094】

第４実施形態においては、例えば、機械学習システム４０により構築された学習済モデル６０が情報装置８０に転送され、当該学習済モデル６０が記憶装置８２に記憶される。以上の構成において、情報装置８０の利用者の正当性（事前に登録された正規の利用者であること）を認証する認証処理部が機械学習システム４０に搭載されてもよい。利用者の正当性が認証処理部により認証された場合に、学習済モデル６０が情報装置８０に自動的に（すなわち利用者からの指示を必要とせずに）転送される。

【0095】

Ｅ：第５実施形態
図１８は、第５実施形態に係る演奏システム１００の構成を例示するブロック図である。演奏システム１００は、第４実施形態と同様に、電子楽器２０と情報装置８０とを具備する。電子楽器２０および情報装置８０の構成は、第４実施形態と同様である。

【0096】

機械学習システム４０は、電子楽器２０の相異なる機種に対応する複数の学習済モデル６０を記憶する。電子楽器２０（具体的には音源装置２７）が発音可能な音色の種類および総数は、電子楽器２０の機種毎に相違する。各機種に対応する学習済モデル６０は、当該機種の電子楽器２０が発音可能な音色の音色データＺを出力し、当該電子楽器２０が発音できない音色の音色データＺは出力しない。具体的には、各機種の学習済モデル６０を確立するための学習処理Ｓcにおいて、当該機種の電子楽器２０が発音可能な音色の音色データＺtを含む訓練データＴが利用される。すなわち、複数の訓練データＴのセットが電子楽器２０の機種毎（すなわち発音可能な音色の組合せ毎）に個別に用意され、機種毎の個別の学習処理Ｓcにより学習済モデル６０が確立される。

【0097】

情報装置８０は、機械学習システム４０が保持する複数の学習済モデル６０の何れかを選択的に通信網２００を介して取得する。具体的には、情報装置８０は、複数の学習済モデル６０のうち、当該情報装置８０に接続された電子楽器２０の機種に対応する１個の学習済モデル６０を機械学習システム４０から取得する。機械学習システム４０から取得した学習済モデル６０が記憶装置８２に記憶され、解析処理部５０による解析処理Ｓaに利用される。解析処理Ｓaの具体的な手順は前述の各形態と同様である。

【0098】

以上の説明から理解される通り、第５実施形態においても第１実施形態から第３実施形態と同様の効果が実現される。また、第５実施形態においては、電子楽器２０の機種毎に学習済モデル６０が確立されるから、電子楽器２０の機種に関わらず共通の学習済モデル６０が利用される構成と比較して、各機種の電子楽器２０にとって適切な音色データＺを高精度に推定できるという利点もある。なお、第１実施形態または第２実施形態の情報処理システム３０と、第３実施形態の電子楽器２０と、第４実施形態または第５実施形態の情報装置８０とは、「情報処理システム」の一例である。

【0099】

Ｆ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0100】

（１）時間軸上の所定長の期間（以下「単位期間」という）毎に解析処理部５０が音色データＺを生成してもよい。具体的に、第１取得部５１は、音響信号Ｖの単位期間毎に音響データＦを生成する。生成部５３は、複数の単位期間の各々において、当該単位期間の音響データＦと第２取得部５２が特定した伴奏データＣとを含む入力データＸから音色データＺを生成する。

【0101】

相異なる単位期間に対応する複数の音色データＺから、制御装置２１または制御装置３１が、音源装置２７に設定される１種類の音色を特定してもよい。例えば、複数の音色データＺにおいて最頻の音色を選択してもよい。また、生成部５３が特定した回数の降順で所定個の音色を利用者Ｕに提示し、所定個の音色のうち音源装置２７に設定される１種類の音色を利用者Ｕが選択してもよい。

【0102】

（２）第１実施形態の第１取得部５１は音響データＦを生成したが、電子楽器２０において音響信号Ｖから生成された音響データＦを、第１取得部５１が電子楽器２０から受信してもよい。すなわち、第１取得部５１による音響データＦの取得は、音響データＦの生成と音響データＦの受信との双方を包含する。また、第１実施形態の第２取得部５２は伴奏データＣを生成したが、電子楽器２０において音響信号Ｖから生成された伴奏データＣを、第２取得部５２が電子楽器２０から受信してもよい。すなわち、第２取得部５２による伴奏データＣの取得は、伴奏データＣの生成と伴奏データＣの受信との双方を包含する。なお、第１取得部５１または第２取得部５２は、電子楽器２０に搭載されてもよい。

【0103】

（３）前述の各形態においては、音色データＺが１種類の音色を示す形態を例示したが、音色データＺの形式は以上の例示に限定されない。例えば、音色データＺは、複数種の音色の各々について確率分布を示すデータでもよい。具体的には、音色データＺは、例えば正規分布で表現される確率分布の平均および分散を音色毎に指定する。制御装置２１または制御装置３１は、音色データＺが相異なる音色について指定する複数の確率分布から、最尤の１種類の音色を特定する。音色毎の確率分布を示す音色データＺも、音色を示すデータに該当する。

【0104】

（４）前述の各形態においては、生成部５３が音響データＦと伴奏データＣとから音色データＺを生成したが、生成部５３が音響データＦのみから音色データＺを生成してもよい。すなわち、伴奏データＣは省略されてもよい。以上の説明から理解される通り、学習済モデル６０は、参照楽曲の音響（音響データＦt）と当該参照楽曲に使用される音色（音色データＺt）との関係を学習したモデルとして包括的に表現される。

【0105】

（５）前述の各形態においては、深層ニューラルネットワークを学習済モデル６０として例示したが、学習済モデル６０は深層ニューラルネットワークに限定されない。例えば、ＨＭＭ（Hidden Markov Model）またはＳＶＭ（Support Vector Machine）等の統計的推定モデルを、学習済モデル６０として利用してもよい。具体的には以下の通りである。

【0106】

（５－１）ＨＭＭ
ＨＭＭは、複数の潜在状態を相互に連結した統計的推定モデルである。ＨＭＭの複数の潜在状態の各々は、相異なる複数種の音色の何れか（すなわち音色データＺ）を表す。各潜在状態においては、当該潜在状態が表す音色に関する特徴を表す音響データＦが生成される。音響データＦは、前述の各形態と同様に、例えばＭＦＣＣ，ＭＳＬＳ、または定Ｑ変換等の周波数特性の時系列を表すデータである。また、ＨＭＭを構成する複数の潜在状態は、音響信号Ｖを時間軸上で区分した複数の期間（以下「処理期間」という）にそれぞれ対応する。各処理期間は、例えば、所定個（単数または複数）の小節を単位として目的楽曲を区分した期間である。

【0107】

第１取得部５１は、音響信号Ｖの各処理期間について音響データＦを生成する。生成部５３は、音響信号Ｖの相異なる処理期間について生成された複数の音響データＦの時系列を、ＨＭＭで構成される学習済モデル６０に入力する。生成部５３は、複数の音響データＦの時系列が観測されたという条件のもとで最尤の音色データＺの時系列を、ＨＭＭを利用して推定する。すなわち、音響信号Ｖの処理期間毎に音色データＺがＨＭＭから出力される。音色データＺの時系列の推定には、例えばビタビアルゴリズム等の動的計画アルゴリズムが利用される。

【0108】

ＨＭＭは、音色データＺを含む複数の訓練データＴを利用した教師あり機械学習（学習処理Ｓc）により確立される。学習処理Ｓcにおいては、複数の音響データＦの時系列に対して最尤の音色データＺの時系列が出力されるように、各潜在状態における遷移確率および出力確率が反復的に更新される。

【0109】

（５－２）ＳＶＭ
複数種の音色から２種類の音色を選択する全通りの組合せの各々についてＳＶＭが用意される。２種類の音色の組合せに対応するＳＶＭについては、多次元空間内の超平面が機械学習（学習処理Ｓc）により確立される。超平面は、２種類の音色のうち一方の音色に対応する入力データＸが分布する空間と、他方の音色に対応する入力データＸが分布する空間とを分離する境界面である。学習済モデル６０は、相異なる音色の組合せに対応する複数のＳＶＭで構成される（multi-class SVM）。

【0110】

生成部５３は、音響データＦと伴奏データＣとを含む入力データＸを複数のＳＶＭの各々に入力する。各組合せに対応するＳＶＭは、超平面で分離される２個の空間の何れに入力データＸが存在するかに応じて、当該組合せに係る２種類の音色の何れかを選択する。相異なる組合せに対応する複数のＳＶＭの各々において同様に音色の選択が実行される。生成部５３は、複数種の音色のうち複数のＳＶＭによる選択の回数が最大となる音色を表す音色データＺを生成する。

【0111】

以上の例示から理解される通り、学習済モデル６０の種類に関わらず、生成部５３は、入力データＸを学習済モデル６０に入力することで、目的楽曲に適応した音色を示す音色データＺを当該学習済モデル６０から出力する要素、として機能する。

【0112】

（６）前述の各形態においては、複数の訓練データＴを利用した教師あり機械学習を学習処理Ｓcとして例示したが、訓練データＴを必要としない教師なし機械学習、または報酬を最大化させる強化学習により、学習済モデル６０を確立してもよい。例えば、学習処理部７２は、各訓練データＴの入力データＸtに対して暫定モデル６５が出力する音色データＺtと当該訓練データＴの音色データＺとが一致する場合に報酬関数を「＋１」に設定し、両者が一致しない場合に報酬関数を「－１」に設定する。学習処理部７２は、複数の訓練データＴについて設定された報酬関数の総和が最大化されるように、暫定モデル６５の複数の変数を反復的に更新することで、学習済モデル６０を確立する。また、教師なし機械学習としては、公知のクラスタリングを利用した機械学習が例示される。

【0113】

（７）前述の各形態においては、機械学習システム４０が学習済モデル６０を確立したが、機械学習システム４０の機能（訓練データ取得部７１および学習処理部７２）は、情報処理システム３０に搭載されてもよい。また、機械学習システム４０の機能（訓練データ取得部７１および学習処理部７２）は、第３実施形態における電子楽器２０、または第４実施形態における情報装置８０に搭載されてもよい。

【0114】

（８）前述の各形態においては、参照楽曲の入力データＸと当該参照楽曲の音色データＺとの関係を学習した学習済モデル６０を利用して、音響信号Ｖに応じた入力データＸから音色データＺを生成したが、入力データＸから音色データＺを生成するための構成および方法は、以上の例示に限定されない。例えば、相異なる複数の入力データＸの各々に音色データＺが対応付けられた参照テーブルが、生成部５３による音色データＺの生成に利用されてもよい。参照テーブルは、入力データＸと音色データＺとの対応が登録されたデータテーブルであり、例えば記憶装置３２に記憶される。解析処理部５０の生成部５３は、音響信号Ｖから生成された入力データＸに一致または近似する入力データＸを参照テーブルから検索し、複数の音色データＺのうち当該入力データＸに対応付けられた音色データＺを参照テーブルから取得する。以上の構成によっても、前述の各形態と同様に、例えば新規な楽曲に適応した音色を特定できる。

【0115】

（９）前述の各形態に例示した機能（解析処理部５０，楽曲推定部５６、音色特定部５７）は、前述の通り、制御装置（２１，３１，７１）を構成する単数または複数のプロセッサと、記憶装置（２２，３２，７２）に記憶されたプログラムとの協働により実現される。以上のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記録媒体が、前述の非一過性の記録媒体に相当する。

【0116】

Ｇ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0117】

ひとつの態様（態様１）に係る情報処理システムは、目的楽曲の音響を表す音響データを取得する第１取得部と、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部とを具備する。以上の態様によれば、目的楽曲の音響を表す音響データを含む入力データを学習済モデルに入力することで、当該目的楽曲に適応した音色を示す音色データが生成される。したがって、例えば新規な楽曲に適応した音色を特定できる。

【0118】

音響データが表す音響は、例えば楽曲の演奏により楽器等の発音源から発音される楽音である。「演奏」には、各種の楽器の操作のほか、歌唱者による歌唱も包含される。また、「音色データ」は、目的楽曲に適応した音色を示す任意の形式のデータである。例えば、１種類の音色を識別するための識別情報が音色データとして想定される。ただし、音色データは、１種類の音色を明示的に指定するデータには限定されない。例えば、複数種の音色の各々について確率（尤度）を示すデータ、または、複数の音色の各々について確率分布（例えば平均および分散）を示すデータも、「音色データ」の概念には包含される。

【0119】

目的楽曲に「適応した」音色とは、目的楽曲に対して音楽的に対応する音色を意味する。例えば、目的楽曲の曲調に対応する音色、目的楽曲の音楽的な表情に調和する音色等、目的楽曲に相応しい音色が「目的楽曲に適応した音色」と解釈される。

【0120】

「学習済モデル」は、例えば複数の訓練データを利用した教師あり機械学習により確立された統計的推定モデルである。複数の訓練データの各々は、例えば、訓練用の入力データと訓練用の音色データ（正解値）との組合せである。

【0121】

態様１の具体例（態様２）に係る情報処理システムは、前記目的楽曲に対応する伴奏パターンを示す伴奏データを取得する第２取得部を具備し、前記学習済モデルは、前記参照楽曲の音響および当該参照楽曲の伴奏パターンと、当該参照楽曲に使用される音色との関係を学習したモデルであり、前記入力データは、前記音響データと前記伴奏データとを含む。以上の態様においては、目的楽曲の音響を表す音響データと、目的楽曲に対応する伴奏パターンを示す伴奏データとを含む入力データが、学習済モデルに入力される。したがって、目的楽曲の音響と当該目的楽曲の伴奏パターンとの組合せに適応した音色を特定できる。

【0122】

「伴奏パターン」は、楽曲の伴奏音を表す音響信号である。例えば、複数種の伴奏パターンの何れかを識別するための識別情報が「伴奏データ」として例示される。伴奏データは、例えば、目的楽曲の音響を解析することで自動的に推定された伴奏パターン、または、利用者が指定した伴奏パターンを指定する。

【0123】

態様２の具体例（態様３）において、前記学習済モデルは、前記目的楽曲の音響に関する特徴を表す第１データを前記音響データから生成する第１モデルと、前記伴奏パターンの特徴を表す第２データを前記伴奏データから生成する第２モデルと、前記第１データと前記第２データとを含む中間データから前記音色データを生成する第３モデルとを含む。

【0124】

態様１から態様３の具体例（態様４）に係る情報処理システムは、複数の楽曲の各々について当該楽曲に適応する音色が登録された参照データに、前記目的楽曲に適応する音色が登録されている場合に、当該音色を示す音色データを前記参照データから特定する音色特定部をさらに具備し、前記生成部は、前記目的楽曲について音色が前記参照データに登録されていない場合に、前記学習済モデルを利用して前記音色データを生成する。以上の態様においては、目的楽曲について適切な音色が参照データに登録されている場合には、登録済の音色を示す音色データが生成される。したがって、登録済の楽曲について適切な音色を示す音色データを生成しながら、未登録の楽曲（例えば利用者が作成した新規な楽曲）についても適切な音色を特定できる。

【0125】

態様４の具体例（態様５）に係る情報処理システムは、利用者が演奏した楽曲に対応する複数の候補楽曲を、前記参照データに登録された前記複数の楽曲から推定する楽曲推定部をさらに具備し、前記音色特定部は、前記利用者が前記複数の候補楽曲の何れかを前記目的楽曲として選択した場合に、当該目的楽曲に対応する前記音色データを前記参照データから特定する。以上の態様においては、複数の候補楽曲の何れかを利用者が目的楽曲として選択した場合には、当該目的楽曲に対応する音色データが参照データから特定される。したがって、利用者が演奏した楽曲について適切な音色データを特定できる。

【0126】

態様５の具体例（態様６）において、前記生成部は、前記利用者が前記複数の候補楽曲以外の楽曲を前記目的楽曲として選択した場合に、前記学習済モデルを利用して前記音色データを生成する。以上の態様によれば、複数の候補楽曲以外の未登録曲について適切な音色データを生成できる。

【0127】

態様５または態様６の具体例（態様７）において、前記参照データには、前記複数の楽曲の各々について、当該楽曲の内容を表す比較データが登録され、前記楽曲推定部は、前記複数の楽曲の各々について登録された前記比較データと、前記利用者による演奏を表すデータとを比較することで、前記複数の候補楽曲を推定する。以上の態様によれば、音色データとともに参照データに登録された比較データを利用して候補楽曲を推定できる。

【0128】

態様１から態様７の何れかの具体例（態様８）において、前記音響データは、前記目的楽曲の音響に関する周波数特性の時系列を表すデータである。目的楽曲の音響に関する周波数特性としては、例えば振幅スペクトルまたはパワースペクトル等の強度スペクトルのほか、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficient），ＭＳＬＳ（Mel-Scale Log Spectrum）、または定Ｑ変換（ＣＱＴ：Constant-Q Transform）等が例示される。

【0129】

本開示のひとつの態様（態様９）に係る電子楽器は、利用者による演奏を受付ける演奏受付部と、目的楽曲の音響を表す音響データを取得する第１取得部と、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部と、前記演奏受付部が受付ける演奏に応じて、前記音色データに応じた音色の音響を再生する再生部とを具備する。「演奏受付部が受付ける演奏」は、例えば複数の鍵に対する演奏である。

【0130】

態様９の具体例（態様１０）において、前記演奏受付部は、相異なる音高に対応する複数の鍵が配列された鍵盤を含み、前記再生部は、前記複数の鍵のうち前記利用者が演奏した鍵に対応する音高と、前記音色データに応じた音色とを有する音響を再生する。すなわち、電子楽器は、鍵盤を具備する鍵盤楽器である。以上の態様によれば、利用者が鍵盤により演奏した音高と音色データに応じた音色とを有する音響を再生できる。

【0131】

本開示のひとつの態様（態様１１）に係る情報処理方法は、目的楽曲の音響を表す音響データを取得し、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する。情報処理システムについて採用され得る前述の各態様（態様２から態様８）は、態様１１に係る情報処理方法についても同様に採用される。

【0132】

本開示のひとつの態様に係るプログラムは、目的楽曲の音響を表す音響データを取得する第１取得部、および、参照楽曲の音響と当該参照楽曲に使用される音色との関係を学習した学習済モデルに、前記取得した音響データを含む入力データを入力することで、前記目的楽曲に適応した音色を示す音色データを前記学習済モデルから出力する生成部、としてコンピュータシステムを機能させる。

【符号の説明】

【0133】

１００…演奏システム、１０…信号供給装置、２０…電子楽器、２１，３１，４１，８１…制御装置、２２，３２，４２，８２…記憶装置、２３，３３，４３…通信装置、２４…演奏装置、２５…操作装置、２６…表示装置、２７…音源装置、２８…放音装置、２９…再生部、３０…情報処理システム、４０…機械学習システム、５０…解析処理部、５１…第１取得部、５２…第２取得部、５３…生成部、５６…楽曲推定部、５７…音色特定部、６０…学習済モデル、６１…第１モデル、６２…第２モデル、６３…第３モデル、６５…暫定モデル、７１…訓練データ取得部、７２…学習処理部、８０…情報装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】