特開 2023-77140 楽曲生成装置、楽曲生成方法、楽曲生成プログラム、モデル生成装置、モデル生成方法、及びモデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023077140

(43)【公開日】2023-06-05

(54)【発明の名称】楽曲生成装置、楽曲生成方法、楽曲生成プログラム、モデル生成装置、モデル生成方法、及びモデル生成プログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20230529BHJP

   G10G 1/04 20060101ALI20230529BHJP

【ＦＩ】

G10H1/00 102Z

G10G1/04

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021190312

(22)【出願日】2021-11-24

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100124039

【弁理士】

【氏名又は名称】立花 顕治

(72)【発明者】

【氏名】鈴木 正博

【テーマコード（参考）】

5D182

5D478

【Ｆターム（参考）】

5D182AD05

5D478GG01

(57)【要約】

【課題】様々な難易度の楽曲を容易に生成可能な技術を提供する。
【解決手段】本発明の一側面に係る楽曲生成装置は、楽曲の少なくとも一部を示す対象楽曲データを取得し、楽曲の変更後の難易度を指定するための難易度パラメータの値を取得し、訓練済みの生成モデルを使用することで、取得された対象楽曲データ及び難易度パラメータの値から、難易度パラメータで指定された難易度に楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データを生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

楽曲の少なくとも一部を示す対象楽曲データを取得するデータ取得部と、
難易度パラメータの値を取得するパラメータ取得部と、
訓練済みの生成モデルを使用することで、取得された前記対象楽曲データ及び前記難易度パラメータの値から、前記難易度パラメータで指定された難易度に前記楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データを生成する生成部と、
生成された前記新たな楽曲データを出力する出力部と、
を備える、
楽曲生成装置。

【請求項2】

前記難易度パラメータの値は、難易度を変更後の前記新たな楽曲の演奏音域の幅を示すように構成される、
請求項１に記載の楽曲生成装置。

【請求項3】

前記難易度パラメータの値は、難易度を変更した後の前記新たな楽曲に使用する楽器における同時に操作する最大の操作子の数を示すように構成される、
請求項１又は２に記載の楽曲生成装置。

【請求項4】

前記対象楽曲データは、前記楽曲の少なくとも一部を示すように配列された入力トークン列により構成され、
前記新たな楽曲データは、前記訓練済みの生成モデルから出力され、前記新たな楽曲の少なくとも一部を示すように配列された出力トークン列により構成される、
請求項１から３のいずれか１項に記載の楽曲生成装置。

【請求項5】

コンピュータが、
楽曲の少なくとも一部を示す対象楽曲データを取得するステップと、
難易度パラメータの値を取得するステップと、
訓練済みの生成モデルを使用することで、取得された前記対象楽曲データ及び前記難易度パラメータの値から、前記難易度パラメータで指定された難易度に前記楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データを生成するステップと、
生成された前記新たな楽曲データを出力するステップと、
を実行する、
楽曲生成方法。

【請求項6】

コンピュータに、
楽曲の少なくとも一部を示す対象楽曲データを取得するステップと、
難易度パラメータの値を取得するステップと、
訓練済みの生成モデルを使用することで、取得された前記対象楽曲データ及び前記難易度パラメータの値から、前記難易度パラメータで指定された難易度に前記楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データを生成するステップと、
生成された前記新たな楽曲データを出力するステップと、
を実行するための、
楽曲生成プログラム。

【請求項7】

訓練データ及び正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得する学習データ取得部であって、
前記訓練データは、楽曲の少なくとも一部を示す学習楽曲データ及び学習用の難易度パラメータを含み、
前記正解データは、前記難易度パラメータで指定された難易度に前記学習楽曲データの前記楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データを含む、
学習データ取得部と、
取得された前記複数の学習データセットを使用して、生成モデルの機械学習を実施する学習処理部であって、機械学習は、前記各学習データセットについて、前記訓練データに含まれる前記学習楽曲データ及び前記難易度パラメータの値から前記生成モデルにより生成される楽曲データが前記正解データに含まれる前記学習楽曲データに適合するように前記生成モデルを訓練することにより構成される、学習処理部と、
を備える、
モデル生成装置。

【請求項8】

前記訓練データに含まれる前記難易度パラメータの値は、難易度を変更後の前記新たな楽曲の演奏音域の幅を示すように構成される、
請求項７に記載のモデル生成装置。

【請求項9】

前記訓練データに含まれる前記難易度パラメータの値は、難易度を変更した後の前記新たな楽曲に使用する楽器における同時に操作する最大の操作子の数を示すように構成される、
請求項７又は８に記載のモデル生成装置。

【請求項10】

コンピュータが、
訓練データ及び正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップであって、
前記訓練データは、楽曲の少なくとも一部を示す学習楽曲データ及び学習用の難易度パラメータを含み、
前記正解データは、前記難易度パラメータで指定された難易度に前記学習楽曲データの前記楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データを含む、
ステップと、
取得された前記複数の学習データセットを使用して、生成モデルの機械学習を実施するステップであって、機械学習は、前記各学習データセットについて、前記訓練データに含まれる前記学習楽曲データ及び前記難易度パラメータの値から前記生成モデルにより生成される楽曲データが前記正解データに含まれる前記学習楽曲データに適合するように前記生成モデルを訓練することにより構成される、ステップと、
を実行する、
モデル生成方法。

【請求項11】

コンピュータに、
訓練データ及び正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップであって、
前記訓練データは、楽曲の少なくとも一部を示す学習楽曲データ及び学習用の難易度パラメータを含み、
前記正解データは、前記難易度パラメータで指定された難易度に前記学習楽曲データの前記楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データを含む、
ステップと、
取得された前記複数の学習データセットを使用して、生成モデルの機械学習を実施するステップであって、機械学習は、前記各学習データセットについて、前記訓練データに含まれる前記学習楽曲データ及び前記難易度パラメータの値から前記生成モデルにより生成される楽曲データが前記正解データに含まれる前記学習楽曲データに適合するように前記生成モデルを訓練することにより構成される、ステップと、
を実行させるための、
モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽曲生成装置、楽曲生成方法、楽曲生成プログラム、モデル生成装置、モデル生成方法、及びモデル生成プログラムに関する。

【背景技術】

【0002】

楽曲の難易度の変更は、従来、主として人間の手作業により行われていた。しかしながら、楽曲の難易度を変更し、新たな楽曲を生成する作業の全てを人手により行うと、当該作業にかかるコストが高くなってしまう。そこで、コンピュータ技術を用いて、楽曲に対する作業の少なくとも一部を自動化する方法の開発が進められている。

【0003】

例えば、特許文献１には、ルールベースにより、簡約楽譜情報を自動的に生成する技術が提案されている。この方法によれば、難易度を変更する作業の少なくとも一部を自動化することができる。そのため、難易度を変更する作業にかかるコストの低減を図ることができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７－２４１０２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本件発明者は、上記従来の難易度変更方法には、次のような問題点があることを見出した。すなわち、ルールベースにより難易度を変更した新たな楽曲を生成しようとしても、アレンジが画一的になってしまう傾向があるという問題点があることを見出した。例えば、従来の方法では、音を省略する等の単純なルールにより、アレンジされた楽曲を生成する。しかしながら、このような方法では、単調なアレンジに陥りやすく、アレンジされた楽曲としての品質は低い。例えば、適切な楽曲の難易度は演奏者によって異なり得る（例えば、演奏者の手の大きさに応じて特定の操作子が操作し難い等）。従来の方法では、多様な難易度の指定に対応するのは困難であり、アレンジされた楽曲の自動生成、対応する楽譜制作等の商業用途への応用は難しいという問題点があった。

【0006】

本発明は、一側面では、このような事情を鑑みてなされたものであり、その目的は、様々な難易度の楽曲を容易に生成可能な技術を提供することである。

【課題を解決するための手段】

【0007】

本発明は、上述した課題を解決するために、以下の構成を採用する。

【0008】

すなわち、本発明の一側面に係る楽曲生成装置は、楽曲の少なくとも一部を示す対象楽曲データを取得するデータ取得部と、前記楽曲の変更後の難易度を指定するための難易度パラメータの値を取得するパラメータ取得部と、訓練済みの生成モデルを使用することで、取得された前記対象楽曲データ及び前記難易度パラメータの値から、前記難易度パラメータで指定された難易度に前記楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データを生成する生成部と、生成された前記新たな楽曲データを出力する出力部と、を備える。

【0009】

当該構成では、新たな楽曲を生成するための推論処理に難易度パラメータが用いられる。難易度パラメータによれば、生成される新たな楽曲の難易度を多様にコントロールすることができる。例えば、難易度パラメータにより指定される難易度を多段階に設定することで、指定された各レベルに応じた新たな楽曲を生成することができる。また、難易度を下げた楽曲だけではなく、難易度を上げた楽曲を生成することができる。つまり、難易度パラメータによる難易度の指定により、例えば、難易度を上げたり、下げたり等の新たな楽曲のレベル調整を行うことができる。したがって、当該構成によれば、様々な難易度の楽曲を容易に生成することができる。

【0010】

上記一側面に係る楽曲生成装置において、前記難易度パラメータの値は、難易度を変更後の前記新たな楽曲の演奏音域の幅を示すように構成されてよい。当該構成によれば、演奏音域の幅により難易度を指定することができる。これにより、様々な演奏音域幅の楽曲を容易に生成することができる。

【0011】

上記一側面に係る楽曲生成装置において、前記難易度パラメータの値は、難易度を変更した後の前記新たな楽曲に使用する楽器における同時に操作する最大の操作子の数を示すように構成されてよい。当該構成によれば、同時に操作する最大の操作子の数により難易度を指定することができる。これにより、様々な最大操作子数の楽曲を容易に生成することができる。

【0012】

上記一側面に係る楽曲生成装置において、前記対象楽曲データは、前記楽曲の少なくとも一部を示すように配列された入力トークン列により構成されてよく、前記新たな楽曲データは、前記訓練済みの生成モデルから出力され、前記新たな楽曲の少なくとも一部を示すように配列された出力トークン列により構成されてよい。当該構成によれば、トークン列を取り扱い可能に構成される機械学習モデル（例えば、後述するTransformer）を用いて、様々な難易度の楽曲を精度よく生成することができる。

【0013】

本発明の形態は、訓練済みの生成モデルを使用して、新たな楽曲を生成するように構成される楽曲生成装置に限られなくてよい。本発明の一側面は、上記いずれかの形態において使用される訓練済みの生成モデルを機械学習により生成するように構成されるモデル生成装置であってよい。

【0014】

例えば、本発明の一側面に係るモデル生成装置は、訓練データ及び正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得する学習データ取得部であって、前記訓練データは、楽曲の少なくとも一部を示す学習楽曲データ及び学習用の難易度パラメータを含み、前記正解データは、前記難易度パラメータで指定された難易度に前記学習楽曲データの前記楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データを含む、学習データ取得部と、取得された前記複数の学習データセットを使用して、生成モデルの機械学習を実施する学習処理部であって、機械学習は、前記各学習データセットについて、前記訓練データに含まれる前記学習楽曲データ及び前記難易度パラメータの値から前記生成モデルにより生成される楽曲データが前記正解データに含まれる前記学習楽曲データに適合するように前記生成モデルを訓練することにより構成される、学習処理部と、を備える。当該構成によれば、難易度パラメータに基づいて様々な難易度の楽曲を生成する能力を獲得した訓練済みの生成モデルを生成することができる。

【0015】

上記一側面に係るモデル生成装置において、前記訓練データに含まれる前記難易度パラメータの値は、難易度を変更後の前記新たな楽曲の演奏音域の幅を示すように構成されてよい。当該構成によれば、様々な演奏音域幅の楽曲を生成する能力を獲得した訓練済みの生成モデルを生成することができる。

【0016】

上記一側面に係るモデル生成装置において、前記訓練データに含まれる前記難易度パラメータの値は、難易度を変更した後の前記新たな楽曲に使用する楽器における同時に操作する最大の操作子の数を示すように構成されてよい。当該構成によれば、様々な最大操作子数の楽曲を生成する能力を獲得した訓練済みの生成モデルを生成することができる。

【0017】

上記各形態に係る楽曲生成装置及びモデル生成装置の別の形態として、本発明の一側面は、以上の各構成の全部又はその一部を実現する情報処理方法であってもよいし、情報処理システムであってもよいし、プログラムであってもよいし、又はこのようなプログラムを記憶した、コンピュータその他装置、機械等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

【0018】

例えば、本発明の一側面に係る楽曲生成方法は、コンピュータが、楽曲の少なくとも一部を示す対象楽曲データを取得するステップと、難易度パラメータの値を取得するステップと、訓練済みの生成モデルを使用することで、取得された前記対象楽曲データ及び前記難易度パラメータの値から、前記難易度パラメータで指定された難易度に前記楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データを生成するステップと、生成された前記新たな楽曲データを出力するステップと、を実行する、情報処理方法である。

【0019】

また、例えば、本発明の一側面に係る楽曲生成プログラムは、コンピュータに、楽曲の少なくとも一部を示す対象楽曲データを取得するステップと、難易度パラメータの値を取得するステップと、訓練済みの生成モデルを使用することで、取得された前記対象楽曲データ及び前記難易度パラメータの値から、前記難易度パラメータで指定された難易度に前記楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データを生成するステップと、生成された前記新たな楽曲データを出力するステップと、を実行するための、プログラムである。

【0020】

また、例えば、本発明の一側面に係るモデル生成方法は、コンピュータが、訓練データ及び正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップであって、前記訓練データは、楽曲の少なくとも一部を示す学習楽曲データ及び学習用の難易度パラメータを含み、前記正解データは、前記難易度パラメータで指定された難易度に前記学習楽曲データの前記楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データを含む、ステップと、取得された前記複数の学習データセットを使用して、生成モデルの機械学習を実施するステップであって、機械学習は、前記各学習データセットについて、前記訓練データに含まれる前記学習楽曲データ及び前記難易度パラメータの値から前記生成モデルにより生成される楽曲データが前記正解データに含まれる前記学習楽曲データに適合するように前記生成モデルを訓練することにより構成される、ステップと、を実行する、情報処理方法である。

【0021】

また、例えば、本発明の一側面に係るモデル生成プログラムは、コンピュータに、訓練データ及び正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップであって、前記訓練データは、楽曲の少なくとも一部を示す学習楽曲データ及び学習用の難易度パラメータを含み、前記正解データは、前記難易度パラメータで指定された難易度に前記学習楽曲データの前記楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データを含む、ステップと、取得された前記複数の学習データセットを使用して、生成モデルの機械学習を実施するステップであって、機械学習は、前記各学習データセットについて、前記訓練データに含まれる前記学習楽曲データ及び前記難易度パラメータの値から前記生成モデルにより生成される楽曲データが前記正解データに含まれる前記学習楽曲データに適合するように前記生成モデルを訓練することにより構成される、ステップと、を実行させるための、プログラムである。

【発明の効果】

【0022】

本発明によれば、様々な難易度の楽曲を容易に生成可能な技術を提供することができる。

【図面の簡単な説明】

【0023】

【図1】図１は、本発明が適用される場面の一例を模式的に示す。

【図2】図２は、実施の形態に係るモデル生成装置のハードウェア構成の一例を模式的に示す。

【図3】図３は、実施の形態に係る楽曲生成装置のハードウェア構成の一例を模式的に示す。

【図4】図４は、実施の形態に係るモデル生成装置のソフトウェア構成の一例を模式的に示す。

【図5】図５は、楽曲の一例を示す譜面である。

【図6A】図６Ａは、図５の楽曲から生成される入力トークン列の一例を示す。

【図6B】図６Ｂは、図５の楽曲から生成される入力トークン列の一例を示す。

【図7】図７は、難易度が変更された楽曲（生成結果）の一例を示す譜面である。

【図8A】図８Ａは、図７の楽曲に対応する出力トークン列の真値の一例を示す。

【図8B】図８Ｂは、図７の楽曲に対応する出力トークン列の真値の一例を示す。

【図9】図９は、実施の形態に係る生成モデルの構成の一例を模式的に示す。

【図10】図１０は、実施の形態に係る楽曲生成装置のソフトウェア構成の一例を模式的に示す。

【図11】図１１は、実施の形態に係るモデル生成装置の処理手順の一例を示すフローチャートである。

【図12】図１２は、実施の形態に係る楽曲生成装置の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

【0025】

§１ 適用例
図１は、本発明を適用した場面の一例を模式的に例示する。図１に示されるとおり、本実施形態に係る生成システム１００は、モデル生成装置１及び楽曲生成装置２を備えている。

【0026】

本実施形態に係るモデル生成装置１は、元の楽曲から難易度を変更した新たな楽曲を生成するための訓練済みの生成モデル５を機械学習により生成するように構成されたコンピュータである。まず、モデル生成装置１は、複数の学習データセット３を取得する。各学習データセット３は、訓練データ３１及び正解データ３２の組み合わせにより構成される。訓練データ３１は、楽曲の少なくとも一部を示す学習楽曲データ３１１及び学習用の難易度パラメータ３１３を含むように構成される。正解データ３２は、難易度パラメータ３１３により指定された難易度に学習楽曲データ３１１の楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データ３２１を含むように構成される。

【0027】

次に、モデル生成装置１は、取得された複数の学習データセット３を使用して、生成モデル５の機械学習を実施する。機械学習は、各学習データセット３について、訓練データ３１に含まれる学習楽曲データ３１１及び難易度パラメータ３１３の値から生成モデル５により生成される楽曲データが正解データ３２に含まれる新たな学習楽曲データ３２１に適合するように生成モデル５を訓練することにより構成される。この機械学習の処理により、難易度パラメータにより指定される難易度の新たな楽曲を元の楽曲から生成する能力を獲得した訓練済みの生成モデル５を生成することができる。

【0028】

一方、本実施形態に係る楽曲生成装置２は、訓練済みの生成モデル５を使用して、元の楽曲から新たな楽曲を生成するように構成されたコンピュータである。まず、楽曲生成装置２は、楽曲の少なくとも一部を示す対象楽曲データ２２１を取得する。また、楽曲生成装置２は、楽曲の変更後の難易度を指定するための難易度パラメータ２２３の値を取得する。次に、楽曲生成装置２は、訓練済みの生成モデル５を使用することで、取得された対象楽曲データ２２１及び難易度パラメータ２２３の値から、難易度パラメータ２２３で指定された難易度に楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データ２２５を生成する。楽曲生成装置２は、生成された新たな楽曲データ２２５を出力する。

【0029】

難易度パラメータ（２２３、３１３）は、元の楽曲から生成モデル５により生成される新たな楽曲の難易度を示すように構成される。学習段階における難易度パラメータ３１３は、訓練データ３１を構成する学習楽曲データ３１１に対して正解データ３２を構成する学習楽曲データ３２１により示される楽曲の難易度を示すように構成される。推論段階における難易度パラメータ２２３は、対象楽曲データ２２１から訓練済みの生成モデル５により生成する新たな楽曲の難易度を示すように構成される。

【0030】

難易度は、任意の形式で指定されてよい。一例として、難易度は、複数のレベル（例えば、「初級」、「初中級」、「中級」、「中上級」、「上級」等）で設定されてよく、難易度パラメータ（２２３、３１３）は、これら複数のレベルのうちのいずれかを示すように構成されてよい。

【0031】

他の一例では、難易度は、演奏音域の幅により指定されてよい。この場合、難易度パラメータ（２２３、３１３）は、難易度を変更した後の新たな楽曲の演奏音域の幅を示すように構成されてよい。

【0032】

他の一例では、難易度は、演奏に使用する楽器において同時に操作する最大の操作子の数により指定されてよい。この場合、難易度パラメータ（２２３、３１３）は、難易度を変更した後の新たな楽曲に使用する楽器における同時に操作する最大の操作子の数を示すように構成されてよい。楽曲に使用される楽器は、実施の形態に応じて適宜選択されてよい。楽器は、例えば、ピアノ等である。操作子は、例えば、ピアノの鍵盤等である。難易度パラメータ（２２３、３１３）において、難易度は、相対的に指定されてもよいし、或いは絶対的に指定されてもよい。

【0033】

以上のとおり、本実施形態では、生成モデル５は、難易度パラメータで指定される難易度に基づいて、入力される元の楽曲から新たな楽曲を生成するように構成される。この難易度パラメータによれば、生成される新たな楽曲の難易度を多様にコントロールすることができる。そのため、モデル生成装置１によれば、難易度パラメータに基づいて様々な難易度の楽曲を生成する能力を獲得した訓練済みの生成モデル５を生成することができる。楽曲生成装置２では、そのような訓練済みの生成モデル５を使用することで、様々な難易度の楽曲を容易に生成することができる。

【0034】

なお、図１の例では、モデル生成装置１及び楽曲生成装置２は、ネットワークを介して互いに接続されている。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。ただし、モデル生成装置１及び楽曲生成装置２の間でデータをやり取りする方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、モデル生成装置１及び楽曲生成装置２の間では、記憶媒体を利用して、データがやり取りされてよい。

【0035】

また、図１の例では、モデル生成装置１及び楽曲生成装置２は、それぞれ別個のコンピュータにより構成されている。しかしながら、本実施形態に係る生成システム１００の構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、モデル生成装置１及び楽曲生成装置２は一体のコンピュータであってもよい。また、例えば、モデル生成装置１及び楽曲生成装置２のうちの少なくとも一方は、複数台のコンピュータにより構成されてもよい。複数台のコンピュータにより構成される場合、情報処理の分配は、実施の形態に応じて適宜決定されてよい。

【0036】

§２ 構成例
［ハードウェア構成］
＜モデル生成装置＞
図２は、本実施形態に係るモデル生成装置１のハードウェア構成の一例を模式的に例示する。図２に示されるとおり、本実施形態に係るモデル生成装置１は、制御部１１、記憶部１２、通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６、及びドライブ１７が電気的に接続されたコンピュータである。なお、図２では、通信インタフェース及び外部インタフェースを「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。

【0037】

制御部１１は、ハードウェアプロセッサ（プロセッサリソース）の一例であるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、モデル生成プログラム８１、複数の学習データセット３、学習結果データ１２５等の各種情報を記憶する。

【0038】

モデル生成プログラム８１は、訓練済みの生成モデル５を生成する後述の機械学習の情報処理（図１１）をモデル生成装置１に実行させるためのプログラムである。モデル生成プログラム８１は、当該情報処理の一連の命令を含む。複数の学習データセット３は、訓練済みの生成モデル５の生成に使用される。学習結果データ１２５は、生成された訓練済みの生成モデル５に関する情報を示す。本実施形態では、学習結果データ１２５は、モデル生成プログラム８１を実行した結果として生成される。詳細は後述する。

【0039】

通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。モデル生成装置１は、通信インタフェース１３を利用して、他の情報処理装置との間で、ネットワークを介したデータ通信を実行することができる。外部インタフェース１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１４の種類及び数は任意に選択されてよい。

【0040】

モデル生成装置１は、通信インタフェース１３及び外部インタフェース１４の少なくとも一方を介して、各学習データセット３を得るためのデバイスに接続されてよい。一例として、訓練データ３１を構成する学習楽曲データ３１１は、電子楽器により得られてよい。この場合、モデル生成装置１は、通信インタフェース１３及び外部インタフェース１４の少なくとも一方を介して電子楽器に接続されてよく、学習楽曲データ３１１を電子楽器により収集してよい。

【0041】

入力装置１５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。ユーザ等のオペレータは、入力装置１５及び出力装置１６を利用することで、モデル生成装置１を操作することができる。

【0042】

ドライブ１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。上記モデル生成プログラム８１及び複数の学習データセット３の少なくともいずれかは、記憶媒体９１に記憶されていてもよい。モデル生成装置１は、この記憶媒体９１から、上記モデル生成プログラム８１及び複数の学習データセット３の少なくともいずれかを取得してもよい。なお、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限られなくてもよく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ１７の種類は、記憶媒体９１の種類に応じて任意に選択されてよい。

【0043】

なお、モデル生成装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６及びドライブ１７の少なくともいずれかは省略されてもよい。モデル生成装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、モデル生成装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。

【0044】

＜楽曲生成装置＞
図３は、本実施形態に係る楽曲生成装置２のハードウェア構成の一例を模式的に例示する。図３に示されるとおり、本実施形態に係る楽曲生成装置２は、制御部２１、記憶部２２、通信インタフェース２３、外部インタフェース２４、入力装置２５、出力装置２６、及びドライブ２７が電気的に接続されたコンピュータである。

【0045】

楽曲生成装置２の制御部２１～ドライブ２７及び記憶媒体９２はそれぞれ、上記モデル生成装置１の制御部１１～ドライブ１７及び記憶媒体９１それぞれと同様に構成されてよい。制御部２１は、ハードウェアプロセッサの一例であるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部２２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部２２は、楽曲生成プログラム８２、学習結果データ１２５等の各種情報を記憶する。

【0046】

楽曲生成プログラム８２は、訓練済みの生成モデル５を使用して元の楽曲から難易度を変更した新たな楽曲を生成する後述の情報処理（図１２）を楽曲生成装置２に実行させるためのプログラムである。楽曲生成プログラム８２は、当該情報処理の一連の命令を含む。楽曲生成プログラム８２及び学習結果データ１２５の少なくともいずれかは、記憶媒体９２に記憶されていてもよい。また、楽曲生成装置２は、楽曲生成プログラム８２及び学習結果データ１２５の少なくともいずれかを記憶媒体９２から取得してもよい。

【0047】

楽曲生成装置２は、通信インタフェース２３及び外部インタフェース２４の少なくとも一方を介して、対象楽曲データ２２１を得るためのデバイスに接続されてよい。一例として、対象楽曲データ２２１は、電子楽器より得られてよい。この場合、楽曲生成装置２は、通信インタフェース２３及び外部インタフェース２４の少なくとも一方を介して電子楽器に接続されてよい。また、楽曲生成装置２は、入力装置２５及び出力装置２６の利用により、ユーザ等のオペレータからの操作及び入力を受け付けてよい。

【0048】

なお、楽曲生成装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部２１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ等で構成されてよい。記憶部２２は、制御部２１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース２３、外部インタフェース２４、入力装置２５、出力装置２６、及びドライブ２７の少なくともいずれかは省略されてもよい。楽曲生成装置２は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、楽曲生成装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ等であってもよい。

【0049】

［ソフトウェア構成］
＜モデル生成装置＞
図４は、本実施形態に係るモデル生成装置１のソフトウェア構成の一例を模式的に例示する。モデル生成装置１の制御部１１は、記憶部１２に記憶されたモデル生成プログラム８１に含まれる命令を解釈し、解釈された命令に応じた制御処理を実行する。これにより、本実施形態に係るモデル生成装置１は、学習データ取得部１１１、学習処理部１１２、及び保存処理部１１３をソフトウェアモジュールとして備えるように構成される。すなわち、本実施形態では、モデル生成装置１のソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。

【0050】

学習データ取得部１１１は、複数の学習データセット３を取得するように構成される。各学習データセット３は、訓練データ３１及び正解データ３２の組み合わせにより構成される。訓練データ３１は、楽曲の少なくとも一部を示す学習楽曲データ３１１及び学習用の難易度パラメータ３１３を含むように構成される。正解データ３２は、難易度パラメータ３１３により指定された難易度に学習楽曲データ３１１の楽曲の難易度を変更することで生成される新たな楽曲の少なくとも一部を示す新たな学習楽曲データ３２１を含むように構成される。

【0051】

学習処理部１１２は、取得された複数の学習データセット３を使用して、生成モデル５の機械学習を実施するように構成される。機械学習は、各学習データセット３について、訓練データ３１に含まれる学習楽曲データ３１１及び難易度パラメータ３１３の値から生成モデル５により生成される楽曲データが正解データ３２に含まれる学習楽曲データ３２１に適合するように生成モデル５を訓練することにより構成される。この機械学習の処理が完了することにより、与えられた楽曲データにより示される楽曲の難易度を、難易度パラメータにより指定される難易度に変更することで、新たな楽曲（すなわち、元の楽曲から難易度が変更された楽曲）を生成する能力を獲得した訓練済みの生成モデル５が生成される。

【0052】

保存処理部１１３は、機械学習により生成された訓練済みの生成モデル５に関する情報を学習結果データ１２５として生成し、生成された学習結果データ１２５を所定の記憶領域に保存するように構成される。学習結果データ１２５は、訓練済みの生成モデル５を再生するための情報を含むように適宜構成されてよい。

【0053】

（楽曲データの一例）
楽曲は、例えば、符号化データ（ＭＩＤＩ等）、楽譜等の任意の形式で獲得されてよい。また、生成モデル５の処理の際、楽曲は、生成モデル５の処理に適合する形式で得られてよい。すなわち、生成モデル５により処理可能であれば、対象楽曲データ２２１及び学習楽曲データ３１１の形式は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。生成モデル５より獲得可能であれば、新たな楽曲データ２２５及び新たな学習楽曲データ３２１（正解データ３２）の形式は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。一例として、生成モデル５は、難易度の変更前の楽曲の少なくとも一部の入力をトークン列の形式で受け付け、難易度を変更した新たな楽曲の少なくとも一部を生成した結果（推論結果）をトークン列の形式で出力するように構成されてよい。これに応じて、楽曲は、トークン列により表現されてよい。
これに応じて、

【0054】

生成モデル５がトークン列を取り扱うように構成される場合、学習の段階では、学習楽曲データ３１１は、難易度を変更する前の楽曲（元の楽曲）の少なくとも一部を示すように配列された入力トークン列により構成されてよい。学習楽曲データ３２１は、難易度の変更により得られる新たな楽曲（難易度パラメータ３１３により指定された難易度に学習楽曲データ３１１の楽曲の難易度を変更することで生成される新たな楽曲）の少なくとも一部を示すように配列された出力トークン列の真値により構成されてよい。

【0055】

同様に、生成（推論）の段階では、対象楽曲データ２２１は、難易度を変更する対象となる楽曲（元の楽曲）の少なくとも一部を示すように配列された入力トークン列により構成されてよい。訓練済みの生成モデル５により生成される新たな楽曲データ２２５は、難易度パラメータ２２３で指定された難易度に対象楽曲データ２２１の楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示すように配列された出力トークン列により構成されてよい。

【0056】

入力トークン列及び出力トークン列を構成するトークンには、例えば、数字、文字、図形等の任意の記号が適宜用いられてよい。トークンに用いられる記号（トークン表現）及びデータ形式は、コンピュータが認識可能であれば、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。以下、トークン化方式の一例として、動作ベース及び音符ベースの２つのトークン化方式を例示する。

【0057】

図５は、難易度を変更する前の楽曲の少なくとも一部の一例を示す譜面である。図６Ａは、動作ベースのトークン化方式により図５の楽曲から生成される入力トークン列の一例を示す。図６Ｂは、音符ベースのトークン化方式により図５の楽曲から生成される入力トークン列の一例を示す。図７は、難易度を変更した後の楽曲の少なくとも一部の一例を示す譜面である。図８Ａは、動作ベースのトークン化方式により、図７の楽曲に対応して得られる出力トークン列の真値の一例を示す。図８Ｂは、音符ベースのトークン化方式により、図７の楽曲に対応して得られる出力トークン列の真値の一例を示す。

【0058】

動作ベースのトークン化方式は、楽曲の音符又は要素に対応する動作を示すようにトークン化する方式である。表１は、動作ベースのトークン化方式におけるトークンの種別及びその表現の一例を示す。一方、音符ベースのトークン化方式は、楽曲の音符をそのまま示すようにトークン化する方式である。表２は、音符ベースのトークン化方式におけるトークンの種別及びその表現の一例を示す。なお、以下のトークンの種別及び表現は一例であり、実施の形態に応じて適宜変更されてよい。

【表1】

【表2】

【0059】

入力トークン列及び出力トークン列のトークン化方式及びトークン表現には、上記２つ方法のうちのいずれかが採用されてよい。各学習データセット３を獲得する方法の一例として、図５に例示される楽曲の少なくとも一部を示す演奏情報が適宜取得されてよい。当該演奏情報のデータ形式は、実施の形態に応じて適宜選択されてよい。一例として、演奏情報は、符号化データ（ＭＩＤＩ等）、楽譜等の形式で得られてよい。各学習データセット３の訓練データ３１における学習楽曲データ３１１は、得られた演奏情報から、図６Ａ又は図６Ｂに示される入力トークン列を含むように適宜生成されてよい。また、図５に例示される楽曲の少なくとも一部に対応して、図７に例示される難易度を変更した後の楽曲の真値を示す正解演奏情報が適宜得られてよい。各学習データセット３の正解データ３２を構成する新たな学習楽曲データ３２１は、得られた正解演奏情報から、図８Ａ又は図８Ｂに示される出力トークン列の真値を含むように適宜生成されてよい。入力トークン列及び出力トークン列の真値の生成には、例えば、自然言語処理等の任意の変換処理が採用されてよい。入力トークン列及び出力トークン列の真値は、人手による手作業により生成されてもよい。

【0060】

また、入力トークン列は、楽曲の拍節の位置を示すようにそれぞれ配置される複数の拍節トークンを含んでよい。これにより、入力トークン列は、楽曲の拍節構造を特定可能に構成されてよい。図６Ａ及び図６Ｂに例示される入力トークン列に含まれるトークンのうち「bar」及び「beat」が、拍節トークンの一例である。「bar」が、小節線を示すトークンの一例であり、「beat」が、拍（拍子）を示すトークンの一例である。

【0061】

各拍節トークンは、入力トークン列において、楽曲の小節線及び拍の少なくともいずれかの位置を示すように配置されてよい。小節線は、小節の区切りを示すものである。小節は、楽譜を読みやすくするために適当な長さで分割された区分である。拍は、音楽の時間的継続を分割する単位である。

【0062】

一例では、各拍節トークンは、小節線及び拍のいずれか一方のみを示すように配置されてよい。これにより、各拍節トークンを手掛かりに、楽曲の拍節構造を把握することができる。ただし、拍節構造は、楽曲によって異なる。途中で拍子の変わる楽曲も存在する。小節線及び拍のいずれか一方のみでは、様々なタイプの楽曲の拍節構造を完全に把握するのは困難である。そのため、各拍節トークンは、入力トークン列において、小節線及び拍それぞれの位置に配置されるのが好ましい。

【0063】

図８Ａ及び図８Ｂに例示されるとおり、出力トークン列も、生成された新たな楽曲（すなわち、難易度変更後の楽曲）の拍節の位置を示すようにそれぞれ配置される複数の拍節トークンを含んでよい。生成モデル５は、難易度を変更した後の新たな楽曲を生成した結果として、拍節トークンを含む出力トークン列を出力するように構成されてよい。入力トークン列と同様に、一例では、各拍節トークンは、出力トークン列において、小節線及び拍の少なくとも一方を示すように配置されてよい。各拍節トークンは、出力トークン列において、小節線及び拍それぞれの位置に配置されるのが好ましい。

【0064】

ここで、図６Ａ、図６Ｂ、図８Ａ及び図８Ｂにおける拍節トークンの表現（「bar」、「beat」）は一例である。拍節トークンの表現は、これらの例に限定されなくてよく、実施の形態に応じて適宜決定されてよい。拍節トークンには、例えば、数字、文字、図形等の任意の記号が適宜用いられてよい。拍節トークンに用いられる記号及びデータ形式は、コンピュータが認識可能であれば、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。

【0065】

なお、入力トークン列及び出力トークン列には、同一のトークン化方式及び同一のトークン表現が用いられてよい。上記一例では、入力トークン列及び出力トークン列には共に、動作ベース又は音符ベースのトークン化方式が採用されてよい。ただし、入力トークン列及び出力トークン列の形式は、このような例に限定されなくてもよい。入力トークン列及び出力トークン列には、必ずしも同一のトークン化方式及び同一のトークン表現を用いなければならない訳ではない。入力トークン列及び出力トークン列には、異なるトークン化方式及び異なるトークン表現のいずれかが採用されてよい。

【0066】

難易度を変更する対象である楽曲の少なくとも一部をコンピュータが認識可能であれば、入力トークン列に採用されるトークンの形式は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。難易度を変更した後の新たな楽曲の生成結果をコンピュータが認識可能であれば、出力トークン列に採用されるトークンの形式は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。また、拍節構造をコンピュータが認識可能であれば、拍節トークンの形式は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。難易度パラメータも同様にトークンで表現されてよい。

【0067】

（生成モデルの一例）
図９は、本実施形態に係る生成モデル５の構成の一例を模式的に例示する。生成モデル５は、機械学習により調整されるパラメータを有する機械学習モデルにより構成される。機械学習モデルの種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。難易度を変更する対象である元の楽曲及び難易度パラメータの入力を受け付け、難易度パラメータにより指定された難易度に元の楽曲の難易度を変更することで得られる新たな楽曲を生成した結果を出力するように構成されていれば、機械学習モデルの構造は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。一例として、機械学習モデルは、元の楽曲の入力をトークン列の形式で受け付け、新たな楽曲の生成結果をトークン列の形式で出力するように構成されてよい。この場合における機械学習モデルの構造の一例として、図９に示されるとおり、生成モデル５は、参考文献「Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, 2017.」で提案されるTransformerに基づいた構成を有してよい。Transformerは、系列データ（自然言語等）を処理する機械学習モデルであって、注意（Attention）ベースの構成を有する。

【0068】

図９の一例では、生成モデル５は、エンコーダ５０及びデコーダ５５を備える。エンコーダ５０は、自己注意を求める複数ヘッド注意層（Multi-Head Attention Layer）及びフィードフォワード層（Feed Forward Layer）をそれぞれ有する複数のブロックをスタックすることで構成された構造を有する。一方、デコーダ５５は、自己注意を求めるマスク化複数ヘッド注意層（Masked Multi-Head Attention Layer）、ソース・ターゲット注意を求める複数ヘッド注意層、及びフィードフォワード層をそれぞれ有する複数のブロックをスタックすることで構成された構造を有する。図９に示されるとおり、エンコーダ５０及びデコーダ５５の各層には、加算・正規化層（Addition and Normalization Layer）が設けられてよい。各層には、１つ以上のノードが含まれてよく、各ノードには、閾値が設定されてよい。閾値は、活性化関数により表現されてよい。また、隣接する層のノード間の結合には、重み（結合荷重）が設定されてよい。ノード間の結合の重み及び閾値が、生成モデル５のパラメータの一例である。

【0069】

図９の一例では、生成モデル５は、入力トークン列に含まれるトークンを先頭から順に受け付けるように構成される。生成モデル５に入力されたトークンは、入力エンベディング処理によって所定の次元数を有するベクトルにそれぞれ変換され、位置エンコーディング処理によって楽曲内（フレーズ内）での位置を特定する値が付与された後、エンコーダ５０に入力される。エンコーダ５０は、当該入力に対して、複数ヘッド注意層及びフィードフォワード層による処理をブロック数分だけ繰り返し実行して特徴表現を取得し、取得した特徴表現を次段のデコーダ５５（複数ヘッド注意層）に供給する。なお、難易度パラメータは、任意のタイミングで生成モデル５に入力されてよい。一例では、難易度パラメータの値は、入力トークン列の前に入力されてよい。

【0070】

デコーダ５５（マスク化複数ヘッド注意層）には、エンコーダ５０からの入力に加えて、デコーダ５５からの既知（過去）の出力が供給される。すなわち、図９に例示される生成モデル５は、再帰構造を有するように構成されている。デコーダ５５は、上記入力に対して、マスク化複数ヘッド注意層、複数ヘッド注意層、及びフィードフォワード層による処理をブロック数分だけ繰り返し実行して特徴表現を取得して出力する。デコーダ５５からの出力は、線形層及びソフトマックス層において変換され、新たな楽曲の生成結果を示すトークンとして得られる。

【0071】

学習処理部１１２は、各学習データセット３について、訓練データ３１を入力データとして用い、対応する正解データ３２（出力トークン列の真値）を教師信号として用いて、生成モデル５の機械学習を実施するように構成される。具体的には、学習処理部１１２は、各学習データセット３について、訓練データ３１に含まれる学習楽曲データ３１１（入力トークン列）及び難易度パラメータ３１３を生成モデル５に入力し、生成モデル５の演算処理を実行することで得られる出力トークン列が、対応する正解データ３２の新たな学習楽曲データ３２１（出力トークン列の真値）に適合するものとなるように生成モデル５を訓練するように構成される。換言すると、学習処理部１１２は、各学習データセット３について、学習楽曲データ３１１及び難易度パラメータ３１３から生成される出力トークン列と対応する正解データ３２により示される真値との間の誤差が小さくなるように生成モデル５のパラメータの値を調整するように構成される。パラメータの調整には、例えば、誤差逆伝播法等の任意の方法が用いられてよい。また、生成モデル５の機械学習の処理には、複数の正規化手法（例えば、ラベル平滑化、残差ドロップアウト、注意ドロップアウト）が適用されてよい。

【0072】

＜楽曲生成装置＞
図１０は、本実施形態に係る楽曲生成装置２のソフトウェア構成の一例を模式的に例示する。楽曲生成装置２の制御部２１は、記憶部２２に記憶された楽曲生成プログラム８２に含まれる命令を解釈し、解釈された命令に応じた制御処理を実行する。これにより、本実施形態に係る楽曲生成装置２は、データ取得部２１１、パラメータ取得部２１２、生成部２１３、及び出力部２１４をソフトウェアモジュールとして備えるように構成される。すなわち、本実施形態では、モデル生成装置１と同様に、楽曲生成装置２のソフトウェアモジュールは、制御部２１（ＣＰＵ）により実現される。

【0073】

データ取得部２１１は、難易度を変更する対象となる楽曲の少なくとも一部を示す対象楽曲データ２２１を取得するように構成される。生成モデル５がトークン列を取り扱いように構成される場合、対象楽曲データ２２１は、楽曲の少なくとも一部を示すように配列された入力トークン列を含むように構成されてよい。この場合、対象楽曲データ２２１に含まれる入力トークン列は、図６Ａ及び図６Ｂに例示される訓練データ３１の学習楽曲データ３１１と同様の形式で得られてよい。対象楽曲データ２２１に含まれる入力トークン列は、楽曲の拍節の位置を示すようにそれぞれ配置される複数の拍節トークンを含んでよい。一例では、各拍節トークンは、入力トークン列において、小節線及び拍の少なくとも一方を示すように配置されてよい。各拍節トークンは、入力トークン列において、小節線及び拍それぞれの位置に配置されるのが好ましい。

【0074】

パラメータ取得部２１２は、楽曲の変更後の難易度を指定するための難易度パラメータ２２３の値を取得する。難易度パラメータ２２３の値は、人手により指定されてもよいし、或いはコンピュータの処理により指定されてもよい。難易度パラメータ２２３の値は、任意の方法で取得されてよい。

【0075】

生成部２１３は、学習結果データ１２５を保持することで、訓練済みの生成モデル５を備えている。生成部２１３は、訓練済みの生成モデル５を使用することで、取得された対象楽曲データ２２１及び難易度パラメータ２２３の値から、難易度パラメータ２２３で指定された難易度に楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データ２２５を生成するように構成される。

【0076】

図９の一例では、生成部２１３は、対象楽曲データ２２１に含まれる入力トークン列及び難易度パラメータ２２３の値を訓練済みの生成モデル５のエンコーダ５０（具体的には、入力エンベディング層を経た後に、最初に配置された複数ヘッド注意層）に順次入力して、エンコーダ５０及びデコーダ５５の演算処理を実行する。この演算処理の結果、生成部２１３は、訓練済みの生成モデル５（図９の一例では、最後に配置されたソフトマックス層）から出力されるトークンを順次取得することで、新たな楽曲データ２２５を構成する出力トークン列を生成する。

【0077】

この処理の際、出力トークン列は、例えば、ビーム探索等の探索法を用いて生成されてよい。より具体的には、生成部２１３は、生成モデル５から出力された値の確率分布からスコアの高い順にｎ個の候補トークンを保持し、連続するｍ個における統合スコアが最も高くなるように候補トークンを選択することで、出力トークン列を生成してよい（ｎ，ｍは２以上の整数）。

【0078】

なお、生成される出力トークン列は、図８Ａ及び図８Ｂに例示される正解データ３２の新たな学習楽曲データ３２１と同様の形式で得られてよい。新たな楽曲データ２２５に含まれる出力トークン列は、楽曲の拍節の位置を示すようにそれぞれ配置される複数の拍節トークンを含んでよい。一例では、各拍節トークンは、出力トークン列において、小節線及び拍の少なくとも一方を示すように配置されてよい。各拍節トークンは、出力トークン列において、小節線及び拍それぞれの位置に配置されるのが好ましい。

【0079】

出力部２１４は、生成された新たな楽曲データ２２５を出力するように構成される。新たな楽曲データ２２５の出力形式は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。一例として、新たな楽曲データ２２５が出力トークン列により構成される場合、出力トークン列がそのまま出力されてよい。他の一例として、出力トークン列は適当な形式に変換されてよく、変換により得られた情報が出力されてもよい。

【0080】

＜その他＞
本実施形態に係るモデル生成装置１及び楽曲生成装置２の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、モデル生成装置１及び楽曲生成装置２の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、上記ソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ））により実現されてもよい。上記各モジュールは、ハードウェアモジュールとして実現されてもよい。また、モデル生成装置１及び楽曲生成装置２のソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

【0081】

§３ 動作例
＜モデル生成装置＞
図１１は、本実施形態に係るモデル生成装置１の処理手順の一例を示すフローチャートである。以下で説明するモデル生成装置１の処理手順は、モデル生成方法の一例である。ただし、以下で説明するモデル生成装置１の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

【0082】

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、訓練データ３１及び正解データ３２の組み合わせによりそれぞれ構成される複数の学習データセット３を取得する。

【0083】

各学習データセット３は、適宜生成されてよい。訓練データ３１の学習楽曲データ３１１は、難易度を変更する前の楽曲の少なくとも一部を示すように適宜生成されてよい。正解データ３２の新たな学習楽曲データ３２１は、難易度を変更した後の楽曲の少なくとも一部を示すように適宜生成されてよい。一例では、学習楽曲データ３１１は、図６Ａ又は図６Ｂに示される入力トークン列を含むように生成されてよく、新たな学習楽曲データ３２１は、図８Ａ又は図８Ｂに示される出力トークン列の真値を含むように生成されてよい。各トークン列は、例えば、符号化データ、楽譜等の他の形式の演奏情報から生成されてよい。或いは、各トークン列は、直接的に生成されてもよい。

【0084】

訓練データ３１の学習用の難易度パラメータ３１３は、変更後の難易度（すなわち、対応する正解データ３２により示される楽曲の難易度）を示すように適宜生成されてよい。一例では、難易度パラメータ３１３は、複数のレベルのうちのいずれかを示すように構成されてよい。他の一例では、難易度パラメータ３１３の値は、難易度に関連する１又は複数の要因に応じて定められてもよい。具体例として、難易度パラメータ３１３は、難易度を変更した後の新たな楽曲の演奏音域の幅及び当該新たな楽曲に使用する楽器における同時に操作する最大の操作子の数の少なくともいずれかを示すように構成されてよい。対応する訓練データ３１及び正解データ３２同士を関連付けることで、各学習データセット３を生成することができる。

【0085】

学習データセット３を生成する処理は、任意のコンピュータで実行されてよい。一例では、各学習データセット３を生成する処理は、モデル生成装置１（制御部１１）により実行されてよい。他の一例では、複数の学習データセット３の少なくとも一部は、他のコンピュータにより生成されてよい。この場合、モデル生成装置１（制御部１１）は、ネットワーク、記憶媒体９１等を介して、他のコンピュータにより生成された学習データセット３を取得してよい。取得する学習データセット３の件数は、機械学習に十分なように適宜決定されてよい。複数の学習データセット３を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

【0086】

（ステップＳ１０２）
ステップＳ１０２では、制御部１１は、学習処理部１１２として動作し、取得された複数の学習データセット３を使用して、生成モデル５の機械学習を実施する。

【0087】

機械学習の具体的な処理の一例として、制御部１１は、各学習データセット３の訓練データ３１に含まれる学習楽曲データ３１１及び難易度パラメータ３１３の値を生成モデル５に順次入力し、生成モデル５の演算処理を繰り返し実行し、出力されるトークンを順次取得する。この演算処理により、制御部１１は、訓練データ３１に対応する、難易度変更後の新たな楽曲の生成結果を示す出力トークン列を得ることができる。続いて、制御部１１は、得られた出力トークン列及び対応する正解データ３２に含まれる新たな学習楽曲データ３２１により示される真値の間の誤差を算出し、算出された誤差の勾配を更に算出する。制御部１１は、誤差逆伝播法により、算出された誤差の勾配を逆伝播することで、生成モデル５のパラメータの値の誤差を算出する。制御部１１は、算出された誤差に基づいて、生成モデル５のパラメータの値を調整する。制御部１１は、所定の条件（例えば、規定回数実行する、算出される誤差の和が閾値以下になる）を満たすまで、上記一連の処理による生成モデル５のパラメータの値の調整を繰り返してよい。

【0088】

この機械学習により、生成モデル５は、各学習データセット３について、訓練データ３１に含まれる学習楽曲データ３１１及び難易度パラメータ３１３の値から生成される楽曲データが正解データ３２に含まれる学習楽曲データ３２１に適合するように訓練される。したがって、機械学習の結果、与えられた楽曲の難易度を、難易度パラメータにより指定される難易度に変更することで、新たな楽曲を生成する能力を獲得した訓練済みの生成モデル５を生成することができる。機械学習の処理が完了すると、制御部１１は、次のステップＳ１０３に処理を進める。

【0089】

（ステップＳ１０３）
ステップＳ１０３では、制御部１１は、保存処理部１１３として動作し、機械学習により生成された訓練済みの生成モデル５に関する情報を学習結果データ１２５として生成する。学習結果データ１２５には、訓練済みの生成モデル５を再生するための情報が保持される。一例として、学習結果データ１２５は、上記機械学習の調整により得られた生成モデル５の各パラメータの値を示す情報を含んでよい。場合によって、学習結果データ１２５は、生成モデル５の構造を示す情報を含んでよい。構造は、例えば、層の数、各層の種類、各層に含まれるノードの数、隣接する層のノード同士の結合関係等により特定されてよい。制御部１１は、生成された学習結果データ１２５を所定の記憶領域に保存する。

【0090】

所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。記憶メディアは、例えば、ＣＤ、ＤＶＤ等であってよく、制御部１１は、ドライブ１７を介して記憶メディアに学習結果データ１２５を格納してもよい。外部記憶装置は、例えば、ＮＡＳ等のデータサーバであってよい。この場合、制御部１１は、通信インタフェース１３を利用して、ネットワークを介してデータサーバに学習結果データ１２５を格納してもよい。また、外部記憶装置は、例えば、モデル生成装置１に接続された外付けの記憶装置であってもよい。

【0091】

学習結果データ１２５の保存が完了すると、制御部１１は、本動作例に係るモデル生成装置１の処理手順を終了する。

【0092】

なお、生成された学習結果データ１２５は、任意のタイミングで楽曲生成装置２に提供されてよい。例えば、制御部１１は、ステップＳ１０３の処理として又はステップＳ１０３の処理とは別に、学習結果データ１２５を楽曲生成装置２に転送してもよい。楽曲生成装置２は、この転送を受信することで、学習結果データ１２５を取得してもよい。また、例えば、楽曲生成装置２は、通信インタフェース２３を利用して、モデル生成装置１又はデータサーバにネットワークを介してアクセスすることで、学習結果データ１２５を取得してもよい。また、例えば、楽曲生成装置２は、記憶媒体９２を介して、学習結果データ１２５を取得してもよい。また、例えば、学習結果データ１２５は、楽曲生成装置２に予め組み込まれてもよい。

【0093】

更に、制御部１１は、上記ステップＳ１０１～ステップＳ１０３の処理を定期又は不定期に繰り返すことで、学習結果データ１２５を更新又は新たに生成してもよい。この繰り返しの際に、機械学習に使用する複数の学習データセット３の少なくとも一部の変更、修正、追加、削除等が適宜実行されてよい。これにより、制御部１１は、訓練済みの生成モデル５を更新又は新たに生成してもよい。そして、制御部１１は、更新した又は新たに生成した学習結果データ１２５を任意の方法で楽曲生成装置２に提供することで、楽曲生成装置２の保持する学習結果データ１２５を更新してもよい。

【0094】

＜楽曲生成装置＞
図１２は、本実施形態に係る楽曲生成装置２の処理手順の一例を示すフローチャートである。以下で説明する楽曲生成装置２の処理手順は、楽曲生成方法の一例である。ただし、以下で説明する楽曲生成装置２の処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。また、以下の処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が行われてよい。

【0095】

（ステップＳ２０１）
ステップＳ２０１では、制御部２１は、データ取得部２１１として動作し、楽曲の少なくとも一部を示す対象楽曲データ２２１を取得する。

【0096】

対象楽曲データ２２１は、適宜生成されてよい。一例では、対象楽曲データ２２１は、楽曲の少なくとも一部を示すように配列された入力トークン列を含むように構成されてよい。この場合、入力トークン列は、例えば、符号化データ、楽譜等の他の形式の演奏情報から生成されてよい。或いは、入力トークン列は、直接的に生成されてもよい。

【0097】

また、対象楽曲データ２２１は、任意の経路で取得されてよい。一例では、対象楽曲データ２２１は、楽曲生成装置２において生成されてよい。この場合、制御部２１は、当該生成処理を実行した結果として、対象楽曲データ２２１を取得してよい。他の一例では、対象楽曲データ２２１の生成は、楽曲生成装置２以外の他のコンピュータにより実行されてよい。この場合、制御部２１は、例えば、ネットワーク、記憶媒体９２等を介して、対象楽曲データ２２１を取得してよい。対象楽曲データ２２１を取得すると、制御部２１は、次のステップＳ２０２に処理を進める。

【0098】

（ステップＳ２０２）
ステップＳ２０２では、制御部２１は、パラメータ取得部２１２として動作し、難易度パラメータ２２３の値を取得する。

【0099】

難易度パラメータ２２３の値は、任意の方法により取得されてよい。難易度パラメータ２２３の値は、例えば、オペレータによる手入力、指定可能な難易度のリストから選択、ランダム、任意の規則に従って決定等の方法により取得されてよい。

【0100】

訓練データ３１と同様に、一例では、難易度パラメータ２２３の値は、複数のレベルのうちのいずれかを示すように構成されてよい。他の一例では、難易度パラメータ２２３の値は、難易度に関連する１又は複数の要因に応じて定められてもよい。具体例として、難易度パラメータ２２３の値は、難易度を変更した後の新たな楽曲の演奏音域の幅及び当該新たな楽曲に使用する楽器における同時に操作する最大の操作子の数の少なくともいずれかを示すように構成されてよい。

【0101】

難易度パラメータ２２３の値を取得すると、制御部２１は、次のステップＳ２０３に処理を進める。なお、ステップＳ２０１及びステップＳ２０２の処理を実行するタイミングは、このような例に限定されなくてよい。他の一例では、ステップＳ２０２の処理が、ステップＳ２０１の処理よりも前に実行されてよい。更に他の一例では、ステップＳ２０１の処理及びステップＳ２０２の処理は並列的に実行されてもよい。

【0102】

（ステップＳ２０３）
ステップＳ２０３では、制御部２１は、生成部２１３として動作し、学習結果データ１２５を参照して、機械学習により訓練済みの生成モデル５の設定を行う。制御部２１は、訓練済みの生成モデル５を使用することで、取得された対象楽曲データ２２１及び難易度パラメータ２２３の値から、難易度パラメータ２２３で指定された難易度に楽曲の難易度を変更することで得られる新たな楽曲の少なくとも一部を示す新たな楽曲データ２２５を生成する。

【0103】

一例では、制御部２１は、対象楽曲データ２２１に含まれる入力トークン列及び難易度パラメータ２２３の値を訓練済みの生成モデル５に入力し、訓練済みの生成モデル５の演算処理を実行する。上記図９の一例では、制御部２１は、入力トークン列及び難易度パラメータ２２３の値を訓練済みの生成モデル５に順次入力し、訓練済みの生成モデル５の順伝播の演算処理を繰り返し実行することで、出力トークン列を構成するトークンを順次生成する。この演算処理の結果、制御部２１は、出力トークン列により構成される新たな楽曲データ２２５を訓練済みの生成モデル５から取得する。難易度の変更による新たな楽曲の生成（訓練済みの生成モデル５の演算処理）が完了すると、制御部２１は、次のステップＳ２０４に処理を進める。

【0104】

（ステップＳ２０４）
ステップＳ２０４では、制御部２１は、出力部２１４として動作し、ステップＳ２０３の処理により生成された新たな楽曲データ２２５を出力する。出力先及び出力形式は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。一例では、出力先は、例えば、ＲＡＭ、記憶部２２、記憶媒体、外部記憶装置、他のコンピュータ、他の装置等であってよい。また、一例では、制御部２１は、得られた新たな楽曲データ２２５（例えば、出力トークン列）をそのまま出力してよい。他の一例では、制御部２１は、新たな楽曲データ２２５を適当な形式に変換し、変換により得られた情報を出力してよい。具体例として、出力トークン列の形式で新たな楽曲データ２２５が得られる場合、制御部２１は、得られた出力トークン列を楽譜に変換し、得られた楽譜を出力してよい。この場合、制御部２１は、例えば、紙媒体に楽譜を印刷させるための指令を印刷装置（不図示）に出力してもよい。

【0105】

生成された新たな楽曲データ２２５の出力が完了すると、制御部２１は、本動作例に係る楽曲生成装置２の処理手順を終了する。なお、制御部２１は、例えば、オペレータからの要求に応じて、上記ステップＳ２０１～ステップＳ２０４の処理を定期又は不定期に繰り返し実行してよい。この繰り返しの際に、ステップＳ２０１で得る対象楽曲データ２２１の少なくとも一部及びステップＳ２０２で得る難易度パラメータ２２３の値の少なくともいずれかの変更、修正、追加、削除等が適宜行われてよい。これにより、制御部２１は、訓練済みの生成モデル５を用いて、難易度を変更した楽曲を様々なバリエーションで生成することができる。

【0106】

＜特徴＞
以上のとおり、本実施形態では、上記ステップＳ１０２の機械学習に使用される各学習データセット３の訓練データ３１は、変更後の難易度を示す学習用の難易度パラメータ３１３を含むように構成される。これにより、生成モデル５は、難易度パラメータ３１３で指定される難易度に基づいて、入力される元の楽曲（学習楽曲データ３１１）から新たな楽曲（新たな学習楽曲データ３２１）を生成するように訓練される。難易度パラメータによれば、生成される新たな楽曲の難易度を多様にコントロールすることができる。そのため、ステップＳ１０２の機械学習の処理により、難易度パラメータに基づいて様々な難易度の楽曲を生成する能力を獲得した訓練済みの生成モデル５を生成することができる。

【0107】

また、上記ステップＳ２０２では、変更後の難易度を指定するために、難易度パラメータ２２３の値が取得される。そして、ステップＳ２０３では、取得された難易度パラメータ２２３の値が、訓練済みの生成モデル５による新たな楽曲の生成処理に使用される。これにより、訓練済みの生成モデル５は、難易度パラメータ２２３の値に応じて、対象楽曲データ２２１により示される楽曲の難易度を変更する処理を実行することができる。その結果、様々な難易度の楽曲を容易に生成することができる。

【0108】

また、本実施形態において、難易度パラメータ（２２３、３１３）の値は、難易度を変更した後の新たな楽曲の演奏音域の幅及び当該新たな楽曲に使用する楽器における同時に操作する最大の操作子の数の少なくともいずれかを示すように構成されてよい。これにより、ステップＳ１０２の機械学習の処理では、生成される新たな楽曲の演奏音域幅及び最大操作子数の少なくともいずれかを難易度パラメータにより制御する能力を獲得した訓練済みの生成モデル５を生成することができる。ステップＳ２０３の生成処理では、様々な演奏音域幅の楽曲及び様々な最大操作子数の楽曲の少なくともいずれかを容易に生成することができる。

【0109】

また、本実施形態では、生成モデル５は、トークン列の形式で楽曲の入力を受け付けるように構成されてよい。そして、入力トークン列（対象楽曲データ２２１及び学習楽曲データ３１１）は、楽曲の拍節の位置を示すように配置された複数の拍節トークンを含むように構成されてよい。これにより、生成モデル５は、拍節トークンにより楽曲の拍節構造を把握した上で、新たな楽曲の生成処理を遂行することができる。そのため、ステップＳ１０２の機械学習の処理では、拍節構造に起因する時間的エラーの生じ難い訓練済みの生成モデル５を生成することができる。ステップＳ２０３の生成処理では、生成される新たな楽曲（新たな楽曲データ２２５）において、時間的エラーの生じる確率を低減することができる。

【0110】

また、本実施形態では、生成モデル５は、生成した新たな楽曲をトークン形式で出力するように構成されてよい。そして、出力トークン列（新たな楽曲データ２２５及び新たな学習楽曲データ３２１）は、入力トークン列と同様に、楽曲の拍節の位置を示すように配置された複数の拍節トークンを含むように構成されてよい。これにより、仮にステップＳ２０３の生成処理において時間的エラーが生じたとしても、出力トークン列に含まれる拍節トークンの位置に基づいて、生じた時間的エラーの生じた箇所を簡単に特定することができる。その結果、得られた新たな楽曲を簡単に修正することができる。ステップＳ１０２の機械学習の処理では、そのような能力を有する訓練済みの生成モデル５を生成することができる。

【0111】

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。

【0112】

例えば、上記実施形態では、生成モデル５として、Transformerの構成による再帰構造を有する機械学習モデル（図９）を例示した。しかしながら、再帰構造は、図９に示される例に限定されなくてよい。再帰構造は、対象より過去の入力を参照して、対象（現在）の入力に対する処理を実行可能に構成された構造を示す。このような演算が可能であれば、再帰構造は、特に限定されなくてよく、実施の形態に応じて適宜決定されてよい。他の一例では、再帰構造は、例えば、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long short-term memory）等の公知の構造により構成されてよい。

【0113】

上記実施形態では、生成モデル５は、再帰構造を有するように構成されている。しかしながら、生成モデル５の構成は、このような例に限定されなくてよい。再帰構造は省略されてよい。生成モデル５は、例えば、全結合型ニューラルネットワーク、畳み込みニューラルネットワーク等の公知の構造を有するニューラルネットワークにより構成されてよい。更に、入力トークン列を生成モデル５に入力する形態は、上記実施形態の例に限定されなくてよい。他の一例では、生成モデル５は、入力トークン列に含まれる複数のトークンを一度に受け付けるように構成されてもよい。

【0114】

上記実施形態において、生成モデル５の入力及び出力のデータ形式は、トークン列に限られなくてよく、任意のデータ形式が採用されてよい。楽曲及び難易度パラメータの入力を受け付け、難易度を変更した後の新たな楽曲を出力可能であれば、生成モデル５を構成する機械学習モデルの種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。上記実施形態において、複数の層を有する機械学習モデルにより生成モデル５を構成する場合、各層の種類は、実施の形態に応じて適宜選択されてよい。各層には、例えば、畳み込み層、プーリング層、ドロップアウト層、正規化層、全結合層等が採用されてよい。生成モデル５の構造に関して、適宜、構成要素の省略、置換及び追加が可能である。また、生成モデル５は、上記楽曲及び難易度パラメータ以外の情報の入力を更に受け付けるように構成されてもよい。生成モデル５は、上記新たな楽曲以外の情報を更に出力するように構成されてよい。

【0115】

§５ 参考例
拍節トークンの有効性を検証するために、以下の第１参考例及び第２参考例に係る訓練済みの生成モデルを生成し、生成された訓練済みの生成モデルの精度を評価した。

【0116】

具体的に、２６１３９６サンプル分のオリジナルの楽曲を用意し、上記表１、図６Ａ及び図８Ａに示される動作ベースのトークン化方式を採用して、用意した各サンプルの楽曲から訓練データを構成する入力トークン列を生成した。また、オリジナルの楽曲にそれぞれ対応する２６１３９６サンプル分の難易度を変更した楽曲を用意した。そして、入力トークン列と同様に、動作ベースのトークン化方式を採用して、難易度変更後の楽曲の各サンプルから、正解データを構成する出力トークン列の真値を生成した。生成された入力トークン列（訓練データ）と出力トークン列の真値（正解データ）とを対応付けることで、２６１３９６サンプル分の学習データセットを生成した。第１参考例では、図６Ａ及び図８Ａに示されるように、入力トークン列及び出力トークン列の真値それぞれに、小節線及び拍の位置に拍節トークンを配置することで、学習データセットを得た。一方、第２参考例では、入力トークン列及び出力トークン列の真値共に拍節トークンを入れずに（それ以外は、第１参考例と同じ）、学習データセットを得た。

【0117】

第１参考例及び第２参考例に係る生成モデルの構造には、図９に例示されるTransformerを採用した。上記実施形態と同様の方法により、用意した２６１３９６サンプル分の学習データセットを使用して、機械学習を実施することにより、第１参考例及び第２参考例に係る訓練済みの生成モデルを生成した。

【0118】

訓練データとは別に１０００サンプル分の楽曲（各サンプルは４小節分の時間長）を用意し、用意した楽曲から１０００サンプル分の入力トークン列（対象楽曲データ）を得た。学習データセットと同様に、第１参考例に係る入力トークン列には、小節線及び拍それぞれの位置に各拍節トークンを配置した。一方、第２参考例に係る入力トークン列には、拍節トークンを配置しなかった（それ以外は、第１参考例と同じ）。

【0119】

次に、第１参考例及び第２参考例それぞれの訓練済みの生成モデルを使用して、各サンプルの対象楽曲データから新たな楽曲データを示す出力トークン列を得た。そして、オリジナルの楽曲（すなわち、対象楽曲データにより示される楽曲）に対して、出力トークン列により示される難易度変更後の楽曲において拍数のずれが生じたか否かを評価した。その結果、第２参考例では、１７．４％の確率で拍数のずれが生じた。一方、第１参考例では、４．１％で拍数のずれが生じた。この結果から、拍節構造を示す拍節トークンを入れることで、時間的エラーが起きる確率を大きく低減できることが分かった。

【符号の説明】

【0120】

１…モデル生成装置、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…外部インタフェース、
１５…入力装置、１６…出力装置、１７…ドライブ、
８１…モデル生成プログラム、９１…記憶媒体、
１１１…学習データ取得部、１１２…学習処理部、
１１３…保存処理部、１２５…学習結果データ、
２…楽曲生成装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…外部インタフェース、
２５…入力装置、２６…出力装置、２７…ドライブ、
８２…楽曲生成プログラム、９２…記憶媒体、
２１１…データ取得部、２１２…パラメータ取得部、
２１３…生成部、２１４…出力部、
２２１…対象楽曲データ、２２３…難易度パラメータ、
２２５…新たな楽曲データ、
３…学習データセット、
３１…訓練データ、
３１１…学習楽曲データ、３１３…難易度パラメータ、
３２…正解データ、３２１…新たな学習楽曲データ、
５…生成モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】