特許 7605302 楽譜作成装置、訓練装置、楽譜作成方法および訓練方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-16

(45)【発行日】2024-12-24

(54)【発明の名称】楽譜作成装置、訓練装置、楽譜作成方法および訓練方法

(51)【国際特許分類】

   G10G 3/04 20060101AFI20241217BHJP

【ＦＩ】

G10G3/04

【請求項の数】 14

(21)【出願番号】P 2023522256

(86)(22)【出願日】2022-03-08

(86)【国際出願番号】 JP2022010125

(87)【国際公開番号】W WO2022244403

(87)【国際公開日】2022-11-24

【審査請求日】2023-11-10

(31)【優先権主張番号】P 2021084905

(32)【優先日】2021-05-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100108523

【弁理士】

【氏名又は名称】中川 雅博

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100187931

【弁理士】

【氏名又は名称】澤村 英幸

(72)【発明者】

【氏名】鈴木 正博

【審査官】大野 弘

(56)【参考文献】

【文献】特開２０１６－１３６２５１（ＪＰ，Ａ）

【文献】特開２０２０－００３５３６（ＪＰ，Ａ）

【文献】新村祐加 他，"弦楽器練習支援のための音符からの運指指定”，FIT2019 第18回情報科学技術フォーラム 講演論文集 第2分冊，2019年08月20日，pp.207-208

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｇ ３／０４

(57)【特許請求の範囲】

【請求項1】

複数の音符からなる音符列を受け付ける受付部と、
訓練済モデルを用いて、楽譜を作成するための各音符および属性情報を推定する推定部とを備え、
前記訓練済モデルは、複数の参照音符からなる参照音符列と、楽譜を作成するための各参照音符および参照属性情報との間の入出力関係を習得した機械学習モデルである、楽譜作成装置。

【請求項2】

推定された前記各音符および前記属性情報が記載された楽譜を示す楽譜情報を生成する生成部をさらに備える、請求項１記載の楽譜作成装置。

【請求項3】

前記推定部は、前記属性情報として調号を推定する、請求項１または２記載の楽譜作成装置。

【請求項4】

前記推定部は、前記属性情報として音価の分割および結合を推定する、請求項１～３のいずれか一項に記載の楽譜作成装置。

【請求項5】

前記推定部は、前記属性情報として音部を推定する、請求項１～４のいずれか一項に記載の楽譜作成装置。

【請求項6】

前記推定部は、前記属性情報として声部を推定する、請求項１～５のいずれか一項に記載の楽譜作成装置。

【請求項7】

推定された前記各音符および前記属性情報に基づいて臨時記号を判定する第１の判定部をさらに備える、請求項１～６のいずれか一項に記載の楽譜作成装置。

【請求項8】

推定された前記各音符および前記属性情報に基づいて拍子記号を判定する第２の判定部をさらに備える、請求項１～７のいずれか一項に記載の楽譜作成装置。

【請求項9】

音符、パートおよび拍節の情報を含む演奏用のデータである入力音符トークン列を受け付ける受付部と、
画像楽譜を音符描画、属性および小節の情報を含む楽譜要素トークン列にし、前記楽譜要素トークン列から学習用音符トークン列を作成し、前記学習用音符トークン列を入力として、楽譜トークンを出力とする学習を行わせた訓練済モデルを用いて前記入力音符トークン列から楽譜トークン列を推定する推定部と、
前記楽譜トークン列から画像楽譜を作成する作成部とを備える、楽譜作成装置。

【請求項10】

複数の参照音符からなる参照音符列を取得する第１の取得部と、
楽譜を作成するための各参照音符および参照属性情報を取得する第２の取得部と、
前記参照音符列と前記各参照音符および前記参照属性情報との間の入出力関係を習得した訓練済モデルを構築する構築部とを備える、訓練装置。

【請求項11】

複数の音符からなる音符列を受け付け、
訓練済モデルを用いて、楽譜を作成するための各音符および属性情報を推定し、
前記訓練済モデルは、複数の参照音符からなる参照音符列と、楽譜を作成するための各参照音符および参照属性情報との間の入出力関係を習得した機械学習モデルである、
コンピュータにより実行される、楽譜作成方法。

【請求項12】

複数の参照音符からなる参照音符列を取得し、
楽譜を作成するための各参照音符および参照属性情報を取得し、
前記参照音符列と前記各参照音符および前記参照属性情報との間の入出力関係を習得した訓練済モデルを構築する、
コンピュータにより実行される、訓練方法。

【請求項13】

コンピュータに楽譜作成方法を実行させるプログラムであって、
複数の音符からなる音符列を受け付ける処理と、
訓練済モデルを用いて、楽譜を作成するための各音符および属性情報を推定する処理とを、
前記コンピュータにより実行させ、
前記訓練済モデルは、複数の参照音符からなる参照音符列と、楽譜を作成するための各参照音符および参照属性情報との間の入出力関係を習得した機械学習モデルである、プログラム。

【請求項14】

コンピュータに訓練方法を実行させるプログラムであって、
複数の参照音符からなる参照音符列を取得する処理と、
楽譜を作成するための各参照音符および参照属性情報を取得する処理と、
前記参照音符列と前記各参照音符および前記参照属性情報との間の入出力関係を習得した訓練済モデルを構築する処理とを、
前記コンピュータに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、楽譜を作成するための楽譜作成装置、訓練装置、楽譜作成方法および訓練方法に関する。

【背景技術】

【0002】

楽譜を作成する技術として、例えば特許文献１または特許文献２が知られている。特許文献１には、ＭＩＤＩ（Musical Instrument Digital Interface）形式の自動演奏データを分析して楽譜表示データを生成することが記載されている。特許文献２には、スタンダードＭＩＤＩファイル等の音楽データオブジェクトから音符の特性を抽出し、音符の特性に基づいて関連する音符の音節を判断し、音符の特性に従って、視覚的な楽譜を生成することが記載されている。

【0003】

【文献】特開２００５－１９５８２７号公報

【文献】特表２０１８－５３３０７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

実用的な楽譜には、音符だけでなく、音符の種々の属性情報が記載される。しかしながら、特許文献１または特許文献２の技術では、ＭＩＤＩデータから属性情報を推定することができない。したがって、実用的な楽譜を作成することは困難である。

【0005】

本発明の目的は、実用的な楽譜を作成することが可能な楽譜作成装置、訓練装置、楽譜作成方法および訓練方法を提供することである。

【課題を解決するための手段】

【0006】

本発明の一局面に従う楽譜作成装置は、複数の音符からなる音符列を受け付ける受付部と、訓練済モデルを用いて、楽譜を作成するための各音符および属性情報を推定する推定部とを備え、訓練済モデルは、複数の参照音符からなる参照音符列と、楽譜を作成するための各参照音符および参照属性情報との間の入出力関係を習得した機械学習モデルである。

【0007】

本発明の他の局面に従う楽譜作成装置は、音符、パートおよび拍節の情報を含む演奏用のデータである入力音符トークン列を受け付ける受付部と、画像楽譜を音符描画、属性および小節の情報を含む楽譜要素トークン列にし、楽譜要素トークン列から学習用音符トークン列を作成し、学習用音符トークン列を入力として、楽譜トークンを出力とする学習を行わせた訓練済モデルを用いて入力音符トークン列から楽譜トークン列を推定する推定部と、楽譜トークン列から画像楽譜を作成する作成部とを備える。

【0008】

本発明のさらに他の局面に従う訓練装置は、複数の参照音符からなる参照音符列を取得する第１の取得部と、楽譜を作成するための各参照音符および参照属性情報を取得する第２の取得部と、参照音符列と各参照音符および参照属性情報との間の入出力関係を習得した訓練済モデルを構築する構築部とを備える。

【0009】

本発明のさらに他の局面に従う楽譜作成方法は、複数の音符からなる音符列を受け付け、訓練済モデルを用いて、楽譜を作成するための各音符および属性情報を推定し、訓練済モデルは、複数の参照音符からなる参照音符列と、楽譜を作成するための各参照音符および参照属性情報との間の入出力関係を習得した機械学習モデルであり、コンピュータにより実行される。

【0010】

本発明のさらに他の局面に従う訓練方法は、複数の参照音符からなる参照音符列を取得し、楽譜を作成するための各参照音符および参照属性情報を取得し、参照音符列と各参照音符および参照属性情報との間の入出力関係を習得した訓練済モデルを構築し、コンピュータにより実行される。
本発明のさらに他の局面に従うプログラムは、コンピュータに楽譜作成方法を実行させるプログラムであって、複数の音符からなる音符列を受け付ける処理と、訓練済モデルを用いて、楽譜を作成するための各音符および属性情報を推定する処理とを、コンピュータにより実行させ、訓練済モデルは、複数の参照音符からなる参照音符列と、楽譜を作成するための各参照音符および参照属性情報との間の入出力関係を習得した機械学習モデルである。
本発明のさらに他の局面に従うプログラムは、コンピュータに訓練方法を実行させるプログラムであって、複数の参照音符からなる参照音符列を取得する処理と、楽譜を作成するための各参照音符および参照属性情報を取得する処理と、参照音符列と各参照音符および参照属性情報との間の入出力関係を習得した訓練済モデルを構築する処理とを、コンピュータに実行させる。

【発明の効果】

【0011】

本発明によれば、実用的な楽譜を作成することができる。

【図面の簡単な説明】

【0012】

【図1】図１は本発明の一実施の形態に係る楽譜作成装置および訓練装置を含む処理システムの構成を示すブロック図である。

【図2】図２は各訓練データにおける学習用音符トークン列の一例を示す図である。

【図3】図３は図２の学習用音符トークン列により示されるピアノロールである。

【図4】図４は各訓練データにおける楽譜要素トークン列の一例を示す図である。

【図5】図５は図４の楽譜要素トークン列により示される楽譜である。

【図6】図６は各訓練データにおける楽譜要素トークン列の他の例を示す図である。

【図7】図７は音部を記述する楽譜要素トークン列の他の例を示す図である。

【図8】図８は音部を記述する楽譜要素トークン列の他の例を示す図である。

【図9】図９は声部を記述する楽譜要素トークン列の一例を示す図である。

【図10】図１０は訓練装置および楽譜作成装置の構成を示すブロック図である。

【図11】図１１は画像楽譜の一例を示す図である。

【図12】図１２は図１０の訓練装置による訓練処理の一例を示すフローチャートである。

【図13】図１３は図１０の楽譜作成装置による楽譜作成処理の一例を示すフローチャートである。

【図14】図１４は他の実施の形態における受付部の動作を説明するための図である。

【発明を実施するための形態】

【0013】

（１）処理システムの構成
以下、本発明の実施の形態に係る楽譜作成装置、訓練装置、楽譜作成方法および訓練方法について図面を用いて詳細に説明する。図１は、本発明の一実施の形態に係る楽譜作成装置および訓練装置を含む処理システムの構成を示すブロック図である。図１に示すように、処理システム１００は、ＲＡＭ（ランダムアクセスメモリ）１１０、ＲＯＭ（リードオンリメモリ）１２０、ＣＰＵ（中央演算処理装置）１３０、記憶部１４０、操作部１５０および表示部１６０を備える。

【0014】

処理システム１００は、パーソナルコンピュータ、タブレット端末またはスマートフォン等のコンピュータにより実現される。あるいは、処理システム１００は、イーサネット等の通信路により接続された複数のコンピュータの共同動作により実現されてもよいし、電子ピアノ等の演奏機能を備えた電子楽器により実現されてもよい。

【0015】

ＲＡＭ１１０、ＲＯＭ１２０、ＣＰＵ１３０、記憶部１４０、操作部１５０および表示部１６０は、バス１７０に接続される。ＲＡＭ１１０、ＲＯＭ１２０およびＣＰＵ１３０により訓練装置１０および楽譜作成装置２０が構成される。本実施の形態では、訓練装置１０と楽譜作成装置２０とは共通の処理システム１００により構成されるが、別個の処理システムにより構成されてもよい。

【0016】

ＲＡＭ１１０は、例えば揮発性メモリからなり、ＣＰＵ１３０の作業領域として用いられる。ＲＯＭ１２０は、例えば不揮発性メモリからなり、訓練プログラムおよび楽譜作成プログラムを記憶する。ＣＰＵ１３０は、ＲＯＭ１２０に記憶された訓練プログラムをＲＡＭ１１０上で実行することにより訓練処理を行う。また、ＣＰＵ１３０は、ＲＯＭ１２０に記憶された楽譜作成プログラムをＲＡＭ１１０上で実行することにより楽譜作成処理を行う。訓練処理および楽譜作成処理の詳細については後述する。

【0017】

訓練プログラムまたは楽譜作成プログラムは、ＲＯＭ１２０ではなく記憶部１４０に記憶されてもよい。あるいは、訓練プログラムまたは楽譜作成プログラムは、コンピュータが読み取り可能な記憶媒体に記憶された形態で提供され、ＲＯＭ１２０または記憶部１４０にインストールされてもよい。あるいは、処理システム１００がインターネット等のネットワークに接続されている場合には、当該ネットワーク上のサーバ（クラウドサーバを含む。）から配信された訓練プログラムまたは楽譜作成プログラムがＲＯＭ１２０または記憶部１４０にインストールされてもよい。

【0018】

記憶部１４０は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、訓練済モデルＭおよび複数の訓練データＤを記憶する。訓練済モデルＭまたは各訓練データＤは、記憶部１４０に記憶されず、コンピュータが読み取り可能な記憶媒体に記憶されていてもよい。あるいは、処理システム１００がネットワークに接続されている場合には、訓練済モデルＭまたは各訓練データＤは、当該ネットワーク上のサーバに記憶されていてもよい。

【0019】

訓練済モデルＭは、楽譜を作成するための各音符および属性情報を推定するために訓練された機械学習モデルであり、複数の訓練データＤを用いて構築される。訓練データＤは、参照音符列と、各参照音符および参照属性情報との組を示す。参照音符列は、例えばＭＩＤＩから生成可能な複数の参照音符からなる学習用音符トークン列として示される。各参照音符および参照属性情報は、楽譜要素トークン列として示される。

【0020】

訓練データＤは、後述する図５の画像楽譜を示す画像データであってもよい。この場合、訓練データＤが示す画像楽譜から学習用音符トークン列および楽譜要素トークン列が作成される。訓練済モデルＭは、学習用音符トークン列と、楽譜要素トークン列との間の入出力関係を習得することにより構築される。以下、学習用音符トークン列および楽譜要素トークン列の詳細について説明する。

【0021】

（２）学習用音符トークン列
本実施の形態においては、学習用音符トークン列には、参照音符列に加えて、パートおよび拍節構造が含まれる。図２は、各訓練データＤにおける学習用音符トークン列の一例を示す図である。図３は、図２の学習用音符トークン列Ａにより示されるピアノロールである。

【0022】

図２に示すように、学習用音符トークン列Ａは、基本的に時系列順に配列されたトークンＡ０～Ａ２４を含む複数のトークンにより記述される。各トークンは、音楽要素を記号化したものであり、一部のトークンは属性を有する。トークンの属性は、当該トークンの後半（アンダーバーの後）に記述される。図２の学習用音符トークン列Ａは、曲の先頭の２小節分を抜粋したデータである。

【0023】

トークンＡ０はパートを示す。トークンＡ０として、“Ｒ”および“Ｌ”は、それぞれ右手および左手のパートを示す。本例では、“Ｒ”の後に右手のトークン列が配置される。その後に“Ｌ”が配置され、“Ｌ”の後に左手のトークン列が配置される。“Ｒ”および右手のトークン列は、左手のトークン列の後に配置されてもよい。また、トークンＡ０は学習用音符トークン列Ａにおける先頭、すなわち参照音符列（トークンＡ１～Ａ２４）の前に配置されるが、学習用音符トークン列Ａにおける任意の位置に配置されてもよい。パートの区別がない場合、学習用音符トークン列ＡはトークンＡ０を含まない。

【0024】

トークンＡ１～Ａ２４は、参照音符列に対応する。参照音符列における参照音符は、音高と音価との組により示される。音高は、トークンＡ１，Ａ３等における“ｎｏｔｅ”の属性により記述される。音価は、トークンＡ２，Ａ４等における“ｌｅｎ”の属性により記述される。図２の例では、音高が“７３”で３６単位時間の参照音符がトークンＡ１，Ａ２の組により示され、音高が“６９”で３６単位時間の参照音符がトークンＡ３，Ａ４の組により示される。なお、図３のピアノロールにおいては、鍵“Ｃ５”が音高“７２”に対応する。

【0025】

“ｂａｒ”、“ｂｅａｔ”および“ｐｏｓ”は、拍節構造を示すトークンである。学習用音符トークン列Ａにおいては、“ｂａｒ”により小節が区切られ、“ｂｅａｔ”により拍が区切られる。また、参照音符の拍内の位置が“ｐｏｓ”の属性により記述される。図２の例では、１小節は４拍である。また、１拍の長さは１２単位である。

【0026】

トークンＡ１からトークンＡ１２の一部（トークンＡ１２の６単位長分）は、第１小節の参照音符列を示す。したがって、トークンＡ１～Ａ１２は、トークンＡ１の前の“ｂａｒ”と、トークンＡ１２の後の“ｂａｒ”とにより小節に区切られる。また、第１小節は、トークンＡ４の後の３つの“ｂｅａｔ”により拍に区切られる。同様に、トークンＡ１２の残りの部分からトークンＡ２４の一部（トークンＡ２４の６単位長分）は、第２小節の参照音符列を示す。

【0027】

（３）楽譜要素トークン列
本実施の形態においては、楽譜要素トークン列には、画像楽譜を作成するための音符描画、属性および小節の情報が含まれる。図４は、各訓練データＤにおける楽譜要素トークン列の一例を示す図である。図５は、図４の楽譜要素トークン列Ｂにより示される楽譜である。

【0028】

図４に示すように、楽譜要素トークン列Ｂは、基本的に時系列順に配列されたトークンＢ１～Ｂ３８を含む複数のトークンにより記述される。学習用音符トークン列Ａのトークンと同様に、一部のトークンは属性を有する。トークンの属性は、当該トークンの後半に記述される。また、学習用音符トークン列Ａと同様に、楽譜要素トークン列Ｂは、パートを示す“Ｒ”および“Ｌ”のトークンを含んでもよい。

【0029】

楽譜要素トークン列Ｂにおいても、“ｂａｒ”により小節が区切られる。図４の例では、トークンＢ１の前の“ｂａｒ”およびトークンＢ１５の後の“ｂａｒ”により区切られた範囲が第１小節に対応する。したがって、トークンＢ１～Ｂ１５は、図２の学習用音符トークン列Ａの第１小節に対応する。同様に、トークンＢ１６の前の“ｂａｒ”およびトークンＢ３８の後の“ｂａｒ”により区切られた範囲が第２小節に対応する。したがって、トークンＢ１６～Ｂ３８は、学習用音符トークン列Ａの第２小節に対応する。

【0030】

楽譜要素トークン列Ｂにおいても、参照音符列における参照音符は、音高と音価との組により示される。音高は“ｎｏｔｅ”の属性により記述され、音価は“ｌｅｎ”の属性により記述される。なお、学習用音符トークン列Ａにおいては、“ｌｅｎ＿１２”が１拍に相当するが、楽譜要素トークン列Ｂにおいては、“ｌｅｎ＿１”が１拍に相当する。参照音符の符幹の方向は、“ｓｔｅｍ”の属性により記述される。“ｓｔｅｍ”の属性が“ｄｏｗｎ”の場合には、符幹は符頭から下に延びるように描画される。一方、“ｓｔｅｍ”の属性が“ｕｐ”の場合には、符幹は符頭から上に延びるように描画される。

【0031】

図４の例では、トークンＢ３～Ｂ６は図５の参照音符Ｎ１を示し、トークンＢ７～Ｂ１０は参照音符Ｎ２を示し、トークンＢ１１～Ｂ１４は参照音符Ｎ３を示し、トークンＢ１６～Ｂ１９は参照音符Ｎ４を示す。トークンＢ２１～Ｂ２４は参照音符Ｎ５を示し、トークンＢ２６～Ｂ２９は参照音符Ｎ６を示し、トークンＢ３０～Ｂ３３は参照音符Ｎ７を示し、トークンＢ３４～Ｂ３７は、参照音符Ｎ８を示す。トークンＢ９，Ｂ１３等において、“ｌｅｎ”の属性は１／２等の分数により記述されるが、０．５等の小数により記述されてもよい。

【0032】

参照音符列における参照休符は、“ｒｅｓｔ”のトークンにより記述される。参照休符の音価は、参照音符と同様に“ｌｅｎ”の属性により記述される。“ｂｅａｍ”のトークンを用いることにより、８分音符または１６分音符等の複数の参照音符を連桁によりつなげることができる。連桁の開始位置および終了位置は、“ｂｅａｍ”の属性“ｓｔａｒｔ”および“ｓｔｏｐ”によりそれぞれ記述される。

【0033】

図６は、各訓練データＤにおける楽譜要素トークン列Ｂの他の例を示す図である。図６の上段には、楽譜要素トークン列Ｂの一部が示され、下段には、上段の楽譜要素トークン列Ｂに相当する画像楽譜が示される。後述する図７～図９においても同様である。図６の楽譜要素トークン列ＢにおけるトークンＢ７～Ｂ１４は、図４の楽譜要素トークン列ＢのトークンＢ７～Ｂ１４と同じである。

【0034】

図６に示すように、トークンＢ７の前に“ｂｅａｍ＿ｓｔａｒｔ”が配置され、トークンＢ１４の後に“ｂｅａｍ＿ｓｔｏｐ”が配置される。すなわち、参照音符Ｎ２に対応するトークンＢ７～Ｂ１０と、参照音符Ｎ３に対応するトークンＢ１１～Ｂ１４とが、“ｂｅａｍ＿ｓｔａｒｔ”と“ｂｅａｍ＿ｓｔｏｐ”とにより挟まれる。これにより、図６の一点鎖線で示すように、画像楽譜において、参照音符Ｎ２と参照音符Ｎ３とが連桁によりつながれる。

【0035】

（４）参照属性情報
楽譜要素トークン列Ｂは、上記の音符描画および休符描画のためのトークンに加えて、調号、音価の分割および結合、音部または声部を参照属性情報として記述するトークンを含む。以下、楽譜要素トークン列Ｂにおける参照属性情報の具体例を説明する。調号、音価の分割および結合、ならびに音部を記述する楽譜要素トークン列Ｂの説明として、図４および図５を参照する。

【0036】

図４のトークンＢ２で示すように、調号は、“ｋｅｙ”のトークンにより記述される。調号の種類は、“ｋｅｙ”の属性により記述される。例えば、シャープおよびナチュラルは、“ｋｅｙ”の属性“ｓｈａｒｐ”および“ｎａｔｕｒａｌ”によりそれぞれ記述される。また、調号の数は、“ｋｅｙ”のさらなる属性により記述される。したがって、トークンＢ２により、図５の一点鎖線で囲まれた３つのシャープが記述される。調号を記述するトークンは、画像楽譜における段の先頭および調号の変更位置に出現する。

【0037】

音価の分割および結合は、図５の二点鎖線で囲まれた演奏記号タイにより示される。図４のトークンＢ１５，Ｂ２０，Ｂ２５，Ｂ３８で示すように、演奏記号タイは、“ｔｉｅ”のトークンにより記述される。演奏記号タイの開始位置および終了位置は、“ｔｉｅ”の属性“ｓｔａｒｔ”および“ｓｔｏｐ”によりそれぞれ記述される。

【0038】

図４のトークンＢ１で示すように、音部記号は、“ｃｌｅｆ”のトークンにより記述される。音部記号の種類は、“ｃｌｅｆ”の属性により記述される。例えば、ト音記号およびヘ音記号は、“ｃｌｅｆ”の属性“ｔｒｅｂｌｅ”および“ｂａｓｓ”によりそれぞれ記述される。したがって、トークンＢ１により、図５の音部記号Ｃとしてト音記号が記述される。音部記号を記述するトークンは、画像楽譜における段の先頭および音部記号の変更位置に出現する。

【0039】

図７および図８は、音部を記述する楽譜要素トークン列Ｂの他の例を示す図である。図７の一点鎖線で囲まれた１オクターブ上のオクターブ線は、“８ｖａ”のトークンにより記述される。図８の一点鎖線で囲まれた１オクターブ下のオクターブ線は、“８ｖｂ”のトークンにより記述される。オクターブ線の開始位置および終了位置は、“８ｖａ”または“８ｖｂ”の属性“ｓｔａｒｔ”および“ｓｔｏｐ”によりそれぞれ記述される。

【0040】

図９は、声部を記述する楽譜要素トークン列Ｂの一例を示す図である。図９の一点鎖線で囲まれた一方の声部の開始位置および終了位置は、一組の“ｖｏｉｃｅ”および“／ｖｏｉｃｅ”のトークンによりそれぞれ記述される。図９の二点鎖線で囲まれた他方の声部の開始位置および終了位置は、上記の一組の“ｖｏｉｃｅ”および“／ｖｏｉｃｅ”の後に配置された他の一組の“ｖｏｉｃｅ”および“／ｖｏｉｃｅ”のトークンによりそれぞれ記述される。

【0041】

（５）訓練装置
図１０は、訓練装置１０および楽譜作成装置２０の構成を示すブロック図である。図１０に示すように、訓練装置１０は、機能部として、第１の取得部１１、第２の取得部１２および構築部１３を含む。図１のＣＰＵ１３０が訓練プログラムを実行することにより、訓練装置１０の機能部が実現される。訓練装置１０の機能部の少なくとも一部は、電子回路等のハードウエアにより実現されてもよい。

【0042】

第１の取得部１１は、記憶部１４０等に記憶された各訓練データＤに基づいて、参照音符列、パートおよび拍節構造を含む学習用音符トークン列Ａを取得する。本例では、後述する第２の取得部１２により取得された楽譜要素トークン列Ｂから一部のトークン列が抽出されることにより学習用音符トークン列Ａが取得される。

【0043】

第２の取得部１２は、記憶部１４０等に記憶された各訓練データＤに基づいて、音符描画、属性および小節の情報を含む楽譜要素トークン列Ｂを取得する。本例では、画像楽譜が解析されることにより、画像楽譜に含まれる音符描画、属性および小節が時系列順に抽出される。また、時系列順に抽出された音符描画、属性および小節の各々が予め定められた変換テーブルに従ってトークンに変換される。これにより、楽譜要素トークン列Ｂが取得される。

【0044】

構築部１３は、各訓練データＤについて、第１の取得部１１により取得された学習用音符トークン列Ａを入力とし、第２の取得部１２により取得された楽譜要素トークン列Ｂを出力とする学習を機械学習モデルに行わせる。複数の訓練データＤについて機械学習を繰り返すことにより、構築部１３は、学習用音符トークン列Ａと楽譜要素トークン列Ｂとの間の入出力関係を示す訓練済モデルＭを構築する。

【0045】

本例では、構築部１３はＴｒａｎｓｆｏｒｍｅｒを訓練することにより訓練済モデルＭを構築するが、実施の形態はこれに限定されない。構築部１３は、時系列を扱う他の方式の機械学習モデルを訓練することにより訓練済モデルＭを構築してもよい。構築部１３により構築された訓練済モデルＭは、例えば記憶部１４０に記憶される。構築部１３により構築された訓練済モデルＭは、ネットワーク上のサーバ等に記憶されてもよい。

【0046】

楽譜作成装置２０は、機能部として、受付部２１、推定部２２、第１の判定部２３、第２の判定部２４および生成部２５を含む。図１のＣＰＵ１３０が楽譜作成プログラムを実行することにより、楽譜作成装置２０の機能部が実現される。楽譜作成装置２０の機能部の少なくとも一部は、電子回路等のハードウエアにより実現されてもよい。また、楽譜作成装置２０は、楽譜浄書ソフトウエアまたはデジタル・オーディオ・ワークステーション（ＤＡＷ）に組み込まれてもよい。

【0047】

受付部２１は、複数の音符からなる音符列を含む入力音符トークン列を受け付ける。使用者は、操作部１５０を操作することにより入力音符トークン列を生成し、受付部２１に与えることができる。入力音符トークン列は、図２の学習用音符トークン列Ａと同様の構成を有する。つまり、入力音符トークン列は、音符列に加えて、パートおよび拍節構造を有する。

【0048】

推定部２２は、記憶部１４０等に記憶された訓練済モデルＭを用いて、入力音符トークン列から楽譜を作成するための音符および属性情報を含む楽譜トークン列を推定する。楽譜トークン列は、受付部２１により受け付けられた入力音符トークン列に対応するトークン列を示し、音符列、パートおよび拍節構造に基づいて推定される。入力音符トークン列が学習用音符トークン列Ａと同様の構成を有することにより、楽譜トークン列は楽譜要素トークン列Ｂと同様の構成を有する。

【0049】

第１の判定部２３は、推定部２２により推定された楽譜トークン列に基づいて、臨時記号を判定する。臨時記号は、例えば楽譜トークン列における調号および音高から判定される。後続の臨時記号の判定には、先行音符の臨時記号がさらに用いられてもよい。第２の判定部２４は、推定部２２により推定された楽譜トークン列に基づいて拍子記号を判定する。拍子記号は、例えば楽譜トークン列における各小節の拍数から判定される。

【0050】

生成部２５は、推定部２２により推定された楽譜トークン列から各音符および属性情報が記載された楽譜を示す楽譜情報を生成する。すなわち、生成部２５は、作成部として機能し、楽譜トークン列から楽譜フォーマットで楽譜情報を生成する。楽譜情報は、ＭｕｓｉｃＸＭＬ形式等のテキストデータであってもよい。表示部１６０には、生成部２５により生成された楽譜情報が示す画像楽譜が表示される。

【0051】

図１１は、画像楽譜の一例を示す図である。図１１に示すように、画像楽譜には、第１の判定部２３により判定された臨時記号Ｘがさらに記載されてもよい。また、画像楽譜には、第２の判定部２４により判定された拍子記号Ｙがさらに記載されてもよい。ここで、拍子に変更がない限り、拍子記号Ｙは楽譜の先頭にのみ記載されてもよい。

【0052】

（６）訓練処理および楽譜作成処理
図１２は、図１０の訓練装置１０による訓練処理の一例を示すフローチャートである。図１２の訓練処理は、図１のＣＰＵ１３０が訓練プログラムを実行することにより行われる。まず、第２の取得部１２は、各訓練データＤから楽譜要素トークン列Ｂを取得する（ステップＳ１）。第１の取得部１１は、ステップＳ１で取得された楽譜要素トークン列Ｂから、当該楽譜要素トークン列Ｂに対応する学習用音符トークン列Ａを取得する（ステップＳ２）。

【0053】

次に、構築部１３は、各訓練データＤについて、ステップＳ１で取得された楽譜要素トークン列Ｂを出力トークンとし、ステップＳ２で取得された学習用音符トークン列Ａを入力トークンとする機械学習を行う（ステップＳ３）。続いて、構築部１３は、十分な機械学習が実行されたか否かを判定する（ステップＳ４）。機械学習が不十分な場合、構築部１３はステップＳ３に戻る。十分な機械学習が実行されるまで、パラメータが変化されつつステップＳ３，Ｓ４が繰り返される。機械学習の繰り返し回数は、構築される訓練済モデルＭが満たすべき品質条件に応じて変化する。

【0054】

十分な機械学習が実行された場合、構築部１３は、ステップＳ３の機械学習により習得した学習用音符トークン列Ａと楽譜要素トークン列Ｂとの間の入出力関係を訓練済モデルＭとして保存する（ステップＳ５）。これにより、訓練処理が終了する。

【0055】

図１３は、図１０の楽譜作成装置２０による楽譜作成処理の一例を示すフローチャートである。図１３の楽譜作成処理は、図１のＣＰＵ１３０が楽譜作成プログラムを実行することにより行われる。まず、受付部２１は、入力音符トークン列を受け付ける（ステップＳ１１）。次に、推定部２２は、訓練処理のステップＳ５で保存された訓練済モデルＭを用いて、ステップＳ１１で受け付けられた入力音符トークン列から楽譜トークン列を推定する（ステップＳ１２）。

【0056】

続いて、第１の判定部２３は、ステップＳ１２で推定された楽譜トークン列に基づいて、臨時記号を判定する（ステップＳ１３）。また、第２の判定部２４は、ステップＳ１２で推定された楽譜トークン列に基づいて、拍子記号を判定する（ステップＳ１４）。ステップＳ１３，Ｓ１４は、いずれが先に実行されてもよいし、同時に実行されてもよい。

【0057】

その後、生成部２５は、ステップＳ１２で推定された楽譜トークン列、ステップＳ１３で判定された臨時記号およびステップＳ１４で判定された拍子記号に基づいて楽譜情報を生成する（ステップＳ１５）。生成された楽譜情報に基づいて、画像楽譜が表示部１６０に表示されてもよい。これにより、楽譜作成処理が終了する。

【0058】

（７）実施の形態の効果
以上説明したように、本実施の形態に係る楽譜作成装置２０は、複数の音符からなる音符列を受け付ける受付部２１と、訓練済モデルＭを用いて、楽譜を作成するための各音符および属性情報を推定する推定部２２とを備える。訓練済モデルＭは、複数の参照音符からなる参照音符列と、楽譜を作成するための各参照音符および参照属性情報との間の入出力関係を習得した機械学習モデルである。

【0059】

この構成によれば、訓練済モデルＭを用いて、音符列に対応する各音符および属性情報が推定されるので、楽譜に音符だけでなく、属性情報を記載することが可能となる。これにより、実用的な楽譜を作成することができる。

【0060】

楽譜作成装置２０は、推定された各音符および属性情報が記載された楽譜を示す楽譜情報を生成する生成部２５をさらに備えてもよい。この場合、使用者は、各音符および属性情報から楽譜情報を生成する必要がないので、ユーザビリティが向上する。

【0061】

すなわち、本実施の形態に係る楽譜作成装置２０は、音符、パートおよび拍節の情報を含む演奏用のデータである入力音符トークン列を受け付ける受付部２１と、画像楽譜を音符描画、属性および小節の情報を含む楽譜要素トークン列にし、楽譜要素トークン列から学習用音符トークン列を作成し、学習用音符トークン列を入力として、楽譜トークンを出力とする学習を行わせた訓練済モデルＭを用いて入力音符トークン列から楽譜トークン列を推定する推定部２２と、楽譜トークン列から画像楽譜を作成する作成部とを備えてもよい。

【0062】

推定部２２は、属性情報として調号を推定してもよい。推定部２２は、属性情報として音価の分割および結合を推定してもよい。推定部２２は、属性情報として音部を推定してもよい。推定部２２は、属性情報として声部を推定してもよい。楽譜作成装置２０は、推定された各音符および属性情報に基づいて臨時記号を判定する第１の判定部２３をさらに備えてもよい。楽譜作成装置２０は、推定された各音符および属性情報に基づいて拍子記号を判定する第２の判定部２４をさらに備えてもよい。これらの場合、より実用的な楽譜を作成することができる。

【0063】

本実施の形態に係る訓練装置１０は、複数の参照音符からなる参照音符列を取得する第１の取得部１１と、楽譜を作成するための各参照音符および参照属性情報を取得する第２の取得部１２と、参照音符列と各参照音符および参照属性情報との間の入出力関係を習得した訓練済モデルＭを構築する構築部１３とを備える。この構成によれば、参照音符列と各参照音符および参照属性情報との間の入出力関係を習得した訓練済モデルＭを容易に構築することができる。

【0064】

（８）他の実施の形態
上記実施の形態において、学習用音符トークン列Ａはパートおよび拍節構造を含むが、実施の形態はこれに限定されない。学習用音符トークン列Ａは、参照音符列を含めばよく、パートおよび拍節構造を含まなくてもよい。入力音符トークン列についても同様である。また、楽譜要素トークン列Ｂは小節の情報を含むが、実施の形態はこれに限定されない。楽譜要素トークン列Ｂは、参照音符および参照属性情報を含めばよく、小節の情報を含まなくてもよい。楽譜トークン列についても同様である。

【0065】

上記実施の形態において、楽譜作成装置２０は生成部２５を含むが、実施の形態はこれに限定されない。使用者は、推定部２２により推定された楽譜トークン列に基づいて楽譜を作成することができる。そのため、楽譜作成装置２０は、生成部２５を含まなくてもよい。

【0066】

上記実施の形態において、楽譜作成装置２０は第１の判定部２３および第２の判定部２４を含むが、実施の形態はこれに限定されない。楽譜に臨時記号が記載されなくてもよい場合には、楽譜作成装置２０は第１の判定部２３を含まなくてもよい。楽譜に拍子記号が記載されなくてもよい場合には、楽譜作成装置２０は第２の判定部２４を含まなくてもよい。

【0067】

上記実施の形態において、使用者は操作部１５０を操作することにより入力音符トークン列を生成して受付部２１に与えるが、実施の形態はこれに限定されない。図１４は、他の実施の形態における受付部２１の動作を説明するための図である。図１４の上段に示すように、使用者は、ピアノ演奏等により生成された波形データを受付部２１に与えてもよい。

【0068】

この場合、図１４の下段に示すように、受付部２１は、与えられた波形データをＭＩＤＩデータに変換し、変換されたＭＩＤＩデータから入力音符トークン列を取得する。したがって、受付部２１は、波形データの形式で入力音符トークン列を受け付ける。この構成によれば、演奏による波形データから、当該演奏を記述する楽譜を生成することができる。

【0069】

上記実施の形態において、受付部２１は、右手のパートのトークンと左手のパートのトークンとが混合された入力音符トークン列を受け付けてもよい。この場合でも、適切に訓練された訓練済モデルＭを用いることにより、右手のパートのトークンと左手のパートのトークンとを分離した楽譜トークン列を推定することができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】