IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヤマハ株式会社の特許一覧

特許7593414音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム
<>
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図1
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図2
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図3
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図4
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図5
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図6
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図7
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図8
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図9
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図10
  • 特許-音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-25
(45)【発行日】2024-12-03
(54)【発明の名称】音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラム
(51)【国際特許分類】
   G10G 1/00 20060101AFI20241126BHJP
   G10H 1/00 20060101ALI20241126BHJP
【FI】
G10G1/00
G10H1/00 102Z
【請求項の数】 11
(21)【出願番号】P 2022565303
(86)(22)【出願日】2021-11-19
(86)【国際出願番号】 JP2021042636
(87)【国際公開番号】W WO2022113907
(87)【国際公開日】2022-06-02
【審査請求日】2023-05-22
(31)【優先権主張番号】P 2020194991
(32)【優先日】2020-11-25
(33)【優先権主張国・地域又は機関】JP
【前置審査】
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】100108523
【弁理士】
【氏名又は名称】中川 雅博
(74)【代理人】
【識別番号】100125704
【弁理士】
【氏名又は名称】坂根 剛
(74)【代理人】
【識別番号】100187931
【弁理士】
【氏名又は名称】澤村 英幸
(72)【発明者】
【氏名】篠井 暖
【審査官】土井 悠生
(56)【参考文献】
【文献】国際公開第2006/080149(WO,A1)
【文献】特開2020-003535(JP,A)
【文献】国際公開第2020/166094(WO,A1)
【文献】特開2007-328268(JP,A)
【文献】特開2002-099277(JP,A)
【文献】久原 聖志, 牛尼 剛聡,LSTMを用いた既存楽曲の学習に基づく作曲支援手法,第10回データ工学と情報マネジメントに関するフォーラム (第16回日本データベース学会年次大会) [Online] ,日本,電子情報通信学会データ工学研究専門委員会 日本データベース学会 情報処理学会データベースシステム研究会,2018年04月17日
(58)【調査した分野】(Int.Cl.,DB名)
G10G 1/00-7/02
G10H 1/00-7/12
G10L 13/00-13/10
G10L 19/00-99/00
(57)【特許請求の範囲】
【請求項1】
時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む、使用者により制作された、音楽要素列を受け付ける受付部と、
一部の音楽要素から他の部分の音楽要素を生成する学習モデルを用いて、前記音楽要素列において時間軸上で前記空白部分よりも後方に位置する音楽要素に基づいて前記空白部分の音楽要素を生成する生成部とを備え
前記生成部は、前記空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価する、音楽要素生成支援装置。
【請求項2】
前記生成部は、前記学習モデルを用いて、前記音楽要素列において時間軸上で前記空白部分よりも前方に位置する音楽要素にさらに基づいて前記空白部分の音楽要素を生成する、請求項1記載の音楽要素生成支援装置
【請求項3】
生成された音楽要素を適合度の順に予め定められた数だけ提示する提示部をさらに備える、請求項1または2記載の音楽要素生成支援装置。
【請求項4】
生成された音楽要素のうち、予め定められた適合度よりも高い適合度を有する音楽要素を提示する提示部をさらに備える、請求項1または2記載の音楽要素生成支援装置。
【請求項5】
生成された音楽要素のうち、最も高い適合度を有する音楽要素を選択する選択部をさらに備える、請求項1または2記載の音楽要素生成支援装置。
【請求項6】
前記音楽要素列は、メロディ、コード進行、歌詞またはリズムパターンを含む、請求項1~のいずれか一項に記載の音楽要素生成支援装置。
【請求項7】
時系列的に配列された複数の音楽要素を含む音楽要素列を複数取得する取得部と、
各音楽要素列の一部に空白部分を無作為に設定する設定部と、
各音楽要素列における前記空白部分以外の音楽要素と前記空白部分の音楽要素との関係を機械学習することにより、一部の音楽要素と前記空白部分の音楽要素との関係を示す学習モデルを構築する構築部とを備える、音楽要素学習装置。
【請求項8】
コンピュータ音楽要素生成支援を実行る方法であって、
時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む、使用者により制作された、音楽要素列を受け付けるステップと、
一部の音楽要素から他の部分の音楽要素を生成する学習モデルを用いて、前記音楽要素列において時間軸上で前記空白部分よりも後方に位置する音楽要素に基づいて前記空白部分の音楽要素を生成するステップとを含み、
前記空白部分の音楽要素を生成するステップは、前記空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価することを含む、音楽要素生成支援方法。
【請求項9】
コンピュータ音楽要素学習を実行る方法であって、
時系列的に配列された複数の音楽要素を含む音楽要素列を複数取得するステップと、
各音楽要素列の一部に空白部分を無作為に設定するステップと、
各音楽要素列における前記空白部分以外の音楽要素と前記空白部分の音楽要素との関係を機械学習することにより、一部の音楽要素と前記空白部分の音楽要素との関係を示す学習モデルを構築するステップとを含む、音楽要素学習方法。
【請求項10】
コンピュータに音楽要素生成支援方法を実行させるプログラムであって、
時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む、使用者により制作された、音楽要素列を受け付ける処理と、
一部の音楽要素から他の部分の音楽要素を生成する学習モデルを用いて、前記音楽要素列において時間軸上で前記空白部分よりも後方に位置する音楽要素に基づいて前記空白部分の音楽要素を生成する処理とを、
前記コンピュータに実行させ
前記空白部分の音楽要素を生成する処理は、前記空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価することを含む、音楽要素生成支援プログラム。
【請求項11】
コンピュータに音楽要素学習方法を実行させるプログラムであって、
時系列的に配列された複数の音楽要素を含む音楽要素列を複数取得する処理と、
各音楽要素列の一部に空白部分を無作為に設定する処理と、
各音楽要素列における前記空白部分以外の音楽要素と前記空白部分の音楽要素との関係を機械学習することにより、一部の音楽要素と前記空白部分の音楽要素との関係を示す学習モデルを構築する処理とを、
前記コンピュータに実行させる、音楽要素学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音楽要素の生成を支援する音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラムに関する。
【背景技術】
【0002】
メロディを自動的に作成する装置として自動作曲装置が知られている。例えば、特許文献1に記載された自動作曲装置においては、作成される一曲の中の複数の位置に対して、モチーフメロディが設定される。設定されたモチーフメロディが予め用意されたテンプレートに従ってそれぞれ発展されることにより、一曲のメロディが生成される。
【0003】
特許文献2に記載されたプログラムにおいては、第1の学習済みモデルに基づいて、楽曲の所定のフレーズの種別が判定される。また、第2の学習済みモデルに基づいて、判定されたフレーズの種別から一の種別のパートが作成される。さらに、第3の学習済みモデルを用いて、一の種別のパートから他の種別のパートが順次作成される。作成された複数のパートが所定のテンプレートで規定された順に並べられることにより楽曲が作成される。
【文献】特開2002-32078号公報
【文献】特開2020-3535号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のように、特許文献1,2においては、所定のテンプレートに従って楽曲が作成される。しかしながら、そのような手法では、作成される楽曲の多様性が乏しいため、作曲者の意図を楽曲に十分に反映させることは困難である。
【0005】
本発明の目的は、使用者の意図を反映させた音楽要素を容易に生成することが可能な音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラムを提供することである。
【課題を解決するための手段】
【0006】
本発明の一局面に従う音楽要素生成支援装置は、時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む、使用者により制作された、音楽要素列を受け付ける受付部と、一部の音楽要素から他の部分の音楽要素を生成する学習モデルを用いて、音楽要素列において時間軸上で空白部分よりも後方に位置する音楽要素に基づいて空白部分の音楽要素を生成する生成部とを備え、生成部は、空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価する。
【0007】
本発明の他の局面に従う音楽要素学習装置は、時系列的に配列された複数の音楽要素を含む音楽要素列を複数取得する取得部と、各音楽要素列の一部に空白部分を無作為に設定する設定部と、各音楽要素列における空白部分以外の音楽要素と空白部分の音楽要素との関係を機械学習することにより、一部の音楽要素と空白部分の音楽要素との関係を示す学習モデルを構築する構築部とを備える。
【0008】
本発明のさらに他の局面に従う音楽要素生成支援方法は、コンピュータ音楽要素生成支援を実行る方法であって、時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む、使用者により制作された、音楽要素列を受け付けるステップと、一部の音楽要素から他の部分の音楽要素を生成する学習モデルを用いて、音楽要素列において時間軸上で空白部分よりも後方に位置する音楽要素に基づいて空白部分の音楽要素を生成するステップとを含み、空白部分の音楽要素を生成するステップは、空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価することを含む。
【0009】
本発明のさらに他の局面に従う音楽要素学習方法は、コンピュータ音楽要素学習を実行る方法であって、時系列的に配列された複数の音楽要素を含む音楽要素列を複数取得するステップと、各音楽要素列の一部に空白部分を無作為に設定するステップと、各音楽要素列における空白部分以外の音楽要素と空白部分の音楽要素との関係を機械学習することにより、一部の音楽要素と空白部分の音楽要素との関係を示す学習モデルを構築するステップとを含む。
【0010】
本発明のさらに他の局面に従う音楽要素生成支援プログラムは、コンピュータに音楽要素生成支援方法を実行させるプログラムであって、時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む、使用者により制作された、音楽要素列を受け付ける処理と、一部の音楽要素から他の部分の音楽要素を生成する学習モデルを用いて、音楽要素列において時間軸上で空白部分よりも後方に位置する音楽要素に基づいて空白部分の音楽要素を生成する処理とを、コンピュータに実行させ、空白部分の音楽要素を生成する処理は、空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価することを含む
【0011】
本発明のさらに他の局面に従う音楽要素学習プログラムは、コンピュータに音楽要素学習方法を実行させるプログラムであって、時系列的に配列された複数の音楽要素を含む音楽要素列を複数取得する処理と、各音楽要素列の一部に空白部分を無作為に設定する処理と、各音楽要素列における空白部分以外の音楽要素と空白部分の音楽要素との関係を機械学習することにより、一部の音楽要素と空白部分の音楽要素との関係を示す学習モデルを構築する処理とを、コンピュータに実行させる。
【発明の効果】
【0012】
本発明によれば、使用者の意図を反映させた音楽要素を容易に生成することができる。
【図面の簡単な説明】
【0013】
図1図1は本発明の一実施の形態に係る支援装置を含む音楽要素生成支援システムの構成を示すブロック図である。
図2図2は支援装置の構成を示すブロック図である。
図3図3は支援装置の動作を説明するための図である。
図4図4は支援装置の動作を説明するための図である。
図5図5は支援装置の動作を説明するための図である。
図6図6は本発明の一実施の形態に係る学習装置を含む音楽要素学習システムの構成を示すブロック図である。
図7図7は学習装置の構成を示すブロック図である。
図8図8は学習装置の動作を説明するための図である。
図9図9は学習装置の動作を説明するための図である。
図10図10図2の支援装置による支援処理の一例を示すフローチャートである。
図11図11図7の学習装置による学習処理の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本発明の実施の形態に係る音楽要素生成支援装置、音楽要素学習装置、音楽要素生成支援方法、音楽要素学習方法、音楽要素生成支援プログラムおよび音楽要素学習プログラムについて図面を用いて詳細に説明する。なお、以下、音楽要素生成支援装置、音楽要素生成支援方法および音楽要素生成支援プログラムをそれぞれ支援装置、支援方法および支援プログラムと略記する。また、音楽要素学習装置、音楽要素学習方法および音楽要素学習プログラムをそれぞれ学習装置、学習方法および学習プログラムを略記する。
【0015】
(1)音楽要素生成支援システムの構成
図1は、本発明の一実施の形態に係る支援装置を含む音楽要素生成支援システムの構成を示すブロック図である。図1に示すように、音楽要素生成支援システム100(以下、支援システム100と略記する。)は、RAM(ランダムアクセスメモリ)110、ROM(リードオンリメモリ)120、CPU(中央演算処理装置)130、記憶部140、操作部150および表示部160を備える。
【0016】
支援システム100は、例えばパーソナルコンピュータ等の情報処理装置により実現されてもよいし、演奏機能を備えた電子楽器により実現されてもよい。RAM110、ROM120、CPU130、記憶部140、操作部150および表示部160は、バス170に接続される。RAM110、ROM120およびCPU130により支援装置10が構成される。
【0017】
RAM110は、例えば揮発性メモリからなり、CPU130の作業領域として用いられ、各種データを一時的に記憶する。ROM120は、例えば不揮発性メモリからなり、支援プログラムを記憶する。CPU130は、ROM120に記憶された支援プログラムをRAM110上で実行することにより音楽要素生成支援処理(以下、支援処理と略記する。)を行う。支援処理の詳細については後述する。
【0018】
記憶部140は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、後述する図7の学習装置20により予め構築された学習モデルを記憶する。支援システム100がインターネット等のネットワークに接続されている場合には、学習モデルは記憶部140にではなく当該ネットワーク上のサーバ(クラウドサーバを含む。以下、言及されるサーバについても同様である。)に記憶されていてもよい。
【0019】
学習モデルは、時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む音楽要素列において、一部の音楽要素と空白部分の音楽要素との関係を示す。ここで、音楽要素列は、メロディ、コード進行、歌詞またはリズムパターンを含む。音楽要素列がメロディまたはリズムパターンである場合、音楽要素は音符または休符である。音楽要素列がコード進行である場合、音楽要素はコードである。音楽要素列が歌詞である場合、音楽要素は単語である。
【0020】
記憶部140は、支援プログラムをROM120の代わりに記憶してもよい。あるいは、支援プログラムは、コンピュータが読み取り可能な記録媒体に格納された形態で提供され、ROM120または記憶部140にインストールされてもよい。また、支援システム100がネットワークに接続されている場合、当該ネットワーク上のサーバから配信された支援プログラムがROM120または記憶部140にインストールされてもよい。
【0021】
操作部150は、マウス等のポインティングデバイスまたはキーボードを含み、所定の選択または指定を行うために使用者により操作される。表示部160は、例えば液晶ディスプレイを含み、支援処理の結果を表示する。操作部150および表示部160は、タッチパネルディスプレイにより構成されてもよい。
【0022】
(2)支援装置
図2は、支援装置10の構成を示すブロック図である。図3図5は、支援装置10の動作を説明するための図である。図3図5では、音楽要素列はメロディである。そのため、音楽要素は、音符のピッチと、音符または休符の長さとを含む。
【0023】
図2に示すように、支援装置10は、受付部11、生成部12、提示部13、選択部14および作成部15を含む。受付部11、生成部12、提示部13、選択部14および作成部15の機能は、図1のCPU130が支援プログラムを実行することにより実現される。受付部11、生成部12、提示部13、選択部14および作成部15の少なくとも一部が電子回路等のハードウエアにより実現されてもよい。
【0024】
受付部11は、時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む音楽要素列を受け付ける。音楽要素列において、空白部分は1つであってもよいし、複数であってもよい。また、空白部分の音楽要素は1つであってもよいし、複数であってもよい。
【0025】
図3に示すように、使用者は、制作中の音楽要素列を示す音楽要素列データを受付部11に入力することができる。音楽要素列データは、例えば音楽制作ソフトウエアを用いて制作されてもよい。図3の例では、音楽要素列は、音符のピッチまたは休符と、音符または休符が位置する時刻との組み合わせにより規定される。制作中の音楽要素列は、音符も休符も規定されていない空白部分を一部に含む。
【0026】
生成部12は、記憶部140等に記憶された学習モデルを用いて、受付部11により受け付けられた音楽要素列において時間軸上で空白部分よりも後方に位置する音楽要素に基づいて当該空白部分に適合する音楽要素を複数生成する。また、生成部12は、空白部分について生成された複数の音楽要素の各々の適合度を評価する。
【0027】
提示部13は、生成部12により生成された空白部分についての音楽要素を適合度の順に予め定められた数だけ提示する。本例では、図4に示すように、生成された音楽要素が適合度の順に5つ表示部160に表示される。上記の予め定められた数は、5つに限定されず、使用者が任意に設定可能であってもよい。あるいは、提示部13は、生成部12により生成された音楽要素のうち、予め定められた適合度よりも高い適合度を有する音楽要素を提示してもよい。上記の予め定められた適合度は、使用者が任意に設定可能であってもよい。
【0028】
選択部14は、生成部12により生成された複数の音楽要素のうち、指定された音楽要素を選択する。使用者は、提示部13により提示された音楽要素および適合度を参考にしつつ、操作部150を操作することにより、生成部12により生成された音楽要素のうち所望の音楽要素を指定することができる。あるいは、選択部14は、生成部12により生成された音楽要素のうち、最も高い適合度を有する音楽要素を選択してもよい。この場合、支援装置10は、提示部13を含まなくてもよい。
【0029】
作成部15は、選択部14により選択された音楽要素を受付部11により受け付けられた音楽要素列の空白部分に適用することにより、図5に示すように、空白部分を含まない音楽要素列を作成する。
【0030】
(3)音楽要素学習システムの構成
図6は、本発明の一実施の形態に係る学習装置を含む音楽要素学習システムの構成を示すブロック図である。図6に示すように、音楽要素学習システム200(以下、学習システム200と略記する。)は、RAM210、ROM220、CPU230、記憶部240、操作部250および表示部260を備える。
【0031】
学習システム200は、図1の支援システム100と同様に、情報処理装置または電子楽器により実現されてもよい。あるいは、学習システム200と支援システム100とは、同一のハードウエア資源により実現されてもよい。RAM210、ROM220、CPU230、記憶部240、操作部250および表示部260は、バス270に接続される。RAM210、ROM220およびCPU230により学習装置20が構成される。
【0032】
RAM210は、例えば揮発性メモリからなり、CPU230の作業領域として用いられ、各種データを一時的に記憶する。ROM220は、例えば不揮発性メモリからなり、学習プログラムを記憶する。CPU230は、ROM220に記憶された学習プログラムをRAM210上で実行することにより音楽要素学習処理(以下、学習処理と略記する。)を行う。学習処理の詳細については後述する。
【0033】
記憶部240は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含み、音楽要素列データを複数記憶する。音楽要素列データは、例えばMIDI(Musical Instrument Digital Interface)データであってもよい。学習システム200がネットワークに接続されている場合には、音楽要素列データは記憶部240にではなく当該ネットワーク上のサーバに記憶されていてもよい。
【0034】
記憶部240は、学習プログラムをROM220の代わりに記憶してもよい。あるいは、学習プログラムは、コンピュータが読み取り可能な記録媒体に格納された形態で提供され、ROM220または記憶部240にインストールされてもよい。また、学習システム200がネットワークに接続されている場合、当該ネットワーク上のサーバから配信された学習プログラムがROM220または記憶部240にインストールされてもよい。
【0035】
操作部250は、マウス等のポインティングデバイスまたはキーボードを含み、所定の選択または指定を行うために使用者により操作される。表示部260は、例えば液晶ディスプレイを含み、学習処理における所定のGUI(Graphical User Interface)を表示する。操作部250および表示部260は、タッチパネルディスプレイにより構成されてもよい。
【0036】
(4)学習装置
図7は、学習装置20の構成を示すブロック図である。図8および図9は、学習装置20の動作を説明するための図である。図3図5と同様に、図8および図9では音楽要素列はメロディである。図7に示すように、学習装置20は、取得部21、設定部22および構築部23を含む。取得部21、設定部22および構築部23の機能は、図6のCPU230が学習プログラムを実行することにより実現される。取得部21、設定部22および構築部23の少なくとも一部が電子回路等のハードウエアにより実現されてもよい。
【0037】
取得部21は、記憶部240等に記憶された各音楽要素列データにより示される音楽要素列を取得する。記憶部240等に記憶された音楽要素列データにより示される音楽要素列は、図8に示すように、時系列的に配列された複数の音楽要素を含み、空白部分を含まない。
【0038】
設定部22は、図9に示すように、所定の設定条件に従って、取得部21により取得された各音楽要素列の一部に空白部分をマスクとして無作為に設定する。使用者は、操作部250を用いて表示部260に表示されたGUIを操作することにより、マスクの設定条件を指定することができる。マスクの設定条件は、設定されるべきマスクの数、または音楽要素列の長さに対してマスクが設定されるべき長さの比率を含む。時間軸上の各マスクの長さは、音符単位であってもよいし、小節単位であってもよい。
【0039】
構築部23は、取得部21により取得された各音楽要素列におけるマスク部分以外の音楽要素とマスク部分の音楽要素との関係を機械学習することにより、一部の音楽要素とマスク部分の音楽要素との関係を示す学習モデルを構築する。本例では、構築部23はTransformerを用いて機械学習を行うが、実施の形態はこれに限定されない。構築部23は、RNN(Recurrent Neural Network)等の他の方式を用いて機械学習を行ってもよい。
【0040】
本例では、学習モデルは、各音楽要素列において時間軸上でマスク部分よりも後方に位置する音楽要素に基づいてマスク部分に適合する音楽要素を生成するように構築される。構築部23により構築された学習モデルは、図1の記憶部140に記憶される。構築部23により構築された学習モデルは、ネットワーク上のサーバ等に記憶されてもよい。
【0041】
(5)支援処理
図10は、図2の支援装置10による支援処理の一例を示すフローチャートである。図10の支援処理は、図1のCPU130が記憶部140等に記憶された支援プログラムを実行することにより行われる。まず、受付部11は、音楽要素の空白部分を一部に含む音楽要素列を受け付ける(ステップS1)。
【0042】
次に、生成部12は、後述する学習処理のステップS15で構築された学習モデルを用いて、ステップS1で受け付けられた音楽要素列の空白部分に適合する音楽要素を複数生成する(ステップS2)。また、生成部12は、ステップS2で生成された各音楽要素の適合度を評価する(ステップS3)。続いて、提示部13は、ステップS2で生成された音楽要素をステップS3で評価された適合度の順に予め定められた数だけ提示する(ステップS4)。
【0043】
その後、選択部14は、ステップS2で生成された複数の音楽要素のうち、いずれかの音楽要素が指定されたか否かを判定する(ステップS5)。音楽要素が指定されない場合、選択部14は、いずれかの音楽要素が指定されるまで待機する。いずれかの音楽要素が指定された場合、選択部14は、指定された音楽要素を選択する(ステップS6)。
【0044】
最後に、作成部15は、ステップS6で選択された音楽要素をステップS1で受け付けられた音楽要素列の空白部分に適用することにより、音楽要素の空白部分を含まない音楽要素列を作成する(ステップS7)。これにより、支援処理が終了する。
【0045】
(6)学習処理
図11は、図7の学習装置20による学習処理の一例を示すフローチャートである。図11の学習処理は、図7のCPU230が記憶部240等に記憶された学習プログラムを実行することにより行われる。まず、取得部21は、音楽要素の空白部分を含まない音楽要素列を取得する(ステップS11)。次に、設定部22は、ステップS11で取得された音楽要素列の一部にマスクを無作為に設定する(ステップS12)。
【0046】
続いて、構築部23は、ステップS11で取得された音楽要素列におけるマスク部分以外の音楽要素とステップS12で設定されたマスク部分の音楽要素との関係を機械学習する(ステップS13)。その後、構築部23は、所定回数の機械学習が実行されたか否かを判定する(ステップS14)。
【0047】
所定回数の機械学習が実行されていない場合、構築部23はステップS11に戻る。所定回数の機械学習が実行されるまで、ステップS11~S14が繰り返される。機械学習の繰り返し回数は、構築される学習モデルの精度に応じて予め設定される。所定回数の機械学習が実行された場合、構築部23は、機械学習の結果に基づいて、音楽要素列における一部の音楽要素とマスク部分の音楽要素との関係を示す学習モデルを構築する(ステップS15)。これにより、学習処理が終了する。
【0048】
(7)実施の形態の効果
以上説明したように、本実施の形態に係る支援装置10は、時系列的に配列された複数の音楽要素を含みかつ音楽要素の空白部分を含む音楽要素列を受け付ける受付部11と、一部の音楽要素から他の部分の音楽要素を生成する学習モデルを用いて、音楽要素列において時間軸上で空白部分よりも後方に位置する音楽要素に基づいて空白部分の音楽要素を生成する生成部12とを備える。
【0049】
この構成によれば、使用者が音楽要素列の制作過程において、部分的に好適な音楽要素を考え出すことができない場合でも、時間軸上でその部分よりも後方に位置する音楽要素に基づいてその部分に適合する音楽要素が生成される。これにより、使用者の意図を反映させた音楽要素を容易に生成することが可能になる。
【0050】
生成部12は、空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価してもよい。この場合、より自然に空白部分に適合する音楽要素を用いて音楽要素列を生成することが容易になる。
【0051】
支援装置10は、生成された音楽要素を適合度の順に予め定められた数だけ提示する提示部13をさらに備えてもよい。この場合、使用者は、比較的高い適合度を有する音楽要素を容易に認識することができる。
【0052】
支援装置10は、生成された音楽要素のうち、予め定められた適合度よりも高い適合度を有する音楽要素を提示する提示部13をさらに備えてもよい。この場合、使用者は、予め定められた適合度よりも高い適合度を有する音楽要素を容易に認識することができる。
【0053】
支援装置10は、生成された音楽要素のうち、最も高い適合度を有する音楽要素を選択する選択部14をさらに備えてもよい。この場合、使用者の意図を反映させた音楽要素を自動的に生成することができる。
【0054】
音楽要素列は、メロディ、コード進行、歌詞またはリズムパターンを含んでもよい。この場合、使用者の意図を反映させたメロディ、コード進行、歌詞またはリズムパターンを容易に生成することが可能になる。
【0055】
本実施の形態に係る学習装置20は、時系列的に配列された複数の音楽要素を含む音楽要素列を複数取得する取得部21と、各音楽要素列の一部に空白部分を無作為に設定する設定部22と、各音楽要素列における空白部分以外の音楽要素と空白部分の音楽要素との関係を機械学習することにより、一部の音楽要素と空白部分の音楽要素との関係を示す学習モデルを構築する構築部23とを備える。この場合、使用者の意図を反映させた音楽要素を生成することが可能な学習モデルを構築することができる。
【0056】
(8)他の実施の形態
上記実施の形態において、学習モデルは、学習装置20の構築部23により各音楽要素列において時間軸上でマスク部分よりも後方に位置する音楽要素に基づいてマスク部分に適合する音楽要素を生成するように構築される。そのため、支援装置10の生成部12は、学習モデルを用いて、音楽要素列において時間軸上で空白部分よりも後方に位置する音楽要素に基づいて当該空白部分に適合する音楽要素を生成する。
【0057】
しかしながら、実施の形態はこれに限定されない。学習モデルは、構築部23により各音楽要素列において時間軸上でマスク部分よりも後方および前方に位置する音楽要素に基づいてマスク部分に適合する音楽要素を生成するように構築されてもよい。この場合、生成部12は、学習モデルを用いて、音楽要素列において時間軸上で空白部分よりも後方および前方に位置する音楽要素に基づいて当該空白部分に適合する音楽要素を生成してもよい。この構成によれば、より自然に空白部分に適合する音楽要素を生成することが可能になる。
【0058】
また、上記実施の形態において、生成部12は、空白部分に適合する音楽要素を複数生成し、生成された各音楽要素の適合度を評価するが、実施の形態はこれに限定されない。生成部12は、空白部分に適合する音楽要素を1つのみ生成してもよい。この場合、生成部12は、生成された音楽要素の適合度を評価しなくてもよい。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11