特許 7578192 機械学習モデルを用いた音生成方法および音生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-28

(45)【発行日】2024-11-06

(54)【発明の名称】機械学習モデルを用いた音生成方法および音生成装置

(51)【国際特許分類】

   G10L 13/10 20130101AFI20241029BHJP

   G10L 13/00 20060101ALI20241029BHJP

【ＦＩ】

G10L13/10 113Z

G10L13/00 100Y

【請求項の数】 14

(21)【出願番号】P 2023522703

(86)(22)【出願日】2022-05-18

(86)【国際出願番号】 JP2022020724

(87)【国際公開番号】W WO2022244818

(87)【国際公開日】2022-11-24

【審査請求日】2023-09-22

(31)【優先権主張番号】P 2021084180

(32)【優先日】2021-05-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100108523

【弁理士】

【氏名又は名称】中川 雅博

(74)【代理人】

【識別番号】100125704

【弁理士】

【氏名又は名称】坂根 剛

(74)【代理人】

【識別番号】100187931

【弁理士】

【氏名又は名称】澤村 英幸

(72)【発明者】

【氏名】大道 竜之介

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２０１８－１４１９１７（ＪＰ，Ａ）

【文献】特開２０２１－５１２５１（ＪＰ，Ａ）

【文献】特開２０１９－２１９５６８（ＪＰ，Ａ）

【文献】特開２０２０－７６８４３（ＪＰ，Ａ）

【文献】特開２０１７－１０７２２８（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２４６６３１３（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－１３／１０，２５／３０

Ｇ１０Ｈ １／００－ ７／１２

(57)【特許請求の範囲】

【請求項1】

音の特性を示す制御値を、時間軸上の複数の各時点で受け付け、
時間軸上の所望の時点において、強制指示を受け付け、
訓練済モデルを用いて、各時点の前記制御値と、一時メモリに記憶された音響特徴量列とを処理して、その時点の音響特徴量を生成し、
その時点に前記強制指示が受け付けられていなければ、生成された音響特徴量を用いて前記一時メモリに記憶された音響特徴量列を更新し、
その時点に前記強制指示が受け付けられていれば、その時点の前記制御値に従う、直近の１以上の時点の代替音響特徴量を生成し、生成された代替音響特徴量を用いて前記一時メモリに記憶された音響特徴量列を更新する、
コンピュータにより実現される音生成方法。

【請求項2】

前記訓練済モデルは、機械学習により、各時点の音響特徴量を、未知の制御値と、直前の複数の時点の音響特徴量とに基づいて推定するよう訓練済である、請求項１記載の音生成方法。

【請求項3】

前記訓練済モデルにより生成される音響特徴量は、前記未知の制御値に応じた特徴量を有する、請求項２記載の音生成方法。

【請求項4】

各時点の代替音響特徴量は、その時点の前記制御値と、その時点に生成された音響特徴量とに基づいて生成される、請求項１記載の音生成方法。

【請求項5】

前記制御値と同種の特徴量であって、各時点で生成された音響特徴量の特徴量が、前記制御値に近づくよう、その音響特徴量を改変することで、その時点の代替音響特徴量が生成される、請求項３記載の音生成方法。

【請求項6】

各時点の音響特徴量の特徴量がその時点の前記制御値に応じた許容範囲に収まるように、当該音響特徴量を改変することにより各時点の代替音響特徴量が生成される、請求項３記載の音生成方法。

【請求項7】

前記制御値に応じた許容範囲は、前記強制指示により規定される、請求項４記載の音生成方法。

【請求項8】

各時点の音響特徴量の特徴量が、その時点の前記制御値に応じた中立範囲に近づくよう、音響特徴量を改変することにより各時点の代替音響特徴量が生成される、請求項３記載の音生成方法。

【請求項9】

各時点の音響特徴量の特徴量が、その時点の前記制御値に応じた目標値に近づくように改変することにより各時点の代替音響特徴量が生成される、請求項３記載の音生成方法。

【請求項10】

前記一時メモリに記憶された音響特徴量列は、前記生成された音響特徴量を用いて、ＦＩＦＯ的に更新される、請求項１～３のいずれか一項に記載の音生成方法。

【請求項11】

前記一時メモリに記憶された音響特徴量列は、前記生成された１以上の時点の代替音響特徴量を用いて、ＦＩＦＯ的ないし準ＦＩＦＯ的に更新される、請求項８記載の音生成方法。

【請求項12】

前記制御値はピッチ分散であり、前記音響特徴量はピッチである、請求項１～３のいずれか一項に記載の音生成方法。

【請求項13】

前記制御値は振幅であり、前記音響特徴量は周波数スペクトルである、請求項１～３のいずれか一項に記載の音生成方法。

【請求項14】

音の特性を示す制御値を、時間軸上の複数の各時点で受け付ける制御値受付部と、
時間軸上の所望の時点において、強制指示を受け付ける強制指示受付部と、
訓練済モデルを用いて、各時点の前記制御値と、一時メモリに記憶された音響特徴量列とを処理して、その時点の音響特徴量を生成する生成部と、
その時点に前記強制指示が受け付けられていなければ、生成された音響特徴量を用いて前記一時メモリに記憶された音響特徴量列を更新し、その時点に前記強制指示が受け付けられていれば、その時点の前記制御値に従う、直近の１以上の時点の代替音響特徴量を生成し、生成された代替音響特徴量を用いて前記一時メモリに記憶された音響特徴量列を更新する更新部とを備える、音生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音を生成することが可能な音生成方法および音生成装置に関する。

【背景技術】

【0002】

例えば、特定の歌手の歌い方で歌唱を行う音源として、ＡＩ（人工知能）歌手が知られている。ＡＩ歌手は、特定の歌手による歌唱の特徴を学習することにより、当該歌手を模擬して任意の音信号を生成できる。ここで、ＡＩ歌手は、学習した歌手による歌唱の特徴だけでなく、使用者による歌い方の指示も反映して音信号を生成することが好ましい。

【文献】Jesse Engel, Lamtharn Hantrakul, Chenjie Gu and Adam Roberts, "DDSP: Differentiable Digital Signal Processing", arXiv:2001.04643v1 [cs.LG] 14 Jan 2020

【発明の概要】

【発明が解決しようとする課題】

【0003】

非特許文献１には、使用者の入力音に基づいて音信号を生成するニューラル生成モデルが記載されている。この生成モデルでは、音信号の生成中に、使用者は、生成モデルにピッチまたは音量等の制御値を指示できる。生成モデルとしてＡＲ（自己回帰）タイプの生成モデルを用いる場合、ある時点で、使用者がその生成モデルにピッチまたは音量等を指示しても、その時点で生成している音信号によっては、その音量に従った音信号が生成されるまでに遅延が発生する。ＡＲタイプの生成モデルを用いる場合、制御値への追従遅れのため、使用者の意図に従った音信号の生成が難しい。

【0004】

本発明の目的は、ＡＲタイプの生成モデルを用いて、使用者の意図に従った音信号を生成可能な音生成方法および音生成装置を提供することである。

【課題を解決するための手段】

【0005】

本発明の一局面に従う音生成方法は、音の特性を示す制御値を、時間軸上の複数の各時点で受け付け、時間軸上の所望の時点において、強制指示を受け付け、訓練済モデルを用いて、各時点の制御値と、一時メモリに記憶された音響特徴量列とを処理して、その時点の音響特徴量を生成し、その時点に強制指示が受け付けられていなければ、生成された音響特徴量を用いて一時メモリに記憶された音響特徴量列を更新し、その時点に強制指示が受け付けられていれば、その時点の制御値に従う、直近の１以上の時点の代替音響特徴量を生成し、生成された代替音響特徴量を用いて一時メモリに記憶された音響特徴量列を更新し、コンピュータにより実現される。

【0006】

本発明の他の局面に従う音生成装置は、音の特性を示す制御値を、時間軸上の複数の各時点で受け付ける制御値受付部と、時間軸上の所望の時点において、強制指示を受け付ける強制指示受付部と、訓練済モデルを用いて、各時点の制御値と、一時メモリに記憶された音響特徴量列とを処理して、その時点の音響特徴量を生成する生成部と、その時点に強制指示が受け付けられていなければ、生成された音響特徴量を用いて一時メモリに記憶された音響特徴量列を更新し、その時点に強制指示が受け付けられていれば、その時点の制御値に従う、直近の１以上の時点の代替音響特徴量を生成し、生成された代替音響特徴量を用いて一時メモリに記憶された音響特徴量列を更新する更新部とを備える。

【発明の効果】

【0007】

本発明によれば、ＡＲタイプの生成モデルを用いて、使用者の意図に従った音信号を生成できる。

【図面の簡単な説明】

【0008】

【図1】図１は本発明の一実施形態に係る音生成装置を含む処理システムの構成を示すブロック図である。

【図2】図２は音響特徴量の生成器としての訓練済モデルの構成を示すブロック図である。

【図3】図３は音生成装置の構成を示すブロック図である。

【図4】図４は元の音響特徴量と、その音響特徴量から生成された代替音響特徴量との間の特徴量の改変特性の図である。

【図5】図５は訓練装置の構成を示すブロック図である。

【図6】図６は図３の音生成装置による音生成処理の一例を示すフローチャートである。

【図7】図７は図３の音生成装置による音生成処理の一例を示すフローチャートである。

【図8】図８は図５の訓練装置による訓練処理の一例を示すフローチャートである。

【図9】図９は第１変形例における代替音響特徴量の生成を説明するための図である。

【図10】図１０は第２変形例における代替音響特徴量の生成を説明するための図である。

【発明を実施するための形態】

【0009】

（１）処理システムの構成
以下、本発明の実施形態に係る音生成方法および音生成装置について図面を用いて詳細に説明する。図１は、本発明の一実施形態に係る音生成装置を含む処理システムの構成を示すブロック図である。図１に示すように、処理システム１００は、ＲＡＭ（ランダムアクセスメモリ）１１０、ＲＯＭ（リードオンリメモリ）１２０、ＣＰＵ（中央演算処理装置）１３０、記憶部１４０、操作部１５０および表示部１６０を備える。

【0010】

処理システム１００は、例えばＰＣ、タブレット端末またはスマートフォン等のコンピュータにより実現される。あるいは、処理システム１００は、イーサネット等の通信路で接続された複数のコンピュータの共同動作で実現されてもよい。ＲＡＭ１１０、ＲＯＭ１２０、ＣＰＵ１３０、記憶部１４０、操作部１５０および表示部１６０は、バス１７０に接続される。ＲＡＭ１１０、ＲＯＭ１２０およびＣＰＵ１３０により音生成装置１０および訓練装置２０が構成される。本実施形態では、音生成装置１０と訓練装置２０とは共通の処理システム１００により構成されるが、別個の処理システムにより構成されてもよい。

【0011】

ＲＡＭ１１０は、例えば揮発性メモリからなり、ＣＰＵ１３０の作業領域として用いられる。ＲＯＭ１２０は、例えば不揮発性メモリからなり、音生成プログラムおよび訓練プログラムを記憶する。ＣＰＵ１３０は、ＲＯＭ１２０に記憶された音生成プログラムをＲＡＭ１１０上で実行することにより音生成処理を行う。また、ＣＰＵ１３０は、ＲＯＭ１２０に記憶された訓練プログラムをＲＡＭ１１０上で実行することにより訓練処理を行う。音生成処理および訓練処理の詳細については後述する。

【0012】

音生成プログラムまたは訓練プログラムは、ＲＯＭ１２０ではなく記憶部１４０に記憶されてもよい。あるいは、音生成プログラムまたは訓練プログラムは、コンピュータが読み取り可能な記憶媒体に記憶された形態で提供され、ＲＯＭ１２０または記憶部１４０にインストールされてもよい。あるいは、処理システム１００がインターネット等のネットワークに接続されている場合には、ネットワーク上のサーバ（クラウドサーバを含む。）から配信された音生成プログラムがＲＯＭ１２０または記憶部１４０にインストールされてもよい。

【0013】

記憶部１４０は、ハードディスク、光学ディスク、磁気ディスクまたはメモリカード等の記憶媒体を含む。記憶部１４０には、生成モデルｍ、訓練済モデルＭ、複数の楽譜データＤ１、複数の参照楽譜データＤ２および複数の参照データＤ３等のデータが記憶される。生成モデルｍは、未訓練の生成モデルか、参照データＤ３以外のデータを用いて予備訓練された生成モデルである。各楽譜データＤ１は、１の曲を構成する、時間軸上に配置された複数の音符の時系列（つまり楽譜）を示す。

【0014】

（データとしての）訓練済モデルＭは、音の特性を示す制御値を含む入力データに応じて、対応する音響特徴量列を生成する生成モデルのアルゴリズムを示すアルゴリズムデータと、その生成モデルによる音響特徴量列の生成で用いられる変数（訓練済変数）とで構成される。そのアルゴリズムは、ＡＲ（自己回帰）タイプであって、直近の音響特徴量列を一時的に記憶する一時メモリと、入力データと直近の音響特徴量列とから現在の音響特徴量列を推定するＤＮＮ（深層ニューラルネットワーク）とを含む。以下では、説明をシンプルにするため、その訓練済変数を適用した（生成器としての）その生成モデルも、「訓練済モデルＭ」と呼ぶ。

【0015】

訓練済モデルＭは、入力データとして、楽譜データＤ１から生成された楽譜特徴量の時系列を受け付けるとともに、その時系列の各時点において、音の特性を示す制御値を受け付け、各時点に受け付けた入力データと一時メモリに一時的に記憶された音響特徴量列とを処理して、入力データに対応した、その時点の音響特徴量を生成する。なお、時間軸上の複数の各時点は、波形の短時間フレーム分析で用いる複数の各時間フレームに相当し、相前後する２時点の時間差は、時間領域における波形のサンプルの周期よりは長く、一般に数ミリ秒から数百ミリ秒である。ここでは、時間フレームの間隔が５ミリ秒であるとする。

【0016】

訓練済モデルＭに入力される制御値は、使用者によりリアルタイムに指示されるピッチ、音色または振幅等に関する音響特徴を示す特徴量である。訓練済モデルＭが生成する音響特徴量列は、音信号のピッチ、振幅、周波数スペクトル（振幅）および周波数スペクトル包絡等のうちいずれかの音響特徴を示す特徴量の時系列である。あるいは、その音響特徴量列は、音信号に含まれる非調和成分のスペクトル包絡の時系列でもよい。

【0017】

本例では、記憶部１４０に２つの訓練済モデルＭが記憶される。以下、２つの訓練済モデルＭを区別する場合は、一方の訓練済モデルＭを訓練済モデルＭａと呼び、他方の訓練済モデルＭを訓練済モデルＭｂと呼ぶ。訓練済モデルＭａが生成する音響特徴量列は、ピッチの時系列であり、使用者が入力する制御値は、ピッチの分散および振幅である。訓練済モデルＭｂが生成する音響特徴量列は、周波数スペクトルの時系列であり、使用者が入力する制御値は、振幅である。

【0018】

訓練済モデルＭは、ピッチ列または周波数スペクトル列以外の音響特徴量列（例えば、振幅または周波数スペクトルの傾斜等）を生成してもよいし、使用者が入力する制御値は、ピッチの分散または振幅以外の音響特徴量でもよい。

【0019】

音生成装置１０は、演奏される曲の時間軸上の複数の時点の各々（時間フレーム）で、制御値を受け付けるとともに、それら複数の時点のうちの特定の時点（所望の時点）で、訓練済モデルＭを用いて生成される音響特徴量を、その時点の制御値に相対的に強く従わせる旨を指示する強制指示を受け付ける。その時点に強制指示が受け付けられていなければ、音生成装置１０は、生成された音響特徴量を用いて一時メモリの音響特徴量列を更新する。一方、その時点に強制指示が受け付けられていれば、音生成装置１０は、その時点の制御値に従う１以上の代替音響特徴量を生成し、生成された代替音響特徴量を用いて一時メモリに記憶された音響特徴量列を更新する。

【0020】

各参照楽譜データＤ２は、１の曲を構成する、時間軸上に配置された複数の音符の時系列（楽譜）を示す。訓練済モデルＭに入力される楽譜特徴量列は、各参照楽譜データＤ２から生成された、その曲の時間軸上の各時点における音符の特徴を示す特徴量の時系列である。各参照データＤ３は、その音符の時系列を演奏した演奏音波形のサンプルの時系列（つまり波形データ）である。複数の参照楽譜データＤ２と複数の参照データＤ３とはそれぞれ対応する。参照楽譜データＤ２および対応する参照データＤ３は、訓練装置２０による訓練済モデルＭの構築に用いられる。訓練済モデルＭは、機械学習により、各時点の参照楽譜特徴量、その時点の参照制御値、およびその時点の直前の参照音響特徴量列と、その時点の参照音響特徴量との入出力関係を学習することにより構築される。訓練段階で用いられる参照楽譜データＤ２、参照データＤ３、およびその派生データ（例えば音量またはピッチ分散）等は、既知データ（data seen by the Model）と呼ばれ、訓練段階で用いられていない未知データ（data unseen by the Model）と区別される。訓練用の参照音量または参照ピッチ分散等の既知の制御値は、参照データＤ３から生成される派生データであり、未知の制御値は、訓練に用いていない音量またはピッチ分散等の制御値を意味する。

【0021】

具体的には、各時点で、波形データである各参照データＤ３から、その波形のピッチ列が参照ピッチ列として抽出され、その波形の周波数スペクトルが参照周波数スペクトル列として抽出される。参照ピッチ列または参照周波数スペクトル列は、参照音響特徴量列の例である。また、各時点で、参照ピッチ列からピッチの分散が参照ピッチ分散として抽出され、参照周波数スペクトル列から振幅が参照振幅として抽出される。参照ピッチ分散または参照振幅は、参照制御値の例である。

【0022】

訓練済モデルＭａは、時間軸上の各時点の参照楽譜特徴量、その時点の参照ピッチ分散およびその時点の直前の参照ピッチと、その時点の参照ピッチとの入出力関係を、機械学習により生成モデルｍが習得することにより構築される。訓練済モデルＭｂは、時間軸上の各時点の参照楽譜特徴量、その時点の参照振幅およびその時点の直前の参照周波数スペクトルと、その時点の参照周波数スペクトルとの入出力関係を、機械学習により生成モデルｍが習得することにより構築される。

【0023】

生成モデルｍ、訓練済モデルＭ、楽譜データＤ１、参照楽譜データＤ２および参照データＤ３等の一部または全部は、記憶部１４０に記憶される代わりに、コンピュータが読み取り可能な記憶媒体に記憶されていてもよい。あるいは、処理システム１００がネットワークに接続されている場合には、生成モデルｍ、訓練済モデルＭ、楽譜データＤ１、参照楽譜データＤ２および参照データＤ３等の一部または全部は、ネットワーク上のサーバに記憶されていてもよい。

【0024】

操作部１５０は、マウス等のポインティングデバイスまたはキーボードを含み、制御値の指示または強制指示を行うために使用者により操作される。表示部１６０は、例えば液晶ディスプレイを含み、使用者から制御値の指示または強制指示を受け付けるための所定のＧＵＩ（Graphical User Interface）等を表示する。操作部１５０および表示部１６０は、タッチパネルディスプレイにより構成されてもよい。

【0025】

（２）訓練済モデル
図２は、音響特徴量の生成器としての訓練済モデルＭの構成を示すブロック図である。図２に示すように、各訓練済モデルＭａ，Ｍｂは、一時メモリ１、ＤＮＮの演算を行う推論部２、および強制処理部３，４を含む。一時メモリ１は、ＤＮＮのアルゴリズムの一部とみなしてもよい。後述する音生成装置１０の生成部１３は、この訓練済モデルＭの処理を含む生成処理を実行する。本実施形態では、各訓練済モデルＭａ，Ｍｂが強制処理部４を含むが、各強制処理部４は省略してもよい。その場合、時間軸上の各時点に、推論部２が生成した音響特徴量が、訓練済モデルＭの出力データとして出力される。

【0026】

訓練済モデルＭａと訓練済モデルＭｂとは２つの独立したモデルであるが、基本的に同一の構成を有しているので、説明の簡略化のため類似する要素には同じ符号を与えた。訓練済モデルＭｂの各要素の説明は、基本的に訓練済モデルＭａに準ずる。まず、訓練済モデルＭａの構成について説明する。一時メモリ１は、例えばリングバッファメモリとして動作し、直近の所定数の時点に生成された音響特徴量列（ピッチ列）を順次記憶する。なお、一時メモリ１に記憶された所定数の音響特徴量のうちの一部は、強制指示に応じて、対応する代替音響特徴量に置き換えられている。訓練済モデルＭａにはピッチに関する第１強制指示が、訓練済モデルＭｂには振幅に関する第２強制指示が、それぞれ独立に与えられる。

【0027】

推論部２には、一時メモリ１に記憶された音響特徴量列ｓ１が与えられる。また、推論部２には、音生成装置１０から、楽譜特徴量列ｓ２と、制御値列（ピッチ分散列および振幅列）ｓ３と、振幅列ｓ４とが、入力データとして与えられる。推論部２は、時間軸上の各時点の入力データ（楽譜特徴量、制御値としてのピッチ分散および振幅）と、その時点の直前の音響特徴量列とを処理することにより、その時点の音響特徴量（ピッチ）を生成する。これにより、生成された音響特徴量列（ピッチ列）ｓ５が推論部２から出力される。

【0028】

強制処理部３には、時間軸上の複数の時点のうちのある時点（所望の時点）で音生成装置１０から第１強制指示が与えられる。また、強制処理部３には、時間軸上の複数の時点の各々で音生成装置１０から制御値としてのピッチ分散列ｓ３と振幅列ｓ４とが与えられる。その時点に第１強制指示が与えられなければ、強制処理部３は、推論部２によりその時点で生成された音響特徴量（ピッチ）を用いて一時メモリ１に記憶された音響特徴量列ｓ１を更新する。詳細には、一時メモリ１の音響特徴量列ｓ１を１つ過去にシフトして一番古い音響特徴量を捨て、直近の１の音響特徴量を、生成された音響特徴量にする。つまり、一時メモリ１の音響特徴量列がＦＩＦＯ（First In First Out）的に更新される。なお、直近の１の音響特徴量は、その時点（現時点）の音響特徴量と同義である。

【0029】

一方、その時点に第１強制指示が与えられていれば、強制処理部３は、その時点の制御値（ピッチ分散）に従う直近の１以上の時点（１＋αの時点）の代替音響特徴量（ピッチ）を生成し、生成された代替音響特徴量を用いて一時メモリ１に記憶された音響特徴量列ｓ１のうちの直近の１以上の時点の音響特徴量を更新する。詳細には、一時メモリ１の音響特徴量列ｓ１を１つ過去にシフトして一番古い音響特徴量を捨て、直近の１以上の音響特徴量を生成された１以上の代替音響特徴量で置換する。訓練済モデルＭａの出力データの制御値への追従は、生成される代替音響特徴量が直近の１時点のみでも改善されるが、直近の１＋α時点の代替音響特徴量を生成して更新すれば、さらに改善される。なお、一時メモリ１の全ての時点の代替音響特徴量を生成してもよい。一時メモリ１の音響特徴量列の、直近の１時点のみ代替音響特徴量による更新は、上述した音響特徴量列による更新と同じ動作なのでＦＩＦＯ的と言える。直近の１＋α時点の代替音響特徴量による更新は、α分の更新を除いて、上述した音響特徴量列による更新とほぼ同じ動作なので、準ＦＩＦＯ的な更新と呼ぶ。

【0030】

強制処理部４には、時間軸上のある時点（所望の時点）で音生成装置１０から第１強制指示が与えられる。また、強制処理部４には、時間軸上の各時点で推論部２から音響特徴量列ｓ５が与えられる。強制処理部４は、その時点に第１強制指示が与えられなければ、推論部２により生成された音響特徴量（ピッチ）を訓練済モデルＭａのその時点の出力データとして出力する。

【0031】

一方、強制処理部４は、その時点に第１強制指示が与えられていれば、その時点の制御値（ピッチ分散）に従う１の代替音響特徴量を生成し、生成された代替音響特徴量（ピッチ）を訓練済モデルＭａのその時点の出力データとして出力する。該１の代替音響特徴量として、前記１以上の代替音響特徴量のうちの、直近の特徴量を用いてもよい。つまり、強制処理部４は、代替特徴量を生成しなくてもよい。このようにして、第１強制指示されていない時点では、推論部２により生成された音響特徴量が訓練済モデルＭａから出力され、第１強制指示された時点では、代替音響特徴が訓練済モデルＭａから出力され、出力された音響特徴量列（ピッチ列）ｓ５は訓練済モデルＭｂに与えられる。

【0032】

次に、訓練済モデルＭｂについて、訓練済モデルＭａと異なる点を中心に説明する。訓練済モデルＭｂにおいては、一時メモリ１は、直前の所定数の時点の音響特徴量列（周波数スペクトル列）ｓ１を順次記憶する。つまり、一時メモリ１には、所定数（数フレーム）分の音響特徴量が記憶される。

【0033】

推論部２には、一時メモリ１に記憶された音響特徴量列ｓ１が与えられる。また、推論部２には、音生成装置１０からの、楽譜特徴量列ｓ２と、制御値列（振幅列）ｓ４と、訓練済モデルＭａからのピッチ列ｓ５とが、入力データとして与えられる。推論部２は、時間軸上の各時点の入力データ（楽譜特徴量、ピッチ、制御値としての振幅）と、その時点の直前の音響特徴量とを処理することにより、その時点の音響特徴量（周波数スペクトル）を生成する。これにより、生成された音響特徴量列（周波数スペクトル列）ｓ５が出力データとして出力される。

【0034】

強制処理部３には、時間軸上のある時点（所望の時点）で音生成装置１０から第２強制指示が与えられる。また、強制処理部３には、時間軸上の各時点で音生成装置１０から制御値列（振幅列）ｓ４が与えられる。その時点に第２強制指示が与えられなければ、強制処理部３は、推論部２によりその時点で生成された音響特徴量（周波数スペクトル）を用いて一時メモリ１に記憶された音響特徴量列ｓ１をＦＩＦＯ的に更新する。一方、その時点に第２強制指示が与えられていれば、強制処理部３は、その時点の制御値（振幅）に従う直近の１以上の代替音響特徴量（周波数スペクトル）を生成し、生成された代替音響特徴量を用いて一時メモリ１に記憶された音響特徴量列ｓ１のうちの直近の１以上の音響特徴量をＦＩＦＯ的ないし準ＦＩＦＯ的に更新する。

【0035】

強制処理部４には、時間軸上のある時点（所望の時点）で音生成装置１０から第２強制指示が与えられる。また、強制処理部４には、時間軸上の各時点で推論部２から音響特徴量列（周波数スペクトル列）ｓ５が与えられる。強制処理部４は、その時点に第２強制指示が与えられなければ、推論部２により生成された音響特徴量（周波数スペクトル）を訓練済モデルＭｂのその時点の出力データとして出力する。一方、強制処理部４は、その時点に第２強制指示が与えられていれば、その時点の制御値（振幅）に従う直近の１つの代替音響特徴量を生成（または使用）し、その代替音響特徴量（周波数スペクトル）を訓練済モデルＭｂのその時点の出力データとして出力する。訓練済モデルＭｂから出力される音響特徴量列（周波数スペクトル列）ｓ５は、音生成装置１０に与えられる。

【0036】

（３）音生成装置
図３は、音生成装置１０の構成を示すブロック図である。図３に示すように、音生成装置１０は、機能部として制御値受付部１１、強制指示受付部１２、生成部１３、更新部１４および合成部１５を含む。音生成装置１０の機能部は、図１のＣＰＵ１３０が音生成プログラムを実行することにより実現される。音生成装置１０の機能部の少なくとも一部は、専用の電子回路等のハードウエアにより実現されてもよい。

【0037】

表示部１６０には、制御値の指示または強制指示を受け付けるためのＧＵＩが表示される。使用者は、操作部１５０を用いてＧＵＩを操作することにより、ピッチ分散および振幅の各々を制御値として、１曲の時間軸上の複数の時点で指示するとともに、時間軸上の所望の時点で強制指示を与える。制御値受付部１１は、ＧＵＩを通して指示されたピッチ分散および振幅を、時間軸上の各時点で操作部１５０から受け付け、ピッチ分散列ｓ３および振幅列ｓ４を生成部１３に与える。

【0038】

強制指示受付部１２は、ＧＵＩを通して指示された強制指示を、時間軸上の所望の時点で操作部１５０から受け付け、受け付けた強制指示を生成部１３に与える。強制指示は、操作部１５０からではなく、自動生成されてもよい。例えば、楽譜データＤ１に強制指示を与えるべき時点を示す強制指示情報が含まれる場合には、時間軸上のその時点で生成部１３が強制指示を自動生成し、強制指示受付部１２は、その自動生成された強制指示を受け付けてもよい。あるいは、強制指示情報が含まれない楽譜データＤ１を生成部１３が分析し、その曲の適切な時点（ピアノとフォルテとの変わり目等）を検出して、検出された時点で強制指示を自動生成してもよい。

【0039】

使用者は、操作部１５０を操作して、記憶部１４０等に記憶された複数の楽譜データＤ１の中から、音生成に用いる楽譜データＤ１を指定する。生成部１３は、記憶部１４０等に記憶された訓練済モデルＭａ，Ｍｂと、使用者により指定された楽譜データＤ１とを取得する。また、生成部１３は、各時点に、取得した楽譜データＤ１から楽譜特徴量を生成する。

【0040】

生成部１３は、楽譜特徴量列ｓ２と、制御値受付部１１からのピッチ分散列ｓ３および振幅列ｓ４とを、入力データとして訓練済モデルＭａに供給する。時間軸上の各時点において、生成部１３は、訓練済モデルＭａを用いて、その時点の入力データ（楽譜特徴量、制御値としてのピッチの分散および振幅）と、訓練済モデルＭａの一時メモリ１に記憶されたその時点の直前に生成されたピッチ列とを処理し、その時点のピッチを生成して出力する。

【0041】

また、生成部１３は、楽譜特徴量列ｓ２と、訓練済モデルＭａから出力されたピッチ列と、制御値受付部１１からの振幅列ｓ４とを、入力データとして訓練済モデルＭｂに供給する。時間軸上の各時点において、生成部１３は、訓練済モデルＭｂを用いて、その時点の入力データ（楽譜特徴量、ピッチ、および制御値としての振幅）と、訓練済モデルＭｂの一時メモリ１に記憶されたその時点の直前に生成された周波数スペクトル列とを処理し、その時点の周波数スペクトルを生成して出力する。

【0042】

更新部１４は、その時点に強制指示受付部１２に強制指示が受け付けられていなければ、訓練済モデルＭａ，Ｍｂの各々の強制処理部３を介して、推論部２により生成された音響特徴量を用いて一時メモリ１に記憶された音響特徴量列ｓ１をＦＩＦＯ的に更新する。一方、更新部１４は、その時点に強制指示が受け付けられていれば、訓練済モデルＭａ，Ｍｂの各々の強制処理部３を介して、その時点の制御値に従う直近の１以上の時点の代替音響特徴量を生成し、生成された代替音響特徴量を用いて一時メモリ１に記憶された音響特徴量列ｓ１をＦＩＦＯ的ないし準ＦＩＦＯ的に更新する。

【0043】

また、更新部１４は、その時点に強制指示受付部１２に強制指示が受け付けられていなければ、訓練済モデルＭａ，Ｍｂの各々の強制処理部４を介して、推論部２により生成された音響特徴量を音響特徴量列ｓ５の現時点の音響特徴量として出力する。一方、更新部１４は、その時点に強制指示が受け付けられていれば、訓練済モデルＭａ，Ｍｂの各々の強制処理部４を介して、その時点の制御値に従う直近の代替音響特徴量を生成（または使用）し、その代替音響特徴量を音響特徴量列ｓ５の現時点の音響特徴量として出力する。

【0044】

各時点の１以上の代替音響特徴量は、例えば、その時点の制御値と、その時点に生成された音響特徴量とに基づいて生成される。本例では、各時点の音響特徴量を、その時点の目標値と制御値とに応じた許容範囲に収まるように改変することにより、その時点の代替音響特徴量が生成される。目標値Ｔは、音響特徴量が制御値に追従した場合の典型値である。制御値に応じた許容範囲は、強制指示に含まれるＦｌｏｏｒ値およびＣｅｉｌ値により規定される。具体的には、制御値に応じた許容範囲は、制御値の目標値ＴよりＦｌｏｏｒ値だけ小さい下限値Ｔｆ（＝Ｔ－Ｆｌｏｏｒ値）と、制御値の目標値ＴよりＣｅｉｌ値だけ大きい上限値Ｔｃ（＝Ｔ＋Ｃｅｉｌ値）とにより規定される。

【0045】

図４は、元の音響特徴量と、その音響特徴量から生成された代替音響特徴量との間の特徴量の改変特性の図である。この特徴量は、制御値と同種である。図４では、横軸は、訓練済モデルＭの推論部２により生成された音響特徴量の特徴量（音量またはピッチ分散等）ｖを示し、縦軸は、改変後の音響特徴量（代替音響特徴量）の特徴量Ｆ（ｖ）を示す。

【0046】

図４の範囲Ｒ１に示すように、ある音響特徴量の特徴量ｖが下限値Ｔｆより小さい場合には、特徴量Ｆ（ｖ）が下限値Ｔｆになるように、その音響特徴量を改変することで、代替音響特徴量が生成される。図４の範囲Ｒ２に示すように、特徴量ｖが下限値Ｔｆ以上でかつ上限値Ｔｃ以下である場合には、改変されていない音響特徴量が代替音響特徴量になるので、特徴量Ｆ（ｖ）は特徴量ｖと同じである。図４の範囲Ｒ３に示すように、特徴量ｖが上限値Ｔｃより大きい場合には、特徴量Ｆ（ｖ）が上限値Ｔｃになるように、その音響特徴量が改変することで、代替音響特徴量が生成される。例えば、特徴量ｖがピッチ分散であり上限値Ｔｃより大きい（または小さい）場合、生成されるピッチ（音響特徴量）の平均を保ったまま、その分散が小さく（または大きく）なるよう、係数（Ｔｃ／ｖ）を用いてスケーリングして、代替音響特徴量を生成する。また、特徴量ｖが音量であり上限値Ｔｃより大きい（または小さい）場合は、その音量が小さく（または大きく）なるよう周波数スペクトル（音響特徴量）全体を係数（Ｔｃ／ｖ）でスケーリングして、代替特徴量を生成する。

【0047】

複数時点の代替音響特徴量を生成する場合、各時点に同じＦｌｏｏｒ値とＣｅｉｌ値を適用してもよい。あるいは、代替音響特徴量の時点が古いほど、特徴量の改変度を小さくしてもよい。具体的には、図４のＦｌｏｏｒ値とＣｅｉｌ値を現時点の値として、それより前のＦｌｏｏｒ値およびＣｅｉｌ値を、古い時点ほど大きな値にする。代替音響特徴量への置換を複数点にすれば、生成される音響特徴量の制御値への追従がより速くなる。

【0048】

合成部１５は、例えばボコーダとして機能し、生成部１３において訓練済モデルＭｂの強制処理部４により生成された周波数領域の音響特徴量列（周波数スペクトル列）ｓ５から時間領域の波形処理である音信号を生成する。生成した音信号を、合成部１５に接続された、スピーカ等を含むサウンドシステムに供給することにより、音信号に基づく音が出力される。本例では、音生成装置１０は合成部１５を含むが、実施形態はこれに限定されない。音生成装置１０は、合成部１５を含まなくてもよい。

【0049】

（４）訓練装置
図５は、訓練装置２０の構成を示すブロック図である。図５に示すように、訓練装置２０は、抽出部２１および構築部２２を含む。訓練装置２０の機能部は、図１のＣＰＵ１３０が訓練プログラムを実行することにより実現される。訓練装置２０の機能部の少なくとも一部が専用の電子回路等のハードウエアにより実現されてもよい。

【0050】

抽出部２１は、記憶部１４０等に記憶された複数の参照データＤ３の各々を分析することにより、参照ピッチ列および参照周波数スペクトル列を参照音響特徴量列として抽出する。また、抽出部２１は、抽出した参照ピッチ列および参照周波数スペクトル列を処理することにより、参照ピッチの分散の時系列である参照ピッチ分散列、および参照周波数スペクトルに対応する波形の振幅の時系列である参照振幅列を、それぞれ参照制御値列として抽出する。

【0051】

構築部２２は、記憶部１４０等から訓練すべき生成モデルｍおよび参照楽譜データＤ２を取得する。また、構築部２２は、参照楽譜データＤ２から参照楽譜特徴列を生成し、機械学習の手法により、参照楽譜特徴量列、参照ピッチ分散列、および参照振幅列を入力データとし、参照ピッチ列を出力データの正解値として用いて、生成モデルｍを訓練する。訓練において、一時メモリ１（図２）には、生成モデルｍにより生成された参照ピッチ列のうちの、各時点の直前の参照ピッチ列が記憶される。

【0052】

構築部２２は、生成モデルｍを用いて、時間軸上の各時点の入力データ（参照楽譜特徴量、制御値としての参照ピッチ分散および参照音量）と、一時メモリ１に記憶されたその時点の直前の参照ピッチ列とを処理して、その時点のピッチを生成する。そして、構築部２２は、生成されたピッチ列と参照ピッチ列（正解）との誤差が小さくなるように、生成モデルｍの変数を調整する。この訓練をその誤差が十分小さくなるまで繰り返すことにより、時間軸上の各時点の入力データ（参照楽譜特徴量、参照ピッチ分散および参照振幅）と、出力データ（参照ピッチ）との間の入出力関係を習得した訓練済モデルＭａが構築される。

【0053】

同様に、構築部２２は、機械学習の手法により、参照楽譜特徴量列、参照ピッチ列、および参照振幅列を入力データとし、参照周波数スペクトル列を出力データの正解値として用いて、生成モデルｍを訓練する。訓練において、一時メモリ１には、生成モデルｍにより生成された参照周波数スペクトル列のうちの、各時点の直前の参照周波数スペクトル列が記憶される。

【0054】

構築部２２は、生成モデルｍを用いて、時間軸上の各時点の入力データ（参照楽譜特徴量、参照ピッチおよび制御値としての参照振幅）と、一時メモリ１に記憶された各時点の直前の参照周波数スペクトル列とを処理して、その時点の周波数スペクトルを生成する。そして、構築部２２は、生成された周波数スペクトル列と参照周波数スペクトル列（正解）との誤差が小さくなるように、生成モデルｍの変数を調整する。この訓練をその誤差が十分小さくなるまで繰り返すことにより、時間軸上の各時点の入力データ（参照楽譜特徴量、参照ピッチ、および参照振幅）と、出力データ（参照周波数スペクトル列）との間の入出力関係を習得した訓練済モデルＭｂが構築される。構築部２２は、構築された訓練済モデルＭａ，Ｍｂを記憶部１４０等に保存する。

【0055】

（５）音生成処理
図６および図７は、図３の音生成装置１０による音生成処理の一例を示すフローチャートである。図６および図７の音生成処理は、図１のＣＰＵ１３０が記憶部１４０等に記憶された音生成プログラムを実行することにより行われる。まず、ＣＰＵ１３０は、使用者によりいずれかの曲の楽譜データＤ１が選択されたか否かを判定する（ステップＳ１）。楽譜データＤ１が選択されない場合、ＣＰＵ１３０は、楽譜データＤ１が選択されるまで待機する。

【0056】

ある曲の楽譜データＤ１が選択された場合、ＣＰＵ１３０は、現時点ｔをその楽譜データの曲の先頭（最初の時間フレーム）に設定するとともに、楽譜データＤ１から現時点ｔの楽譜特徴量を生成する（ステップＳ２）。また、ＣＰＵ１３０は、その時点で使用者が入力したピッチの分散および振幅を現時点ｔの制御値として受け付ける（ステップＳ３）。さらに、ＣＰＵ１３０は、現時点ｔで使用者からの第１強制指示ないし第２強制指示が受け付けられたか否かを確定する（ステップＳ４）。

【0057】

また、ＣＰＵ１３０は、訓練済モデルＭａの一時メモリ１から現時点ｔの直前の複数時点ｔに生成されたピッチ列を取得する（ステップＳ５）。さらに、ＣＰＵ１３０は、訓練済モデルＭｂの一時メモリ１から現時点ｔの直前に生成された周波数スペクトル列を取得する（ステップＳ６）。ステップＳ２～Ｓ６は、いずれが先に実行されてもよく、同時に実行されてもよい。

【0058】

次に、ＣＰＵ１３０は、訓練済モデルＭａの推論部２を用いて、入力データ（ステップＳ１で生成された楽譜特徴量、ステップＳ３で受け付けられたピッチの分散および振幅）と、ステップＳ５で取得された直前のピッチとを処理して、現時点ｔのピッチを生成する（ステップＳ７）。続いて、ＣＰＵ１３０は、ステップＳ４で第１強制指示を受け付けていたか否かを判定する（ステップＳ８）。第１強制指示が受け付けられていなければ、ＣＰＵ１３０は、ステップＳ７で生成されたピッチを用いて、訓練済モデルＭａの一時メモリ１に記憶されたピッチ列をＦＩＦＯ的に更新する（ステップＳ９）。また、ＣＰＵ１３０は、そのピッチを出力データとして出力し（ステップＳ１０）、ステップＳ１４に進む。

【0059】

第１強制指示が受け付けられていれば、ＣＰＵ１３０は、ステップＳ３で受け付けられたピッチの分散と、ステップＳ７で生成されたピッチとに基づいて、そのピッチの分散に従う、直近の１以上の時点の代替音響特徴量（代替ピッチ）を生成する（ステップＳ１１）。その後、ＣＰＵ１３０は、生成された１以上の時点の代替音響特徴量を用いて、訓練済モデルＭａの一時メモリ１に記憶されたピッチをＦＩＦＯ的ないし準ＦＩＦＯ的に更新する（ステップＳ１２）。また、ＣＰＵ１３０は、生成された現時点の代替音響特徴量を出力データとして出力し（ステップＳ１３）、ステップＳ１４に進む。ステップＳ１２，Ｓ１３は、いずれが先に実行されてもよく、同時に実行されてもよい。

【0060】

ステップＳ１４で、ＣＰＵ１３０は、訓練済モデルＭｂを用いて、入力データ（ステップＳ１で取得された楽譜特徴量、ステップＳ３で受け付けられた振幅、およびステップＳ７で生成されたピッチ）と、ステップＳ６で取得された直前の周波数スペクトルとから、現時点ｔの周波数スペクトルを生成する（ステップＳ１４）。続いて、ＣＰＵ１３０は、ステップＳ４で第２強制指示を受け付けていたか否かを判定する（ステップＳ１５）。第２強制指示が受け付けられていなければ、ＣＰＵ１３０は、ステップＳ１４で生成された周波数スペクトルを用いて、訓練済モデルＭｂの一時メモリ１に記憶された周波数スペクトル列をＦＩＦＯ的に更新する（ステップＳ１６）。また、ＣＰＵ１３０は、その周波数スペクトルを出力データとして出力し（ステップＳ１７）、ステップＳ２１に進む。

【0061】

第２強制指示が受け付けられていれば、ＣＰＵ１３０は、ステップＳ３で受け付けられ振幅と、ステップＳ１４で生成された周波数スペクトルとに基づいて、その振幅に従う、直近の１以上の時点の代替音響特徴量（代替周波数スペクトル）を生成する（ステップＳ１８）。その後、ＣＰＵ１３０は、生成された１以上の時点の代替音響特徴量を用いて、訓練済モデルＭｂの一時メモリ１に記憶された周波数スペクトル列をＦＩＦＯ的ないし準ＦＩＦＯ的に更新する（ステップＳ１９）。また、ＣＰＵ１３０は、生成された現時点の代替音響特徴量を出力データとして出力し（ステップＳ２０）、ステップＳ２１に進む。ステップＳ１９，Ｓ２０は、いずれが先に実行されてもよく、同時に実行されてもよい。

【0062】

ステップＳ２１で、ＣＰＵ１３０は、公知のいずれかのボコーダ技術を用いて、出力データとして出力された周波数スペクトルから現時点の音信号を生成する（ステップＳ２１）。これにより、現時点（現在の時間フレーム）の音信号に基づく音がサウンドシステムから出力される。その後、ＣＰＵ１３０は、曲の演奏が終了したか否か、すなわち楽譜データＤ１の演奏の現時点ｔが曲の終了時点（最後の時間フレーム）に達したか否かを判定する（ステップＳ２２）。

【0063】

現時点ｔがまだ演奏終了時点でない場合、ＣＰＵ１３０は、次の時点ｔ（次の時間フレーム）まで待機して（ステップＳ２３）、ステップＳ２に戻る。次の時点ｔまでの待機時間は、例えば５ミリ秒である。演奏が終了するまで、時点ｔ（時間フレーム）ごとに、ステップＳ２～Ｓ２２がＣＰＵ１３０により繰り返し実行される。ここで、各時点ｔに与えられる制御値をリアルタイムに音信号に反映する必要がなければ、ステップＳ２３での待機は省略できる。例えば、制御値の時間変化が予め決められている（楽譜データＤ１の中に各時点ｔの制御値がプログラムされている）場合には、ステップＳ２３を省略して、処理をステップＳ２に戻してよい。

【0064】

（６）訓練処理
図８は、図５の訓練装置２０による訓練処理の一例を示すフローチャートである。図８の訓練処理は、図１のＣＰＵ１３０が記憶部１４０等に記憶された訓練プログラムを実行することにより行われる。まず、ＣＰＵ１３０は、記憶部１４０等から訓練に用いる複数の参照データＤ３（複数曲の波形データ）を取得する（ステップＳ３１）。次に、ＣＰＵ１３０は、各参照データＤ３に対応する曲の参照楽譜データＤ２からその曲の参照楽譜特徴量列を生成して取得する（ステップＳ３２）。

【0065】

続いて、ＣＰＵ１３０は、各参照データＤ３から参照ピッチ列および参照周波数スペクトル列を抽出する（ステップＳ３３）。その後、ＣＰＵ１３０は、抽出された参照ピッチ列および参照周波数スペクトル列をそれぞれ処理することにより、参照ピッチ分散列および参照振幅列を抽出する（ステップＳ３４）。

【0066】

次に、ＣＰＵ１３０は、訓練すべき１つの生成モデルｍを取得し、入力データ（ステップＳ３２で取得された参照楽譜特徴量列、ステップＳ３４で抽出された参照ピッチ分散列および参照振幅列）と、正解の出力データ（ステップＳ３３で抽出された参照ピッチ列）とを用いて、その生成モデルｍを訓練する。先述したように、生成モデルｍにより生成されるピッチ列と参照ピッチ列との誤差が小さくなるよう、生成モデルｍの変数が調整される。これにより、ＣＰＵ１３０は、各時点の入力データ（参照楽譜特徴量、参照ピッチ分散、および参照振幅）と、その時点の正解の出力データ（参照ピッチ）との間の入出力関係を、生成モデルｍに機械学習させる（ステップＳ３５）。生成モデルｍは、この訓練においては、一時メモリ１に記憶された直前の複数時点に生成されたピッチの代わりに、参照ピッチ列に含まれる直前の複数時点のピッチを推論部２で処理して、その時点のピッチを生成してもよい。

【0067】

続いて、ＣＰＵ１３０は、その誤差が十分小さくなったか、すなわち、生成モデルｍが入出力関係を習得したか否かを判定する（ステップＳ３６）。その誤差がまだ大きく、機械学習が不十分と判定される場合、ＣＰＵ１３０はステップＳ３５に戻る。生成モデルｍがその入出力関係を習得するまで、パラメータが変化されつつステップＳ３５～Ｓ３６が繰り返される。機械学習の繰り返し回数は、構築される一方の訓練済モデルＭａが満たすべき品質条件（算出する誤差の種別、または判定に用いる閾値等）に応じて変化する。

【0068】

十分な機械学習が実行されたと判断された場合、その生成モデルｍは、訓練により、各時点の入力データ（参照ピッチ分散および参照振幅を含む。）と、その時点の出力データの正解値（参照ピッチ）との間の入出力関係を習得しており、ＣＰＵ１３０は、その入出力関係を習得した生成モデルｍを、一方の訓練済モデルＭａとして保存する（ステップＳ３７）。このように、この訓練済モデルＭａは、各時点のピッチを、未知のピッチ分散と、直前の複数の時点のピッチに基づいて推定するよう訓練されている。ここで、未知のピッチ分散は、前記訓練に用いていないピッチ分散を意味する。

【0069】

また、ＣＰＵ１３０は、訓練すべきもう１つの生成モデルｍを取得し、入力データ（ステップＳ３２で取得された参照楽譜特徴量列、ステップＳ３３で抽出された参照ピッチ列、およびステップＳ３４で抽出された参照振幅列）と、正解の出力データ（参照周波数スペクトル列）とを用いて、その生成モデルｍを訓練する。先述したように、生成モデルｍにより生成される周波数スペクトル列と参照周波数スペクトル列との誤差が小さくなるよう、生成モデルｍの変数が調整される。これにより、ＣＰＵ１３０は、各時点の入力データ（参照楽譜特徴量、参照ピッチ、および参照振幅）と、その時点の正解の出力データ（参照周波数スペクトル）との間の入出力関係を、生成モデルｍに機械学習させる（ステップＳ３８）。生成モデルｍは、この訓練においては、一時メモリ１に記憶された直前の複数時点に生成された周波数スペクトルの代わりに、参照周波数スペクトル列に含まれる直前の複数時点の周波数スペクトルを推論部２で処理して、その時点の周波数スペクトルを生成してもよい。

【0070】

続いて、ＣＰＵ１３０は、その誤差が十分小さくなったか、すなわち、生成モデルｍが入出力関係を習得したか否かを判定する（ステップＳ３９）。その誤差がまだ大きく、機械学習が不十分と判定される場合、ＣＰＵ１３０はステップＳ３８に戻る。生成モデルｍがその入出力関係を習得するまで、パラメータが変化されつつステップＳ３８～Ｓ３９が繰り返される。機械学習の繰り返し回数は、構築される他方の訓練済モデルＭｂが満たすべき品質条件（算出する誤差の種別、または判定に用いる閾値等）に応じて変化する。

【0071】

十分な機械学習が実行されたと判断された場合、その生成モデルｍは、訓練により、各時点の入力データ（参照振幅を含む。）と、その時点の出力データの正解値（参照周波数スペクトル）との間の入出力関係を習得しており、ＣＰＵ１３０は、その入出力関係を習得した生成モデルｍを、他方の訓練済モデルＭｂとして保存し（ステップＳ４０）、訓練処理を終了する。このように、この訓練済モデルＭｂは、各時点の周波数スペクトルを、未知の振幅と、直前の複数の時点の周波数スペクトルに基づいて推定するよう訓練されている。ここで、未知の振幅は、前記訓練に用いていない振幅を意味する。ステップＳ３５～Ｓ３７と、ステップＳ３８～Ｓ４０とは、いずれが先に実行されてもよいし、並列的に実行されてもよい。

【0072】

（７）変形例
本実施形態において、ＣＰＵ１３０は、更新部１４として、各時点の音響特徴量の特徴量をその時点の目標値と制御値とに応じた許容範囲に収まるように改変することにより各時点の代替音響特徴量を生成するが、その生成方法はこれに限定されない。例えば、ＣＰＵ１３０は、各時点の音響特徴量の特徴量における、その時点の制御値に応じた（許容範囲に代わる）中立範囲からの超過量を、所定の割合で音響特徴量の改変に反映することにより各時点の代替音響特徴量を生成してもよい。この割合をＲａｔｉｏ値と呼ぶ。

【0073】

図９は、第１変形例における代替音響特徴量の生成を説明するための図である。中立範囲の上限値Ｔｃは（Ｔ＋Ｃｅｉｌ値）であり、下限値Ｔｆは（Ｔ－Ｆｌｏｏｒ値）である。第１変形例では、図９の範囲Ｒ１に示すように、ある音響特徴量の特徴量ｖが下限値Ｔｆより小さい場合には、その特徴量ｖが特徴量Ｆ（ｖ）＝ｖ－（ｖ－Ｔｆ）×Ｒａｔｉｏ値になるように音響特徴量が改変される。図９の範囲Ｒ２に示すように、特徴量ｖが下限値Ｔｆ以上でかつ上限値Ｔｃ以下である場合には、音響特徴量は改変されず、特徴量Ｆ（ｖ）は特徴量ｖと同じになる。図９の範囲Ｒ３に示すように、特徴量ｖが上限値Ｔｃより大きい場合には、Ｆ（ｖ）＝ｖ－（ｖ－Ｔｃ）×Ｒａｔｉｏ値になるように音響特徴量が改変される。複数時点の代替音響特徴量を生成する場合は、Ｆｌｏｏｒ値およびＣｅｉｌ値は時点に応じて変えずに、Ｒａｔｉｏ値を古い時点ほど小さな値にしてもよい。

【0074】

図９には、Ｒａｔｉｏ値が０、０．５および１であるときの改変後の音響特徴量の特徴量Ｆ（ｖ）が、それぞれ太い一点鎖線、太い点線および太い実線により示される。Ｒａｔｉｏ値が０であるときの改変後の音響特徴量の特徴量Ｆ（ｖ）は、図４の細い一点鎖線により示される特徴量ｖと等しく、強制がかかっていない。Ｒａｔｉｏ値が１であるときの改変後の音響特徴量の特徴量Ｆ（ｖ）は、図４の太い実線により示される改変後の音響特徴量の特徴量Ｆ（ｖ）と等しい。この構成によれば、一時メモリ１に記憶された音響特徴量列の音響特徴量が中立範囲を超えた場合に、超えた量をＲａｔｉｏ値に応じた割合で代替音響特徴量の改変に反映できる。

【0075】

あるいは、ＣＰＵ１３０は、各時点の音響特徴量を、その時点の制御値に応じた目標値ＴにＲａｔｅ値に応じた割合で近づくように改変することにより各時点の代替音響特徴量を生成してもよい。図１０は、第２変形例における代替音響特徴量の生成を説明するための図である。第２変形例では、図１０に示すように、特徴量ｖの全範囲において、特徴量Ｆ（ｖ）＝ｖ－（ｖ－Ｔ）×Ｒａｔｅ値になるように音響特徴量が改変される。複数時点の代替音響特徴量を生成する場合は、Ｒａｔｅ値を古い時点ほど小さな値にしてもよい。

【0076】

図１０には、Ｒａｔｅ値が０、０．５および１であるときの改変後の音響特徴量の特徴量Ｆ（ｖ）が、それぞれ太い一点鎖線、太い点線および太い実線により示される。Ｒａｔｅ値が０であるときの改変後の音響特徴量の特徴量Ｆ（ｖ）は、図４の一点鎖線により示される特徴量ｖと等しく、強制がかかっていない。Ｒａｔｅ値が１であるときの改変後の音響特徴量の特徴量Ｆ（ｖ）は、制御値の目標値Ｔと等しく、最も強い強制がかかっている。

【0077】

（８）実施形態の効果
以上説明したように、本実施形態に係る音生成方法は、コンピュータにより実現される方法であって、音の特性を示す制御値を、時間軸上の複数の各時点で受け付け、時間軸上の所望の時点において、強制指示を受け付け、訓練済モデルを用いて、各時点の制御値と、一時メモリに記憶された音響特徴量列とを処理して、その時点の音響特徴量を生成し、その時点に強制指示が受け付けられていなければ、生成された音響特徴量を用いて一時メモリに記憶された音響特徴量列の音響特徴量を更新し、その時点に強制指示が受け付けられていれば、その時点の制御値に従う代替音響特徴量を生成し、生成された代替音響特徴量を用いて一時メモリに記憶された音響特徴量列の音響特徴量を更新する。

【0078】

この方法によれば、ある時点において、訓練済モデルを用いて生成している音響特徴量がその時点の制御値に応じた値から乖離していても、強制指示を与えることにより、その時点から大きく遅延することなく、制御値に比較的タイトに追随する音響特徴量が生成される。これにより、使用者の意図に従った音信号を生成できる。

【0079】

訓練済モデルは、機械学習により、各時点の音響特徴量を、直前の複数の時点の音響特徴量に基づいて推定するよう訓練済であってもよい。

【0080】

各時点の代替音響特徴量は、その時点の制御値と、その時点に生成された音響特徴量とに基づいて生成されてもよい。

【0081】

各時点の音響特徴量をその時点の制御値に応じた許容範囲に収まるように改変することにより各時点の代替音響特徴量が生成されてもよい。

【0082】

制御値に応じた許容範囲は、強制指示により規定されてもよい。

【0083】

各時点の音響特徴量におけるその時点の制御値に応じた中立範囲からの超過量を所定の割合で音響特徴量から減じることにより各時点の代替音響特徴量が生成されてもよい。

【0084】

各時点の音響特徴量をその時点の制御値に応じた目標値に近づくように改変することにより各時点の代替音響特徴量が生成されてもよい。

【0085】

（９）他の実施形態
上記実施形態では、訓練済モデルＭａ，Ｍｂの両方を用いて各時点の音響特徴量を生成するが、訓練済モデルＭａ，Ｍｂの一方だけを用いて各時点の音響特徴量を生成してもよい。この場合、音生成処理のステップＳ７～Ｓ１３と、ステップＳ１４～Ｓ２０との一方が実行され、他方が実行されない。

【0086】

前者では、実行されたステップＳ７～Ｓ１３で生成されたピッチ列が公知の音源に供給され、その音源はそのピッチ列に基づいて音信号を生成する。例えば、音素片接続型の歌唱合成器にそのピッチ列を供給して、そのピッチ列に応じた歌唱を生成させてもよい。或いは、波形メモリ音源やＦＭ音源などにそのピッチ列を供給して、そのピッチ列に応じた楽器音を生成させてもよい。

【0087】

後者では、ステップＳ１４～Ｓ２０は、訓練済モデルＭａ以外の公知の方法で生成されたピッチ列を受け取って周波数スペクトル列を生成する。例えば、使用者が手書きしたピッチ列、楽器音またはユーザ歌唱から抽出されたピッチ列を受け取って、訓練済モデルＭｂを用いて、そのピッチ列に応じた周波数スペクトル列を生成してもよい。前者では、訓練済モデルＭｂは不要で、訓練処理のステップＳ３８～Ｓ４０は実行しなくてよい。同様に、後者では、訓練済モデルＭａは不要で、ステップＳ３５～Ｓ３７は実行しなくてよい。

【0088】

また、上記実施形態では、参照楽譜データＤ２を用いた教師あり学習を実行するが、参照データＤ３から楽譜特徴量列を生成するエンコーダを用意して、参照楽譜データＤ２を用いずに、参照データＤ３による教師なしの機械学習を実行してもよい。そのエンコーダ処理は、訓練段階では、参照データＤ３を入力としてステップＳ３２で実行され、利用段階では、楽器音またはユーザ歌唱を入力としてステップＳ２で実行される。

【0089】

上記実施形態は、楽器音の音信号を生成する音生成装置であったが、音生成装置はそれ以外の音信号を生成してもよい。例えば、音生成装置は、タイムスタンプ付きのテキストデータからスピーチの音信号を生成してもよい。その場合の訓練済モデルＭは、例えば、（楽譜特徴量の代わりに）テキストデータから生成されたテキスト特徴量列と音量を示す制御値列とを入力データとして入力し、周波数スペクトル特徴量列を生成するＡＲタイプの生成モデルでもよい。

【0090】

上記実施形態では、使用者が操作部１５０を操作して、制御値をリアルタイムに入力するが、使用者が、予め制御値の時間変化をプログラムし、プログラムされた通りに変化する制御値を訓練済モデルＭに与えて、各時点の音響特徴量を生成してもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】