特開2023-105505音声合成処理装置、学習方法、および、音響特徴量生成装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023105505
(43)【公開日】2023-07-31
(54)【発明の名称】音声合成処理装置、学習方法、および、音響特徴量生成装置
(51)【国際特許分類】
G10L 13/10 20130101AFI20230724BHJP
【ＦＩ】
G10L13/10 111F
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022006374
(22)【出願日】2022-01-19
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(74)【代理人】
【識別番号】100136319
【弁理士】
【氏名又は名称】北原 宏修
(72)【発明者】
【氏名】岡本 拓磨
(72)【発明者】
【氏名】戸田 智基
(72)【発明者】
【氏名】河井 恒
(57)【要約】 （修正有）
【課題】音素の弾性率を考慮しつつ、安定で高精度な話速変換が可能な音声合成処理を行う音声合成処理装置、その学習処理を行うための学習方法及び音響特徴量生成装置を提供する。
【解決手段】音声合成処理装置１００は、学習処理時において、推定すべきアライメントされた目標の音素継続長に、ガウスノイズｎを加算して損失を計算するノイズ付加処理部３Ａを備える。推定される音素継続長の分散値を有限値とすることで、音素継続長の分散値が「０」となってしまい、音声合成処理時に、音素の弾性率を再現することができないという問題が発生しない。
【選択図】図１
【解決手段】音声合成処理装置１００は、学習処理時において、推定すべきアライメントされた目標の音素継続長に、ガウスノイズｎを加算して損失を計算するノイズ付加処理部３Ａを備える。推定される音素継続長の分散値を有限値とすることで、音素継続長の分散値が「０」となってしまい、音声合成処理時に、音素の弾性率を再現することができないという問題が発生しない。
【選択図】図１
【特許請求の範囲】
【請求項1】
テキストデータを構成する音素の系列データである音素系列データを入力し、当該音素系列データに対してエンコード処理を実行し、エンコード処理後のデータを出力するエンコーダと、
前記エンコーダから出力されるデータに対して畳み込み処理を実行することで第１データを取得し、前記第１データから、前記音素系列データに含まれる各音素の継続長を推定する処理を行う継続長推定処理部であって、前記第１データと、前記音素系列データに含まれる各音素の継続長のデータとを出力する前記継続長推定処理部と、
前記エンコーダから出力されるデータと、前記継続長推定処理部から出力されるデータとを用いて、デコード処理を実行することで、音響特徴量を取得するデコーダと、
前記デコーダからの音響特徴量に基づき音声波形を生成するボコーダと、
を備え、
前記継続長推定処理部は、
前記第１データから、前記音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する写像変換層と、
前記写像変換層により取得された音素継続長の推定分散値の範囲を規制する分散範囲規制処理を実行することで処理後のデータを範囲規制分散データとして取得する範囲規制処理部と、
前記写像変換層により取得された音素継続長の推定平均値のデータに対して活性化関数による処理を行い、処理後のデータを推定平均データとして取得する活性化処理部と、
前記範囲規制分散データと、前記推定平均データとに基づいて、推定音素継続長を取得する継続長取得部と、
を有し、
前記エンコーダ、前記継続長推定処理部、および、前記デコーダは、それぞれ、パラメータを更新することで学習可能である学習モデル、あるいは、当該学習モデルの学習済みモデルを搭載することが可能であり、
各音素の継続長の正解データにガウスノイズを付加したデータと、前記範囲規制分散データと、前記推定平均データとに基づいて、音素継続長についての損失を算出し、算出した当該損失に基づいて、前記エンコーダ、前記継続長推定処理部、および、前記デコーダのパラメータを更新することで、学習処理が実行され、当該学習処理により取得された学習済みモデルを搭載することができる、
音声合成処理装置。
前記エンコーダから出力されるデータに対して畳み込み処理を実行することで第１データを取得し、前記第１データから、前記音素系列データに含まれる各音素の継続長を推定する処理を行う継続長推定処理部であって、前記第１データと、前記音素系列データに含まれる各音素の継続長のデータとを出力する前記継続長推定処理部と、
前記エンコーダから出力されるデータと、前記継続長推定処理部から出力されるデータとを用いて、デコード処理を実行することで、音響特徴量を取得するデコーダと、
前記デコーダからの音響特徴量に基づき音声波形を生成するボコーダと、
を備え、
前記継続長推定処理部は、
前記第１データから、前記音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する写像変換層と、
前記写像変換層により取得された音素継続長の推定分散値の範囲を規制する分散範囲規制処理を実行することで処理後のデータを範囲規制分散データとして取得する範囲規制処理部と、
前記写像変換層により取得された音素継続長の推定平均値のデータに対して活性化関数による処理を行い、処理後のデータを推定平均データとして取得する活性化処理部と、
前記範囲規制分散データと、前記推定平均データとに基づいて、推定音素継続長を取得する継続長取得部と、
を有し、
前記エンコーダ、前記継続長推定処理部、および、前記デコーダは、それぞれ、パラメータを更新することで学習可能である学習モデル、あるいは、当該学習モデルの学習済みモデルを搭載することが可能であり、
各音素の継続長の正解データにガウスノイズを付加したデータと、前記範囲規制分散データと、前記推定平均データとに基づいて、音素継続長についての損失を算出し、算出した当該損失に基づいて、前記エンコーダ、前記継続長推定処理部、および、前記デコーダのパラメータを更新することで、学習処理が実行され、当該学習処理により取得された学習済みモデルを搭載することができる、
音声合成処理装置。
【請求項2】
前記音素系列データは、Ｋ個（Ｋ：自然数）の音素である第１番目から第Ｋ番目の音素からなり、第ｋ番目の音素の継続長の推定平均値の前記範囲規制分散データをσｋ
２（ｋ：自然数、１≦ｋ≦Ｋ）とし、第ｋ番目の音素の継続長の前記推定平均データをξｋ（ｋ：自然数、１≦ｋ≦Ｋ）とすると、
前記範囲規制処理部は、上限値Ｖｍａｘ ２と、下限値Ｖｍｉｎ ２とを入力し、音素継続長の推定分散値の範囲をＶｍｉｎ ２≦σｋ ２≦Ｖｍａｘ ２を満たす範囲となるように、前記範囲規制処理を実行し、
各音素の継続長の正解データに付加するガウスノイズをｎとすると、ガウスノイズｎは、
ｎ～Ｎ（０，Ｖｍｉｎ ２）
Ｎ（μ，σ２）：平均μ、分散σ２のガウス分布
を満たすように設定される、
請求項１に記載の音声合成処理装置。
前記範囲規制処理部は、上限値Ｖｍａｘ ２と、下限値Ｖｍｉｎ ２とを入力し、音素継続長の推定分散値の範囲をＶｍｉｎ ２≦σｋ ２≦Ｖｍａｘ ２を満たす範囲となるように、前記範囲規制処理を実行し、
各音素の継続長の正解データに付加するガウスノイズをｎとすると、ガウスノイズｎは、
ｎ～Ｎ（０，Ｖｍｉｎ ２）
Ｎ（μ，σ２）：平均μ、分散σ２のガウス分布
を満たすように設定される、
請求項１に記載の音声合成処理装置。
【請求項3】
前記デコーダで取得される音響特徴量と、前記音素系列データに対応する音響特徴量である正解音響特徴量との誤差についてのノルムに基づいて規定される音響特徴量についての損失と、前記音素継続長についての損失とを統合することで取得される統合損失に基づいて、前記エンコーダ、前記継続長推定処理部、および、前記デコーダのパラメータを更新することで前記学習処理が実行される、
請求項１または２に記載の音声合成処理装置。
請求項１または２に記載の音声合成処理装置。
【請求項4】
前記音素系列データは、Ｋ個（Ｋ：自然数）の音素である第１番目から第Ｋ番目の音素からなり、第ｋ番目の音素の継続長の推定平均値の前記範囲規制分散データをσｋ
２（ｋ：自然数、１≦ｋ≦Ｋ）とし、第ｋ番目の音素の継続長の前記推定平均データをξｋ（ｋ：自然数、１≦ｋ≦Ｋ）とし、所定期間のフレーム数をＴとすると、
前記継続長取得部は、
に相当する処理を実行することで、第ｋ番目の音素の推定継続長ｄｋを取得し、
前記デコーダは、前記継続長取得部により推定された音素の推定継続長のデータと、前記第１データとに基づいて、デコード処理を行うことで、音響特徴量の推定データを取得する、
請求項１から３のいずれかに記載の音声合成処理装置。
前記継続長取得部は、
前記デコーダは、前記継続長取得部により推定された音素の推定継続長のデータと、前記第１データとに基づいて、デコード処理を行うことで、音響特徴量の推定データを取得する、
請求項１から３のいずれかに記載の音声合成処理装置。
【請求項5】
前記デコーダは、学習可能な機能部であって、前記継続長取得部により推定された音素の推定継続長のデータに基づいて、前記第１データに対してアップサンプリング処理を行う学習可能アップサンプリング層を備える、
請求項４に記載の音声合成処理装置。
請求項４に記載の音声合成処理装置。
【請求項6】
請求項１から５のいずれかに記載の音声合成処理装置の学習処理を行うための学習方法であって、
テキストデータを構成する音素の系列データである音素系列データを入力し、当該音素系列データに対してエンコード処理を実行し、エンコード処理後のデータを出力するエンコードステップと、
前記エンコードステップで取得されたデータに対して畳み込み処理を実行することで、前記音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する推定平均分散データ取得ステップと、
各音素の継続長の正解データにガウスノイズを付加してノイズ付加データを取得するノイズ付加ステップと、
前記推定平均値と、前記推定分散値と、前記ノイズ付加データとに基づいて、音素継続長についての損失を算出する損失算出ステップと、
前記損失算出ステップで算出した損失に基づいて、前記エンコーダ、前記継続長推定処理部、および、前記デコーダのパラメータを更新するパラメータ更新ステップと、
を備える学習方法。
テキストデータを構成する音素の系列データである音素系列データを入力し、当該音素系列データに対してエンコード処理を実行し、エンコード処理後のデータを出力するエンコードステップと、
前記エンコードステップで取得されたデータに対して畳み込み処理を実行することで、前記音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する推定平均分散データ取得ステップと、
各音素の継続長の正解データにガウスノイズを付加してノイズ付加データを取得するノイズ付加ステップと、
前記推定平均値と、前記推定分散値と、前記ノイズ付加データとに基づいて、音素継続長についての損失を算出する損失算出ステップと、
前記損失算出ステップで算出した損失に基づいて、前記エンコーダ、前記継続長推定処理部、および、前記デコーダのパラメータを更新するパラメータ更新ステップと、
を備える学習方法。
【請求項7】
テキストデータを構成する音素の系列データである音素系列データを入力し、当該音素系列データに対してエンコード処理を実行し、エンコード処理後のデータを出力するエンコーダと、
前記エンコーダから出力されるデータに対して畳み込み処理を実行することで第１データを取得し、前記第１データから、前記音素系列データに含まれる各音素の継続長を推定する処理を行う継続長推定処理部であって、前記第１データと、前記音素系列データに含まれる各音素の継続長のデータとを出力する前記継続長推定処理部と、
前記エンコーダから出力されるデータと、前記継続長推定処理部から出力されるデータとを用いて、デコード処理を実行することで、音響特徴量を取得するデコーダと、
を備え、
前記継続長推定処理部は、
前記第１データから、前記音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する写像変換層と、
前記写像変換層により取得された音素継続長の推定分散値の範囲を規制する分散範囲規制処理を実行することで処理後のデータを範囲規制分散データとして取得する範囲規制処理部と、
前記写像変換層により取得された音素継続長の推定平均値のデータに対して活性化関数による処理を行い、処理後のデータを推定平均データとして取得する活性化処理部と、
前記範囲規制分散データと、前記推定平均データとに基づいて、推定音素継続長を取得する継続長取得部と、
を有し、
各音素の継続長の正解データにガウスノイズを付加したデータと、前記範囲規制分散データと、前記推定平均データとに基づいて、音素継続長についての損失を算出し、算出した当該損失に基づいて、前記エンコーダ、前記継続長推定処理部、および、前記デコーダのパラメータを更新することで学習処理を実行し、当該学習処理により取得した学習済みモデルが搭載されている、
音響特徴量生成装置。
前記エンコーダから出力されるデータに対して畳み込み処理を実行することで第１データを取得し、前記第１データから、前記音素系列データに含まれる各音素の継続長を推定する処理を行う継続長推定処理部であって、前記第１データと、前記音素系列データに含まれる各音素の継続長のデータとを出力する前記継続長推定処理部と、
前記エンコーダから出力されるデータと、前記継続長推定処理部から出力されるデータとを用いて、デコード処理を実行することで、音響特徴量を取得するデコーダと、
を備え、
前記継続長推定処理部は、
前記第１データから、前記音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する写像変換層と、
前記写像変換層により取得された音素継続長の推定分散値の範囲を規制する分散範囲規制処理を実行することで処理後のデータを範囲規制分散データとして取得する範囲規制処理部と、
前記写像変換層により取得された音素継続長の推定平均値のデータに対して活性化関数による処理を行い、処理後のデータを推定平均データとして取得する活性化処理部と、
前記範囲規制分散データと、前記推定平均データとに基づいて、推定音素継続長を取得する継続長取得部と、
を有し、
各音素の継続長の正解データにガウスノイズを付加したデータと、前記範囲規制分散データと、前記推定平均データとに基づいて、音素継続長についての損失を算出し、算出した当該損失に基づいて、前記エンコーダ、前記継続長推定処理部、および、前記デコーダのパラメータを更新することで学習処理を実行し、当該学習処理により取得した学習済みモデルが搭載されている、
音響特徴量生成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音声合成処理技術に関する。特に、話速変換が可能な音声合成処理技術に関する。
【背景技術】
【0002】
人間の発話機構において、高速や低速で話す際に音素長が伸縮しやすい音素と伸縮しにくい音素があることが知られている。このため、テキスト音声合成技術を用いて話速変換を行う場合、すべての音素について、その音素長を一様に伸縮するだけの処理では、取得される合成音声が不自然なものとなるという問題がある。従来のＨＭＭ（ＨＭＭ：ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ）を用いた音声合成技術では、各音素の音素長の平均だけでなく、分散を弾性率として推定し、話速変換の際には各音素の音素長の伸縮率を考慮した伸縮（音素長の伸縮処理）を実現できる（例えば、非特許文献１を参照）が、ＨＭＭを用いた音声合成技術では、モデル精度が低いため、音質に課題があった。
【0003】
一方、高音質の音声合成を実現するために、ニューラルネットワークモデルを用いた音声合成技術（例えば、非特許文献２を参照）やアテンション機構（注意機構）を備える音声合成モデルを用いた音声合成技術（例えば、非特許文献３を参照）を用いて話速変換を行う試行がなされている。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, and T. Kitamura, "Duration modeling for HMM-based speech synthesis," in Proc. ICSLP, Nov. 1998.
【非特許文献2】I. Elias, H. Zen, J. Shen, Y. Zhang, Y. Jia, RJ Skerry-Ryan, and Y. Wu, "Parallel Tacotron 2: A non-autoregressive neural TTS model with differentiable duration modeling," in Proc. Interspeech, Aug. 2021, pp. 141-145.
【非特許文献3】J.-S. Bae, H. Bae, Y.-S. Joo, J. Lee, G.-H. Lee, and H.-Y. Cho, "Speaking speed control of end-to-end speech synthesis using sentence-level conditioning," in Proc. Interspeech, Oct. 2020, pp. 4402-4406.
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、最先端のニューラルネットワークモデルを用いた音声合成技術は、合成（生成）される音声の音質は高いが、話速変換の際には全音素の音素長を一様に伸縮する処理を行うため、音声合成の精度が劣化する問題が生じる。
【0006】
これに対して、アテンション機構（注意機構）を備える音声合成モデル（アテンション機構型音声合成モデル）にテキストの音素数と出力するフレーム数の比である話速比を入力することにより、上記問題を解決する試みがなされている。しかしながら、アテンション機構型音声合成モデルは、アテンション機構による予測が失敗した場合、発話されない音素が生じる、あるいは、発話が途中で止まるという致命的な問題がある。
【0007】
そこで本発明は、上記課題に鑑み、音素の弾性率を考慮しつつ、安定で高精度な話速変換が可能な音声合成処理を行う音声合成処理装置を実現することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するための第１の発明は、エンコーダと、継続長推定処理部と、デコーダと、ボコーダと、を備える音声合成処理装置である。
【0009】
エンコーダは、テキストデータを構成する音素の系列データである音素系列データを入力し、当該音素系列データに対してエンコード処理を実行し、エンコード処理後のデータを出力する。
【0010】
継続長推定処理部は、エンコーダから出力されるデータに対して畳み込み処理を実行することで第１データを取得し、第１データから、音素系列データに含まれる各音素の継続長を推定する処理を行う。また、継続長推定処理部は、第１データと、音素系列データに含まれる各音素の継続長のデータとを出力する
デコーダは、エンコーダから出力されるデータと、継続長推定処理部から出力されるデータとを用いて、デコード処理を実行することで、音響特徴量を取得する。
デコーダは、エンコーダから出力されるデータと、継続長推定処理部から出力されるデータとを用いて、デコード処理を実行することで、音響特徴量を取得する。
【0011】
そして、継続長推定処理部は、写像変換層と、範囲規制処理部と、活性化処理部と、継続長取得部と、を備える。
【0012】
写像変換層は、第１データから、音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する。
【0013】
範囲規制処理部は、写像変換層により取得された音素継続長の推定分散値の範囲を規制する分散範囲規制処理を実行することで処理後のデータを範囲規制分散データとして取得する。
【0014】
活性化処理部は、写像変換層により取得された音素継続長の推定平均値のデータに対して活性化関数による処理を行い、処理後のデータを推定平均データとして取得する。
【0015】
継続長取得部は、範囲規制分散データと、推定平均データとに基づいて、推定音素継続長を取得する。
【0016】
ボコーダは、デコーダからの音響特徴量に基づき音声波形を生成する。
【0017】
そして、エンコーダ、継続長推定処理部、および、デコーダは、それぞれ、パラメータを更新することで学習可能である学習モデル、あるいは、当該学習モデルの学習済みモデルを搭載することが可能であり、各音素の継続長の正解データにガウスノイズを付加したデータと、範囲規制分散データと、推定平均データとに基づいて、音素継続長についての損失を算出し、算出した当該損失に基づいて、エンコーダ、継続長推定処理部、および、デコーダのパラメータを更新することで、学習処理が実行され、当該学習処理により取得された学習済みモデルを搭載することができる。
【0018】
この音声合成処理装置では、学習処理時において、推定すべきアライメントされた目標の音素継続長に、ガウスノイズｎを加算して損失を計算するので、推定される音素継続長の分散値を有限値とすることができる。
【0019】
したがって、この音声合成処理装置では、ガウスノイズを付加せずに学習を行った場合に、音素継続長の分散値が「０」となってしまい、予測処理（音声合成処理）時に、音素の弾性率（話速に応じて変化する音素の伸縮率）を再現することができないという問題が発生しない。すなわち、この音声合成処理装置では、ガウスノイズを付加した音素継続長を用いて学習処理を行うため、音素継続長の分散値を有限値とすることができ、その結果、予測処理（音声合成処理）時に、音素の弾性率（話速に応じて変化する音素の伸縮率）を再現することができる。
【0020】
つまり、この音声合成処理装置では、音素の弾性率を考慮しつつ、安定で高精度な音声合成処理を行うことができる。
【0021】
第２の発明は、第１の発明であって、音素系列データは、Ｋ個（Ｋ：自然数）の音素である第１番目から第Ｋ番目の音素からなり、第ｋ番目の音素の継続長の推定平均値の範囲規制分散データをσｋ
２（ｋ：自然数、１≦ｋ≦Ｋ）とし、第ｋ番目の音素の継続長の推定平均データをξｋ（ｋ：自然数、１≦ｋ≦Ｋ）とすると、
範囲規制処理部は、上限値Ｖｍａｘ ２と、下限値Ｖｍｉｎ ２とを入力し、音素継続長の推定分散値の範囲をＶｍｉｎ ２≦σｋ ２≦Ｖｍａｘ ２を満たす範囲となるように、範囲規制処理を実行する。
範囲規制処理部は、上限値Ｖｍａｘ ２と、下限値Ｖｍｉｎ ２とを入力し、音素継続長の推定分散値の範囲をＶｍｉｎ ２≦σｋ ２≦Ｖｍａｘ ２を満たす範囲となるように、範囲規制処理を実行する。
【0022】
そして、各音素の継続長の正解データに付加するガウスノイズをｎとすると、ガウスノイズｎは、
ｎ～Ｎ（０，Ｖｍｉｎ ２）
Ｎ（μ，σ２）：平均μ、分散σ２のガウス分布
を満たすように設定される。
ｎ～Ｎ（０，Ｖｍｉｎ ２）
Ｎ（μ，σ２）：平均μ、分散σ２のガウス分布
を満たすように設定される。
【0023】
これにより、この音声合成処理装置では、各音素の継続長の正解データに付加するガウスノイズｎがＮ（０，Ｖｍｉｎ
２）に従うノイズとなり、さらに、音素継続長の分散値を下限値Ｖｍｉｎ
２と上限値Ｖｍａｘ
２との間の範囲として学習処理を行うことができるので、予測処理時（音声合成時）において、推定音素継続長の分散値を所定の範囲（下限値から上限値までの範囲）とすることができる。つまり、この音声合成処理装置では、音素継続長の分散値の上限値Ｖｍａｘ
２も設定できるので、無音部分の音素の継続長の分散値のみが大きな値となり、例えば、話速変換時（話速変換して音声合成した時）に無音部分のみが伸縮してしまうという問題も解消できる。つまり、この音声合成処理装置では、継続長推定処理部の分散範囲規制処理部により、音素継続長の分散値の上限値Ｖｍａｘ
２も設定できるので、無音部分の音素継続長の分散値も上限値Ｖｍａｘ
２以下にすることができ、その結果、例えば、話速変換時（話速変換して音声合成した時）に無音部分を適切に再生する（音声合成）することができる。
【0024】
つまり、この音声合成処理装置では、音素の弾性率を考慮しつつ、安定で高精度な音声合成処理を行うことができる。
【0025】
第３の発明は、第１または第２の発明であって、デコーダで取得される音響特徴量と、音素系列データに対応する音響特徴量である正解音響特徴量との誤差についてのノルムに基づいて規定される音響特徴量についての損失と、音素継続長についての損失とを統合することで取得される統合損失に基づいて、エンコーダ、継続長推定処理部、および、デコーダのパラメータを更新することで学習処理が実行される。
【0026】
これにより、この音声合成処理装置では、音響特徴量についての損失と、音素継続長についての損失とを考慮した損失により、より適切に学習処理を実行することができる。
【0027】
第４の発明は、第１から第３のいずれかの発明であって、音素系列データは、Ｋ個（Ｋ：自然数）の音素である第１番目から第Ｋ番目の音素からなり、第ｋ番目の音素の継続長の推定平均値の範囲規制分散データをσｋ
２（ｋ：自然数、１≦ｋ≦Ｋ）とし、第ｋ番目の音素の継続長の推定平均データをξｋ（ｋ：自然数、１≦ｋ≦Ｋ）とし、所定期間のフレーム数をＴとすると、
継続長取得部は、
に相当する処理を実行することで、第ｋ番目の音素の推定継続長ｄｋを取得する。
継続長取得部は、
【数1】
【0028】
デコーダは、継続長取得部により推定された音素の推定継続長のデータと、第１データとに基づいて、デコード処理を行うことで、音響特徴量の推定データを取得する。
【0029】
これにより、この音声合成処理装置では、音素の弾性率ρＧを考慮しつつ、安定で高精度な音声合成処理を行うことができる。また、データＴを調整することで、所定の話速での音素の弾性率ρＧを取得することができる。つまり、データＴを調整することで、所定の話速での音声合成処理を行うことができる。
【0030】
第５の発明は、第４の発明であって、デコーダは、学習可能な機能部であって、継続長取得部により推定された音素の推定継続長のデータに基づいて、第１データに対してアップサンプリング処理を行う学習可能アップサンプリング層を備える。
【0031】
この音声合成処理装置では、学習可能アップサンプリング層において、重み付け係数を実数値として、重み付け加算処理することができるため、音素の推定継続長のデータが実数値であっても対応できる。つまり、音素の推定継続長のデータを規定する音素の弾性率を特定するデータＴを実数値とすることができる。その結果、この音声合成処理装置では、話速を実数値により制御することができる。
【0032】
第６の発明は、第１から第５のいずれかの発明である音声合成処理装置の学習処理を行うための学習方法であって、エンコードステップと、推定平均分散データ取得ステップと、ノイズ付加ステップと、損失算出ステップと、パラメータ更新ステップと、を備える。
【0033】
エンコードステップは、テキストデータを構成する音素の系列データである音素系列データを入力し、当該音素系列データに対してエンコード処理を実行し、エンコード処理後のデータを出力する。
【0034】
推定平均分散データ取得ステップは、エンコードステップで取得されたデータに対して畳み込み処理を実行することで、音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する。
【0035】
ノイズ付加ステップは、各音素の継続長の正解データにガウスノイズを付加してノイズ付加データを取得する。
【0036】
損失算出ステップは、推定平均値と、推定分散値と、ノイズ付加データとに基づいて、音素継続長についての損失を算出する。
【0037】
パラメータ更新ステップは、損失算出ステップで算出した損失に基づいて、エンコーダ、継続長推定処理部、および、デコーダのパラメータを更新する。
【0038】
この学習方法では、推定すべきアライメントされた目標の音素継続長に、ガウスノイズｎを加算して損失を計算するので、推定される音素継続長の分散値を有限値とすることができる。
【0039】
したがって、この学習方法では、ガウスノイズを付加せずに学習を行った場合に、音素継続長の分散値が「０」となってしまい、予測処理（音声合成処理）時に、音素の弾性率（話速に応じて変化する音素の伸縮率）を再現することができないという問題が発生しない。すなわち、この学習方法では、ガウスノイズを付加した音素継続長を用いて学習処理を行うため、音素継続長の分散値を有限値とすることができ、その結果、予測処理（音声合成処理）時に、音素の弾性率（話速に応じて変化する音素の伸縮率）を再現する学習モデルを構築することができる。
【0040】
つまり、この学習方法では、音素の弾性率を考慮しつつ、安定で高精度な音声合成処理を行う学習済みモデル（音声合成処理用の学習済みモデル）を取得することができる。
【0041】
第７の発明は、エンコーダと、継続長推定処理部と、デコーダと、を備える音響特徴量生成装置である。
【0042】
エンコーダは、テキストデータを構成する音素の系列データである音素系列データを入力し、当該音素系列データに対してエンコード処理を実行し、エンコード処理後のデータを出力する。
【0043】
継続長推定処理部は、エンコーダから出力されるデータに対して畳み込み処理を実行することで第１データを取得し、第１データから、音素系列データに含まれる各音素の継続長を推定する処理を行う継続長推定処理部であって、第１データと、音素系列データに含まれる各音素の継続長のデータとを出力する。
【0044】
デコーダは、エンコーダから出力されるデータと、継続長推定処理部から出力されるデータとを用いて、デコード処理を実行することで、音響特徴量を取得する。
【0045】
そして、継続長推定処理部は、写像変換層と、範囲規制処理部と、活性化処理部と、継続長取得部と、を有する。
【0046】
写像変換層は、第１データから、音素系列データに含まれる各音素の継続長の推定平均値と推定分散値に相当するデータを取得する。
【0047】
範囲規制処理部は、写像変換層により取得された音素継続長の推定分散値の範囲を規制する分散範囲規制処理を実行することで処理後のデータを範囲規制分散データとして取得する。
【0048】
活性化処理部は、写像変換層により取得された音素継続長の推定平均値のデータに対して活性化関数による処理を行い、処理後のデータを推定平均データとして取得する。
【0049】
継続長取得部は、範囲規制分散データと、推定平均データとに基づいて、推定音素継続長を取得する。
【0050】
そして、音響特徴量生成装置は、各音素の継続長の正解データにガウスノイズを付加したデータと、範囲規制分散データと、推定平均データとに基づいて、音素継続長についての損失を算出し、算出した当該損失に基づいて、エンコーダ、継続長推定処理部、および、デコーダのパラメータを更新することで学習処理を実行し、当該学習処理により取得した学習済みモデルが搭載されている。
【0051】
これにより、この音響特徴量生成装置では、音素の弾性率を考慮しつつ、安定で高精度な音声合成処理を行うための音響特徴量を取得することができる。
【発明の効果】
【0052】
本発明によれば、音素の弾性率を考慮しつつ、安定で高精度な話速変換が可能な音声合成処理を行う音声合成処理装置を実現することができる。
【図面の簡単な説明】
【0053】
【図1】第１実施形態に係る音声合成処理装置１００の概略構成図。
【図2】第１実施形態に係る音声合成処理装置１００のエンコーダ２の概略構成図。
【図3】第１実施形態に係る音声合成処理装置１００の継続長推定処理部３と、ノイズ付加処理部３Ａと、音素継続長損失取得部３Ｂとの概略構成図。
【図4】第１実施形態に係る音声合成処理装置１００のデコーダ４の概略構成図。
【図5】学習セットの話速のヒストグラムとテストセットの話速の平均値を示すグラフ。
【図6】音声比較結果（スペクトログラム）を示す図。
【図7】音質評価結果を示す図。
【図8】ＣＰＵバス構成を示す図。
【発明を実施するための形態】
【0054】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下説明する。
第１実施形態について、図面を参照しながら、以下説明する。
【0055】
＜１．１：音声合成処理装置の構成＞
図１は、第１実施形態に係る音声合成処理装置１００の概略構成図である。
図１は、第１実施形態に係る音声合成処理装置１００の概略構成図である。
【0056】
図２は、第１実施形態に係る音声合成処理装置１００のエンコーダ２の概略構成図である。
【0057】
図３は、第１実施形態に係る音声合成処理装置１００の継続長推定処理部３と、ノイズ付加処理部３Ａと、音素継続長損失取得部３Ｂとの概略構成図である。
【0058】
図４は、第１実施形態に係る音声合成処理装置１００のデコーダ４の概略構成図である。
【0059】
音声合成処理装置１００は、図１に示すように、テキスト解析部１と、エンコーダ２と、継続長推定処理部３と、ノイズ付加処理部３Ａと、音素継続長損失取得部３Ｂと、デコーダ４と、音響特徴量損失取得部５と、統合損失取得部６と、損失評価部７と、ボコーダ８とを備える。
【0060】
テキスト解析部１は、テキストデータＤｉｎを入力し、当該テキストデータに対してテキスト解析処理を実行し、当該テキストデータを構成する音素の系列データである音素系列データと、当該テキストデータを構成する音素のアクセントラベルの系列データであるアクセントラベル系列データとを取得する。そして、テキスト解析部１は、取得した音素系列データと、アクセントラベル系列データとを含むデータを、データＤ０として、エンコーダ２に出力する。なお、音素系列データは、例えば、音素を特定する音素インデックスの系列データである。アクセントラベル系列データは、例えば、音素がアクセントのある音素であるか否かを「１」、「０」で示すデータの系列データである。
【0061】
エンコーダ２は、図２に示すように、第１埋込層２１と、第２埋込層２２と、統合部２３と、機械学習モデル部２４とを備える。
【0062】
第１埋込層２１は、テキスト解析部１から出力されるデータＤ０に含まれる音素系列データ（これをデータＤ０＿ｐｈｎｍという）を入力し、当該データＤ０＿ｐｈｎｍに対して埋込処理（埋込表現データを取得する処理）を実行し、当該処理により取得した埋込表現データを、データＤ０１＿ｅｍｂとして、統合部２３に出力する。
【0063】
第２埋込層２２は、テキスト解析部１から出力されるデータＤ０に含まれるアクセントラベル系列データ（これをデータＤ０＿ａｃｃＬという）を入力し、当該データＤ０＿ａｃｃＬに対して埋込処理（埋込表現データを取得する処理）を実行し、当該処理により取得した埋込表現データを、データＤ０２＿ｅｍｂとして、統合部２３に出力する。
【0064】
統合部２３は、第１埋込層２１から出力されるデータＤ０１＿ｅｍｂと、第２埋込層２２から出力されるデータＤ０２＿ｅｍｂとを入力し、両データを統合（例えば、ｃｏｎｃａｔｅｎａｔｅ）し，統合したデータをデータＤ０３として機械学習モデル部２４に出力する。
【0065】
機械学習モデル部２４は、例えば、ニューラルネットワークによる機械学習モデル（例えば、トランスフォーマー（Ｔｒａｎｓｆｏｒｍｅｒ）を用いた機械学習モデル）を含む機能部である。機械学習モデル部２４は、統合部２３から出力されるデータＤ０３を入力し、当該データＤ０３に対して、機械学習モデルによる処理を行い、当該処理結果（データＤ０３を機械学習モデルに入力したときに機械学習モデルから出力されるデータ）をデータＤ１として取得する。そして、機械学習モデル部２４は、取得したデータＤ１を継続長推定処理部３に出力する。
【0066】
継続長推定処理部３は、図３に示すように、畳み込み層３１と、写像変換層３２と、データ分割部３３と、シグモイド変換部３４と、活性化処理部３５と、分散範囲規制処理部３６と、継続長取得部３７と、セレクタＳＥＬ１とを備える。
【0067】
畳み込み層３１は、エンコーダ２から出力されるデータＤ１を入力し、当該データＤ１に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、３×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ２として取得する。畳み込み層３１は、取得したデータＤ２をデコーダ４および写像変換層３２に出力する。
【0068】
写像変換層３２は、畳み込み層２１から出力されるデータＤ２を入力し、データＤ２に対して写像変換（例えば、次元削減を行うことができる全結合層による処理）を実行し、データＤ３を取得する。そして、写像変換層３２は、取得したデータＤ３をデータ分割部３３に出力する。なお、写像変換層３２は、高次元（例えば、５１２次元）のデータを２次元のデータに写像変換するものであり、データＤ３は、２次元のデータ（音素の継続長の平均値と分散値に対応するデータ）である。
【0069】
データ分割部３３は、写像変換層３２から出力されるデータＤ３（２次元のデータ）を入力し、当該データＤ３を２つの１次元のデータに分割する。データ分割部３３は、分割した一方のデータをデータＤ３１（音素の継続長の分散値に対応するデータ）としてシグモイド変換部３４に出力し、分割した他方のデータをデータＤ３２（音素の継続長の平均値に対応するデータ）として活性化処理部３５に出力する。
【0070】
シグモイド変換部３４は、データ分割部３３から出力されるデータＤ３１を入力し、当該データ３１に対してシグモイド変換（シグモイド関数にデータＤ３１を入力して、出力値を取得する処理）を実行し、シグモイド変換後のデータをデータＤ４として取得する。そして、シグモイド変換部３４は、取得したデータＤ４を分散範囲規制処理部３６に出力する。
【0071】
活性化処理部３５は、データ分割部３３から出力されるデータＤ３１を入力し、当該データ３１に対して、活性化関数（例えば、Ｓｏｆｔｐｌｕｓ関数による処理）による処理を実行し、処理後のデータをデータＤ＿ａｖｇとして取得する。そして、活性化処理部３５は、取得したデータＤ＿ａｖｇを音素継続長損失取得部３Ｂおよび継続長取得部３７に出力する。
【0072】
分散範囲規制処理部３６は、シグモイド変換部３４から出力されるデータＤ４と、音素の継続長の分散値の下限値Ｖｍｉｎ
２と、音素の継続長の分散値の上限値Ｖｍａｘ
２とを入力する。なお、音素の継続長の分散値の下限値Ｖｍｉｎ
２、および、音素の継続長の分散値の上限値Ｖｍａｘ
２は、音声合成処理装置１００の各機能部を制御する制御部（不図示）から出力されるものとする。分散範囲規制処理部３６は、音素の継続長の分散値の下限値Ｖｍｉｎ
２、および、音素の継続長の分散値の上限値Ｖｍａｘ
２を用いて、データＤ４に対して、分散範囲規制処理を実行し、処理後のデータをデータＤ＿ｖａｒとして取得する。そして、分散範囲規制処理部３６は、取得したデータＤ＿ｖａｒを音素継続長損失取得部３Ｂおよび継続長取得部３７に出力する。
【0073】
継続長取得部３７は、音声合成処理装置１００の予測処理時において、分散範囲規制処理部３６から出力されるデータＤ＿ｖａｒと、活性化処理部３５から出力されるデータＤ＿ａｖｇと、再生時（音声合成出力時）の音素継続長の目標値を特定するデータＴ（例えば、所定の期間に相当するフレーム数）とを入力する。なお、データＴは、制御部（不図示）から出力される。そして、継続長取得部３７は、データＤ＿ｖａｒと、データＤ＿ａｖｇと、データＴとを用いて、音素の継続長を取得（推定）する処理を実行し、当該処理後のデータをデータＤ５２として、セレクタＳＥＬ１に出力する。
【0074】
セレクタＳＥＬ１は、２入力１出力のセレクタであり、切替信号ｓｅｌ１により、２つの入力のいずれかを選択して出力できるセレクタである。セレクタＳＥＬ１は、データＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒと、継続長取得部３７から出力されるデータＤ５２とを入力し、制御部（不図示）から出力される切替信号ｓｅｌ１とを入力する。セレクタＳＥＬ１は、（１）切替信号ｓｅｌ１が「１」である場合（音声合成処理装置１００の学習処理時）、データＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒを選択し、選択したデータをデータＤ＿ｄｕｒとしてデコーダ４に出力し、（２）切替信号ｓｅｌ１が「０」である場合（音声合成処理装置１００の予測処理時）、データＤ５２を選択し、選択したデータをデータＤ＿ｄｕｒとしてデコーダ４に出力する。
【0075】
ノイズ付加処理部３Ａは、音声合成処理装置１００の学習処理時において、音素の継続長の正解データ（教師データ）であるデータＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒと、音素の継続長の分散値の下限値Ｖｍｉｎ
２とを入力する。なお、データＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒと、音素の継続長の分散値の下限値Ｖｍｉｎ
２とは、音声合成処理装置１００の各機能部を制御する制御部（不図示）から出力される。ノイズ付加処理部３Ａは、データＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒに対して、ノイズを付加する処理を実行し、処理後のデータをデータＤ＿ｎｓとして音素継続長損失取得部３Ｂに出力する。
【0076】
音素継続長損失取得部３Ｂは、音声合成処理装置１００の学習処理時において、分散範囲規制処理部３６から出力されるデータＤ＿ｖａｒと、活性化処理部３５から出力されるデータＤ＿ａｖｇと（データＤ＿ｖａｒとデータＤ＿ａｖｇをまとめてデータＤ＿ＶＡという）、ノイズ付加処理部３Ａから出力されるデータＤ＿ｎｓとを入力する。音素継続長損失取得部３Ｂは、データＤ＿ｖａｒ、データＤ＿ａｖｇ、および、データＤ＿ｎｓを用いて、音素の継続長についての損失関数による損失値Ｌｄｕｒ，ＭＬを取得（算出）する（詳細については後述）。そして、音素継続長損失取得部３Ｂは、取得した損失値Ｌｄｕｒ，ＭＬを統合損失取得部６に出力する。
【0077】
デコーダ４は、図４に示すように、学習可能アップサンプリング層４１と、Ｍ個（Ｍ：自然数）の畳み込み層である第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍとを備える。
【0078】
学習可能アップサンプリング層４１は、図４に示すように、アップサンプリング層４１１と、位置埋込層４１２と、加算部ａｄｄ１と、重み付け層４１３とを備える。
【0079】
アップサンプリング層４１１は、継続長推定処理部３から出力されるデータＤ２およびデータＤ＿ｄｕｒを入力する。アップサンプリング層４１１は、データＤ＿ｄｕｒ（音素の継続長のデータ）に基づいて、出力のデータの長さ（サイズ）が、目標データであるスペクトルデータのフレームシーケンスの長さ（サイズ）と一致する長さ（サイズ）となるように、データＤ２に対してアップサンプリング処理を実行し、アップサンプリング処理後のデータをデータＤＤ３として取得する。そして、アップサンプリング層４１１は、取得したデータＤＤ３を加算部ａｄｄ１に出力する。
【0080】
位置埋込層４１２は、継続長推定処理部３から出力されるデータＤ＿ｄｕｒを入力し、当該データＤ＿ｄｕｒに対して、位置埋込処理（位置情報の埋込表現データを取得する処理）を実行し、当該処理により取得した位置埋込表現データを、データＤ＿ｐｏｓとして、加算部ａｄｄ１に出力する。
【0081】
加算部ａｄｄ１は、アップサンプリング層４１１から出力されるデータＤＤ３と、位置埋込層４１２から出力されるデータＤ＿ｐｏｓとを入力し、両データを加算する処理を行う。そして、加算部ａｄｄ１は、加算処理後のデータを、データＤＤ４として、重み付け層４１３に出力する。
【0082】
重み付け層４１３は、加算部ａｄｄ１から出力されるデータＤＤ４を入力し、当該データＤＤ４に対して、重み付け処理（例えば、ニューラルネットワークの１または複数の隠れ層による処理）を実行し、処理後のデータＤＤ５を取得する。そして、重み付け層４１３は、取得したデータＤＤ５を第１畳み込み層４２－１に出力する。
【0083】
第１畳み込み層４２－１は、重み付け層４１３から出力されるデータＤＤ５を入力し、当該データＤＤ５に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、１７×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ＿ｓｐ１として取得する。そして、第１畳み込み層４２－１は、音声合成処理装置１００の学習処理時において、取得したデータＤ＿ｓｐ１を第２畳み込み層４２－２および音響特徴量損失取得部５に出力する。また、第１畳み込み層４２－１は、音声合成処理装置１００の予測処理時において、取得したデータＤ＿ｓｐ１を第２畳み込み層４２－２に出力する。
【0084】
第ｋ畳み込み層４２－ｋ（ｋ：自然数、２≦ｋ＜Ｍ）は、第ｋ－１畳み込み層４２－ｋ－１から出力されるデータＤ＿ｓｐｋ－１を入力し、当該データＤ＿ｓｐｋ－１に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、１７×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ＿ｓｐｋとして取得する。そして、第ｋ畳み込み層４２－ｋは、音声合成処理装置１００の学習処理時において、取得したデータＤ＿ｓｐｋを第ｋ＋１畳み込み層４２－ｋ＋１および音響特徴量損失取得部５に出力する。また、第ｋ畳み込み層４２－ｋは、音声合成処理装置１００の予測処理時において、取得したデータＤ＿ｓｐｋを第ｋ＋１畳み込み層４２－ｋ＋１に出力する。
【0085】
第Ｍ畳み込み層４２－Ｍ（Ｍ：自然数）は、第Ｍ－１畳み込み層４２－Ｍ－１から出力されるデータＤ＿ｓｐＭ－１を入力し、当該データＤ＿ｓｐＭ－１に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、１７×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ＿ｓｐＭとして取得する。そして、第Ｍ畳み込み層４２－Ｍは、音声合成処理装置１００の学習処理時において、取得したデータＤ＿ｓｐＭを音響特徴量損失取得部５に出力する。また、第Ｍ畳み込み層４２－Ｍは、音声合成処理装置１００の予測処理時において、取得したデータＤ＿ｓｐＭを、データＤｏ＿ｓｐとして、ボコーダ８に出力する。
【0086】
なお、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉ（ｉ：自然数、１≦ｉ≦Ｍ）は、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃと同じ次元のデータであるものとする。
【0087】
音響特徴量損失取得部５は、音声合成処理装置１００の学習処理時において、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉ（ｉ：自然数、１≦ｉ≦Ｍ）（Ｍ個の出力データ）（これらのデータをまとめてデータＤ＿ｓｐという）と、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃとを入力する。なお、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃは、制御部（不図示）から出力されるものとする。音響特徴量損失取得部５は、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉと、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃとを用いて、音響特徴量についての損失関数による損失値ＬＳＰを取得（算出）する（詳細については後述）。そして、音響特徴量損失取得部５は、取得した損失値ＬＳＰを統合損失取得部６に出力する。
【0088】
統合損失取得部６は、音声合成処理装置１００の学習処理時において、音響特徴量損失取得部５から出力される損失値ＬＳＰと、音素継続長損失取得部３Ｂから出力される損失値Ｌｄｕｒ，ＭＬとを入力し、損失値ＬＳＰと、損失値Ｌｄｕｒ，ＭＬとを統合した統合損失を取得し、取得した統合損失のデータを、データＬとして、損失評価部７に出力する。
【0089】
損失評価部７は、音声合成処理装置１００の学習処理時において、統合損失取得部６から出力されるデータＬ（統合損失のデータ）を入力し、当該データＬ（統合損失のデータ）に基づいて、学習処理を終了するか否かを判定する。
【0090】
ボコーダ８は、音声合成処理装置１００の予測処理時において、デコーダ４から出力されるデータＤｏ＿ｓｐを入力し、当該データＤｏ＿ｓｐに対してボコーダ処理を実行し、データＤｏ＿ｓｐに対応する音声波形データＤｏｕｔを取得し出力する。ボコーダ８は、例えば、ニューラルネットワークを用いたボコーダ（ニューラルボコーダ）によって実現される。
【0091】
＜１．２：音声合成処理装置の動作＞
以上のように構成された音声合成処理装置１００の動作について以下説明する。以下では、音声合成処理装置１００の動作を、（１）学習処理と、（２）予測処理（音声合成処理）とに分けて説明する。
以上のように構成された音声合成処理装置１００の動作について以下説明する。以下では、音声合成処理装置１００の動作を、（１）学習処理と、（２）予測処理（音声合成処理）とに分けて説明する。
【0092】
（１．２．１：学習処理）
まず、音声合成処理装置１００の学習処理について説明する。
まず、音声合成処理装置１００の学習処理について説明する。
【0093】
テキスト解析部１にテキストデータＤｉｎを入力し、テキスト解析部１により、当該テキストデータＤｉｎに対してテキスト解析処理が実行され、当該テキストデータＤｉｎを構成する音素の系列データである音素系列データと、当該テキストデータを構成する音素のアクセントラベルの系列データであるアクセントラベル系列データとが取得される。
【0094】
そして、テキスト解析部１により取得された音素系列データと、アクセントラベル系列データとを含むデータは、データＤ０として、エンコーダ２に出力される。なお、音素系列データは、例えば、音素を特定する音素インデックスの系列データである。アクセントラベル系列データは、例えば、音素がアクセントのある音素であるか否かを「１」、「０」で示すデータの系列データである。
【0095】
エンコーダ２の第１埋込層２１は、テキスト解析部１から出力されるデータＤ０に含まれる音素系列データＤ０＿ｐｈｎｍを入力し、当該データＤ０＿ｐｈｎｍに対して埋込処理（埋込表現データを取得する処理）を実行し、当該処理により取得した埋込表現データを、データＤ０１＿ｅｍｂとして、統合部２３に出力する。
【0096】
エンコーダ２の第２埋込層２２は、テキスト解析部１から出力されるデータＤ０に含まれるアクセントラベルデータＤ０＿ａｃｃＬを入力し、当該データＤ０＿ａｃｃＬに対して埋込処理（埋込表現データを取得する処理）を実行し、当該処理により取得した埋込表現データを、データＤ０２＿ｅｍｂとして、統合部２３に出力する。
【0097】
統合部２３は、第１埋込層２１から出力されるデータＤ０１＿ｅｍｂと、第２埋込層２２から出力されるデータＤ０２＿ｅｍｂとを入力し、両データを統合（例えば、ｃｏｎｃａｔｅｎａｔｅ）し，統合したデータをデータＤ０３として機械学習モデル部２４に出力する。
【0098】
機械学習モデル部２４（例えば、トランスフォーマー（Ｔｒａｎｓｆｏｒｍｅｒ）を用いた機械学習モデルを含む機能部）は、統合部２３から出力されるデータＤ０３を入力し、当該データＤ０３に対して、機械学習モデルによる処理を行い、当該処理結果（データＤ０３を機械学習モデルに入力したときに機械学習モデルから出力されるデータ）をデータＤ１として取得する。そして、機械学習モデル部２４は、取得したデータＤ１を継続長推定処理部３に出力する。
【0099】
継続長推定処理部３の畳み込み層３１は、エンコーダ２から出力されるデータＤ１を入力し、当該データＤ１に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、３×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ２として取得する。そして、畳み込み層３１は、取得したデータＤ２をデコーダ４および写像変換層３２に出力する。
【0100】
写像変換層３２は、畳み込み層２１から出力されるデータＤ２に対して写像変換（例えば、次元削減を行うことができる全結合層による処理）を実行し、データＤ３を取得する。そして、写像変換層３２は、取得したデータＤ３をデータ分割部３３に出力する。なお、写像変換層３２は、高次元（例えば、５１２次元）のデータを２次元のデータに写像変換するものであり、データＤ３は、２次元のデータ（音素の継続長の平均値と分散値に対応するデータ）である。
【0101】
データ分割部３３は、写像変換層３２から出力されるデータＤ３（２次元のデータ）を２つの１次元のデータに分割する。データ分割部３３は、分割した一方のデータをデータＤ３１（音素の継続長の分散値に対応するデータ）としてシグモイド変換部３４に出力し、分割した他方のデータをデータＤ３２（音素の継続長の平均値に対応するデータ）として活性化処理部３５に出力する。
【0102】
シグモイド変換部３４は、データ分割部３３から出力されるデータＤ３１に対してシグモイド変換（シグモイド関数にデータＤ３１を入力して、出力値を取得する処理）を実行し、シグモイド変換後のデータをデータＤ４として取得する。そして、シグモイド変換部３４は、取得したデータＤ４を分散範囲規制処理部３６に出力する。
【0103】
活性化処理部３５は、データ分割部３３から出力されるデータＤ３１に対して、活性化関数（例えば、Ｓｏｆｔｐｌｕｓ関数による処理）による処理を実行し、処理後のデータをデータＤ＿ａｖｇとして取得する。そして、活性化処理部３５は、取得したデータＤ＿ａｖｇを音素継続長損失取得部３Ｂに出力する。
【0104】
分散範囲規制処理部３６は、シグモイド変換部３４から出力されるデータＤ４と、音素の継続長の分散値の下限値Ｖｍｉｎ
２と、音素の継続長の分散値の上限値Ｖｍａｘ
２とを入力する。なお、音素の継続長の分散値の下限値Ｖｍｉｎ
２、および、音素の継続長の分散値の上限値Ｖｍａｘ
２は、音声合成処理装置１００の各機能部を制御する制御部（不図示）から出力される。分散範囲規制処理部３６は、音素の継続長の分散値の下限値Ｖｍｉｎ
２、および、音素の継続長の分散値の上限値Ｖｍａｘ
２を用いて、データＤ４に対して、分散範囲規制処理を実行する。具体的には、分散範囲規制処理部３６は、
Ｄ＿ｖａｒ＝Ｄ４×（Ｖｍａｘ ２－Ｖｍｉｎ ２）＋Ｖｍｉｎ ２
Ｄ４：シグモイド変換部３４の出力データ（Ｄ４：実数、０≦Ｄ４≦１）
に相当する処理を実行し、分散範囲規制処理後のデータＤ＿ｖａｒを取得する。これにより、分散範囲規制処理後のデータＤ＿ｖａｒ（音素継続長の分散値）は、
Ｖｍｉｎ ２≦Ｄ＿ｖａｒ≦Ｖｍａｘ ２
を満たす範囲に規制される。
Ｄ＿ｖａｒ＝Ｄ４×（Ｖｍａｘ ２－Ｖｍｉｎ ２）＋Ｖｍｉｎ ２
Ｄ４：シグモイド変換部３４の出力データ（Ｄ４：実数、０≦Ｄ４≦１）
に相当する処理を実行し、分散範囲規制処理後のデータＤ＿ｖａｒを取得する。これにより、分散範囲規制処理後のデータＤ＿ｖａｒ（音素継続長の分散値）は、
Ｖｍｉｎ ２≦Ｄ＿ｖａｒ≦Ｖｍａｘ ２
を満たす範囲に規制される。
【0105】
そして、分散範囲規制処理部３６は、上記により取得したデータＤ＿ｖａｒを音素継続長損失取得部３Ｂに出力する。
【0106】
ノイズ付加処理部３Ａは、制御部（不図示）から出力される音素の継続長の正解データ（教師データ）であるデータＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒと、制御部（不図示）から出力される音素の継続長の分散値の下限値Ｖｍｉｎ
２とを入力する。ノイズ付加処理部３Ａは、データＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒに対して、ノイズを付加する処理を実行する。具体的には、ノイズ付加処理部３Ａは、ｋ番目の音素の継続長（時間継続長）の正解データｄｋにガウスノイズｎを付加する処理、すなわち、
Ｄ＿ｎｓ＝ｄｋ＋ｎ
ｎ～Ｎ（０，Ｖｍｉｎ ２）
ｄｋ：ｋ番目の音素の継続長（時間継続長）の正解データ
Ｎ（μ，σ２）：平均μ、分散σ２のガウス分布
に相当する処理を実行することで、ガウスノイズが付加されたｋ番目の音素の継続長のデータＤ＿ｎｓ（＝ｄｋ＋ｎ）を取得する。
Ｄ＿ｎｓ＝ｄｋ＋ｎ
ｎ～Ｎ（０，Ｖｍｉｎ ２）
ｄｋ：ｋ番目の音素の継続長（時間継続長）の正解データ
Ｎ（μ，σ２）：平均μ、分散σ２のガウス分布
に相当する処理を実行することで、ガウスノイズが付加されたｋ番目の音素の継続長のデータＤ＿ｎｓ（＝ｄｋ＋ｎ）を取得する。
【0107】
なお、音声合成処理装置１００への入力データＤｉｎからテキスト解析部１による処理で取得された音素系列データは、Ｋ個の音素からなるものとし、第ｋ番目の音素の継続長をｄｋ（ｋ：整数、１≦ｋ≦Ｋ）と表記する。
【0108】
音素継続長損失取得部３Ｂは、分散範囲規制処理部３６から出力されるデータＤ＿ｖａｒと、活性化処理部３５から出力されるデータＤ＿ａｖｇと、ノイズ付加処理部３Ａから出力されるデータＤ＿ｎｓとを入力する。音素継続長損失取得部３Ｂは、データＤ＿ｖａｒ、データＤ＿ａｖｇ、および、データＤ＿ｎｓを用いて、音素の継続長についての損失関数による損失値Ｌｄｕｒ，ＭＬを取得（算出）する。具体的には、音素継続長損失取得部３Ｂは、
σｋ
２：ｋ番目の音素の継続長の分散値
ξｋ：ｋ番目の音素の継続長の平均値
ｄｋ＋ｎ＝Ｄ＿ｎｓ
に相当する処理を実行することで、損失値Ｌｄｕｒ，ＭＬを取得する。なお、ｋ番目の音素の継続長の分散値σｋ ２は、データＤ＿ｖａｒに含まれており、ｋ番目の音素の継続長の平均値ξｋは、データＤ＿ａｖｇに含まれている。
【数2】
ξｋ：ｋ番目の音素の継続長の平均値
ｄｋ＋ｎ＝Ｄ＿ｎｓ
に相当する処理を実行することで、損失値Ｌｄｕｒ，ＭＬを取得する。なお、ｋ番目の音素の継続長の分散値σｋ ２は、データＤ＿ｖａｒに含まれており、ｋ番目の音素の継続長の平均値ξｋは、データＤ＿ａｖｇに含まれている。
【0109】
音素継続長についての損失は、正規分布の最尤推定を行うための損失関数により取得（推定）できるので、音素継続長損失取得部３Ｂは、上記数式に相当する処理を行うことで、音素継続長についての損失値を取得する。
【0110】
そして、音素継続長損失取得部３Ｂは、上記処理により取得した損失値Ｌｄｕｒ，ＭＬを統合損失取得部６に出力する。
【0111】
セレクタＳＥＬ１は、制御部（不図示）から出力されるデータＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒ（音素継続長についての正解信号）を選択し、選択したデータをデータＤ＿ｄｕｒとしてデコーダ４に出力する。なお、音声合成処理装置１００の学習処理時において、制御部（不図示）は、切替信号ｓｅｌ１の信号値を「１」として、セレクタＳＥＬ１に出力し、セレクタＳＥＬ１は、当該切替信号に従い、データＤ＿ｃｏｒｒｅｃｔ＿ｄｕｒを選択し、選択したデータをデータＤ＿ｄｕｒとしてデコーダ４に出力する。
【0112】
デコーダ４のアップサンプリング層４１１は、継続長推定処理部３から出力されるデータＤ２およびデータＤ＿ｄｕｒを入力する。そして、アップサンプリング層４１１は、データＤ＿ｄｕｒ（＝Ｄ＿ｃｏｒｒｅｃｔ＿ｄｕｒ（音素継続長の正解データ））に基づいて、出力のデータの長さ（サイズ）が、目標データであるスペクトルデータのフレームシーケンスの長さ（サイズ）と一致する長さ（サイズ）となるように、データＤ２に対してアップサンプリング処理を実行し、アップサンプリング処理後のデータをデータＤＤ３として取得する。そして、アップサンプリング層４１１は、取得したデータＤＤ３を加算部ａｄｄ１に出力する。
【0113】
位置埋込層４１２は、継続長推定処理部３から出力されるデータＤ＿ｄｕｒを入力し、当該データＤ＿ｄｕｒに対して、位置埋込処理（位置情報の埋込表現データを取得する処理）を実行する。例えば、位置埋込層４１２は、
（１）音素内（処理対象の音素の継続期間内）のフレーム位置、
（２）音素継続長、および、
（３）処理対象としているデータの１フレーム内の位置（当該位置は、例えば、分数進展数（例えば、１／１０，２／１０，・・・，１０／１０（分母を「１０」とする場合））により特定する）
についての埋込表現データ（位置埋込表現データ）を取得し（例えば、トランスフォーマーで用いられる位置エンコーディングによる処理を行うことで、位置埋込表現データを取得し）、取得した位置埋込表現データを、データＤ＿ｐｏｓとして、加算部ａｄｄ１に出力する。
（１）音素内（処理対象の音素の継続期間内）のフレーム位置、
（２）音素継続長、および、
（３）処理対象としているデータの１フレーム内の位置（当該位置は、例えば、分数進展数（例えば、１／１０，２／１０，・・・，１０／１０（分母を「１０」とする場合））により特定する）
についての埋込表現データ（位置埋込表現データ）を取得し（例えば、トランスフォーマーで用いられる位置エンコーディングによる処理を行うことで、位置埋込表現データを取得し）、取得した位置埋込表現データを、データＤ＿ｐｏｓとして、加算部ａｄｄ１に出力する。
【0114】
加算部ａｄｄ１は、アップサンプリング層４１１から出力されるデータＤＤ３と、位置埋込層４１２から出力されるデータＤ＿ｐｏｓとを入力し、両データを加算する処理を行う。そして、加算部ａｄｄ１は、加算処理後のデータを、データＤＤ４として、重み付け層４１３に出力する。
【0115】
重み付け層４１３は、加算部ａｄｄ１から出力されるデータＤＤ４を入力し、当該データＤＤ４に対して、重み付け処理（例えば、ニューラルネットワークの１または複数の隠れ層による処理）を実行し、処理後のデータＤＤ５を取得する。そして、重み付け層４１３は、取得したデータＤＤ５を第１畳み込み層４２－１に出力する。
【0116】
第１畳み込み層４２－１は、重み付け層４１３から出力されるデータＤＤ５に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、１７×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ＿ｓｐ１として取得する。そして、第１畳み込み層４２－１は、取得したデータＤ＿ｓｐ１を第２畳み込み層４２－２および音響特徴量損失取得部５に出力する。
【0117】
第ｋ畳み込み層４２－ｋ（ｋ：自然数、２≦ｋ＜Ｍ）は、第ｋ－１畳み込み層４２－ｋ－１から出力されるデータＤ＿ｓｐｋ－１に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、１７×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ＿ｓｐｋとして取得する。そして、第ｋ畳み込み層４２－ｋは、取得したデータＤ＿ｓｐｋを第ｋ＋１畳み込み層４２－ｋ＋１および音響特徴量損失取得部５に出力する。
【0118】
第Ｍ畳み込み層４２－Ｍ（Ｍ：自然数）は、第Ｍ－１畳み込み層４２－Ｍ－１から出力されるデータＤ＿ｓｐＭ－１に対して、所定のサイズのカーネルを用いて畳み込み処理（例えば、１７×１のカーネルを用いたＬＣｏｎｖ（Ｌｉｇｈｔｗｅｉｇｈｔ Ｃｏｎｖｏｌｕｔｉｏｎ）処理）を行い、当該畳み込み処理後のデータをデータＤ＿ｓｐＭとして取得する。そして、第Ｍ畳み込み層４２－Ｍは、取得したデータＤ＿ｓｐＭを音響特徴量損失取得部５に出力する。
【0119】
なお、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉ（ｉ：自然数、１≦ｉ≦Ｍ）は、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃと同じ次元のデータであるものとする。
【0120】
音響特徴量損失取得部５は、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉ（ｉ：自然数、１≦ｉ≦Ｍ）（Ｍ個の出力データ）（これらのデータをまとめてデータＤ＿ｓｐという）と、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃとを入力する。なお、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃは、制御部（不図示）から出力される。音響特徴量損失取得部５は、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉと、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃとを用いて、音響特徴量についての損失関数による損失値ＬＳＰｉを取得（算出）する。具体的には、音響特徴量損失取得部５は、
ＬＳＰｉ＝ＮｏｒｍＬ１（Ｄ＿ｓｐｉ－Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃ）
ＮｏｒｍＬ１（）：Ｌ１ノルムを取得する関数
に相当する処理を実行することで、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉと、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃとの損失を取得（算出）する。さらに、音響特徴量損失取得部５は、
Ｍ：デコーダ４の第ｋ畳み込み層の数
Ｎ：音響特徴量（メルスペクトログラム）のサイズ
Ｔ：フレーム数
に相当する処理を実行することで、音響特徴量についての損失ＬＳＰを取得する。なお、データＭ、Ｎ、Ｔは、制御部（不図示）から音響特徴量損失取得部５に入力される。
ＬＳＰｉ＝ＮｏｒｍＬ１（Ｄ＿ｓｐｉ－Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃ）
ＮｏｒｍＬ１（）：Ｌ１ノルムを取得する関数
に相当する処理を実行することで、第１畳み込み層４２－１～第Ｍ畳み込み層４２－Ｍのそれぞれの出力データＤ＿ｓｐｉと、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃとの損失を取得（算出）する。さらに、音響特徴量損失取得部５は、
【数3】
Ｎ：音響特徴量（メルスペクトログラム）のサイズ
Ｔ：フレーム数
に相当する処理を実行することで、音響特徴量についての損失ＬＳＰを取得する。なお、データＭ、Ｎ、Ｔは、制御部（不図示）から音響特徴量損失取得部５に入力される。
【0121】
そして、音響特徴量損失取得部５は、取得した損失値ＬＳＰを統合損失取得部６に出力する。なお、本実施形態では、音響特徴量は、メルスペクトログラムとし、音響特徴量の正解データ（教師データ）Ｄ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃは、音声合成処理装置１００への入力データＤｉｎに対応する音響特徴量（メルスペクトログラム）とする。
【0122】
統合損失取得部６は、音響特徴量損失取得部５から出力される損失値ＬＳＰと、音素継続長損失取得部３Ｂから出力される損失値Ｌｄｕｒ，ＭＬとを入力し、損失値ＬＳＰと、損失値Ｌｄｕｒ，ＭＬとを統合した統合損失を取得する。具体的には、統合損失取得部６は、
Ｋ：音素数（入力データＤｉｎから取得された音素系列データに含まれる音素の数）
λ：係数
に相当する処理を実行することで、統合損失値Ｌを取得する。
【数4】
λ：係数
に相当する処理を実行することで、統合損失値Ｌを取得する。
【0123】
そして、統合損失取得部６は、取得した統合損失のデータを、データＬとして、損失評価部７に出力する。
【0124】
損失評価部７は、統合損失取得部６から出力されるデータＬ（統合損失のデータ）を入力し、当該データＬ（統合損失のデータ）に基づいて、学習処理を終了するか否かを判定する。具体的には、損失評価部７は、統合損失値Ｌを評価し、学習処理を継続させる必要があるか否かを判定するものであり、統合損失値Ｌが（１）所定の範囲内に収まっていない場合、あるいは、（２）統合損失値Ｌの変化量が所定の範囲内に収まっていない場合、損失評価部７は、音声合成処理装置１００において、学習処理を継続させる必要があると判定する。
【0125】
そして、学習処理を継続させる必要があると判定された場合、音声合成処理装置１００では、統合損失Ｌを損失値（誤差）として、誤差逆伝播法により、誤差を逆伝播させ（図１の点線の矢印の方向に誤差を伝播させ）、音声合成処理装置１００の学習可能な機能部において重み係数を更新する（パラメータを更新する）ことで学習処理を行う。
【0126】
上記処理を繰り返し実行し、統合損失値Ｌが（１）所定の範囲内に収まるようになった場合、あるいは、（２）統合損失値Ｌの変化量が所定の範囲内に収まるようになった場合、損失評価部７は、学習処理を継続させる必要がないと判定し、学習処理を終了させる。
【0127】
そして、音声合成処理装置１００において、学習処理が終了した状態における音声合成処理装置１００の学習可能な機能部において重み係数（パラメータ）を最適化重み係数（最適化パラメータ）として固定する。これにより、音声合成処理装置１００において、学習済みモデルが構築される。
【0128】
（１．２．２：予測処理（音声合成処理））
次に、音声合成処理装置１００の予測処理（音声合成処理）について説明する。
次に、音声合成処理装置１００の予測処理（音声合成処理）について説明する。
【0129】
音声合成処理装置１００の予測処理（音声合成処理）は、音声合成処理装置１００において、学習済みモデルが構築された状態（学習処理が完了した状態）で実行される。
【0130】
まず、音声合成したいテキストデータＤｉｎをテキスト解析部１に入力する。テキスト解析部１は、当該テキストデータＤｉｎに対してテキスト解析処理を実行し、当該テキストデータＤｉｎを構成する音素の系列データである音素系列データと、当該テキストデータを構成する音素のアクセントラベルの系列データであるアクセントラベル系列データとを取得する。
【0131】
そして、テキスト解析部１により取得された音素系列データと、アクセントラベル系列データとを含むデータは、データＤ０として、エンコーダ２に出力される。
【0132】
エンコーダ２では、学習処理での説明と同様の処理が実行され、エンコーダ２の機械学習モデル部２４からデータＤ１が継続長推定処理部３に出力される。
【0133】
継続長推定処理部３の畳み込み層３１、写像変換層３２、データ分割部３３、シグモイド変換部３４では、学習処理時と同様の処理が実行される。
【0134】
活性化処理部３５は、データ分割部３３から出力されるデータＤ３１に対して、活性化関数（例えば、Ｓｏｆｔｐｌｕｓ関数による処理）による処理を実行し、処理後のデータをデータＤ＿ａｖｇとして取得する。そして、活性化処理部３５は、取得したデータＤ＿ａｖｇを継続長取得部３７に出力する。
【0135】
分散範囲規制処理部３６は、シグモイド変換部３４から出力されるデータＤ４と、音素の継続長の分散値の下限値Ｖｍｉｎ
２と、音素の継続長の分散値の上限値Ｖｍａｘ
２とを入力する。なお、音素の継続長の分散値の下限値Ｖｍｉｎ
２、および、音素の継続長の分散値の上限値Ｖｍａｘ
２は、音声合成処理装置１００の各機能部を制御する制御部（不図示）から出力される。分散範囲規制処理部３６は、音素の継続長の分散値の下限値Ｖｍｉｎ
２、および、音素の継続長の分散値の上限値Ｖｍａｘ
２を用いて、データＤ４に対して、分散範囲規制処理を実行する。具体的には、分散範囲規制処理部３６は、
Ｄ＿ｖａｒ＝Ｄ４×（Ｖｍａｘ ２－Ｖｍｉｎ ２）＋Ｖｍｉｎ ２
Ｄ４：シグモイド変換部３４の出力データ（Ｄ４：実数、０≦Ｄ４≦１）
に相当する処理を実行し、分散範囲規制処理後のデータＤ＿ｖａｒを取得する。これにより、分散範囲規制処理後のデータＤ＿ｖａｒ（音素継続長の分散値）は、
Ｖｍｉｎ ２≦Ｄ＿ｖａｒ≦Ｖｍａｘ ２
を満たす範囲に規制される。
Ｄ＿ｖａｒ＝Ｄ４×（Ｖｍａｘ ２－Ｖｍｉｎ ２）＋Ｖｍｉｎ ２
Ｄ４：シグモイド変換部３４の出力データ（Ｄ４：実数、０≦Ｄ４≦１）
に相当する処理を実行し、分散範囲規制処理後のデータＤ＿ｖａｒを取得する。これにより、分散範囲規制処理後のデータＤ＿ｖａｒ（音素継続長の分散値）は、
Ｖｍｉｎ ２≦Ｄ＿ｖａｒ≦Ｖｍａｘ ２
を満たす範囲に規制される。
【0136】
そして、分散範囲規制処理部３６は、上記により取得したデータＤ＿ｖａｒを継続長取得部３７に出力する。
【0137】
継続長取得部３７は、分散範囲規制処理部３６から出力されるデータＤ＿ｖａｒと、活性化処理部３５から出力されるデータＤ＿ａｖｇと、再生時（音声合成出力時）の音素継続長の目標値を特定するデータＴ（例えば、所定の期間に相当するフレーム数）とを入力する。なお、データＴは、制御部（不図示）から出力される。そして、継続長取得部３７は、データＤ＿ｖａｒと、データＤ＿ａｖｇと、データＴとを用いて、音素の継続長を取得（推定）する処理を実行する。具体的には、継続長取得部３７は、
σｋ
２：ｋ番目の音素の継続長の分散値（データＤ＿ｖａｒに含まれるデータ）
ξｋ：ｋ番目の音素の継続長の平均値（データＤ＿ａｖｇに含まれるデータ）
Ｔ：フレーム数
Ｋ：音素数（入力データＤｉｎから取得された音素系列データに含まれる音素の数）
に相当する処理を実行し、ｋ番目の音素の継続長（予測継続長）ｄｋを取得する。
【数5】
ξｋ：ｋ番目の音素の継続長の平均値（データＤ＿ａｖｇに含まれるデータ）
Ｔ：フレーム数
Ｋ：音素数（入力データＤｉｎから取得された音素系列データに含まれる音素の数）
に相当する処理を実行し、ｋ番目の音素の継続長（予測継続長）ｄｋを取得する。
【0138】
なお、所定期間に相当するフレーム数のデータＴを変化させることで、音声合成信号の発話速度を変化させることができる。
【0139】
そして、継続長取得部３７は、取得したｋ番目の音素の継続長（予測継続長）ｄｋを含むデータを、データＤ５２として、セレクタＳＥＬ１に出力する。
【0140】
制御部（不図示）は、切替信号ｓｅｌ１の信号値を「０」として、セレクタＳＥＬ１に出力し、セレクタＳＥＬ１は、当該切替信号ｓｅｌ１に従い、継続長取得部３７から出力されるデータＤ５２を選択し、データＤ＿ｄｕｒとして、デコーダ４に出力する。
【0141】
デコーダ４は、継続長推定処理部３から出力されるデータＤ２およびデータＤ＿ｄｕｒを入力し、学習処理時と同様の処理を実行する。
【0142】
そして、デコーダ４は、デコーダでの処理後のデータ（デコーダ４の第Ｍ畳み込み層４２－Ｍからの出力データ）を、データＤｏ＿ｓｐ（音響特徴量（メルスペクトログラム）のデータ）として、ボコーダ８に出力する。
【0143】
ボコーダ８は、デコーダ４から出力されるデータＤｏ＿ｓｐを入力し、当該データＤｏ＿ｓｐに対してボコーダ処理を実行し、データＤｏ＿ｓｐに対応する音声波形データＤｏｕｔを取得し出力する。これにより、入力データＤｉｎに相当する音声波形データ（音声合成波形データ）を取得（出力）することができる。
【0144】
≪まとめ≫
以上のように、音声合成処理装置１００では、学習処理時において、推定すべきアライメントされた目標の音素継続長（ｄｋ）に、平均０、分散Ｖｍｉｎ ２のガウスノイズｎ（ｎ～Ｎ（０，Ｖｍｉｎ ２））を加算して損失（音素継続長についての損失Ｌｄｕｒ，ＭＬ）を計算するので、推定される音素継続長（ｄｋ）の分散値の下限値をＶｍｉｎ ２とすることができる。つまり、音声合成処理装置１００では、音素継続長についての損失Ｌｄｕｒ，ＭＬが（数式２）の損失関数（正規分布の最尤推定の損失関数）により算出されるので、（ｄｋ＋ｎ－ξｋ）２の値が小さくなるように学習が進む。すなわち、ｄｋ＋ｎ（ｎ：ガウスノイズ）がξｋ（音素継続長の平均値）に近づくように学習が進むので、音素継続長（ｄｋ）はばらつきを有する値（音素継続長の分散の下限値がＶｍｉｎ ２となるデータ分布をとる値）に収束することになる。
以上のように、音声合成処理装置１００では、学習処理時において、推定すべきアライメントされた目標の音素継続長（ｄｋ）に、平均０、分散Ｖｍｉｎ ２のガウスノイズｎ（ｎ～Ｎ（０，Ｖｍｉｎ ２））を加算して損失（音素継続長についての損失Ｌｄｕｒ，ＭＬ）を計算するので、推定される音素継続長（ｄｋ）の分散値の下限値をＶｍｉｎ ２とすることができる。つまり、音声合成処理装置１００では、音素継続長についての損失Ｌｄｕｒ，ＭＬが（数式２）の損失関数（正規分布の最尤推定の損失関数）により算出されるので、（ｄｋ＋ｎ－ξｋ）２の値が小さくなるように学習が進む。すなわち、ｄｋ＋ｎ（ｎ：ガウスノイズ）がξｋ（音素継続長の平均値）に近づくように学習が進むので、音素継続長（ｄｋ）はばらつきを有する値（音素継続長の分散の下限値がＶｍｉｎ ２となるデータ分布をとる値）に収束することになる。
【0145】
したがって、音声合成処理装置１００では、ガウスノイズを付加せずに学習を行った場合に、音素継続長の分散値が「０」となってしまい、予測処理（音声合成処理）時に、音素の弾性率（話速に応じて変化する音素の伸縮率）を再現することができないという問題が発生しない。すなわち、音声合成処理装置１００では、ガウスノイズを付加した音素継続長を用いて学習処理を行うため、音素継続長の分散値を有限値とすることができ、その結果、予測処理（音声合成処理）時に、音素の弾性率（話速に応じて変化する音素の伸縮率）を再現することができる。
【0146】
さらに、音声合成処理装置１００では、継続長推定処理部３の分散範囲規制処理部３６により、音素継続長の分散値の上限値Ｖｍａｘ
２も設定できるので、無音部分の音素の継続長の分散値のみが大きな値となり、話速変換時（話速変換して音声合成した時）に無音部分のみが伸縮してしまうという問題も解消できる。つまり、音声合成処理装置１００では、継続長推定処理部３の分散範囲規制処理部３６により、音素継続長の分散値の上限値Ｖｍａｘ
２も設定できるので、無音部分の音素継続長の分散値も上限値Ｖｍａｘ
２以下にすることができ、その結果、話速変換時（話速変換して音声合成した時）に無音部分を適切に再生する（音声合成）することができる。
【0147】
また、音声合成処理装置１００では、デコーダ４の学習可能アップサンプリング層４１において、音素継続長のデータＤ＿ｄｕｒに応じて、アップサンプリング処理を行うとともに、重み付け層にて、学習可能な実数の重み付け係数による重み付け加算処理（パラメータ更新可能な処理）を行うので、話速変換速度を実数値とすることができる。例えば、音声合成処理装置１００において、予測処理時に、所定時間のフレーム数のデータＴを「４．７」（４．７フレーム）のような実数値とすることで、（数式５）により、音素継続長の弾性率ρｋが取得され、さらに、音素継続長ｄｋが取得される。そして、取得された音素継続長ｄｋに対して、デコーダ４の処理、ボコーダ８の処理を行うことで、話速変換速度を実数値とした音声合成波形データを取得することができる。
【0148】
また、音声合成処理装置１００は、アテンション機構を用いない構成を有しているので、発話が途中で途切れたり、停止したりするといった現象が発生することなく、安定した予測処理（音声合成処理）を行うことができる。
【0149】
以上のように、音声合成処理装置１００では、音素の弾性率を考慮しつつ、安定で高精度な話速変換が可能な音声合成処理を行うことができる。
【0150】
≪実験結果≫
本発明（音声合成処理装置１００）の有効性を示すために話速変換音声に対する評価実験を行った。学習セットは、通常速度で発話された音声データのみで構成される。テストセットは、通常速度で発話された音声データと、実際に、高速、低速で発話された音声データとを含む。そして、ニューラル音声合成（音声合成処理装置１００による音声合成）で話速変換合成された音声と、テストデータの音声との比較を行った。学習セットの話速のヒストグラムとテストセットの話速の平均値を図５に示す。なお、比較実験において、音声合成処理装置１００のボコーダ８は、下記文献（文献Ａ）のＭｕｌｔｉ－ｓｔｒｅａｍ ＨｉＦＩ－ＧＡＮを採用した。
（文献Ａ）：
T. Okamoto, T. Toda, and H. Kawai, "Multi-stream HiFi-GAN with data-driven waveform decomposition," in Proc. ASRU, Dec. 2021, (accepted, in press).
図６にテストセット原音および話速変換した音声のスペクトログラムを示す。図６（ａ）は、高速の原音のスペクトログラムである。図６（ｂ）は、通常速度の原音のスペクトログラムである。図６（ｃ）は、従来法（非特許文献２（Ｐａｒａｌｌｅｌ Ｔａｃｏｔｏｒｏｎ ２）の手法）による低速の音声（音声合成処理により取得された音声）のスペクトログラムである。図６（ｄ）は、低速の原音のスペクトログラムである。図６（ｅ）は、本発明（音声合成処理装置１００）による低速の音声（音声合成処理装置１００での音声合成処理により取得された音声）である。
本発明（音声合成処理装置１００）の有効性を示すために話速変換音声に対する評価実験を行った。学習セットは、通常速度で発話された音声データのみで構成される。テストセットは、通常速度で発話された音声データと、実際に、高速、低速で発話された音声データとを含む。そして、ニューラル音声合成（音声合成処理装置１００による音声合成）で話速変換合成された音声と、テストデータの音声との比較を行った。学習セットの話速のヒストグラムとテストセットの話速の平均値を図５に示す。なお、比較実験において、音声合成処理装置１００のボコーダ８は、下記文献（文献Ａ）のＭｕｌｔｉ－ｓｔｒｅａｍ ＨｉＦＩ－ＧＡＮを採用した。
（文献Ａ）：
T. Okamoto, T. Toda, and H. Kawai, "Multi-stream HiFi-GAN with data-driven waveform decomposition," in Proc. ASRU, Dec. 2021, (accepted, in press).
図６にテストセット原音および話速変換した音声のスペクトログラムを示す。図６（ａ）は、高速の原音のスペクトログラムである。図６（ｂ）は、通常速度の原音のスペクトログラムである。図６（ｃ）は、従来法（非特許文献２（Ｐａｒａｌｌｅｌ Ｔａｃｏｔｏｒｏｎ ２）の手法）による低速の音声（音声合成処理により取得された音声）のスペクトログラムである。図６（ｄ）は、低速の原音のスペクトログラムである。図６（ｅ）は、本発明（音声合成処理装置１００）による低速の音声（音声合成処理装置１００での音声合成処理により取得された音声）である。
【0151】
図６の結果より、従来法（非特許文献２（Ｐａｒａｌｌｅｌ Ｔａｃｏｔｏｒｏｎ ２）の手法）は、音素の種別によらず、音素継続長を一様伸縮させているため、低速条件時（低速の音声再生時）のみに発生するショートポーズを再現できていないが、本発明（音声合成処理装置１００）は、各音素の弾性率を考慮して音声合成処理を行っているため、ショートポーズを再現できていることが確認できる。
【0152】
図７に音質評価結果を示す。図７（Ａ）は、通常速度での音質評価結果であり、図７（Ｂ）は、高速（音声再生期間を通常速度の音声再生期間の約０．７８倍にして音声再現した場合）での音質評価結果であり、図７（Ｃ）は、低速（音声再生期間を通常速度の音声再生期間の約１．４２倍にして音声再現した場合）での音質評価結果である。また、図７のグラフのデータを識別するための符号（ａ）～（ｇ）は、以下の通りである。
（ａ）原音についてのデータ
（ｂ）解析手法による音声合成で取得した音声についてのデータ
（ｃ）話速変換が可能な（再生速度を入力可能な）アテンション機構付きＡＲ Ｔａｃｏｔｒｏｎ２による音声合成で取得した音声についてのデータ
（ｄ）話速変換が可能な（再生速度を入力可能な）Ｔｒａｎｓｆｏｒｍｅｒ型ＴＴＳによる音声合成で取得した音声についてのデータ
（ｅ）Ｐａｒａｌｌｅｌ Ｔａｃｏｔｒｏｎ２による音声合成で取得した音声についてのデータ
（ｆ）話速変換が可能な（再生速度を入力可能な）Ｐａｒａｌｌｅｌ Ｔａｃｏｔｒｏｎ２による音声合成で取得した音声についてのデータ
（ｇ）本発明（音声合成処理装置１００）による音声合成で取得した音声についてデータ
図７の結果より、高速・低速の両条件において、本発明（音声合成処理装置１００）により有意に音質を改善した話速変換が可能であることが確認できる。特に、高速条件の場合（高速の音声再生時）、本発明の音声合成処理による音声は、原音と同程度のＭＯＳ値（ＭＯＳ：Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ）となっている。これは、実際の早口言葉（人が実際に発話した早口言葉）よりも本発明の音声合成処理により高速化した音声の方が聞き取りやすい可能性を示唆している。
（ａ）原音についてのデータ
（ｂ）解析手法による音声合成で取得した音声についてのデータ
（ｃ）話速変換が可能な（再生速度を入力可能な）アテンション機構付きＡＲ Ｔａｃｏｔｒｏｎ２による音声合成で取得した音声についてのデータ
（ｄ）話速変換が可能な（再生速度を入力可能な）Ｔｒａｎｓｆｏｒｍｅｒ型ＴＴＳによる音声合成で取得した音声についてのデータ
（ｅ）Ｐａｒａｌｌｅｌ Ｔａｃｏｔｒｏｎ２による音声合成で取得した音声についてのデータ
（ｆ）話速変換が可能な（再生速度を入力可能な）Ｐａｒａｌｌｅｌ Ｔａｃｏｔｒｏｎ２による音声合成で取得した音声についてのデータ
（ｇ）本発明（音声合成処理装置１００）による音声合成で取得した音声についてデータ
図７の結果より、高速・低速の両条件において、本発明（音声合成処理装置１００）により有意に音質を改善した話速変換が可能であることが確認できる。特に、高速条件の場合（高速の音声再生時）、本発明の音声合成処理による音声は、原音と同程度のＭＯＳ値（ＭＯＳ：Ｍｅａｎ Ｏｐｉｎｉｏｎ Ｓｃｏｒｅ）となっている。これは、実際の早口言葉（人が実際に発話した早口言葉）よりも本発明の音声合成処理により高速化した音声の方が聞き取りやすい可能性を示唆している。
【0153】
以上の通り、比較実験により、本発明の有効性を確認できる。
【0154】
［他の実施形態］
上記実施形態では、音声合成処理装置１００において、エンコーダ２の機械学習モデル部２４がトランスフォーマーモデル（トランスフォーマー型ニューラルネットワークモデル）を含む場合を想定しているが、これに限定されることはなく、例えば、エンコーダ２をＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて実現されるエンコーダとしてもよい。
上記実施形態では、音声合成処理装置１００において、エンコーダ２の機械学習モデル部２４がトランスフォーマーモデル（トランスフォーマー型ニューラルネットワークモデル）を含む場合を想定しているが、これに限定されることはなく、例えば、エンコーダ２をＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて実現されるエンコーダとしてもよい。
【0155】
また、上記実施形態で示した音声合成処理装置１００のエンコーダ２は、一例であり、他の構成を有するエンコーダを採用してもよい。
【0156】
また、上記実施形態において、音声合成処理装置１００の学習処理を行うための損失関数として示した損失関数は、一例であり、他の損失関数を用いて、音声合成処理装置１００の学習処理を行うようにしてもよい。
【0157】
また、上記実施形態で説明した音声合成処理装置１００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。
【0158】
なおここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0159】
また集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサーで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0160】
また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【0161】
また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0162】
例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図８に示したハードウェア構成（例えばＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部、通信部、記憶部（例えば、ＨＤＤ、ＳＳＤ等により実現される記憶部）、外部メディア用ドライブ等をバスＢｕｓにより接続したハードウェア構成）を用いて各機能部をソフトウェア処理により実現するようにしてもよい。
【0163】
また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図８に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
【0164】
また上記実施形態（変形例を含む）における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
【0165】
前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【0166】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0167】
また、本明細書内の記載、特許請求の範囲の記載において、「最適化」とは、最も良い状態にすることをいい、システム（モデル）を「最適化」するパラメータとは、当該システムの目的関数の値が最適値となるときのパラメータのことをいう。「最適値」は、システムの目的関数の値が大きくなるほど、システムが良い状態となる場合は、最大値であり、システムの目的関数の値が小さくなるほど、システムが良い状態となる場合は、最小値である。また、「最適値」は、極値であってもよい。また、「最適値」は、所定の誤差（測定誤差、量子化誤差等）を許容するものであってもよく、所定の範囲（十分収束したとみなすことができる範囲）に含まれる値であってもよい。
【0168】
なお本発明の具体的な構成は、前述の実施形態（変形例を含む）に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【0169】
１００ 音声合成処理装置
２ エンコーダマルチストリーム生成部
３ 継続長推定処理部
４ デコーダ
２ エンコーダマルチストリーム生成部
３ 継続長推定処理部
４ デコーダ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】