知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118704
(43)【公開日】2024-09-02
(54)【発明の名称】声質変換処理システム、および、声質変換処理方法
(51)【国際特許分類】
G10L 21/007 20130101AFI20240826BHJP
G10L 25/18 20130101ALI20240826BHJP
G10L 25/30 20130101ALI20240826BHJP
【ＦＩ】
G10L21/007
G10L25/18
G10L25/30
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023025134
(22)【出願日】2023-02-21
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】100143498
【弁理士】
【氏名又は名称】中西 健
(74)【代理人】
【識別番号】100136319
【弁理士】
【氏名又は名称】北原 宏修
(72)【発明者】
【氏名】岡本 拓磨
(72)【発明者】
【氏名】戸田 智基
(72)【発明者】
【氏名】河井 恒
(57)【要約】 （修正有）
【課題】入力音声と出力音声との間のアライメントを安定して推定でき、かつ、ＣＰＵのみで、高精度、高品質な声質変換処理を実行する声質変換処理システム及び方法を提供する。
【解決手段】声質変換処理システム１０００において、継続長予測処理部３は、単調かつ単射となるように最適化されたアライメントにより導出される継続長データと同等の継続長データを予測するように学習されたモデルにより、継続長データを取得するので、取得される継続長データの精度が高くなり、その結果、この声質変換処理システムで取得される声質変換したデータの精度も高くなる。したがって、声質変換処理システム１０００では、入力音声と出力音声との間のアライメントを安定して推定でき、そして、音声波形データ取得処理部において、ＣＰＵのみで高速処理が可能な学習モデルを設定することで、ＣＰＵのみで、高精度、高品質な声質変換処理を実行することができる。
【選択図】図１
【解決手段】声質変換処理システム１０００において、継続長予測処理部３は、単調かつ単射となるように最適化されたアライメントにより導出される継続長データと同等の継続長データを予測するように学習されたモデルにより、継続長データを取得するので、取得される継続長データの精度が高くなり、その結果、この声質変換処理システムで取得される声質変換したデータの精度も高くなる。したがって、声質変換処理システム１０００では、入力音声と出力音声との間のアライメントを安定して推定でき、そして、音声波形データ取得処理部において、ＣＰＵのみで高速処理が可能な学習モデルを設定することで、ＣＰＵのみで、高精度、高品質な声質変換処理を実行することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理システムであって、
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムである入力データに対してエンコード処理を行うことで、潜在変数取得用統計データを取得するエンコード処理部と、
前記入力データに対して、継続長予測処理を行うことで、継続長データを取得する継続長予測処理部と、
前記潜在変数取得用統計データと前記継続長データから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データを取得するアライメント処理部と、
前記継続長考慮中間特徴量データに対してデコード処理を行うことで、潜在変数データを取得するデコード処理部と、
前記潜在変数データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理部と、
を備える声質変換処理システム。
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムである入力データに対してエンコード処理を行うことで、潜在変数取得用統計データを取得するエンコード処理部と、
前記入力データに対して、継続長予測処理を行うことで、継続長データを取得する継続長予測処理部と、
前記潜在変数取得用統計データと前記継続長データから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データを取得するアライメント処理部と、
前記継続長考慮中間特徴量データに対してデコード処理を行うことで、潜在変数データを取得するデコード処理部と、
前記潜在変数データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理部と、
を備える声質変換処理システム。
【請求項2】
前記エンコード処理部、前記継続長予測処理部、前記デコード処理部、および、前記音声波形データ取得処理部は、
パラメータ設定可能な学習モデルを含み、
前記入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された前記学習モデルを含んでいる、
請求項１に記載の声質変換処理システム。
パラメータ設定可能な学習モデルを含み、
前記入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された前記学習モデルを含んでいる、
請求項１に記載の声質変換処理システム。
【請求項3】
入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理システムであって、
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムに対してエンコード処理を行うことで、第１中間特徴量データを取得するエンコード処理部と、
前記第１中間特徴量データから、前記声質変換した音声波形データの継続長データ、エネルギーデータ、および、中心周波数データを予測し、予測した当該継続長データ、音声エネルギーデータ、および、対数基本周波数データを考慮した中間特徴量データである第２中間特徴量データを取得する分散適応処理部と、
前記第２中間特徴量データに対してデコード処理を行うことで、第３中間特徴量データを取得するデコード処理部と、
前記第３中間特徴量データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理部と、
を備える声質変換処理システム。
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムに対してエンコード処理を行うことで、第１中間特徴量データを取得するエンコード処理部と、
前記第１中間特徴量データから、前記声質変換した音声波形データの継続長データ、エネルギーデータ、および、中心周波数データを予測し、予測した当該継続長データ、音声エネルギーデータ、および、対数基本周波数データを考慮した中間特徴量データである第２中間特徴量データを取得する分散適応処理部と、
前記第２中間特徴量データに対してデコード処理を行うことで、第３中間特徴量データを取得するデコード処理部と、
前記第３中間特徴量データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理部と、
を備える声質変換処理システム。
【請求項4】
前記エンコード処理部、前記分散適応処理部、前記デコード処理部、および、前記音声波形データ取得処理部は、
パラメータ設定可能な学習モデルを含み、
前記入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された前記学習モデルを含んでいる、
請求項３に記載の声質変換処理システム。
パラメータ設定可能な学習モデルを含み、
前記入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された前記学習モデルを含んでいる、
請求項３に記載の声質変換処理システム。
【請求項5】
入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理方法であって、
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムである入力データに対してエンコード処理を行うことで、潜在変数取得用統計データを取得するエンコード処理ステップと、
前記入力データに対して、継続長予測処理を行うことで、継続長データを取得する継続長予測処理ステップと、
前記潜在変数取得用統計データと前記継続長データから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データを取得するアライメント処理ステップと、
前記継続長考慮中間特徴量データに対してデコード処理を行うことで、潜在変数データを取得するデコード処理ステップと、
前記潜在変数データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理ステップと、
を備え、
前記エンコード処理ステップ、前記継続長予測処理ステップ、前記デコード処理ステップ、および、前記音声波形データ取得処理ステップは、
前記入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデルによる処理を含む、
声質変換処理方法。
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムである入力データに対してエンコード処理を行うことで、潜在変数取得用統計データを取得するエンコード処理ステップと、
前記入力データに対して、継続長予測処理を行うことで、継続長データを取得する継続長予測処理ステップと、
前記潜在変数取得用統計データと前記継続長データから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データを取得するアライメント処理ステップと、
前記継続長考慮中間特徴量データに対してデコード処理を行うことで、潜在変数データを取得するデコード処理ステップと、
前記潜在変数データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理ステップと、
を備え、
前記エンコード処理ステップ、前記継続長予測処理ステップ、前記デコード処理ステップ、および、前記音声波形データ取得処理ステップは、
前記入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデルによる処理を含む、
声質変換処理方法。
【請求項6】
入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理方法であって、
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムに対してエンコード処理を行うことで、第１中間特徴量データを取得するエンコード処理ステップと、
前記第１中間特徴量データから、前記声質変換した音声波形データの継続長データ、エネルギーデータ、および、中心周波数データを予測し、予測した当該継続長データ、音声エネルギーデータ、および、対数基本周波数データを考慮した中間特徴量データである第２中間特徴量データを取得する分散適応処理ステップと、
前記第２中間特徴量データに対してデコード処理を行うことで、第３中間特徴量データを取得するデコード処理ステップと、
前記第３中間特徴量データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理ステップと、
を備える声質変換処理方法。
前記入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムに対してエンコード処理を行うことで、第１中間特徴量データを取得するエンコード処理ステップと、
前記第１中間特徴量データから、前記声質変換した音声波形データの継続長データ、エネルギーデータ、および、中心周波数データを予測し、予測した当該継続長データ、音声エネルギーデータ、および、対数基本周波数データを考慮した中間特徴量データである第２中間特徴量データを取得する分散適応処理ステップと、
前記第２中間特徴量データに対してデコード処理を行うことで、第３中間特徴量データを取得するデコード処理ステップと、
前記第３中間特徴量データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する音声波形データ取得処理ステップと、
を備える声質変換処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ある話者の音声を、発話内容を維持したまま別の話者の音声へと変換する声質変換技術に関する。
【背景技術】
【0002】
ニューラルネットワークを用いた音声技術はここ数年で進展を遂げ、テキスト音声合成においては自然音声とほぼ変わらない高品質な合成が可能となっている。ある話者の音声を、発話内容を維持したまま別の話者の音声へと変換する声質変換技術においても、ニューラルネットワークを用いた方式により高品質な変換が実現されている。その中でも、系列変換型声質変換モデルは、従来のフレーム変換モデルと比較して、話速や韻律まで変換可能であり、注目を集めている。
【0003】
機械翻訳で登場したTransformer型ニューラルネットワークモデルを用いることにより、入力話者の音声特徴量系列の長さと出力話者の音声特徴量系列の長さとが異なる場合も直接変換が可能な系列変換型声質変換モデルが提案され（例えば、非特許文献１を参照）、複数話者同士の声質変換技術やテキスト音声合成技術を組み合わせることにより少量のペアデータで声質変換技術を実現する方式も提案されている。しかし、これらの技術では、自己回帰型モデルを用いているため、生成速度が遅いという問題、および、Transformerの注意機構（アテンション機構）の推定誤りによりスキップまたは過剰に繰り返されるフレームがあるという不安定な変換が実行されるという問題がある。
【0004】
これらの問題を解決するために、非自己回帰型モデルを用いた技術が提案されている（例えば、非特許文献２を参照）。この技術では、最初に従来の自己回帰型モデルを教師モデルとして学習し、入力音声と出力音声間のアライメントを取得する。その上で、この技術では、教師モデルで得られたアライメントを用いて生徒モデルである非自己回帰型モデルを学習する。最後に、この技術では、別途学習した波形生成ニューラルネットワークと組み合わせることにより、高速かつ安定した声質変換を実現することができる。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】R. Liu, X. Chen, and X. Wen, "Voice conversion with transformer network," in Proc. ICASSP, May 2020, pp. 7759-7763.
【非特許文献2】T. Hayashi, W.-C. Huang, K. Kobayashi, and T. Toda, "Non-autoregressive sequence-to-sequence voice conversion," in Proc. ICASSP, June 2021, pp. 7068-7072.
【発明の概要】
【発明が解決しようとする課題】
【0006】
非自己回帰型モデルを用いた技術（非特許文献２に開示されている技術）では、自己回帰モデルを用いた技術と比べて高速かつ安定した変換を実現してはいるが、以下の課題がある。
【0007】
第１に、上記の非自己回帰型モデルを用いた技術では、教師モデルである自己回帰モデル、生徒モデルである非自己回帰モデル、および音声波形生成モデルの３つのニューラルネットワークモデルをそれぞれ独立に学習する必要がある。そのため、推定誤差は最終的な音声波形生成モデルまで伝搬し、変換精度が劣化する。
【0008】
第２に、上記の非自己回帰型モデルを用いた技術では、入力音声と出力音声間のアライメントは教師自己回帰モデルにより推定するため、不安定である。
【0009】
第３に、上記の非自己回帰型モデルを用いた技術では、波形生成モデルは高速生成にはＧＰＵ（Graphics Processing Unit）が必要であり、ＣＰＵ（Central Processing Unit）のみを用いて、高速かつ高品質に、音声波形を生成する処理を実行することは困難である。
【0010】
第４に、上記の非自己回帰型モデルを用いた技術では、非自己回帰モデルの入力特徴量にはメルスペクトログラムだけではなく基本周波数およびパワーも入力する必要があるが、これらはメルスペクトログラムからでも推定可能な量であるため、冗長である。
【0011】
そこで、本発明は、上記課題に鑑み、入力音声と出力音声との間のアライメントを安定して推定でき、かつ、ＧＰＵを用いることなく、ＣＰＵのみで、高精度、高品質な声質変換処理を実行する声質変換処理システム、声質変換処理方法を実現することを目的とする。
【課題を解決するための手段】
【0012】
上記課題を解決するための第１の発明は、入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理システムであって、エンコード処理部と、継続長予測処理部と、アライメント処理部と、デコード処理部と、音声波形データ取得処理部と、を含む。
【0013】
エンコード処理部は、入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムである入力データに対してエンコード処理を行うことで、潜在変数取得用統計データを取得する。
【0014】
継続長予測処理部は、入力データに対して、継続長予測処理を行うことで、継続長データを取得する。
【0015】
アライメント処理部は、潜在変数取得用統計データと継続長データから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データを取得する。
【0016】
デコード処理部は、継続長考慮中間特徴量データに対してデコード処理を行うことで、潜在変数データを取得する。
【0017】
音声波形データ取得処理部は、潜在変数データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する。
【0018】
この声質変換処理システムでは、高解像度のデータである入力データ（入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラム）から、潜在変数を取得するとともに、継続長予測処理を行うので、高精度な継続長データを取得することができる。また、高解像度のデータである入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データの統計量データを用いて、入力音声と出力音声との間のアライメントを最適化した継続長予測処理部により、高精度かつ安定した継続長データの予測処理が実行される。
【0019】
したがって、この声質変換処理システムでは、入力音声と出力音声との間のアライメントを安定して推定でき、そして、音声波形データ取得処理部において、ＣＰＵのみで高速処理が可能な学習モデルを設定することで、ＧＰＵを用いることなく、ＣＰＵのみで、高精度、高品質な声質変換処理を実行することができる。
【0020】
なお、「声質変換」とは、入力音声を、入力音声とは異なる音声（例えば、話速、韻律、基本周波数、エネルギー（パワー）、音素継続長、線形スペクトログラムスペクトログラム、メルスペクトログラムの少なくとも１つが異なる音声）に変換することをいう。
【0021】
第２の発明は、第１の発明であって、エンコード処理部、継続長予測処理部、デコード処理部、および、音声波形データ取得処理部は、パラメータ設定可能な学習モデルを含み、入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデルを含んでいる。
【0022】
この声質変換処理システムでは、エンコード処理部、継続長予測処理部、デコード処理部、および、音声波形データ取得処理部において、入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデル（学習済みモデル）を含んでいるので、End-to-endモデルの学習処理により取得された学習済みモデルを含むシステムを構築することができる。そして、この声質変換処理システムでは、高解像度のデータである入力データ（入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラム）から、潜在変数を取得するとともに、継続長予測処理を行うので、高精度な継続長データを取得することができる。また、高解像度のデータである入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データの統計量データを用いて、入力音声と出力音声との間のアライメントを最適化し、最適化したアライメントから取得される継続長データを教師データとして、継続長予測処理部の学習モデルに最適化パラメータを設定することで、継続長予測処理部において、高精度かつ安定した継続長データの予測処理ができる。
【0023】
したがって、この声質変換処理システムでは、入力音声と出力音声との間のアライメントを安定して推定でき、そして、音声波形データ取得処理部において、ＣＰＵのみで高速処理が可能な学習モデルを設定することで、ＧＰＵを用いることなく、ＣＰＵのみで、高精度、高品質な声質変換処理を実行することができる。
【0024】
第３の発明は、入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理システムであって、エンコード処理部と、分散適応処理部と、デコード処理部と、音声波形データ取得処理部と、を備える。
【0025】
エンコード処理部は、入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムに対してエンコード処理を行うことで、第１中間特徴量データを取得する。
【0026】
分散適応処理部は、第１中間特徴量データから、声質変換した音声波形データの継続長データ、エネルギーデータ、および、中心周波数データを予測し、予測した当該継続長データ、音声エネルギーデータ、および、対数基本周波数データを考慮した中間特徴量データである第２中間特徴量データを取得する。
【0027】
デコード処理部は、第２中間特徴量データに対してデコード処理を行うことで、第３中間特徴量データを取得する。
【0028】
音声波形データ取得処理部は、第３中間特徴量データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する。
【0029】
この声質変換処理システムでは、エンコード処理部、分散適応処理部、デコード処理部、および、音声波形データ取得処理部において、入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデル（学習済みモデル）を含んでいるので、End-to-endモデルの学習処理により取得された学習済みモデルを含むシステムを構築することができる。そして、この声質変換処理システムでは、高解像度のデータである入力データ（入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラム）から、第１中間特徴量データを取得するとともに、継続長予測処理を行うので、高精度な継続長データを取得することができる。また、高解像度のデータである入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される第１中間特徴量データと、声質変換したデータ（正解データ）音響特徴量が取得される第２中間特徴量データとを用いて、入力音声と出力音声との間のアライメントを最適化し、最適化したアライメントから取得される継続長データを教師データとして、分散適応処理部の学習モデルに最適化パラメータを設定することで、分散適応処理部において、高精度かつ安定した継続長データの予測処理ができる。さらに、この声質変換処理システムでは、分散適応処理部により、第１中間特徴量データから、声質変換した音声波形データの継続長データ、エネルギーデータ、および、中心周波数データが予測（取得）されるので、別途、エネルギーデータ、および、中心周波数データを入力する必要がない。
【0030】
したがって、この声質変換処理システムでは、入力話者音声波形データの音響特徴量（例えば、メルスペクトログラム）を入力するだけで、入力音声と出力音声との間のアライメントを安定して推定でき、そして、音声波形データ取得処理部において、ＣＰＵのみで高速処理が可能な学習モデルを設定することで、ＧＰＵを用いることなく、ＣＰＵのみで、高精度、高品質な声質変換処理を実行することができる。
【0031】
第４の発明は、第３の発明であって、エンコード処理部、分散適応処理部、デコード処理部、および、音声波形データ取得処理部は、パラメータ設定可能な学習モデルを含み、入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデルを含んでいる。
【0032】
これにより、この声質変換処理システムでは、エンコード処理部、分散適応処理部、デコード処理部、および、音声波形データ取得処理部において、入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデル（学習済みモデル）による処理を実行することができる。
【0033】
第５の発明は、入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理方法であって、エンコード処理ステップと、継続長予測処理ステップと、アライメント処理ステップと、デコード処理ステップと、音声波形データ取得処理ステップと、を備える。
【0034】
エンコード処理ステップは、入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムである入力データに対してエンコード処理を行うことで、潜在変数取得用統計データを取得する。
【0035】
継続長予測処理ステップは、入力データに対して、継続長予測処理を行うことで、継続長データを取得する。
【0036】
アライメント処理ステップは、潜在変数取得用統計データと継続長データから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データを取得する。
【0037】
デコード処理ステップは、継続長考慮中間特徴量データに対してデコード処理を行うことで、潜在変数データを取得する。
【0038】
音声波形データ取得処理ステップは、潜在変数データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する。
【0039】
そして、エンコード処理ステップ、継続長予測処理ステップ、デコード処理ステップ、および、音声波形データ取得処理ステップは、入力話者の音声波形データと、当該音声波形データの声質変換した音声波形の正解データとを用いて学習処理を行い取得された最適化パラメータが設定された学習モデルによる処理を含む。
これにより、第１の発明と同様の効果を奏する声質変換処理方法を実現することができる。
これにより、第１の発明と同様の効果を奏する声質変換処理方法を実現することができる。
【0040】
第６の発明は、入力話者の音声波形データを声質変換した音声波形データに変換する声質変換処理方法であって、エンコード処理ステップと、分散適応処理ステップと、デコード処理ステップと、音声波形データ取得処理ステップと、を備える。
【0041】
エンコード処理ステップは、入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムに対してエンコード処理を行うことで、第１中間特徴量データを取得する。
【0042】
分散適応処理ステップは、第１中間特徴量データから、声質変換した音声波形データの継続長データ、エネルギーデータ、および、中心周波数データを予測し、予測した当該継続長データ、音声エネルギーデータ、および、対数基本周波数データを考慮した中間特徴量データである第２中間特徴量データを取得する。
【0043】
デコード処理ステップは、第２中間特徴量データに対してデコード処理を行うことで、第３中間特徴量データを取得する。
【0044】
音声波形データ取得処理ステップは、第３中間特徴量データに対して、音声波形データ取得処理を行うことで、声質変換された音声波形データを取得する。
【0045】
これにより、第２の発明と同様の効果を奏する声質変換処理方法を実現することができる。
【発明の効果】
【0046】
本発明によれば、入力音声と出力音声との間のアライメントを安定して推定でき、かつ、ＧＰＵを用いることなく、ＣＰＵのみで、高精度、高品質な声質変換処理を実行する声質変換処理システム、声質変換処理方法を実現することができる。
【図面の簡単な説明】
【0047】
【図1】第１実施形態に係る声質変換処理システム１０００の概略構成図。
【図2】第１実施形態に係る声質変換処理システム１０００のエンコード処理部２の概略構成図。
【図3】第１実施形態に係る声質変換処理システム１０００の継続長予測処理部３の概略構成図。
【図4】声質変換処理システム１０００の概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図。
【図5】声質変換処理システム１０００の継続長予測処理部３の概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図。
【図6】第２実施形態に係る声質変換処理システム２０００の概略構成図。
【図7】第２実施形態に係る声質変換処理システム２０００の単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡの概略構成図。
【図8】第２実施形態に係る声質変換処理システム２０００の分散適応処理部４Ａの概略構成図。
【図9】第２実施形態に係る声質変換処理システム２０００の概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図。
【図10】第２実施形態に係る声質変換処理システム２０００の分散適応処理部４Ａの概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図。
【図11】ＣＰＵバス構成を示す図。
【発明を実施するための形態】
【0048】
［第１実施形態］
第１実施形態について、図面を参照しながら、以下説明する。
第１実施形態について、図面を参照しながら、以下説明する。
【0049】
＜１．１：声質変換処理システムの構成＞
図１は、第１実施形態に係る声質変換処理システム１０００の概略構成図である。
図１は、第１実施形態に係る声質変換処理システム１０００の概略構成図である。
【0050】
図２は、第１実施形態に係る声質変換処理システム１０００のエンコード処理部２の概略構成図である。
【0051】
図３は、第１実施形態に係る声質変換処理システム１０００の継続長予測処理部３の概略構成図である。
【0052】
声質変換処理システム１０００は、入力話者の音声波形データ（音声波形信号）を入力し、声質変換された音声波形データ（音声波形信号）を出力するシステムである（例えば、男性の入力話者の音声波形データ（音声波形信号）を、女性の音声波形データ（音声波形信号）に変換（声質変換）するシステムである）。声質変換処理システム１０００は、図１に示すように、音響特徴量取得部１と、エンコード処理部２と、継続長予測処理部３と、アライメント処理部４と、デコード処理部５と、音声波形データ取得処理部６と、事後分布取得用エンコーダＥｎｃ＿ｔｒｎと、単調アライメント探索処理部ＭＯＳ＿ｔｒｎと、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎとを備える。
【0053】
音響特徴量取得部１は、入力話者の音声波形データ（音声波形信号）を入力し、当該入力話者の音声波形データから、当該入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムのデータを取得する。そして、音響特徴量取得部１は、取得したデータを、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃとして、エンコード処理部２に出力する。
【0054】
エンコード処理部２は、学習可能なモデル（例えば、ニューラルネットワークモデル）を含む機能部である。エンコード処理部２は、例えば、Transformer型エンコーダを用いて実現される。エンコード処理部２は、図２に示すように、エンコーダ２１と、統計量データ取得処理部２２とを備える。
【0055】
エンコーダ２１は、例えば、Transformer型エンコーダ（Transformerモデルのエンコーダ）であり、音響特徴量取得部１から出力されるデータＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃを入力し、当該データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、エンコード処理を実行し、中間状態データＤ＿ｈ＿ｓｒｃを取得する。そして、エンコーダ２１は、取得した中間状態データＤ＿ｈ＿ｓｒｃを統計量データ取得処理部２２および継続長予測処理部３に出力する。
【0056】
統計量データ取得処理部２２は、エンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃを入力し、中間状態データＤ＿ｈ＿ｓｒｃに対して、統計量データ取得処理を実行し、データＤ＿ｓｔａｔ（例えば、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃから取得された中間状態データＤ＿ｈ＿ｓｒｃから取得される時間の平均値μ、標準偏差値σに相当するデータ（統計量データ）を含むデータ）を取得する。そして、統計量データ取得処理部２２は、（１）学習処理時において、取得したデータＤ＿ｓｔａｔを単調アライメント探索処理部ＭＯＳ＿ｔｒｎに出力し、（２）予測処理時において、取得したデータＤ＿ｓｔａｔをアライメント処理部４に出力する。
【0057】
継続長予測処理部３は、学習可能なモデル（例えば、ニューラルネットワークモデル）を含む機能部であり、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃ（入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムスペクトログラム）から取得される中間状態データＤ＿ｈ＿ｓｒｃから継続長（例えば、音素の継続長）を取得するための機能部である。
（１）継続長予測処理部３は、学習処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃと、単調アライメント探索処理部ＭＯＳ＿ｔｒｎから出力される継続長データｄとを入力し、中間状態データＤ＿ｈ＿ｓｒｃと継続長データｄとから、ホワイトノイズ（ガウスノイズ（ガウス性ホワイトノイズ））が生成されるように、継続長予測処理部３の学習可能なモデルのパラメータを更新する処理（学習処理）を実行する。
（２）継続長予測処理部３は、予測処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃと、ガウス性ホワイトノイズを入力し、中間状態データＤ＿ｈ＿ｓｒｃを用いて、継続長予測処理を実行することで、継続長データｄ＿ｐｒｅｄを取得する。そして、継続長予測処理部３は、取得した継続長データｄ＿ｐｒｅｄをアライメント処理部４に出力する。
（１）継続長予測処理部３は、学習処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃと、単調アライメント探索処理部ＭＯＳ＿ｔｒｎから出力される継続長データｄとを入力し、中間状態データＤ＿ｈ＿ｓｒｃと継続長データｄとから、ホワイトノイズ（ガウスノイズ（ガウス性ホワイトノイズ））が生成されるように、継続長予測処理部３の学習可能なモデルのパラメータを更新する処理（学習処理）を実行する。
（２）継続長予測処理部３は、予測処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃと、ガウス性ホワイトノイズを入力し、中間状態データＤ＿ｈ＿ｓｒｃを用いて、継続長予測処理を実行することで、継続長データｄ＿ｐｒｅｄを取得する。そして、継続長予測処理部３は、取得した継続長データｄ＿ｐｒｅｄをアライメント処理部４に出力する。
【0058】
継続長予測処理部３は、例えば、図３に示すように、コンディションエンコーダ３１、３２と、加算部３３と、事後分布取得用エンコーダ３４と、減算部３５と、結合部３６と、フロー型可逆エンコーダ３７と、整数化処理部３８とを備える。
【0059】
コンディションエンコーダ３１は、学習可能なモデル（例えば、ニューラルネットワークモデル）を含み、エンコード処理（条件付きエンコード処理）を実行する機能部である。
（１）コンディションエンコーダ３１は、学習処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃを入力し、当該中間状態データＤ＿ｈ＿ｓｒｃに対して、エンコード処理を実行し、データＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）を取得する。そして、コンディションエンコーダ３１は、取得したデータＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）を加算部３３およびフロー型可逆エンコーダ３７に出力する。
（２）コンディションエンコーダ３１は、予測処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃを入力し、当該中間状態データＤ＿ｈ＿ｓｒｃに対して、エンコード処理を実行し、データＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）を取得する。そして、コンディションエンコーダ３１は、取得したデータＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）をフロー型可逆エンコーダ３７に出力する。
（１）コンディションエンコーダ３１は、学習処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃを入力し、当該中間状態データＤ＿ｈ＿ｓｒｃに対して、エンコード処理を実行し、データＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）を取得する。そして、コンディションエンコーダ３１は、取得したデータＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）を加算部３３およびフロー型可逆エンコーダ３７に出力する。
（２）コンディションエンコーダ３１は、予測処理時において、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃを入力し、当該中間状態データＤ＿ｈ＿ｓｒｃに対して、エンコード処理を実行し、データＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）を取得する。そして、コンディションエンコーダ３１は、取得したデータＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）をフロー型可逆エンコーダ３７に出力する。
【0060】
コンディションエンコーダ３２は、学習可能なモデル（例えば、ニューラルネットワークモデル）を含み、エンコード処理（条件付きエンコード処理）を実行する機能部である。コンディションエンコーダ３２は、学習処理時において、単調アライメント探索処理部ＭＯＳ＿ｔｒｎから出力される継続長データｄを入力し、当該データｄに対して、エンコード処理を実行し、データＣＥｎｃ（ｄ）を取得する。そして、コンディションエンコーダ３２は、取得したデータＣＥｎｃ（ｄ）を加算部３３に出力する。
【0061】
加算部３３は、コンディションエンコーダ３１から出力されるデータＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）と、コンディションエンコーダ３２から出力されるデータＣＥｎｃ（ｄ）とを入力し、両データを加算する処理を行う。そして、加算部３３は、当該加算処理の結果データを、データＤ３１として、事後分布取得用エンコーダ３４に出力する。
【0062】
事後分布取得用エンコーダ３４は、学習可能なモデル（例えば、ニューラルネットワークモデル）を含み、事後分布を取得するためのエンコード処理を実行する機能部である。事後分布取得用エンコーダ３４は、ガウス性ホワイトノイズｗ＿ｎｏｉｓｅ（ｗ＿ｎｏｉｓｅ～Ｎ（０，Ｉ）、Ｉ：単位行列）と、加算部３３から出力されるデータＤ３１とを入力し、両データに対して、事後分布取得用エンコード処理を実行し、変数データｕおよび変数データｖを取得する。なお、変数データｕおよび変数データｖは、継続長データｄと同じ時間解像度および次元数を有するデータである。そして、事後分布取得用エンコーダ３４は、取得した変数データｕを減算部３５に出力し、取得した変数データｖを結合部３６に出力する。
【0063】
減算部３５は、単調アライメント探索処理部ＭＯＳ＿ｔｒｎから出力される継続長データｄと、事後分布取得用エンコーダ３４から出力される変数データｕとを入力し、継続長データｄから変数データｕを減算する処理を行う。そして、減算部３５は、当該減算処理の結果データｄ－ｕを結合部３６に出力する。
【0064】
結合部３６は、事後分布取得用エンコーダ３４から出力される変数データｖと、減算部３５から出力されるデータｄ－ｕとを入力し、両データを結合（concatenate）する。そして、結合後のデータ［ｄ－ｕ，ｖ］（データｄ－ｕとデータｖとを結合（concatenate）したデータを［ｄ－ｕ，ｖ］と表記する）をフロー型可逆エンコーダ３７に出力する。
【0065】
フロー型可逆エンコーダ３７は、学習可能なモデル（例えば、ニューラルネットワークモデル）を含み、可逆変換可能なデコード処理（およびエンコード処理）を実行する機能部である。
（１）フロー型可逆エンコーダ３７は、学習処理時において、コンディションエンコーダ３１から出力されるデータＣｅｎｄ（Ｄ＿ｈ＿ｓｒｃ）と、結合部３６から出力されるデータ［ｄ－ｕ，ｖ］とを入力し、両データから、ノイズｎｏｉｓｅ＿ｏｕｔを生成する。そして、フロー型可逆エンコーダ３７は、上記により生成されるノイズｎｏｉｓｅ＿ｏｕｔがガウス性ホワイトノイズｗ＿ｎｏｉｓｅ（ｗ＿ｎｏｉｓｅ～Ｎ（０，Ｉ））となるように、フロー型可逆エンコーダ３７の学習可能モデルのパラメータを更新する。つまり、フロー型可逆エンコーダ３７は、エンコード処理の学習を行う。なお、この学習処理時のフロー型可逆エンコーダ３７のエンコード処理に相当する関数をｇθとする。
（２）フロー型可逆エンコーダ３７は、予測処理時において、コンディションエンコーダ３１から出力されるデータＣｅｎｄ（Ｄ＿ｈ＿ｓｒｃ）と、ガウス性ホワイトノイズｗ＿ｎｏｉｓｅ（ｗ＿ｎｏｉｓｅ～Ｎ（０，Ｉ））とを入力する。なお、ガウス性ホワイトノイズｗ＿ｎｏｉｓｅは、学習処理時において、フロー型可逆エンコーダ３７がノイズｎｏｉｓｅ＿ｏｕｔを出力した経路の逆経路により、フロー型可逆エンコーダ３７に入力させる。フロー型可逆エンコーダ３７は、エンコード処理に相当する関数ｇθの逆関数（逆変換に相当する関数）ｇθ －１に相当する処理（デコード処理）を実行し、予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを取得する。なお、データ［ｄ－ｕ，ｖ］の予測データを、予測データ［ｄ－ｕ，ｖ］ｐｒｅｄと表記する。フロー型可逆エンコーダ３７は、上記により取得した予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを整数化処理部３８に出力する。
（１）フロー型可逆エンコーダ３７は、学習処理時において、コンディションエンコーダ３１から出力されるデータＣｅｎｄ（Ｄ＿ｈ＿ｓｒｃ）と、結合部３６から出力されるデータ［ｄ－ｕ，ｖ］とを入力し、両データから、ノイズｎｏｉｓｅ＿ｏｕｔを生成する。そして、フロー型可逆エンコーダ３７は、上記により生成されるノイズｎｏｉｓｅ＿ｏｕｔがガウス性ホワイトノイズｗ＿ｎｏｉｓｅ（ｗ＿ｎｏｉｓｅ～Ｎ（０，Ｉ））となるように、フロー型可逆エンコーダ３７の学習可能モデルのパラメータを更新する。つまり、フロー型可逆エンコーダ３７は、エンコード処理の学習を行う。なお、この学習処理時のフロー型可逆エンコーダ３７のエンコード処理に相当する関数をｇθとする。
（２）フロー型可逆エンコーダ３７は、予測処理時において、コンディションエンコーダ３１から出力されるデータＣｅｎｄ（Ｄ＿ｈ＿ｓｒｃ）と、ガウス性ホワイトノイズｗ＿ｎｏｉｓｅ（ｗ＿ｎｏｉｓｅ～Ｎ（０，Ｉ））とを入力する。なお、ガウス性ホワイトノイズｗ＿ｎｏｉｓｅは、学習処理時において、フロー型可逆エンコーダ３７がノイズｎｏｉｓｅ＿ｏｕｔを出力した経路の逆経路により、フロー型可逆エンコーダ３７に入力させる。フロー型可逆エンコーダ３７は、エンコード処理に相当する関数ｇθの逆関数（逆変換に相当する関数）ｇθ －１に相当する処理（デコード処理）を実行し、予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを取得する。なお、データ［ｄ－ｕ，ｖ］の予測データを、予測データ［ｄ－ｕ，ｖ］ｐｒｅｄと表記する。フロー型可逆エンコーダ３７は、上記により取得した予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを整数化処理部３８に出力する。
【0066】
整数化処理部３８は、フロー型可逆エンコーダ３７から出力される予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを入力し、当該データに対して整数化処理（例えば、天井関数ｃｅｉｌ（）による処理）を行い、整数化処理後のデータｃｅｉｌ（［ｄ－ｕ，ｖ］ｐｒｅｄ）を、データｄ＿ｐｒｅｄとして、アライメント処理部４に出力する。
【0067】
アライメント処理部４は、エンコード処理部２の統計量データ取得処理部２２から出力されるデータＤ＿ｓｔａｔと、継続長予測処理部３から出力される継続長データｄ＿ｐｒｅｄとを入力し、データＤ＿ｓｔａｔおよび継続長データｄ＿ｐｒｅｄから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データを取得する処理を実行する。そして、アライメント処理部４は、上記処理により取得される継続長考慮中間特徴量データを、データＤ＿ｆｚとして、デコード処理部５に出力する。
【0068】
デコード処理部５は、学習可能なモデル（例えば、ニューラルネットワークモデル）を含み、可逆変換可能なデコード処理（およびエンコード処理）を実行する機能部である。
（１）デコード処理部５は、学習処理時において、事後分布取得用エンコーダＥｎｃ＿ｔｒｎから出力されるデータＤｔｒｎ＿ｚを入力し、当該データＤｔｒｎ＿ｚに対してエンコード処理（この処理に相当する関数をｆΘとする）を行い、エンコード処理後のデータ（潜在変数データｚ）を取得し、取得したデータ（潜在変数データｚ）を含むデータを、データＤｔｒｎ＿ｆｚとして、単調アライメント探索処理部ＭＯＳ＿ｔｒｎに出力する。
（２）デコード処理部５は、予測処理時において、アライメント処理部４から出力されるデータＤ＿ｆｚを入力し、当該データＤ＿ｆｚに対してデコード処理（この処理に相当する関数をｆΘ －１（関数をｆΘの逆関数）とする）を行い、デコード処理後のデータ（潜在変数データｚ）を含むデータを、データＤ＿ｚとして、音声波形データ取得処理部６に出力する。
（１）デコード処理部５は、学習処理時において、事後分布取得用エンコーダＥｎｃ＿ｔｒｎから出力されるデータＤｔｒｎ＿ｚを入力し、当該データＤｔｒｎ＿ｚに対してエンコード処理（この処理に相当する関数をｆΘとする）を行い、エンコード処理後のデータ（潜在変数データｚ）を取得し、取得したデータ（潜在変数データｚ）を含むデータを、データＤｔｒｎ＿ｆｚとして、単調アライメント探索処理部ＭＯＳ＿ｔｒｎに出力する。
（２）デコード処理部５は、予測処理時において、アライメント処理部４から出力されるデータＤ＿ｆｚを入力し、当該データＤ＿ｆｚに対してデコード処理（この処理に相当する関数をｆΘ －１（関数をｆΘの逆関数）とする）を行い、デコード処理後のデータ（潜在変数データｚ）を含むデータを、データＤ＿ｚとして、音声波形データ取得処理部６に出力する。
【0069】
音声波形データ取得処理部６は、学習可能なモデル（例えば、ニューラルネットワークモデル、あるいは、敵対的生成ネットワークモデル（GAN：Generative Adversarial Network））を含み、継続長考慮中間特徴量データから音声波形データを取得する処理を実行する機能部である。音声波形データ取得処理部６は、予測処理時において、声質変換処理をリアルタイム処理（実行対象の処理により許容される時間内に処理が完了することが保証される処理）が可能となる学習可能モデルを含む。つまり、音声波形データ取得処理部６に含まれる学習可能モデルは、最適化パラメータを設定した学習済みモデルにおいて、ＧＰＵを用いることなく、ＣＰＵのみで、声質変換処理をリアルタイム処理により実行できるという条件を満たすモデルである（例えば、学習可能モデルにおいて、行列演算処理数がＣＰＵでリアルタイム処理できる程度となるモデル（例えば、HiFi-GANモデル）である）。
（１）音声波形データ取得処理部６は、学習処理時において、デコード処理部５から出力されるデータＤ＿ｚを入力し、データＤ＿ｚに対して、音声波形データ取得処理を実行し、音声波形データを取得する。そして、音声波形データ取得処理部６は、取得したデータをＤｏｕｔとして損失評価部Ｌ＿ｇｅｔ＿ｔｒｎに出力する。また、音声波形データ取得処理部６は、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎにより取得された損失（誤差）を誤差逆伝播法により逆伝播させることで、音声波形データ取得処理部６の学習可能モデルのパラメータを更新する（学習処理を実行する）。また、音声波形データ取得処理部６は、学習処理時において、事後分布取得用エンコーダＥｎｃ＿ｔｒｎから出力されるデータＤｔｒｎ＿ｚを入力し、データＤｔｒｎ＿ｚに対して、音声波形データ取得処理を実行し、音声波形データを取得する。そして、音声波形データ取得処理部６は、取得したデータをＤｏｕｔとして損失評価部Ｌ＿ｇｅｔ＿ｔｒｎに出力する。また、音声波形データ取得処理部６は、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎにより取得された損失（誤差）を誤差逆伝播法により逆伝播させることで、音声波形データ取得処理部６の学習可能モデルのパラメータを更新する（条件ＶＡＥ用の学習処理を実行する）。
（２）音声波形データ取得処理部６は、予測処理時において、デコード処理部５から出力されるデータＤ＿ｚを入力し、データＤ＿ｚに対して、音声波形データ取得処理を実行し、音声波形データを取得する。そして、音声波形データ取得処理部６は、取得したデータをＤｏｕｔとして出力する。
（１）音声波形データ取得処理部６は、学習処理時において、デコード処理部５から出力されるデータＤ＿ｚを入力し、データＤ＿ｚに対して、音声波形データ取得処理を実行し、音声波形データを取得する。そして、音声波形データ取得処理部６は、取得したデータをＤｏｕｔとして損失評価部Ｌ＿ｇｅｔ＿ｔｒｎに出力する。また、音声波形データ取得処理部６は、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎにより取得された損失（誤差）を誤差逆伝播法により逆伝播させることで、音声波形データ取得処理部６の学習可能モデルのパラメータを更新する（学習処理を実行する）。また、音声波形データ取得処理部６は、学習処理時において、事後分布取得用エンコーダＥｎｃ＿ｔｒｎから出力されるデータＤｔｒｎ＿ｚを入力し、データＤｔｒｎ＿ｚに対して、音声波形データ取得処理を実行し、音声波形データを取得する。そして、音声波形データ取得処理部６は、取得したデータをＤｏｕｔとして損失評価部Ｌ＿ｇｅｔ＿ｔｒｎに出力する。また、音声波形データ取得処理部６は、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎにより取得された損失（誤差）を誤差逆伝播法により逆伝播させることで、音声波形データ取得処理部６の学習可能モデルのパラメータを更新する（条件ＶＡＥ用の学習処理を実行する）。
（２）音声波形データ取得処理部６は、予測処理時において、デコード処理部５から出力されるデータＤ＿ｚを入力し、データＤ＿ｚに対して、音声波形データ取得処理を実行し、音声波形データを取得する。そして、音声波形データ取得処理部６は、取得したデータをＤｏｕｔとして出力する。
【0070】
事後分布取得用エンコーダＥｎｃ＿ｔｒｎは、学習可能なモデル（例えば、ニューラルネットワークモデル）を含み、事後分布を取得するためのエンコード処理を実行する機能部である。事後分布取得用エンコーダＥｎｃ＿ｔｒｎは、学習処理時において、声質変換した正解データ（教師データ）のメルスペクトログラムのデータＤ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃｔｒｏｇｒｍ＿ｄｓｔを入力し、当該データＤ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃｔｒｏｇｒｍ＿ｄｓｔから、潜在変数データｚ’を取得する処理を行い、当該処理により取得された潜在変数データｚ’を含むデータを、データＤｔｒｎ＿ｚとして、デコード処理部５および音声波形データ取得処理部６に出力する。事後分布取得用エンコーダＥｎｃ＿ｔｒｎは、上記処理により取得される潜在変数データｚ’の確率分布と、デコード処理部５により取得される潜在変数データｚの確率分布とが近くなるように（両確率分布のＫＬダイバージェンスが小さくなるよう）、事後分布取得用エンコーダＥｎｃ＿ｔｒｎの学習可能モデルのパラメータを更新する（学習処理を実行する）
単調アライメント探索処理部ＭＯＳ＿ｔｒｎは、学習処理時において、エンコード処理部２から出力されるＤ＿ｓｔａｔと、デコード処理部５から出力されるデータＤｔｒｎ＿ｆｚとを入力し、両データから単調アライメント（これを単調アライメントＡという）を取得し、取得した単調アライメントＡに基づいて、継続長データｄを取得する。そして、単調アライメント探索処理部ＭＯＳ＿ｔｒｎは、取得した継続長データｄを継続長予測処理部３に出力する。
単調アライメント探索処理部ＭＯＳ＿ｔｒｎは、学習処理時において、エンコード処理部２から出力されるＤ＿ｓｔａｔと、デコード処理部５から出力されるデータＤｔｒｎ＿ｆｚとを入力し、両データから単調アライメント（これを単調アライメントＡという）を取得し、取得した単調アライメントＡに基づいて、継続長データｄを取得する。そして、単調アライメント探索処理部ＭＯＳ＿ｔｒｎは、取得した継続長データｄを継続長予測処理部３に出力する。
【0071】
損失評価部Ｌ＿ｇｅｔ＿ｔｒｎは、学習処理時において、音声波形データ取得処理部６から出力される音声波形データＤｏｕｔと、声質変換したデータの正解データ（教師データ）の音声波形データＤ＿ｃｏｒｒｅｃｔ＿ｗａｖｅとを入力し、両データから、損失（誤差）を取得する。そして、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎにより取得した誤差を用いて、誤差逆伝播法により、声質変換処理システム１０００において、学習処理が実行される。
【0072】
また、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎは、学習処理時において、音声波形データ取得処理部６から出力される音声波形データＤｏｕｔの音響特徴量データＤｏｕｔ＿ｍｅｌ（例えば、メルスペクトログラム）を取得し、また、声質変換したデータの正解データ（教師データ）の音声波形データＤ＿ｃｏｒｒｅｃｔ＿ｗａｖｅの音響特徴量データＤ＿ｃｏｒｒｅｃｔ＿ｍｅｌを取得する。そして、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎは、音響特徴量データＤｏｕｔ＿ｍｅｌと、音響特徴量データＤ＿ｃｏｒｒｅｃｔ＿ｍｅｌとから、条件ＶＡＥ用の損失を取得し、当該損失（誤差）を誤差逆伝播法により逆伝播させることで、音声波形データ取得処理部６の学習可能モデル、および、事後分布取得用エンコーダＥｎｃ＿ｔｒｎの学習可能モデルのパラメータを更新する（条件ＶＡＥ用の学習処理を行う）。
【0073】
なお、声質変換処理システム１０００は、声質変換処理システム１０００の各機能部を制御する制御部（不図示）を備えており、当該制御部により、学習処理を行う学習処理モード、および、予測処理を行う予測処理モードを切り替えることができるものとする。
【0074】
＜１．２：声質変換処理システムの動作＞
以上のように構成された声質変換処理システム１０００の動作について、以下説明する。
以上のように構成された声質変換処理システム１０００の動作について、以下説明する。
【0075】
以下では、声質変換処理システム１０００の動作について、（１）学習処理、および、（２）予測処理に分けて、説明する。
【0076】
（１．２．１：学習処理）
まず、声質変換処理システム１０００で実行される学習処理について、説明する。
まず、声質変換処理システム１０００で実行される学習処理について、説明する。
【0077】
第一実施形態は、先行論文（J. Kim, J. Kong, and J. Son, "Conditional variational autoencoder with adversarial learning for end-to-end text-to-speech"）のＴＴＳシステム（TTS：Text to speech）を音質変換処理にタスクを変更適用したものであり、処理の詳細は省略する。なお、数式における記号は、当該論文のものに合わせてある。
【0078】
声質変換処理システム１０００では、以下に説明する損失関数を用いて、学習処理を行うことで、最適化された学習可能モデル、すなわち、学習済みモデルを取得することができる。つまり、声質変換処理システム１０００では、下記数式で表される損失Ｌ（損失関数Ｌ）により、損失評価をし、損失評価により取得された損失（誤差）を誤差逆伝播法により逆伝播させることで、学習可能モデルの学習処理（パラメータを最適化する処理）を行うことができる。
Ｌｒｅｃｏｎ：条件ＶＡＥの再構築損失（損失関数）
ＬＫＬ：ＫＬダイバージェンスによる損失（損失関数）
Ｌｄｕｒ：継続長の損失（損失関数）
Ｌａｄｖ（Ｇ）：HiFi-GANモデルの生成器Ｇ用の損失（損失関数）
Ｌｆｍ（Ｇ）：HiFi-GANモデルの出力と教師データ（正解データ）との損失（Ｌ１ノルムの平均）（損失関数）
声質変換処理システム１０００では、上記数式の損失（トータル損失）Ｌにより学習処理を行う。つまり、声質変換処理システム１０００では、下記（１）～（５）を繰り返し実行することで、学習処理を実行する。
（１）条件ＶＡＥの再構築損失Ｌｒｅｃｏｎを取得する処理を実行することで、再構築損失Ｌｒｅｃｏｎを取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。
（２）ＫＬダイバージェンスによる損失ＬＫＬを取得する処理を実行することで、ＫＬダイバージェンスによる損失ＬＫＬを取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。
（３）単調アライメント探索処理部ＭＯＳ＿ｔｒｎによるアライメントの最適化処理を行う。
（４）継続長の損失を取得する処理を実行することで、継続長の損失Ｌｄｕｒを取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。
（５）音声波形データ取得の損失Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）を取得する処理を実行することで、損失Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）を取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。なお、このとき、HiFi-GANモデルの識別器の学習処理も行う。
【数1】
ＬＫＬ：ＫＬダイバージェンスによる損失（損失関数）
Ｌｄｕｒ：継続長の損失（損失関数）
Ｌａｄｖ（Ｇ）：HiFi-GANモデルの生成器Ｇ用の損失（損失関数）
Ｌｆｍ（Ｇ）：HiFi-GANモデルの出力と教師データ（正解データ）との損失（Ｌ１ノルムの平均）（損失関数）
声質変換処理システム１０００では、上記数式の損失（トータル損失）Ｌにより学習処理を行う。つまり、声質変換処理システム１０００では、下記（１）～（５）を繰り返し実行することで、学習処理を実行する。
（１）条件ＶＡＥの再構築損失Ｌｒｅｃｏｎを取得する処理を実行することで、再構築損失Ｌｒｅｃｏｎを取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。
（２）ＫＬダイバージェンスによる損失ＬＫＬを取得する処理を実行することで、ＫＬダイバージェンスによる損失ＬＫＬを取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。
（３）単調アライメント探索処理部ＭＯＳ＿ｔｒｎによるアライメントの最適化処理を行う。
（４）継続長の損失を取得する処理を実行することで、継続長の損失Ｌｄｕｒを取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。
（５）音声波形データ取得の損失Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）を取得する処理を実行することで、損失Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）を取得し、誤差逆伝播法により、学習可能モデルのパラメータ更新を行う。なお、このとき、HiFi-GANモデルの識別器の学習処理も行う。
【0079】
そして、声質変換処理システム１０００では、例えば、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎにおいて、上記（１）～（５）の処理を実行する度にトータル損失Ｌを評価し、当該トータル損失Ｌが所定の値よりも小さくなった場合、あるいは、学習処理（上記（１）～（５）の処理）を繰り返してもトータル損失Ｌの変動幅が所定の値よりも小さくならなくなった場合、学習処理を終了させる。そして、学習処理が終了したときのパラメータを最適パラメータとして、声質変換処理システム１０００の各機能部の学習済みモデルを取得する。
【0080】
なお、声質変換処理システム１０００における学習処理は、上記に限定されることなく、例えば、トータル損失Ｌをマルチタスク損失とみなし、トータル損失Ｌを構成する各項の重み付けに応じた誤差を、各項に対応するモデルに逆伝播（誤差逆伝播法により逆伝播）させることで学習処理を行うようにしてもよい。例えば、トータル損失Ｌは、Ｌｒｅｃｏｎ、ＬＫＬ、Ｌｄｕｒ、Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）の５つの損失の単純加算なので、各項に対応するモデルに対して、０．２×Ｌ（＝Ｌ／５）の損失を誤差逆伝播法により逆伝播させて、学習処理を行うようにすればよい。なお、トータル損失ＬをＬｒｅｃｏｎ、ＬＫＬ、Ｌｄｕｒ、Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）の５つの損失の重み付け加算で取得される値としてもよく、この場合、重み付け値に応じた損失を、各項に対応するモデルにて誤差逆伝播法により逆伝播させ、学習処理を行うようにしてもよい。
【0081】
（１．２．２：予測処理）
次に、声質変換処理システム１０００で実行される予測処理について、説明する。
次に、声質変換処理システム１０００で実行される予測処理について、説明する。
【0082】
図４は、声質変換処理システム１０００の概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図である。
【0083】
図５は、声質変換処理システム１０００の継続長予測処理部３の概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図である。
【0084】
予測処理時において、声質変換処理システム１０００の学習可能モデルを含む機能部は、学習処理により取得された最適パラメータが設定されている学習済みモデルを含むものとする。
【0085】
声質変換処理システム１０００の音響特徴量取得部１に、入力話者の音声波形データ（音声波形信号）を入力する。音響特徴量取得部１は、当該入力話者の音声波形データから、当該入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムのデータを取得する処理を行う。そして、音響特徴量取得部１は、当該処理により取得したデータを、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃとして、エンコード処理部２に出力する。
【0086】
エンコード処理部２のエンコーダ２１は、音響特徴量取得部１から出力されるデータＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、エンコード処理を実行し、中間状態データＤ＿ｈ＿ｓｒｃを取得する。そして、エンコーダ２１は、取得した中間状態データＤ＿ｈ＿ｓｒｃを統計量データ取得処理部２２および継続長予測処理部３に出力する。
【0087】
統計量データ取得処理部２２は、エンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃに対して、統計量データ取得処理を実行し、データＤ＿ｓｔａｔを取得する。そして、統計量データ取得処理部２２は、取得したデータＤ＿ｓｔａｔをアライメント処理部４に出力する。
【0088】
コンディションエンコーダ３１は、エンコード処理部２のエンコーダ２１から出力される中間状態データＤ＿ｈ＿ｓｒｃを入力し、当該中間状態データＤ＿ｈ＿ｓｒｃに対して、エンコード処理を実行し、データＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）を取得する。そして、コンディションエンコーダ３１は、取得したデータＣＥｎｃ（Ｄ＿ｈ＿ｓｒｃ）をフロー型可逆エンコーダ３７に出力する。
【0089】
フロー型可逆エンコーダ３７は、コンディションエンコーダ３１から出力されるデータＣｅｎｄ（Ｄ＿ｈ＿ｓｒｃ）と、ガウス性ホワイトノイズｗ＿ｎｏｉｓｅ（ｗ＿ｎｏｉｓｅ～Ｎ（０，Ｉ））とを入力する。フロー型可逆エンコーダ３７は、エンコード処理に相当する関数ｇθの逆関数（逆変換に相当する関数）ｇθ
－１に相当する処理（デコード処理）を実行し、予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを取得する。そして、フロー型可逆エンコーダ３７は、上記により取得した予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを整数化処理部３８に出力する。
【0090】
整数化処理部３８は、フロー型可逆エンコーダ３７から出力される予測データ［ｄ－ｕ，ｖ］ｐｒｅｄを入力し、当該データに対して整数化処理（例えば、天井関数ｃｅｉｌ（）による処理）を行い、整数化処理後のデータｃｅｉｌ（［ｄ－ｕ，ｖ］ｐｒｅｄ）を、データｄ＿ｐｒｅｄとして、アライメント処理部４に出力する。
【0091】
アライメント処理部４は、エンコード処理部２の統計量データ取得処理部２２から出力されるデータＤ＿ｓｔａｔ（｛μθ、σθ｝に相当）と、継続長予測処理部３から出力される継続長データｄ＿ｐｒｅｄとを入力し、データＤ＿ｓｔａｔおよび継続長データｄ＿ｐｒｅｄから、継続長を考慮した中間特徴量データである継続長考慮中間特徴量データ（ｆθ（ｚ）に相当）を取得する処理を実行する。なお、継続長データ（予測時のデータｄｐｒｅｄに相当）と、アライメントＡの入力データ（統計量データ取得処理部２２により取得される統計量データＤ＿ｓｔａｔ（｛μθ、σθ｝に相当））とが分かれば、ｆθ（ｚ）～Ｎ（μθ、σθ）なので、アライメントＡの出力データに相当するデータ（ｆθ（ｚ）に相当）を取得することができる。
【0092】
そして、アライメント処理部４は、上記処理により取得される継続長考慮中間特徴量データ（ｆθ（ｚ）に相当）を、データＤ＿ｆｚとして、デコード処理部５に出力する。
【0093】
デコード処理部５は、アライメント処理部４から出力されるデータＤ＿ｆｚを入力し、当該データＤ＿ｆｚ（ｆθ（ｚ）に相当）に対してデコード処理（逆関数ｆΘ
－１に相当する処理）を行い、デコード処理後のデータ（潜在変数データｚ）を含むデータを、データＤ＿ｚとして、音声波形データ取得処理部６に出力する。
【0094】
音声波形データ取得処理部６は、デコード処理部５から出力されるデータＤ＿ｚを入力し、データＤ＿ｚ（潜在変数データｚに相当）に対して、音声波形データ取得処理（HiFi-GANモデルの場合、HiFi-GANモデルの生成器Ｇによる処理）を実行し、音声波形データ（声質変換された音声波形データ）を取得する。そして、音声波形データ取得処理部６は、取得したデータをＤｏｕｔ（声質変換された音声波形データ）として出力する。
【0095】
上記のように予測処理を行うことで、声質変換処理システム１０００では、入力話者音声波形データＤｉｎから、声質変換された音声波形データＤｏｕｔを取得することができる。
【0096】
≪まとめ≫
以上のように、声質変換処理システム１０００では、学習処理時において、（１）入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈ＿ｓｒｃの統計量データ（時間の平均、標準偏差）と、（２）出力話者音声（声質変換した音声波形の正解データ）の音響特徴量から取得される潜在変数ｚの可逆変換データｆθ（ｚ）との間のアライメントを、単調かつ単射となるように最適化するため、適切な入力音声と出力音声との間のアライメントを取得できる。そして、声質変換処理システム１０００では、上記のようにして取得したアライメント（最適アライメント）により取得した継続長データｄと、入力話者音声の音響特徴量から取得される中間特徴量データとを用いて、継続長予測処理部３の学習可能モデルの学習を行うため、高精度な継続長予測が可能となる学習済みモデル（継続長予測処理を行う学習可能モデル）を取得することができる。特に、声質変換処理システム１０００では、高解像度のデータである入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈ＿ｓｒｃの統計量データを用いて、最適アライメントを取得するため、最適アライメントの精度が高く、取得される継続長データｄの精度も高く、その結果、高精度な継続長予測、高精度なアライメント処理が可能となる。
以上のように、声質変換処理システム１０００では、学習処理時において、（１）入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈ＿ｓｒｃの統計量データ（時間の平均、標準偏差）と、（２）出力話者音声（声質変換した音声波形の正解データ）の音響特徴量から取得される潜在変数ｚの可逆変換データｆθ（ｚ）との間のアライメントを、単調かつ単射となるように最適化するため、適切な入力音声と出力音声との間のアライメントを取得できる。そして、声質変換処理システム１０００では、上記のようにして取得したアライメント（最適アライメント）により取得した継続長データｄと、入力話者音声の音響特徴量から取得される中間特徴量データとを用いて、継続長予測処理部３の学習可能モデルの学習を行うため、高精度な継続長予測が可能となる学習済みモデル（継続長予測処理を行う学習可能モデル）を取得することができる。特に、声質変換処理システム１０００では、高解像度のデータである入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈ＿ｓｒｃの統計量データを用いて、最適アライメントを取得するため、最適アライメントの精度が高く、取得される継続長データｄの精度も高く、その結果、高精度な継続長予測、高精度なアライメント処理が可能となる。
【0097】
さらに、声質変換処理システム１０００では、音声波形データ取得処理部６がＣＰＵのみで予測処理が可能となる学習可能モデル（例えば、HiFi-GANモデル）を含み、当該学習可能モデルの学習処理を、出力話者音声（声質変換した音声波形の正解データ）の音響特徴量から取得される潜在変数ｚを用いて行い、かつ、入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される潜在変数ｚ（エンコード処理部２、単調アライメント探索処理部ＭＯＳ＿ｔｒｎで取得された最適アライメントによる処理、デコード処理部５による処理（フロー型生成モデルの逆変換）により取得される潜在変数ｚ）を用いて行う。このため、声質変換処理システム１０００では、システム全体として（１つのシステム）として、学習処理を行い、声質変換処理システム１０００の各機能部に含まれる学習可能モデルを最適化することができる。つまり、声質変換処理システム１０００では、End-to-endモデル（例えば、ニューラルネットワークモデル）として、学習処理を行うことができる。
【0098】
そして、声質変換処理システム１０００では、声質変換処理システム１０００の各機能部に含まれる学習可能モデルに上記学習処理により取得された最適化パラメータを設定することで学習済みモデルを構築でき、この状態で、予測処理を行うことで、入力話者音声波形から、高精度、かつ、高品質に声質変換された音声波形（出力音声波形）を取得することができる。
【0099】
すなわち、声質変換処理システム１０００では、入力音声と出力音声との間のアライメントを安定して推定でき、かつ、ＧＰＵを用いることなく、ＣＰＵのみで、高精度、高品質な声質変換処理を実行することができる。
【0100】
［第２実施形態］
次に、第２実施形態について、図面を参照しながら、以下説明する。なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
次に、第２実施形態について、図面を参照しながら、以下説明する。なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
【0101】
＜２．１：声質変換処理システムの構成＞
図６は、第２実施形態に係る声質変換処理システム２０００の概略構成図である。
図６は、第２実施形態に係る声質変換処理システム２０００の概略構成図である。
【0102】
図７は、第２実施形態に係る声質変換処理システム２０００の単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡの概略構成図である。
【0103】
図８は、第２実施形態に係る声質変換処理システム２０００の分散適応処理部４Ａの概略構成図である。
【0104】
声質変換処理システム２０００は、入力話者の音声波形データ（音声波形信号）を入力し、声質変換された音声波形データ（音声波形信号）を出力するシステムである（例えば、男性の入力話者の音声波形データ（音声波形信号）を、女性の音声波形データ（音声波形信号）に変換（声質変換）するシステムである）。声質変換処理システム２０００は、図６に示すように、音響特徴量取得部１と、データ加工処理部１Ａと、エンコード処理部２Ａと、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡと、分散適応処理部４Ａと、デコード処理部５Ａと、音声波形データ取得処理部６Ａと、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎＡとを備える。
【0105】
音響特徴量取得部１は、第１実施形態の音響特徴量取得部１と同様の構成、機能を有している。なお、音響特徴量取得部１は、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃを、データ加工処理部１Ａに出力する。
【0106】
データ加工処理部１Ａは、音響特徴量取得部１から出力されるデータＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃを入力し、当該データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、データ加工処理（Ｒｅｄｕｃｔｉｏｎ Ｆａｃｔｏｒ処理（ＲＦ処理））を行う。例えば、データ加工処理部１Ａは、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃのデータ量を変化させずに、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃのフレーム数を少なくしつつ、次元数を多くすることで、データ加工処理（Ｒｅｄｕｃｔｉｏｎ Ｆａｃｔｏｒ処理（ＲＦ処理））を行う。これにより、データ数を変化させずに、フレーム数を削減したデータ（音響特徴量データ）を取得することができる。そして、データ加工処理部１Ａは、上記処理により取得したデータを、データＤ’＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃとして、エンコード処理部２Ａに出力する。
【0107】
エンコード処理部２Ａは、学習可能なモデル（例えば、ニューラルネットワークモデル）を含む機能部である。エンコード処理部２は、例えば、Transformer型エンコーダにより実現される。
【0108】
エンコード処理部２Ａは、データ加工処理部１Ａから出力されるデータＤ’＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃ（例えば、入力話者音声のメルスペクトログラム）を入力する。
（１）エンコード処理部２Ａは、学習処理時において、データＤ’＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、エンコード処理を実行することで中間状態データＤｔｒｎ＿ｈ（中間状態データｈに相当）を取得する。そして、エンコード処理部２Ａは、取得した中間状態データＤｔｒｎ＿ｈを単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡに出力する。
（２）エンコード処理部２Ａは、予測処理時において、データＤ’＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、エンコード処理を実行することで中間状態データＤｉ＿ｈ（中間状態データｈに相当）を取得する。そして、エンコード処理部２Ａは、取得した中間状態データＤｉ＿ｈを分散適応処理部４Ａに出力する。
（１）エンコード処理部２Ａは、学習処理時において、データＤ’＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、エンコード処理を実行することで中間状態データＤｔｒｎ＿ｈ（中間状態データｈに相当）を取得する。そして、エンコード処理部２Ａは、取得した中間状態データＤｔｒｎ＿ｈを単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡに出力する。
（２）エンコード処理部２Ａは、予測処理時において、データＤ’＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、エンコード処理を実行することで中間状態データＤｉ＿ｈ（中間状態データｈに相当）を取得する。そして、エンコード処理部２Ａは、取得した中間状態データＤｉ＿ｈを分散適応処理部４Ａに出力する。
【0109】
単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡは、学習処理時において、エンコード処理部２Ａから出力されるデータＤｔｒｎ＿ｈ（中間状態データｈに相当）と、正解データ（教師データ）である声質変換した音声波形の音響特徴量（例えば、メルスペクトログラム、線形スペクトログラム）のデータＤ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃｔｒｏｇｒｍ＿ｄｓｔとを入力し、両データから単調アライメント（これを単調アライメントＡという）を取得し、取得した単調アライメントＡに基づいて、継続長データｄを取得する。そして、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡは、取得した継続長データｄを分散適応処理部４Ａに出力する。
【0110】
例えば、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡは、図７に示すように、入力用畳み込み処理部ＭＡ１と、出力用畳み込み処理部ＭＡ２と、単調アライメント取得処理部ＭＡ３と、継続長取得部ＭＡ４と、順方向損失取得部ＭＡ５と、バイナリー損失取得部ＭＡ６と、加算部ＭＡ７とを備える。
【0111】
入力用畳み込み処理部ＭＡ１は、エンコード処理部２Ａから出力されるデータＤｔｒｎ＿ｈ（中間状態データｈに相当）を入力し、当該データにエンコード処理（例えば、ｎ１段（ｎ１：自然数）の１次元畳み込み処理により実現される処理）を実行し、エンコード処理後のデータｈｅｎｃを取得する。そして、入力用畳み込み処理部ＭＡ１は、取得したデータｈｅｎｃを単調アライメント取得処理部ＭＡ３に出力する。
【0112】
出力用畳み込み処理部ＭＡ２は、正解データ（教師データ）である声質変換した音声波形の音響特徴量（例えば、メルスペクトログラム、線形スペクトログラム）のデータＤ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃｔｒｏｇｒｍ＿ｄｓｔ（このデータをデータｍとする）を入力し、当該データにエンコード処理（例えば、ｎ２段（ｎ２：自然数）の１次元畳み込み処理により実現される処理）を実行し、エンコード処理後のデータｍｅｎｃを取得する。そして、出力用畳み込み処理部ＭＡ２は、取得したデータｍｅｎｃを単調アライメント取得処理部ＭＡ３に出力する。
【0113】
単調アライメント取得処理部ＭＡ３は、入力用畳み込み処理部ＭＡ１から出力されるデータｈｅｎｃと、出力用畳み込み処理部ＭＡ２から出力されるデータｍｅｎｃと、を入力し、両データを用いて、単調アライメント取得処理を実行することで、実数アライメントＡｓｏｆｔと、バイナリーアライメントＡｈａｒｄとを取得する。そして、単調アライメント取得処理部ＭＡ３は、取得した実数アライメントＡｓｏｆｔを順方向損失取得部ＭＡ５およびバイナリー損失取得部ＭＡ６に出力するとともに、取得したバイナリーアライメントＡｈａｒｄをバイナリー損失取得部ＭＡ６および継続長取得部ＭＡ４に出力するとともに、
継続長取得部ＭＡ４は、単調アライメント取得処理部ＭＡ３から出力されるバイナリーアライメントＡｈａｒｄを入力し、バイナリーアライメントＡｈａｒｄを用いて、継続長取得処理を行うことで、継続長データｄを取得する。そして、継続長取得部ＭＡ４は、取得した継続長データｄを分散適応処理部４Ａに出力する。
継続長取得部ＭＡ４は、単調アライメント取得処理部ＭＡ３から出力されるバイナリーアライメントＡｈａｒｄを入力し、バイナリーアライメントＡｈａｒｄを用いて、継続長取得処理を行うことで、継続長データｄを取得する。そして、継続長取得部ＭＡ４は、取得した継続長データｄを分散適応処理部４Ａに出力する。
【0114】
順方向損失取得部ＭＡ５は、単調アライメント取得処理部ＭＡ３から出力される実数アライメントＡｓｏｆｔを入力し、実数アライメントＡｓｏｆｔから順方向損失Ｌｆｏｒｗａｒｄ＿ｓｕｍを取得する。そして、順方向損失取得部ＭＡ５は、取得した順方向損失Ｌｆｏｒｗａｒｄ＿ｓｕｍを加算部ＭＡ７に出力する。
【0115】
バイナリー損失取得部ＭＡ６は、単調アライメント取得処理部ＭＡ３から出力される実数アライメントＡｓｏｆｔおよびバイナリーアライメントＡｈａｒｄを入力し、両データからバイナリー損失Ｌｂｉｎを取得する。そして、バイナリー損失取得部ＭＡ６は、取得したバイナリー損失Ｌｂｉｎを加算部ＭＡ７に出力する。
【0116】
加算部ＭＡ７は、順方向損失取得部ＭＡ５から出力される順方向損失Ｌｆｏｒｗａｒｄ＿ｓｕｍと、バイナリー損失取得部ＭＡ６から出力されるバイナリー損失Ｌｂｉｎを入力し、両者を加算する処理を行うことでアライメント用損失Ｌ（＝Ｌｆｏｒｗａｒｄ＿ｓｕｍ＋Ｌｂｉｎ）を取得する。
【0117】
分散適応処理部４Ａは、正解データ（教師データ）である声質変換した音声波形のエネルギーＤ＿ｃｏｒｒｅｃｔ＿Ｅｎｇｙと、正解データ（教師データ）である声質変換した音声波形の基本周波数の対数Ｄ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０と、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡから出力される継続長データｄと、エンコード処理部２Ａから出力される中間状態データＤｉ＿ｈとを入力する。そして、分散適応処理部４Ａは、上記データから、中間状態データＤｏ＿ｈｓ１を取得する。
【0118】
分散適応処理部４Ａは、図８に示すように、継続長予測部４１Ａと、継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎと、継続長規制処理部４２Ａと、エネルギー予測部４３Ａと、エネルギー用損失取得部４２Ａ＿Ｌ＿ｔｒｎと、基本周波数予測部４４Ａと、基本周波数用損失取得部４３Ａ＿Ｌ＿ｔｒｎと、エネルギー用畳み込み処理部４５Ａと、基本周波数用畳み込み処理部４６Ａと、加算部４７Ａとを備える。
【0119】
継続長予測部４１Ａは、学習可能モデルを含む機能部であり、エンコード処理部２Ａから出力される中間状態データＤｉ＿ｈを入力する。
（１）継続長予測部４１Ａは、学習処理時において、中間状態データＤｉ＿ｈから継続長を取得（予測）する処理を実行し、継続長データｄ’を取得する。そして、継続長予測部４１Ａは、取得した継続長データｄ’を継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎに出力する。
（２）継続長予測部４１Ａは、予測処理時において、中間状態データＤｉ＿ｈから継続長を取得（予測）する処理を実行し、継続長データｄ’を取得する。そして、継続長予測部４１Ａは、取得した継続長データｄ’を継続長規制処理部４２Ａに出力する。
（１）継続長予測部４１Ａは、学習処理時において、中間状態データＤｉ＿ｈから継続長を取得（予測）する処理を実行し、継続長データｄ’を取得する。そして、継続長予測部４１Ａは、取得した継続長データｄ’を継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎに出力する。
（２）継続長予測部４１Ａは、予測処理時において、中間状態データＤｉ＿ｈから継続長を取得（予測）する処理を実行し、継続長データｄ’を取得する。そして、継続長予測部４１Ａは、取得した継続長データｄ’を継続長規制処理部４２Ａに出力する。
【0120】
継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎは、学習処理時において、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡから出力される継続長データｄと、継続長予測部４１Ａから出力される継続長データｄ’とを入力する。そして、継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎは、両データから継続長用損失Ｌｄｕｒを取得する。
【0121】
継続長規制処理部４２Ａは、学習可能モデルを含む機能部である。
（１）継続長規制処理部４２Ａは、学習処理時において、エンコード処理部２Ａから出力される中間状態データＤｉ＿ｈと、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡから出力される継続長データｄとを入力する。継続長規制処理部４２Ａは、中間状態データＤｉ＿ｈと、継続長データｄとに対して、継続長規制処理を実行し、継続長を考慮した中間状態データＤ４１を取得する。そして、継続長規制処理部４２Ａは、取得したデータＤ４１をエネルギー予測部４３Ａ、基本周波数予測部４４Ａ、および、加算部４７Ａに出力する。
（２）継続長規制処理部４２Ａは、予測処理時において、エンコード処理部２Ａから出力される中間状態データＤｉ＿ｈと、継続長予測部４１Ａから出力される継続長データｄ’とを入力する。継続長規制処理部４２Ａは、中間状態データＤｉ＿ｈと、継続長データｄ’とに対して、継続長規制処理を実行し、継続長を考慮した中間状態データＤ４１を取得する。そして、継続長規制処理部４２Ａは、取得したデータＤ４１をエネルギー予測部４３Ａ、基本周波数予測部４４Ａ、および、加算部４７Ａに出力する。
（１）継続長規制処理部４２Ａは、学習処理時において、エンコード処理部２Ａから出力される中間状態データＤｉ＿ｈと、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡから出力される継続長データｄとを入力する。継続長規制処理部４２Ａは、中間状態データＤｉ＿ｈと、継続長データｄとに対して、継続長規制処理を実行し、継続長を考慮した中間状態データＤ４１を取得する。そして、継続長規制処理部４２Ａは、取得したデータＤ４１をエネルギー予測部４３Ａ、基本周波数予測部４４Ａ、および、加算部４７Ａに出力する。
（２）継続長規制処理部４２Ａは、予測処理時において、エンコード処理部２Ａから出力される中間状態データＤｉ＿ｈと、継続長予測部４１Ａから出力される継続長データｄ’とを入力する。継続長規制処理部４２Ａは、中間状態データＤｉ＿ｈと、継続長データｄ’とに対して、継続長規制処理を実行し、継続長を考慮した中間状態データＤ４１を取得する。そして、継続長規制処理部４２Ａは、取得したデータＤ４１をエネルギー予測部４３Ａ、基本周波数予測部４４Ａ、および、加算部４７Ａに出力する。
【0122】
エネルギー予測部４３Ａは、学習可能モデルを含む機能部であり、継続長規制処理部４２Ａから出力されるデータＤ４１を入力する。
（１）エネルギー予測部４３Ａは、学習処理時において、データＤ４１からエネルギーのデータ（声質変換した音声波形のエネルギーに相当するデータ）を取得（予測）する処理を実行し、エネルギーデータＤ＿ｅを取得する。そして、エネルギー予測部４３Ａは、取得したエネルギーデータＤ＿ｅをエネルギー用損失取得部４２Ａ＿Ｌ＿ｔｒｎに出力する。
（２）エネルギー予測部４３Ａは、予測処理時において、データＤ４１からエネルギーのデータを取得（予測）する処理を実行し、エネルギーデータＤ＿ｅを取得する。そして、エネルギー予測部４３Ａは、取得したエネルギーデータＤ＿ｅをエネルギー用畳み込み処理部４５Ａに出力する。
（１）エネルギー予測部４３Ａは、学習処理時において、データＤ４１からエネルギーのデータ（声質変換した音声波形のエネルギーに相当するデータ）を取得（予測）する処理を実行し、エネルギーデータＤ＿ｅを取得する。そして、エネルギー予測部４３Ａは、取得したエネルギーデータＤ＿ｅをエネルギー用損失取得部４２Ａ＿Ｌ＿ｔｒｎに出力する。
（２）エネルギー予測部４３Ａは、予測処理時において、データＤ４１からエネルギーのデータを取得（予測）する処理を実行し、エネルギーデータＤ＿ｅを取得する。そして、エネルギー予測部４３Ａは、取得したエネルギーデータＤ＿ｅをエネルギー用畳み込み処理部４５Ａに出力する。
【0123】
エネルギー用損失取得部４２Ａ＿Ｌ＿ｔｒｎは、学習処理時において、正解データである声質変換した音声波形のエネルギーのデータＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙと、エネルギー予測部４３Ａから出力されるエネルギーデータＤ＿ｅとを入力する。そして、エネルギー用損失取得部４２Ａ＿Ｌ＿ｔｒｎは、両データからエネルギー用損失Ｌｅｎｇｙを取得する。
【0124】
エネルギー用畳み込み処理部４５Ａは、学習可能モデルを含む機能部である。
（１）エネルギー用畳み込み処理部４５Ａは、学習処理時において、正解データである声質変換した音声波形のエネルギーのデータＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙを入力し、当該データＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙに対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４２を取得する。そして、エネルギー用畳み込み処理部４５Ａは、取得したデータＤ４２を加算部４７Ａに出力する。
（２）エネルギー用畳み込み処理部４５Ａは、予測処理時において、エネルギー予測部４３Ａから出力されるデータＤ＿ｅを入力し、当該データＤ＿ｅに対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４２を取得する。そして、エネルギー用畳み込み処理部４５Ａは、取得したデータＤ４２を加算部４７Ａに出力する。
（１）エネルギー用畳み込み処理部４５Ａは、学習処理時において、正解データである声質変換した音声波形のエネルギーのデータＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙを入力し、当該データＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙに対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４２を取得する。そして、エネルギー用畳み込み処理部４５Ａは、取得したデータＤ４２を加算部４７Ａに出力する。
（２）エネルギー用畳み込み処理部４５Ａは、予測処理時において、エネルギー予測部４３Ａから出力されるデータＤ＿ｅを入力し、当該データＤ＿ｅに対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４２を取得する。そして、エネルギー用畳み込み処理部４５Ａは、取得したデータＤ４２を加算部４７Ａに出力する。
【0125】
基本周波数予測部４４Ａは、学習可能モデルを含む機能部であり、継続長規制処理部４２Ａから出力されるデータＤ４１を入力する。
（１）基本周波数予測部４４Ａは、学習処理時において、データＤ４１から基本周波数の対数のデータ（声質変換した音声波形の基本周波数の対数のデータ）を取得（予測）する処理を実行し、基本周波数対数データＤ＿ｌｏｇｆ０を取得する。そして、基本周波数予測部４４Ａは、取得した基本周波数対数データＤ＿ｌｏｇｆ０を基本周波数用損失取得部４３Ａ＿Ｌ＿ｔｒｎに出力する。
（２）基本周波数予測部４４Ａは、予測処理時において、データＤ４１から基本周波数の対数のデータを取得（予測）する処理を実行し、基本周波数対数データＤ＿ｌｏｇｆ０を取得する。そして、基本周波数予測部４４Ａは、取得した基本周波数対数データＤ＿ｌｏｇｆ０を基本周波数用畳み込み処理部４６Ａに出力する。
（１）基本周波数予測部４４Ａは、学習処理時において、データＤ４１から基本周波数の対数のデータ（声質変換した音声波形の基本周波数の対数のデータ）を取得（予測）する処理を実行し、基本周波数対数データＤ＿ｌｏｇｆ０を取得する。そして、基本周波数予測部４４Ａは、取得した基本周波数対数データＤ＿ｌｏｇｆ０を基本周波数用損失取得部４３Ａ＿Ｌ＿ｔｒｎに出力する。
（２）基本周波数予測部４４Ａは、予測処理時において、データＤ４１から基本周波数の対数のデータを取得（予測）する処理を実行し、基本周波数対数データＤ＿ｌｏｇｆ０を取得する。そして、基本周波数予測部４４Ａは、取得した基本周波数対数データＤ＿ｌｏｇｆ０を基本周波数用畳み込み処理部４６Ａに出力する。
【0126】
基本周波数用損失取得部４３Ａ＿Ｌ＿ｔｒｎは、学習処理時において、正解データである声質変換した音声波形の基本周波数の対数のデータＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０と、基本周波数予測部４４Ａから出力されるデータＤ＿ｌｏｇｆ０とを入力する。そして、基本周波数用損失取得部４３Ａ＿Ｌ＿ｔｒｎは、両データから基本周波数用損失Ｌｆ０を取得する。
【0127】
基本周波数用畳み込み処理部４６Ａは、学習可能モデルを含む機能部である。
（１）基本周波数用畳み込み処理部４６Ａは、学習処理時において、正解データである声質変換した音声波形の基本周波数の対数のデータＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０を入力し、当該データＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０に対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４３を取得する。そして、基本周波数用畳み込み処理部４６Ａは、取得したデータＤ４３を加算部４７Ａに出力する。
（２）基本周波数用畳み込み処理部４６Ａは、予測処理時において、基本周波数予測部４４Ａから出力されるデータＤ＿ｌｏｇｆ０を入力し、当該データＤ＿ｌｏｇｆ０に対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４３を取得する。そして、基本周波数用畳み込み処理部４６Ａは、取得したデータＤ４３を加算部４７Ａに出力する。
（１）基本周波数用畳み込み処理部４６Ａは、学習処理時において、正解データである声質変換した音声波形の基本周波数の対数のデータＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０を入力し、当該データＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０に対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４３を取得する。そして、基本周波数用畳み込み処理部４６Ａは、取得したデータＤ４３を加算部４７Ａに出力する。
（２）基本周波数用畳み込み処理部４６Ａは、予測処理時において、基本周波数予測部４４Ａから出力されるデータＤ＿ｌｏｇｆ０を入力し、当該データＤ＿ｌｏｇｆ０に対して畳み込み処理（例えば、１×１カーネルによる畳み込み処理）を実行することで、データＤ４３を取得する。そして、基本周波数用畳み込み処理部４６Ａは、取得したデータＤ４３を加算部４７Ａに出力する。
【0128】
加算部４７Ａは、継続長規制処理部４２Ａから出力されるデータＤ４１と、エネルギー用畳み込み処理部４５Ａから出力されるデータＤ４２と、基本周波数用畳み込み処理部４６Ａから出力されるデータＤ４３とを入力し、データＤ４１、データＤ４２、および、データＤ４３を加算する処理を行う。そして、加算部４７Ａは、当該加算処理により取得されたデータを、データＤｏ＿ｈｓ１（中間状態データｈｓ１に相当）として、デコード処理部５Ａに出力する。
【0129】
デコード処理部５Ａは、学習可能なモデル（例えば、ニューラルネットワークモデル）を含み、デコード処理を実行する機能部である。デコード処理部５Ａは、例えば、Transformer型デコーダにより実現される。
【0130】
デコード処理部５Ａは、分散適応処理部４Ａから出力されるデータＤｏ＿ｈｓ１に対してデコード処理（Transformer型デコーダによりデコード処理）を実行することで、データＤ＿ｈｓ２を取得する。そして、デコード処理部５Ａは、取得したデータＤ＿ｈｓ２を音声波形データ取得処理部６Ａに出力する。
【0131】
音声波形データ取得処理部６Ａは、第１実施形態の音声波形データ取得処理部６と同様の構成、機能を有している。
【0132】
損失評価部Ｌ＿ｇｅｔ＿ｔｒｎＡは、第１実施形態の損失評価部Ｌ＿ｇｅｔ＿ｔｒｎと同様の構成、機能を有している。
【0133】
＜２．２：声質変換処理システムの動作＞
以上のように構成された声質変換処理システム２０００の動作について、以下説明する。 第二実施形態は、先行論文（D. Lim, S. Jung, and E. Kim, "JETS: Jointly training Fast-Speech2 and HiFi-GAN for end to end text to speech"）のＴＴＳシステムを音質変換処理にタスクを変更適用したものであり、処理の詳細は省略する。なお、数式における記号は、当該論文のものに合わせてある。
以上のように構成された声質変換処理システム２０００の動作について、以下説明する。 第二実施形態は、先行論文（D. Lim, S. Jung, and E. Kim, "JETS: Jointly training Fast-Speech2 and HiFi-GAN for end to end text to speech"）のＴＴＳシステムを音質変換処理にタスクを変更適用したものであり、処理の詳細は省略する。なお、数式における記号は、当該論文のものに合わせてある。
【0134】
以下では、声質変換処理システム２０００の動作について、（１）学習処理、および、（２）予測処理に分けて、説明する。
【0135】
（２．２．１：学習処理）
まず、声質変換処理システム２０００で実行される学習処理について、説明する。
まず、声質変換処理システム２０００で実行される学習処理について、説明する。
【0136】
声質変換処理システム２０００の音響特徴量取得部１に、入力話者の音声波形データ（音声波形信号）を入力する。音響特徴量取得部１は、当該入力話者の音声波形データから、当該入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムのデータを取得する処理を行う。そして、音響特徴量取得部１は、当該処理により取得したデータを、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃとして、データ加工処理部１Ａに出力する。データ加工処理部１Ａは、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃに対して、データ加工処理（例えば、Ｒｅｄｕｃｔｉｏｎ Ｆａｃｔｏｒ処理）を行い、当該処理後のデータＤ’＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃをエンコード処理部２Ａに出力する。
【0137】
エンコード処理部２Ａは、本実施形態では、Transformer型エンコーダにより実現されるものとする。
【0138】
例えば、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡは、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡは、下記文献に開示されている手法により、入力話者音声の音響特徴量から取得される中間状態データ（データＤｔｒｎ＿ｈｓ１に相当）と、正解データ（教師データ）である声質変換した音声波形の音響特徴量から取得される中間状態データ（データＤ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃｔｒｏｇｒｍ＿ｄｓｔ）とのアライメントを取得する。
（文献Ｃ）：D. Lim, S. Jung, and E. Kim, "JETS: Jointly training Fast-Speech2 and HiFi-GAN for end to end text to speech," in Proc. Interspeech, Sept. 2022, pp. 21-25.
具体的には、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡは、以下のようにして、単調アライメント探索処理を行う。
（文献Ｃ）：D. Lim, S. Jung, and E. Kim, "JETS: Jointly training Fast-Speech2 and HiFi-GAN for end to end text to speech," in Proc. Interspeech, Sept. 2022, pp. 21-25.
具体的には、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡは、以下のようにして、単調アライメント探索処理を行う。
【0139】
単調アライメント取得処理部ＭＡ３は、データｈｅｎｃのｉ番目のデータをｈｉ
ｅｎｃとし、データｍｅｎｃのｊ番目のデータをｍｊ
ｅｎｃとし、データｈｅｎｃの位数（要素数）を｜ｈｅｎｃ｜とし、データｍｅｎｃの位数（要素数）を｜ｍｅｎｃ｜とすると、下記数式に相当する処理を行い、データＤｉ，ｊを取得する。
Ｄｉ，ｊ：ｈｉ
ｅｎｃとｍｊ
ｅｎｃとの間のＬ２ノルム
ｉ：データｈｅｎｃの要素を特定するインデックス（ｉ：整数、１≦ｉ≦｜ｈｅｎｃ｜）
ｊ：データｍｅｎｃの要素を特定するインデックス（ｊ：整数、１≦ｉ≦｜ｍｅｎｃ｜）
そして、単調アライメント取得処理部ＭＡ３は、取得したＤｉ，ｊを要素とするデータ（１次元配列データ）に対して、下記数式に相当する処理を行うことで、実数アライメントＡｓｏｆｔを取得する。
ｓｏｆｔｍａｘ（）：ソフトマックス関数
なお、ソフトマックス関数のｄｉｍ＝０は、データ－Ｄの各行のデータに対して、ソフトマックス関数を施す（実行する）ことを意味している。
【数2】
ｉ：データｈｅｎｃの要素を特定するインデックス（ｉ：整数、１≦ｉ≦｜ｈｅｎｃ｜）
ｊ：データｍｅｎｃの要素を特定するインデックス（ｊ：整数、１≦ｉ≦｜ｍｅｎｃ｜）
そして、単調アライメント取得処理部ＭＡ３は、取得したＤｉ，ｊを要素とするデータ（１次元配列データ）に対して、下記数式に相当する処理を行うことで、実数アライメントＡｓｏｆｔを取得する。
【数3】
なお、ソフトマックス関数のｄｉｍ＝０は、データ－Ｄの各行のデータに対して、ソフトマックス関数を施す（実行する）ことを意味している。
【0140】
そして、上記実数アライメントＡｓｏｆｔから、全てのとり得る単調かつ単射となるアライメントの尤度を取得することができる。つまり、データｍが与えられたときの全てのとり得る単調かつ単射となるアライメントＳ（ｈ）の確率（尤度）は、下記数式により取得できる。
ｓ：単調かつ単射となるアライメントＳ（ｈ）に含まれるアライメント
Ｔ：データｍｅｎｃの要素の数
なお、アライメントｓは、入力話者の音声波形の音響特徴量から取得される中間状態データのエンコード処理結果データｈと、正解データである声質変換した音声波形の音響特徴量から取得される中間状態データのエンコード処理結果データｍとの間の特定のアライメントであり、例えば、ｓ１＝ｈ１、ｓ２＝ｈ２、・・・、ｓＴ＝ｈＮとして特定されるアライメントである。なお、Ｎは、データｈの要素数である。
【数4】
Ｔ：データｍｅｎｃの要素の数
なお、アライメントｓは、入力話者の音声波形の音響特徴量から取得される中間状態データのエンコード処理結果データｈと、正解データである声質変換した音声波形の音響特徴量から取得される中間状態データのエンコード処理結果データｍとの間の特定のアライメントであり、例えば、ｓ１＝ｈ１、ｓ２＝ｈ２、・・・、ｓＴ＝ｈＮとして特定されるアライメントである。なお、Ｎは、データｈの要素数である。
【0141】
例えば、アライメントｓが下記行列（縦がデータｈ（データｈｉ）であり、横がデータｍ（データｍｊの行列、Ｔ＝４、Ｎ＝３）の場合）により表される場合、アライメントｓは、ｓ１＝ｈ１、ｓ２＝ｈ２、ｓ３＝ｈ２、ｓ４＝ｈ３として特定される。
そして、順方向損失取得部ＭＡ５は、単調アライメント取得処理部ＭＡ３で取得された実数アライメントから取得される上記（数式１４）で規定される尤度のマイナスをとったデータ（下記数式に相当するデータ）を順方向損失Ｌｆｏｒｗａｒｄ＿ｓｕｍとして取得する。
順方向損失取得部ＭＡ５は、取得した順方向損失Ｌｆｏｒｗａｒｄ＿ｓｕｍを加算部ＭＡ７に出力する。
【数5】
【数6】
【0142】
また、単調アライメント取得処理部ＭＡ３は、実数アライメントＡｓｏｆｔに対して、二値化処理を行い、バイナリーアライメントＡｈａｒｄを取得する（例えば、実数アライメントＡｓｏｆｔの各要素の値の絶対値が所定の値よりも大きい要素の値を「１」とし、それ以外の要素の値を「０」とすることで、バイナリーアライメントＡｈａｒｄを取得する）。
【0143】
そして、単調アライメント取得処理部ＭＡ３は、上記により取得したバイナリーアライメントＡｈａｒｄをバイナリー損失取得部ＭＡ６および継続長取得部ＭＡ４に出力する。
【0144】
バイナリー損失取得部ＭＡ６は、実数アライメントＡｓｏｆｔとバイナリーアライメントＡｈａｒｄとを用いて、下記数式に相当する処理を行い、バイナリー損失Ｌｂｉｎを取得する。
そして、バイナリー損失取得部ＭＡ６は、取得したバイナリー損失Ｌｂｉｎを加算部ＭＡ７に出力する。
【数7】
【0145】
継続長取得部ＭＡ４は、バイナリーアライメントＡｈａｒｄの第ｉ行（ｉ：整数、１≦ｉ≦Ｎ）においてその値が「１」である要素数をカウントし、そのカウント値を継続長データの第ｉ番目のデータｄｉとする。つまり、継続長取得部ＭＡ４は、下記数式に相当する処理を行い、継続長データｄ（＝｛ｄ１，ｄ２，・・・，ｄＮ｝）を取得する。
そして、継続長取得部ＭＡ４は、取得した継続長データｄを分散適応処理部４Ａに出力する。
【数8】
【0146】
また、加算部ＭＡ７は、下記数式に相当する処理（順方向損失Ｌｆｏｒｗａｒｄ＿ｓｕｍとバイナリー損失Ｌｂｉｎとを加算する処理）を行い、アライメント損失Ｌａｌｉｇｎを取得する。
分散適応処理部４Ａの継続長予測部４１Ａは、エンコード処理部２Ａから出力される中間状態データＤｉ＿ｈから継続長を取得（予測）する処理を実行し、継続長データｄ’を取得する。そして、継続長予測部４１Ａは、取得した継続長データｄ’を継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎに出力する。
【数9】
【0147】
継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎは、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡから出力される継続長データｄと、継続長予測部４１Ａから出力される継続長データｄ’とを入力する。そして、継続長用損失取得部４１Ａ＿Ｌ＿ｔｒｎは、
Ｌｄｕｒ＝Ｌ２＿ｎｏｒｍ（ｄ－ｄ’）
Ｌ２＿ｎｏｒｍ（）：Ｌ２ノルムを取得する関数
に相当する処理を行うことで、継続長用損失Ｌｄｕｒを取得する。
Ｌｄｕｒ＝Ｌ２＿ｎｏｒｍ（ｄ－ｄ’）
Ｌ２＿ｎｏｒｍ（）：Ｌ２ノルムを取得する関数
に相当する処理を行うことで、継続長用損失Ｌｄｕｒを取得する。
【0148】
エネルギー用損失取得部４２Ａ＿Ｌ＿ｔｒｎは、正解データである声質変換した音声波形のエネルギーのデータＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙと、エネルギー予測部４３Ａから出力されるエネルギーデータＤ＿ｅとを入力する。そして、エネルギー用損失取得部４２Ａ＿Ｌ＿ｔｒｎは、
Ｌｅｎｇｙ＝Ｌ２＿ｎｏｒｍ（ｅ－ｅ’）
Ｌ２＿ｎｏｒｍ（）：Ｌ２ノルムを取得する関数
ｅ’：データＤ＿ｅに相当するデータ
ｅ：データＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙに相当するデータ
に相当する処理を行うことで、エネルギー用損失Ｌｅｎｇｙを取得する。
Ｌｅｎｇｙ＝Ｌ２＿ｎｏｒｍ（ｅ－ｅ’）
Ｌ２＿ｎｏｒｍ（）：Ｌ２ノルムを取得する関数
ｅ’：データＤ＿ｅに相当するデータ
ｅ：データＤ＿ｃｏｒｒｅｃｔ＿ｅｎｇｙに相当するデータ
に相当する処理を行うことで、エネルギー用損失Ｌｅｎｇｙを取得する。
【0149】
基本周波数用損失取得部４３Ａ＿Ｌ＿ｔｒｎは、正解データである声質変換した音声波形の基本周波数の対数のデータＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０と、基本周波数予測部４４Ａから出力されるデータＤ＿ｌｏｇｆ０とを入力する。そして、基本周波数用損失取得部４３Ａ＿Ｌ＿ｔｒｎは、
Ｌｅｎｇｙ＝Ｌ２＿ｎｏｒｍ（ｆ－ｆ’）
Ｌ２＿ｎｏｒｍ（）：Ｌ２ノルムを取得する関数
ｆ’：データＤ＿ｌｏｇｆ０に相当するデータ
ｆ：データＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０に相当するデータ
に相当する処理を行うことで、基本周波数用損失Ｌｆ０を取得する。
Ｌｅｎｇｙ＝Ｌ２＿ｎｏｒｍ（ｆ－ｆ’）
Ｌ２＿ｎｏｒｍ（）：Ｌ２ノルムを取得する関数
ｆ’：データＤ＿ｌｏｇｆ０に相当するデータ
ｆ：データＤ＿ｃｏｒｒｅｃｔ＿ｌｏｇｆ０に相当するデータ
に相当する処理を行うことで、基本周波数用損失Ｌｆ０を取得する。
【0150】
音声波形データ取得処理部６Ａは、デコード処理部５Ａから出力されるデータＤ＿ｈｓ２を入力し、データＤ＿ｈｓ２に対して、音声波形データ取得処理を実行し、音声波形データを取得する。そして、音声波形データ取得処理部６Ａは、取得したデータをＤｏｕｔとして損失評価部Ｌ＿ｇｅｔ＿ｔｒｎＡに出力する。
【0151】
損失評価部Ｌ＿ｇｅｔ＿ｔｒｎＡは、音声波形データ取得処理部６Ａから出力される音声波形データＤｏｕｔと、声質変換したデータの正解データ（教師データ）の音声波形データＤ＿ｃｏｒｒｅｃｔ＿ｗａｖｅとを入力し、両データから、損失（誤差）を取得する。そして、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎＡにより取得した誤差を用いて、誤差逆伝播法により、声質変換処理システム２０００において、学習処理（学習可能モデルのパラメータ更新処理）が実行される。
【0152】
なお、音声波形データ取得処理部６Ａの学習可能モデルとして、HiFi-GANモデル（文献Ｂに開示されているモデル）を採用する場合、音声波形データ取得処理部６Ａから出力されるデータについての損失関数Ｌｇは、下記数式の通りとなる。
λｆｍ：係数（スケール係数）
λｍｅｌ：係数（スケール係数）
なお、上記数式において、潜在変数ｚは、データＤ＿ｈｓ２（デコード処理部５Ａから出力されるデータＤ＿ｈｓ２）であり、ｙは、音声波形データの正解データ（声質変換した音声波形のデータ）である。また、関数φ（）は、音声波形から音響特徴量（例えば、メルスペクトログラム）を取得する関数である。
【数10】
λｍｅｌ：係数（スケール係数）
なお、上記数式において、潜在変数ｚは、データＤ＿ｈｓ２（デコード処理部５Ａから出力されるデータＤ＿ｈｓ２）であり、ｙは、音声波形データの正解データ（声質変換した音声波形のデータ）である。また、関数φ（）は、音声波形から音響特徴量（例えば、メルスペクトログラム）を取得する関数である。
【0153】
また、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎＡは、分散適応処理部４Ａで取得される継続長用損失Ｌｄｕｒ、エネルギー用損失Ｌｅｎｇｙ、および、基本周波数用損失Ｌｆ０を加算した損失Ｌｖａｒ（下記数式に相当）を取得し、さらに、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡで取得されるアライメント用損失Ｌａｌｉｇｎを取得し、損失Ｌｇ、損失Ｌｖａｒ、および、アライメント用損失Ｌａｌｉｇｎを用いて、下記数式に相当するトータル損失Ｌを取得する。
λｖａｒ：係数（スケール係数）
λａｌｉｇｎ：係数（スケール係数）
声質変換処理システム２０００では、上記数式の損失（トータル損失）Ｌにより学習処理を行う。つまり、トータル損失Ｌをマルチタスク損失とみなし、トータル損失Ｌを構成する各項の重み付け（スケール係数）に応じた誤差を、各項に対応するモデルに逆伝播（誤差逆伝播法により逆伝播）させる（各損失（損失Ｌｇ、Ｌｖａｒ、Ｌｇａｌｉｇｎ）が取得されたそれぞれの経路と逆の経路に誤差逆伝播法により誤差を逆伝播させる）ことで学習処理を行う。例えば、トータル損失Ｌは、Ｌｒｅｃｏｎ、ＬＫＬ、Ｌｄｕｒ、Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）の５つの損失の単純加算なので、各項に対応するモデルに対して、０．２×Ｌ（＝Ｌ／５）の損失を誤差逆伝播法により逆伝播させて、学習処理を行うようにすればよい。なお、トータル損失ＬをＬｒｅｃｏｎ、ＬＫＬ、Ｌｄｕｒ、、Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）の５つの損失の重み付け加算で取得される値としてもよく、この場合、重み付け値に応じた損失を、各項に対応するモデルにて誤差逆伝播法により逆伝播させ、学習処理を行うようにしてもよい。
【数11】
λａｌｉｇｎ：係数（スケール係数）
声質変換処理システム２０００では、上記数式の損失（トータル損失）Ｌにより学習処理を行う。つまり、トータル損失Ｌをマルチタスク損失とみなし、トータル損失Ｌを構成する各項の重み付け（スケール係数）に応じた誤差を、各項に対応するモデルに逆伝播（誤差逆伝播法により逆伝播）させる（各損失（損失Ｌｇ、Ｌｖａｒ、Ｌｇａｌｉｇｎ）が取得されたそれぞれの経路と逆の経路に誤差逆伝播法により誤差を逆伝播させる）ことで学習処理を行う。例えば、トータル損失Ｌは、Ｌｒｅｃｏｎ、ＬＫＬ、Ｌｄｕｒ、Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）の５つの損失の単純加算なので、各項に対応するモデルに対して、０．２×Ｌ（＝Ｌ／５）の損失を誤差逆伝播法により逆伝播させて、学習処理を行うようにすればよい。なお、トータル損失ＬをＬｒｅｃｏｎ、ＬＫＬ、Ｌｄｕｒ、、Ｌａｄｖ（Ｇ）、Ｌｆｍ（Ｇ）の５つの損失の重み付け加算で取得される値としてもよく、この場合、重み付け値に応じた損失を、各項に対応するモデルにて誤差逆伝播法により逆伝播させ、学習処理を行うようにしてもよい。
【0154】
なお、学習処理の方法は、上記に限定されることなく、例えば、損失Ｌｇ、Ｌｖａｒ、Ｌｇａｌｉｇｎのうちの所定の損失が取得された経路の機能部の学習可能モデルのパラメータ更新のみを行い、他の損失が取得された経路の機能部の学習可能モデルのパラメータを固定するという処理を順次繰り返すことにより、トータル損失Ｌが小さくなる、あるいは、その変動幅が所定の値よりも小さくなるようにすることで学習処理を行うようにしてもよい。
【0155】
また、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡでのアライメントの取得処理（最適化処理）と、学習可能モデルのパラメータ更新を分けて行うようにしてもよい。つまり、
（１）声質変換処理システム２０００の機能部の学習可能モデルのパラメータ更新を行い、
（２）声質変換処理システム２０００の機能部の学習可能モデルのパラメータを一旦固定し、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡでのアライメントの取得処理（最適化処理）を行うことで、声質変換処理システム２０００での学習処理を実行するようにしてもよい。
（１）声質変換処理システム２０００の機能部の学習可能モデルのパラメータ更新を行い、
（２）声質変換処理システム２０００の機能部の学習可能モデルのパラメータを一旦固定し、単調アライメント探索処理部ＭＯＳ＿ｔｒｎＡでのアライメントの取得処理（最適化処理）を行うことで、声質変換処理システム２０００での学習処理を実行するようにしてもよい。
【0156】
そして、声質変換処理システム２０００において、例えば、損失評価部Ｌ＿ｇｅｔ＿ｔｒｎＡにおいて、トータル損失Ｌを評価し、当該トータル損失Ｌが所定の値よりも小さくなった場合、あるいは、学習処理を繰り返してもトータル損失Ｌの変動幅が所定の値よりも小さくならなくなった場合、学習処理を終了させる。そして、学習処理が終了したときのパラメータを最適パラメータとして、声質変換処理システム２０００の各機能部の学習済みモデルを取得する。
【0157】
また、単調アライメント探索処理部ＭＯＳ_ｔｒｎＡの学習の安定化のためには、エンコード処理部２Ａの入力において、リダクション・ファクター（ＲＦ）の導入が効果的であることが分かった。したがって、本実施形態では、音響特徴量取得部１とエンコード処理部２Ａとの間にデータ加工処理部１Ａを挿入した構成を採用している。
【0158】
ＲＦを「２」とした場合、エンコード処理部２Ａの入力である音響特徴量（例えばメルスペクトグラム）において、データ量を変えずに、フレーム数を２分の１にする（一般には１／ＲＦにする）。例えば、８６次元、１２０フレームのメルスペクトグラムの場合、６０フレームにする代わりに１フレームが１７２次元（８６次元の２（ＲＦ）倍）のデータに加工されたうえで、エンコード処理部２Ａに入力される。正解データの音響特徴量については、加工処理が行われないため、ソース特徴量の入力の長さが、ターゲット特徴量の入力の長さよりも短くなっている。
【0159】
ＴＴＳシステムと比較してＶＣタスク（VC：Voice Conversion）における入力シーケンスの時間軸方向の長さが長いため、ＴＴＳタスクと比較して学習が安定しないと考えられる。従って、ＲＦを導入することにより入力シーケンスを短くできるため、単調アライメント探索処理部ＭＯＳ_ｔｒｎＡの学習安定化に効果があると考えられる。
【0160】
また、ＲＦの導入は第１実施形態においても適用可能であり、第１実施形態において、ＲＦを導入することで、本実施形態と同様に顕著な効果（学習安定化の効果）を奏する。
【0161】
（２．２．２：予測処理）
次に、声質変換処理システム２０００で実行される予測処理について、説明する。
次に、声質変換処理システム２０００で実行される予測処理について、説明する。
【0162】
図９は、声質変換処理システム２０００の概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図である。
【0163】
図１０は、声質変換処理システム２０００の分散適応処理部４Ａの概略構成図であり、学習処理時にのみ使用される機能部を省略して示した図である。
【0164】
予測処理時において、声質変換処理システム２０００の学習可能モデルを含む機能部は、学習処理により取得された最適パラメータが設定されている学習済みモデルを含むものとする。
【0165】
声質変換処理システム２０００の音響特徴量取得部１に、入力話者の音声波形データ（音声波形信号）を入力する。音響特徴量取得部１は、当該入力話者の音声波形データから、当該入力話者の音声波形データに対応するメルスペクトログラムまたは線形スペクトログラムのデータを取得する処理を行う。そして、音響特徴量取得部１は、当該処理により取得したデータを、データＤ＿ｓｐｅｃｔｒｏｇｒｍ＿ｓｒｃとして、エンコード処理部２Ａに出力する。
【0166】
加算部４７Ａは、継続長規制処理部４２Ａから出力されるデータＤ４１と、エネルギー用畳み込み処理部４５Ａから出力されるデータＤ４２と、基本周波数用畳み込み処理部４６Ａから出力されるデータＤ４３とを入力し、データＤ４１、データＤ４２、および、データＤ４３を加算する処理を行う。そして、加算部４７Ａは、当該加算処理により取得されたデータを、データＤｏ＿ｈｓ１（中間状態データｈｓ１に相当）として、デコード処理部５Ａに出力する。
【0167】
音声波形データ取得処理部６Ａは、デコード処理部５Ａから出力されるデータＤ＿ｈｓ２に対して音声波形データ取得処理を行うことで、音声波形データＤｏｕｔ（声質変換した音声波形データ）を取得し、出力する。
【0168】
上記のように予測処理を行うことで、声質変換処理システム２０００では、入力話者音声波形データＤｉｎから、声質変換された音声波形データＤｏｕｔを取得することができる。
【0169】
≪まとめ≫
以上のように、声質変換処理システム２０００では、学習処理時において、（１）入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈのエンコード処理データｈｅｎｃと、（２）出力話者音声（声質変換した音声波形の正解データ）の音響特徴量データＤ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃｔｒｏｇｒｍのエンコード処理データｍｅｎｃとの間のアライメントを、単調かつ単射となるように最適化するため、適切な入力音声と出力音声との間のアライメントを取得できる。そして、声質変換処理システム２０００では、上記のようにして取得したアライメント（最適アライメント）により取得した継続長データｄと、入力話者音声の音響特徴量から取得される中間特徴量データとを用いて、継続長予測部４１Ａの学習可能モデルの学習を行うため、高精度な継続長予測が可能となる学習済みモデル（継続長予測処理を行う学習可能モデル）を取得することができる。特に、声質変換処理システム２０００では、高解像度のデータである入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈを用いて、最適アライメントを取得するため、最適アライメントの精度が高く、取得される継続長データｄの精度も高く、その結果、高精度な継続長予測、高精度なアライメント処理が可能となる。
以上のように、声質変換処理システム２０００では、学習処理時において、（１）入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈのエンコード処理データｈｅｎｃと、（２）出力話者音声（声質変換した音声波形の正解データ）の音響特徴量データＤ＿ｃｏｒｒｅｃｔ＿ｓｐｅｃｔｒｏｇｒｍのエンコード処理データｍｅｎｃとの間のアライメントを、単調かつ単射となるように最適化するため、適切な入力音声と出力音声との間のアライメントを取得できる。そして、声質変換処理システム２０００では、上記のようにして取得したアライメント（最適アライメント）により取得した継続長データｄと、入力話者音声の音響特徴量から取得される中間特徴量データとを用いて、継続長予測部４１Ａの学習可能モデルの学習を行うため、高精度な継続長予測が可能となる学習済みモデル（継続長予測処理を行う学習可能モデル）を取得することができる。特に、声質変換処理システム２０００では、高解像度のデータである入力話者音声の音響特徴量（例えば、メルスペクトログラム）から取得される中間状態データＤ＿ｈを用いて、最適アライメントを取得するため、最適アライメントの精度が高く、取得される継続長データｄの精度も高く、その結果、高精度な継続長予測、高精度なアライメント処理が可能となる。
【0170】
さらに、声質変換処理システム２０００では、分散適応処理部４Ａにおいて、継続長規制処理部４２Ａにより継続長データを考慮した中間状態データＤ４１を取得し、当該データＤ４１から、出力話者音声（声質変換した音声）のエネルギー（パワー）、および、基本周波数を予測し、さらに、予測した出力話者音声（声質変換した音声）のエネルギー、および、基本周波数を考慮した中間状態データＤｏ＿ｈｓ１（ｈｓ１に相当）を取得する学習可能モデルの学習処理を行うことができる構成を有している。
【0171】
したがって、声質変換処理システム２０００では、学習済みモデルが設定された分散適応処理部４Ａにおいて、入力音声のエネルギー（パワー）や基本周波数のデータを入力することなく、出力話者音声（声質変換した音声）のエネルギー（パワー）、および、基本周波数を予測し、それらのデータおよび継続長を考慮した中間状態データＤｏ＿ｈｓ１（ｈｓ１に相当）を高精度に取得することができる。
【0172】
さらに、声質変換処理システム２０００では、音声波形データ取得処理部６Ａが、第１実施形態と同様に、ＣＰＵのみで予測処理が可能となる学習可能モデル（例えば、HiFi-GANモデル）を含み、当該学習可能モデルの学習処理を、出力話者音声（声質変換した音声波形の正解データ）の音響特徴量から取得される中間状態データＤｏ＿ｈｓ１を用いて行う。このため、声質変換処理システム２０００では、システム全体として（１つのシステム）として、学習処理を行い、声質変換処理システム２０００の各機能部に含まれる学習可能モデルを最適化することができる。つまり、声質変換処理システム２０００では、End-to-endモデル（例えば、ニューラルネットワークモデル）として、学習処理を行うことができる。
【0173】
そして、声質変換処理システム２０００では、声質変換処理システム１０００の各機能部に含まれる学習可能モデルに上記学習処理により取得された最適化パラメータを設定することで学習済みモデルを構築でき、この状態で、予測処理を行うことで、入力話者音声波形から、高精度、かつ、高品質に声質変換された音声波形（出力音声波形）を取得することができる。
【0174】
すなわち、声質変換処理システム１０００では、入力音声と出力音声との間のアライメントを安定して推定でき、かつ、ＧＰＵを用いることなく、ＣＰＵのみで、高精度、高品質な声質変換処理を実行することができる。
【0175】
［他の実施形態］
上記実施形態では、エンコード処理部２、２Ａにおいて、Transformer型モデル（Transformer型モデルのエンコーダ）の構成を採用した場合について、説明したが、これに限定されることはなく、エンコード処理部２、２Ａにおいて、他のニューラルネットワークモデルを採用するようにしてもよい。
上記実施形態では、エンコード処理部２、２Ａにおいて、Transformer型モデル（Transformer型モデルのエンコーダ）の構成を採用した場合について、説明したが、これに限定されることはなく、エンコード処理部２、２Ａにおいて、他のニューラルネットワークモデルを採用するようにしてもよい。
【0176】
また、上記実施形態では、デコード処理部５Ａにおいて、Transformer型モデル（Transformer型モデルのデコーダ）の構成を採用した場合について、説明したが、これに限定されることはなく、デコード処理部５Ａにおいて、他のニューラルネットワークモデルを採用するようにしてもよい。
【0177】
上記実施形態において、音声波形データ取得処理部６、６Ａに含まれる学習可能モデルがHiFi-GANモデルである場合について説明したが、これに限定されることはない。音声波形データ取得処理部６、６Ａに含まれる学習可能モデルは、最適化パラメータを設定した学習済みモデルにおいて、ＧＰＵを用いることなく、ＣＰＵのみで、声質変換処理をリアルタイム処理により実行できるという条件を満たすモデル（例えば、学習可能モデルにおいて、行列演算処理数がＣＰＵでリアルタイム処理できる程度となるモデル）であれば、他のモデルであってもよい。
【0178】
また、上記実施形態で説明した学習処理を別装置にて行い、声質変換処理システム１０００、２０００の機能部において、最適パラメータを設定した学習済みモデルを設定し、予測処理、すなわち、入力話者音声波形から声質変換した音声波形を取得するようにしてもよい。
【0179】
また、上記実施形態で説明した声質変換処理システム１０００、２０００の各機能部は、１つの装置（システム）により実現されてもよいし、複数の装置により実現されてもよい。
【0180】
また、上記実施形態の一部または全部を組み合わせるようにしてもよい。
【0181】
また、上記実施形態の声質変換処理システム１０００、２０００において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部または全部を含むように１チップ化されても良い。
【0182】
なおここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0183】
また集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【0184】
また上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
【0185】
また上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらにソフトウェアおよびハードウェアの混在処理により実現しても良い。
【0186】
上記実施形態に係る声質変換処理システム１０００、２０００をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
【0187】
例えば上記実施形態の各機能部をソフトウェアにより実現する場合、図１１に示したハードウェア構成（例えばＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、入力部、出力部、通信部、記憶部（例えば、ＨＤＤ、ＳＳＤ等により実現される記憶部）、外部メディア用ドライブ等をバスＢｕｓにより接続したハードウェア構成）を用いて各機能部をソフトウェア処理により実現するようにしてもよい。
【0188】
また上記実施形態の各機能部をソフトウェアにより実現する場合、当該ソフトウェアは、図１１に示したハードウェア構成を有する単独のコンピュータを用いて実現されるものであってもよいし、複数のコンピュータを用いて分散処理により実現されるものであってもよい。
【0189】
また上記実施形態における処理方法の実行順序は、必ずしも上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。また、上記実施形態における処理方法において、発明の要旨を逸脱しない範囲で、一部のステップが、他のステップと並列に実行されるものであってもよい。
【0190】
前述した方法をコンピュータに実行させるコンピュータプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここでコンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、大容量ＤＶＤ、次世代ＤＶＤ、半導体メモリを挙げることができる。
【0191】
上記コンピュータプログラムは、上記記録媒体に記録されたものに限らず、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
【0192】
また、本明細書内の記載、特許請求の範囲の記載において、「最適化」（あるいは「最適」）とは、最も良い状態にすることをいい、システム（モデル）を「最適化」するパラメータ（最適パラメータ）とは、当該システムの目的関数の値が最適値となるときのパラメータのことをいう。「最適値」は、システムの目的関数の値が大きくなるほど、システムが良い状態となる場合は、最大値であり、システムの目的関数の値が小さくなるほど、システムが良い状態となる場合は、最小値である。また、「最適値」は、極値であってもよい。また、「最適値」は、所定の誤差（測定誤差、量子化誤差等）を許容するものであってもよく、所定の範囲（十分収束したとみなすことができる範囲）に含まれる値であってもよい。
【0193】
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
【符号の説明】
【0194】
１０００、２０００ 声質変換処理システム
２、２Ａ エンコード処理部
３ 継続長予測処理部
４ アライメント処理部
４Ａ 分散適応処理部
５、５Ａ デコード処理部
６、６Ａ 音声波形データ取得処理部
２、２Ａ エンコード処理部
３ 継続長予測処理部
４ アライメント処理部
４Ａ 分散適応処理部
５、５Ａ デコード処理部
６、６Ａ 音声波形データ取得処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】