知財求人 - 知財ポータルサイト「IP Force」
▶ 北京京▲東▼尚科信息技▲術▼有限公司の特許一覧 ▶ 北京京東世紀貿易有限公司の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-03
(45)【発行日】2023-03-13
(54)【発明の名称】音声合成方法及び装置、記憶媒体
(51)【国際特許分類】
G10L 13/08 20130101AFI20230306BHJP
G10L 13/10 20130101ALI20230306BHJP
G10L 25/30 20130101ALI20230306BHJP
【ＦＩ】
G10L13/08 160
G10L13/10 113Z
G10L25/30
【請求項の数】
12
(21)【出願番号】P 2022503851
(86)(22)【出願日】2020-03-18
(65)【公表番号】
(43)【公表日】2022-09-13
(86)【国際出願番号】 CN2020079930
(87)【国際公開番号】W WO2021051765
(87)【国際公開日】2021-03-25
【審査請求日】2022-01-24
(31)【優先権主張番号】201910878228.3
(32)【優先日】2019-09-17
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】519274389
【氏名又は名称】北京京▲東▼尚科信息技▲術▼有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＳＨＡＮＧＫＥ ＩＮＦＯＲＭＡＴＩＯＮ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】８ＴＨ ＦＬＯＯＲ ＯＦ ＢＵＩＬＤＩＮＧ， ＮＯ． ７６， ＺＨＩＣＨＵＮ ＲＯＡＤ， ＨＡＩＤＩＡＮ ＤＩＳＴＲＩＣＴ， ＢＥＩＪＩＮＧ １０００８６， ＰＥＯＰＬＥ’Ｓ ＲＥＰＵＢＬＩＣ ＯＦ ＣＨＩＮＡ
(73)【特許権者】
【識別番号】517241916
【氏名又は名称】北京京東世紀貿易有限公司
【氏名又は名称原語表記】ＢＥＩＪＩＮＧ ＪＩＮＧＤＯＮＧ ＣＥＮＴＵＲＹ ＴＲＡＤＩＮＧ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】Ｒｏｏｍ ２０１， ２／Ｆ， Ｂｌｏｃｋ Ｃ， Ｎｏ．１８， Ｋｅｃｈｕａｎｇ １１ｔｈ Ｓｔｒｅｅｔ， Ｂｅｉｊｉｎｇ Ｅｃｏｎｏｍｉｃ ａｎｄ Ｔｅｃｈｎｏｌｏｇｉｃａｌ Ｄｅｖｅｌｏｐｍｅｎｔ Ｚｏｎｅ， Ｂｅｉｊｉｎｇ １００１７６， Ｃｈｉｎａ
(74)【代理人】
【識別番号】100102842
【弁理士】
【氏名又は名称】葛和 清司
(72)【発明者】
【氏名】ウー，ジチェン
(72)【発明者】
【氏名】ソン，ウェイ
【審査官】山下 剛史
(56)【参考文献】
【文献】国際公開第２０１９／１３９４３０（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１９／０１２２６５１（ＵＳ，Ａ１）
【文献】特開２００８－１０７４５４（ＪＰ，Ａ）
【文献】特開２０１９－１２０８４１（ＪＰ，Ａ）
【文献】特開２００３－２９５８８０（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９０３６３７５（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－１３／１０，２５／３０
(57)【特許請求の範囲】
【請求項1】
音声合成方法であって、合成待ちセンテンスのキャラクタ系列を取得するステップであって、前記合成待ちセンテンスに、目標対象を表す録音センテンスと前記目標対象に関するクエリ結果センテンスとが含まれるステップと、
予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るステップと、
前記録音センテンスに対応する録音音声特徴を取得するステップと、
予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得るステップであって、前記予め設定されたアテンションモデルは、前記特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、前記予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成されるステップと、
前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るステップと、を含む、
音声合成方法。
【請求項2】
予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得るステップは、ｉが１に等しい場合、ｉ番目の復号時刻に、初期音声特徴を取得し、前記初期音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、１番目の音声特徴を予測するステップであって、ｉが０よりも大きい整数であるステップと、
ｉが１よりも大きい場合、前記ｉ番目の復号時刻が前記録音センテンスの復号時刻である場合、前記録音音声特徴から第ｊフレームの音声特徴を取り出し、前記第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップであって、ｊが０よりも大きい整数であるステップと、
前記ｉ番目の復号時刻が前記クエリ結果センテンスの復号時刻である場合、ｉ－１番目の音声特徴における１フレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップと、
前記合成待ちセンテンスの復号が完了してｎ番目の音声特徴を得るまで、ｉ＋１番目の復号時刻の予測プロセスを続行するステップであって、ｎが前記合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であるステップと、
得られた前記ｉ番目の音声特徴～前記ｎ番目の音声特徴を前記予測音声特徴とするステップと、を含むことを特徴とする
請求項１に記載の方法。
【請求項3】
前記予め設定された復号モデルは、第１リカレントニューラルネットワークと第２リカレントニューラルネットワークとを含み、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップは、前記第ｉ－１フレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得るステップと、
前記第１リカレントニューラルネットワークを利用して、前記中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得るステップと、
前記予め設定されたアテンションモデルを利用して、前記特徴ベクトル集合及び前記ｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得るステップと、
前記第２リカレントニューラルネットワークを利用して、前記ｉ番目のコンテキストベクトル及び前記ｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得るステップと、
予め設定されたフレーム数に従って、前記ｉ番目の隠れ変数に対して線形変換を行い、前記ｉ番目の音声特徴を得るステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項4】
前記特徴ベクトル集合には、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルが含まれ、前記予め設定されたアテンションモデルを利用して、前記特徴ベクトル集合及び前記ｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得るステップは、前記予め設定されたアテンションモデルを利用して、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルと前記ｉ番目の中間隠れ変数とに対してアテンションの計算を行い、第ｉ組のアテンション値を得るステップと、
前記第ｉ組のアテンション値に基づいて、前記特徴ベクトル集合に対して加重和を計算し、前記ｉ番目のコンテキストベクトルを得るステップと、を含むことを特徴とする
請求項３に記載の方法。
【請求項5】
前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測した後に、ｉ＋１番目の復号時刻の予測プロセスを続行する前に、前記方法は、前記第ｉ組のアテンション値から最大アテンション値に対応するｉ番目の目標キャラクタを決定するステップと、
前記ｉ番目の目標キャラクタが前記録音センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記録音センテンスの終了キャラクタであり、且つ前記録音センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの終了キャラクタであり、且つ前記クエリ結果センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記第ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記合成待ちセンテンスの終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記合成待ちセンテンスの復号終了時刻であることを決定するステップと、をさらに含むことを特徴とする
請求項４に記載の方法。
【請求項6】
予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るステップは、前記予め設定された符号化モデルを用いて、前記キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得るステップと、
前記初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、前記特徴ベクトル集合を得るステップと、を含むことを特徴とする
請求項１に記載の方法。
【請求項7】
前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るステップは、前記予測音声特徴に対して特徴変換を行い、線形スペクトルを得るステップと、
前記線形スペクトルに対して再構成合成を行い、前記音声を得るステップと、を含むことを特徴とする
請求項１に記載の方法。
【請求項8】
前記キャラクタ系列は、字母系列又は音素系列であることを特徴とする請求項１に記載の方法。
【請求項9】
合成待ちセンテンスのキャラクタ系列を取得するステップの前に、前記方法は、少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得するステップであって、前記各サンプル合成センテンスは、サンプル対象及び前記サンプル対象に関する参考クエリ結果を表すステップと、
初期音声合成モデル、初期音声特徴及び前記サンプル合成センテンスに対応するサンプル音声特徴を取得するステップであって、前記初期音声合成モデルは、符号化処理及び予測を行うためのモデルであるステップと、
前記サンプルキャラクタ系列、前記初期音声特徴及び前記サンプル音声特徴を利用して、前記初期音声合成モデルに対して訓練を行い、前記予め設定された符号化モデル、前記予め設定された復号モデル及び前記予め設定されたアテンションモデルを得るステップと、をさらに含むことを特徴とする
請求項１に記載の方法。
【請求項10】
音声合成装置であって、系列生成モジュール、音声合成モジュール及び取得モジュールを備え、前記系列生成モジュールは、合成待ちセンテンスのキャラクタ系列を取得するように構成され、前記合成待ちセンテンスに、目標対象を表す録音センテンスと前記目標対象に関するクエリ結果センテンスとが含まれ、
前記音声合成モジュールは、予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るように構成され、
前記取得モジュールは、前記録音センテンスに対応する録音音声特徴を取得するように構成され、
前記音声合成モジュールは、さらに予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得、前記予め設定されたアテンションモデルは、前記特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、前記予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成され、前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るように構成される、
音声合成装置。
【請求項11】
音声合成装置であって、プロセッサと、メモリと、通信バスとを備え、前記メモリは、前記通信バスを介して前記プロセッサと通信し、前記メモリは、前記プロセッサで実行可能な１つ又は複数のプログラムを記憶し、前記１つ又は複数のプログラムが実行される時に、前記プロセッサにより、請求項１－９のいずれか一項に記載の方法を実行する、音声合成装置。
【請求項12】
プログラムが記憶され、前記プログラムが少なくとも１つのプロセッサに実行される場合、前記少なくとも１つのプロセッサが請求項１－９のいずれか一項に記載の方法を実行する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、出願番号が２０１９１０８７８２２８．３であり、出願日が２０１９年９月１７日である中国特許出願に基づいて提出され、当該中国特許出願の優先権を主張し、当該中国特許出願の全内容は、参照により本出願に組み込まれる。
本発明の実施例は、電子応用分野における音声処理技術に関し、特に音声合成方法及び装置、記憶媒体に関する。
本発明の実施例は、電子応用分野における音声処理技術に関し、特に音声合成方法及び装置、記憶媒体に関する。
【背景技術】
【0002】
現在、音声合成技術は、スマートスピーカー、アウトバウンドコールシステム及び番号呼出システムなどの多くのスマートデバイスに適用され、スマートデバイスは、ユーザからの目標対象に関するクエリ要求を受けた後、クエリ要求に基づいて、目標対象及びクエリ結果を表す合成待ちセンテンスを生成してから、合成待ちセンテンスを完全な音声に変換して再生し、それによって目標対象に関するクエリ結果をユーザに通知する。合成待ちセンテンスを完全な音声に変換する時に、合成待ちセンテンスにおける固定である目標対象に対しては事前に録音し、合成待ちセンテンスにおける動的なクエリ結果に対しては、音声合成方式によりクエリ結果に対応する合成音声を合成し、録音音声と合成音声を結合し、合成待ちセンテンスの完全な音声を得る。
【0003】
しかしながら、録音音声を生成するプロセスと合成音声を生成するプロセスとが別々に行われるため、録音音声と合成音声の発話速度、音調などが異なり、その結果、録音音声と合成音声とを組み合わせた完全な音声の韻律が不整合であり、さらに録音音声と合成音声の間の遷移時間長にも不確実性があり、音声品質が良くない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、合成された音声の韻律の整合性を実現し、合成された音声の品質を向上させる音声合成方法及び装置、記憶媒体を提供することを目的とする。
本発明の技術案は、次のように実現される。
本発明の技術案は、次のように実現される。
【課題を解決するための手段】
【0005】
本発明の実施例による音声合成方法は、
合成待ちセンテンスのキャラクタ系列を取得するステップであって、前記合成待ちセンテンスに、目標対象を表す録音センテンスと前記目標対象に関するクエリ結果センテンスとが含まれるステップと、
予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るステップと、
前記録音センテンスに対応する録音音声特徴を取得するステップと、
予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得るステップであって、前記予め設定されたアテンションモデルは、前記特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、前記予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成されるステップと、
前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るステップと、を含む。
合成待ちセンテンスのキャラクタ系列を取得するステップであって、前記合成待ちセンテンスに、目標対象を表す録音センテンスと前記目標対象に関するクエリ結果センテンスとが含まれるステップと、
予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るステップと、
前記録音センテンスに対応する録音音声特徴を取得するステップと、
予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得るステップであって、前記予め設定されたアテンションモデルは、前記特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、前記予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成されるステップと、
前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るステップと、を含む。
【0006】
上記案では、予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得るステップは、
ｉが１に等しい場合、ｉ番目の復号時刻に、初期音声特徴を取得し、前記初期音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、１番目の音声特徴を予測するステップであって、ｉが０よりも大きい整数であるステップと、
ｉが１よりも大きい場合、前記ｉ番目の復号時刻が前記録音センテンスの復号時刻である場合、前記録音音声特徴から第ｊフレームの音声特徴を取り出し、前記第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップであって、ｊが０よりも大きい整数であるステップと、
前記ｉ番目の復号時刻が前記クエリ結果センテンスの復号時刻である場合、ｉ－１番目の音声特徴における１フレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップと、
前記合成待ちセンテンスの復号が完了してｎ番目の音声特徴を得るまで、ｉ＋１番目の復号時刻の予測プロセスを続行するステップであって、ｎが前記合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であるステップと、
得られた前記ｉ番目の音声特徴～前記ｎ番目の音声特徴を前記予測音声特徴とするステップと、を含む。
ｉが１に等しい場合、ｉ番目の復号時刻に、初期音声特徴を取得し、前記初期音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、１番目の音声特徴を予測するステップであって、ｉが０よりも大きい整数であるステップと、
ｉが１よりも大きい場合、前記ｉ番目の復号時刻が前記録音センテンスの復号時刻である場合、前記録音音声特徴から第ｊフレームの音声特徴を取り出し、前記第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップであって、ｊが０よりも大きい整数であるステップと、
前記ｉ番目の復号時刻が前記クエリ結果センテンスの復号時刻である場合、ｉ－１番目の音声特徴における１フレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップと、
前記合成待ちセンテンスの復号が完了してｎ番目の音声特徴を得るまで、ｉ＋１番目の復号時刻の予測プロセスを続行するステップであって、ｎが前記合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であるステップと、
得られた前記ｉ番目の音声特徴～前記ｎ番目の音声特徴を前記予測音声特徴とするステップと、を含む。
【0007】
上記案では、前記予め設定された復号モデルは、第１リカレントニューラルネットワークと第２リカレントニューラルネットワークとを含み、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測するステップは、
前記ｉ－１フレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得るステップと、
前記第１リカレントニューラルネットワークを利用して、前記中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得るステップと、
前記予め設定されたアテンションモデルを利用して、前記特徴ベクトル集合及び前記ｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得るステップと、
前記第２リカレントニューラルネットワークを利用して、前記ｉ番目のコンテキストベクトル及び前記ｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得るステップと、
予め設定されたフレーム数に従って、前記ｉ番目の隠れ変数に対して線形変換を行い、前記ｉ番目の音声特徴を得るステップと、を含む。
前記ｉ－１フレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得るステップと、
前記第１リカレントニューラルネットワークを利用して、前記中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得るステップと、
前記予め設定されたアテンションモデルを利用して、前記特徴ベクトル集合及び前記ｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得るステップと、
前記第２リカレントニューラルネットワークを利用して、前記ｉ番目のコンテキストベクトル及び前記ｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得るステップと、
予め設定されたフレーム数に従って、前記ｉ番目の隠れ変数に対して線形変換を行い、前記ｉ番目の音声特徴を得るステップと、を含む。
【0008】
上記案では、前記特徴ベクトル集合には、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルが含まれ、前記予め設定されたアテンションモデルを利用して、前記特徴ベクトル集合及び前記ｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得るステップは、
前記予め設定されたアテンションモデルを利用して、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルと前記ｉ番目の中間隠れ変数とに対してアテンションの計算を行い、第ｉ組のアテンション値を得るステップと、
前記第ｉ組のアテンション値に基づいて、前記特徴ベクトル集合に対して加重和を計算し、前記ｉ番目のコンテキストベクトルを得るステップと、を含む。
前記予め設定されたアテンションモデルを利用して、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルと前記ｉ番目の中間隠れ変数とに対してアテンションの計算を行い、第ｉ組のアテンション値を得るステップと、
前記第ｉ組のアテンション値に基づいて、前記特徴ベクトル集合に対して加重和を計算し、前記ｉ番目のコンテキストベクトルを得るステップと、を含む。
【0009】
上記案では、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測した後に、ｉ＋１番目の復号時刻の予測プロセスを続行する前に、前記方法は、
前記第ｉ組のアテンション値から最大アテンション値に対応するｉ番目の目標キャラクタを決定するステップと、
前記ｉ番目の目標キャラクタが前記録音センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記録音センテンスの終了キャラクタであり、且つ前記録音センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの終了キャラクタであり、且つ前記クエリ結果センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記第ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記合成待ちセンテンスの終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記合成待ちセンテンスの復号終了時刻であることを決定するステップと、をさらに含む。
前記第ｉ組のアテンション値から最大アテンション値に対応するｉ番目の目標キャラクタを決定するステップと、
前記ｉ番目の目標キャラクタが前記録音センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記録音センテンスの終了キャラクタであり、且つ前記録音センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの終了キャラクタであり、且つ前記クエリ結果センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記第ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定するステップ、
及び／又は、前記ｉ番目の目標キャラクタが前記合成待ちセンテンスの終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記合成待ちセンテンスの復号終了時刻であることを決定するステップと、をさらに含む。
【0010】
上記案では、予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るステップは、
前記予め設定された符号化モデルを用いて、前記キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得るステップと、
前記初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、前記特徴ベクトル集合を得るステップと、を含む。
上記案では、前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るステップは、
前記予測音声特徴に対して特徴変換を行い、線形スペクトルを得るステップと、
前記線形スペクトルに対して再構成合成を行い、前記音声を得るステップと、を含む。
前記予め設定された符号化モデルを用いて、前記キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得るステップと、
前記初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、前記特徴ベクトル集合を得るステップと、を含む。
上記案では、前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るステップは、
前記予測音声特徴に対して特徴変換を行い、線形スペクトルを得るステップと、
前記線形スペクトルに対して再構成合成を行い、前記音声を得るステップと、を含む。
【0011】
上記案では、前記キャラクタ系列は、字母系列又は音素系列である。
上記案では、合成待ちセンテンスのキャラクタ系列を取得するステップの前に、前記方法は、
少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得するステップであって、前記各サンプル合成センテンスは、サンプル対象及び前記サンプル対象に関する参考クエリ結果を表すステップと、
初期音声合成モデル、初期音声特徴及び前記サンプル合成センテンスに対応するサンプル音声特徴を取得するステップであって、前記初期音声合成モデルは、符号化処理及び予測を行うためのモデルであるステップと、
前記サンプルキャラクタ系列、前記初期音声特徴及び前記サンプル音声特徴を利用して、前記初期音声合成モデルに対して訓練を行い、前記予め設定された符号化モデル、前記予め設定された復号モデル及び前記予め設定されたアテンションモデルを得るステップと、をさらに含む。
上記案では、合成待ちセンテンスのキャラクタ系列を取得するステップの前に、前記方法は、
少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得するステップであって、前記各サンプル合成センテンスは、サンプル対象及び前記サンプル対象に関する参考クエリ結果を表すステップと、
初期音声合成モデル、初期音声特徴及び前記サンプル合成センテンスに対応するサンプル音声特徴を取得するステップであって、前記初期音声合成モデルは、符号化処理及び予測を行うためのモデルであるステップと、
前記サンプルキャラクタ系列、前記初期音声特徴及び前記サンプル音声特徴を利用して、前記初期音声合成モデルに対して訓練を行い、前記予め設定された符号化モデル、前記予め設定された復号モデル及び前記予め設定されたアテンションモデルを得るステップと、をさらに含む。
【0012】
本発明の実施例による音声合成装置は、系列生成モジュールと、音声合成モジュールと、取得モジュールとを備え、ここで、
前記系列生成モジュールは、合成待ちセンテンスのキャラクタ系列を取得するように構成され、前記合成待ちセンテンスに、目標対象を表す録音センテンスと前記目標対象に関するクエリ結果センテンスとが含まれ、
前記音声合成モジュールは、予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るように構成され、
前記取得モジュールは、前記録音センテンスに対応する録音音声特徴を取得するように構成され、
前記音声合成モジュールは、さらに予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得、前記予め設定されたアテンションモデルは、前記特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、前記予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成され、前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るように構成される。
前記系列生成モジュールは、合成待ちセンテンスのキャラクタ系列を取得するように構成され、前記合成待ちセンテンスに、目標対象を表す録音センテンスと前記目標対象に関するクエリ結果センテンスとが含まれ、
前記音声合成モジュールは、予め設定された符号化モデルを用いて、前記キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るように構成され、
前記取得モジュールは、前記録音センテンスに対応する録音音声特徴を取得するように構成され、
前記音声合成モジュールは、さらに予め設定された復号モデル、前記特徴ベクトル集合、予め設定されたアテンションモデル及び前記録音音声特徴に基づいて、前記合成待ちセンテンスに対応する音声特徴を予測し、前記合成待ちセンテンスに対応する予測音声特徴を得、前記予め設定されたアテンションモデルは、前記特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、前記予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成され、前記予測音声特徴に対して特徴変換と合成を行い、前記合成待ちセンテンスに対応する音声を得るように構成される。
【0013】
上記案では、前記音声合成モジュールは、ｉが１に等しい場合、ｉ番目の復号時刻に、初期音声特徴を取得し、前記初期音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、１番目の音声特徴を予測し、ｉが０よりも大きい整数であり、
ｉが１よりも大きい場合、前記ｉ番目の復号時刻が前記録音センテンスの復号時刻である場合、前記録音音声特徴から第ｊフレームの音声特徴を取り出し、前記第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測し、ｊが０よりも大きい整数であり、
前記ｉ番目の復号時刻が前記クエリ結果センテンスの復号時刻である場合、ｉ－１番目の音声特徴における１フレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測し、
前記合成待ちセンテンスの復号が完了するまで、ｉ＋１番目の復号時刻の予測プロセスを続行し、ｎ番目の音声特徴を取得し、ｎが前記合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であり、
得られた前記ｉ番目の音声特徴～前記ｎ番目の音声特徴を前記予測音声特徴とするように構成される。
ｉが１よりも大きい場合、前記ｉ番目の復号時刻が前記録音センテンスの復号時刻である場合、前記録音音声特徴から第ｊフレームの音声特徴を取り出し、前記第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測し、ｊが０よりも大きい整数であり、
前記ｉ番目の復号時刻が前記クエリ結果センテンスの復号時刻である場合、ｉ－１番目の音声特徴における１フレームの音声特徴を第ｉ－１フレームの音声特徴とし、前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測し、
前記合成待ちセンテンスの復号が完了するまで、ｉ＋１番目の復号時刻の予測プロセスを続行し、ｎ番目の音声特徴を取得し、ｎが前記合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であり、
得られた前記ｉ番目の音声特徴～前記ｎ番目の音声特徴を前記予測音声特徴とするように構成される。
【0014】
上記案では、前記予め設定された復号モデルは、第１リカレントニューラルネットワークと第２リカレントニューラルネットワークとを含み、
前記音声合成モジュールは、前記第ｉ－１フレームの音声特徴に非線形変換を行い、中間特徴ベクトルを得、及び前記第１リカレントニューラルネットワークを利用して、前記中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、前記予め設定されたアテンションモデルを利用して、前記特徴ベクトル集合及び前記ｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、前記第２リカレントニューラルネットワークを利用して、前記ｉ番目のコンテキストベクトル及び前記ｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、予め設定されたフレーム数に従って、前記ｉ番目の隠れ変数に対して線形変換を行い、前記ｉ番目の音声特徴を得るように構成される。
前記音声合成モジュールは、前記第ｉ－１フレームの音声特徴に非線形変換を行い、中間特徴ベクトルを得、及び前記第１リカレントニューラルネットワークを利用して、前記中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、前記予め設定されたアテンションモデルを利用して、前記特徴ベクトル集合及び前記ｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、前記第２リカレントニューラルネットワークを利用して、前記ｉ番目のコンテキストベクトル及び前記ｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、予め設定されたフレーム数に従って、前記ｉ番目の隠れ変数に対して線形変換を行い、前記ｉ番目の音声特徴を得るように構成される。
【0015】
上記案では、前記特徴ベクトル集合には、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルが含まれ、
前記音声合成モジュールは、前記予め設定されたアテンションモデルを利用して、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルと前記ｉ番目の中間隠れ変数とに対してアテンションの計算を行い、第ｉ組のアテンション値を得、及び前記第ｉ組のアテンション値に基づいて、前記特徴ベクトル集合に対して加重和を計算し、前記ｉ番目のコンテキストベクトルを得るように構成される。
前記音声合成モジュールは、前記予め設定されたアテンションモデルを利用して、前記キャラクタ系列の各キャラクタに対応する特徴ベクトルと前記ｉ番目の中間隠れ変数とに対してアテンションの計算を行い、第ｉ組のアテンション値を得、及び前記第ｉ組のアテンション値に基づいて、前記特徴ベクトル集合に対して加重和を計算し、前記ｉ番目のコンテキストベクトルを得るように構成される。
【0016】
上記案では、前記音声合成モジュールは、さらに前記第ｉ－１フレームの音声特徴、前記予め設定された復号モデル、前記特徴ベクトル集合及び前記予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測した後に、ｉ＋１番目の復号時刻の予測プロセスを続行する前に、前記第ｉ組のアテンション値から最大アテンション値に対応するｉ番目の目標キャラクタを決定し、
及び前記ｉ番目の目標キャラクタが前記録音センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記録音センテンスの終了キャラクタであり、且つ前記録音センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの終了キャラクタであり、且つ前記クエリ結果センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記第ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記合成待ちセンテンスの終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記合成待ちセンテンスの復号終了時刻であることを決定するように構成される。
上記案では、前記音声合成モジュールは、前記キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得、前記初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、前記特徴ベクトル集合を得るように構成される。
及び前記ｉ番目の目標キャラクタが前記録音センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの非終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記録音センテンスの終了キャラクタであり、且つ前記録音センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記ｉ＋１番目の復号時刻が前記クエリ結果センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記クエリ結果センテンスの終了キャラクタであり、且つ前記クエリ結果センテンスの終了キャラクタが前記合成待ちセンテンスの終了キャラクタではない場合、前記第ｉ＋１番目の復号時刻が前記録音センテンスの復号時刻であることを決定し、
及び／又は、前記ｉ番目の目標キャラクタが前記合成待ちセンテンスの終了キャラクタである場合、前記ｉ＋１番目の復号時刻が前記合成待ちセンテンスの復号終了時刻であることを決定するように構成される。
上記案では、前記音声合成モジュールは、前記キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得、前記初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、前記特徴ベクトル集合を得るように構成される。
【0017】
上記案では、前記音声合成モジュールは、前記予測音声特徴に対して特徴変換を行い、線形スペクトルを得、前記線形スペクトルに対して再構成合成を行い、前記音声を得るように構成される。
上記案では、前記キャラクタ系列は、字母系列又は音素系列である。
上記案では、前記装置は、訓練モジュールをさらに備え、
前記訓練モジュールは、合成待ちセンテンスのキャラクタ系列を取得するステップの前に、少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得し、前記各サンプル合成センテンスは、サンプル対象及び前記サンプル対象に関する参考クエリ結果を表し、初期音声合成モデル、初期音声特徴及び前記サンプル合成センテンスに対応するサンプル音声特徴を取得し、前記初期音声合成モデルは、符号化処理及び予測を行うためのモデルであり、前記サンプルキャラクタ系列、前記初期音声特徴及び前記サンプル音声特徴を利用して、前記初期音声合成モデルに対して訓練を行い、前記予め設定された符号化モデル、前記予め設定された復号モデル及び前記予め設定されたアテンションモデルを得るように構成される。
上記案では、前記キャラクタ系列は、字母系列又は音素系列である。
上記案では、前記装置は、訓練モジュールをさらに備え、
前記訓練モジュールは、合成待ちセンテンスのキャラクタ系列を取得するステップの前に、少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得し、前記各サンプル合成センテンスは、サンプル対象及び前記サンプル対象に関する参考クエリ結果を表し、初期音声合成モデル、初期音声特徴及び前記サンプル合成センテンスに対応するサンプル音声特徴を取得し、前記初期音声合成モデルは、符号化処理及び予測を行うためのモデルであり、前記サンプルキャラクタ系列、前記初期音声特徴及び前記サンプル音声特徴を利用して、前記初期音声合成モデルに対して訓練を行い、前記予め設定された符号化モデル、前記予め設定された復号モデル及び前記予め設定されたアテンションモデルを得るように構成される。
【0018】
本発明の実施例による音声合成装置は、プロセッサと、メモリと、通信バスとを備え、前記メモリは、前記通信バスを介して前記プロセッサと通信し、前記メモリは、前記プロセッサで実行可能な１つ又は複数のプログラムを記憶し、前記１つ又は複数のプログラムが実行される時に、前記プロセッサにより、上記のいずれか一項の音声合成方法のステップを実行する。
【0019】
本発明の実施例は、コンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体は、プログラムが記憶されており、前記プログラムが少なくとも１つのプロセッサに実行される場合、前記少なくとも１つのプロセッサは、上記のいずれかの音声合成方法のステップを実行する。
【発明の効果】
【0020】
本発明の実施例は、音声合成方法及び装置、記憶媒体を提供し、上記技的実現案を採用して実現され、予め設定された復号モデル、特徴ベクトル集合、予め設定されたアテンションモデル及び録音音声特徴に基づいて、合成待ちセンテンスに対応する予測音声特徴を予測して得て、合成待ちセンテンスに録音センテンス及びクエリ結果センテンスが含まれ、つまり、録音センテンスとクエリ結果センテンスの両方ともに対して、対応する予測音声特徴を予測して得て、しかも予測音声特徴が関連し合う複数の音声特徴で構成されるため、録音音声と合成音声との発話速度、音調などが異なる問題が解決され、これにより、予測音声特徴によって得られた音声の韻律の整合性があり、次に、合成待ちセンテンスに対応する予測音声特徴に対して特徴変換と合成を行って音声を得ることにより、録音音声を結合して音声を合成する時の遷移時間長の不確定性の問題が回避され、合成された音声の品質が向上する。
【図面の簡単な説明】
【0021】
【図2】本発明の実施例によるＴａｃｏｔｒｏｎモデルの構造図である。
【図3】本発明の実施例による音声合成方法のフローチャート１である。
【図4】本発明の実施例による音声合成方法のフローチャート２のである。
【図5】本発明の実施例による音素系列とアテンション値との対応関係の概略図である。
【発明を実施するための形態】
【0022】
以下では、本発明の実施例の図面を参照しながら、本発明の実施例における技術案を明確かつ全面的に説明する。
後続の説明では、コンポーネントを表す「モジュール」、［部品］又は「ユニット」などの接尾辞は、本発明の説明を容易にするためのものだけであり、それ自体が特定の意味を有しない。したがって、「モジュール」、「部品」又は「ユニット」を混用し得る。
以下では、図１を参照すると、それは本発明の各実施例を実現する音声合成装置１の概略図である。当該装置１は、系列生成モジュール１１と、音声合成モジュール１２と、再生モジュール１３とを備えることができ、系列生成モジュール１１は、ユーザからの目標対象に関するクエリ要求を受け取り、クエリ要求に基づいて合成待ちセンテンスを決定し、合成待ちセンテンスが目標対象に関するクエリ結果のテキストであり、合成待ちセンテンスのキャラクタ系列を音声合成モジュール１２に伝送し、音声合成モジュール１２は、キャラクタ系列に対して音声合成を行い、合成待ちセンテンスに対応する音声を得、音声を再生モジュール１３に伝送し、再生モジュール１３は、音声を再生する。
後続の説明では、コンポーネントを表す「モジュール」、［部品］又は「ユニット」などの接尾辞は、本発明の説明を容易にするためのものだけであり、それ自体が特定の意味を有しない。したがって、「モジュール」、「部品」又は「ユニット」を混用し得る。
以下では、図１を参照すると、それは本発明の各実施例を実現する音声合成装置１の概略図である。当該装置１は、系列生成モジュール１１と、音声合成モジュール１２と、再生モジュール１３とを備えることができ、系列生成モジュール１１は、ユーザからの目標対象に関するクエリ要求を受け取り、クエリ要求に基づいて合成待ちセンテンスを決定し、合成待ちセンテンスが目標対象に関するクエリ結果のテキストであり、合成待ちセンテンスのキャラクタ系列を音声合成モジュール１２に伝送し、音声合成モジュール１２は、キャラクタ系列に対して音声合成を行い、合成待ちセンテンスに対応する音声を得、音声を再生モジュール１３に伝送し、再生モジュール１３は、音声を再生する。
【0023】
幾つかの実施例では、音声合成モジュール１２は、アテンションモデル及びエンコーダ－デコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）モデルで構築されたモジュールであり、例えば、音声合成モジュール１２は、Ｔａｃｏｔｒｏｎモデルであり、Ｔａｃｏｔｒｏｎモデルは、深層学習に基づくテキストから音声へ（ＴＴＳ：Ｔｅｘｔ ｔｏ ｓｐｅｅｃｈ）のモデルであり、図２に示すように、Ｔａｃｏｔｒｏｎモデルは、主に符号化モデル２１、アテンション（Ａｔｔｅｎｔｉｏｎ）モデル２２及び復号モデル２３を含み、符号化モデル２１は、文字埋め込みモデル２１１、Ｐｒｅ－ｎｅｔモデル２１２及びＣＢＨＧモデル２１３を含み、復号モデル２３は、Ｐｒｅ－ｎｅｔモデル２３１、第１リカレントニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）２３２、第２リカレントニューラルネットワーク２３３、線形変換モデル２３４、ＣＢＨＧモデル２３５及び音声再構成モデル２３６を含み、ここで、ＣＢＨＧモデル２１３及びＣＨＢＧモデル２３５の構造は、同じであり、畳み込みバンク（ｃｏｎｖｏｌｕｔｉｏｎ ｂａｎｋ）、高速道路ニューラルネットワーク（ｈｉｇｈｗａｙ ｎｅｔｗｏｒｋ）及びゲートリカレントユニット（ＧＲＵ：Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）で構成され、音声再構成モデル２３６は、Ｇｒｉｆｆｉｎ－Ｌｉｍアルゴリズムによって生成されたモデルを含む。
【0024】
例示的に、Ｔａｃｏｔｒｏｎモデルは、合成待ちセンテンスのキャラクタ系列を受け取り、下記のように符号化プロセスを実行する。即ち、文字埋め込みモデル２１１は、キャラクタ系列に対してベクトル変換を行い、変換後のベクトル集合を得、変換後のベクトル集合をＰｒｅ－ｎｅｔモデル２１２に伝送し、Ｐｒｅ－ｎｅｔモデル２１２は、変換後のベクトル集合に対して非線形変換を行い、中間特徴ベクトル集合を得、中間特徴ベクトル集合をＣＢＨＧモデル２１３に伝送し、ＣＢＨＧモデル２１３は、中間特徴ベクトル集合に対して一連のマトリックス演算及び非線形変換を行い、特徴ベクトル集合を得、符号化が完了する。
【0025】
さらに、符号化プロセスが終了した後、下記のような予測プロセスを実行する。即ち、現在の復号時刻に、Ｐｒｅ－ｎｅｔモデル２３１は、現在のフレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得、中間特徴ベクトルを第１リカレントニューラルネットワーク２３２に伝送し、第１リカレントニューラルネットワーク２３２は、中間特徴ベクトルに対して一連のマトリックス演算及び非線形変換を行い、現在の中間隠れ変数（隠れ状態：Ｈｉｄｄｅｎ Ｓｔａｔｅ）を得、現在の中間隠れ変数をアテンションモデル２２及び第２リカレントニューラルネットワークに伝送し、その場合、第１リカレントニューラルネットワーク２３２は、次のフレームインターフェイスの時刻に使用するために、現在の中間隠れ変数を保持したままにする。アテンションモデル２２は、現在の中間隠れ変数と符号化して得られた特徴ベクトル集合とに対してコンテキストベクトル計算を行い、現在のコンテキストベクトルを得、現在のコンテキストベクトルを第２リカレントニューラルネットワーク２３３に伝送し、第２リカレントニューラルネットワーク２３３は、現在のコンテキストベクトル及び現在の中間隠れ状態に対して一連のマトリックス演算及び非線形変換を行い、現在の隠れ変数を得、現在の隠れ数を線形変換モデル２３４に伝送し、線形変換モデル２３４は、現在の隠れ変数に対して線形変換を行い、現在の音声特徴を得、現在の音声特徴をＣＢＨＧモデル２３５に伝送し、合成待ちセンテンスの復号が完了して最後の音声特徴を得るまで、次の復号時刻の予測プロセスを続行する。ＣＢＨＧモデル２３５は、１番目の音声特徴～最後の音声特徴のすべてに対して特徴変換を行い、線形スペクトルを得、線形スペクトルを音声再構成モデル２３６に伝送し、音声再構成モデル２３６は、線形スペクトルを再構成、合成し、音声を生成する。
【0026】
なお、図２の点線に示すように、予測プロセスにおいて、復号モデル２３は、自己回帰方式で予測プロセスを実行することができ、即ち、現在の復号時刻に得られた現在の音声特徴のうちの１フレームの音声特徴を次の復号時刻の入力とすることができ、自己回帰方式で予測プロセスを採用しなくてもよく、即ち、次の復号時刻の入力は、現在の復号時刻に得られた前の音声特徴のうちの１フレームの音声特徴ではない。図２では３つの復号時刻のみを例として説明するが、本発明の実施例は、復号時刻を限定しない。
【0027】
図１又は図２に示す音声合成装置の構造が音声合成装置に対する限定にならないことを当業者にとって自明であり、音声合成装置は、図示するものよりも多く又はより少ない部品、又は幾つかの部品の組み合わせ、又は異なる部品構成を含むことができる。
なお、本発明の実施例は、図１又は図２に示す音声合成装置に基づいて実現されてもよく、以下では、図１又は図２に基づいて音声合成の具体的な実施例を説明する。
なお、本発明の実施例は、図１又は図２に示す音声合成装置に基づいて実現されてもよく、以下では、図１又は図２に基づいて音声合成の具体的な実施例を説明する。
【0028】
実施例１
本発明の実施例は、音声合成方法を提供する。図３に示すように、当該方法は、次のステップを含む。
Ｓ３０１において、合成待ちセンテンスのキャラクタ系列を取得し、合成待ちセンテンスには目標対象を表す録音センテンスと目標対象に関するクエリ結果センテンスとが含まれる。
音声合成装置は、目標対象に関するクエリ要求を受けると、クエリ要求に基づいて合成待ちセンテンスを生成してから、合成待ちセンテンスのキャラクタ系列を取得し、キャラクタ系列が字母系列又は音素系列である。
本発明の実施例は、音声合成方法を提供する。図３に示すように、当該方法は、次のステップを含む。
Ｓ３０１において、合成待ちセンテンスのキャラクタ系列を取得し、合成待ちセンテンスには目標対象を表す録音センテンスと目標対象に関するクエリ結果センテンスとが含まれる。
音声合成装置は、目標対象に関するクエリ要求を受けると、クエリ要求に基づいて合成待ちセンテンスを生成してから、合成待ちセンテンスのキャラクタ系列を取得し、キャラクタ系列が字母系列又は音素系列である。
【0029】
幾つかの実施例では、音声合成装置は、下記の方式でクエリ結果情報を取得する。即ち、クエリ要求からクエリ要求情報を取得し、外部デバイスへ要求を送信することによりクエリ結果情報を取得し、さらに、クエリ結果情報におけるテキストを整理し、クエリ結果センテンスを得る。また、予め設定された録音センテンスライブラリから目標対象とマッチングする録音センテンスを取得し、話術モードに従って、クエリ結果センテンスと録音センテンスを結合し、合成待ちセンテンスを得、それによって合成待ちセンテンスのキャラクタ系列を生成する。
幾つかの実施例では、予め設定された録音センテンスライブラリには１対１で対応する録音音声、録音センテンス及び録音音声メルスペクトルが記憶され、ステップＳ３０１の前に、音声合成装置は、各録音音声に対して少なくとも１フレームのメルスペクトルをフレーム毎に予め抽出し、録音音声、録音音声センテンス及び少なくとも１フレームのメルスペクトルを予め設定された録音センテンスライブラリに対応的に保存し、１フレームの時間長が１０ｍｓ又は１５ｍｓであってもよい。
幾つかの実施例では、予め設定された録音センテンスライブラリには１対１で対応する録音音声、録音センテンス及び録音音声メルスペクトルが記憶され、ステップＳ３０１の前に、音声合成装置は、各録音音声に対して少なくとも１フレームのメルスペクトルをフレーム毎に予め抽出し、録音音声、録音音声センテンス及び少なくとも１フレームのメルスペクトルを予め設定された録音センテンスライブラリに対応的に保存し、１フレームの時間長が１０ｍｓ又は１５ｍｓであってもよい。
【0030】
幾つかの実施例では、話術モードは、主に、３つのモードに分けられる。モード１は、クエリ結果センテンスが録音センテンスの中央位置にあり、例えば、「尊敬する某様」というセンテンスがあり、「某」がクエリ結果センテンスである。モード２は、クエリ結果センテンスが録音センテンスの終了位置にあり、例えば、「今日の北京の天気が晴れから曇りである」というセンテンスがあり、「晴れから曇り」がクエリ結果センテンスである。モード３は、クエリ結果センテンスが録音センテンスの先頭位置にあり、例えば、「某某曲」というセンテンスがあり、「某某」がクエリ結果センテンスである。
幾つかの実施例では、合成待ちセンテンスにおける録音センテンスは、第１サブ録音センテンスと第２サブ録音センテンスに分けられ、第１サブ録音センテンスは、第２サブ録音センテンスの前にある。
幾つかの実施例では、合成待ちセンテンスにおける録音センテンスは、第１サブ録音センテンスと第２サブ録音センテンスに分けられ、第１サブ録音センテンスは、第２サブ録音センテンスの前にある。
【0031】
例示的に、音声合成装置がスマートスピーカーであることを例とすると、ユーザは、今日の北京がどんな天気であるかというクエリ要求を送り、スマートスピーカーは、今日の北京の天気をクエリする要求を天気クエリデバイスに送信し、天気クエリデバイスから返信された、「晴れから曇り」を含むクエリ結果情報を受信し、「晴れから曇り」をクエリ結果センテンスとし、スマートスピーカーは、予め設定された録音センテンスライブラリから今日の北京の天気の録音センテンスを取得し、それらを結合して、今日の北京の天気が晴れから曇りであるという合成待ちセンテンスを得る。
【0032】
幾つかの実施例では、合成待ちセンテンスの発音順序に従って、合成待ちセンテンスの音素系列を生成し、又は、合成待ちセンテンスの字母綴り順序に従って、合成待ちセンテンスの字母系列を生成する。
例示的に、合成待ちセンテンスがＨｅｌｌｏＥｖｅｒｙｂｏｄｙである場合、対応する字母系列は、｛ｈ、ｅ、ｌ、ｌ、ｏ、ｅ、ｖ、ｅ、ｒ、ｙ、ｂ、ｏ、ｄ、ｙ｝である。
Ｓ３０２において、予め設定された符号化モデルを用いて、キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得る。
例示的に、合成待ちセンテンスがＨｅｌｌｏＥｖｅｒｙｂｏｄｙである場合、対応する字母系列は、｛ｈ、ｅ、ｌ、ｌ、ｏ、ｅ、ｖ、ｅ、ｒ、ｙ、ｂ、ｏ、ｄ、ｙ｝である。
Ｓ３０２において、予め設定された符号化モデルを用いて、キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得る。
【0033】
音声合成装置内の符号化モデルは、キャラクタ系列に対して符号化処理を行いて特徴ベクトル集合を得、特徴ベクトル集合がキャラクタ系列内の各キャラクタの特徴ベクトルで構成され、符号化モデルは、予め設定された符号化モデルである。
幾つかの実施例では、音声合成装置は、キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得、初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、特徴ベクトル集合を得る。
音声合成装置は、キャラクタ系列における各キャラクタをベクトルに変換し、初期特徴ベクトル集合を得、さらに特徴ベクトル集合を得る。
幾つかの実施例では、音声合成装置は、キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得、初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、特徴ベクトル集合を得る。
音声合成装置は、キャラクタ系列における各キャラクタをベクトルに変換し、初期特徴ベクトル集合を得、さらに特徴ベクトル集合を得る。
【0034】
Ｓ３０３において、録音センテンスに対応する録音音声特徴を取得し、
音声合成装置は、予め設定された録音センテンスライブラリから、録音センテンスに対応する録音音声特徴を取得し、ここで、録音音声特徴が当該録音センテンスに対応する少なくとも１フレームのメルスペクトルである。
幾つかの実施例では、録音音声特徴は、録音センテンスのキャラクタ系列の順序に従って順序付けられた複数フレームの音声特徴を表す。
音声合成装置は、予め設定された録音センテンスライブラリから、録音センテンスに対応する録音音声特徴を取得し、ここで、録音音声特徴が当該録音センテンスに対応する少なくとも１フレームのメルスペクトルである。
幾つかの実施例では、録音音声特徴は、録音センテンスのキャラクタ系列の順序に従って順序付けられた複数フレームの音声特徴を表す。
【0035】
Ｓ３０４において、予め設定された復号モデル、特徴ベクトル集合、予め設定されたアテンションモデル及び録音音声特徴に基づいて、合成待ちセンテンスに対応する音声特徴を予測し、合成待ちセンテンスに対応する予測音声特徴を得、予め設定されたアテンションモデルは、特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成される。
音声合成装置は、予め設定された復号モデル及び予めアテンションモデルにより、合成待ちセンテンスに対応する音声特徴を予測し、予測音声特徴を得、予測プロセスにおいて、予め設定された復号モデルは、さらに録音音声特徴から１フレームの音声特徴を抽出し、それを予測プロセスの入力とすることもでき、ここで、予め設定された復号モデルは、復号モデルであり、予め設定されたアテンションモデルは、アテンションモデルである。
音声合成装置は、予め設定された復号モデル及び予めアテンションモデルにより、合成待ちセンテンスに対応する音声特徴を予測し、予測音声特徴を得、予測プロセスにおいて、予め設定された復号モデルは、さらに録音音声特徴から１フレームの音声特徴を抽出し、それを予測プロセスの入力とすることもでき、ここで、予め設定された復号モデルは、復号モデルであり、予め設定されたアテンションモデルは、アテンションモデルである。
【0036】
幾つかの実施例では、音声合成装置は、ｉが１に等しい場合、ｉ番目の復号時刻に、初期音声特徴を取得し、初期音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、１番目の音声特徴を予測し、ｉが０よりも大きい整数である。ｉが１よりも大きい場合、ｉ番目の復号時刻が録音センテンスの復号時刻である場合、録音音声特徴から第ｊフレームの音声特徴を取り出し、第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測し、ｊが０よりも大きい整数である。ｉ番目の復号時刻がクエリ結果センテンスの復号時刻である場合、ｉ－１番目の音声特徴のうちの１フレームの音声特徴を第ｉ－１フレームの音声特徴とし、第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測し、合成待ちセンテンスの復号が完了してｎ番目の音声特徴を得るまで、ｉ＋１番目の復号時刻の予測プロセスを続行し、ｎが前記合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であり、得られたｉ番目の音声特徴～ｎ番目の音声特徴を予測音声特徴とする。
【0037】
音声合成装置は、ｉを１とし、１番目の復号時刻に、予め設定された録音センテンスライブラリから初期音声特徴を取得し、初期音声特徴が１フレームの音声特徴であり、初期音声特徴及び特徴ベクトル集合を入力とし、予め設定された復号モデル及び予め設定されたアテンションモデルを利用して、１番目の音声特徴を予測し、さらに、ｉを２とし、２番目の復号時刻から、まず２番目の復号時刻のタイプを判定し、タイプが録音センテンスの復号時刻、クエリ結果センテンスの復号時刻、及び合成待ちセンテンスの復号時刻を含み、２番目の復号時刻のタイプに基づいて第１フレームの音声特徴を取り出し、１番目の音声特徴を入力とし、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルを利用して、２番目の音声特徴を予測し、合成待ちセンテンスの復号が完了するまで、３番目の復号時刻のタイプの判定を続行する。
【0038】
幾つかの実施例では、音声合成装置は、サイズが１フレームである要素が全てゼロであるベクトルを初期音声特徴として設定することができる。
なお、録音センテンスが真実の人間の録音音声から抽出された録音音声特徴を有することを考慮し、ｉ番目の復号時刻のタイプを判定することにより、録音センテンスの復号時刻であることを決定した場合、ｉ番目の音声特徴を予測するために、録音音声特徴から１フレームの音声特徴を抽出することができ、真実の人間の録音音声における１フレームの音声特徴を利用して予測するため、得られたｉ番目の音声特徴に対応する音質がよりリアルになる。
なお、録音センテンスが真実の人間の録音音声から抽出された録音音声特徴を有することを考慮し、ｉ番目の復号時刻のタイプを判定することにより、録音センテンスの復号時刻であることを決定した場合、ｉ番目の音声特徴を予測するために、録音音声特徴から１フレームの音声特徴を抽出することができ、真実の人間の録音音声における１フレームの音声特徴を利用して予測するため、得られたｉ番目の音声特徴に対応する音質がよりリアルになる。
【0039】
幾つかの実施例では、ｉ番目の音声特徴～ｎ番目の音声特徴の各音声特徴には、１フレームの音声特徴又は少なくとも２フレームの音声特徴が含まれ、ｉ番目の音声特徴に対応する音声特徴のフレーム数が設定可能なものであり、少なくとも２フレームの音声特徴は、重畳することがなく、時間的に連続した複数フレームの音声特徴であり、このように、各々の復号時刻に複数フレームの音声特徴を予測することにより、復号時間長を短縮させ、復号モデルの複雑さを低減させることができる。
幾つかの実施例では、ｉ－１番目の音声特徴のうちの最後のフレームの音声特徴を第ｉ－１フレームの音声特徴とすることができ、対応的に、ｉ番目の音声特徴は、ｋフレームの音声特徴を含み、ｊの値がｋ×（ｉ－１）であり、ｋが各音声特徴に対応する総フレーム数であり、ｋが０より大きい正の整数である。
例示的に、ｋ＝３の場合、ｊの値は３、６、９…である。
幾つかの実施例では、ｉ－１番目の音声特徴のうちの最後のフレームの音声特徴を第ｉ－１フレームの音声特徴とすることができ、対応的に、ｉ番目の音声特徴は、ｋフレームの音声特徴を含み、ｊの値がｋ×（ｉ－１）であり、ｋが各音声特徴に対応する総フレーム数であり、ｋが０より大きい正の整数である。
例示的に、ｋ＝３の場合、ｊの値は３、６、９…である。
【0040】
幾つかの実施例では、音声合成装置は、ｉ番目の復号時刻の予測プロセスにおいて、録音音声特徴からｋ×ｉフレームの音声特徴を取り出し、第ｋ×ｉフレームの音声特徴を第ｉ－１フレームの音声特徴とし、ｉ＋１番目の復号時刻の予測プロセスにおいて、録音音声特徴から第ｋ×（ｉ＋１）フレームの音声特徴を取り出し、第ｋ×（ｉ＋１）フレームの音声特徴を第ｉフレームの音声特徴とし、ここで、第ｋ×ｉフレームの音声特徴及び第ｋ×（ｉ＋１）フレームの音声特徴は、録音センテンスのキャラクタ系列の順序に従って取り出された音声特徴である。
幾つかの実施例では、予め設定された復号モデルは、第１リカレントニューラルネットワークと第２リカレントニューラルネットワークとを含み、音声合成装置は、第ｉ－１フレームの音声特徴に非線形変換を行い、中間特徴ベクトルを得、第１リカレントニューラルネットワークを利用して、中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、予め設定されたアテンションモデルを利用して、特徴ベクトル集合及びｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、第２リカレントニューラルネットワークを利用して、ｉ番目のコンテキストベクトル及びｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、予め設定されたフレーム数に従って、ｉ番目の隠れ変数に対して線形変換を行い、ｉ番目の音声特徴を得る。
幾つかの実施例では、予め設定された復号モデルは、第１リカレントニューラルネットワークと第２リカレントニューラルネットワークとを含み、音声合成装置は、第ｉ－１フレームの音声特徴に非線形変換を行い、中間特徴ベクトルを得、第１リカレントニューラルネットワークを利用して、中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、予め設定されたアテンションモデルを利用して、特徴ベクトル集合及びｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、第２リカレントニューラルネットワークを利用して、ｉ番目のコンテキストベクトル及びｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、予め設定されたフレーム数に従って、ｉ番目の隠れ変数に対して線形変換を行い、ｉ番目の音声特徴を得る。
【0041】
音声合成装置は、ｉ番目の復号時刻に、第ｉ－１フレームの音声特徴を予め設定された復号モデルに伝送し、予め設定された復号モデルは、第ｉ－１フレームの音声特徴を利用して、ｉ番目の音声特徴を予測する。
幾つかの実施例では、音声合成装置は、ｉ番目の復号時刻に、第ｉ－１フレームの音声特徴を復号モデルにおけるＰｒｅ－ｎｅｔモデルに伝送し、Ｐｒｅ－ｎｅｔモデルは、第ｉ－１フレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得、中間特徴ベクトルを第１リカレントニューラルネットワークに伝送し、第１リカレントニューラルネットワークは、中間特徴ベクトルに対して、マトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、ｉ番目の中間隠れ変数をアテンションモデル及び第２リカレントニューラルネットワークに伝送し、アテンションモデルは、特徴ベクトル集合及びｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、ｉ番目のコンテキストベクトルを第２リカレントニューラルネットワークに伝送し、第２リカレントニューラルネットワークは、ｉ番目のコンテキストベクトル及びｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、ｉ番目の隠れ変数を線形変換モデルに伝送し、線形変換モデルは、予め設定されたフレーム数に従って、ｉ番目の変数に対して線形変換を行い、ｉ番目の音声特徴を得る。
幾つかの実施例では、音声合成装置は、ｉ番目の復号時刻に、第ｉ－１フレームの音声特徴を復号モデルにおけるＰｒｅ－ｎｅｔモデルに伝送し、Ｐｒｅ－ｎｅｔモデルは、第ｉ－１フレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得、中間特徴ベクトルを第１リカレントニューラルネットワークに伝送し、第１リカレントニューラルネットワークは、中間特徴ベクトルに対して、マトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、ｉ番目の中間隠れ変数をアテンションモデル及び第２リカレントニューラルネットワークに伝送し、アテンションモデルは、特徴ベクトル集合及びｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、ｉ番目のコンテキストベクトルを第２リカレントニューラルネットワークに伝送し、第２リカレントニューラルネットワークは、ｉ番目のコンテキストベクトル及びｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、ｉ番目の隠れ変数を線形変換モデルに伝送し、線形変換モデルは、予め設定されたフレーム数に従って、ｉ番目の変数に対して線形変換を行い、ｉ番目の音声特徴を得る。
【0042】
なお、音声合成装置は、予測プロセスにおいて、第１リカレントニューラルネットワーク及び第２リカレントニューラルネットワークを用いてｉ番目の音声特徴を取得し、リカレントニューラルネットワークは、ノードが一方向に接続する循環するニューラルネットワークであるため、これまで計算済みの隠れた変数を用いて現在の時系列の入力を処理し、それによって、１つの系列位置における出力は、この前の全ての系列の入力に関連付けられ、このように、第１リカレントニューラルネットワーク及び第２リカレントニューラルネットワークを利用して、得られた予測音声特徴のうちの全ての音声特徴は、相互に関連し合い、さらに、予測音声特徴を用いて得られた音声の遷移はより自然となる。
【0043】
幾つかの実施例では、第１リカレントニューラルネットワークを、第１長短期記憶ネットワーク（ＬＳＴＭ：ＬＳＴＭ）に変えてもよく、それに応じて、第２リカレントニューラルネットワークを、第２ＬＳＴＭに変えてもよく、その他、第１リカレントニューラルネットワーク及び第２リカレントニューラルネットワークを、他のニューラルネットワークに変えてもよく、本発明の実施例は、これらを限定しない。
幾つかの例では、特徴ベクトル集合にキャラクタ系列の各キャラクタに対応する特徴ベクトルが含まれ、音声合成装置は、予め設定されたアテンションモデルを用いて、キャラクタ系列の各キャラクタ（字母又は音素）に対応する特徴ベクトル及びｉ番目の中間隠れ変数に対して、アテンションの計算を行い、第ｉ組のアテンション値を得、第ｉ組のアテンション値に基づいて、特徴ベクトル集合に対して加重和を計算し、ｉ番目のコンテキストベクトルを得る。
幾つかの例では、特徴ベクトル集合にキャラクタ系列の各キャラクタに対応する特徴ベクトルが含まれ、音声合成装置は、予め設定されたアテンションモデルを用いて、キャラクタ系列の各キャラクタ（字母又は音素）に対応する特徴ベクトル及びｉ番目の中間隠れ変数に対して、アテンションの計算を行い、第ｉ組のアテンション値を得、第ｉ組のアテンション値に基づいて、特徴ベクトル集合に対して加重和を計算し、ｉ番目のコンテキストベクトルを得る。
【0044】
音声合成装置は、ｉ番目の中間隠れ変数をアテンションモデルに伝送し、アテンションモデルは、キャラクタ系列の各キャラクタに対応する特徴ベクトルとｉ番目の中間隠れ変数とのアテンション値（類似度）を計算し、各キャラクタとアテンション値を対応付けて保存し、第ｉ組のアテンション値を得、アテンション値の範囲が０～１であり、各キャラクタに対応するアテンション値を各キャラクタに対応する特徴ベクトルの重み値とし、特徴ベクトル集合のすべての特徴ベクトルに対して加重和を計算し、ｉ番目のコンテキストベクトルを得る。
なお、ｉ番目の復号時刻に、第ｉ－１フレームの音声特徴に基づいてｉ番目の中間隠れ変数を生成し、ｉ番目の中間隠れ変数が、ｉ番目の復号時刻に予測しようとするキャラクタを表し、アテンションモデルは、キャラクタ系列の各キャラクタに対応する特徴ベクトルとｉ番目の中間隠れ変数との間のアテンション値を計算し、アテンション値の大きさが各キャラクタに対応する特徴ベクトルと予測しようとするキャラクタとの関連度を表し、ｉ番目の復号時刻に予測しようとするキャラクタには、主要な発音キャラクタ以外に、発音時に主要な発音キャラクタと密に繋がっている副次的なキャラクタも含まれるため、キャラクタ系列における複数のキャラクタに対応するアテンション値はゼロではなく、しかも、アテンション値が最も大きいキャラクタは、主要な発音キャラクタである。
なお、ｉ番目の復号時刻に、第ｉ－１フレームの音声特徴に基づいてｉ番目の中間隠れ変数を生成し、ｉ番目の中間隠れ変数が、ｉ番目の復号時刻に予測しようとするキャラクタを表し、アテンションモデルは、キャラクタ系列の各キャラクタに対応する特徴ベクトルとｉ番目の中間隠れ変数との間のアテンション値を計算し、アテンション値の大きさが各キャラクタに対応する特徴ベクトルと予測しようとするキャラクタとの関連度を表し、ｉ番目の復号時刻に予測しようとするキャラクタには、主要な発音キャラクタ以外に、発音時に主要な発音キャラクタと密に繋がっている副次的なキャラクタも含まれるため、キャラクタ系列における複数のキャラクタに対応するアテンション値はゼロではなく、しかも、アテンション値が最も大きいキャラクタは、主要な発音キャラクタである。
【0045】
幾つかの実施例では、音声合成装置は、第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測した後、ｉ＋１番目の復号時刻の予測プロセスを続行する前に、第ｉ組のアテンション値から最大アテンション値に対応するｉ番目の目標キャラクタを決定し、ｉ番目の目標キャラクタが録音センテンスの非終了キャラクタである場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、及び／又は、ｉ番目の目標キャラクタがクエリ結果センテンスの非終了キャラクタである場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、及び／又は、ｉ番目の目標キャラクタが録音センテンスの終了キャラクタであり、且つ録音センテンスの終了キャラクタが合成待ちセンテンスの終了キャラクタではない場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、及び／又は、ｉ番目の目標キャラクタがクエリ結果センテンスの終了キャラクタであり、且つクエリ結果センテンスの終了キャラクタが合成待ちセンテンスの終了キャラクタではない場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、及び／又は、ｉ番目の目標キャラクタが合成待ちセンテンスの終了キャラクタである場合、ｉ＋１番目の復号時刻が合成待ちセンテンスの復号終了時刻であることを決定する。
【0046】
音声合成装置は、ｉ番目の目標キャラクタのタイプを判定する前に、合成待ちセンテンスのキャラクタ系列を生成する時に、キャラクタ系列から特殊キャラクタを決定し、特殊キャラクタは、録音センテンスの非終了キャラクタ、録音センテンスの終了キャラクタ、クエリ結果センテンスの非終了キャラクタ、クエリ結果センテンスの終了キャラクタ、及び合成待ちセンテンスの終了キャラクタの少なくとも１つを含み、第ｉ組のアテンション値内の最大アテンション値に対応するキャラクタをｉ番目の目標キャラクタとし、ｉ番目の目標キャラクタは、ｉ番目の復号時刻の主要な発音キャラクタであり、ｉ番目の目標キャラクタのタイプが決定できるまで、ｉ番目の目標キャラクタを特殊キャラクタと順次比較する。
【0047】
なお、音声合成装置は、ｉを２とし、第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測する前に、ｉ＋１番目の復号時刻のタイプの判定と同様に、ｉ－１番目の目標キャラクタを利用して、ｉ番目の復号時刻のタイプを判定する。
幾つかの実施例では、音声合成装置は、ｉ番目の復号時刻のタイプを判定する前に、合成待ちセンテンスのキャラクタ系列を生成する時に、キャラクタ系列から録音センテンスの開始キャラクタ及び終了キャラクタ、クエリ結果センテンスの開始キャラクタ及び終了キャラクタ、及び合成待ちセンテンスの終了キャラクタを決定し、ここで、録音センテンスの開始キャラクタ及び終了キャラクタは、１対１で対応し、クエリ結果センテンスの開始キャラクタ及び終了キャラクタは、１対１で対応し、録音センテンスの開始キャラクタ又はクエリ結果センテンスの開始キャラクタは、合成待ちセンテンスの開始キャラクタであり、録音音声の終了キャラクタ又はクエリ結果センテンスの終了キャラクタは、合成待ちセンテンスの終了キャラクタである。
幾つかの実施例では、音声合成装置は、ｉ番目の復号時刻のタイプを判定する前に、合成待ちセンテンスのキャラクタ系列を生成する時に、キャラクタ系列から録音センテンスの開始キャラクタ及び終了キャラクタ、クエリ結果センテンスの開始キャラクタ及び終了キャラクタ、及び合成待ちセンテンスの終了キャラクタを決定し、ここで、録音センテンスの開始キャラクタ及び終了キャラクタは、１対１で対応し、クエリ結果センテンスの開始キャラクタ及び終了キャラクタは、１対１で対応し、録音センテンスの開始キャラクタ又はクエリ結果センテンスの開始キャラクタは、合成待ちセンテンスの開始キャラクタであり、録音音声の終了キャラクタ又はクエリ結果センテンスの終了キャラクタは、合成待ちセンテンスの終了キャラクタである。
【0048】
さらに、音声合成装置は、第ｉ組のアテンション値内の最大アテンション値に対応するキャラクタをｉ番目の目標キャラクタとし、ｉ番目の目標キャラクタを録音センテンスの開始キャラクタ、合成待ちセンテンスの開始キャラクタ、及びクエリ結果センテンスの開始キャラクタと順次比較し、ｉ番目の目標キャラクタと録音センテンスの開始キャラクタが同じである場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、ｉ＋１番目の復号時刻の予測プロセスにおいて、ｉ＋１番目の目標キャラクタを録音センテンスの終了キャラクタ、合成待ちセンテンスの終了キャラクタと順次比較し、ｉ＋１番目の目標キャラクタが録音センテンスの終了キャラクタ、合成待ちセンテンスの終了キャラクタの両方ともと異なる場合、ｉ＋１番目の目標キャラクタが録音センテンスの非終了キャラクタであることを決定し、それによってｉ＋２番目の復号時刻が録音センテンスの復号時刻であることを決定し、ｉ番目の目標キャラクタ及びクエリ結果センテンスの開始キャラクタが同じである場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、ｉ＋１番目の復号時刻の予測プロセスにおいて、ｉ＋１番目の目標キャラクタをクエリ結果センテンスの終了キャラクタ、合成待ちセンテンスの終了キャラクタと順次比較し、ｉ＋１番目の目標キャラクタがクエリ結果センテンスの終了キャラクタ、合成待ちセンテンスの終了キャラクタの両方ともと一致しない場合、ｉ＋１番目の目標キャラクタがクエリ結果センテンスの非終了キャラクタであることを決定し、それによってｉ＋２番目の復号時刻がクエリ結果センテンスであることを決定する。
【0049】
幾つかの実施例では、音声合成装置は、ｉ番目の目標キャラクタが録音センテンスの終了キャラクタであり、且つ合成待ちセンテンスの終了キャラクタではないことを決定した場合、録音音声の終了キャラクタの保持時間長に１フレームの復号時間長を追加し、ｉ番目の目標キャラクタの保持時間長が予め設定された時間長よりも短いか否かを判定し、ｉ番目の目標キャラクタの保持時間長が予め設定された時間長以上である場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、ｉ番目の目標キャラクタの保持時間長が予め設定された時間長よりも短い場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、ｍ番目の復号時刻に録音センテンスの終了キャラクタの保持時間長が予め設定された時間長よりも以上であることが決定されるまで、ｉ＋１番目の目標キャラクタの判定を続行する。ｍ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、ｍが当該録音センテンスの復号時刻の総フレームであり、かつ１よりも大きい整数であり、ここで、予め設定された時間長は、一般的に１フレームの復号時間長又は２フレームの復号時間長と設定されるが、本発明の実施例は、これを限定しない。
【0050】
幾つかの実施例では、音声合成装置は、ｉ番目の目標キャラクタがクエリ結果センテンスの終了キャラクタであり、且つ合成待ちセンテンスの終了キャラクタではないことを決定した場合、クエリ結果センテンスの終了キャラクタの保持時間長に１フレームの復号時間長を追加し、ｉ番目の目標キャラクタの保持時間長が予め設定された時間長よりも短いか否かを判定し、ｉ番目の目標キャラクタの保持時間長が予め設定された時間長以上である場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、ｉ番目の目標キャラクタの保持時間長が予め設定された時間長よりも短い場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であり、ｈ番目の復号時刻にクエリ結果センテンスの終了キャラクタの保持時間が予め設定された時間長以上であることが決定されるまで、ｉ＋１番目の目標キャラクタの判定を続行する。ｈ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、ｈが当該クエリ結果センテンスの復号時刻の総フレーム数であり、且つ１よりも整数である。
【0051】
なお、音声合成装置は、現在の復号時刻に目標キャラクタを決定し、目標キャラクタを特徴キャラクタと順次比較することにより、次の復号時刻のタイプを決定し、このように、合成待ちセンテンス内の録音センテンス又はクエリ結果センテンスに対して特殊なラベリング又はキャラクタの位置合わせ操作などを行う必要がなく、各復号時刻のタイプを取得することができ、さらに、１つのセンテンスの終了キャラクタの保持時間長を判定することにより、保持時間長が予め設定された時間長以上である場合しか、他のセンテンスの復号が開始されることがなく、それによって、１つのセンテンスの終了キャラクタを、完全に発音させることができる。
【0052】
幾つかの実施例では、合成待ちセンテンス内の録音センテンスがクエリ結果センテンスの前にある場合、得られた予測音声特徴において録音音声の終了キャラクタが遅延を生じる場合があり、これは録音センテンスの予測プロセスとクエリ結果センテンスの予測プロセスとが密に繋がりすぎるためであり、録音センテンス内の終了キャラクタの前にあるキャラクタを録音センテンスの終了センテンスとして設定し、これにより、録音センテンスの終了キャラクタの遅延問題が解決され、合成された音声内の録音センテンスの音声及びクエリ結果センテンスの音声との遷移もよりスムーズになる。
【0053】
Ｓ３０５において、予測音声特徴に対して特徴変換と合成を行い、合成待ちセンテンスに対応する音声を得る。
音声合成装置は、予測音声特徴内の各音声特徴に対して特徴変換を行い、線形スペクトルを得、得られた全ての線形スペクトルに対して再構成合成を行い、合成待ちセンテンスに対応する音声を得、音声を再生モジュールに伝送し、再生モジュールによって音声を再生し、これにより、ユーザは、音声を聞いて目標対象のクエリ結果を知ることができる。
幾つかの実施例では、音声合成モジュールは、予測音声特徴に対して特徴変換を行い、線形スペクトルを得、線形スペクトルに対して再構成合成を行い、音声を得る。
音声合成装置は、Ｇｒｉｆｆｉｎ－Ｌｉｍアルゴリズムを用いて線形スペクトルに対して再構成合成を行い、音声を得ることができる。
なお、録音センテンスが真実の人間の録音音声から抽出された音声特徴を用いて予測されるため、予測音声特徴に対して特徴変換と合成を行った後、得られた音声の録音センテンスに対応する音声の音質がより良い。
音声合成装置は、予測音声特徴内の各音声特徴に対して特徴変換を行い、線形スペクトルを得、得られた全ての線形スペクトルに対して再構成合成を行い、合成待ちセンテンスに対応する音声を得、音声を再生モジュールに伝送し、再生モジュールによって音声を再生し、これにより、ユーザは、音声を聞いて目標対象のクエリ結果を知ることができる。
幾つかの実施例では、音声合成モジュールは、予測音声特徴に対して特徴変換を行い、線形スペクトルを得、線形スペクトルに対して再構成合成を行い、音声を得る。
音声合成装置は、Ｇｒｉｆｆｉｎ－Ｌｉｍアルゴリズムを用いて線形スペクトルに対して再構成合成を行い、音声を得ることができる。
なお、録音センテンスが真実の人間の録音音声から抽出された音声特徴を用いて予測されるため、予測音声特徴に対して特徴変換と合成を行った後、得られた音声の録音センテンスに対応する音声の音質がより良い。
【0054】
幾つかの実施例では、ステップＳ３０１の前に、音声合成方法は、次のステップをさらに含む。
Ｓ３００１において、少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得し、各サンプル合成センテンスがサンプル対象及びサンプル対象に関する参考クエリ結果を表す。
音声合成装置は、少なくとも１つのサンプル合成センテンス内の各サンプル合成センテンスに対して、サンプルキャラクタ系列を生成し、さらに少なくとも１つのサンプルキャラクタ系列を取得し、ここで、少なくとも１つのサンプル合成センテンス内のサンプル対象は、目標対象を含み、少なくとも１つのサンプル合成センテンスは、クエリ結果センテンスをさらに含むことができる。
Ｓ３００１において、少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得し、各サンプル合成センテンスがサンプル対象及びサンプル対象に関する参考クエリ結果を表す。
音声合成装置は、少なくとも１つのサンプル合成センテンス内の各サンプル合成センテンスに対して、サンプルキャラクタ系列を生成し、さらに少なくとも１つのサンプルキャラクタ系列を取得し、ここで、少なくとも１つのサンプル合成センテンス内のサンプル対象は、目標対象を含み、少なくとも１つのサンプル合成センテンスは、クエリ結果センテンスをさらに含むことができる。
【0055】
Ｓ３００２において、初期音声合成モデル、初期音声特徴及びサンプル合成センテンスに対応するサンプル音声特徴を取得し、初期音声合成モデルは、符号化処理及び予測を行うためのモデルである。
音声合成装置は、初期音声合成モデル、初期音声特徴及び各サンプル合成センテンスに対応するサンプル音声特徴を取得し、ここで、各サンプル合成センテンスに対応するサンプル音声特徴は、各サンプル合成センテンスの録音音声から得られるものである。
音声合成装置は、初期音声合成モデル、初期音声特徴及び各サンプル合成センテンスに対応するサンプル音声特徴を取得し、ここで、各サンプル合成センテンスに対応するサンプル音声特徴は、各サンプル合成センテンスの録音音声から得られるものである。
【0056】
Ｓ３００３において、サンプルキャラクタ系列、初期音声特徴及びサンプル音声特徴を利用して、初期音声合成モデルに対して訓練を行い、予め設定された符号化モデル、予め設定された復号モデル及び予め設定されたアテンションモデルを得る。
音声合成装置は、サンプルキャラクタ系列を予め設定された音声合成モデルの入力とし、予め設定された音声合成モデルは、サンプルキャラクタ系列に対して符号化処理を行い、サンプル特徴ベクトル集合を得、初期音声特徴を予め設定された音声合成モデルの入力とし、予め設定された音声合成モデルは、サンプル特徴ベクトル集合及び初期音声特徴に基づいて、参考音声特徴を予測し、予め設定された損失関数を用いて参考音声特徴及びサンプル音声特徴を計算し、誤差値を得、誤差値が予め設定された誤差閾値よりも大きい場合、誤差値が予め設定された誤差閾値以下になるまで、サンプル特徴ベクトル集合及び初期音声特徴に基づいて予測を続行する。
音声合成装置は、サンプルキャラクタ系列を予め設定された音声合成モデルの入力とし、予め設定された音声合成モデルは、サンプルキャラクタ系列に対して符号化処理を行い、サンプル特徴ベクトル集合を得、初期音声特徴を予め設定された音声合成モデルの入力とし、予め設定された音声合成モデルは、サンプル特徴ベクトル集合及び初期音声特徴に基づいて、参考音声特徴を予測し、予め設定された損失関数を用いて参考音声特徴及びサンプル音声特徴を計算し、誤差値を得、誤差値が予め設定された誤差閾値よりも大きい場合、誤差値が予め設定された誤差閾値以下になるまで、サンプル特徴ベクトル集合及び初期音声特徴に基づいて予測を続行する。
【0057】
幾つかの実施例では、予め設定された誤差関数は、絶対損失関数（Ｌ１ Ｌｏｓｓ）を含む。
なお、予め設定された音声合成モデルがサンプル特徴ベクトル集合と初期音声特徴に基づいて、参考音声特徴を予測するプロセスは、第ｉ－１フレームの音声特徴及び特徴ベクトル集合を入力とし、予め設定された復号モデル及び予め設定されたアテンションモデルを用いて、ｉ番目の音声特徴を予測するプロセスと同様であるため、ここでは説明を省略する。
なお、予め設定された音声合成モデルがサンプル特徴ベクトル集合と初期音声特徴に基づいて、参考音声特徴を予測するプロセスは、第ｉ－１フレームの音声特徴及び特徴ベクトル集合を入力とし、予め設定された復号モデル及び予め設定されたアテンションモデルを用いて、ｉ番目の音声特徴を予測するプロセスと同様であるため、ここでは説明を省略する。
【0058】
幾つかの実施例では、アウトバウンドコールシステムを例として、図４に示す音声合成方法は、次のステップを含む。
Ｓ４０１において、アウトバウンドコールシステムは、ある電話番号に「じゃあ一緒にテレビを見よう」というメッセージを残すクエリ要求を受けた時に、「じゃあ一緒にテレビを見よう」の音素系列を取得し、音素系列から録音センテンスの開始音素と終了音素、クエリ結果センテンスの開始音素と終了音素、及び合成待ちセンテンスの終了音素を決定する。
Ｓ４０１において、アウトバウンドコールシステムは、ある電話番号に「じゃあ一緒にテレビを見よう」というメッセージを残すクエリ要求を受けた時に、「じゃあ一緒にテレビを見よう」の音素系列を取得し、音素系列から録音センテンスの開始音素と終了音素、クエリ結果センテンスの開始音素と終了音素、及び合成待ちセンテンスの終了音素を決定する。
【0059】
アウトバウンドコールシステムは、「じゃあ一緒にテレビを見よう」というクエリ要求から、目標対象の録音センテンスが「じゃあ一緒に」であること、クエリ結果センテンスが「テレビを見よう」であることを決定し、「じゃあ一緒にテレビを見よう」が話術モードを満たすことを決定し、「じゃあ一緒にテレビを見よう」を合成待ちセンテンスとし、その音素系列を｛ｎ、ａ４、ｓｓ、ｚ、ａｎ２、ｉ、ｉａ３、ｓｓ、ｉ４、ｑ、ｉ３、ｓｓ、ｋ、ａｎ４、ｄ、ｉａｎ４、ｓｈ、ｉｉｉ４、ｓｓ、ｂ、ａ５、ｓｓ、ｓｉｌ｝として取得し、録音センテンスの開始音素及び終了音素が「ｎ」及び「ｑ」であり、クエリ結果センテンスの開始音素及び終了音素がそれぞれ「ｋ」及び「ｂ」であり、合成待ちセンテンスの終了音素がクエリ結果の終了音素と同じく「ｂ」であることを決定する。
なお、上記音素系列の「ｓｓ」は、合成待ちセンテンスの音声韻律を制御するためのキャラクタであり、当該キャラクタは、他の音素又は字母などであってもよく、音素系列には当該キャラクタが含まれてもよく、当該キャラクタが含まれなくてもよく、本発明の実施例で限定しない。
なお、上記音素系列の「ｓｓ」は、合成待ちセンテンスの音声韻律を制御するためのキャラクタであり、当該キャラクタは、他の音素又は字母などであってもよく、音素系列には当該キャラクタが含まれてもよく、当該キャラクタが含まれなくてもよく、本発明の実施例で限定しない。
【0060】
Ｓ４０２において、アウトバウンドコールシステムは、音素系列に対して符号化処理を行い、特徴ベクトル集合を得る。
アウトバウンドコールシステムは、音素系列における各音素に対応する特徴ベクトルを得、全ての音素の特徴ベクトルで特徴ベクトル集合を構成する。
Ｓ４０３において、アウトバウンドコールシステムは、要素が全てゼロである１つのベクトルを初期音声特徴として取得し、予め設定された録音センテンスライブラリから、「じゃあ一緒に」の録音音声メルスペクトルを取得する。
アウトバウンドコールシステムは、音素系列における各音素に対応する特徴ベクトルを得、全ての音素の特徴ベクトルで特徴ベクトル集合を構成する。
Ｓ４０３において、アウトバウンドコールシステムは、要素が全てゼロである１つのベクトルを初期音声特徴として取得し、予め設定された録音センテンスライブラリから、「じゃあ一緒に」の録音音声メルスペクトルを取得する。
【0061】
Ｓ４０４において、アウトバウンドコールシステムは、要素が全てゼロであるベクトル、予め設定された復号モデル、特徴ベクトル集合、予め設定されたアテンションモデル及び録音音声特徴に基づいて、「じゃあ一緒にテレビを見よう」に対応する予測音声特徴を予測する。
例示的に、図５は音素系列及びアテンション値との対応関係を示す概略図であり、図５における縦座標は「じゃあ一緒にテレビを見よう」の音素系列であり、横座標は、復号時刻であり、右側の符号５１は、アテンション値と色との対応関係を表し、色が薄いほどアテンション値が大きいことを示し、符号５１内の０．２、０．４、０．６及び０．８がアテンション値であり、図５から分かるように、１２番目の復号時刻に得られた第１２組のアテンション値において、アテンション値の最も大きい１２番目の目標音素が「ｑ」であり、即ち、録音センテンスの終了音素であることを決定し、これが１３番目の復号時刻がクエリ結果センテンスの復号時刻であることを示す。
例示的に、図５は音素系列及びアテンション値との対応関係を示す概略図であり、図５における縦座標は「じゃあ一緒にテレビを見よう」の音素系列であり、横座標は、復号時刻であり、右側の符号５１は、アテンション値と色との対応関係を表し、色が薄いほどアテンション値が大きいことを示し、符号５１内の０．２、０．４、０．６及び０．８がアテンション値であり、図５から分かるように、１２番目の復号時刻に得られた第１２組のアテンション値において、アテンション値の最も大きい１２番目の目標音素が「ｑ」であり、即ち、録音センテンスの終了音素であることを決定し、これが１３番目の復号時刻がクエリ結果センテンスの復号時刻であることを示す。
【0062】
Ｓ４０５において、アウトバウンドコールシステムは、予測音声特徴に対して特徴変換と合成を行い、「じゃあ一緒にテレビを見よう」に対応する音声を得る。
Ｓ４０６において、アウトバウンドコールシステムは、ある電話番号をダイヤルし、ユーザが電話に出た後に音声をユーザに再生する。
音声合成装置は、予め設定された復号モデル、特徴ベクトル集合、予め設定されたアテンションモデル及び録音音声特徴に基づいて、合成待ちセンテンスに対応する予測音声特徴を予測して得る。合成待ちセンテンスに録音センテンス及びクエリ結果センテンスが含まれ、つまり、録音センテンスとクエリ結果センテンスの両方ともに対して、対応する予測音声特徴を予測して得て、しかも予測音声特徴が関連し合う複数の音声特徴で構成されるため、録音音声と合成音声との発話速度、音調などが異なる問題が解決され、これにより、予測音声特徴によって得られた音声の韻律の整合性があり、次に、合成待ちセンテンスに対応する予測音声特徴に対して特徴変換と合成を行って音声を得ることにより、録音音声を結合して音声を合成する時の遷移時間長の不確定性の問題が回避され、合成された音声の品質が向上する。
Ｓ４０６において、アウトバウンドコールシステムは、ある電話番号をダイヤルし、ユーザが電話に出た後に音声をユーザに再生する。
音声合成装置は、予め設定された復号モデル、特徴ベクトル集合、予め設定されたアテンションモデル及び録音音声特徴に基づいて、合成待ちセンテンスに対応する予測音声特徴を予測して得る。合成待ちセンテンスに録音センテンス及びクエリ結果センテンスが含まれ、つまり、録音センテンスとクエリ結果センテンスの両方ともに対して、対応する予測音声特徴を予測して得て、しかも予測音声特徴が関連し合う複数の音声特徴で構成されるため、録音音声と合成音声との発話速度、音調などが異なる問題が解決され、これにより、予測音声特徴によって得られた音声の韻律の整合性があり、次に、合成待ちセンテンスに対応する予測音声特徴に対して特徴変換と合成を行って音声を得ることにより、録音音声を結合して音声を合成する時の遷移時間長の不確定性の問題が回避され、合成された音声の品質が向上する。
【0063】
実施例２
本発明の実施例１の同じ発明の概念に基づいて、さらなる説明を行う。
本発明の実施例は、音声合成装置６を提供する。当該装置６は、系列生成モジュール６１と、音声合成モジュール６２と取得モジュール６３とを備る。
本発明の実施例１の同じ発明の概念に基づいて、さらなる説明を行う。
本発明の実施例は、音声合成装置６を提供する。当該装置６は、系列生成モジュール６１と、音声合成モジュール６２と取得モジュール６３とを備る。
【0064】
系列生成モジュール６１は、合成待ちセンテンスのキャラクタ系列を取得するように構成され、合成待ちセンテンスには目標対象を表す録音センテンスと目標対象に関するクエリ結果センテンスとが含まれる。
音声合成モジュール６２は、予め設定された符号化モデルを用いて、キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るように構成される。
取得モジュール６３は、録音センテンスに対応する録音音声特徴を取得するように構成される。
音声合成モジュール６２は、予め設定された符号化モデルを用いて、キャラクタ系列に対して符号化処理を行い、特徴ベクトル集合を得るように構成される。
取得モジュール６３は、録音センテンスに対応する録音音声特徴を取得するように構成される。
【0065】
音声合成モジュール６２は、さらに予め設定された復号モデル、特徴ベクトル集合、予め設定されたアテンションモデル及び録音音声特徴に基づいて、合成待ちセンテンスに対応する音声特徴を予測し、合成待ちセンテンスに対応する予測音声特徴を得、予め設定されたアテンションモデルは、特徴ベクトル集合を用いて、復号するためのコンテキストベクトルを生成するモデルであり、予測音声特徴は、関連し合う少なくとも１つの音声特徴で構成され、予測音声特徴に対して特徴変換と合成を行い、合成待ちセンテンスに対応する音声を得るように構成される。
【0066】
幾つかの実施例では、音声合成モジュール６２は、ｉが１に等しい場合、ｉ番目の復号時刻に、初期音声特徴を取得し、初期音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、１番目の音声特徴を予測し、ｉが０よりも大きい整数であり、
ｉが１よりも大きい場合、ｉ番目の復号時刻が録音センテンスの復号時刻である場合、録音音声特徴から第ｊフレームの音声特徴を取り出し、第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づて、ｉ番目の音声特徴を予測し、ｊが０よりも大きい整数であり、
ｉが１よりも大きい場合、ｉ番目の復号時刻が録音センテンスの復号時刻である場合、録音音声特徴から第ｊフレームの音声特徴を取り出し、第ｊフレームの音声特徴を第ｉ－１フレームの音声特徴とし、第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づて、ｉ番目の音声特徴を予測し、ｊが０よりも大きい整数であり、
【0067】
ｉ番目の復号時刻がクエリ結果センテンスの復号時刻である場合、ｉ－１番目の音声特徴のうちの１フレームの音声特徴を第ｉ－１フレームの音声特徴とし、第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測し、
合成待ちセンテンスの復号が完了してｎ番目の音声特徴を得るまで、ｉ＋１番目の復号時刻の予測プロセスを続行し、ｎが合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であり、
得られたｉ番目の音声特徴～ｎ番目の音声特徴を予測音声特徴とするように構成される。
合成待ちセンテンスの復号が完了してｎ番目の音声特徴を得るまで、ｉ＋１番目の復号時刻の予測プロセスを続行し、ｎが合成待ちセンテンスの復号時刻の総フレーム数であり、且つ１よりも大きい整数であり、
得られたｉ番目の音声特徴～ｎ番目の音声特徴を予測音声特徴とするように構成される。
【0068】
幾つかの実施例では、予め設定された復号モデルは、第１リカレントニューラルネットワークと第２リカレントニューラルネットワークとを含み、
音声合成モジュール６２は、第ｉ－１フレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得、第１リカレントニューラルネットワークを利用して、中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、予め設定されたアテンションモデルを利用して、特徴ベクトル集合及びｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、第２リカレントニューラルネットワークを利用して、ｉ番目のコンテキストベクトル及びｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、予め設定されたフレーム数に従って、ｉ番目の隠れ変数に対して線形変換を行い、ｉ番目の音声特徴を得るように構成される。
音声合成モジュール６２は、第ｉ－１フレームの音声特徴に対して非線形変換を行い、中間特徴ベクトルを得、第１リカレントニューラルネットワークを利用して、中間特徴ベクトルに対してマトリックス演算及び非線形変換を行い、ｉ番目の中間隠れ変数を得、予め設定されたアテンションモデルを利用して、特徴ベクトル集合及びｉ番目の中間隠れ変数に対してコンテキストベクトル計算を行い、ｉ番目のコンテキストベクトルを得、第２リカレントニューラルネットワークを利用して、ｉ番目のコンテキストベクトル及びｉ番目の中間隠れ変数に対してマトリックス演算及び非線形変換を行い、ｉ番目の隠れ変数を得、予め設定されたフレーム数に従って、ｉ番目の隠れ変数に対して線形変換を行い、ｉ番目の音声特徴を得るように構成される。
【0069】
幾つかの実施例では、特徴ベクトル集合にはキャラクタ系列の各キャラクタに対応する特徴ベクトルが含まれ、
音声合成モジュール６２は、予め設定されたアテンションモデルを利用して、キャラクタ系列の各キャラクタに対応する特徴ベクトルとｉ番目の中間隠れ変数とに対してアテンションの計算を行い、第ｉ組のアテンション値を得、第ｉ組のアテンション値に基づいて、特徴ベクトル集合に対して加重和を計算し、ｉ番目のコンテキストベクトルを得るように構成される。
音声合成モジュール６２は、予め設定されたアテンションモデルを利用して、キャラクタ系列の各キャラクタに対応する特徴ベクトルとｉ番目の中間隠れ変数とに対してアテンションの計算を行い、第ｉ組のアテンション値を得、第ｉ組のアテンション値に基づいて、特徴ベクトル集合に対して加重和を計算し、ｉ番目のコンテキストベクトルを得るように構成される。
【0070】
幾つかの実施例では、音声合成モジュール６２は、さらに第ｉ－１フレームの音声特徴、予め設定された復号モデル、特徴ベクトル集合及び予め設定されたアテンションモデルに基づいて、ｉ番目の音声特徴を予測した後、ｉ＋１番目の復号時刻の予測プロセスを続行する前に、第ｉ組のアテンション値から最大アテンション値に対応するｉ番目の目標キャラクタを決定し、
ｉ番目の目標キャラクタが録音センテンスの非終了キャラクタである場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタがクエリ結果センテンスの非終了キャラクタである場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタが録音センテンスの終了キャラクタであり、且つ録音センテンスの終了キャラクタが合成待ちセンテンスの終了キャラクタではない場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタがクエリ結果センテンスの終了キャラクタであり、且つクエリ結果センテンスの終了キャラクタが合成待ちセンテンスの終了キャラクタではない場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタが合成待ちセンテンスの終了キャラクタである場合、ｉ＋１番目の復号時刻が合成待ちセンテンスの復号終了時刻であることを決定するように構成される。
ｉ番目の目標キャラクタが録音センテンスの非終了キャラクタである場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタがクエリ結果センテンスの非終了キャラクタである場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタが録音センテンスの終了キャラクタであり、且つ録音センテンスの終了キャラクタが合成待ちセンテンスの終了キャラクタではない場合、ｉ＋１番目の復号時刻がクエリ結果センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタがクエリ結果センテンスの終了キャラクタであり、且つクエリ結果センテンスの終了キャラクタが合成待ちセンテンスの終了キャラクタではない場合、ｉ＋１番目の復号時刻が録音センテンスの復号時刻であることを決定し、
及び／又は、ｉ番目の目標キャラクタが合成待ちセンテンスの終了キャラクタである場合、ｉ＋１番目の復号時刻が合成待ちセンテンスの復号終了時刻であることを決定するように構成される。
【0071】
幾つかの実施例では、音声合成モジュール６２は、キャラクタ系列に対してベクトル変換を行い、初期特徴ベクトル集合を得、初期特徴ベクトル集合に対して非線形変換及び特徴抽出を行い、特徴ベクトル集合を得るように構成される。
幾つかの実施例では、音声合成モジュール６２は、予測音声特徴に対して特徴変換を行い、線形スペクトルを得、線形スペクトルに対して再構成合成を行い、音声を得るように構成される。
幾つかの実施例では、キャラクタ系列は、字母系列又は音素系列である。
幾つかの実施例において、装置６は、訓練モジュール６０をさらに備え、
幾つかの実施例では、音声合成モジュール６２は、予測音声特徴に対して特徴変換を行い、線形スペクトルを得、線形スペクトルに対して再構成合成を行い、音声を得るように構成される。
幾つかの実施例では、キャラクタ系列は、字母系列又は音素系列である。
幾つかの実施例において、装置６は、訓練モジュール６０をさらに備え、
【0072】
訓練モジュールは、合成待ちセンテンスのキャラクタ系列を取得するステップの前に、少なくとも１つのサンプル合成センテンスにそれぞれ対応するサンプルキャラクタ系列を取得し、各サンプル合成センテンスがサンプル対象及びサンプル対象に関する参考クエリ結果を表し、初期音声合成モデル、初期音声特徴及びサンプル合成センテンスに対応するサンプル音声特徴を取得し、初期音声合成モデルは、符号化処理及び予測を行うためのモデルであり、サンプルキャラクタ系列、初期音声特徴及びサンプル音声特徴を利用して、初期音声合成モデルに対して訓練を行い、予め設定された符号化モデル、予め設定された復号モデル及び予め設定されたアテンションモデルを得るように構成される。
【0073】
なお、実際の応用において、上記訓練モジュール６０、系列生成モジュール６１、音声合成モジュール６２及び取得モジュール６３は、さらに音声合成装置７上に位置するプロセッサ７４によって実現されてもよく、具体的には、ＣＰＵ（中央プロセッサ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ：マイクロプロセッサユニット）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ：デジタル信号プロセッサ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などによって実現されてもよい。
【0074】
本発明の実施例は、音声合成装置７をさらに提供する。図７に示すように当該装置７は、プロセッサ７４と、メモリ７５と通信バス７６とを備え、メモリ７５は、通信バス７６を介してプロセッサ７４と通信し、メモリ７５は、プロセッサ７４で実行可能な１つ又は複数の音声合成プログラムを記憶し、１つ又は複数の音声合成プログラムが実行される場合、プロセッサ７４により上記実施例で説明されたいずれかの音声合成方法を実行する。
実際の応用において、メモリ７５は、第１揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば第１ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又は第１不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば第１読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、第１フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）、又は上記のタイプの第１メモリの組み合わせであってもよく、プロセッサ７４にプログラム及びデータを提供する。
実際の応用において、メモリ７５は、第１揮発性メモリ（ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば第１ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ－Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又は第１不揮発性メモリ（ｎｏｎ－ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば第１読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、第１フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）、ハードディスクドライブ（ＨＤＤ：Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はソリッドステートドライブ（ＳＳＤ：Ｓｏｌｉｄ－Ｓｔａｔｅ Ｄｒｉｖｅ）、又は上記のタイプの第１メモリの組み合わせであってもよく、プロセッサ７４にプログラム及びデータを提供する。
【0075】
本発明の実施例は、コンピュータ可読記憶媒体を提供し、コンピュータ可読記憶媒体は、音声合成プログラムが記憶されており、前記合成プログラムがプロセッサ７４に実行される場合、前記プロセッサ７４が上記実施例で記載される任意の音声合成方法を実行することを実現する。
当業者であれば、本発明の実施例は、方法、システム、又はコンピュータプログラム製品として提供されてもよいと理解すべきである。したがって、本発明は、ハードウェア実施例、ソフトウェア実施例、又はソフトウェアとハードウェアを組み合わせる実施例の形態を採用してもよい。また、本発明は、コンピュータで利用可能なプログラムコードを含む１つ又は複数のコンピュータ利用可能記憶媒体（磁気ディスクメモリ及び光メモリ等を含むがこれらに限らない）で実施されるコンピュータプログラム製品の形態を採用できる。
当業者であれば、本発明の実施例は、方法、システム、又はコンピュータプログラム製品として提供されてもよいと理解すべきである。したがって、本発明は、ハードウェア実施例、ソフトウェア実施例、又はソフトウェアとハードウェアを組み合わせる実施例の形態を採用してもよい。また、本発明は、コンピュータで利用可能なプログラムコードを含む１つ又は複数のコンピュータ利用可能記憶媒体（磁気ディスクメモリ及び光メモリ等を含むがこれらに限らない）で実施されるコンピュータプログラム製品の形態を採用できる。
【0076】
本発明は、本発明の実施例による方法、デバイス（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明される。コンピュータプログラムコマンドによってフローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図におけるフロー及び／又はブロックの組み合わせを実現できると理解すべきである。これらのコンピュータプログラムコマンドを汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブル音声合成デバイスのプロセッサに提供して１つの機械を生成することができ、これにより、コンピュータ又は他のプログラマブル音声合成デバイスのプロセッサで実行されるコマンドは、フローチャートの１つのフロー又は複数のフロー及び／又はブロック図の１つのブロック又は複数のブロックに指定された機能を実現するための装置を生成する。
【0077】
これらのコンピュータプログラムコマンドは、特定の動作方式で動作するようにコンピュータ又は他のプログラマブル音声合成デバイスを案内することができるコンピュータ可読メモリに記憶されてもよく、これにより、当該コンピュータ可読メモリに記憶されたコマンドは、コマンド装置を含む製造品を生成し、当該コマンド装置は、フローチャートの１つのフロー又は複数のフロー及び／又はブロック図の１つのブロック又は複数のブロックに指定された機能を実現する。
【0078】
これらのコンピュータプログラムコマンドは、コンピュータ又は他のプログラマブル音声合成デバイスにロードされてもよく、これにより、コンピュータ又は他のプログラマブル音声合成デバイスで一連の動作ステップを実行してコンピュータで実現される処理を生成し、それによってコンピュータ又は他のプログラマブル音声合成デバイスで実行されるコマンドは、フローチャートの１つのフロー又は複数のフロー及び／又はブロック図の１つのブロック又は複数のブロックに指定された機能を実現するためのステップを提供する。
【0079】
本発明で提供される幾つかの方法の実施例で開示される方法を衝突しない前提で任意に組み合わせて新しい方法の実施例を得ることができる。
本発明で提供される幾つかの製品の実施例で開示される特徴を衝突しない前提で任意に組み合わせて新しい製品の実施例を得ることができる。
本発明で提供される幾つかの方法又はデバイスの実施例で開示される特徴を衝突しない前提で任意に組み合わせて新しい方法の実施例又はデバイスの実施例を得ることができる。
上記は、本発明の好ましい実施例に過ぎず、本発明の保護範囲を限定するものではない。
本発明で提供される幾つかの製品の実施例で開示される特徴を衝突しない前提で任意に組み合わせて新しい製品の実施例を得ることができる。
本発明で提供される幾つかの方法又はデバイスの実施例で開示される特徴を衝突しない前提で任意に組み合わせて新しい方法の実施例又はデバイスの実施例を得ることができる。
上記は、本発明の好ましい実施例に過ぎず、本発明の保護範囲を限定するものではない。
【産業上の利用可能性】
【0080】
本発明の実施例は、音声合成方法及び装置、記憶媒体を提供し、予め設定された復号モデル、特徴ベクトル集合、予め設定されたアテンションモデル及び録音音声特徴に基づいて、合成待ちセンテンスに対応する予測音声特徴を予測し、合成待ちセンテンスに録音センテンス及びクエリ結果センテンスが含まれ、つまり、録音センテンスとクエリ結果センテンスの両方ともに対して、対応する予測音声特徴を予測して得て、しかも予測音声特徴が関連し合う複数の音声特徴で構成されるため、録音音声と合成音声との発話速度、音調などが異なる問題が解決され、これにより、予測音声特徴によって得られた音声の韻律の整合性があり、次に、合成待ちセンテンスに対応する予測音声特徴に対して特徴変換と合成を行って音声を得ることにより、録音音声を結合して音声を合成する時の遷移時間長の不確定性の問題が回避され、合成された音声の品質が向上する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
