特開 2024-132588 音声合成装置、予測装置、音声合成システム、音声合成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024132588

(43)【公開日】2024-10-01

(54)【発明の名称】音声合成装置、予測装置、音声合成システム、音声合成方法及びプログラム

(51)【国際特許分類】

   G10L 13/08 20130101AFI20240920BHJP

   G10L 13/06 20130101ALI20240920BHJP

【ＦＩ】

G10L13/08 122

G10L13/08 124

G10L13/06 200

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023043422

(22)【出願日】2023-03-17

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和４年３月１８日に「コーネル大学ウェブサイト」ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２２０３．０９９６１にて発表 令和４年６月にＴｈｅ １３ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｎｇｕａｇｅ Ｒｅｓｏｕｒｃｅｓ ａｎｄ Ｅｖａｌｕａｔｉｏｎ（ＬＲＥＣ ２０２２）にてＵＳＢメモリを配布 令和４年６月にＴｈｅ １３ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｎｇｕａｇｅ Ｒｅｓｏｕｒｃｅｓ ａｎｄ Ｅｖａｌｕａｔｉｏｎ（ＬＲＥＣ ２０２２）にて発表 令和４年６月にｔｈｅ １３ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｎｇｕａｇｅ Ｒｅｓｏｕｒｃｅｓ ａｎｄ Ｅｖａｌｕａｔｉｏｎ（ＬＲＥＣ ２０２２）の論文集にて発表 令和４年６月にＴｈｅ １３ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｎｇｕａｇｅ Ｒｅｓｏｕｒｃｅｓ ａｎｄ Ｅｖａｌｕａｔｉｏｎ（ＬＲＥＣ ２０２２）ウェブサイトにてビデオを公開 令和４年６月にＴｈｅ １３ｔｈ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌａｎｇｕａｇｅ Ｒｅｓｏｕｒｃｅｓ ａｎｄ Ｅｖａｌｕａｔｉｏｎ（ＬＲＥＣ ２０２２）ウェブサイトにて資料を公開 令和４年８月３１日に日本音響学会第１４８回（２０２２季）研究発表会予稿集にて発表 令和４年９月１６日に日本音響学会第１４８回（２０２２年秋季）研究発表会にて発表 令和４年１０月１８日にコーネル大学ウェブサイト」ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２２１０．０９８１５にて発表 令和５年１月２６日に修士論文審査会にて発表

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和２年度 国立研究開発法人科学技術振興機構、ムーンショット型研究開発事業「誰もが自在に活躍できるアバター共生社会の実現」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】高道 慎之介

(72)【発明者】

【氏名】松永 裕太

(72)【発明者】

【氏名】佐伯 高明

(72)【発明者】

【氏名】猿渡 洋

(57)【要約】

【課題】非流暢性を含む合成音声の人間らしさを向上すること。
【解決手段】音声合成装置は、フィラー部分を含む第１のテキストに関する情報を取得する取得部と、前記第１のテキストに含まれる第１の言語部分に対応する音声と前記フィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデルに基づいて、前記第１のテキストに対応する音声を合成する音声合成部と、を備える。
【選択図】図５

【特許請求の範囲】

【請求項1】

フィラー部分を含む第１のテキストに関する情報を取得する取得部と、
前記第１のテキストに含まれる第１の言語部分に対応する音声と前記フィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデルに基づいて、前記第１のテキストに対応する音声を合成する音声合成部と、
を備える音声合成装置。

【請求項2】

前記第１の言語部分に対応する音声と、前記第２の言語部分に対応する音声との間の一貫性を保証する損失を用いて、前記音声合成モデルの学習を行う学習部、
を更に備える請求項１記載の音声合成装置。

【請求項3】

前記学習部は、真のフィラー部分を含む第３のテキストに含まれる第３の言語部分に関する第１の損失と、疑似フィラー部分を含む第４のテキストに含まれる第４の言語部分に関する第２の損失と、を算出し、前記第１の損失と前記第２の損失とに基づいて前記一貫性を保証する前記損失を算出する、
を更に備える請求項２記載の音声合成装置。

【請求項4】

前記音声合成モデルは、前記第３のテキストと前記第３のテキストに対応する音声とのペアを用いて事前学習されたモデルを教師モデルとする生徒モデルであり、
前記学習部は、前記真のフィラー部分と第３の言語部分とを含む前記第３のテキストに関する情報を前記生徒モデルに入力して得られる前記第３の言語部分の中間表現と、前記第３の言語部分に関する情報を前記教師モデルに入力して得られる中間表現と、の間の距離に基づいて、前記第１の損失を算出する、
請求項３記載の音声合成装置。

【請求項5】

前記学習部は、前記疑似フィラー部分と第４の言語部分とを含む前記第４のテキストに関する情報を前記生徒モデルに入力して得られる前記第４の言語部分の中間表現と、前記第４の言語部分に関する情報を前記教師モデルに入力して得られる中間表現と、の間の距離に基づいて、前記第２の損失を算出する、
請求項４記載の音声合成装置。

【請求項6】

話者又は前記話者が属するグループに依存する予測モデルを用いて、前記第４のテキスト内の前記疑似フィラー部分の位置及びワードを予測する予測部
を更に備える請求項５記載の音声合成装置。

【請求項7】

フィラー部分を含まない第２のテキストに関する情報を取得する取得部と、
話者又は前記話者が属するグループに依存する予測モデルに基づいて、前記第２のテキストに対して挿入される前記フィラー部分の位置及びワードを予測する予測部と、
予測された前記位置及び前記ワードのフィラー部分を含む第１のテキストに関する情報を出力する出力部と、
を備える予測装置。

【請求項8】

複数の話者の話者データに含まれる前記フィラー部分の位置及びワードの少なくとも一つに基づいて前記複数の話者を複数のグループにグループ化するグループ化部と、
前記複数のグループそれぞれに対応する複数の予測モデルを記憶する記憶部と、
前記複数の予測モデルの中から、前記フィラー部分の位置及びワードの少なくとも一つに関する前記話者の傾向に基づいて前記話者が属するグループの前記予測モデルを選択する選択部、
を更に備える請求項７に記載の予測装置。

【請求項9】

請求項１から請求項６のいずれか記載の音声合成装置と、請求項７又は請求項８記載の予測装置と、を含む音声合成システムであって、
前記音声合成装置の前記取得部は、前記予測装置の前記出力部から出力された前記フィラー部分を含む前記第１のテキストに関する情報を取得する、
音声合成システム。

【請求項10】

音声合成装置が、
フィラー部分を含む第１のテキストに関する情報を取得する工程と、
前記第１のテキストに含まれる第１の言語部分に対応する音声と前記フィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデルに基づいて、前記第１のテキストに対応する音声を合成する工程と、
を有する音声合成方法。

【請求項11】

予測装置が、
フィラー部分を含まない第２のテキストに関する情報を取得する工程と、
話者又は前記話者が属するグループに依存する予測モデルに基づいて、前記第２のテキストに対して挿入される前記フィラー部分の位置及びワードを予測する工程と、
予測された前記位置及び前記ワードのフィラー部分を含む第１のテキストに関する情報を出力する工程と、
を有する音声合成方法。

【請求項12】

コンピュータを、
フィラー部分を含む第１のテキストに関する情報を取得する取得部と、
前記第１のテキストに含まれる第１の言語部分に対応する音声と前記フィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデルに基づいて、前記第１のテキストに対応する音声を合成する音声合成部と、
して機能させるためのプログラム。

【請求項13】

コンピュータを、
フィラー部分を含まない第２のテキストに関する情報を取得する取得部と、
話者又は前記話者が属するグループに依存する予測モデルに基づいて、前記第２のテキストに対して挿入される前記フィラー部分の位置及びワードを予測する予測部と、
予測された前記位置及び前記ワードのフィラー部分を含む第１のテキストに関する情報を出力する出力部と、
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声合成装置、予測装置、音声合成システム、音声合成方法及びプログラムに関する。

【背景技術】

【0002】

従来、テキストから人間のような自然な音声を人工的に合成するテキスト音声合成（ＴＴＳ）が知られている（例えば、非特許文献１）。深層学習を用いたＴＴＳの発展により、読み上げ音声については、人間に近い自然な音声の合成が可能となっている（例えば、非特許文献２）。また、非個人性化（Non-personalized）モデルを用いて、流暢なテキストから非流暢性（disfluency）（例えば、フィラー）を含むテキストを生成する技術も知られている（例えば、非特許文献３）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Y. Sagisaka, “Speech synthesis by rule using an optimal selection of non-uniform synthesis units,” in Proc. ICASSP, Apr. 1988, pp. 679-682.

【非特許文献2】J. Shen et al., “Natural tts synthesis by conditioning wavenet on mel spectrogram predictions,” in Proc. ICASSP, Apr. 2018, pp. 4779-4783.

【非特許文献3】Yamazaki et al., “Filter prediction based on bidirectional lstm for generation of natural response of spoken dialog” in Proc. GCCE, pages 360-361.

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、以上の従来技術では、非流暢性を含む合成音声（例えば、フィラーを含む自発音声等）の人間らしさを実現するには至っていない。例えば、上記非特許文献３により生成された非流暢性を含むテキストから音声を合成しても、非流暢性の個人性の欠如する結果、非流暢性を含む合成音声の人間らしさを十分に実現できない恐れがある。また、非流暢性を含むテキストから音声を合成する場合、当該テキスト内の言語部分の合成音声の品質が低下する結果、非流暢性を含む合成音声の人間らしさを十分に実現できない恐れがある。

【0005】

そこで、本開示は、非流暢性を含む合成音声の人間らしさを向上可能な音声合成装置、予測装置、音声合成システム、音声合成方法及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る音声合成装置は、フィラー部分を含む第１のテキストに関する情報を取得する取得部と、前記第１のテキストに含まれる第１の言語部分に対応する音声と前記フィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデルに基づいて、前記第１のテキストに対応する音声を合成する音声合成部と、を備える。

【0007】

本開示の一態様に係る予測装置は、フィラー部分を含まない第２のテキストに関する情報を取得する取得部と、話者又は前記話者が属するグループに依存する予測モデルに基づいて、前記第２のテキストに対して挿入される前記フィラー部分の位置及びワードを予測する予測部と、予測された前記位置及び前記ワードのフィラー部分を含む第１のテキストに関する情報を出力する出力部と、を備える。

【0008】

本開示の一態様に係る音声合成システムは、前記フィラー部分を含まない第２のテキストに関する情報を取得する取得部と、話者又は前記話者が属するグループに依存する予測モデルに基づいて、前記第２のテキストに対して挿入される前記フィラー部分の位置及びワードを予測する予測部と、予測された前記位置及び前記ワードのフィラー部分を含む前記第１のテキストに関する情報を出力する出力部と、を備える予測装置と、前記第１のテキストに関する情報を取得する取得部と、前記第１のテキストに含まれる第１の言語部分に対応する音声と前記フィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデルに基づいて、前記第１のテキストに対応する音声を合成する音声合成部と、を備える音声合成装置と、を備える。

【発明の効果】

【0009】

本開示の一態様によれば、非流暢性を含む合成音声の人間らしさを向上できる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る自発音声合成モデルの概要を示す図である。

【図2】本実施形態に係る予測モデル１の概念図である。

【図3】本実施形態に係るグループに依存する予測モデル１の一例を示す図である。

【図4】本実施形態に係るグループ化の一例を示す図である。

【図5】本実施形態に係る音声合成モデル２の一例を示す図である。

【図6】本実施形態に係る音声合成モデル２の品質改善に向けた事前調査の一例を示す図である。

【図7】本実施形態に係る音声合成モデル２の一貫性保証学習の一例を示す図である。

【図8】本実施形態に係る音声合成システムを構成する装置の物理構成の一例を示す図である。

【図9】本実施形態に係る予測装置１０の機能構成の一例を示す図である。

【図10】本実施形態に係る音声合成装置２０の機能構成の一例を示す図である。

【図11】本実施形態に係るグループ依存の予測モデル１を用いた予測装置１０及び従来例に係る装置による予測精度の評価の結果を示す図である。

【図12】本実施形態に係る音声合成モデル２を用いた音声合成装置２０及び従来例に係る装置による合成音声の評価の結果を示す図である。

【図13】本実施形態に係る音声合成システムの動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。以下では、非流暢性を含む音声との一例として自発音声を挙げるが、これに限られないことは勿論である。また、非流暢性の一例としてフィラーに着目するが、これに限られず、フィラーは非流暢性を形成する他の要素に変換可能である。

【0012】

また、複数のテキストの識別のために「第１」～「第４」を便宜上付与したが、これらは時系列の順番や、当該複数のテキストの数等を示すものではなく、当該複数のテキストを識別できる限り「第１」～「第４」の標記が入れ替えられてもよいし、「第１」～「第４」が省略されてもよい。言語部分に付された「第１」～「第４」についても同様である。

【0013】

（自発音声合成モデル）
図１は、本実施形態に係る自発音声合成モデルの概要を示す図である。図１に示すように、本実施形態に係る自発音声合成モデルは、フィラー部分を含まない第２のテキストにフィラー部分を挿入する予測モデル１と、フィラー部分を含む第１のテキストに基づいてフィラー部分を含む音声を合成する音声合成モデル２と、を含むモデルである。なお、フィラー部分は、一以上の連続又は不連続のフィラーを含む。

【0014】

例えば、図１では、フィラー部分を含まない第２のテキスト（例えば、「I’ll explain the theory」）に関する情報（以下、「第２のテキスト情報」という）が予測モデル１に入力される。第２のテキスト情報は、第２のテキスト自体であってもよいし、第２のテキストから生成されるワード表現であってもよい。ワード表現とは、テキスト内の各ワード（例えば、「I’ll」、「explain」、「the」、「theory」）のベクトル又は特徴量等であってもよい。なお、ワードは、形態素又は音素等と言い換えられてもよい。

【0015】

予測モデル１では、当該ワード表現に基づいて、当該テキストに挿入されるフィラー部分の位置及びワードが予測される。具体的には、予測モデル１では、第２のテキスト内のどのワード間の境界（以下、「ワード境界」という）にフィラー用のワード（以下、「フィラーワード」）を挿入するかと、挿入されるフィラーワードと、が予測される。フィラーワードは、例えば、えー（ee）、え（e）、ま（ma）、あの（ano）、あのー（anoo）、まー（maa）、えーと（eeto）、あ（a）、あー（aa）、ん（n）、んー（nn）、えっと（etto）、あーのー（aanoo）等である。

【0016】

例えば、図１では、当該第２のテキストの「the」と「theory」との間にワード境界にフィラーワード「uh」が挿入されると予測される。予測モデル１からは、予測された位置にフィラーワードが挿入された第１のテキスト（例えば、「I’ll explain the uh theory」）に関する情報（以下、「第１のテキスト情報」という）が出力される。第１のテキスト情報は、当該第１のテキスト自体であってもよいし、第１のテキストに対応するワード表現であってもよい。

【0017】

なお、図示しないが、予測モデル１は、一以上のモジュールを有してもよい。例えば、予測モデル１は、フィラー部分を含まない第２のテキストからワード表現を生成するワード埋め込み（word embedding）用のモジュールと、第２のテキストに挿入されるフィラー部分の位置及びワードを予測する予測モデル用のモジュールとを含んでもよい。

【0018】

予測モデル１から出力された第１のテキスト「I’ll explain the uh theory」は音声合成モデル２に入力される。第１のテキストは音素に分割され、各音素は、各音素がフィラーであるか否かを示す情報（以下、「フィラータグ」という）とともに、音声合成モデル２に入力されてもよい。音声合成モデル２では、各音素の特徴量が抽出され、当該特徴量に基づいて音声パラメータが生成されてもよい。当該音声パラメータは、例えば、メルスペクトログラム（Mel-spectrogram）又はメル周波数ケプストラム係数（Mel Frequency Cepstral Coefficient：ＭＦＣＣ）であってもよい。

【0019】

なお、図示しないが、音声合成モデル２は、一以上のモジュールを有してもよい。例えば、音声合成モデル２は、各音素の特徴量を抽出するエンコーダ（encoder）、当該特徴量から音声パラメータを生成するデコーダ（decoder）を含んでもよい。また、音声合成モデル２は、エンコーダ及びデコーダに加えて、ピッチを予測するモジュール（以下、「ピッチプレディクター（pitch predictor）」という）、期間を予測するモジュール（以下、「期間プレディクター（duration predictor）」という）及びエネルギーを予測するモジュール（以下、「エネルギープレディクター（energy predictor）」という）の少なくとも一つを含んでもよい。各モジュールからの出力は中間表現（intermediate representation）と呼ばれてもよい。例えば、音声合成モデル２としてseq2seqのFastSpeech2を用いる場合、音声合成モデル２は、エンコーダ、ピッチプレディクター、期間プレディクター、エネルギープレディクター及びデコーダを含んでもよい。

【0020】

図１に示す自発音声合成モデルによると、予測モデル１を用いた言語的なフィラー予測によりフィラー部分を含まない第２のテキストからフィラー部分を含む第１のテキストが生成される。また、音声合成モデル２を用いた音声言語的なフィラー挿入により、当該第１のテキストからフィラー部分を含む音声が生成される。予測モデル１と音声合成モデル２との双方を用いることにより、言語的なフィラー予測の精度及び音声言語的なフィラー挿入の精度のそれぞれを、言語的なデータおよび音声言語的なデータを用いて向上できるので、非流暢性を含む合成音声の人間らしさを向上できる。

【0021】

（予測モデル）
図２～４を参照し、本実施形態に係る予測モデル１について説明する。予測モデル１は、話者（speaker）又は話者が属するグループに依存するモデルであってもよい。

【0022】

図２は、本実施形態に係る予測モデル１の概念図である。図２（ａ）に示すように、フィラー部分を含まない第２のテキストに対してフィラー部分を挿入する際に、話者又はグループに依存しない予測モデル１を用いると、話者に関係なく、同一の位置に同一のフィラーワードが挿入されたテキスト（例えば、「I’ll explain (uh) FP prediction」）が生成されてしまう恐れがある。

【0023】

一方、図２（ｂ）に示すように、フィラー部分を含まない第２のテキストに対してフィラー部分を挿入する際に、話者又はグループに依存する予測モデル１を用いると、話者又はグループに基づいて決定された位置にフィラーワードが挿入された第１のテキストを生成できる。例えば、図２（ｂ）では、ある話者に対しては、「I’ll」と「explain」との間のワード境界にフィラーワード「uh」が挿入された「I’ll (uh) explain FP prediction」が第１のテキストとして予測モデル１から出力される。一方、他の話者に対しては、「explain」と「FP」との間のワード境界に他のフィラーワード「um」が挿入された「I’ll explain (um) FP prediction」が第１のテキストとして予測モデル１から出力される。

【0024】

図３は、本実施形態に係るグループに依存する予測モデル１の一例を示す図である。図３では、２つのグループが示されるが、グループの数は２以上であってもよい。図３に示すように、複数の話者の話者データは、フィラーの使用（usage）（例えば、使用するフィラーワード、及び、当該フィラーワードの位置の少なくとも一つ）の傾向に基づいて、グループ化されてもよい。

【0025】

予測モデル１は多話者データで学習した非個人モデルを各グループの話者データを用いて再学習することで、グループ依存の予測モデル１を学習してもよい。当該非個人モデルは、例えば、多話者のフィラーの注釈付きコーパス（filler annotated corpus）で事前学習されたものであってもよい。

【0026】

図３に示すように、フィラー部分を含まない第２のテキストが入力されると、第２のテキストの話者の属するグループに対応する予測モデル１を用いて、フィラー部分を含む第１のテキスト（例えば、「I’ll explain (uh) FP prediction」）が生成される。グループ依存の予測モデル１では、話者依存の予測モデル１と比較して各話者の自発音声データを多く準備する必要がなく、学習に要する時間も軽減できる。

【0027】

図４は、本実施形態に係るグループ化の一例を示す図である。例えば、図４（ａ）に示すように、各話者によるフィラーワードの使用傾向として各フィラーワードの使用率を導出し、当該使用率をクラスタリングして、各話者をグループ化してもよい。当該使用率は、例えば、各話者のフィラーワードの総数及び各フィラーワードの数の比であってもよい。図４（ａ）では、１３種類のフィラーワードの使用率をクラスタリングすることにより、各フィラーワードの使用率に応じた４グループ（クラスタ（cluster））が形成される。

【0028】

また、図４（ｂ）に示すように、フィラーワードが挿入される位置の傾向（以下、「位置的傾向」という）を導出し、当該位置的傾向をクラスタリングして、各話者をグループ化してもよい。当該位置は、例えば、息継ぎグループの境界、息継ぎグループの途中及び文の最後の４種類であるが、これに限られない。例えば、図４（ｂ）では、文の最初、息継ぎグループの境界、息継ぎグループの途中及び文の最後のそれぞれの割合に応じた４グループ（クラスタ）が形成される。

【0029】

以上のように、フィラーワードの使用及び位置の少なくとも一つに関する傾向に基づいて話者がグループ化され、グループ毎に予測モデル１の学習が行われるので、当該予測モデル１を用いた予測によると、話者が属するグループに応じて挿入するフィラーワード及びフィラーワードの挿入位置の少なくとも一つを調整できる。したがって、フィラーの個人性を再現でき、非流暢性の個人性が欠如する従来のモデルと比べて、非流暢性を含む合成音声の人間らしさを向上できる。

【0030】

（音声合成モデル）
図５～７を参照し、本実施形態に係る音声合成モデル２について説明する。フィラー部分を含む音声を合成する既存のモデルによると、フィラー部分以外の言語部分の合成音声の品質が劣化する恐れがある。そこで、音声合成モデル２は、フィラー部分を含む合成音声とフィラー部分を含まない合成音声とにおいて、言語部分の一貫性（consistency）を保証するように学習される。

【0031】

図５は、本実施形態に係る音声合成モデル２の一例を示す図である。図５には、フィラー部分を含む第１のテキストからフィラー部分を含む音声を合成する音声合成モデル２と、フィラー部分を含まない第２のテキストからフィラー部分を含まない音声を合成する音声合成モデル２ａとが示される。第１のテキストと第２のテキストとは、フィラー部分の有無以外は同じテキストである。音声合成モデル２は、フィラー部分を含む音声の言語部分（フィラー部分以外の部分）が、事前学習済みの音声合成モデル２ａによるフィラー部分を含まない音声の言語部分に類似するように学習される。

【0032】

図５に示すように、音声合成モデル２に入力されたフィラー部分を含む第１のテキスト（例えば、「I’ll explain (uh) FP prediction」）は各ワードに分割され、エンコーダ２１により各ワードの特徴量が抽出され、当該特徴量に基づいて言語部分の中間表現Ｌ１～Ｌ４とフィラー部分の中間表現Ｆが生成される。同様に、音声合成モデル２ａに入力されたフィラー部分を含まない第２のテキスト（例えば、「I’ll explain FP prediction」）はワードに分割され、エンコーダ２１ａにより各ワードから特徴量が抽出され、当該特徴量に基づいて言語部分の中間表現Ｌ１ａ～Ｌ４ａが生成される。なお、フィラー部分を含む第１のテキストは、例えば、予測モデル１を用いて予測されたものであってもよいし、大規模データ（例えば、多話者のフィラーの注釈付きコーパス）で学習されたモデルを用いて予測されたものであってもよいし、又は、ランダムにフィラー部分が挿入されたテキスト等であってもよく、フィラー部分を含めばどのような方法で生成されたものでもよい。

【0033】

音声合成モデル２は、フィラー部分を含む第１のテキストから生成される言語部分の中間表現Ｌ１～Ｌ４と、フィラー部分を含まない第２のテキストから生成される言語部分の中間表現Ｌ１ａ～Ｌ４ａと、の一貫性が保証されるように学習される。デコーダ２２は、言語部分の中間表現Ｌ１～Ｌ４と、フィラー部分の中間表現Ｆに基づいて音声パラメータを生成し、出力する。なお、言語部分の一貫性を保証するとは、フィラー部分を含む第１のテキストの合成音声のうち言語部分（フィラー部分以外の部分）の合成音声と、フィラー部分を含まない第２のテキストの合成音声とが類似することをいう。ここで、２つの音声が類似するとは、２つの音声の所定の特徴量が類似することを含む。

【0034】

＜事前調査＞
図６は、本実施形態に係る音声合成モデル２の品質改善に向けた事前調査の一例を示す図である。図６では、音声合成モデル２が有するモジュールとして、エンコーダ２１、ピッチプレディクター２３、エナジープレディクター２４を示すが、図示する少なくとも一部のモジュールを含まなくともよいし、不図示のモジュールを含んでもよい。

【0035】

図６では、音声合成モデル２のどのモジュールでフィラー挿入による影響が生じているかの調査方法が示される。フィラーは間を埋めるための音声であり、フィラー部分以外の言語部分の音声は、フィラーの有無に依存する可能性が低いと予想される。そこで、言語部分の中間表現（すなわち、音声合成モデル２の各モジュールの出力）はあまり変わらないと仮定する。これを検証するために、フィラー部分を含むテキストとフィラー部分を含まないテキストをそれぞれ所定のモデル（例えば、FastSpeech）に入力した時の言語部分の中間表現を比較する。

【0036】

図６に示すように、音声合成モデル２の各モジュールにより出力された中間表現を比較する。ここで、後段のモジュールは前段のモジュールの中間表現の影響を累積して受けるため、各モジュールにより出力された中間表現を比較するだけでは、当該モジュールの影響のみを評価できない。そこで、フィラー部分を含む第１のテキストから推論される直前段のモジュールの中間表現を、フィラー部分を含まない第２のテキストから推論される中間表現に置換する。

【0037】

例えば、図６では、フィラー部分を含む第１のテキストの言語部分Ｌ１～Ｌ３とフィラー部分Ｆが音声合成モデル２のエンコーダ２１に入力されるとともに、当該第１のテキストからフィラー部分を除いた言語部分Ｌ１～Ｌ３が音声合成モデル２ａのエンコーダ２１ａに入力される。ピッチプレディクター２３による影響を評価する場合、エンコーダ２１から出力された言語部分の中間表現Ｌ１_１～Ｌ３_１をエンコーダ２１ａから出力された言語部分の中間表現Ｌ１_１～Ｌ３_１に置き換える。言語部分の中間表現Ｌ１_１～Ｌ３_１及びフィラー部分の中間表現Ｆ_１をピッチプレディクター２３に入力して得られる言語部分の中間表現Ｌ１_２～Ｌ３_２と、言語部分の中間表現Ｌ１_１～Ｌ３_１のみをピッチプレディクター２３ａに入力して得られる言語部分の中間表現Ｌ１_２～Ｌ３_２とを比較することにより、フィラー部分Ｆがピッチプレディクター２３に与える影響を調査できる。

【0038】

このように、音声合成モデル２内のｉ（ｉ＝２、３…）番目のモジュールが与える影響を調査する場合、音声合成モデル２にはＪ個の言語部分Ｌｊ（ｊ＝１～Ｊ、例えば、図６では、Ｊ＝３）及びフィラー部分Ｆを含むテキストを入力する一方、音声合成モデル２ａにはフィラー部分を除いた言語部分Ｌｊのみを入力する。そして、音声合成モデル２ａのｉ－１番目のモジュールから出力された言語部分の中間表現Ｌｊ_ｉ－１をコピーして、音声合成モデル２のｉ－１番目のモジュールから出力されたフィラー部分Ｆと一緒に、音声合成モデル２のｉ番目のモジュールに入力する。音声合成モデル２のｉ番目のモジュールから出力された言語部分の中間表現Ｌｊ_ｉと音声合成モデル２ａのｉ番目のモジュールから出力された言語部分の中間表現Ｌｊ_ｉとを比較することで、音声合成モデル２のｉ番目のモジュールにおいてフィラー部分Ｆが言語部分の中間表現Ｌｊ_ｉに与える影響を調査できる。

【0039】

以上の事前調査により、フィラー部分を含む第１のテキストが入力される音声合成モデル２のどのモジュールにおいてフィラー部分が言語部分の音声に影響を与えるかを確認できる。

【0040】

＜一貫性保証学習＞
一貫性保証学習では、フィラー部分を含む第１のテキストに含まれる第１の言語部分に対応する音声とフィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように、音声合成モデル２が学習されてもよい。

【0041】

具体的には、まず、上記第１のテキストとして真のフィラー部分を含む第３のテキストを用い、当該第３のテキスト内の第３の言語部分と、真のフィラー部分を含まない第２のテキストの第２の言語部分との一貫性が保証されるように、音声合成モデル２の学習が行われてもよい。真のフィラー部分とは、話者が実際に使用したフィラーであるＧＴ（Ground Truth）フィラーの部分である。

【0042】

次に、上記第１のテキストとして疑似（pseudo）フィラー部分を含む第４のテキストを用い、当該第４のテキスト内の第４の言語部分と、疑似フィラー部分を含まない第２のテキストの言語部分との一貫性が保証されるように、音声合成モデル２の学習が行われてもよい。疑似フィラー部分とは、例えば、予測モデル１を用いて予測されたフィラー部分や、フィラー部分を含まない第２のテキストにランダムに挿入されるフィラー部分や、大規模データ（例えば、多話者のフィラーの注釈付きコーパス）で事前学習されたモデルを用いて予測されたフィラー部分等、話者が実際に使用していない疑似的なフィラー部分である。

【0043】

図７は、本実施形態に係る音声合成モデル２の一貫性保証学習の一例を示す図である。当該一貫性保証学習では、フィラー部分を含む第１のテキストとフィラー部分を含まない第２のテキストの間における言語部分の一貫性を保証する損失（以下、「一貫性損失」という）を導入する。当該一貫性損失Ｌは、例えば、以下の式（１）で示される。ここで、一貫性損失とは、フィラー部分を含む第１のテキスト内の言語部分の中間表現とフィラー部分を含まない第２のテキスト内の言語部分の中間表現との差分であってもよい。なお、当該フィラー部分を含む第１のテキストは、真のフィラー部分を含む第３のテキスト又は疑似フィラー部分を含む第４のテキストであってもよい。一般性損失は、フィラー部分の挿入によって言語部分の合成音声の品質を変化させない（フィラー部分を挿入しても言語部分の合成音声の品質を維持する）ための損失関数である。また、上記一貫性損失とは別に、例えば、ピッチロス（Pitch loss）、エナジーロス（Energy loss）、期間ロス（Duration loss）及びメルロス（Mel-spectrogram loss）等の合成音声を目標とする人間の音声に近づけるための損失関数が入力されてもよい。
（式１）
Ｌ＝Ｌ_ＴＴＳ＋α（Ｌ_{ＧＴ－ＦＰ}＋βＬ_{Ｐｓｅｕｄｏ－ＦＰ}）
ここで、Ｌ_ＴＴＳは、音声合成モデル２の学習に用いられる損失である。Ｌ_{ＧＴ－ＦＰ}は、真のフィラー部分を含む第３のテキストの言語部分の一貫性損失である。Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}は、疑似フィラー部分を含む第４のテキストの言語部分の一貫性損失である。α及びβは、それぞれ、一貫性損失の重みを制御するパラメータであり、それぞれ、真のフィラー部分の一貫性損失に対する疑似フィラー部分の一貫性損失の比であってもよい。

【0044】

≪真のフィラー部分を含む場合の一貫性保証学習≫
音声合成モデル２は、教師モデル２ｔを知識蒸留することにより得られる生徒モデル２ｓであってもよい。具体的には、教師モデル２ｔは、フィラー部分を含む音声データ（例えば、自発音声データ）を用いて事前学習される。教師モデル２ｔを用いて固定されたパラメータを用いて生徒モデル２ｓが学習される。

【0045】

真のフィラー部分を含む第３のテキストを用いた一貫性保証学習では、図７に示すように、真のフィラー部分を含む第３のテキストが生徒モデル２ｓに入力され、当該第３のテキストから真のフィラー部分が除去された第２のテキストが教師モデル２ｔに入力される。

【0046】

次に、生徒モデル２ｓにおける第３のテキストの言語部分の中間表現Ｌｊ_ｉ（ｊ＝１～Ｊ）と、教師モデル２ｔにおける第２のテキストの言語部分の中間表現Ｌｊ_ｉ´との距離が、真のフィラー部分の一貫性損失Ｌ_{ＧＴ－ＦＰ}として算出される。なお、図７では、第１及び第２のテキストには２個の言語部分が含まれるのでＪ＝２であり、教師モデル２ｔ及び生徒モデル２ｓはそれぞれ５個のモジュール２１～２５及び２１´～２５´を含むので、ｉ＝１～４である。

【0047】

一貫性損失Ｌ_{ＧＴ－ＦＰ}の算出には、教師モデル２ｔ及び生徒モデル２ｓに含まれるどのモジュールから出力された言語部分の中間表現の比較結果が用いられてもよい。例えば、図７では、生徒モデル２ｓのエナジープレディクター２４から出力される言語部分の中間表現Ｌｊ_３（ｊ＝１、２）と、教師モデル２ｔのエナジープレディクター２４´から出力されある言語部分の中間表現Ｌｊ_３´（ｊ＝１、２）の比較結果に基づいて、一貫性損失Ｌ_{ＧＴ－ＦＰ}が算出されるものとするが、これに限られない。上記事前調査により、影響が大きいと判断されるモジュールの中間表現の比較結果を用いて一貫性損失Ｌ_{ＧＴ－ＦＰ}が算出されてもよい。

【0048】

また、生徒モデル２ｓ及び教師モデル２ｔの各々に含まれる複数のモジュールから出力された言語部分の中間表現の比較結果に基づいて、一貫性損失Ｌ_{ＧＴ－ＦＰ}が算出されてもよい。例えば、エナジープレディクター２４から出力される言語部分の中間表現Ｌｊ_３（ｊ＝１、２）と、エナジープレディクター２４´から出力される言語部分の中間表現Ｌｊ_３´（ｊ＝１、２）の比較結果と、期間プレディクター２５から出力される言語部分の中間表現Ｌｊ_４（ｊ＝１～４）と、期間プレディクター２５´から出力される言語部分の中間表現Ｌｊ_４´（ｊ＝１～４）の比較結果とに基づいて、一貫性損失Ｌ_{ＧＴ－ＦＰ}が算出されてもよい。

【0049】

≪疑似フィラー部分を含む場合の一貫性保証学習≫
次に、上記真のフィラー部分を含む第３のテキストを用いた一貫性保証学習を、疑似フィラー部分を含む第４のテキストを用いた一貫性保証学習に拡張する。以下では、真のフィラー部分を含む第３のテキストを用いた一貫性保証学習との相違点を中心に説明し、同様の説明は繰り返さない。

【0050】

図７に示すように、フィラー部分を含まない第２のテキストを予測モデル１に入力することで、疑似フィラー部分を含む第４のテキストが生成される。なお、予測モデル１は、上記話者又はグループベースの予測モデルであってもよいし、単に、確率的にサンプルフィラーを挿入するモデルであってもよい。また、疑似フィラー部分を含む第４のテキストとしては、予測モデル１の代わりに、単に、ランダムにフィラーが挿入された第４のテキストが用いられてもよい。

【0051】

生徒モデル２ｓには、上記疑似フィラー部分を含む第４のテキストが入力される。生徒モデル２ｓにおける第４のテキストの言語部分の中間表現Ｌｊ_ｉ（ｊ＝１～Ｊ）と、教師モデル２ｔにおける第２のテキストの言語部分の中間表現Ｌｊ_ｉ´（ｊ＝１～Ｊ）と、の距離が、疑似フィラー部分の一貫性損失Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}として算出される。一貫性損失Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}の算出には、一貫性損失Ｌ_{ＧＴ－ＦＰ}と同様に、教師モデル２ｔ及び生徒モデル２ｓに含まれる少なくとも一つのモジュールから出力された言語部分の中間表現の比較結果が用いられればよい。

【0052】

以上のように算出される当該疑似フィラー部分の一貫性損失Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}と真のフィラー部分の一貫性損失Ｌ_{ＧＴ－ＦＰ}とに基づいて、上記式１に示されるように、一貫性損失Ｌが導出される。音声合成モデル２のパラメータは、当該一貫性損失Ｌを最小化するように設定される。

【0053】

以上の一貫性保証学習によると、真のフィラー部分だけでなく疑似フィラー部分を含む音声の合成にも頑健なモデルを構築するため、真のフィラー部分を含む合成音声だけでなく、疑似フィラー部分を含む合成音声に対しても一貫性保証を導入できる。

【0054】

以上のように、当該音声合成モデル２は、フィラー部分を含む第１のテキストに含まれる言語部分に対応する音声と、フィラー部分を含まない第２のテキストに含まれる言語部分に対応する音声との一貫性が保証されるように学習される。このため、フィラー部分を含む第１のテキストを音声合成する場合に、当該第１のテキストに含まれる言語部分の音声品質の低下を防止できる。この結果、非流暢性を含む合成音声の人間らしさを向上できる。

【0055】

（構成）
次に、上記予測モデル１及び音声合成モデル２の少なくとも一つを実装する音声合成システムの構成について説明する。以下では、予測モデル１を実装する装置を予測装置１０、音声合成モデル２を実装する装置を音声合成装置２０と呼ぶが、予測装置１０及び音声合成装置２０は、別体の装置に限られず、１つの装置として構成されてもよい。また、予測装置１０は、一つの装置に限られず、複数の装置を組み合わせて構成されてもよい。同様に、音声合成装置２０は、一つの装置に限られず、複数の装置を組み合わせて構成されてもよい。また、予測装置１０及び音声合成装置２０の少なくとも一方は、スマートフォン、タブレット等の端末に搭載されるプログラム等として実現されてもよい。

【0056】

＜物理構成＞
図８は、本実施形態に係る音声合成システムを構成する装置の物理構成の一例を示す図である。図８に示すように、予測装置１０及び音声合成装置２０の少なくとも一方としての装置は、演算部に相当するプロセッサ１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read Only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、音声入力部１０ｇと、音声出力部１０ｈと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、図８で示す構成は一例であり、各装置はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。

【0057】

プロセッサ１０ａは、例えば、ＣＰＵ（Central Processing Unit）である。プロセッサ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されているプログラムを実行することにより、当該装置の各種処理を制御する制御部である。プロセッサ１０ａは、当該装置が備える他の構成と、プログラムとの協働により、当該装置の機能を実現し、処理の実行を制御する。プロセッサ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。

【0058】

ＲＡＭ１０ｂ及びＲＯＭ１０ｃは、各種処理に必要なデータ及び処理結果のデータを記憶する記憶部である。各装置は、ＲＡＭ１０ｂ及びＲＯＭ１０ｃ以外に、ハードディスクドライブ等の大容量の記憶部を備えてもよい。ＲＡＭ１０ｂ及びＲＯＭ１０ｃは、例えば、半導体記憶素子で構成されてもよい。

【0059】

通信部１０ｄは、当該装置を他の機器に接続するインターフェースである。通信部１０ｄは、他の機器と通信する。入力部１０ｅは、ユーザからデータの入力を受け付けるためのデバイスや、各装置の外部からデータを入力するためのデバイスである。入力部１０ｅは、例えば、キーボード、マウス及びタッチパネル等を含んでよい。表示部１０ｆは、プロセッサ１０ａによる制御に従って、情報を表示するデバイスである。表示部１０ｆは、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。音声入力部１０ｇは、音声を収音するデバイスであり、例えば、マイクである。音声出力部１０ｈは、音声を出力するデバイスであり、例えば、スピーカーである。

【0060】

当該装置を実行させるためのプログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続されるネットワークを介して提供されてもよい。各装置では、プロセッサ１０ａが当該プログラムを実行することにより、各装置を制御するための様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、各装置は、プロセッサ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。

【0061】

＜機能構成＞
図９は、本実施形態に係る予測装置１０の機能構成の一例を示す図である。図９に示すように、予測装置１０は、記憶部１０１、取得部１０２、選択部１０３、予測部１０４、出力部１０５、グループ化部１０６及び学習部１０７を備える。なお、予測装置１０は、図９に示す全ての構成を備えていなくともよく一部の構成（例えば、グループ化部１０６）を含んでいなくともよいし、不図示の構成を含んでもよい。

【0062】

記憶部１０１は、上記予測モデル１と、上記予測モデル１の学習用データＤ１を記憶する。学習用データＤ１は、例えば、各話者のフィラー部分を含む第１のテキストと、当該フィラー部分を含まない第２のテキストと、のペアであってもよい。なお、図１では、記憶部１０１は、グループ毎に予測モデル１を記憶するが、これに限られず、話者毎に予測モデル１を記憶してもよい。同様に、記憶部１０１は、グループ毎に学習用データＤ１を記憶するが、これに限られず、話者毎に学習用データＤ１を記憶してもよい。

【0063】

取得部１０２は、フィラー部分を含まない第２のテキストに関する第２のテキスト情報を取得する。

【0064】

選択部１０３は、記憶部１０１に記憶された複数のグループにそれぞれ対応する複数の予測モデル１の中から、フィラー部分の位置及びワードの少なくとも一つに関する話者の傾向に基づいて話者が属するグループを決定し、当該グループに対応する予測モデルを選択してもよい。当該話者の傾向は、例えば、取得部１０２によって取得されるフィラー部分を含まないテキスト情報によって推定されてもよい。

【0065】

予測部１０４は、話者又は話者が属するグループの予測モデルに基づいて、フィラー部分を含まない第２のテキストに対して挿入されるフィラー部分の位置及びフィラーワードを予測する。具体的には、予測部１０４は、選択部１０３によって選択された予測モデル１に取得部１０２によって取得された第２のテキスト情報を入力して、予測された位置及びフィラーワードのフィラー部分を含む第１のテキスト情報を生成してもよい。

【0066】

出力部１０５は、予測部１０４によって予測された位置及びフィラーワードのフィラー部分を含む第１のテキスト情報を出力する。

【0067】

グループ化部１０６は、複数の話者の話者データに含まれるフィラー部分の位置及びフィラーワードの少なくとも一つに基づいて当該複数の話者を複数のグループにグループ化する。グループ化部１０６は、当該話者データを当該複数の話者がそれぞれ属するグループ毎に学習用データＤ１として記憶部１０１に記憶させてもよい。

【0068】

学習部１０７は、予測モデル１の学習処理を行う。学習部１０７は、複数のグループそれぞれの学習用データＤ１を用いて、当該複数のグループそれぞれに対応する複数の予測モデル１を学習してもよい。例えば、学習部１０７は、多話者のフィラーの注釈付き自発音声コーパスで予測モデル１の事前学習を行った予測モデル１を各グループの学習用データＤ１を用いて学習し、各グループに対応する予測モデル１を生成してもよい。

【0069】

図１０は、本実施形態に係る音声合成装置２０の機能構成の一例を示す図である。図１０に示すように、音声合成装置２０は、記憶部２０１、取得部２０２、音声合成部２０３、出力部２０４、学習部２０５及び予測部２０６を備える。なお、音声合成装置２０は、図１０に示す全ての構成を備えていなくともよく一部の構成（例えば、予測部２０６）を含んでいなくともよいし、不図示の構成を含んでもよい。

【0070】

記憶部２０１は、上記音声合成モデル２と、上記音声合成モデル２の学習用データＤ２を記憶する。学習用データＤ２は、各話者のフィラー部分を含む第１のテキスト情報と、当該フィラー部分を含む音声と、のペアであってもよい。また、記憶部２０１は、上記予測モデル１を記憶してもよい。

【0071】

取得部２０２は、フィラー部分を含む第１のテキスト情報を取得する。取得部２０２は、予測装置１０の出力部１０５から出力された第１のテキスト情報を取得してもよいが、これに限られない。取得部２０２は、フィラー部分を含む第１のテキスト情報を取得しさえすれば、その取得元は限定されない。

【0072】

音声合成部２０３は、取得部２０２によって取得された第１のテキスト情報が示す第１のテキストに含まれる第１の言語部分に対応する音声と上記フィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデル２に基づいて、前記第１のテキストに対応する音声を合成する。

【0073】

出力部２０４は、音声合成部２０３によって合成された音声を出力する。

【0074】

学習部２０５は、上記第１の言語部分に対応する音声と、上記第２の言語部分に対応する音声との間の一貫性を保証する一貫性損失を用いて、音声合成モデル２の学習を行う。具体的には、学習部２０５は、当該一貫性損失を最小化するように、音声合成モデル２のパラメータを設定してもよい。

【0075】

学習部２０５は、音声合成モデル２の学習に用いられる一貫性損失を算出する。具体的には、学習部２０５は、真のフィラー部分を含む第３のテキストに含まれる第３の言語部分に関する一貫性損失Ｌ_{ＧＴ－ＦＰ}（第１の損失）と、疑似フィラー部分を含む第４のテキストに含まれる第４の言語部分に関する一貫性損失Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}（第２の損失）とを算出し、当該一貫性損失Ｌ_{ＧＴ－ＦＰ}及び一貫性損失Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}に基づいて、一貫性損失Ｌを算出してもよい。例えば、学習部２０５は、該一貫性損失Ｌ_{ＧＴ－ＦＰ}及び一貫性損失Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}に基づく式１が示すＬを、一貫性損失として算出してもよい。

【0076】

図７を用いて説明したように、音声合成モデル２は、真のフィラー部分を含む第３のテキストと当該第３のテキストに対応する音声とのペアを用いて事前学習されたモデルを教師モデル２ｔとする生徒モデル２ｓであってもよい。

【0077】

上記真のフィラー部分を含む場合の一貫性保証学習においては、学習部２０５は、真のフィラー部分と第３の言語部分とを含む第３のテキストに関する情報を生徒モデル２ｓに入力して得られる第３の言語部分の中間表現Ｌｊ_ｉと、当該第３の言語部分に関する情報を教師モデル２ｔに入力して得られる中間表現Ｌｊ_ｉ´と、の間の距離に基づいて、上記損失Ｌ_{ＧＴ－ＦＰ}を算出してもよい。なお、図７では、中間表現Ｌｊ_ｉと中間表現Ｌｊ_ｉ´において、ｊ＝１，２、ｉ＝１～４である。

【0078】

また、上記疑似フィラー部分を含む場合の一貫性保証学習においては、学習部２０５は、疑似フィラー部分と第４の言語部分とを含む第４のテキストに関する情報を生徒モデル２ｓに入力して得られる第４の言語部分の中間表現Ｌｊ_ｉと、第４の言語部分に関する情報を教師モデル２ｔに入力して得られる中間表現Ｌｊ_ｉ´と、の間の距離に基づいて、上記損失Ｌ_{Ｐｓｅｕｄｏ－ＦＰ}を算出してもよい。

【0079】

予測部２０６は、予測モデル１を用いて、上記疑似フィラー部分を含む第４のテキストに関する情報を生成する。具体的には、当該第４のテキスト内の疑似フィラー部分の位置及びワードを予測する。

【0080】

（評価）
図１１は、本実施形態に係るグループ依存の予測モデル１を用いた予測装置１０及び従来例に係る装置による予測精度の評価の結果を示す図である。図１１に示すように、フィラーワード（word）に基づくグループに依存する予測モデル１、及び、フィラー部分の位置（position）に基づくグループに依存する予測モデル１の双方において、非個人性化（Non-personalized）モデルよりも高いＦスコアを示している。したがって、話者のグループに対応する予測モデル１を用いることにより、フィラー部分の予測性能を向上できる。

【0081】

図１２は、本実施形態に係る音声合成モデル２を用いた音声合成装置２０及び従来例に係る装置による合成音声の評価の結果を示す図である。図１２に示すように、フィラー部分を含む第１のテキストに含まれる第１の言語部分に対応する音声とフィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデル２（Proposed）は、従来例（Baseline）と比較して、真のフィラー部分（TrueFP）を含む音声及び疑似フィラー部分（PseudoFP）を含む音声の双方において、自然性が向上した。したがって、音声合成モデル２を用いることにより、非流暢性を含む合成音声の人間らしさの実現に寄与できる。

【0082】

（動作）
図１３は、本実施形態に係る音声合成システムの動作の一例を示すフローチャートである。なお、図１３では、話者が属するグループに依存する予測モデル１を用いるものとするが、話者に依存する予測モデル１や、話者又は当該グループに依存しない予測モデル１を利用できることは勿論である。また、以下のステップＳ１０１～Ｓ１０６の全てが実施されなくともよく、一部のみ（例えば、予測装置１０主体のステップＳ１０１～Ｓ１０３、又は、音声合成装置２０主体のステップＳ１０４～Ｓ１０６等）が実施されてもよい。

【0083】

予測装置１０は、予測装置１０がフィラー部分を含まない第２のテキストに関する情報（第２のテキスト情報）を取得する（ステップＳ１０１）。

【0084】

予測装置１０は、話者が属するグループに依存する予測モデル１に基づいて、ステップＳ１０１で取得された情報が示す第２のテキストに対して、挿入されるフィラー部分の位置及びフィラーワードを予測する（ステップＳ１０２）。

【0085】

予測装置１０は、ステップＳ１０２で予測された位置及びフィラーワードのフィラー部分を含む第１のテキストに関する情報（第１のテキスト情報）を出力する（ステップＳ１０３）。

【0086】

音声合成装置２０は、フィラー部分を含む第１のテキストに関する情報（第１のテキスト情報）を取得する（ステップＳ１０４）。ここでは、音声合成装置２０は、ステップＳ１０３で予測装置１０から出力された情報を取得するものとするが、これに限られない。例えば、音声合成装置２０は、「第１のテキスト情報」として、真のフィラー部分を含む第３のテキストに関する情報を取得することもできるし、疑似フィラー部分を含む第４のテキストに関する情報を取得してもよい。

【0087】

音声合成装置２０は、第１のテキストに含まれる第１の言語部分に対応する音声とフィラー部分を含まない第２のテキストに含まれる第２の言語部分に対応する音声との一貫性が保証されるように学習される音声合成モデル２に基づいて、フィラー部分を含む第１のテキストに対応する音声を合成する（ステップＳ１０５）。

【0088】

音声合成装置２０は、ステップＳ１０５において合成された音声を出力する（ステップＳ１０６）。

【0089】

以上のように、本実施形態に係る音声合成システムによれば、従来装置に比べて、非流暢性を含む合成音声の人間らしさを向上できる。具体的には、フィラーワードの使用及び位置の少なくとも一つに関する傾向に基づいて話者がグループ化され、グループ毎に予測モデル１の学習が行われるので、当該予測モデル１を用いた予測によると、話者が属するグループに応じて挿入するフィラーワード及びフィラーワードの挿入位置の少なくとも一つを調整できる。したがって、フィラーの個人性を再現でき、非流暢性の個人性が欠如する従来のモデルと比べて、非流暢性を含む合成音声の人間らしさを向上できる。

【0090】

また、音声合成モデル２は、フィラー部分を含む第１のテキストに含まれる言語部分に対応する音声と、フィラー部分を含まない第２のテキストに含まれる言語部分に対応する音声との一貫性が保証されるように学習される。このため、フィラー部分を含む第１のテキストを音声合成する場合に、当該第１のテキストに含まれる言語部分の音声品質の低下を防止できる。この結果、非流暢性を含む合成音声の人間らしさを向上できる。

【0091】

（その他の実施形態）
上記実施形態では、予測モデル１は、話者又は当該グループに依存しないモデルであるものとしたが、音声合成装置２０で用いられる予測モデル１は、これに限られず、話者又は当該グループに依存しないモデルであってもよい。

【0092】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0093】

１…予測モデル、２、２ａ…音声合成モデル、２ｓ…生徒モデル、２ｔ…教師モデル、１０…予測装置、２０…音声合成装置、２１、２１ａ、２１´…エンコーダ、２２、２２ａ、２２´…デコーダ、２３、２３ａ…ピッチプレディクター、２４、２４ａ、２４´…エナジープレディクター、２５、２５ａ、２５´…期間プレディクター、１０ａ…プロセッサ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１０ｇ…音声入力部、１０ｈ…音声出力部、１０１…記憶部、１０２…取得部、１０３…選択部、１０４…予測部、１０５…出力部、１０６…グループ化部、１０７…学習部、２０１…記憶部、２０２…取得部、２０３…音声合成部、２０４…出力部、２０５…学習部、２０６…予測部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】