特許 6802958 音声合成システム、音声合成プログラムおよび音声合成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6802958

(24)【登録日】2020年12月2日

(45)【発行日】2020年12月23日

(54)【発明の名称】音声合成システム、音声合成プログラムおよび音声合成方法

(51)【国際特許分類】

   G10L 13/10 20130101AFI20201214BHJP

   G10L 13/06 20130101ALI20201214BHJP

【ＦＩ】

   G10L13/10 111A

   G10L13/06 120Z

   G10L13/10 113Z

【請求項の数】6

【全頁数】23

(21)【出願番号】特願2017-37151(P2017-37151)

(22)【出願日】2017年2月28日

(65)【公開番号】特開2018-141915(P2018-141915A)

(43)【公開日】2018年9月13日

【審査請求日】2019年12月19日

(73)【特許権者】

【識別番号】301022471

【氏名又は名称】国立研究開発法人情報通信研究機構

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】橘 健太郎

(72)【発明者】

【氏名】志賀 芳則

【審査官】 上田 雄

(56)【参考文献】

【文献】 特開２０１２−５８２９３（ＪＰ，Ａ）

【文献】 特開平５−１０８０９７（ＪＰ，Ａ）

【文献】 特開２０１１−２４７９２１（ＪＰ，Ａ）

【文献】 MAIA, Ranniery, et al.，An Excitation Model for HMM-Based Speech Synthesis Based on Residual Modeling，6th ISCA Workshop on Speech Synthesis，ドイツ，ISCA，２００７年 ８月，pp. 131-136

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １３／００−１３／１０

(57)【特許請求の範囲】

【請求項1】

統計的パラメトリック音声合成に従う音声合成システムであって、
既知のテキストに対応する音声波形の基本周波数を単位区間毎に抽出する第１の抽出部と、
前記音声波形から周期成分および非周期成分を単位区間毎に抽出する第２の抽出部と、
前記抽出された周期成分および非周期成分のスペクトル包絡を抽出する第３の抽出部と、
前記既知のテキストの文脈情報に基づくコンテキストラベルを生成する生成部と、
前記基本周波数、前記周期成分のスペクトル包絡、前記非周期成分のスペクトル包絡を含む音響特徴量と、対応する前記コンテキストラベルとを対応付けて学習することで、統計モデルを構築する学習部とを備える、音声合成システム。

【請求項2】

任意のテキストの入力に応答して、当該テキストの文脈情報に基づくコンテキストラベルを決定する決定部と、
前記統計モデルから前記決定部により決定されたコンテキストラベルに対応する音響特徴量を推定する推定部とを備え、当該推定される音響特徴量は、基本周波数、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を含み、
前記推定された音響特徴量に含まれる基本周波数に従って生成されたパルス系列を、周期成分のスペクトル包絡に応じてフィルタリングすることで、周期成分を再構成する第１の再構成部と、
ノイズ系列を非周期成分のスペクトル包絡に応じてフィルタリングすることで、非周期成分を再構成する第２の再構成部と、
前記再構成された周期成分および非周期成分を加算して、前記入力された任意のテキストに対応する音声波形として出力する加算部とをさらに備える、請求項１に記載の音声合成システム。

【請求項3】

前記第２の抽出部は、前記第１の抽出部が前記基本周波数を抽出できない単位区間から前記非周期成分のみを抽出し、それ以外の単位区間から前記周期成分および前記非周期成分を抽出する、請求項１または２に記載の音声合成システム。

【請求項4】

前記第１の抽出部は、前記基本周波数を抽出できない単位区間について、補間処理により基本周波数を決定する、請求項１〜３のいずれか１項に記載の音声合成システム。

【請求項5】

統計的パラメトリック音声合成に従う音声合成方法を実現するための音声合成プログラムであって、前記音声合成プログラムはコンピュータに
既知のテキストに対応する音声波形の基本周波数を単位区間毎に抽出するステップと、
前記音声波形から周期成分および非周期成分を単位区間毎に抽出するステップと、
前記抽出された周期成分および非周期成分のスペクトル包絡を抽出するステップと、
前記既知のテキストの文脈情報に基づくコンテキストラベルを生成するステップと、
前記基本周波数、前記周期成分のスペクトル包絡、前記非周期成分のスペクトル包絡を含む音響特徴量と、対応する前記コンテキストラベルとを対応付けて学習することで、統計モデルを構築するステップとを実行させる、音声合成プログラム。

【請求項6】

統計的パラメトリック音声合成に従う音声合成方法であって、
既知のテキストに対応する音声波形の基本周波数を単位区間毎に抽出するステップと、
前記音声波形から周期成分および非周期成分を単位区間毎に抽出するステップと、
前記抽出された周期成分および非周期成分のスペクトル包絡を抽出するステップと、
前記既知のテキストの文脈情報に基づくコンテキストラベルを生成するステップと、
前記基本周波数、前記周期成分のスペクトル包絡、前記非周期成分のスペクトル包絡を含む音響特徴量と、対応する前記コンテキストラベルとを対応付けて学習することで、統計モデルを構築するステップとを備える、音声合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、統計的パラメトリック音声合成に従う音声合成技術（statistical parametric speech synthesis；以下「ＳＰＳＳ」とも略称する。）に関する。

【背景技術】

【0002】

従来から、音声合成技術は、テキスト読み上げアプリケーションや多言語翻訳サービスなどに広く応用されている。このような音声合成技術の一手法として、ＳＰＳＳが知られている。ＳＰＳＳは、統計モデルに基づいて音声を合成するフレームワークである。ＳＰＳＳにおける主要な研究対象は、過去十数年にわたって、隠れマルコフモデル（hidden Markov model；以下「ＨＭＭ」とも略称する。）に基づく音声合成であった。

【0003】

近年、深層学習（deep learning）の一類型である、深層ニューラルネットワーク（deep neural network；以下「ＤＮＮ」とも略称。）に基づく音声合成が注目を集めている（例えば、非特許文献１など参照）。非特許文献１に示された研究成果によれば、ＤＮＮに基づく音声合成は、ＨＭＭに基づく音声合成に比較して、より高品質な音声を生成できることが示されている。

【0004】

多くのＳＰＳＳにおいては、音声生成時のソースフィルタモデルとしてボコーダー（vocoder）が利用される。より具体的には、ソースフィルタモデルは、声道フィルタと励振源とから構成される。声道フィルタは、声道をモデル化したものであり、スペクトル包絡パラメータにより表現される。励振源（声帯振動）をモデル化した源信号は、パルス系列とノイズ成分とを混合することにより表現される。

【0005】

一般的に採用されるボコーダーにおいて、振動源の各フレームは有声区間であるか無声区間であるかの判定がなされ、有声区間であると判定された場合には、声の高さ（ピッチ）に相当する基本周波数（以下、「Ｆ₀」とも略称する。）のパルス系列を生成し、無声区間であると判定された場合には、ホワイトノイズとして振動源を生成する。ここで、有声と無声との判定はＦ₀が非ゼロ（有声）かゼロ（無声）かに基づいて行なわれる。一般的なＳＰＳＳでは、このＦ₀の系列は、１次元の系列とゼロ次元の離散シンボルとが切替わる不連続系列と表現され、各フレームにおいて、有声／無声（以下、「Ｖ／ＵＶ」とも略称する。）を切替えるためのフラグ（以下、「Ｖ／ＵＶフラグ」とも略称する。）が必要となる。

【0006】

各フレームにおけるＶ／ＵＶの判定エラー、および、不連続系列を出力する振動源をモデル化することの困難性、に起因して、合成音声に品質劣化が生じる可能性がある。

【0007】

このような系列をモデル化する一手法として、ＭＳＤ（multi-space distribution）モデリングが提案されている（例えば、非特許文献２参照）。しかしながら、ＭＳＤモデリングは、連続系列と離散系列とを表現するという困難性を本質的に伴うものである。また、予測エラーが生じたＶ／ＵＶフレームについては、ボコーディング（vocoding）において、しばしば合成音声の品質劣化を招く結果となる。例えば、誤って有声判定されたフレームについてはｂｕｚｚｙ感を生じさせ、誤って無声判定されたフレームについてはしゃがれ感を生じさせる。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】H. Zen, Andrew Senior, Mike Schuster, "Statistical parametric speech synthesis using deep neural networks", Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference, 26-31 May 2013

【非特許文献2】K. Tokuda, T. Masuko, N. Miyazaki, T. Kobayashi, "Hidden Markov models based on multi-space probability distribution for pitch pattern modeling", Acoustics, Speech and Signal Processing (ICASSP), 1999 IEEE International Conference, 15-19 March 1999

【非特許文献3】K. Yu and S. Young, "Continuous F0 modeling for HMM based statistical parametric speech synthesis", IEEE Trans. Audio Speech Lang. Process., vol. 19, no. 5, pp. 1071-1079, 2011

【非特許文献4】Javier Latorre, Mark J. F. Gales, Sabine Buchholz, Kate Knill, Masatsune Tamura, Yamato Ohtani, Masami Akamine, "Continuous F0 in the source-excitation generation for HMM-based TTS: Do we need voiced/unvoiced classification?", Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference, 22-27 May 2011

【非特許文献5】T. G. Csapo', G. Ne'meth, and M. Cernak, "Residual-based excitation with continuous F0 modeling in HMM-based speech synthesis", in Lecture Notes in Artificial Intelligence, vol. 9449, A.-H. Dediu, C. Mart in-Vide, and K. Vicsi, Eds. Budapest, Hungary: Springer International Publishing, pp. 27-38, 2015

【非特許文献6】E. Banos, D. Erro, A. Bonafonte, and A. Moreno, "Flexible harmonic/stochastic modeling for HMM-based speech synthesis", in Proc. VJTH, pp. 145-148, 2008

【非特許文献7】Gilles Degottex, John Kane, Thomas Drugman, Tuomo Raitio, Stefan Scherer, "COVAREP - A collaborative voice analysis repository for speech technologies", Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference, 4-9 May 2014

【非特許文献8】Ioannis Stylianou, "Harmonic plus noise models for speech, combined with statistical methods, for speech and speaker modification", Ecole Nationale Superieure des Telecommunications, 1996

【発明の概要】

【発明が解決しようとする課題】

【0009】

上述したような課題に対して、いくつかの解決手法が提案されている。
一つ目の手法は、不連続系列であるＦ₀の系列を補間することで、連続的な系列として扱うものである（例えば、非特許文献３など参照）。この手法を用いることで、Ｆ₀は連続系列としてモデル化でき、品質を改善できることが示されている。この手法においては、波形生成時にＶ／ＵＶの判定を行なう必要があり、離散系列のモデル化が必要となる。

【0010】

別の手法として、何らかの連続系列からＶ／ＵＶを判定することが考えられる。例えば、Ｖ／ＵＶフラグに代えて、非周期性指標に基づいて、Ｖ／ＵＶを判定する手法が提案されている（例えば、非特許文献４など参照）。この手法は、完全に連続なモデル化を実現できる一方で、Ｖ／ＵＶの判定が波形生成時に必要となるので、Ｖ／ＵＶの判定エラーの影響を完全には避けることができない。

【0011】

さらに別の手法として、Ｖ／ＵＶフラグに代えて、音声信号の周期性の最大帯域を示すMaximum Voiced Frequency（以下、「ＭＶＦ」とも略称する。）を用いる手法が提案されている（例えば、非特許文献５など参照）。ＭＶＦを用いることにより、高周波帯域を非周期成分とするとともに、低周波帯域を周期成分として、音声を分割できる。また、ＭＶＦは、連続的にモデル化されるので、しきい値を設定することで、Ｖ／ＵＶフラグとして機能させることも可能である。しかしながら、高周波帯域および低周波帯域の２帯域にしか分割しないため、周期／非周期成分のモデル精度が十分ではない。

【0012】

本技術は、このような課題を解決するためのものであり、ＳＰＳＳにおいて、音響モデルにおけるＶ／ＵＶの判定エラーに起因する品質への影響を低減できる新たな手法を提供することを目的としている。

【課題を解決するための手段】

【0013】

本発明のある局面に従えば、ＳＰＳＳに従う音声合成システムが提供される。音声合成システムは、既知のテキストに対応する音声波形の基本周波数を単位区間毎に抽出する第１の抽出部と、音声波形から周期成分および非周期成分を単位区間毎に抽出する第２の抽出部と、抽出された周期成分および非周期成分のスペクトル包絡を抽出する第３の抽出部と、既知のテキストの文脈情報に基づくコンテキストラベルを生成する生成部と、基本周波数、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を含む音響特徴量と、対応するコンテキストラベルとを対応付けて学習することで、統計モデルを構築する学習部とを含む。

【0014】

好ましくは、音声合成システムは、任意のテキストの入力に応答して、当該テキストの文脈情報に基づくコンテキストラベルを決定する決定部と、統計モデルから決定部により決定されたコンテキストラベルに対応する音響特徴量を推定する推定部とをさらに含む。当該推定される音響特徴量は、基本周波数、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を含む。音声合成システムは、さらに、推定された音響特徴量に含まれる基本周波数に従って生成されたパルス系列を、周期成分のスペクトル包絡に応じてフィルタリングすることで、周期成分を再構成する第１の再構成部と、ノイズ系列を非周期成分のスペクトル包絡に応じてフィルタリングすることで、非周期成分を再構成する第２の再構成部と、再構成された周期成分および非周期成分を加算して、入力された任意のテキストに対応する音声波形として出力する加算部とを含む。

【0015】

好ましくは、第２の抽出部は、第１の抽出部が基本周波数を抽出できない単位区間から非周期成分のみを抽出し、それ以外の単位区間から周期成分および非周期成分を抽出する。

【0016】

好ましくは、第１の抽出部は、基本周波数を抽出できない単位区間について、補間処理により基本周波数を決定する。

【0017】

好ましくは、パルス系列は、補間処理がなされた基本周波数系列から生成された系列であり、ノイズ系列は、全区間にわたりノイズが生成された系列である。

【0018】

本発明のさらに別の局面に従えば、ＳＰＳＳに従う音声合成方法を実現するための音声合成プログラムが提供される。音声合成プログラムはコンピュータに、既知のテキストに対応する音声波形の基本周波数を単位区間毎に抽出するステップと、音声波形から周期成分および非周期成分を単位区間毎に抽出するステップと、抽出された周期成分および非周期成分のスペクトル包絡を抽出するステップと、既知のテキストの文脈情報に基づくコンテキストラベルを生成するステップと、基本周波数、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を含む音響特徴量と、対応するコンテキストラベルとを対応付けて学習することで、統計モデルを構築するステップとを実行させる。

【0019】

本発明のさらに別の局面に従えば、ＳＰＳＳに従う音声合成方法が提供される。音声合成方法は、既知のテキストに対応する音声波形の基本周波数を単位区間毎に抽出するステップと、音声波形から周期成分および非周期成分を単位区間毎に抽出するステップと、抽出された周期成分および非周期成分のスペクトル包絡を抽出するステップと、既知のテキストの文脈情報に基づくコンテキストラベルを生成するステップと、基本周波数、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を含む音響特徴量と、対応するコンテキストラベルとを対応付けて学習することで、統計モデルを構築するステップとを含む。

【発明の効果】

【0020】

本発明によれば、ＳＰＳＳにおいて、音響モデルにおけるＶ／ＵＶの判定エラーに起因する品質への影響を低減できる。

【図面の簡単な説明】

【0021】

【図1】本実施の形態に従う音声合成システムを用いた多言語翻訳システムの概要を示す模式図である。

【図2】本実施の形態に従うサービス提供装置のハードウェア構成例を示す模式図である。

【図3】関連技術に係る音声合成処理の概要を説明するための模式図である。

【図4】本実施の形態に従う音声合成処理の概要を説明するための模式図である。

【図5】本実施の形態に従う音声合成システムにおける要部の処理を説明するためのブロック図である。

【図6】本実施の形態に従う音声合成システムにおいて出力される周期成分および非周期成分の音声波形の一例を示す図である。

【図7】本実施の形態に従う音声合成システムにおける処理手順の一例を示すフローチャートである。

【図8】本実施の形態に従う音声合成システムにおける処理手順の一例を示すフローチャートである。

【図9】本実施の形態に従う音声合成システムについての対比較実験の評価結果例を示す図である。

【発明を実施するための形態】

【0022】

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

【0023】

［Ａ．応用例］
まず、本実施の形態に従う音声合成システムの一つの応用例について説明する。より具体的には、本実施の形態に従う音声合成システムを用いた多言語翻訳システムについて説明する。

【0024】

図１は、本実施の形態に従う音声合成システムを用いた多言語翻訳システム１の概要を示す模式図である。図１を参照して、多言語翻訳システム１は、サービス提供装置１０を含む。サービス提供装置１０は、ネットワーク２を介して接続される携帯端末３０からの入力音声（第１言語で発せられたなんらかのことば）に対して音声認識、多言語翻訳などを行なって、第２言語での対応することばを合成して、その合成結果を出力音声として携帯端末３０へ出力する。

【0025】

例えば、ユーザ４は、携帯端末３０に対して、「Where is the station ?」という英語のことばを発すると、携帯端末３０は、その発せられたことばからマイクロフォンなどにより入力音声を生成し、生成した入力音声をサービス提供装置１０へ送信する。サービス提供装置１０は、「Where is the station ?」に対応する、日本語の「駅はどこですか？」ということばを示す出力音声を合成する。携帯端末３０は、サービス提供装置１０から出力音声を受信すると、その受信した出力音声を再生する。これによって、ユーザ４の対話相手には、日本語の「駅はどこですか？」とのことばが聞こえる。

【0026】

図示していないが、ユーザ４の対話相手も同様の携帯端末３０を有していてもよく、例えば、ユーザ４からの質問に対して、「まっすぐ行って左です」との回答を自身の携帯端末に向かって発すると、上述したような処理が実行されて、ユーザ４の対話相手の携帯端末から、対応する英語の「Go straight and turn left」ということばが回答される。

【0027】

このように、多言語翻訳システム１においては、第１言語のことば（音声）と第２言語のことば（音声）との間で自在に翻訳が可能である。なお、２つの言語に限らず、任意の数の言語間で相互に自動翻訳できるようにしてもよい。

【0028】

このような自動音声翻訳の機能を利用することで、外国旅行や外国人とのコミュニケーションを容易化できる。

【0029】

サービス提供装置１０に含まれる本実施の形態に従う音声合成システムは、後述するように、ＳＰＳＳの一手法を採用する。サービス提供装置１０は、音声合成システムに関するコンポーネントとして、分析部１２と、学習部１４と、ＤＮＮ１６と、音声合成部１８とを含む。

【0030】

サービス提供装置１０は、自動翻訳に関するコンポーネントとして、音声認識部２０と、翻訳部２２とを含む。サービス提供装置１０は、さらに、携帯端末３０との間で通信処理を行なうための通信処理部２４を含む。

【0031】

より具体的には、分析部１２および学習部１４は、ＤＮＮ１６を構築するための機械学習を担当する。分析部１２および学習部１４の機能および処理の詳細については、後述する。ＤＮＮ１６は、分析部１２および学習部１４による機械学習の結果としてのニューラルネットワークを格納する。

【0032】

本実施の形態においては一例として、ＤＮＮを用いているが、ＤＮＮに代えて、再帰型ニューラルネットワーク（recurrent neural network；以下「ＲＮＮ」とも略称する）、長・短記憶（long-short term memory；ＬＳＴＭ）ＲＮＮ、畳み込みニューラルネットワーク（convolutional neural network；ＣＮＮ）のいずれかを用いてもよい。

【0033】

音声認識部２０は、通信処理部２４を介して受信した携帯端末３０からの入力音声に対して、音声認識処理を実行することで音声認識テキストを出力する。翻訳部２２は、音声認識部２０からの音声認識テキストから、指定された言語のテキスト（説明の便宜上、「翻訳テキスト」とも記す。）を生成する。音声認識部２０および翻訳部２２については、公知の任意の方法を採用できる。

【0034】

音声合成部１８は、翻訳部２２からの翻訳テキストに対して、ＤＮＮ１６を参照して音声合成を行ない、その結果得られる出力音声を、通信処理部２４を介して携帯端末３０へ送信する。

【0035】

図１には、説明の便宜上、ＤＮＮ１６を構築するための機械学習を担当するコンポーネント（主として、分析部１２および学習部１４）と、生成されたＤＮＮ１６を用いて多言語翻訳を担当するコンポーネント（主として、音声認識部２０、翻訳部２２、および音声合成部１８）が同一のサービス提供装置１０に実装されている例を示すが、これらの機能をそれぞれ別の装置に実装してもよい。この場合、第１の装置において、機械学習を実施することでＤＮＮ１６を構築し、第２の装置において、当該生成されたＤＮＮ１６を用いて音声合成および当該音声合成を利用したサービスを提供するようにしてもよい。

【0036】

上述したような多言語翻訳サービスにおいては、音声認識部２０および翻訳部２２の少なくとも一部の機能を携帯端末３０で実行されるアプリケーションが担当するようにしてもよい。また、音声合成を担当するコンポーネント（ＤＮＮ１６および音声合成部１８）の機能を携帯端末３０で実行されるアプリケーションが担当するようにしてもよい。

【0037】

このように、サービス提供装置１０および携帯端末３０が任意の形態で協働することで、多言語翻訳システム１およびその一部である音声合成システムを実現できる。このとき、それぞれの装置が分担する機能については、状況に応じて適宜決定すればよく、図１に示される多言語翻訳システム１に限定されるようなものではない。

【0038】

［Ｂ．サービス提供装置のハードウェア構成］
次に、サービス提供装置のハードウェア構成の一例について説明する。図２は、本実施の形態に従うサービス提供装置１０のハードウェア構成例を示す模式図である。サービス提供装置１０は、典型的には、汎用コンピュータを用いて実現される。

【0039】

図２を参照して、サービス提供装置１０は、主要なハードウェアコンポーネントとして、プロセッサ１００と、主メモリ１０２と、ディスプレイ１０４と、入力デバイス１０６と、ネットワークインターフェイス（Ｉ／Ｆ：interface）１０８と、光学ドライブ１３４と、二次記憶装置１１２とを含む。これらのコンポーネントは、内部バス１１０を介して互いに接続される。

【0040】

プロセッサ１００は、後述するような各種プログラムを実行することで、本実施の形態に従うサービス提供装置１０の実現に必要な処理を実行する演算主体であり、例えば、１または複数のＣＰＵ（central processing unit）やＧＰＵ（graphics processing unit）などで構成される。複数のコアを有するようなＣＰＵまたはＧＰＵを用いてもよい。

【0041】

主メモリ１０２は、プロセッサ１００がプログラムを実行するにあたって、プログラムコードやワークメモリなどを一時的に格納する記憶領域であり、例えば、ＤＲＡＭ（dynamic random access memory）やＳＲＡＭ（static random access memory）などの揮発性メモリデバイスなどで構成される。

【0042】

ディスプレイ１０４は、処理に係るユーザインターフェイスや処理結果などを出力する表示部であり、例えば、ＬＣＤ（liquid crystal display）や有機ＥＬ（electroluminescence）ディスプレイなどで構成される。

【0043】

入力デバイス１０６は、ユーザからの指示や操作などを受付けるデバイスであり、例えば、キーボード、マウス、タッチパネル、ペンなどで構成される。また、入力デバイス１０６としては、機械学習に必要な音声を収集するためのマイクロフォンを含んでいてもよいし、機械学習に必要な音声を収集した集音デバイスと接続するためのインターフェイスを含んでいてもよい。

【0044】

ネットワークインターフェイス１０８は、インターネット上またはイントラネット上の携帯端末３０や任意の情報処理装置などとの間でデータを遣り取りする。ネットワークインターフェイス１０８としては、例えば、イーサネット（登録商標）、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの任意の通信方式を採用できる。

【0045】

光学ドライブ１３４は、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）などの光学ディスク１３６に格納されている情報を読出して、内部バス１１０を介して他のコンポーネントへ出力する。光学ディスク１３６は、非一過的（non-transitory）な記録媒体の一例であり、任意のプログラムを不揮発的に格納した状態で流通する。光学ドライブ１３４が光学ディスク１３６からプログラムを読み出して、二次記憶装置１１２などにインストールすることで、汎用コンピュータがサービス提供装置１０（または、音声合成装置）として機能するようになる。したがって、本発明の主題は、二次記憶装置１１２などにインストールされたプログラム自体、または、本実施の形態に従う機能や処理を実現するためのプログラムを格納した光学ディスク１３６などの記録媒体でもあり得る。

【0046】

図２には、非一過的な記録媒体の一例として、光学ディスク１３６などの光学記録媒体を示すが、これに限らず、フラッシュメモリなどの半導体記録媒体、ハードディスクまたはストレージテープなどの磁気記録媒体、ＭＯ（magneto-optical disk）などの光磁気記録媒体を用いてもよい。

【0047】

二次記憶装置１１２は、プロセッサ１００にて実行されるプログラム、プログラムが処理対象とする入力データ（学習用の入力音声およびテキスト、ならびに、携帯端末３０からの入力音声などを含む）、および、プログラムの実行により生成される出力データ（携帯端末３０へ送信される出力音声などを含む）などを格納するコンポーネントであり、例えば、ハードディスク、ＳＳＤ（solid state drive）などの不揮発性記憶装置で構成される。

【0048】

より具体的には、二次記憶装置１１２は、典型的には、図示しないＯＳ（operating system）の他、分析部１２を実現するための分析プログラム１２１と、学習部１４を実現するための学習プログラム１４１と、音声認識部２０を実現するための音声認識プログラム２０１と、翻訳部２２を実現するための翻訳プログラム２２１と、音声合成部１８を実現するための音声合成プログラム１８１とを格納している。

【0049】

これらのプログラムをプロセッサ１００で実行する際に必要となるライブラリや機能モジュールの一部を、ＯＳが標準で提供するライブラリまたは機能モジュールを用いて代替するようにしてもよい。この場合には、各プログラム単体では、対応する機能を実現するために必要なプログラムモジュールのすべてを含むものにはならないが、ＯＳの実行環境下にインストールされることで、必要な機能を実現できる。このような一部のライブラリまたは機能モジュールを含まないプログラムであっても、本発明の技術的範囲に含まれ得る。

【0050】

また、これらのプログラムは、上述したようないずれかの記録媒体に格納されて流通するだけでなく、インターネットまたはイントラネットを介してサーバ装置などからダウンロードすることで配布されてもよい。

【0051】

なお、実際には、音声認識部２０および翻訳部２２を実現するためのデータベースが必要となるが、説明の便宜上、それらのデータベースについては描いていない。

【0052】

二次記憶装置１１２は、ＤＮＮ１６に加えて、ＤＮＮ１６を構築するための、機械学習用の入力音声１３０および対応するテキスト１３２を格納していてもよい。

【0053】

図２には、単一のコンピュータがサービス提供装置１０を構成する例を示すが、これに限らず、ネットワークを介して接続された複数のコンピュータが明示的または黙示的に連携して、多言語翻訳システム１およびその一部である音声合成システムを実現するようにしてもよい。

【0054】

コンピュータ（プロセッサ１００）がプログラムを実行することで実現される機能の全部または一部を、集積回路などのハードワイヤード回路（hard-wired circuit）を用いて実現してもよい。例えば、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）などを用いて実現してもよい。

【0055】

当業者であれば、本発明が実施される時代に応じた技術を適宜用いて、本実施の形態に従う音声合成システムを実現できるであろう。

【0056】

［Ｃ．概要］
本実施の形態においては、ＳＰＳＳに従う音声合成システムが提供される。本実施の形態に従う音声合成システムにおいては、励振源を示す源信号を周期成分と非周期成分とに分解することで、Ｖ／ＵＶの判定を不要化した方式を採用する。源信号を表現する周期成分および非周期成分を示す音声パラメータをＤＮＮに適用して学習を行なう。

【0057】

まず、関連技術に係る音声合成処理および当該音声合成処理をＳＰＳＳに適用する場合の処理について説明する。図３は、関連技術に係る音声合成処理の概要を説明するための模式図である。図３を参照して、関連技術に係る音声合成処理においては、パルス生成部２５０と、ホワイトノイズ生成部２５２と、切替部２５４と、音声合成フィルタ２５６とを含む。図３に示す構成において、パルス生成部２５０、ホワイトノイズ生成部２５２、および、切替部２５４は、励振源をモデル化した部分に相当し、励振源からの源信号は、パルス生成部２５０から出力されるパルス系列と、ホワイトノイズ生成部２５２からの雑音系列とのうち、いずれか一方が切替部２５４にて選択されて、音声合成フィルタ２５６へ与えられる。パルス生成部２５０には、声の高さを示すＦ₀のパラメータが与えられ、Ｆ₀の逆数（基本周期／ピッチ周期）の間隔でパルス系列を出力する。なお、図示していないが、パルス生成部２５０には、声の大きさを示す振幅のパラメータが与えられてもよい。音声合成フィルタ２５６は、音声の音色を決定する部分であり、スペクトル包絡を示すパラメータが与えられる。

【0058】

図３に示す音声生成時のソースフィルタモデルにおいては、入力された音声波形を単位区間（例えば、フレーム単位）で区切るとともに、各単位区間が有声区間であるか無声区間であるかが判定され、有声区間についてはパルス系列が源信号として出力され、無声区間についてはノイズ系列が源信号として出力される。この有声区間と無声区間とを識別するパラメータがＶ／ＵＶフラグである。

【0059】

図３に示すソースフィルタモデルをＳＰＳＳに適用する場合には、Ｆ₀、Ｖ／ＵＶフラグ、スペクトル包絡が学習対象のパラメータとなる。したがって、各単位区間についてＶ／ＵＶを正しく判定しなければならない。しかしながら、Ｖ／ＵＶの判定、および、パルス系列およびノイズ系列が切替えられることによる不連続性を伴う源信号のモデル化は容易ではないので、合成音声に品質劣化が生じる可能性がある。

【0060】

そこで、本実施の形態においては、音声波形の各単位区間についてのＶ／ＵＶを判定する必要のない手法を採用する。これにより、関連技術において生じ得る、Ｖ／ＵＶの判定エラーによる合成音声の品質への影響を低減する。

【0061】

図４は、本実施の形態に従う音声合成処理の概要を説明するための模式図である。図４を参照して、本実施の形態に従う音声合成処理においては、パルス生成部２００と、音声合成フィルタ（周期成分）２０２と、ガウシアンノイズ生成部２０４と、音声合成フィルタ（非周期成分）２０６と、加算部２０８とを含む。

【0062】

本実施の形態においては、図３に示すＶ／ＵＶフラグを用いた源信号の切替えではなく、周期成分および非周期成分のそれぞれに源信号を用意する。すなわち、音声信号を周期成分および非周期成分に分解する。

【0063】

より具体的には、パルス生成部２００および音声合成フィルタ（周期成分）２０２は、周期成分を生成する部分であり、パルス生成部２００は、指定されたＦ₀に従うパルス（後述するように、連続的なパルス系列）を生成するとともに、音声合成フィルタ（周期成分）２０２が周期成分に対応するスペクトル包絡に応じたフィルタを当該連続的なパルス系列に乗じることで、合成音声に含まれる周期成分を出力する。

【0064】

このように、各単位区間がＶ／ＵＶのいずれであるかによらず、連続的なパルス系列を用いることができるのは、周期成分の無音区間は非可聴なパワーであると仮定し、全区間を有声であると扱うためである。すなわち、無音や無声といった周期性をもたない区間において、周期成分に対応するスペクトル包絡は、十分に振幅が小さいと仮定する。この仮定に従うと、このような無音または無声の区間において、Ｆ₀のパルス系列から周期成分を生成したとしても、非可聴な程に十分に小さくなると考えられる。そのため、関連技術に係る音声合成処理において、パルス系列の生成を停止していた無声区間においても、本実施の形態に従う音声合成処理においては、パルス系列を発生することで、パルス系列の不連続性に起因する合成音声への影響を低減することができる。

【0065】

また、ガウシアンノイズ生成部２０４および音声合成フィルタ（非周期成分）２０６は、非周期成分を生成する部分であり、ガウシアンノイズ生成部２０４は、連続的なノイズ系列の一例として、ガウシアンノイズを生成するとともに、音声合成フィルタ（非周期成分）２０６が非周期成分に対応するスペクトル包絡に応じたフィルタを当該ノイズ系列に乗じることで、合成音声に含まれる非周期成分を出力する。

【0066】

最終的に、音声合成フィルタ（周期成分）２０２から出力される周期成分、および、音声合成フィルタ（非周期成分）２０６から出力される非周期成分が加算部２０８で加算されることで、合成音声を示す音声波形が出力される。

【0067】

このように、各単位区間がＶ／ＵＶのいずれであるかによらず、ノイズ系列を用いることができるのは、非周期成分が無声信号および無音により構成されると仮定し、全区間を無声であると扱うためである。以上のように、有声区間および無声区間を区別する必要のない音響モデルを用いるとともに、その音響モデルに基づく学習を行なうことで、Ｖ／ＵＶの判定を必要としない音声合成方法を実現できる。

【0068】

［Ｄ．学習処理および音声合成処理］
次に、本実施の形態に従う音声合成システムにおける学習処理および音声合成処理の詳細について説明する。図５は、本実施の形態に従う音声合成システムにおける要部の処理を説明するためのブロック図である。

【0069】

図５を参照して、音声合成システムは、ＤＮＮ１６を構築するための分析部１２および学習部１４と、ＤＮＮ１６を用いて音声波形を出力する音声合成部１８とを含む。以下、これらの各部の処理および機能について詳述する。

【0070】

（ｄ１：分析部１２）
まず、分析部１２における処理および機能について説明する。分析部１２は、音声分析を担当する部分であり、学習用の入力音声が示す音声波形から音響特徴量系列を生成する。本実施の形態に従う音声合成システムにおいて、フレーム毎の音響特徴量は、Ｆ₀およびスペクトル包絡（周期成分および非周期成分）を含む。

【0071】

より具体的には、分析部１２は、Ｆ₀抽出部１２０と、周期／非周期成分抽出部１２２と、特徴量抽出部１２４とを含む。特徴量抽出部１２４は、Ｆ₀補間部１２６と、スペクトル包絡抽出部１２８とを含む。

【0072】

Ｆ₀抽出部１２０は、既知のテキストに対応する音声波形のＦ₀をフレーム（単位区間）毎に抽出する。すなわち、Ｆ₀抽出部１２０は、入力される音声波形からＦ₀をフレーム毎に抽出する。抽出されたＦ₀は、周期／非周期成分抽出部１２２および特徴量抽出部１２４へ与えられる。

【0073】

周期／非周期成分抽出部１２２は、入力される音声波形から周期成分および非周期成分をフレーム（単位区間）毎に抽出する。より具体的には、周期／非周期成分抽出部１２２は、入力される音声波形のＦ₀に基づいて、Ｆ₀から周期成分および非周期成分を抽出する。本実施の形態においては、源信号ｓ（ｔ）を以下の（１）式に示すように抽出する。

【0074】

【数1】

【0075】

但し、ｆ_０（ｔ）は、音声波形のフレームｔにおけるＦ₀を示し、周期性信号ｓ_ｐｄｃ（ｔ）は、音声波形のフレームｔにおける周期成分を示し、非周期性信号ｓ_ａｐｄ（ｔ）は、音声波形のフレームｔにおける非周期成分を示す。

【0076】

このように、入力される音声波形のフレームｔ毎に、Ｆ₀が存在する場合には、源信号は周期成分および非周期成分を含むものとして扱い、Ｆ₀が存在しない場合には、源信号は非周期成分のみを含むものとして扱う。すなわち、周期／非周期成分抽出部１２２は、Ｆ₀抽出部１２０がＦ₀を抽出できないフレーム（単位区間）から非周期成分のみを抽出し、それ以外のフレームから周期成分および非周期成分を抽出する。

【0077】

本実施の形態においては、源信号の周期（harmonic）成分を表現する一例として、以下の（２）式に示すようなsinusoidalモデルを採用する。

【0078】

【数2】

【0079】

（２）式において、Ｊはharmonicの数を示す。すなわち、（２）式に示すsinusoidalモデルにおいては、harmonicでの周波数および振幅は線形的に近似されている。このsinusoidalモデルを解くにあたって、α_ｋ，β_ｋ，γ，φ_ｋの値をそれぞれ決定する必要がある。より具体的には、以下の（３）式に従って定義されるδを最小化する値が解として決定される。

【0080】

【数3】

【0081】

但し、ω（ｔ）は、長さ２Ｎ_ｗ＋１の窓関数である。（３）式に従って定義されるδを最小化する値は、非特許文献８に示される解法によって決定される。

【0082】

周期／非周期成分抽出部１２２は、上述したような数学的な解法に従って、入力される音声波形に含まれる周期性信号ｓ_ｐｄｃ（ｔ）および非周期性信号ｓ_ａｐｄ（ｔ）を抽出する。

【0083】

特徴量抽出部１２４は、音響特徴量として、連続的なＦ₀、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を出力する。スペクトル包絡としては、例えば、ＬＳＰ（line spectral pair）、ＬＰＣ（linear prediction coefficients）、メルケプストラム係数のいずれを採用してもよい。なお、音響特徴量としては、連続的なＦ₀の対数（以下、「連続的なｌｏｇＦ₀」とも略称する。）が用いられる。

【0084】

Ｆ₀補間部１２６は、Ｆ₀抽出部１２０が音声波形からフレーム毎に抽出されるＦ₀を補間して、連続的なＦ₀（Ｆ₀系列）を生成する。より具体的には、例えば、直近の１または複数のフレームにおいて抽出されたＦ₀から所定の補間関数に従って、対象のフレームにおけるＦ₀を決定できる。Ｆ₀補間部１２６におけるＦ₀の補間方法は、公知の任意の方法を採用できる。

【0085】

スペクトル包絡抽出部１２８は、抽出される周期成分および非周期成分のスペクトル包絡を抽出する。より具体的には、スペクトル包絡抽出部１２８は、Ｆ₀抽出部１２０が抽出したＦ₀に基づいて、周期／非周期成分抽出部１２２から出力される周期性信号ｓ_ｐｄｃ（ｔ）および非周期性信号ｓ_ａｐｄ（ｔ）から、スペクトル包絡を抽出する。すなわち、スペクトル包絡抽出部１２８は、フレーム毎の周期性信号ｓ_ｐｄｃ（ｔ）に含まれる各周波数成分の分布特性を示す周期成分を示すスペクトル包絡（ｐｄｃ）を抽出するとともに、フレーム毎の非周期性信号ｓ_ａｐｄ（ｔ）に含まれる各周波数成分の分布特性を示す非周期成分を示すスペクトル包絡（ａｐｄ）を抽出する。

【0086】

図６は、本実施の形態に従う音声合成システムにおいて出力される周期成分および非周期成分の音声波形の一例を示す図である。図６には、一例として、話者が「すべて」と発したときの音声信号を示す。後述するように、ＤＮＮ１６において、フレーム単位で音響特徴量が学習される。

【0087】

図６（ａ）には、入力された音声波形（源信号）を示し、図６（ｂ）には、源信号から抽出された周期成分の音声波形を示し、図６（ｃ）には、源信号から抽出された非周期成分の音声波形を示す。Ｆ₀が抽出される区間の周期成分が図６（ｂ）に示すように抽出される一方、Ｆ₀が抽出される区間の非周期成分とＦ₀が抽出されない区間とは、図６（ｃ）のようになる。図６（ｂ）中において「ｎｏｎ−Ｆ₀」とラベル付けされた区間では、振幅がほとんどゼロになっており、この区間がＦ₀が抽出されない区間に相当する。

【0088】

（ｄ２：学習部１４）
次に、学習部１４における処理および機能について説明する。ＳＰＳＳにおいては、入力されたテキストと当該テキストに対応する音声波形との関係を統計的に学習する。一般的に、この関係を直接モデル化することは容易ではない。そこで、本実施の形態に従う音声合成システムにおいては、入力されたテキストの文脈情報に基づくコンテキストラベル系列を生成するとともに、入力された音声波形からＦ₀およびスペクトル包絡を含む音響特徴量系列を生成する。そして、コンテキストラベル系列および音響特徴量系列を用いて学習することで、コンテキストラベル系列を入力とし、音響特徴量系列を出力する音響モデルを構築する。本実施の形態においては、ＤＮＮに従って統計モデルである音響モデルを構築する。その結果、ＤＮＮ１６には、構築される音響モデル（統計モデル）を示すパラメータが格納されることになる。

【0089】

図５に示す構成においては、コンテキストラベル系列を生成するコンポーネントとして、テキスト分析部１６２およびコンテキストラベル生成部１６４を含む。テキスト分析部１６２およびコンテキストラベル生成部１６４は、既知のテキストの文脈情報に基づくコンテキストラベルを生成する。

【0090】

コンテキストラベルは、学習部１４および音声合成部１８の両方で用いるため、学習部１４および音声合成部１８が共通に利用する構成例を示している。しかしながら、学習部１４および音声合成部１８の各々に、コンテキストラベルを生成するためのコンポーネントをそれぞれ実装するようにしてもよい。

【0091】

テキスト分析部１６２は、入力される学習用または合成対象のテキストを分析して、その文脈情報をコンテキストラベル生成部１６４へ出力する。コンテキストラベル生成部１６４は、テキスト分析部１６２からの分脈情報に基づいて、コンテキストラベルを決定してモデル学習部１４０へ出力する。

【0092】

本実施の形態に従う音声合成システムにおいては、フレーム毎の音響特徴量を用いて学習を行なうので、コンテキストラベル生成部１６４についても、フレーム毎のコンテキストラベルを生成する。一般的に、コンテキストラベルは音素単位で生成されるため、コンテキストラベル生成部１６４は、音素内における各フレームの位置情報を付与することで、フレーム単位のコンテキストラベルを生成する。

【0093】

モデル学習部１４０は、分析部１２からの音響特徴量系列１４２と、コンテキストラベル生成部１６４からのコンテキストラベル系列１６６とを入力として、ＤＮＮを用いて音響モデルを学習する。このように、モデル学習部１４０は、Ｆ₀、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を含む音響特徴量と、対応するコンテキストラベルとを対応付けて学習することで、統計モデルである音響モデルを構築する。

【0094】

モデル学習部１４０でのＤＮＮに基づく音響モデルの学習においては、フレーム毎にコンテキストラベルを入力するとともに、フレーム毎の音響特徴量ベクトル（要素として、少なくとも、連続的なｌｏｇＦ₀、周期成分のスペクトル包絡、非周期成分のスペクトル包絡を含む）を出力とするＤＮＮを用いることで、確率分布のモデル化を行なう。典型的には、モデル学習部１４０は、正規化された音響特徴量ベクトルについての平均二乗誤差を最小化するようにＤＮＮを学習する。このようなＤＮＮの学習は、以下の（４）式に示すように、フレーム毎に変化する平均ベクトルおよびコンテキスト非依存の共分散行列をもつ正規分布により、確率分布のモデル化を行なうことと等価である。

【0095】

【数4】

【0096】

但し、λはＤＮＮのパラメータセットを示し、Ｕはグローバルな共分散行列を示し、μｔはＤＮＮにより推定される音声パラメータの平均ベクトルを示す。したがって、生成された確率分布系列は、時変な平均ベクトルおよび時不変な共分散行列をもつことになる。

【0097】

（ｄ３：音声合成部１８）
次に、音声合成部１８における処理および機能について説明する。音声合成部１８は、合成対象のテキストから生成されるフレーム毎のコンテキストラベルを生成し、生成したフレーム毎のコンテキストラベルをＤＮＮ１６に入力することで、確率分布系列を推定する。そして、推定した確率分布系列に基づいて、学習時とは逆の処理を経て、音声波形を合成する。

【0098】

より具体的には、音声合成部１８は、音響特徴量推定部１８０と、パルス生成部１８４と、周期成分生成部１８６と、非周期成分生成部１８８と、加算部１８７とを含む。

【0099】

何らかの合成対象のテキストが入力されると、テキスト分析部１６２が入力されたテキストを分析して文脈情報を出力し、コンテキストラベル生成部１６４が分脈情報に基づいてコンテキストラベルを生成する。すなわち、テキスト分析部１６２およびコンテキストラベル生成部１６４は、任意のテキストの入力に応答して、当該テキストの文脈情報に基づくコンテキストラベルを決定する。

【0100】

音響特徴量推定部１８０は、ＤＮＮ１６に構築された統計モデルである音響モデルから決定されたコンテキストラベルに対応する音響特徴量を推定する。より具体的には、音響特徴量推定部１８０は、生成されたフレーム毎のコンテキストラベルを、学習された音響モデルを示すＤＮＮ１６に入力する。音響特徴量推定部１８０は、入力されたコンテキストラベルに対応する音響特徴量をＤＮＮ１６から推定する。コンテキストラベル系列の入力に対応して、ＤＮＮ１６からはフレーム毎に平均ベクトルのみが変化する確率分布系列である音響特徴量系列１８２が出力される。

【0101】

音響特徴量系列１８２に含まれる、補間された連続的なＦ₀（Ｆ₀系列）、周期成分のスペクトル包絡、非周期成分のスペクトル包絡は、ＤＮＮ１６を用いて、コンテキストラベル系列から推定される。

【0102】

補間された連続的なＦ₀（Ｆ₀系列）は、連続分布として表現できるため、連続的なパルス系列から構成される。周期成分のスペクトル包絡および非周期成分のスペクトル包絡は、それぞれについてモデル化される。

【0103】

パルス生成部１８４および周期成分生成部１８６は、推定された音響特徴量に含まれるＦ₀に従って生成されたパルス系列を、周期成分のスペクトル包絡に応じてフィルタリングすることで、周期成分を再構成する。より具体的には、パルス生成部１８４は、音響特徴量推定部１８０からのＦ₀（Ｆ₀系列）に従ってパルス系列を生成する。周期成分生成部１８６は、パルス生成部１８４からのパルス系列を周期成分のスペクトル包絡でフィルタリングすることで、周期成分を生成する。

【0104】

非周期成分生成部１８８は、ガウシアンノイズ系列などのノイズ系列を非周期成分のスペクトル包絡に応じてフィルタリングすることで、非周期成分を再構成する。より具体的には、非周期成分生成部１８８は、任意の励振源からのガウス性ノイズを非周期成分のスペクトル包絡でフィルタリングすることで、非周期成分を生成する。

【0105】

加算部１８７は、周期成分生成部１８６からの周期成分と非周期成分生成部１８８からの非周期成分とを加算することで、音声波形を再構成する。すなわち、加算部１８７は、再構成された周期成分および非周期成分を加算して、入力された任意のテキストに対応する音声波形として出力する。

【0106】

上述したように、本実施の形態に従う音声合成システムにおいては、予め学習により構築されたＤＮＮ１６を用いて、フレーム毎のコンテキストラベルについて確率分布系列を推定するとともに、静的特徴量と動的特徴量との間の明示的な関係を利用することで，適切に遷移する音響特徴量系列を生成する。そして、生成された音響特徴量系列をボコーダーに適用することで、推定された音響特徴量から合成音声を生成する。

【0107】

このように、本実施の形態に従う音声合成システムにおいては、Ｖ／ＵＶの判定を行なうことなく、連続的な系列から音声波形を生成できる。

【0108】

なお、本実施の形態においては、典型例として、学習手段としてＤＮＮを用いるシステムを説明するが、学習手段としてはＤＮＮに限られず、任意の教師あり学習の方法を採用できる。例えば、ＨＭＭや再帰型ニューラルネットワーク（Recurrent Neural Network）などを採用してもよい。

【0109】

［Ｅ．処理手順］
図７および図８は、本実施の形態に従う音声合成システムにおける処理手順の一例を示すフローチャートである。図７および図８に示す各ステップは、１または複数のプロセッサ（例えば、図２に示すプロセッサ１００）が１または複数のプログラムを実行することで実現されてもよい。

【0110】

図７には、ＤＮＮ１６を構築するための事前の機械学習の処理を示し、図８には、ＤＮＮ１６を用いた音声合成の処理を示す。

【0111】

図７を参照して、プロセッサ１００は、既知のテキストおよび当該テキストに対応する音声波形が入力されると（ステップＳ１００）、入力された音声波形をフレームに区切り（ステップＳ１０２）、フレーム毎に、入力されたテキストからコンテキストラベルを生成する処理（ステップＳ１１０〜Ｓ１１２）、および、音響特徴量系列を生成する処理（ステップＳ１２０〜Ｓ１２８）を実行することで、コンテキストラベル系列および音響特徴量系列を生成する。

【0112】

すなわち、プロセッサ１００は、入力されたテキストを分析して文脈情報を生成し（ステップＳ１１０）、当該生成された文脈情報に基づいて、対応するフレームについてのコンテキストラベルを決定する（ステップＳ１１２）。

【0113】

また、プロセッサ１００は、入力された音声波形の対象フレームにおけるＦ₀を抽出し（ステップＳ１２０）、先に抽出されたＦ₀との間で補間処理を行なうことで、連続的なＦ₀を決定する（ステップＳ１２２）。そして、プロセッサ１００は、入力された音声波形の対象フレームにおける周期成分および非周期成分を抽出し（ステップＳ１２４）、それぞれの成分についてのスペクトル包絡を抽出する（ステップＳ１２６）。プロセッサ１００は、ステップＳ１２２において決定した連続的なＦ₀の対数、ならびに、ステップＳ１２６において抽出したスペクトル包絡（周期成分および非周期成分）を音響特徴量として決定する（ステップＳ１２８）。

【0114】

プロセッサ１００は、ステップＳ１１２において決定されたコンテキストラベルと、ステップＳ１２８において決定された音響特徴量とをＤＮＮ１６に追加する（ステップＳ１３０）。そして、プロセッサ１００は、未処理のフレームが存在するか否かを判断し（ステップＳ１３２）、未処理のフレームが存在する場合（ステップＳ１３２においてＹＥＳの場合）には、ステップＳ１１０〜Ｓ１１２、および、ステップＳ１２０〜Ｓ１２８の処理を繰返す。また、未処理のフレームが存在しない場合（ステップＳ１３２においてＮＯの場合）には、プロセッサ１００は、新たなテキストおよび当該テキストに対応する音声波形が入力されたか否かを判断し（ステップＳ１３４）、新たなテキストおよび当該テキストに対応する音声波形が入力された場合（ステップＳ１３４においてＹＥＳの場合）には、ステップＳ１０２以下の処理を繰返す。

【0115】

新たなテキストおよび当該テキストに対応する音声波形が入力されていない場合（ステップＳ１３４においてＮＯの場合）には、学習処理は終了する。

【0116】

なお、上述の説明においては、コンテキストラベルおよび音響特徴量が生成される毎に、ＤＮＮ１６へ入力する処理例を示すが、対象の音声波形からコンテキストラベル系列および音響特徴量系列の生成が完了した後に、まとめてＤＮＮ１６へ入力するようにしてもよい。

【0117】

次に、図８を参照して、プロセッサ１００は、合成対象のテキストが入力されると（ステップＳ２００）、入力されたテキストを分析して文脈情報を生成し（ステップＳ２０２）、当該生成された文脈情報に基づいて、対応するフレームについてのコンテキストラベルを決定する（ステップＳ２０４）。そして、プロセッサ１００は、ステップＳ２０４において決定したコンテキストラベルに対応する音響特徴量をＤＮＮ１６から推定する（ステップＳ２０６）。

【0118】

プロセッサ１００は、推定した音響特徴量に含まれるＦ₀に従ってパルス系列を発生する（ステップＳ２０８）とともに、推定した音響特徴量に含まれるスペクトル包絡（周期成分）で当該発生したパルス系列をフィルタリングすることで、音声波形の周期成分を生成する（ステップＳ２１０）。

【0119】

また、プロセッサ１００は、ガウシアンノイズ系列を発生する（ステップＳ２１２）とともに、推定した音響特徴量に含まれるスペクトル包絡（非周期成分）で当該発生したガウシアンノイズ系列をフィルタリングすることで、音声波形の非周期成分を生成する（ステップＳ２１４）。

【0120】

最終的に、プロセッサ１００は、ステップＳ２１０において生成した周期成分とステップＳ２１４において生成した非周期成分とを加算して、合成音声の音声波形として出力する（ステップＳ２１６）。そして、入力されたテキストに対する音声合成処理は終了する。なお、ステップＳ２０６〜Ｓ２１６の処理は、入力されたテキストを構成するフレームの数だけ繰返される。

【0121】

［Ｆ．実験的評価］
次に、本実施の形態に従う音声合成システムのおける有効性について実施した実験的評価について説明する。

【0122】

（ｆ１：実験条件）
本実施の形態に係る実施例の比較対象となる比較例として、一般的なＤＮＮ音声合成を用いた。

【0123】

音声データとして、日本語女性話者１名により発声されたＡＴＲ音素バランス文５０３文を用いた。このうち、４９３文を学習データとして用いるとともに、残り１０文を評価文として用いた。

【0124】

音声データのサンプリング周波数は１６ｋＨｚとし、分析周期は５ｍｓとした。学習データの音声データに対するＷＯＲＬＤ分析によって得られた、スペクトルおよび非周期性指標（ＡＰ）を、それぞれ３９次のメルケプストラム係数（０次を含めて４０次）として表現した。

【0125】

ｌｏｇＦ₀については、公知の複数の抽出法による結果を統合することで算出した上で、平滑化によってマイクロプロソディを除去した。

【0126】

実施例の音素継続長モデルは、比較例のＨＭＭ音声合成と同様に、音素単位のコンテキストラベルを用いて、５状態のスキップ無しleft-to-right型のコンテキスト依存音素ＨＳＭＭ（hidden semi-Markov model：隠れセミマルコフモデル)を学習した。また、ＤＮＮによる音響モデルの学習では、さらに無声区間を補間した連続ｌｏｇＦ₀パターンを用いた。これらのパラメータに対して、さらに１次動的特徴量および２次動的特徴量を付与したものを音響特徴量とした。

【0127】

比較例のＤＮＮ音声合成については、上記特徴量に加え、Ｖ／ＵＶ情報を用いた。入力ベクトルは、音素単位のコンテキストラベルに対して、ＨＳＭＭの継続長モデルから得られた継続長情報を付与することで、フレーム毎のコンテキストラベルを生成し、合計４８３次元のベクトルとして表現した。

【0128】

出力ベクトルは、比較例が２４４次元の音響特徴量のベクトルとし、実施例が２４３次元の音響特徴量のベクトルとした。

【0129】

実施例および比較例にそれぞれ用いた特徴量およびモデルの一覧を以下の表１に示す。但し、入力ベクトルおよび出力ベクトルは、いずれも平均が０、分散が１となるように正規化した。

【0130】

ＤＮＮのネットワーク構成は、隠れ層を６層とし、ユニット数１０２４とした上で、重みは乱数を用いて初期化した。また、ミニバッチサイズは２５６として、ｅｐｏｃｈ数は３０として、学習係数は２．５×１０^４として、隠れ層の活性化関数はＲｅＬＵ（rectied linear unit）とし、optimizerはＡｄａｍとした。また、重み０．５のDropoutも用いた。

【0131】

【表1】

【0132】

（ｆ２：主観評価）
表１に示すように、実施例と比較例との間で音響特徴量が異なっているため、客観評価ではなく主観評価にて評価した。より具体的には、対比較実験により合成音声の自然性を比較した。

【0133】

上述したように、ＡＴＲ音素バランス文５０３文のうち学習データとしなかった１０文を評価音声とした。実施例および比較例のそれぞれによって生成された合成音声を被験者（内訳：男性４名、女性１名）に聞いてもらい、より自然性である（音声品質が高い）と感じたものを選択してもらった。但し、提示音声対に差が感じられない際には、「どちらでもない」という選択肢を認めた。

【0134】

なお、実施例および比較例ともに、スペクトル包絡のメルケプストラム係数に対するポストフィルタを適用した。

【0135】

図９は、本実施の形態に従う音声合成システムについての対比較実験の評価結果例を示す図である。図９において、比較例の非周期性指標（ＡＰ）は０．０から１．０の間で非周期性を表現している。

【0136】

図９中のαはＡＰのしきい値を示す。α＝０．０の場合に完全に有声となり、α＝１．０の場合に完全に無声となる。ＡＰがしきい値αより低い場合は有声とし、高い場合は無声とした。

【0137】

予備実験においてＶ／ＵＶの判定エラー率の低かったしきい値として、α＝０．５およびα＝０．６を用いた（図９（ａ）および（ｂ））。また、図９（ｃ）の「ｒｅｆｅｒｅｎｃｅ」は、Ｖ／ＵＶの判定結果の正解を与えた場合の結果を示す。

【0138】

図９（ａ）〜（ｃ）に示すいずれの場合についても、実施例が比較例に対して、検定統計量のｐ値がｐ＜０．０１となり、有意性を示したことが確認された。

【0139】

（ｆ３：実験的評価の結論）
本実施の形態に従う音声合成システムにおいては、入力音声を周期成分／非周期成分に分離することにより、連続的にＦ₀およびスペクトル包絡のトラジェクトリを表現できた。このような手法を採用することにより、モデリング精度の改善およびＶ／ＵＶの判定エラーの回避といった利点を得ることができたと考えられる。

【0140】

上述の主観評価の結果によれば、本実施の形態に係る実施例は、比較例に対して正しいＶ／ＵＶ情報が与えられたときでさえ、より優れた性能を示した。このような結果によれば、周期成分と非周期成分とに分離したモデリングが品質改善に寄与していると評価できる。

【0141】

［Ｇ．まとめ］
本実施の形態に従う音声合成システムにおいては、ＳＰＳＳを実施するにあたって、源信号についてＶ／ＵＶを判定する必要のない手法を採用した。Ｖ／ＵＶを判定する代わりに、源信号を周期成分と非周期成分との組み合わせとして表現することで、Ｖ／ＵＶの判定エラーによる合成音声への品質劣化を抑制することができる。また、Ｆ₀系列を連続化することで、構築される音響モデルのモデリング精度を向上することもできる。

【0142】

本実施の形態に従う音声合成システムによる合成音声については、主観評価ながら、従来の手法に比較して、十分に品質を向上させることができることが示された。

【0143】

今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0144】

１ 多言語翻訳システム、２ ネットワーク、４ ユーザ、１０ サービス提供装置、１２ 分析部、１４ 学習部、１８ 音声合成部、２０ 音声認識部、２２ 翻訳部、２４ 通信処理部、３０ 携帯端末、１００ プロセッサ、１０２ 主メモリ、１０４ ディスプレイ、１０６ 入力デバイス、１０８ ネットワークインターフェイス、１１０ 内部バス、１１２ 二次記憶装置、１２０ Ｆ₀抽出部、１２１ 分析プログラム、１２２ 周期／非周期成分抽出部、１２４ 特徴量抽出部、１２６ Ｆ₀補間部、１２８ スペクトル包絡抽出部、１３０ 入力音声、１３２ テキスト、１３４ 光学ドライブ、１３６ 光学ディスク、１４０ モデル学習部、１４１ 学習プログラム、１４２，１８２ 音響特徴量系列、１６２ テキスト分析部、１６４ コンテキストラベル生成部、１６６ コンテキストラベル系列、１８０ 音響特徴量推定部、１８１ 音声合成プログラム、１８４，２００，２５０ パルス生成部、１８６ 周期成分生成部、１８７，２０８ 加算部、１８８ 非周期成分生成部、２０１ 音声認識プログラム、２０４ ガウシアンノイズ生成部、２２１ 翻訳プログラム、２５２ ホワイトノイズ生成部、２５４ 切替部、２５６ 音声合成フィルタ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】