(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-19
(45)【発行日】2023-12-27
(54)【発明の名称】声質変換システムおよび声質変換方法
(51)【国際特許分類】
G10L 21/007 20130101AFI20231220BHJP
【ＦＩ】
G10L21/007
【請求項の数】
8
(21)【出願番号】P 2020048518
(22)【出願日】2020-03-19
(65)【公開番号】P2021148942
(43)【公開日】2021-09-27
【審査請求日】2022-07-14
(73)【特許権者】
【識別番号】000233169
【氏名又は名称】株式会社日立ソリューションズ・テクノロジー
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】孫 慶華
【審査官】山下 剛史
(56)【参考文献】
【文献】特開２０１９－８１２０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／００１２６１３（ＵＳ，Ａ１）
【文献】特開２０２０－１９０６０５（ＪＰ，Ａ）
【文献】齋藤佑樹他，音素事後確率を用いた多対一音声変換のための音声認識・生成モデルの同時敵対学習，日本音響学会２０１９年秋季研究発表会講演論文集［ＣＤ－ＲＯＭ］，2019年09月，pp.963-966
【文献】YI Zhou, et al.，CROSS-LINGUAL VOICE CONVERSION WITH BILINGUAL PHONETIC POSTERIORGRAM AND AVERAGE MODELING，ICASSP 2019，IEEE，2019年05月，pp.6790-6794
【文献】YOW-Bang Wang, et al.，An Experimental Analysis on Integrating Multi-Stream Spectro-Temporal, Cepstral and Pitch Information for Mandarin Speech Recognition，IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING，Vol.21, No.10，2013年10月，pp.2006-2014
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ １３／００－１５／３４，２１／００－２５／９３
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
情報処理装置により、入力音声から声質を変換した合成音声を出力する声質変換システムであって、声質変換用データ作成装置と、
声質変換装置とを備え、
前記声質変換用データ作成装置は、
単語辞書とテキストと音声情報を対応付けた音声コーパスとを入力して、ＰＰＧ変換モデルを生成するＰＰＧ（音素事後確率）変換モデル学習部と、
音声コーパスと前記ＰＰＧ変換モデルを入力して音声パラメータ生成モデルを生成する音声パラメータ生成モデル学習部とよりなり、
前記ＰＰＧ変換モデル学習部は、
前記単語辞書から韻律情報付き辞書を生成し、
前記音声コーパスに含まれるテキストを形態素解析して、形態素解析の結果と、前記韻律情報付き辞書に基づいて、韻律情報付き音素配列を生成し、
前記韻律情報付き音素配列と、前記音声コーパスに含まれる音声情報の特徴量解析の結果として出力される音声特徴量とから、音響モデルを生成し、
前記音響モデルを学習して、前記ＰＰＧ変換モデルを生成し、
前記音声パラメータ生成モデル学習部は、
前記ＰＰＧ変換モデルと音声コーパスより、前記ＰＰＧ変換モデルに対応するＰＰＧを生成し、
前記音声コーパスに含まれる音声情報から音声パラメータを抽出し、
前記生成されたＰＰＧと前記音声パラメータを学習して、音声パラメータ生成モデルを生成し、
前記声質変換装置は、前記入力音声と前記ＰＰＧ変換モデル学習部が生成したＰＰＧ変換モデルと前記音声パラメータ生成モデル学習部が生成した音声パラメータ生成モデルとを入力し、
前記音声コーパスに含まれる音声情報の特徴量解析の結果として出力される音声特徴量と前記ＰＰＧ変換モデルとに基づいて、ＰＰＧを生成し、
生成した前記ＰＰＧと前記音声パラメータ生成モデルに基づいて、音声パラメータを生成し、
前記音声パラメータによる音声の波形を生成して、出力音声として出力することを特徴とする声質変換システム。
【請求項2】
前記ＰＰＧ変換モデル学習部が生成するＰＰＧ変換モデルは、言語ごとに複数あることを特徴とする請求項１記載の声質変換システム。
【請求項3】
前記ＰＰＧ変換モデル学習部における前記韻律情報付き音素配列の生成にあたり、各々の言語の特徴に基づいて韻律シンボルを付与することを特徴とする請求項２記載の声質変換システム。
【請求項4】
前記ＰＰＧ変換モデル学習部は、前記音声コーパスのテキストを形態素解析し、言語モデル学習を行い、言語モデルを生成し、前記音響モデルと前記言語モデルの学習により、前記ＰＰＧ変換モデルを生成することを特徴とする請求項１記載の声質変換システム。
【請求項5】
情報処理装置により、入力音声から声質を変換した合成音声を出力する声質変換システムにより声質変換を行う声質変換方法であって、前記声質変換システムは、
声質変換用データ作成装置と、
声質変換装置とを備え、
前記声質変換用データ作成装置が、単語辞書とテキストと音声情報を対応付けた音声コーパスとを入力して、ＰＰＧ変換モデルを生成するＰＰＧ（音素事後確率）変換モデル学習ステップと、
前記声質変換用データ作成装置が、音声コーパスと前記ＰＰＧ変換モデルを入力して音声パラメータ生成モデルを生成する音声パラメータ生成モデル学習ステップとを有し、
前記ＰＰＧ変換モデル学習ステップは、
前記声質変換用データ作成装置が、前記単語辞書から韻律情報付き辞書を生成するステップと、
前記声質変換用データ作成装置が、前記音声コーパスに含まれるテキストを形態素解析して、形態素解析の結果と、前記韻律情報付き辞書に基づいて、韻律情報付き音素配列を生成するステップと、
前記声質変換用データ作成装置が、前記韻律情報付き音素配列と、前記音声コーパスに含まれる音声情報の特徴量解析の結果として出力される音声特徴量とから、音響モデルを生成するステップと、
前記声質変換用データ作成装置が、前記音響モデルを学習して、前記ＰＰＧ変換モデルを生成するステップとからなり、
前記音声パラメータ生成モデル学習ステップは、
前記声質変換用データ作成装置が、前記ＰＰＧ変換モデルと音声コーパスより、前記ＰＰＧ変換モデルに対応するＰＰＧを生成するステップと、
前記声質変換用データ作成装置が、前記音声コーパスに含まれる音声情報から音声パラメータを抽出するステップと、
前記声質変換用データ作成装置が、前記生成されたＰＰＧと前記音声パラメータを学習して、音声パラメータ生成モデルを生成するステップとからなり、
前記声質変換装置が、前記入力音声と前記ＰＰＧ変換モデル学習ステップにより生成されたＰＰＧ変換モデルと前記音声パラメータ生成モデル学習ステップにより生成された音声パラメータ生成モデルとを入力するステップと、
前記声質変換装置が、前記音声コーパスに含まれる音声情報の特徴量解析の結果として出力される音声特徴量と前記ＰＰＧ変換モデルとに基づいて、ＰＰＧを生成するステップと、
前記声質変換装置が、生成した前記ＰＰＧと前記音声パラメータ生成モデルに基づいて、音声パラメータを生成するステップと、
前記声質変換装置が、前記音声パラメータによる音声の波形を生成して、出力音声として出力するステップとを有することを特徴とする声質変換方法。
【請求項6】
前記ＰＰＧ変換モデル学習ステップにより生成されるＰＰＧ変換モデルは、言語ごとに複数あることを特徴とする請求項５記載の声質変換方法。
【請求項7】
前記ＰＰＧ変換モデル学習ステップにおける前記韻律情報付き音素配列の生成にあたり、各々の言語の特徴に基づいて韻律シンボルを付与することを特徴とする請求項６記載の声質変換方法。
【請求項8】
前記ＰＰＧ変換モデル学習ステップは、前記音声コーパスのテキストを形態素解析するステップと、その形態素解析の結果に基づいて、言語モデル学習を行い、言語モデルを生成するステップと、前記音響モデルと前記言語モデルの学習により、前記ＰＰＧ変換モデルを生成するステップとからなることを特徴とする請求項５記載の声質変換方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、声質変換システムおよび声質変換方法に係り、特に、音声の声質変換を行うにあたって、安定して高い音質の音質変換を可能にする声質変換システムおよび声質変換方法に関する。
【背景技術】
【0002】
近年、音声認識、機械翻訳、対話生成などの技術が飛躍的に向上してきたことを背景に、音声翻訳、音声対話サービス、サービスロボットなどの人工知能による音声コミュニケーションの実用化が急激に進んできた。その中に、声質変換（ＶＣ: Voice Conversion）技術が重要な技術の一つとして注目されている。声質変換とは、ある話者（source speaker）の発話に対して、含まれる発話内容と話し方を変えずに、別の話者（target speaker）の声に聞こえるように音声を編集する技術である。
【0003】
近年、各社サービスロボットのプロトタイプが次々と開発され、ＰｏＣ（概念実証）が実施されている。このようなサービスロボットにおいては、音声認識や音声合成の技術は必須のものとなる。しかしながら、実環境（特に空港や駅など）では音声認識の精度が悪く、対話成功率が非常に低いという問題が生じる。このような結果、サービスロボットでの実戦配備が先延ばしとなり、リアルデータの蓄積ができなくなり、サービスロボットの市場成長を阻害する原因の一つとなっている。そこで、ロボットによる接客サービスの品質向上のために、音声認識や意図理解の精度向上研究と並行して、自動応答とオペレータ対応が連携した、ハイブリッド音声対話サービスが構想されている。
【0004】
この構想を実現するためには、ＴＴＳ（Text To Speech)で生成した自動対応音声とオペレータの肉声とがシームレスに切り替えられるため、オペレータの声をロボットの声に変換する声質変換技術が不可欠となる。
【0005】
このような声質変換技術については、例えば、非特許文献１に、音素事後確率（ＰＰＧ：Phonetic Posterior Gram）を用いて声質変換を行うことが論じられている。
【先行技術文献】
【非特許文献】
【0006】
【文献】L. Sun, K. Li, H. Wang, S. Kang, and H. Meng, “PHONETIC POSTERIORGRAMS FOR MANY-TO-ONE VOICE CONVERSION WITHOUT PARALLEL DATA TRAINING” Multimedia and Expo (ICME), 2016.
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来の声質変換技術では、入力音声の収録環境によって、声質変換の性能が著しく低下するなどといった課題があったが、非特許文献１に記載された声質変換技術は、そのような課題を解決することを意図している。非特許文献１の記載された技術は、入力音声の話者性と収録環境音を取り除き、音声認識で学習した音響モデルを用いて、音声特徴量を発話内容にかかわる情報のみが含まれるＰＰＧに変換することによって、安定した声質変換を実現しようとするものである。
【0008】
しかしながら、日本語音声認識で用いる音響モデルから生成されたＰＰＧは、日本語音素の音素事後確率であり、調音構造に関係しない韻律情報や非周期成分情報などの情報は含まれていないとされている。そのため、日本語ＰＰＧのみから基本周波数（Ｆ０）（音響特徴量の一つ、音声のインパルス列の間隔の逆数と定義される。声の高さに相当する）を推測することは難しい。従来研究では、声道構造に関係するＭＣＥＰ（メルケプトラム係数、メルケプトラムは、人の聴覚特性に合わせて低周波領域を細かくサンプリングする手法）のみをＰＰＧで変換し、韻律情報（ピッチなど）は線形変換する手法で変換する。そして、別々に変換したパラメータを使って音声を再構築する。しかし、声質変換においては別々で生成した音声パラメータを用いた場合、声質変換音質の劣化につながりやすいと、一般的知られている。特に、Ｆ０の抽出が非常に不安定であるため、安定した声質変換ができなかった。
【0009】
本発明の目的は、音声の声質変換を行うにあたって、安定して高い音質の音質変換を可能にする声質変換システムおよび声質変換方法を提供することにある。
【課題を解決するための手段】
【0010】
本発明の声質変換システムの構成は、好ましくは、情報処理装置により、入力音声から声質を変換した合成音声を出力する声質変換システムであって、声質変換用データ作成装置と、声質変換装置とを備え、声質変換用データ作成装置は、単語辞書とテキストと音声情報を対応付けた音声コーパスとを入力して、ＰＰＧ変換モデルを生成するＰＰＧ（音素事後確率）変換モデル学習部と、音声コーパスとＰＰＧ変換モデルを入力して音声パラメータ生成モデルを生成する音声パラメータ生成モデル学習部とよりなり、ＰＰＧ変換モデル学習部は、単語辞書から韻律情報付き辞書を生成し、音声コーパスに含まれるテキストを形態素解析して、形態素解析の結果と、韻律情報付き辞書に基づいて、韻律情報付き音素配列を生成し、韻律情報付き音素配列と、音声コーパスに含まれる音声情報の特徴量解析の結果として出力される音声特徴量とから、音響モデルを生成し、音響モデルを学習して、ＰＰＧ変換モデルを生成し、音声パラメータ生成モデル学習部は、ＰＰＧ変換モデルと音声コーパスより、ＰＰＧ変換モデルに対応するＰＰＧを生成し、音声コーパスに含まれる音声情報から音声パラメータを抽出し、生成されたＰＰＧと音声パラメータを学習して、音声パラメータ生成モデルを生成し、声質変換装置は、入力音声とＰＰＧ変換モデル学習部が生成したＰＰＧ変換モデルと音声パラメータ生成モデル学習部が生成した音声パラメータ生成モデルとを入力し、音声コーパスに含まれる音声情報の特徴量解析の結果として出力される音声特徴量とＰＰＧ変換モデルとに基づいて、ＰＰＧを生成し、生成したＰＰＧと音声パラメータ生成モデルに基づいて、音声パラメータを生成し、音声パラメータによる音声の波形を生成して、出力音声として出力するようにしたものである。
【発明の効果】
【0011】
本発明によれば、音声の声質変換を行うにあたって、安定して高い音質の音質変換を可能にする声質変換システムおよび声質変換方法を提供することができる。
【図面の簡単な説明】
【0012】
【図1】声質変換システムの構成とデータフローを示した図である。
【図2】声質変換装置のハードウェア構成図である。
【図3】クライアント・サーバシステムからなる声質変換システムのハードウェア構成図である。
【図4】声質変換用データ作成装置の機能構成とデータフローを示す図である。
【図5】ＰＰＧ変換モデル学習部の機能構成とデータフローを示す図である。
【図6A】テキスト「これは橋です。」の形態素解析の結果を示す表である。
【図6B】テキスト「これは箸です。」の形態素解析の結果を示す表である。
【図7】音声モデル学習部の機能構成とデータフローを示す図である。
【図8】声質変換装置の機能構成とデータフローを示す図である。
【図9】敵対的生成ネットワーク学習を用いた音声特徴量学習システムの処理とデータフローを示す図である。
【図10】声質変換により変換された音声コーパスを用いたマルチリンガル音声合成システムを構築する処理の流れとデータフローを示す図である。
【図11】声質変換により変換された音声コーパスを用いて、入力テキストに対する音声合成をするシステムを構築する処理の流れとデータフローを示す図である。
【発明を実施するための形態】
【0013】
【0014】
〔実施形態１〕
先ず、図１および図３を用いて声質変換システムの構成を説明する。
一般的な声質変換システムは、図１に示されるように、声質変換用データ作成装置２００と、声質変換装置１００により構成されている。声質変換用データ作成装置２００は、音声コーパス１０から声質変換用データ２０を生成装置する装置である。声質変換装置１００は、その声質変換用データ２０を用いて、入力音声３０から所望の声質を有する合成音声４０に変換して出力する装置である。
先ず、図１および図３を用いて声質変換システムの構成を説明する。
一般的な声質変換システムは、図１に示されるように、声質変換用データ作成装置２００と、声質変換装置１００により構成されている。声質変換用データ作成装置２００は、音声コーパス１０から声質変換用データ２０を生成装置する装置である。声質変換装置１００は、その声質変換用データ２０を用いて、入力音声３０から所望の声質を有する合成音声４０に変換して出力する装置である。
【0015】
音声コーパス１０は、音声ファイルとテキストを対応付けたデータである。声質変換用データ２０は、ＰＰＧ変換モデル１～ＰＰＧ変換モデルＮと、音声パラメータ生成モデルである（詳細は後述）。
【0016】
以下では、各装置の機能構成とそれによる処理を主体として述べるが、それらの機能構成部は、ハードウェアとして実現してもよいし、ソフトウェアプログラムとして実現されてもよい。
【0017】
また、以下の説明では、学習時に日本語音声コーパスを例にしているが、ほかの自然言語、あるいは、複数言語の混じっている音声コーパスも用いても処理可能である。ただし、その場合は、その言語に対応したプログラム・データを用いなければならない。
【0018】
さらに、以下の説明では、声質変換手法として、例えば、ＤＮＮ（Deep Neural Network:深層ニューラルネットワーク）を用いることを前提にして説明しているが、他の統計ベース手法を用いてもよい。
【0019】
次に、図２を用いて声質変換装置のハードウェア構成について説明する。
声質変換装置１００は、一般的な情報処理装置で実現でき、図２に示されるように、例えば、補助記憶装置１０１と、音声入力Ｉ／Ｆ（InterFace）１０２と、ＣＰＵ１０３と、主メモリ１０４と、音声出力Ｉ／Ｆ１０５とからなり、それらがバス１０７により接続された形態である。
声質変換装置１００は、一般的な情報処理装置で実現でき、図２に示されるように、例えば、補助記憶装置１０１と、音声入力Ｉ／Ｆ（InterFace）１０２と、ＣＰＵ１０３と、主メモリ１０４と、音声出力Ｉ／Ｆ１０５とからなり、それらがバス１０７により接続された形態である。
【0020】
ＣＰＵ１０３は、声質変換装置１００の各部を制御し、主記憶装置１０４に必要なプログラムをロードして実行する。
主メモリ１０４は、通常、ＲＡＭなどの揮発メモリで構成され、ＣＰＵ１０２が実行するプログラム、参照するデータが記憶される。
主メモリ１０４は、通常、ＲＡＭなどの揮発メモリで構成され、ＣＰＵ１０２が実行するプログラム、参照するデータが記憶される。
【0021】
音声入力Ｉ／Ｆ１０２は、マイクなどと接続されて、音声信号を入力するためのインターフェースである。
音声出力Ｉ／Ｆ１０３は、スピーカなどと接続されて、音声信号を入力するためのインターフェースである。
音声出力Ｉ／Ｆ１０３は、スピーカなどと接続されて、音声信号を入力するためのインターフェースである。
【0022】
音声の入出力は、例えば、ＷＡＶＥファイルやＭＰ３ファイルのようにコード化された音声データを入出力するようにしてもよい。
【0023】
補助記憶装置１０１は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの大容量の記憶容量を有する記憶装置である。
補助記憶装置１０１には、図示しなかったが、本実施形態の声質変換装置１００の機能を実行するためのプログラムである特徴量解析プログラム、ＰＰＧ抽出プログラム、マージプログラム、音声パラメータ生成プログラム、波形生成プログラムがインストールされている。
補助記憶装置１０１には、図示しなかったが、本実施形態の声質変換装置１００の機能を実行するためのプログラムである特徴量解析プログラム、ＰＰＧ抽出プログラム、マージプログラム、音声パラメータ生成プログラム、波形生成プログラムがインストールされている。
【0024】
特徴量解析プログラム、ＰＰＧ抽出プログラム、マージプログラム、音声パラメータ生成プログラム、波形生成プログラムは、それぞれ特徴量解析部、ＰＰＧ抽出部、マージ部、音声パラメータ生成部、波形生成部の機能を実行するプログラムである。なお、これらの機能部の処理の詳細については、後述する。
【0025】
また、補助記憶装置１０１には、声質変換装置１００で使用される各種データが格納される。声質変換装置１００で使用される各種データには、後述するように、音声特徴量、ＰＰＧ、音声パラメータ生成モデル、音声パラメータがある。
【0026】
同様に、声質変換用データ作成装置２００も、図２の声質変換装置１００と同様の構成を有する情報処理装置で実現することができる。
【0027】
声質変換用データ作成装置２００の補助記憶装置１０１には、図示しなかったが、本実施形態の声質変換用データ作成装置２００の機能を実行するためのプログラムであるＰＰＧ変換モデル学習プログラム、音声パラメータ生成モデル学習プログラムがインストールされている。
【0028】
ＰＰＧ変換モデル学習プログラム、音声パラメータ生成モデル学習プログラムは、それぞれＰＰＧ変換モデル学習部、音声パラメータ生成モデル学習部の機能を実行するプログラムである。なお、これらの機能部の処理の詳細については、後述する。
【0029】
また、補助記憶装置１０１には、声質変換用データ作成装置２００で使用される各種データが格納される。声質変換用データ作成装置２００で使用される各種データには、後述するように、単語辞書、音声コーパス、音声パラメータ生成モデルがある。
【0030】
声質変換装置１００は、例えば、カーナビゲーション装置、携帯電話機、パーソナルコンピュータ等のデバイスに、声質変換ユニットとして組み込まれている。そのため、図２に示した各ハードウェアは、声質変換装置１００が組み込まれたデバイスにより実現してもよいし、声質変換用データ作成装置２００と声質変換装置１００が組み込まれたデバイスとは別個に設けられていてもよい。
【0031】
声質変換に関するすべての機能を一つあるいは二つのデバイスだけで実現してもよいが、図３に示す変形例のように、サーバ３３０とクライアント端末４００（図３では、４００Ａ、４００Ｂと表記）が、ネットワーク５により相互接続されたシステムでも実現することができる。
【0032】
この場合には、クライアント端末４００は、音声入力Ｉ／Ｆ４０２、音声出力Ｉ／Ｆ４０５と、通信Ｉ／Ｆ４０６を有し、クライアント端末４００側で音声を受付け、声質変換に関する機能の一部または全部をサーバ３００側で担当し、必要なデータをサーバ３００側の通信Ｉ／Ｆ３０６とクライアント端末４００の通信Ｉ／Ｆ４０５でやりとりするようにしてもよい。
【0033】
次に、図４ないし図８を用いて実施形態１に係る声質変換システムの機能と処理について説明する。
先ず、図４を用いて声質変換データ装置の機能構成とデータフローについて説明する。
声質変換用データ作成装置２００は、図４に示されるように、機能構成として、ＰＰＧ変換モデル学習部２１０と音声パラメータ生成モデル学習部２２０を有している。
先ず、図４を用いて声質変換データ装置の機能構成とデータフローについて説明する。
声質変換用データ作成装置２００は、図４に示されるように、機能構成として、ＰＰＧ変換モデル学習部２１０と音声パラメータ生成モデル学習部２２０を有している。
【0034】
ＰＰＧ変換モデル学習部２１０は、単語辞書５００と音声コーパス５１０を用いた学習により、ＰＰＧ変換モデル（詳細は後述）７００を生成する機能部である。
【0035】
ＰＰＧ（音素事後確率）とは、非特許文献１に定義されているように、ある発話におけるそれぞれの音素クラスに対する事後確率（非特許文献１では、時間－音素クラスの事後確率の表現行列）である。
【0036】
音声パラメータ生成モデル学習部２２０は、生成用音声コープス（音声コープス５１０とデータ構造は同じ）５２０とＰＰＧ変換モデル６００より、音声パラメータ生成モデルを生成する機能部である。
【0037】
次に、図５を用いてＰＰＧ変換モデル学習部の機能とデータフローの詳細について説明する。
ＰＰＧ変換モデル学習部２１０では、上述のように単語辞書５００と音声コーパス５１０を用いた学習により、ＰＰＧ変換モデル７００を生成する。このＰＰＧ変換モデル７００は、入力音声３０から発話内容と発話スタイル情報を含むＰＰＧに変換するモデルである。このＰＰＧ変換モデル学習部２１０は、図５に示されるように、形態素解析部２１１、言語モデル学習部２１２、特徴量解析部２１３、辞書読み拡張部２１４、形態素配列拡張部２１５、音素配列＆音響モデル学習部２１６、言語モデル考慮音響モデル学習部２１７のサブ機能部により構成されている。
ＰＰＧ変換モデル学習部２１０では、上述のように単語辞書５００と音声コーパス５１０を用いた学習により、ＰＰＧ変換モデル７００を生成する。このＰＰＧ変換モデル７００は、入力音声３０から発話内容と発話スタイル情報を含むＰＰＧに変換するモデルである。このＰＰＧ変換モデル学習部２１０は、図５に示されるように、形態素解析部２１１、言語モデル学習部２１２、特徴量解析部２１３、辞書読み拡張部２１４、形態素配列拡張部２１５、音素配列＆音響モデル学習部２１６、言語モデル考慮音響モデル学習部２１７のサブ機能部により構成されている。
【0038】
形態素解析部２１１、言語モデル学習部２１２、特徴量解析部２１３、辞書読み拡張部２１４、形態素配列拡張部２１５、音素配列＆音響モデル学習部２１６、言語モデル考慮音響モデル学習部２１７は、それぞれ、ＰＰＧ変換モデル学習プログラムのサブルーチンとして、形態素解析プログラム、言語モデル学習プログラム、特徴量解析プログラム、辞書読み拡張プログラム、形態素配列拡張プログラム、音素配列＆音響モデル学習プログラム、言語モデル考慮音響モデル学習プログラムを実行することにより実現することができる。
【0039】
形態素解析部２１１は、事前に用意した単語辞書５００を用いて、テキストを形態素単位に分割する機能部である。ここで、形態素とは、言語学上で意味を有する最小の表現単位である。この形態素解析部２１１の機能を実現するために、一般的に使われているＭｅＣａｂや茶筌などのＯＳＳ（Open Source Software）の形態素解析ツールを利用することができる。
【0040】
単語辞書５００には、必ずその言語における読みが用意してあるものとする。そして、形態素解析部２１１により、入力したテキストに対して、読み情報付き形態素配列６００が生成される。
【0041】
なお、本実施形態の説明で、形態素解析部２１１に「単語辞書」を入力するとしたが、辞書の単位は必ず単語ではなく、フレーズや文でもよい。
【0042】
ここで、一例を示すと、テキスト「これは箸です。」に対して、形態素解析した結果は、図６Ａに示されるようになり、一方、テキスト「これは橋です。」に対して、形態素解析した結果は、図６Ｂに示されるようになる。
【0043】
言語モデル学習部２１２は、形態素解析部２１１から生成された読み情報付き形態素配列６００を用いて、言語モデル学習を行い、言語モデルを作成する機能部である。言語モデル学習では、一般的にＮ－ｇｒａｍと呼ばれる言語モデルが使われることが多い。Ｎ－ｇｒａｍとは、任意の文字列や文書を、Ｎ個の連続した文字で分割する手法である。なお、近年、ＲＮＮ（Recurrent Neural Network：再帰型ニューラルネットワーク）を用いた言語モデルなども使われるようになっている。
【0044】
特徴量解析部２１３は、音声コーパス５２０に含まれている音声から、特徴量を抽出する機能部である。音声コーパス５２０は、図５に示されるように、発話テキスト５２１と音声５２２を一対一に対応付けたデータである。音声の特徴量としては、一般的に、ＭＦＣＣがよく使われているが、一部、ＬＦ０などの韻律情報を用いる研究も存在する。ＭＦＣＣ（Mel Frequency Ceastral Coefficient：メル周波数ケプストラム係数）は、対数ケプストラム（声道成分に由来した周波数特性を表現する）の低次成分に対して、ヒトの周波数知覚特性を考慮した重み付けをした特徴量である。ＬＦ０は、基本周波数Ｆ０の対数である。
【0045】
本実施形態で用いる特徴量は、どのような特徴量を用いてもよいが、最低限、調音情報と韻律情報を含まれている必要がある。すなわち、ＭＦＣＣを用いる場合は、低次元のみを用いる場合は、韻律情報が含まれていないため、全次元（１６ｋＨｚの音声の場合は、全４０次元）を用いることが推奨される。
【0046】
ここで、調音（articulation）とは、喉頭以上の器官の形や動きによって発声器官内の空気の流れを制御したり、発声器官内で発生する音声の共鳴の仕方を変化させたり、新たな音を発生あるいは追加したりして、さまざまな母音や子音を発生させることである。また、韻律(prosody)とは、発話において現れる音声学的性質で、抑揚あるいは音調、強勢、音長、リズムなどのその言語の一般的な書記記録からは予測されないものをいう。
【0047】
辞書読み拡張部２１４は、事前に用意されている形態素解析用の単語辞書５００に付与されている読み情報（音素情報）に対して、韻律シンボルを加えて、韻律情報付き音素に拡張し、韻律情報付き音素辞書６０２を生成する。なお、日本語の場合は、読み情報として音節を与えられることもあるので、以降単に「音素」と書いた場合でも、「音節」を指すこともあるものとする。ここで、言語学において、音素（phoneme）とは、ある個別言語の中で、同じとみなされる音の集まりをいい、音節（syllable）とは、連続する言語音を区切る文節単位の一種である。
【0048】
この韻律情報付き音素は、各言語の特徴に合わせる必要があり、言語情報を担う韻律情報を定義することが必要である。例えば、日本語のような高低アクセント言語では、音節間Ｆ０の相対位置がアクセントの区別に重要な手がかりとなっているため、すべての母音にＨｉｇｈ Ｐｉｔｃｈを意味する「Ｈ」とＬｏｗ Ｐｉｔｃｈ を意味する「Ｌ」をつけることができる。一方では、中国語のような声調（tone）言語では、音節内のＦ０パターンが意味の理解に重要な役割を果たしているため、母音音素に４つの声調シンボルとして（いわゆる普通話の場合）、数字１～５（軽声、第１声～第４声）をつけることができる。さらに、アクセントの変形（中国語では変調）のことを考慮し、同じ単語に対しても、複数の韻律パターンを登録することにより、実際に音声の韻律変化を正確にとらえることができる。
【0049】
一例としては、単語「橋」に対して、拡張前は、「表記＝橋；読み＝／ハ／＋／シ／」となっているとして、拡張後は、上記の日本語の場合の韻律シンボルを付加し、「表記＝橋；読み１＝／ハＬ／＋／シＨ／：読み２＝／ハＨ／＋／シＨ／」に拡張し、すべての話しうるアクセント型をリストする。一方、単語「箸」に対しては、拡張前は「表記＝箸；読み＝／ハ／＋／シ／」となっていることに対して、拡張後は「表記＝箸；読み１＝／ハＨ／＋／シＬ／：読み２＝／ハＨ／＋／シしＨ／」に拡張する。
【0050】
すなわち、従来では、単語辞書５００から音素配列を生成するのみであったが、本実施形態では、韻律情報付き辞書６０２により、韻律情報付き音素配列６０３を生成する。そのため、従来では音素配列だけでは一意に特定できない同音異義語に対しても、アクセントの違いによって、特定することができるようになる。すなわち、韻律情報付き音素を導入することにより、音声認識時に韻律情報を考慮することとなり、音響モデルの出力であるＰＰＧには韻律情報が含まれることになる。
【0051】
形態素配列拡張部２１５は、形態素の読みを複数に展開し、すべての読みうるパターンを用意し、韻律情報付き音素配列６０３に変換する機能部である。
【0052】
例えば、「これは橋です。」に対して、「／コＬ／＋／レＨ／＋／ワＨ／＋／ハＬ／＋／シＨ／＋／デＨ／＋／スＬ／」や「／コＬ／＋／レＨ／＋／ワＨ／＋／ハＨ／＋／シＨ／＋／デＨ／＋／スＬ／」に展開される。音素配列の数は、各単語に登録されている全読み数の組み合わせとなる。
【0053】
音素配列決定＆音響モデル学習部２１６は、形態素配列拡張部２１５が生成した複数の韻律情報付き音素配列６０３から、最も確率の高い組み合わせを決定したうえ、各音素の特徴（音声特徴量であるＭＦＣＣの平均と分散）を計算し、音響モデル６２０を生成する機能部である。一般的に、最適系列の決定にＨＭＭ（Hidden Markov Model：隠れマルコフモデル）がよく使われているが、音響モデルの学習では、ＤＮＮを用いることが主流となっている。
【0054】
言語モデル考慮音響モデル学習部２１３は、言語モデル学習部２１２が生成した言語モデル６１０と、音素配列決定＆音響モデル学習部２１０が生成した音響モデル６２０を用いて、音声コーパス５２０に対してエラー率最小化の基準で再学習を行い、ＰＰＧ変換モデル７００を生成する機能部である。このように学習したＰＰＧ変換モデル７００は、言語情報の伝達に必要な韻律情報を表現できるため、言語の特徴によって、表現できる韻律情報が異なる。
【0055】
例えば、高低アクセント言語（音節間のＦ０相対位置が単語の区別に寄与する言語）である日本語なら広域（複数シラブルにまたいだ範囲）のＦ０変動、声調言語（音節内のＦ０パターンの形状の違いが単語の区別に寄与する言語）である中国語なら局所的な（音節内の）Ｆ０変動をとらえることができる。それに対して、強弱アクセント言語である英語では音の強弱を表現することができると考えられる。
【0056】
次に、図７を用いて音声パラメータ生成モデル学習部の機能とデータフローの詳細について説明する。
音声パラメータ生成モデル学習部２２０では、上述のように、生成用音声コープス５２０とＰＰＧ変換モデル７００より、音声パラメータ生成モデル１０００を生成する機能部である。
音声パラメータ生成モデル学習部２２０では、上述のように、生成用音声コープス５２０とＰＰＧ変換モデル７００より、音声パラメータ生成モデル１０００を生成する機能部である。
【0057】
音声パラメータ生成モデル学習部２２０は、図７に示されるように、ＰＰＧ抽出部２２１、ＰＰＧマージ部２２２、音声パラメータ抽出部２２３、音声モデル学習部２２４、特徴量解析部２２５のサブ機能部で構成されている。
【0058】
ＰＰＧ抽出部２２１、ＰＰＧマージ部２２２、音声パラメータ抽出部２２３、モデル学習部２２４、特徴量解析部２２５は、それぞれ、音声パラメータ生成モデル学習プログラムのサブルーチンとして、ＰＰＧ抽出プログラム、ＰＰＧマージプログラム、音声パラメータ抽出プログラム、音声モデル学習プログラム、特徴量解析プログラムを実行することにより実現することができる。
【0059】
ＰＰＧ抽出部２２１は、図５で説明したＰＰＧ変換モデル学習部２１０で得られたＰＰＧ変換モデル７００（図７では、ＰＰＧ変換モデル１：７００－１～ＰＰＧ変換モデルＮ：７００－Ｎと表記）を用いて、生成用音声コーパス５１１から特徴量解析部２２５により取り出された音声特徴量６４０に対して、ＰＰＧ８００（図７では、ＰＰＧ１：８００－１～ＰＰＧＮ：８００－Ｎと表記）を抽出する機能部である。なお、特徴量解析部２２５は、図５に示した特徴量解析部２１３と同様である。ここで、複数のＰＰＧ変換モデルを用いることによって、正確な韻律表現が可能となる。具体的には、音節をまたいでゆっくり変化するＦ０の動きを表現できる日本語ＰＰＧと、音節内の局所的なＦ０変化をとらえられる中国語ＰＰＧとを組み合わせることにより、Ｆ０パターンを充実して表現することができる。すなわち、複数の特徴の異なる言語を組み合わせることによって、入力音声のどの特徴を出力音声に残したいのかを、デザインすることができる。この点で、本発明者の実証では、日本語、中国語、英語の３言語を用いることにより、発音の強弱や発話のイントネーションを精度よく再現できることを確認することができた。
【0060】
ＰＰＧマージ部２２２は、ＰＰＧ抽出部２２１から得られた複数のＰＰＧ８００を一つのベクトルにマージする機能部である。ここでは、単に複数のベクトルをつなげ合わせて、次元数の大きなベクトルにすることも考えられるが、ＡｕｔｏＥｎｃｏｄｅｒなどの次元圧縮技術を使って、小さいベクトルに圧縮することもできる。
【0061】
音声パラメータ抽出部２２３は、生成用音声コーパス５１１の音声から音声合成用の音声パラメータ２２３を抽出する。この部分は、一般的に、音声合成にも使われている技術であり、ＳｔｒａｉｇｈｔやＷｏｒｌｄなどのＯＳＳを利用すれば、高品質な合成音声を得ることができる。
【0062】
音声モデル学習部２２４は、同じ音声から抽出され、ＰＰＧマージ部２２２によりマージされたＰＰＧ８００と音声パラメータ抽出部２２３が抽出した音声パラメータ９００に対して、変換用ＤＮＮの学習により、音声パラメータ生成モデル１０００を生成する。すなわち、入力がＰＰＧ８００と音声パラメータ９００であり、その出力として、入力した音声パラメータ９００の音声パラメータ生成モデル１０００が得られる。一般的に音声のような時系列信号に対しては、Ｂｉ－ＬＳＴＭ（Bidirectional Long Short Term Memory：双方向長期短期記憶）を用いたほうがより高い性能が得られる。
【0063】
次に、図８を用いて声質変換装置の機能とデータフローについて説明する。
声質変換装置１００は、図８に示されるように、特徴量解析部１１０、ＰＰＧ抽出部１１１、ＰＰＧマージ部１１２、音声パラメータ生成部１１３、波形生成部１１４を有している。
声質変換装置１００は、図８に示されるように、特徴量解析部１１０、ＰＰＧ抽出部１１１、ＰＰＧマージ部１１２、音声パラメータ生成部１１３、波形生成部１１４を有している。
【0064】
特徴量解析部１１０は、図５に示した声質変換用データ作成装置２００のＰＰＧ変換モデル学習部２１０の特徴量解析部２１３と同じ機能構成部である。ＰＰＧ抽出部１１１とＰＰＧマージ部１１２は、図７に示した声質変換用データ作成装置２００の音声パラメータ生成モデル学習部２１０のＰＰＧ抽出部２２１とＰＰＧマージ部２２２と、それぞれ同じ機能構成部である。
【0065】
音声パラメータ生成部１１３は、声質変換用データ作成装置２００の音声パラメータ生成モデル学習部２１０で得られた音声パラメータ生成モデル１０００と、入力音声３０とＰＰＧ変換モデル７００から得られたＰＰＧ８００を入力し、音声パラメータ９００を生成する。音声パラメータ９００は、例えば、音声の高さに相当する基本周波数、音色に相当するスペクトル包絡、有声音のかすれに相当する非周期性指標（Aperiodicity）がある。
【0066】
波形生成部（ボコーダーともいう）１１４は、生成された音声パラメータ９００を用いて、音声波形を生成し、変換した音声を出力音声４０として出力する。
【0067】
本実施形態の声質変換システムによれば、韻律情報を含んだＰＰＧ変換モデルによって、ＰＰＧを生成し、そのＰＰＧを用いて音声パラメータを生成する。したがって、その音声パラメータによった声質変換により、話者の言語特有の韻律が考慮され、安定して高い音質の音質変換が可能となる。
【0068】
〔実施形態２〕
以下、本発明の実施形態２を、図９を用いて説明する。
本実施形態では、実施形態１に示した声質変換装置を用いた応用の一つとして、敵対的生成ネットワーク（ＧＡＮ：Generative adversarial network）学習を用いた音声特徴量学習システムの処理とそのデータフローを説明する。
以下、本発明の実施形態２を、図９を用いて説明する。
本実施形態では、実施形態１に示した声質変換装置を用いた応用の一つとして、敵対的生成ネットワーク（ＧＡＮ：Generative adversarial network）学習を用いた音声特徴量学習システムの処理とそのデータフローを説明する。
【0069】
本実施形態の音声特徴量学習システムは、敵対的生成ネットワークに基づいた学習を行うものであり、Ｇｅｎｅｒａｔｏｒ Ｔｒａｉｎｉｎｇ Ｓｔａｇｅ Ｇｅｎｅｒａｔｏｒ Ｔｒａｉｎｉｎｇ ＳｔａｇｅとＤｉｓｃｒｉｍｉｎａｔｏｒ Ｔｒａｉｎｉｎｇ Ｓｔａｇｅの二つの段階よりなる。
【0070】
本実施形態の音声特徴量学習システムは、異なる発話者から収録した多言語音声コーパス２０１０から、統一した声質の音声特徴量を抽出することができるシステムである。これにより最適化された音声特徴量を用いて、マルチリンガル音声合成システムを構築することができる。
【0071】
先ず、音声特徴量学習システムでは、言語が異なり、声質も異なる多言語音声コーパス２０１０（図９では、音声コーパス２０１０－１，音声コーパス２０１０－２，…と表記）から、実施形態１の声質変換装置１００による声質変換処理１５０を実行し、各々の言語に対して、目標の声質Ｚを有する多言語音声コーパス２０６０（図９では、音声コーパス２０６０－１，音声コーパス２０６０－２，…と表記）を生成する。
【0072】
一方、音声特徴量学習システムでは、Ｇｅｎｅｒａｔｏｒ Ｔｒａｉｎｉｎｇ Ｓｔａｇｅで、多言語音声コーパス２０１０から言語特徴量解析処理２００２により、言語特徴量２０２０を生成し、音声特徴量解析処理２００３により、収録音声の音声特徴量２０３０を生成する。
【0073】
次に、その言語特徴量２０２０と収録音声の音声特徴量２０３０を入力してモデル学習処理２０００を行い、Ｇｅｎｅｒａｔｏｒ（生成ネットワーク）による処理２００１によって結果を出力する。Ｇｅｎｅｒａｔｏｒによる処理２００１では、ノイズを含んだデータによる合成音声特徴量２０４０を出力する。いわば、次に説明するＤｉｓｃｒｉｍｉｎａｔｏｒ（識別ネットワーク）をだますようなデータを生成する。
【0074】
また、Ｄｉｓｃｒｉｍｉｎａｔｏｒ Ｔｒａｉｎｉｎｇ Ｓｔａｇｅでは、目標の声質Ｚを有する多言語音声コーパス２０６０から、言語特徴量解析処理２００６により、変換後音声の音声特徴量２０５０を生成する。そして、Ｇｅｎｅｒａｔｏｒ２００１が生成した合成音声の特徴量２０４０と変換後音声の音声特徴量２０５０を入力してモデル学習処理２００５を実行し、その結果をＤｉｓｃｒｉｍｉｎａｔｏｒに出力する。Ｄｉｓｃｒｉｍｉｎａｔｏｒによる処理２００４では、その真偽を識別し、真偽を判定するラベルを生成して、Ｇｅｎｅｒａｔｏｒ Ｔｒａｉｎｉｎｇ Ｓｔａｇｅのモデル学習処理２０００にフィードバックする。これによって、Ｇｅｎｅｒａｔｏｒによる処理２００１によって、自然でかつ声質Ｚの話者の声質に近い音声特徴量を生成することができる。
【0075】
すなわち、このＧｅｎｅｒａｔｏｒ Ｔｒａｉｎｉｎｇ Ｓｔａｇｅと、Ｄｉｓｃｒｉｍｉｎａｔｏｒ Ｔｒａｉｎｉｎｇ Ｓｔａｇｅを反復し、お互いの学習処理をループ処理させることにより、高い音質を維持したターゲットの声質Ｚの合成音声の音声特徴量を得ることができ、その音声特徴量を用いて複数の言語をサポートするターゲット話者の多言語音声合成システムを構築可能となる。
【0076】
本の実施形態においては、声質変換装置１００に用いるＰＰＧは、多言語音声コーパス２０１０に含まれる全ての言語のＰＰＧをマージするものを利用することが望ましい。例えば、日中英の３言語バイリンガル音声合成システムを構築する場合は、図８に示したＰＰＧ抽出部において、日本語ＰＰＧ、中国語ＰＰＧ、英語ＰＰＧを抽出することが望ましい。
【0077】
なお、本実施形態の説明には、入力とする多言語音声コーパス２０１０には複数言語と複数の声質を含まれているものとして説明したが、単一言語単一声質でもよい。その場合には、音声合成の声質カスタマイズの効果を得ることができる。
【0078】
〔実施形態３〕
以下、本発明に係る実施形態３を、図１０を用いて説明する。
本実施形態では、実施形態１の声質変換装置１００を用いた応用の一つとして、マルチリンガル音声合成システムを生成する処理について説明する。
先ず、言語が異なり、声質も異なる多言語音声コーパス３０１０（図１０では、音声コーパス３０１０－１，音声コーパス３０１０－２，…と表記）から、実施形態１の声質変換装置１００による声質変換処理１５０を実行し、各々の言語に対して、目標の声質Ｚを有する多言語音声コーパス３０２０（図９では、音声コーパス３０２０－１，音声コーパス３０２０－２，…と表記）を生成する。
以下、本発明に係る実施形態３を、図１０を用いて説明する。
本実施形態では、実施形態１の声質変換装置１００を用いた応用の一つとして、マルチリンガル音声合成システムを生成する処理について説明する。
先ず、言語が異なり、声質も異なる多言語音声コーパス３０１０（図１０では、音声コーパス３０１０－１，音声コーパス３０１０－２，…と表記）から、実施形態１の声質変換装置１００による声質変換処理１５０を実行し、各々の言語に対して、目標の声質Ｚを有する多言語音声コーパス３０２０（図９では、音声コーパス３０２０－１，音声コーパス３０２０－２，…と表記）を生成する。
【0079】
次に、多言語音声コーパス３０２０より、言語特徴量解析処理３００１により、言語特徴量３０３０を生成し、音声特徴量解析処理３００２により、収録音声の音声特徴量３０４０を生成する。
そして、それらを入力とする合成システム構築処理３０００により、マルチリンガル音声合成システム３０５０を構築する。
そして、それらを入力とする合成システム構築処理３０００により、マルチリンガル音声合成システム３０５０を構築する。
【0080】
この音声合成システムを構築処理では、合成システム構築処理３０００の合成手法によらず、音声合成システムを構築することができる。
【0081】
なお、本実施形態の説明には、入力とする多言語音声コーパス２０１０には複数言語と複数の声質を含まれているものとして説明したが、単一言語単一声質でもよい。その場合には、音声合成の声質カスタマイズの効果を得ることができる。
【0082】
〔実施形態４〕
以下、本発明に係る実施形態４を、図１１を用いて説明する。
図１１は、声質変換により変換された音声コーパスを用いて、入力テキストに対する音声合成をするシステムを構築する処理の流れとデータフローを示す図である。
本実施形態の処理は、音声合成システム構築処理と音声合成処理の二段階よりなる。
以下、本発明に係る実施形態４を、図１１を用いて説明する。
図１１は、声質変換により変換された音声コーパスを用いて、入力テキストに対する音声合成をするシステムを構築する処理の流れとデータフローを示す図である。
本実施形態の処理は、音声合成システム構築処理と音声合成処理の二段階よりなる。
【0083】
先ず、音声合成システム構築処理では、言語が異なり、声質も異なる多言語音声コーパス４０１０（図１０では、音声コーパス４０１０－１，音声コーパス４０１０－２，…と表記）から、言語特徴量解析処理４００１により、言語特徴量４０２０を生成し、音声特徴量解析処理４００２により、収録音声の音声特徴量４０３０を生成する。
そして、それらを入力とする合成システム構築処理４０００により、マルチリンガル音声合成システム５０００を構築する。
そして、それらを入力とする合成システム構築処理４０００により、マルチリンガル音声合成システム５０００を構築する。
【0084】
次に、音声合成処理では、音声合成システム５０００に入力テキスト５０１０を入力して、合成音声５０２０を生成し、それを入力して、実施形態１の声質変換装置１００の声質変換処理１５０により、目標とする声質Ｚの合成音声５０３０を出力する。
【0085】
本実施形態では、言語が異なり、声質も異なる多言語音声コーパス４０１０から、入力テキストに対応した統一した声質Ｚの声質の合成音声を出力することができる。
【0086】
なお、本実施形態の説明には、入力とする多言語音声コーパス２０１０には複数言語と複数の声質を含まれているものとして説明したが、単一言語単一声質でもよい。その場合には、音声合成の声質カスタマイズの効果を得ることができる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9】
【図10】
【図11】