特許第6626052号(P6626052)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電信電話株式会社の特許一覧
特許6626052音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム
<>
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000009
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000010
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000011
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000012
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000013
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000014
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000015
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000016
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000017
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000018
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000019
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000020
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000021
  • 特許6626052-音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム 図000022
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6626052
(24)【登録日】2019年12月6日
(45)【発行日】2019年12月25日
(54)【発明の名称】音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラム
(51)【国際特許分類】
   G10L 13/06 20130101AFI20191216BHJP
【FI】
   G10L13/06 240Z
   G10L13/06 230A
【請求項の数】9
【全頁数】18
(21)【出願番号】特願2017-153135(P2017-153135)
(22)【出願日】2017年8月8日
(65)【公開番号】特開2019-32427(P2019-32427A)
(43)【公開日】2019年2月28日
【審査請求日】2019年1月30日
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】北条 伸克
(72)【発明者】
【氏名】井島 勇祐
【審査官】 山下 剛史
(56)【参考文献】
【文献】 特開2017−032839(JP,A)
【文献】 特開2016−186515(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G10L 13/00−13/10
(57)【特許請求の範囲】
【請求項1】
音声データを、DNN学習用のデータベースに含まれる音声について、その音声パラメータを分析し、保持したものとし、
コンテキストデータを、DNN学習用のデータベースに含まれる音声について、その発話のコンテキストを分析し、保持したものとし、
ドメインを、音声に含まれる前記コンテキスト以外の情報を、カテゴリにより表現したものとし、
複数ドメイン音声DBを、複数の前記ドメインの音声について、その前記音声データを保持したものとし、
複数ドメインコンテキストDBを、複数の前記ドメインの音声について、その発話の前記コンテキストデータを保持したものとし、
前記複数ドメインコンテキストDB内の総フレーム数が最大でない前記ドメインの前記コンテキストデータに前記コンテキストを追加して複数ドメイン均質化コンテキストDBを生成し、前記複数ドメイン均質化コンテキストDBの各前記コンテキストデータについて疑似音声データを生成して、複数ドメイン均質化擬似音声DBを生成する第1のステップと、
前記複数ドメイン音声DBと前記複数ドメイン均質化擬似音声DBを統合して複数ドメイン均質音声DBを生成し、前記複数ドメインコンテキストDBと前記複数ドメイン均質化コンテキストDBを統合して複数ドメイン均質コンテキストDBを生成する第2のステップと、
学習データとして、前記複数ドメイン均質音声DBと前記複数ドメイン均質コンテキストDBを使用して、音響モデルを学習する第3のステップと、
を含む音響モデル生成方法。
【請求項2】
音声データを、DNN学習用のデータベースに含まれる音声について、その音声パラメータを分析し、保持したものとし、
コンテキストデータを、DNN学習用のデータベースに含まれる音声について、その発話のコンテキストを分析し、保持したものとし、
ドメインを、音声に含まれる前記コンテキスト以外の情報を、カテゴリにより表現したものとし、
複数ドメイン音声DBを、複数の前記ドメインの音声について、その前記音声データを保持したものとし、
複数ドメインコンテキストDBを、複数の前記ドメインの音声について、その発話の前記コンテキストデータを保持したものとし、
前記複数ドメインコンテキストDB内の総フレーム数が最大でない前記ドメインの前記コンテキストデータに前記コンテキストを追加して複数ドメイン均質化コンテキストDBを生成し、前記複数ドメイン均質化コンテキストDBの各前記コンテキストデータについて疑似音声データを生成して、複数ドメイン均質化擬似音声DBを生成する第1のステップと、
ポストフィルタ処理により、前記複数ドメイン均質化擬似音声DBから複数ドメイン均質化ポストフィルタ擬似音声DBを取得する第2のステップと、
前記複数ドメイン音声DBと前記複数ドメイン均質化ポストフィルタ擬似音声DBを統合して複数ドメイン均質ポストフィルタ音声DBを生成し、前記複数ドメインコンテキストDBと前記複数ドメイン均質化コンテキストDBを統合して複数ドメイン均質コンテキストDBを生成する第3のステップと、
学習データとして、前記複数ドメイン均質ポストフィルタ音声DBと前記複数ドメイン均質コンテキストDBを使用して、音響モデルを学習する第4のステップと、
を含む音響モデル生成方法。
【請求項3】
請求項1または2に記載の音響モデル生成方法であって、
前記第1のステップにおいて、
前記複数ドメインコンテキストDB内の総フレーム数が最大でない前記ドメインの総フレーム数が、前記複数ドメインコンテキストDB内の総フレーム数が最大となる前記ドメインの総フレーム数と等しくなるように、前記コンテキストを追加する
音響モデル生成方法。
【請求項4】
請求項1から3の何れかに記載の音響モデル生成方法により生成された音響モデルを利用して合成音声を取得する音声合成方法。
【請求項5】
音声データを、DNN学習用のデータベースに含まれる音声について、その音声パラメータを分析し、保持したものとし、
コンテキストデータを、DNN学習用のデータベースに含まれる音声について、その発話のコンテキストを分析し、保持したものとし、
ドメインを、音声に含まれる前記コンテキスト以外の情報を、カテゴリにより表現したものとし、
複数ドメイン音声DBを、複数の前記ドメインの音声について、その前記音声データを保持したものとし、
複数ドメインコンテキストDBを、複数の前記ドメインの音声について、その発話の前記コンテキストデータを保持したものとし、
前記複数ドメインコンテキストDB内の総フレーム数が最大でない前記ドメインの前記コンテキストデータに前記コンテキストを追加して複数ドメイン均質化コンテキストDBを生成し、前記複数ドメイン均質化コンテキストDBの各前記コンテキストデータについて疑似音声データを生成して、複数ドメイン均質化擬似音声DBを生成する複数ドメイン均質化DB生成部と、
前記複数ドメイン音声DBと前記複数ドメイン均質化擬似音声DBを統合して複数ドメイン均質音声DBを生成し、前記複数ドメインコンテキストDBと前記複数ドメイン均質化コンテキストDBを統合して複数ドメイン均質コンテキストDBを生成する複数ドメイン均質DB生成部と、
学習データとして、前記複数ドメイン均質音声DBと前記複数ドメイン均質コンテキストDBを使用して、音響モデルを学習する音響モデル学習部と、
を含む音響モデル生成装置。
【請求項6】
音声データを、DNN学習用のデータベースに含まれる音声について、その音声パラメータを分析し、保持したものとし、
コンテキストデータを、DNN学習用のデータベースに含まれる音声について、その発話のコンテキストを分析し、保持したものとし、
ドメインを、音声に含まれる前記コンテキスト以外の情報を、カテゴリにより表現したものとし、
複数ドメイン音声DBを、複数の前記ドメインの音声について、その前記音声データを保持したものとし、
複数ドメインコンテキストDBを、複数の前記ドメインの音声について、その発話の前記コンテキストデータを保持したものとし、
前記複数ドメインコンテキストDB内の総フレーム数が最大でない前記ドメインの前記コンテキストデータに前記コンテキストを追加して複数ドメイン均質化コンテキストDBを生成し、前記複数ドメイン均質化コンテキストDBの各前記コンテキストデータについて疑似音声データを生成して、複数ドメイン均質化擬似音声DBを生成する複数ドメイン均質化DB生成部と、
ポストフィルタ処理により、前記複数ドメイン均質化擬似音声DBから複数ドメイン均質化ポストフィルタ擬似音声DBを取得する複数ドメイン均質化ポストフィルタ疑似音声DB生成部と、
前記複数ドメイン音声DBと前記複数ドメイン均質化ポストフィルタ擬似音声DBを統合して複数ドメイン均質ポストフィルタ音声DBを生成し、前記複数ドメインコンテキストDBと前記複数ドメイン均質化コンテキストDBを統合して複数ドメイン均質コンテキストDBを生成する複数ドメイン均質DB生成部と、
学習データとして、前記複数ドメイン均質ポストフィルタ音声DBと前記複数ドメイン均質コンテキストDBを使用して、音響モデルを学習する音響モデル学習部と、
を含む音響モデル生成装置。
【請求項7】
請求項5または6に記載の音響モデル生成装置により生成された音響モデルを利用して合成音声を取得する音声合成装置。
【請求項8】
コンピュータに請求項1から3の何れかに記載の音響モデル生成方法を実行させるプログラム。
【請求項9】
コンピュータに請求項4に記載の音声合成方法を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、DNNに基づく音声合成技術に関し、音響モデル生成方法、音声合成方法、音響モデル生成装置、音声合成装置、プログラムに関する。
【背景技術】
【0002】
音声データから音声合成用モデルを学習し、合成音声を生成する手法として、DNNに基づく技術がある(非特許文献1)。また、複数ドメインの学習データを効率よく活用し、各ドメインについて品質の高い音声を合成するための手法として、DNNの複数ドメインモデリング技術がある。ドメインには、例えば話者(非特許文献2、非特許文献3)、対話行為情報(非特許文献4)がある。複数ドメインモデリング技術として、話者コード(非特許文献2)、shared hidden layer (SHU)(非特許文献3)等のモデル構成を活用する手法がある。この手法の概要を図1図2に示す。
【0003】
図1に示すように、音響モデル生成装置91の音響モデル学習部913は、複数ドメイン音声DB記憶部911に予め記憶された複数ドメイン音声DB、複数ドメインコンテキストDB記憶部912に予め記憶された複数ドメインコンテキストDBを利用し、音響モデル学習を行い、複数ドメイン音響モデルを得て、複数ドメイン音響モデル記憶部914に記憶する(S913)。
【0004】
図2に示すように、音声合成装置92のテキスト解析部921は、入力テキストをテキスト解析してコンテキストを得る(S921)。音声合成装置92の音声パラメータ生成部922は、複数ドメイン音響モデル記憶部914に記憶された複数ドメイン音響モデルにコンテキストと合成するドメイン番号を入力し、音声パラメータを生成する(S922)。音声合成装置92の音声波形生成部923は、得られた音声パラメータから、音声波形生成により、合成音声を得る(S923)。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】Zen et al., “Statistical parametric speech synthesis using deep neural networks,” Acoustics, Speech and Signal Processing (ICASSP), 2013 IEEE International Conference on. IEEE, 2013 pp. 7962-7966.
【非特許文献2】N. Hojo, Y. Ijima, and H. Mizuno, “An investigation of DNN-based speech synthesis using speaker codes,” Interspeech 2016, pp.2278-2282, 2016.
【非特許文献3】Y. Fan, Y. Qian, F.K. Soong, and L. He, “Multi-speaker modeling and speaker adaptation for DNN-based tts synthesis,” 2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.4475-4479, IEEE, 2015.
【非特許文献4】北条伸克他, “対話行為情報を表現可能な音声合成の検討”, 人工知能学会2016年全国大会, 2016.
【非特許文献5】Nose, Takashi, and Akinori Ito. “Analysis of spectral enhancement using global variance in HMM-based speech synthesis.” INTERSPEECH. 2014.
【非特許文献6】Tomoki, Toda, and Keiichi Tokuda. “A speech parameter generation algorithm considering global variance for HMM-based speech synthesis.” IEICE TRANSACTIONS on Information and Systems 90.5 (2007): 816-824.
【非特許文献7】Takamichi, Shinnosuke, et al. “A postfilter to modify the modulation spectrum in HMM-based speech synthesis.” Acoustics, Speech and Signal Processing (ICASSP), 2014 IEEE International Conference on. IEEE, 2014.
【発明の概要】
【発明が解決しようとする課題】
【0006】
複数ドメイン音声DBの整備には音声収録等のコスト、複数ドメインコンテキストDBの整備には音素、アクセント型等のアノテーションのコストが必要である。例えばこれらのコストが要因となり、複数ドメインDBのデータ量はドメインにより偏りが生じることがある。ここで、複数ドメインDNNの学習時の目的関数のうち、各ドメインに関する項の占める割合は、各ドメインのデータ量に比例する。したがって、データ量の偏り(不均質)を考慮せずにモデル学習を行った場合、少量データしか得られないドメインのモデル化精度(入力されたコンテキストに対し推定される音声パラメータと正解音声パラメータとの平均二乗誤差など)は、他ドメインに比べ目的関数に対する影響が小さくなる。このため、少量データしか得られないドメインは、正確にモデル化されず、音声品質が劣化する可能性がある。
【0007】
そこで本発明では、少量の学習データしか得られないドメインについても、高品質な音声合成を実現する音響モデルを生成する音響モデル生成方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
音声データを、DNN学習用のデータベースに含まれる音声について、その音声パラメータを分析し、保持したものとし、コンテキストデータを、DNN学習用のデータベースに含まれる音声について、その発話のコンテキストを分析し、保持したものとし、ドメインを、音声に含まれるコンテキスト以外の情報を、カテゴリにより表現したものとし、複数ドメイン音声DBを、複数のドメインの音声について、その音声データを保持したものとし、複数ドメインコンテキストDBを、複数のドメインの音声について、その発話のコンテキストデータを保持したものとする。
【0009】
本発明の音響モデル生成方法は、三つのステップを含む。
【0010】
第1のステップは、複数ドメインコンテキストDB内の総フレーム数が最大でないドメインのコンテキストデータにコンテキストを追加して複数ドメイン均質化コンテキストDBを生成し、複数ドメイン均質化コンテキストDBの各コンテキストデータについて疑似音声データを生成して、複数ドメイン均質化擬似音声DBを生成する。
【0011】
第2のステップは、複数ドメイン音声DBと複数ドメイン均質化擬似音声DBを統合して複数ドメイン均質音声DBを生成し、複数ドメインコンテキストDBと複数ドメイン均質化コンテキストDBを統合して複数ドメイン均質コンテキストDBを生成する。
【0012】
第3のステップは、学習データとして、複数ドメイン均質音声DBと複数ドメイン均質コンテキストDBを使用して、音響モデルを学習する。
【発明の効果】
【0013】
本発明の音響モデル生成方法によれば、少量の学習データしか得られないドメインについても、高品質な音声合成を実現する音響モデルを生成することができる。
【図面の簡単な説明】
【0014】
図1】従来技術の音響モデル生成装置の構成を示すブロック図。
図2】従来技術の音声合成装置の構成を示すブロック図。
図3】実施例1の音響モデル生成装置の構成を示すブロック図。
図4】実施例1の音響モデル生成装置の動作を示すフローチャート。
図5】実施例1の複数ドメイン均質化DB生成部の構成を示すブロック図。
図6】実施例1の複数ドメイン均質化DB生成部の動作を示すフローチャート。
図7】実施例1の複数ドメイン均質DB生成部の構成を示すブロック図。
図8】実施例1の複数ドメイン均質DB生成部の動作を示すフローチャート。
図9】実施例1の音声合成装置の構成を示すブロック図。
図10】実施例1の音声合成装置の動作を示すフローチャート。
図11】実施例2の音響モデル生成装置の構成を示すブロック図。
図12】実施例2の音響モデル生成装置の動作を示すフローチャート。
図13】実施例2の複数ドメイン均質化ポストフィルタ疑似音声DB生成部の構成を示すブロック図。
図14】実施例2の複数ドメイン均質DB生成部の構成を示すブロック図。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例1】
【0016】
≪用語の説明≫
<音声パラメータ>
ある音声信号に対して信号処理を行った結果得られる、各発話のF0情報(音高)、スペクトル包絡情報(ケプストラム、メルケプストラム等)等を表す。
【0017】
<コンテキスト>
ある発話について付与された発音等の情報を表す。コンテキストには、音素情報(発音情報)とアクセント情報(アクセント型、アクセント句長)が含まれている必要がある。コンテキストとして、これ以外にも品詞情報等が含まれていてもよい。また、各音素の開始時間、終了時間の情報(音素セグメンテーション情報)が保存されていてもよい。
【0018】
<音声データ>
DNN学習用のデータベースに含まれる音声について、その音声パラメータを分析し、保持したものを表す。
【0019】
<コンテキストデータ>
DNN学習用のデータベースに含まれる音声について、その発話のコンテキストを分析し、保持したものを表す。
【0020】
<ドメイン>
音声に含まれるコンテキスト以外の情報を、カテゴリにより表現したものを表す。例えば、話者(‘話者1’,…,‘話者N’)、感情(‘喜’,‘怒’,‘哀’,‘楽’,…)、対話行為(‘感嘆’,‘謝罪’,…)、等。
【0021】
<ドメイン番号>
音声合成に使用するドメインについて、各ドメインに対し番号を振ったものを表す。ドメイン数をNとし、n=1,…,Nで表す。例えば、n=1:‘話者1’,…,n=N:‘話者N’を表す。
【0022】
<複数ドメインコンテキストDB>
複数のドメインの音声について、その発話のコンテキストデータを保持したものを表す。ドメインnに含まれる発話数をK(n=1,…,N)としたとき、
【0023】
【数1】
【0024】
で表す。ここで、データ整備のコスト等の制約から、各ドメインnに対応する学習データ量(総フレーム数)は一般に一致するとは限らない(n≠n’のとき、K≠K’)。
【0025】
<複数ドメイン音声DB>
複数のドメインの音声について、その音声データを保持したものを表す。ドメインnに含まれる発話数をK(n=1,…,N)としたとき、
【0026】
【数2】
【0027】
で表す。複数ドメインコンテキストDBと同様、各ドメインnに対応する学習データ量(総フレーム数)は一致するとは限らない。
【0028】
<複数ドメイン音響モデル>
音声合成用のDNN音響モデルで、1つのモデルで複数のドメインの音声パラメータを合成可能であるようにモデル化・学習されたものを表す。例えば、話者コードを用いた複数話者音響モデル(非特許文献2)、shared hidden layer (SHU) による複数話者音響モデル(非特許文献3)、複数対話行為音響モデル(非特許文献4)を使用する。
【0029】
<複数ドメイン均質化コンテキストDB>
データベースに含まれる各ドメインに対応する学習データ量(総フレーム数)を均質にするために使用するコンテキストデータベース。擬似データ生成のため、DNNの入力ベクトルとして活用する。ドメインnに含まれる発話数をK’(n=1,…,N)としたとき、
【0030】
【数3】
【0031】
で表す。
【0032】
<複数ドメイン均質化擬似音声DB>
データベースに含まれる各ドメインに対応する学習データ量(総フレーム数)を均質にするために使用する音声データベース。複数ドメイン均質化コンテキストDBから擬似音声データを生成することにより作成する。ドメインnに含まれる発話数をK’(n=1,…,N)としたとき、
【0033】
【数4】
【0034】
で表す。複数ドメイン均質化コンテキストDBと複数ドメイン均質化擬似音声DBのフレームは一対一に対応する。このため、二つのDBの各ドメインの総フレーム数は一致する。
【0035】
<複数ドメイン均質コンテキストDB>
複数ドメインコンテキストDBと複数ドメイン均質化コンテキストDBを統合することにより得られるコンテキストデータベース。音響モデル学習に使用する。
【0036】
<複数ドメイン均質音声DB>
複数ドメイン音声DBと複数ドメイン均質化疑似音声DBを統合することにより得られる音声データベース。音響モデル学習に使用する。
【0037】
<複数ドメイン均質音響モデル>
複数ドメイン均質コンテキストDBと複数ドメイン均質音声DBを利用し、音響モデル学習により得られる音響モデル。
【0038】
≪用語の説明終わり≫
以下、図3を参照して実施例1の音響モデル生成装置11の構成を説明する。同図に示すように本実施例の音響モデル生成装置11は、複数ドメイン均質化DB生成部111と、複数ドメイン均質DB生成部112と、音響モデル学習部913と、複数ドメイン均質音響モデル記憶部114を含む。
【0039】
以下、図4を参照して本実施例の音響モデル生成装置11の動作を説明する。
【0040】
〔複数ドメイン均質化DB生成部111〕
複数ドメイン均質化DB生成部111は、複数ドメインコンテキストDB内の総フレーム数が最大でないドメインのコンテキストデータにコンテキストを追加して複数ドメイン均質化コンテキストDBを生成し、複数ドメイン均質化コンテキストDBの各コンテキストデータについて疑似音声データを生成して、複数ドメイン均質化擬似音声DBを生成する(S111)。
【0041】
〔複数ドメイン均質DB生成部112〕
複数ドメイン均質DB生成部112は、複数ドメイン音声DBと複数ドメイン均質化擬似音声DBを統合して複数ドメイン均質音声DBを生成し、複数ドメインコンテキストDBと複数ドメイン均質化コンテキストDBを統合して複数ドメイン均質コンテキストDBを生成する(S112)。
【0042】
〔音響モデル学習部913〕
音響モデル学習部913は、従来技術と同様に音響モデル学習を行う。ただし、音響モデル学習部913は、学習データとして、複数ドメイン音声DBの代わりに複数ドメイン均質音声DBを、複数ドメインコンテキストDBの代わりに複数ドメイン均質コンテキストDBを使用する。すなわち、音響モデル学習部913は、学習データとして、複数ドメイン均質音声DBと複数ドメイン均質コンテキストDBを使用して、音響モデルを学習し、複数ドメイン均質音響モデル記憶部114に記憶する(S913)。音響モデル学習部913が学習する音響モデルを複数ドメイン均質音響モデルと呼ぶ。
【0043】
以下、図5図6図7図8を参照して、複数ドメイン均質化DB生成部111および複数ドメイン均質DB生成部112の構成および動作をさらに詳細に説明する。
【0044】
[複数ドメイン均質化DB生成部111]
図5に示すように複数ドメイン均質化DB生成部111は、コンテキスト追加部1111と、複数ドメイン均質化コンテキストDB記憶部1112と、音声パラメータ生成部922と、複数ドメイン均質化擬似音声DB記憶部1113を含む。コンテキスト追加部1111は、例えば次の(a)(b)のサブステップを含むステップS1111を実行して、複数ドメイン均質化コンテキストDBを生成する。
【0045】
(a)コンテキスト追加部1111は、各ドメインnについて、複数ドメインコンテキストDBに含まれる総フレーム数が最大となるドメインnおよびその最大フレーム数Fn*を算出する。
【0046】
【数5】
【0047】
【数6】
【0048】
ここで、ドメインnのk番目(k=1,…,K)の発話のフレーム数をf(n)とした。
【0049】
(b)コンテキスト追加部1111は、n以外の各ドメインnについて、ドメインの総フレーム数がF=Fn*となるまで、各ドメインのコンテキストデータにコンテキストを追加して、複数ドメイン均質化コンテキストDBを生成する。コンテキスト追加部1111は、F
【0050】
【数7】
【0051】
の範囲の適当な値に設定することで、擬似データ生成に使用するデータ量を削減し、音声パラメータ生成、音響モデル学習に必要となる計算機メモリ量、計算時間のコストを削減すれば好適である。この時、例えば追加するコンテキストは、ドメインn以外のコンテキストとする。コンテキスト追加部1111は、生成した複数ドメイン均質化コンテキストDBを複数ドメイン均質化コンテキストDB記憶部1112に記憶、保持する。
【0052】
音声パラメータ生成部922は、複数ドメイン均質化コンテキストDBの各コンテキストについて、対応するドメイン番号と複数ドメイン音響モデルを使用し、音声パラメータを生成する処理を繰り返し、各コンテキストデータに対応する疑似音声データを生成し、複数ドメイン均質化擬似音声DBとする(S922)。この時、例えば複数ドメイン音響モデルとして、従来技術により学習される複数ドメイン音響モデルを使用する。音声パラメータ生成部922は、生成された複数ドメイン均質化擬似音声DBを、複数ドメイン均質化擬似音声DB記憶部1113に記憶、保持する。
【0053】
[複数ドメイン均質DB生成部112]
図7に示すように、複数ドメイン均質DB生成部112は、音声DB統合部1121と、複数ドメイン均質音声DB記憶部1122と、コンテキストDB統合部1123と、複数ドメイン均質コンテキストDB記憶部1124を含む構成である。
【0054】
音声DB統合部1121は、複数ドメイン音声DBと複数ドメイン均質化擬似音声DBを統合し、複数ドメイン均質音声DBとして、複数ドメイン均質音声DB記憶部1122に記憶、保持する(S1121)。
【0055】
コンテキストDB統合部1123は、複数ドメインコンテキストDBと複数ドメイン均質化コンテキストDBを統合し、複数ドメイン均質コンテキストDBとして、複数ドメイン均質コンテキストDB記憶部1124に記憶、保持する(S1123)。
【0056】
[音声合成装置12]
図9に示すように、本実施例の音声合成装置12は、従来技術と同様のテキスト解析部921と、音声パラメータ生成部922と、音声波形生成部923と、従来技術とは異なる複数ドメイン均質音響モデル記憶部114を含む。図10に示すように、本実施例の音声合成装置12は、従来技術と同様にステップ921、S922、S923を実行して合成音声を得る。ただし音響モデルとして、従来の複数ドメイン音響モデルの代わりに、複数ドメイン均質音響モデルを使用する点が従来技術とは異なる。
【0057】
このように、本実施例の音響モデル生成装置11は、不均質な複数ドメインDBを利用して学習された音響モデルを利用し、疑似音声データを生成し、擬似音声データを複数ドメイン音声DBに追加し、複数ドメインコンテキストDBに対しても同様の追加を行うことで、学習データ中に含まれる各ドメインのデータ量を均質にすることができる。これにより、各ドメインについて均質なデータ量の学習データから音響モデル学習を行うことができ、少量データしか得られないドメインについても、高品質な合成音声を得ることができる。
【実施例2】
【0058】
音響モデルにより生成される音声パラメータは、実際の人間による発話(自然発話)の音声パラメータに比べ、過剰に平滑化する傾向が知られている。実施例1では、過剰に平滑化した音声パラメータを学習データに追加するため、学習された音響モデルから生成される音声パラメータは、さらに平滑化する可能性がある。そこで本実施例では、擬似的に生成された音声パラメータに対し、過剰平滑化した音声パラメータを自然発話のものに近づけるためのポストフィルタ処理を行う。これにより、学習される音響モデルから生成される音声パラメータが平滑化することを回避することができる。
【0059】
≪用語の説明≫
<複数ドメイン均質化ポストフィルタ擬似音声DB>
複数ドメイン均質化擬似音声DBに含まれる各音声データについて、ポストフィルタ処理により、その音声パラメータの傾向を自然発話に近づける処理を行ったものを表す。
【0060】
<複数ドメイン均質ポストフィルタ音声DB>
複数ドメイン均質化ポストフィルタ擬似音声DBと複数ドメイン音声DBを統合して得られる音声データベース。
【0061】
<複数ドメイン均質ポストフィルタ音響モデル>
複数ドメイン均質ポストフィルタ音声DBと複数ドメイン均質コンテキストDBから音響モデル学習を行うことで得られる音響モデル。
【0062】
≪用語の説明終わり≫
図11に示すように、本実施例の音響モデル生成装置21は、実施例1と同様の複数ドメイン均質化DB生成部111と、実施例1とは異なる複数ドメイン均質化ポストフィルタ疑似音声DB生成部211と、実施例1とは異なる複数ドメイン均質DB生成部212と、実施例1および従来技術と同様の音響モデル学習部913と、実施例1とは異なる複数ドメイン均質ポストフィルタ音響モデル記憶部214を含む。
【0063】
以下、図12を参照して本実施例の音響モデル生成装置21の動作を説明する。
【0064】
〔複数ドメイン均質化DB生成部111〕
実施例1と同様にステップS111を実行する。
【0065】
〔複数ドメイン均質化ポストフィルタ疑似音声DB生成部211〕
複数ドメイン均質化ポストフィルタ疑似音声DB生成部211は、ポストフィルタ処理により、複数ドメイン均質化擬似音声DBから複数ドメイン均質化ポストフィルタ擬似音声DBを取得する(S211)。
【0066】
〔複数ドメイン均質DB生成部212〕
複数ドメイン均質化擬似音声DBの代わりに、複数ドメイン均質化ポストフィルタ擬似音声DBを使用する点を除いて、実施例1と同様である。ただし、得られる音声DBを、実施例1と区別して、複数ドメイン均質ポストフィルタ音声DBと呼ぶ。すなわち、複数ドメイン均質DB生成部212は、複数ドメイン音声DBと複数ドメイン均質化ポストフィルタ擬似音声DBを統合して複数ドメイン均質ポストフィルタ音声DBを生成し、実施例1と同様に、複数ドメインコンテキストDBと複数ドメイン均質化コンテキストDBを統合して複数ドメイン均質コンテキストDBを生成する(S212)。
【0067】
〔音響モデル学習部913〕
音響モデル学習部913は、実施例1と同様にステップS913を実行する。ただし、音響モデル学習部913は、学習データとして、複数ドメイン均質音声DBの代わりに、複数ドメイン均質ポストフィルタ音声DBを使用する。すなわち、音響モデル学習部913は、学習データとして、複数ドメイン均質ポストフィルタ音声DBと複数ドメイン均質コンテキストDBを使用して、音響モデルを学習し、複数ドメイン均質ポストフィルタ音響モデル記憶部214に記憶する(S913)。音響モデル学習部913が学習する音響モデルを実施例1と区別して、複数ドメイン均質ポストフィルタ音響モデルと呼ぶ。
【0068】
[音声合成装置(図示略)]
複数ドメイン均質音響モデルの代わりに、複数ドメイン均質ポストフィルタ音響モデルを使用する点を除き、実施例1と同様である。
【0069】
以下、図13図14を参照して、複数ドメイン均質化ポストフィルタ擬似音声DB生成部211および複数ドメイン均質DB生成部212の構成をさらに詳細に説明する。
【0070】
[複数ドメイン均質化ポストフィルタ擬似音声DB生成部211]
図13に示すように、複数ドメイン均質化ポストフィルタ擬似音声DB生成部211は、ポストフィルタ2111と、複数ドメイン均質化ポストフィルタ擬似音声DB記憶部2113を含む。ポストフィルタ2111は前述のポストフィルタ処理を実行する。ポストフィルタ処理としては、例えばケプストラム特徴量に対する分散保障処理(非特許文献5)、Global Variance 保障処理(非特許文献6)、変調スペクトル保障処理(非特許文献7)等でよい。ポストフィルタ2111は、取得した複数ドメイン均質化ポストフィルタ擬似音声DBを複数ドメイン均質化ポストフィルタ擬似音声DB記憶部2113に記憶する。
【0071】
[複数ドメイン均質DB生成部212]
図14に示すように、複数ドメイン均質DB生成部212は、実施例1と同様の音声DB統合部1121と、実施例1と異なる複数ドメイン均質ポストフィルタ音声DB記憶部2122と、実施例1と同様のコンテキストDB統合部1123と、実施例1と同様の複数ドメイン均質コンテキストDB記憶部1124を含む。音声DB統合部1121は、統合により得られた複数ドメイン均質ポストフィルタ音声DBを複数ドメイン均質ポストフィルタ音声DB記憶部2122に記憶する。
【0072】
上述したように、音響モデルにより生成される音声パラメータは、実際の人間による発話(自然発話)の音声パラメータに比べ、時間方向に過剰に平滑化する傾向が知られている。実施例1では、過剰に平滑化した音声パラメータを学習データに追加するため、音響モデルの学習に影響を及ぼす可能性がある。
【0073】
本実施例の音響モデル生成装置21は、擬似的に生成された音声パラメータに対し、過剰平滑化した音声パラメータを自然発話のものに近づけるためのポストフィルタ処理を行う。これにより、過剰平滑化が音響モデルの学習に与える影響を回避することができ、音声品質を向上させることができる。
【0074】
<補記>
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボード等が接続可能な入力部、液晶ディスプレイ等が接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置(例えば通信ケーブル)が接続可能な通信部、CPU(Central Processing Unit、キャッシュメモリやレジスタ等を備えていてもよい)、メモリであるRAMやROM、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、CPU、RAM、ROM、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、CD−ROM等の記録媒体を読み書きできる装置(ドライブ)等を設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータ等がある。
【0075】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータ等が記憶されている(外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるROMに記憶させておくこととしてもよい)。また、これらのプログラムの処理によって得られるデータ等は、RAMや外部記憶装置等に適宜に記憶される。
【0076】
ハードウェアエンティティでは、外部記憶装置(あるいはROM等)に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にCPUで解釈実行・処理される。その結果、CPUが所定の機能(上記、…部、…手段等と表した各構成要件)を実現する。
【0077】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【0078】
既述のように、上記実施形態において説明したハードウェアエンティティ(本発明の装置)における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【0079】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD(Digital Versatile Disc)、DVD−RAM(Random Access Memory)、CD−ROM(Compact Disc Read Only Memory)、CD−R(Recordable)/RW(ReWritable)等を、光磁気記録媒体として、MO(Magneto-Optical disc)等を、半導体メモリとしてEEP−ROM(Electronically Erasable and Programmable-Read Only Memory)等を用いることができる。
【0080】
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0081】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
【0082】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【0083】
なお、明細書、特許請求の範囲に記載された各ステップは各種の情報を生成する方法の各ステップに該当する。ここでいう各種の情報は特許法第二条第四項に規定するプログラム等(プログラム…その他電子計算機による処理の用に供する情報であってプログラムに準ずるもの)に該当するため、ここでいう各種の情報は、特許法第二条第三項第一号に規定する物に該当する。従って、明細書、特許請求の範囲に記載された各種の情報を生成する方法はすなわち、特許法第二条第三項第三号に規定する物を生産する方法に該当することはいうまでもない。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14