特許 6821970 音声合成装置および音声合成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6821970

(24)【登録日】2021年1月12日

(45)【発行日】2021年1月27日

(54)【発明の名称】音声合成装置および音声合成方法

(51)【国際特許分類】

   G10L 13/07 20130101AFI20210114BHJP

   G10L 13/10 20130101ALI20210114BHJP

   G10L 13/08 20130101ALI20210114BHJP

【ＦＩ】

   G10L13/07 C

   G10L13/10 112E

   G10L13/08 150Z

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2016-129890(P2016-129890)

(22)【出願日】2016年6月30日

(65)【公開番号】特開2018-4870(P2018-4870A)

(43)【公開日】2018年1月11日

【審査請求日】2019年4月19日

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100128598

【弁理士】

【氏名又は名称】高田 聖一

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】久湊 裕司

(72)【発明者】

【氏名】大道 竜之介

(72)【発明者】

【氏名】才野 慶二郎

(72)【発明者】

【氏名】ジョルディ ボナダ

(72)【発明者】

【氏名】メルレイン ブラアウ

【審査官】 大野 弘

(56)【参考文献】

【文献】 国際公開第２００６／１３４７３６（ＷＯ，Ａ１）

【文献】 特開２００８−２０３５４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １３／０７

Ｇ１０Ｌ １３／０８

Ｇ１０Ｌ １３／１０

(57)【特許請求の範囲】

【請求項1】

合成内容を指示する合成情報に応じた音声素片を順次に取得する素片取得部と、
前記合成情報に応じた統計スペクトル包絡を統計モデルにより生成する包絡生成部と、
前記素片取得部が取得した各音声素片を相互に接続した音声であって、前記包絡生成部が生成した統計スペクトル包絡に応じて当該各音声素片が調整された合成音声の音響信号を生成する音声合成部と
を具備する音声合成装置。

【請求項2】

前記音声合成部は、
前記素片取得部が取得した各音声素片の周波数スペクトルについて、相前後する各音声素片の接続部分において周波数スペクトルが連続的に遷移するように補間処理を実行する素片補間部と、
前記素片補間部による補間処理後の各周波数スペクトルを、前記包絡生成部が生成した統計スペクトル包絡に近付ける特性調整部と、
前記特性調整部による処理後の周波数スペクトルの時系列から前記音響信号を生成する波形合成部とを含む
請求項１の音声合成装置。

【請求項3】

前記素片補間部は、前記素片取得部が取得した各音声素片の素片スペクトル包絡について、相前後する各音声素片の接続部分において素片スペクトル包絡が連続的に遷移するように補間処理を実行し、
前記特性調整部は、前記素片補間部による補間処理後の素片スペクトル包絡と、前記包絡生成部が生成した統計スペクトル包絡とを可変の補間係数で補間した補間スペクトル包絡に近付くように、前記素片補間部による補間処理後の周波数スペクトルを調整する
請求項２の音声合成装置。

【請求項4】

前記音声合成部は、
前記素片取得部が取得した各音声素片の周波数スペクトルを、前記包絡生成部が生成した統計スペクトル包絡に近付ける特性調整部と、
前記特性調整部による処理後の各音声素片を接続することで前記音響信号を生成する素片接続部とを含む
請求項１の音声合成装置。

【請求項5】

前記特性調整部は、前記素片取得部が取得した音声素片の素片スペクトル包絡と、前記包絡生成部が生成した統計スペクトル包絡とを可変の補間係数で補間した補間スペクトル包絡に近付くように、当該音声素片の周波数スペクトルを調整する
請求項４の音声合成装置。

【請求項6】

前記素片スペクトル包絡は、時間的な変動が緩慢である平滑成分と、前記平滑成分と比較して微細に変動する変動成分とを含み、
前記特性調整部は、前記統計スペクトル包絡と前記平滑成分との補間に前記変動成分を加算することで前記補間スペクトル包絡を算定する
請求項３または請求項５の音声合成装置。

【請求項7】

前記素片スペクトル包絡と前記統計スペクトル包絡とは、相異なる特徴量で表現される
請求項３または請求項５の音声合成装置。

【請求項8】

前記包絡生成部は、相異なる声質に対応する複数の統計モデルの何れかを選択的に利用して前記統計スペクトル包絡を生成する
請求項１から請求項７の何れかの音声合成装置。

【請求項9】

コンピュータシステムが、
合成内容を指示する合成情報に応じた音声素片を順次に取得し、
前記合成情報に応じた統計スペクトル包絡を統計モデルにより生成し、
前記取得した各音声素片を相互に接続した音声であって、前記生成した統計スペクトル包絡に応じて当該各音声素片を調整した合成音声の音響信号を生成する
音声合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声を合成する技術に関する。

【背景技術】

【0002】

任意の音韻（発音内容）の音声を合成する音声合成の技術が従来から提案されている。例えば特許文献１には、複数の音声素片のうち目標の音韻に応じて選択された音声素片を相互に接続することで合成音声を生成する素片接続型の音声合成が開示されている。また、特許文献２には、声道特性を表現するスペクトルパラメータの系列をＨＭＭ（Hidden Markov Model）により生成し、スペクトルパラメータに応じた周波数特性の合成フィルタにより励振信号を処理することで合成音声を生成する統計モデル型の音声合成が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２４０５６４号公報

【特許文献2】特開２００２−２６８６６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、標準的な声質の音声だけでなく、例えば強目に発音した音声または穏やかに発音した音声など、多様な声質の音声を合成することが要求される。素片接続型の音声合成において多様な声質の音声を合成するためには、多数の音声素片の集合（音声合成用ライブラリ）を声質毎に個別に用意する必要がある。したがって、音声素片を保持するために充分な記憶容量が必要である。他方、統計モデル型の音声合成において統計モデルで推定されるスペクトルは、学習過程において多数のスペクトルを平均したスペクトルであり、素片接続型の音声素片と比較して時間分解能および周波数分解能が低い。したがって、高品質な合成音声の生成は困難である。以上の事情を考慮して、本発明は、音声合成に必要な記憶容量を削減しながら所望の声質の高品質な合成音声を生成することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本発明の好適な態様に係る音声合成装置は、合成内容を指示する合成情報に応じた音声素片を順次に取得する素片取得部と、合成情報に応じた統計スペクトル包絡を統計モデルにより生成する包絡生成部と、素片取得部が取得した各音声素片を相互に接続した音声であって、包絡生成部が生成した統計スペクトル包絡に応じて当該各音声素片が調整された合成音声の音響信号を生成する音声合成部とを具備する。以上の態様では、音声素片を相互に接続した音声であって統計モデルにより生成された統計スペクトル包絡に応じて各音声素片を調整した合成音声（例えば統計モデルでモデル化された声質に近い合成音声）の音響信号が生成される。したがって、声質毎に音声素片を用意する構成と比較して、所望の声質の合成音声を生成するために必要な記憶容量が削減される。また、音声素片を利用せずに統計モデルで合成音声を生成する構成と比較して、時間分解能または周波数分解能が高い音声素片を利用した高品位な合成音声を生成することが可能である。

【0006】

本発明の好適な態様において、音声合成部は、素片取得部が取得した各音声素片の周波数スペクトルを、包絡生成部が生成した統計スペクトル包絡に近付ける特性調整部と、特性調整部による処理後の各音声素片を接続することで音響信号を生成する素片接続部とを含む。

【0007】

本発明の好適な態様において、特性調整部は、素片取得部が取得した音声素片の素片スペクトル包絡と、包絡生成部が生成した統計スペクトル包絡とを可変の補間係数で補間した補間スペクトル包絡に近付くように、当該音声素片の周波数スペクトルを調整する。以上の態様では、素片スペクトル包絡と統計スペクトル包絡との補間に適用される補間係数（加重値）が可変に設定されるから、音声素片の周波数スペクトルを統計スペクトル包絡に近付ける度合（声質の調整の度合）を変化させることが可能である。

【0008】

本発明の好適な態様において、素片スペクトル包絡は、時間的な変動が緩慢である平滑成分と、平滑成分と比較して微細に変動する変動成分とを含み、特性調整部は、統計スペクトル包絡と平滑成分との補間に変動成分を加算することで補間スペクトル包絡を算定する。以上の態様では、統計スペクトル包絡と素片スペクトル包絡の平滑成分との補間に変動成分を加算することで補間スペクトル包絡が算定されるから、平滑成分と変動成分とを適切に含有する補間スペクトル包絡を算定することが可能である。

【0009】

本発明の好適な態様において、素片スペクトル包絡と統計スペクトル包絡とは、相異なる特徴量で表現される。素片スペクトル包絡の表現には、周波数軸方向のパラメータを含む特徴量が好適に採用される。具体的には、素片スペクトル包絡の平滑成分は、例えば線スペクトル対係数、ＥｐＲ（Excitation plus Resonance）パラメータ、または複数の正規分布の加重和（すなわちガウス混合モデル）等の特徴量で好適に表現され、素片スペクトル包絡の変動成分は、例えば周波数毎の振幅値等の特徴量で表現される。他方、統計スペクトル包絡の表現には、例えば統計的な演算に好適な特徴量が採用される。具体的には、統計スペクトル包絡は、例えば低次ケプストラム係数または周波数毎の振幅値等の特徴量で表現される。以上の態様では、素片スペクトル包絡と統計スペクトル包絡とが相異なる特徴量で表現されるから、素片スペクトル包絡および統計スペクトル包絡の各々にとって適切な特徴量を利用できるという利点がある。

【0010】

本発明の好適な態様において、包絡生成部は、相異なる声質に対応する複数の統計モデルの何れかを選択的に利用して統計スペクトル包絡を生成する。以上の態様では、統計スペクトル包絡の生成に複数の統計モデルの何れかが選択的に利用されるから、１個の統計モデルのみを利用する構成と比較して多様な声質の合成音声を生成できるという利点がある。

【0011】

本発明の好適な態様に係る音声合成方法は、コンピュータシステムが、合成内容を指示する合成情報に応じた音声素片を順次に取得し、合成情報に応じた統計スペクトル包絡を統計モデルにより生成し、取得した各音声素片を相互に接続した音声であって、生成した統計スペクトル包絡に応じて当該各音声素片を調整した合成音声の音響信号を生成する。

【図面の簡単な説明】

【0012】

【図1】第１実施形態における音声合成装置の構成図である。

【図2】音声合成装置の動作の説明図である。

【図3】音声合成装置の機能的な構成図である。

【図4】特性調整処理のフローチャートである。

【図5】音声合成処理のフローチャートである。

【図6】第２実施形態における音声合成装置の機能的な構成図である。

【図7】変形例における音声合成部の構成図である。

【図8】変形例における音声合成部の構成図である。

【発明を実施するための形態】

【0013】

＜第１実施形態＞
図１は、本発明の第１実施形態に係る音声合成装置１００の構成図である。第１実施形態の音声合成装置１００は、所望の音韻（発音内容）の音声を合成する信号処理装置であり、制御装置１２と記憶装置１４と入力装置１６と放音装置１８とを具備するコンピュータシステムで実現される。例えば携帯電話機またはスマートフォン等の可搬型の端末装置、あるいはパーソナルコンピュータ等の可搬型または据置型の端末装置が、音声合成装置１００として利用され得る。第１実施形態の音声合成装置１００は、特定の楽曲（以下「対象楽曲」という）を歌唱した音声の音響信号Ｖを生成する。なお、音声合成装置１００は、単体の装置として実現されるほか、相互に別体で構成された複数の装置の集合（すなわちコンピュータシステム）でも実現される。

【0014】

制御装置１２は、例えばＣＰＵ（Central Processing Unit）等の処理回路を含んで構成され、音声合成装置１００の各要素を統括的に制御する。入力装置１６は、利用者からの指示を受付ける操作機器である。例えば利用者が操作可能な操作子、または、表示装置（図示略）の表示面に対する接触を検知するタッチパネルが入力装置１６として好適に利用される。放音装置１８（例えばスピーカまたはヘッドホン）は、音声合成装置１００が生成した音響信号Ｖに応じた音声を再生する。なお、音響信号Ｖをデジタルからアナログに変換するＤ/Ａ変換器の図示は便宜的に省略した。

【0015】

記憶装置１４は、制御装置１２が実行するプログラムと制御装置１２が使用する各種のデータとを記憶する。例えば半導体記録媒体または磁気記録媒体等の公知の記録媒体、あるいは複数種の記録媒体の組合せが、記憶装置１４として任意に採用され得る。なお、音声合成装置１００とは別体で記憶装置１４（例えばクラウドストレージ）を設置し、移動通信網やインターネット等の通信網を介して制御装置１２が記憶装置１４に対する読出または書込を実行することも可能である。すなわち、記憶装置１４は音声合成装置１００から省略され得る。

【0016】

第１実施形態の記憶装置１４は、図１に例示される通り、音声素片群Ｌと合成情報Ｄと統計モデルＭとを記憶する。音声素片群Ｌは、特定の発声者（以下「対象発声者」という）が発音した音声から事前に収録された複数の音声素片ＰAの各々を表す素片データの集合（音声合成用ライブラリ）である。第１実施形態の各音声素片ＰAは、対象発声者が標準的な声質（以下「第１声質」という）で発音した音声から採取される。各音声素片ＰAは、例えば母音または子音等の音素単体、あるいは、複数の音素を連結した音素連鎖（例えばダイフォンまたはトライフォン）である。時間分解能または周波数分解能が充分に高い音声素片ＰAが音声素片群Ｌには収録される。

【0017】

任意の１個の音声素片ＰAの素片データは、図２に例示される通り、当該音声素片ＰAを時間軸上で区分した単位区間（フレーム）毎に、周波数スペクトルＱAとスペクトル包絡（以下「素片スペクトル包絡」という）Ｘとを表す。周波数スペクトルＱAは、例えば音声素片ＰAの複素スペクトル（またはその極形式表現）である。素片スペクトル包絡Ｘは、周波数スペクトルＱAの概形を表す包絡線（エンベロープ）である。なお、周波数スペクトルＱAから素片スペクトル包絡Ｘを算定することが可能であるから、素片スペクトル包絡Ｘを素片データに含ませない構成も原理的には採用し得る。しかし、周波数スペクトルＱAから好適な素片スペクトル包絡Ｘを一意に算定することは必ずしも容易ではないから、実際には、周波数スペクトルＱAとともに素片スペクトル包絡Ｘを素片データに含ませた構成が好適である。

【0018】

素片スペクトル包絡Ｘは、時間的な変動が緩慢である（あるいは殆ど変動しない）平滑成分Ｘ1と、平滑成分Ｘ1と比較して微細に変動する変動成分Ｘ2とを含有する。変動成分Ｘ1および変動成分Ｘ2は、例えば線スペクトル対係数または周波数毎の振幅値等の任意の特徴量で表現され得る。具体的には、例えば変動成分Ｘ1は線スペクトル対係数で好適に表現され、変動成分Ｘ2は、周波数毎の振幅値で好適に表現される。

【0019】

図１の合成情報Ｄは、音声合成装置１００による合成内容を指示するデータである。具体的には、合成情報Ｄは、対象楽曲を構成する複数の音符の各々について音高ＤAと音韻ＤBとを指定する。音高ＤAは、例えばＭＩＤＩ（Musical Instrument Digital Interface）のノート番号である。音韻ＤBは、合成音声による発音内容（すなわち対象楽曲の歌詞）であり、例えば書記素または音声記号で記述される。合成情報Ｄは、入力装置１６に対する利用者からの指示に応じて生成および変更される。また、配信サーバ装置から通信網を介して配信された合成情報Ｄを記憶装置１４に格納することも可能である。

【0020】

統計モデルＭは、音声素片ＰAとは声質が異なる音声のスペクトル包絡（以下「統計スペクトル包絡」という）Ｙを合成情報Ｄに応じて統計的に推定するための数理モデルである。第１実施形態の統計モデルＭは、合成情報Ｄに応じて区別される属性（コンテキスト）毎に遷移モデルを含むコンテキスト依存モデルである。遷移モデルは、複数の状態で記述されたＨＭＭ（Hidden Markov Model）である。遷移モデルの複数の状態の各々には、統計スペクトル包絡Ｙの生起確率の確率分布を規定する統計値（具体的には平均ベクトルおよび共分散行列）が設定される。各遷移モデルの状態毎の統計値が、統計モデルＭとして記憶装置１４に記憶される。遷移モデルの属性は、直前または直後の音素の種類（有声音／無声音，母音／子音，子音の種別）等の種々の条件に応じて区別される。

【0021】

統計モデルＭは、対象発声者が発音した多数の音声のスペクトル包絡を学習データとして利用した機械学習で事前に生成される。例えば、統計モデルＭのうち任意の１個の属性に対応する遷移モデルは、対象発声者が発音した多数の音声のうち当該属性に分類される音声のスペクトル包絡を学習データとした機械学習で生成される。統計モデルＭの機械学習に学習データとして利用される音声は、音声素片ＰAの第１声質とは異なる声質（以下「第２声質」という）で対象発声者が発音した音声である。具体的には、第１声質と比較して対象発声者が強目に発音した音声、または第１声質と比較して対象発声者が穏やかに発音した音声が、統計モデルＭの機械学習に利用される。すなわち、第２声質で発音された音声のスペクトル包絡の統計的な傾向が統計モデルＭにより属性毎にモデル化される。したがって、第２声質の音声の統計スペクトル包絡Ｙが統計モデルＭにより推定される。統計モデルＭは、音声素片群Ｌと比較してデータ量が充分に小さい。なお、統計モデルＭは、例えば標準的な第１声質の音声素片群Ｌに対する付加的なデータとして、音声素片群Ｌとは別個に提供される。

【0022】

図３は、第１実施形態における制御装置１２の機能に着目した構成図である。図３に例示される通り、制御装置１２は、記憶装置１４に記憶されたプログラムを実行することで、合成情報Ｄに応じた合成音声の音響信号Ｖを生成するための複数の機能（素片取得部２０，包絡生成部３０，音声合成部４０）を実現する。なお、制御装置１２の機能を複数の装置で実現した構成、または、制御装置１２の一部の機能を専用の電子回路が分担する構成も採用され得る。

【0023】

素片取得部２０は、合成情報Ｄに応じた音声素片ＰBを順次に取得する。具体的には、素片取得部２０は、合成情報Ｄが指定する音韻ＤBに対応する音声素片ＰAを、合成情報Ｄが指定する音高ＤAに調整することで音声素片ＰBを生成する。図３に例示される通り、第１実施形態の素片取得部２０は、素片選択部２２と素片加工部２４とを含んで構成される。

【0024】

素片選択部２２は、合成情報Ｄが音符毎に指定する音韻ＤBに対応した音声素片ＰAを記憶装置１４の音声素片群Ｌから順次に選択する。なお、音高が相違する複数の音声素片ＰAを音声素片群Ｌに登録することも可能である。合成情報Ｄが指定する音韻ＤBに対応する相異なる音高の複数の音声素片ＰAのうち、合成情報Ｄが指定する音高ＤAに近い音高の音声素片ＰAを素片選択部２２は選択する。

【0025】

素片加工部２４は、素片選択部２２が選択した音声素片ＰAの音高を、合成情報Ｄで指定される音高ＤAに調整する。音声素片ＰAの音高の調整には、例えば特許文献１に記載された技術が好適に利用される。具体的には、素片加工部２４は、図２に例示される通り、音声素片ＰAの周波数スペクトルＱAを周波数軸の方向に伸縮することで音高ＤAに調整し、調整後の周波数スペクトルのピークが素片スペクトル包絡Ｘの線上に位置するように強度を調整することで周波数スペクトルＱBを生成する。したがって、素片取得部２０が取得する音声素片ＰBは、周波数スペクトルＱBと素片スペクトル包絡Ｘとで表現される。なお、素片加工部２４が実行する処理の内容は音声素片ＰAの音高の調整に限定されない。例えば、相前後する各音声素片ＰAの間の補間を素片加工部２４が実行することも可能である。

【0026】

図３の包絡生成部３０は、合成情報Ｄに応じた統計スペクトル包絡Ｙを統計モデルＭにより生成する。具体的には、包絡生成部３０は、合成情報Ｄに応じた属性（コンテキスト）の遷移モデルを統計モデルＭから順次に検索して相互に連結し、複数の遷移モデルの時系列から統計スペクトル包絡Ｙを単位期間毎に順次に生成する。すなわち、合成情報Ｄで指定される音韻ＤBを第２声質で発音した音声のスペクトル包絡が統計スペクトル包絡Ｙとして包絡生成部３０により順次に生成される。

【0027】

なお、統計スペクトル包絡Ｙは、線スペクトル対係数または低次ケプストラム係数等の任意の種類の特徴量で表現され得る。低次ケプストラム係数は、信号のパワースペクトルの対数のフーリエ変換であるケプストラム係数のうち、声道等の調音器官の共鳴特性に由来する低次側の所定個の係数である。なお、統計スペクトル包絡Ｙを線スペクトル対係数で表現した場合、線スペクトル対係数の低次側から高次側にかけて係数値が順番に増加する関係を維持することが必要である。しかし、統計モデルＭにより統計スペクトル包絡Ｙを生成する過程では、線スペクトル対係数の平均等の統計的な演算により以上の関係が崩れる可能性（統計スペクトル包絡Ｙを適正に表現できない可能性）がある。したがって、統計スペクトル包絡Ｙを表現する特徴量としては、線スペクトル対係数よりも低次ケプストラム係数が好適である。

【0028】

図３の音声合成部４０は、素片取得部２０が取得した音声素片ＰBと包絡生成部３０が生成した統計スペクトル包絡Ｙとを利用して合成音声の音響信号Ｖを生成する。具体的には、音声合成部４０は、各音声素片ＰBを相互に接続した音声であって、統計スペクトル包絡Ｙに応じて各音声素片ＰBが調整された合成音声を表す音響信号Ｖを生成する。図３に例示される通り、第１実施形態の音声合成部４０は、特性調整部４２と素片接続部４４とを含んで構成される。

【0029】

特性調整部４２は、素片取得部２０が取得した各音声素片ＰBの周波数スペクトルＱBを、包絡生成部３０が生成した統計スペクトル包絡Ｙに近付けることで音声素片ＰCの周波数スペクトルＱCを生成する。素片接続部４４は、特性調整部４２による調整後の各音声素片ＰCを相互に接続することで音響信号Ｖを生成する。具体的には、音声素片ＰCの周波数スペクトルＱCを例えば短時間逆フーリエ変換等の演算で時間領域の信号に変換し、相前後する信号を相互に重複させたうえで加算することで音響信号Ｖが生成される。なお、音声素片ＰCの位相スペクトルとしては、例えば音声素片ＰAの位相スペクトル、または、最小位相条件により算定された位相スペクトルが好適に利用される。

【0030】

図４は、特性調整部４２が音声素片ＰBの周波数スペクトルＱBから音声素片ＰCの周波数スペクトルＱCを生成する処理（以下「特性調整処理」という）ＳC1のフローチャートである。図４に例示される通り、特性調整部４２は、係数αおよび係数βを設定する（ＳC11）。係数（補関係数の例示）αおよび係数βは、例えば入力装置１６に対する利用者からの指示に応じて可変に設定される１以下の非負値（０≦α≦１，０≦β≦１）である。

【0031】

特性調整部４２は、素片取得部２０が取得した音声素片ＰBの素片スペクトル包絡Ｘと、包絡生成部３０が生成した統計スペクトル包絡Ｙとを係数αにより補間することでスペクトル包絡（以下「補間スペクトル包絡」という）Ｚを生成する（ＳC12）。補間スペクトル包絡Ｚは、図２に例示される通り、素片スペクトル包絡Ｘと統計スペクトル包絡Ｙとの中間的な特性のスペクトル包絡である。具体的には、補間スペクトル包絡Ｚは、以下に例示する数式(1)および数式(2)で表現される。
Ｚ＝Ｆ(Ｃ) ……(1)
Ｃ＝α・ｃY＋(１−α)・ｃX1＋β・ｃX2 ……(2)
数式(2)の記号ｃX1は、素片スペクトル包絡Ｘの平滑成分Ｘ1を表す特徴量であり、記号ｃX2は、素片スペクトル包絡Ｘの変動成分Ｘ2を表す特徴量である。また、記号ｃYは、統計スペクトル包絡Ｙを表す特徴量である。数式(2)では、特徴量ｃX1と特徴量ｃYとが同種の特徴量（例えば線スペクトル対係数）である場合を想定した。数式(1)の記号Ｆ(Ｃ)は、数式(2)で算定された特徴量Ｃをスペクトル包絡（すなわち周波数毎の数値の系列）に変換する変換関数である。

【0032】

数式(1)および数式(2)から理解される通り、特性調整部４２は、統計スペクトル包絡Ｙと素片スペクトル包絡Ｘの平滑成分Ｘ1との補間（α・ｃY＋(１−α)・ｃX1）に対して、素片スペクトル包絡Ｘの変動成分Ｘ2を係数βに応じた度合で加算することで、補間スペクトル包絡Ｚを算定する。数式(2)から理解される通り、係数αが大きいほど、統計スペクトル包絡Ｙを優勢に反映した補間スペクトル包絡Ｚが生成され、係数αが小さいほど、素片スペクトル包絡Ｘを優勢に反映した補間スペクトル包絡Ｚが生成される。すなわち、係数αが大きい（最大値１に近い）ほど、第２声質に近い合成音声の音響信号Ｖが生成され、係数αが小さい（最小値０に近い）ほど、第１声質に近い合成音声の音響信号Ｖが生成される。また、係数αが最大値１に設定された場合（Ｃ＝ｃY＋β・ｃX2）、合成情報Ｄが指定する音韻ＤBを第２声質で発音した合成音声の音響信号Ｖが生成される。他方、係数αが最小値０に設定された場合（Ｃ＝ｃX1＋β・ｃX2）、合成情報Ｄが指定する音韻ＤBを第１声質で発音した合成音声の音響信号Ｖが生成される。以上の説明から理解される通り、補間スペクトル包絡Ｚは、素片スペクトル包絡Ｘと統計スペクトル包絡Ｙとから生成され、第１声質および第２声質の一方を他方に近付けた音声のスペクトル包絡（すなわち、素片スペクトル包絡Ｘおよび統計スペクトル包絡Ｙの一方を他方に近付けたスペクトル包絡）に相当する。また、補間スペクトル包絡Ｚは、素片スペクトル包絡Ｘおよび統計スペクトル包絡Ｙの双方の特性を含むスペクトル包絡、または、素片スペクトル包絡Ｘおよび統計スペクトル包絡Ｙの双方の特性を結合したスペクトル包絡とも換言され得る。

【0033】

なお、前述の通り、素片スペクトル包絡Ｘの平滑成分Ｘ1と統計スペクトル包絡Ｙとを相異なる種類の特徴量で表現することも可能である。例えば、素片スペクトル包絡Ｘの平滑成分Ｘ1を表す特徴量ｃX1が線スペクトル対係数であり、統計スペクトル包絡Ｙを表す特徴量ｃYが低次ケプストラム係数である場合を想定すると、前述の数式(2)は以下の数式(2a)に置換される。
Ｃ＝α・Ｇ(ｃY)＋(１−α)・ｃX1＋β・ｃX2 ……(2a)
数式(2a)の記号Ｇ(ｃY)は、低次ケプストラム係数である特徴量ｃYを、特徴量ｃX1と同種の線スペクトル対係数に変換するための変換関数である。

【0034】

特性調整部４２は、素片取得部２０が取得した各音声素片ＰBの周波数スペクトルＱBを、以上の手順（ＳC11，ＳC12）で生成した補間スペクトル包絡Ｚに近付けることで、音声素片ＰCの周波数スペクトルＱCを生成する（ＳC13）。具体的には、特性調整部４２は、図２に例示される通り、周波数スペクトルＱBの各ピークが補間スペクトル包絡Ｚの線上に位置するように周波数スペクトルＱBの強度を調整することで周波数スペクトルＱCを生成する。特性調整部４２が音声素片ＰBから音声素片ＰCを生成する処理の具体例は以上の通りである。

【0035】

図５は、合成情報Ｄに応じた合成音声の音響信号Ｖを生成する処理（以下「音声合成処理」という）Ｓのフローチャートである。入力装置１６に対する利用者からの操作で音声合成の開始が指示された場合に図５の音声合成処理Ｓが開始される。

【0036】

音声合成処理Ｓを開始すると、素片取得部２０は、合成情報Ｄに応じた音声素片ＰBを順次に取得する（ＳA）。具体的には、素片選択部２２は、合成情報Ｄが指定する音韻ＤBに対応した音声素片ＰAを音声素片群Ｌから選択する（ＳA1）。素片加工部２４は、素片選択部２２が選択した音声素片ＰAの音高を、合成情報Ｄで指定される音高ＤAに調整することで音声素片ＰBを生成する（ＳA2）。他方、包絡生成部３０は、合成情報Ｄに応じた統計スペクトル包絡Ｙを統計モデルＭにより生成する（ＳB）。なお、素片取得部２０による音声素片ＰBの取得（ＳA）と包絡生成部３０による統計スペクトル包絡Ｙの生成（ＳB）との順序は任意であり、統計スペクトル包絡Ｙの生成（ＳB）後に音声素片ＰBを取得（ＳA）することも可能である。

【0037】

音声合成部４０は、素片取得部２０が取得した音声素片ＰBと包絡生成部３０が生成した統計スペクトル包絡Ｙとに応じた合成音声の音響信号Ｖを生成する（ＳC）。具体的には、特性調整部４２は、図４に例示した特性調整処理ＳC1により、素片取得部２０が取得した各音声素片ＰBの周波数スペクトルＱBを統計スペクトル包絡Ｙに近付けた周波数スペクトルＱCを生成する。素片接続部４４は、特性調整部４２による調整後の各音声素片ＰCを相互に接続することで音響信号Ｖを生成する（ＳC2）。音声合成部４０（素片接続部４４）が生成した音響信号Ｖは放音装置１８に供給される。

【0038】

音声合成処理Ｓを終了すべき時点が到来するまで（ＳD：NO）、音声素片ＰBの取得（ＳA）と統計スペクトル包絡Ｙの生成（ＳB）と音響信号Ｖの生成（ＳC）とが反復される。例えば利用者が入力装置１６に対する操作で音声合成処理Ｓの終了を指示した場合、または、対象楽曲の全体にわたり音声合成が完了した場合（ＳD：YES）に、音声合成処理Ｓは終了する。

【0039】

以上に例示した通り、第１実施形態では、音声素片ＰBを相互に接続した音声であって、統計モデルＭにより生成された統計スペクトル包絡Ｙに応じて各音声素片ＰBを調整した合成音声の音響信号Ｖが生成される。すなわち、第２声質に近い合成音声を生成することが可能である。したがって、声質毎に音声素片ＰAを用意する構成と比較して、所望の声質の合成音声を生成するために必要な記憶装置１４の記憶容量が削減される。また、統計モデルＭにより合成音声を生成する構成と比較して、時間分解能または周波数分解能が高い音声素片ＰAを利用した高品位な合成音声を生成することが可能である。

【0040】

また、第１実施形態では、音声素片ＰBの素片スペクトル包絡Ｘと統計スペクトル包絡Ｙとを可変の係数αで補間した補間スペクトル包絡Ｚに近付くように、当該音声素片ＰBの周波数スペクトルＱBが調整される。以上の構成では、素片スペクトル包絡Ｘと統計スペクトル包絡Ｙとの補間に適用される係数（加重値）αが可変に設定されるから、音声素片ＰBの周波数スペクトルＱBを統計スペクトル包絡Ｙに近付ける度合（声質の調整の度合）を変化させることが可能である。

【0041】

第１実施形態では、素片スペクトル包絡Ｘは、時間的な変動が緩慢である平滑成分Ｘ1と、平滑成分Ｘ1と比較して微細に変動する変動成分Ｘ2とを含み、特性調整部４２は、統計スペクトル包絡Ｙと平滑成分Ｘ1との補間に変動成分Ｘ2を加算することで補間スペクトル包絡Ｚを算定する。以上の態様では、統計スペクトル包絡Ｙと素片スペクトル包絡Ｘの平滑成分Ｘ1との補間に変動成分Ｘ2を加算することで補間スペクトル包絡Ｚが算定されるから、変動成分Ｘ2を適切に反映した補間スペクトル包絡Ｚを算定することが可能である。

【0042】

また、素片スペクトル包絡Ｘの平滑成分Ｘ1は線スペクトル対係数で表現され、素片スペクトル包絡Ｘの変動成分Ｘ2は周波数毎の振幅値で表現され、統計スペクトル包絡Ｙは低次ケプストラム係数で表現される。以上の態様では、素片スペクトル包絡Ｘと統計スペクトル包絡Ｙとが相異なる種類の特徴量で表現されるから、素片スペクトル包絡Ｘおよび統計スペクトル包絡Ｙの各々にとって適切な特徴量を利用できるという利点がある。例えば、統計スペクトル包絡Ｙを線スペクトル対係数で表現した構成では、統計モデルＭを利用した統計スペクトル包絡Ｙの生成の過程において、線スペクトル対係数の低次側から高次側にかけて係数値が順番に増加するという関係が崩れる可能性がある。以上の事情を考慮すると、統計スペクトル包絡Ｙを低次ケプストラム係数で表現した構成は格別に好適である。

【0043】

＜第２実施形態＞
本発明の第２実施形態を説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

【0044】

図６は、第２実施形態の音声合成装置１００の機能に着目した構成図である。図６に例示される通り、第２実施形態の音声合成装置１００の記憶装置１４は、第１実施形態と同様の音声素片群Ｌおよび合成情報Ｄのほか、対象発声者の相異なる第２声質に対応する複数（Ｋ個）の統計モデルＭ[1]〜Ｍ[K]を記憶する。例えば、対象発声者が強目に発音した音声の統計モデルと対象発声者が穏やかに発音した音声の統計モデルとを含む複数の統計モデルＭ[1]〜Ｍ[K]が記憶装置１４に記憶される。任意の１個の統計モデルＭ[k]（ｋ＝１〜Ｋ）は、相異なるＫ種類の第２声質のうち第ｋ番目の第２声質で対象発声者が発音した音声を学習データとして利用した機械学習により事前に生成される。したがって、Ｋ種類の第２声質のうち第ｋ番目の第２声質の音声の統計スペクトル包絡Ｙが統計モデルＭ[k]により推定される。Ｋ個の統計モデルＭ[1]〜Ｍ[K]の合計のデータ量は音声素片群Ｌのデータ量を下回る。

【0045】

第２実施形態の包絡生成部３０は、記憶装置１４に記憶されたＫ個の統計モデルＭ[1]〜Ｍ[K]の何れかを選択的に利用して統計スペクトル包絡Ｙを生成する。例えば、包絡生成部３０は、入力装置１６に対する操作で利用者が選択した第２声質の統計モデルＭ[k]を利用して統計スペクトル包絡Ｙを生成する。統計モデルＭ[k]を利用して包絡生成部３０が統計スペクトル包絡Ｙを生成する動作は第１実施形態と同様である。また、素片取得部２０が合成情報Ｄに応じた音声素片ＰBを取得する構成、および、素片取得部２０が取得した音声素片ＰBと包絡生成部３０が生成した統計スペクトル包絡Ｙとに応じて音声合成部４０が音響信号Ｖを生成する構成も、第１実施形態と同様である。

【0046】

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、Ｋ個の統計モデルＭ[1]〜Ｍ[K]の何れかが統計スペクトル包絡Ｙの生成に選択的に利用されるから、１個の統計モデルＭのみを利用する構成と比較して多様な声質の合成音声を生成できるという利点がある。第２実施形態では特に、入力装置１６に対する操作で利用者が選択した第２声質の統計モデルＭ[k]が統計スペクトル包絡Ｙの生成に利用されるから、利用者の意図や嗜好に沿った声質の合成音声を生成できるという利点もある。

【0047】

＜変形例＞
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。

【0048】

（１）前述の各形態では、各音声素片ＰBの周波数スペクトルＱBを統計スペクトル包絡Ｙに近付けてから時間領域で相互に接続したが、音声素片ＰBと統計スペクトル包絡Ｙとに応じた音響信号Ｖを生成するための構成および方法は以上の例示に限定されない。

【0049】

例えば、図７に例示された構成の音声合成部４０を採用することも可能である。図７の音声合成部４０は、素片接続部４６と特性調整部４８とを具備する。素片接続部４６は、素片取得部２０が取得した各音声素片ＰBを相互に接続することで音響信号Ｖ0を生成する。具体的には、素片接続部４６は、音声素片ＰBの周波数スペクトルＱBを時間領域の信号に変換し、相前後する信号を相互に加算することで音響信号Ｖ0を生成する。音響信号Ｖ0は、第１声質の合成音声を表す時間領域の信号である。図７の特性調整部４８は、統計スペクトル包絡Ｙの周波数特性を時間領域で音響信号Ｖ0に付与することで音響信号Ｖを生成する。例えば、統計スペクトル包絡Ｙに応じて周波数特性（周波数毎の利得）が可変に設定されるフィルタが特性調整部４８として好適に利用される。図７の音声合成部４０を利用した構成でも、前述の各形態と同様に、第２声質の合成音声を表す音響信号Ｖが生成される。

【0050】

また、図８に例示された構成の音声合成部４０を採用することも可能である。図８の音声合成部４０は、素片補間部５２と特性調整部５４と波形合成部５６とを具備する。素片補間部５２は、素片取得部２０が取得した各音声素片ＰBについて補間処理を実行する。具体的には、相前後する各音声素片ＰBの相互間において、周波数スペクトルＱBの補間処理と素片スペクトル包絡Ｘの補間処理とが周波数領域で実行される。周波数スペクトルＱBの補間処理は、相前後する２個の音声素片ＰBの接続部分において周波数スペクトルが連続的に遷移するように、２個の音声素片ＰBの間で周波数スペクトルＱBを補間（例えばクロスフェード）する処理である。また、素片スペクトル包絡Ｘの補間処理は、相前後する２個の音声素片ＰBの接続部分においてスペクトル包絡が連続的に遷移するように、２個の音声素片ＰBの間で素片スペクトル包絡Ｘの平滑成分Ｘ1および変動成分Ｘ2の各々を補間（例えばクロスフェード）する処理である。素片補間部５２は、相前後する各音声素片ＰBを周波数領域で相互に接続する処理とも換言され得る。

【0051】

図８の特性調整部５４は、素片補間部５２による補間処理後の各周波数スペクトルを統計スペクトル包絡Ｙに近付けることで周波数スペクトルＱCを生成する。特性調整部５４による周波数スペクトルＱCの生成には、図４を参照して説明した特性調整処理ＳC1が好適に利用される。図８の波形合成部５６は、特性調整部５４が生成した複数の周波数スペクトルＱCの時系列から時間領域の音響信号Ｖを生成する。

【0052】

以上の例示から理解される通り、音声合成部４０は、素片取得部２０が取得した各音声素片ＰBを相互に接続した音声であって統計スペクトル包絡Ｙに応じて当該各音声素片ＰBが調整された合成音声の音響信号Ｖを生成する要素として包括的に表現される。すなわち、
［Ａ］統計スペクトル包絡Ｙに応じて音声素片ＰBを調整してから調整後の音声素片ＰCを時間領域で相互に接続する要素（図３）と、
［Ｂ］各音声素片ＰBを時間領域で相互に接続してから統計スペクトル包絡Ｙに応じた周波数特性を付与する要素（図７）と
［Ｃ］周波数領域で複数の音声素片ＰBを接続（具体的には補間）したうえで統計スペクトル包絡Ｙに応じて調整してから時間領域に変換する要素（図８）と、
が、音声合成部４０には包含され得る。

【0053】

（２）前述の各形態では、音声素片ＰAの発声者と統計モデルＭの学習用の音声の発声者とを同一人とした場合を例示したが、統計モデルＭの学習用の音声として、音声素片ＰAの発声者とは別人の音声を利用することも可能である。また、前述の実施形態では、対象発声者の音声を学習データとして利用した機械学習で統計モデルＭを生成したが、統計モデルＭの生成方法は以上の例示に限定されない。例えば、対象発声者以外の発声者の音声のスペクトル包絡を学習データとした機械学習で生成された統計モデルを利用して、対象発声者の少数の学習データを利用した統計モデルを適応的に補正することで、対象発声者の統計モデルＭを生成することも可能である。

【0054】

（３）前述の各形態では、属性毎に分類された対象発声者の音声のスペクトル包絡を学習データとする機械学習で統計モデルＭを生成したが、統計モデルＭ以外の方法で統計スペクトル包絡Ｙを生成することも可能である。例えば、相異なる属性に対応する複数の統計スペクトル包絡Ｙを事前に記憶装置１４に記憶させた構成（以下「変形構成」という）も採用され得る。任意の１個の属性の統計スペクトル包絡Ｙは、例えば、対象発声者が発音した多数の音声のうち当該属性に分類された複数の音声にわたるスペクトル包絡の平均である。包絡生成部３０は、合成情報Ｄに応じた属性の統計スペクトル包絡Ｙを記憶装置１４から順次に選択し、音声合成部４０は、第１実施形態と同様に当該統計スペクトル包絡Ｙと音声素片ＰBとに応じた音響信号Ｖを生成する。変形構成によれば、統計モデルＭを利用した統計スペクトル包絡Ｙの生成が不要である。他方、変形構成では、複数の音声にわたりスペクトル包絡が平均されるから、統計スペクトル包絡Ｙが、時間軸および周波数軸の方向に平滑化された特性となり得る。変形構成とは対照的に、前述の各形態では、統計モデルＭを利用して統計スペクトル包絡Ｙが生成されるから、変形構成と比較して、時間軸および周波数軸の方向における微細な構造が維持された（すなわち平滑化が抑制された）統計スペクトル包絡Ｙを生成できるという利点がある。

【0055】

（４）前述の各形態では、合成情報Ｄが音符毎に音高ＤAと音韻ＤBとを指定する構成を例示したが、合成情報Ｄの内容は以上の例示に限定されない。例えば、音高ＤAおよび音韻ＤBに加えて音量（ベロシティ）を合成情報Ｄで指定することも可能である。素片加工部２４は、素片選択部２２が選択した音声素片ＰAの音量を、合成情報Ｄで指定される音量に調整する。また、音韻は共通するけれども音量は相違する複数の音声素片ＰAを音声素片群Ｌに収録し、合成情報Ｄが指定する音韻ＤBに対応する複数の音声素片ＰAのうち、合成情報Ｄが指定する音量に近い音量の音声素片ＰAを素片選択部２２が選択することも可能である。

【0056】

（５）前述の各形態では、対象楽曲の全区間にわたり各音声素片ＰBを統計スペクトル包絡Ｙに応じて調整したが、統計スペクトル包絡Ｙを利用した音声素片ＰBの調整を、対象楽曲内の一部の区間（以下「調整区間」という）について選択的に実行することも可能である。調整区間は、例えば、対象楽曲のうち入力装置１６に対する操作で利用者が指定した区間、または、対象楽曲のうち合成情報Ｄで始点および終点が指定された区間である。特性調整部（４２，４８，５４）は、統計スペクトル包絡Ｙを利用した調整を選択区間内の各音声素片ＰBに対して実行する。調整区間以外の区間については、複数の音声素片ＰBを相互に連結した音響信号Ｖ（すなわち統計スペクトル包絡Ｙが反映されていない音響信号Ｖ）が音声合成部４０から出力される。以上の構成によれば、調整区間外が第１声質で発音されて調整区間内は第２声質で発音される多様な合成音声の音響信号Ｖを生成することが可能である。

【0057】

なお、対象楽曲内の相異なる複数の調整区間の各々について、統計スペクトル包絡Ｙを利用した音声素片ＰBの調整を実行する構成も想定される。また、対象発声者の相異なる第２声質に対応する複数の統計モデルＭ[1]〜Ｍ[K]が記憶装置１４に記憶された構成（例えば第２実施形態）では、対象楽曲内の調整区間毎に、音声素片ＰBの調整に適用される統計モデルＭ[k]を相違させることも可能である。複数の調整区間の各々の始点および終点と各調整区間に適用される統計モデルＭ[k]とは、例えば合成情報Ｄにより指定される。以上の構成によれば、調整区間毎に声質（例えば歌唱音声の表情）が変化する多様な合成音声の音響信号Ｖを生成できるという格別の利点がある。

【0058】

（６）素片スペクトル包絡Ｘおよび統計スペクトル包絡Ｙを表現する特徴量は前述の各形態での例示（線スペクトル対係数または低次ケプストラム係数）に限定されない。例えば、周波数毎の振幅値の系列により素片スペクトル包絡Ｘまたは統計スペクトル包絡Ｙは表現され得る。また、声帯の振動特性と調音器官の共鳴特性とを近似するＥｐＲ（Excitation plus Resonance）パラメータで素片スペクトル包絡Ｘまたは統計スペクトル包絡Ｙを表現することも可能である。なお、ＥｐＲパラメータについては、例えば特許第３７１１８８０号公報または特開２００７−２２６１７４号公報に開示されている。あるいは、複数の正規分布の加重和（すなわちガウス混合モデル）で素片スペクトル包絡Ｘまたは統計スペクトル包絡Ｙを表現することも可能である。

【0059】

（７）移動体通信網またはインターネット等の通信網を介して端末装置（例えば携帯電話機またはスマートフォン）と通信するサーバ装置により音声合成装置１００を実現することも可能である。例えば、音声合成装置１００は、端末装置から受信した合成情報Ｄを適用した音声合成処理Ｓで音響信号Ｖを生成し、当該音響信号Ｖを要求元の端末装置に送信する。

【0060】

（８）前述の各形態で例示した音声合成装置１００は、前述の通り、制御装置１２とプログラムとの協働で実現され得る。前述の各形態で例示したプログラムは、合成内容を指示する合成情報Ｄに応じた音声素片ＰBを順次に取得する素片取得部２０、合成情報Ｄに応じた統計スペクトル包絡Ｙを統計モデルＭにより生成する包絡生成部３０、および、素片取得部２０が取得した各音声素片ＰBを相互に接続した音声であって、包絡生成部３０が生成した統計スペクトル包絡Ｙに応じて当該各音声素片ＰBが調整された合成音声の音響信号Ｖを生成する音声合成部４０、としてコンピュータ（例えば制御装置１２）を機能させる。

【0061】

以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。

【0062】

（９）本発明の好適な態様は、前述の各形態に係る音声合成装置１００の動作方法（音声合成方法）としても特定され得る。好適な態様に係る音声合成方法は、コンピュータシステム（単体または複数のコンピュータ）が、合成内容を指示する合成情報Ｄに応じた音声素片ＰBを順次に取得し、合成情報Ｄに応じた統計スペクトル包絡Ｙを統計モデルＭにより生成し、取得した各音声素片ＰBを相互に接続した音声であって、統計スペクトル包絡Ｙに応じて当該各音声素片ＰBを調整した合成音声の音響信号Ｖを生成する。

【符号の説明】

【0063】

１００…音声合成装置、１２…制御装置、１４…記憶装置、１６…入力装置、１８…放音装置、２０…素片取得部、２２…素片選択部、２４…素片加工部、３０…包絡生成部、４０…音声合成部、４２，４８，５４…特性調整部、４４，４６…素片接続部、Ｌ…音声素片群、Ｄ…合成情報、Ｍ…統計モデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】