特許 6284298 音声合成装置、音声合成方法および音声合成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6284298

(24)【登録日】2018年2月9日

(45)【発行日】2018年2月28日

(54)【発明の名称】音声合成装置、音声合成方法および音声合成プログラム

(51)【国際特許分類】

   G10L 13/06 20130101AFI20180215BHJP

   G10L 19/02 20130101ALI20180215BHJP

【ＦＩ】

   G10L13/06 120C

   G10L19/02 170Z

【請求項の数】7

【全頁数】21

(21)【出願番号】特願2012-263574(P2012-263574)

(22)【出願日】2012年11月30日

(65)【公開番号】特開2014-109667(P2014-109667A)

(43)【公開日】2014年6月12日

【審査請求日】2015年8月28日

【新規性喪失の例外の表示】特許法第３０条第２項適用 平成２４年９月９日発行、ｉｎ Ｐｒｏｃ．ＩＮＴＥＲＳＰＥＥＣＨ ２０１２，Ｐｏｒｔｌａｎｄ，ＯＲ，Ｕ．Ｓ．Ａ，Ｗｅｄ．０６ｄ．０４（２０１２−０９）、ＵＳＢメモリ配布の為、掲載番号無し， 平成２４年９月１１日発行、日本音響学会２０１２年秋季研究発表会公演論文集、２−２−１１、２９７頁〜２９８頁

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100114258

【弁理士】

【氏名又は名称】福地 武雄

(74)【代理人】

【識別番号】100125391

【弁理士】

【氏名又は名称】白川 洋一

(72)【発明者】

【氏名】西澤 信行

【審査官】 菊池 智紀

(56)【参考文献】

【文献】 特開平０８−０６９２９９（ＪＰ，Ａ）

【文献】 特開２０１２−１４５８９５（ＪＰ，Ａ）

【文献】 特開２００４−０４８１０１（ＪＰ，Ａ）

【文献】 特表２００８−５３０６０７（ＪＰ，Ａ）

【文献】 特開２０００−０１０５６５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ１０Ｌ １３／００−１３／１０，

１９／００−１９／２６

(57)【特許請求の範囲】

【請求項1】

入力された時系列の音源制御情報およびスペクトル特性情報を基に、分割された複数の周波数帯域で音声波形を合成する音声合成装置であって、
１以上のサブバンドにおいて出力目標音声のスペクトル特性を模擬するように、振幅調整された複数の正弦波を足し合わせて合成した正弦波合成成分を出力する正弦波合成部と、
前記１以上のサブバンドにおいて、白色雑音のサブバンド分割音源波形ベクトルおよび前記正弦波合成成分の和として、１つのサブバンド分割波形ベクトルを生成するサブバンド分割波形ベクトル生成部と、
前記１以上のサブバンドにおいて前記生成されたサブバンド分割波形ベクトルを単一の音声波形に合成するサブバンド合成部と、を備えることを特徴とする音声合成装置。

【請求項2】

前記正弦波合成部は、前記出力する正弦波合成成分が前記サブバンド合成部において原波形を完全もしくは近似的に復元できるようにダウンサンプリングされた際のサンプリングレートと等しいサンプリングレートで、前記１以上のサブバンドにおいて予めサブバンド符号化された前記正弦波合成成分を生成することを特徴とする請求項１記載の音声合成装置。

【請求項3】

前記正弦波合成部は、低い側の一部の帯域のサブバンドを前記１以上のサブバンドとして前記正弦波合成成分を生成することを特徴とする請求項１または請求項２記載の音声合成装置。

【請求項4】

前記正弦波合成部は、前記１以上のサブバンドにおいて入力された基本周波数から決定されるインパルスの位置に対応させて前記正弦波合成成分を生成することを特徴とする請求項１から請求項３のいずれかに記載の音声合成装置。

【請求項5】

前記正弦波合成部は、前記１以上のサブバンドにおいて入力された基本周波数から決定されるインパルスの配置される時刻から遅延時間を加えた時刻に位相が０となるように前記正弦波合成成分を生成することを特徴とする請求項４記載の音声合成装置。

【請求項6】

入力された時系列の音源制御情報およびスペクトル特性情報を基に、分割された複数の周波数帯域で音声波形を合成する音声合成方法であって、
１以上のサブバンドにおいて出力目標音声のスペクトル特性を模擬するように、振幅調整された複数の正弦波を足し合わせて合成した正弦波合成成分を出力するステップと、
前記１以上のサブバンドにおいて、白色雑音のサブバンド分割音源波形ベクトルおよび前記正弦波合成成分の和として、１つのサブバンド分割波形ベクトルを生成するステップと、
前記１以上のサブバンドにおいて前記生成されたサブバンド分割波形ベクトルを単一の音声波形に合成するステップと、を含むことを特徴とする音声合成方法。

【請求項7】

入力された時系列の音源制御情報およびスペクトル特性情報を基に、分割された複数の周波数帯域で音声波形を合成する音声合成プログラムであって、
１以上のサブバンドにおいて出力目標音声のスペクトル特性を模擬するように、振幅調整された複数の正弦波を足し合わせて合成した正弦波合成成分を出力する処理と、
前記１以上のサブバンドにおいて、白色雑音のサブバンド分割音源波形ベクトルおよび前記正弦波合成成分の和として、１つのサブバンド分割波形ベクトルを生成する処理と、
前記１以上のサブバンドにおいて前記生成されたサブバンド分割波形ベクトルを単一の音声波形に合成する処理と、をコンピュータに実行させることを特徴とする音声合成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力された時系列の音源制御情報およびスペクトル特性情報を基に、音声波形を合成する音声合成装置に関する。

【背景技術】

【0002】

音声合成技術とは、一般にテキストから音声波形を合成する一連の技術の総称であるが、まず、その一要素である、合成したい音声のスペクトル情報および音源情報から、音声波形を合成する処理を説明する。この処理にあたり、合成したい音声のスペクトル情報や音源情報は、予め対応する自然音声等から求めておく。

【0003】

音声合成波形の合成の方法として代表的なものに、ソース・フィルタモデルに基づく音声合成方法がある。この方式は、まず適当な音源（ソース）波形を生成し、それを適当な特性のフィルタを通過させることで、所望の特徴を有した音声波形を合成する方法である。これは、例えば、音源が声帯振動に伴う声門体積流に、フィルタが声道伝達特性にそれぞれ対応すると考えると、人間の音声生成過程に対応したモデルであるとも言える。

【0004】

ただし、音声の波形から観測できるのは、音声波形のスペクトル特性や周期的な音声波形で観測される基本周波数といった最終的な音声波形に対する物理量であり、音声生成過程に関連した特徴との厳密な対応付けは難しい。そのため、実際には、インパルス列や白色雑音といったスペクトル的に白色な音源波形に対して、フィルタにより合成目標となる音声のスペクトル特性を直接的に与えることで、音声波形を合成することが多い。

【0005】

なお、音声波形が周期性を有する場合、観測されるスペクトル情報には、その周期性に由来した基本周波数成分およびその調波成分が含まれる。そして、通常、この周期性は、インパルス列等により音源側で表現される。

【0006】

以下、スペクトル情報とは、基本周波数およびその調波成分の影響を除いた、平滑化されたスペクトル情報をいう。この平滑化の方法には、周波数軸上で、調波成分のピーク点のみをつなぐ方法等がある。また、音声波形は短時間的にはほぼ定常と見なせるが、長時間的には時変であるので、通常は、ある一定間隔（例えば１ミリ秒から２０ミリ秒程度）毎の特性を考慮し、そのそれぞれの時刻においてはその定常性を仮定する。ここで、各サンプルのスペクトル情報は例えば複数次のメルケプストラム係数や線形予測係数等で表現する。

【0007】

一般に、声帯振動を伴う音声は有声音、伴わない音声は無声音と呼ばれ、有声音では通常、波形の周期性が観測される。ソース・フィルタに基づく音声波形合成では、有声音の音源としてインパルス列のみを、無声音の音源に白色雑音のみを用いる方法がしばしば用いられている。この方法でも合成音声の言語的な了解度の点では問題ないことが多いが、実際の有声音には雑音的成分も含まれており、その自然性が低下するという問題が生じていた。

【0008】

そこで、インパルス列と白色雑音を同時に生成し、それを組み合わせた波形を音源波形とすることで、合成音声の自然性を改善する方法が開発されている。しかし通常、最適なインパルスと雑音のパワー比が各周波数帯域で一定ではなく、それは合成対象の音声の種類ごとに異なる。そこで、フィルタバンク等を用いて、インパルスと白色雑音の振幅特性を周波数帯域（サブバンド）毎に変える必要がある。

【0009】

この際、従来のソース・フィルタモデルとの対応を考え、各音源を足し合わせた結果が白色になるように制御する方法がしばしば用いられる。以下、このような音源をマルチバンド混合励振源と呼ぶ。サブバンド毎の混合比は、時間変化させなくてもある程度の自然性が得られると考えられるが、スペクトル情報同様に時間変化させた方が、より自然性の高い音声を合成することができる。

【0010】

よって、音声合成には、時間軸上である間隔毎の、音声のスペクトル情報、有声・無声情報、有声についての基本周波数の情報、およびマルチバンド混合励振源を用いてかつその特性を動的に変化させる場合における各サブバンドの混合比の情報が必要となる。なお、以下で説明される音声合成の形態では、説明の便宜上、音源のパワーは常に一定とし、合成音声のパワーはスペクトル特性に含めて制御されるものとする。

【先行技術文献】

【非特許文献】

【0011】

【非特許文献1】今井聖、住田一男、古市千枝子、「音声合成のためのメル対数スペクトル近似（ＭＬＳＡ）フィルタ」、電子情報通信学会論文誌(A)、 J66-A、 2、 Feb.1983、 pp.122-129

【発明の概要】

【発明が解決しようとする課題】

【0012】

上記のような従来技術ではソース・フィルタモデルのフィルタに、ＭＬＳＡ（メル対数スペクトル近似）フィルタ等の比較的演算量の大きいフィルタが用いられている（非特許文献１参照）。ＭＬＳＡフィルタは、ｚ変換領域における指数関数を、ｚ変換領域上でパデ近似により直接有理式近似することで、目標特性を近似的に実現する回路を構成する手法が用いられている。そして、メルケプストラム係数をほぼそのままフィルタ係数とできる、といった利点があるが、波形１サンプル当たりの積和演算回数が、およそフィルタの次数とパデ近似の次数の積となり、計算量が比較的大きい。

【0013】

例えば合成音声品質上は、１６ｋＨｚサンプリング時に３０〜４０次のメルケプストラムを用いる必要があるが、その場合、指数関数を必要な精度で近似するためには４次または５次のパデ近似が必要、つまり１サンプル当たり１５０〜２００回程度の積和演算が必要である。

【0014】

さらにマルチバンド混合励振を行なう場合、指定の混合比となるように、インパルス列と白色雑音のそれぞれにフィルタを掛ける必要があるため、それぞれのフィルタ処理の分、さらに計算量が増える。このため、携帯端末等の計算処理性能が限られた環境では、比較的高次のフィルタを用いた音声合成処理や、混合励振を行なうことが難しい。

【0015】

これを解決するため、インパルス列や白色雑音列の音源波形に対して、疑似直交鏡像フィルタバンク等に基づき、サンプルレート削減を包含したサブバンド符号化を行なう方法が考えられる。その方法では、サブバンド符号化領域で各帯域要素の振幅調整を行なってから、復号処理し、音声波形を合成する。

【0016】

上記の方法では、高速コサイン変換等を用いたフィルタバング処理を用いることで、サンプル当たりの処理量をサブバンド数に対して対数オーダとすることができる。従来のフィルタに基づく方法では、サンプル当たりの処理量がフィルタ次数に対して線形オーダとなるため、設定条件によっては、従来手法よりも処理量を減らすことが可能である。

【0017】

さらに、全ての信号処理が線形な処理である場合に、サブバンド符号領域で事前符号化された白色雑音やインパルス列を組み合わせる方法が考えられる。この方法を用いた場合、音声合成時のサブバンド符号化処理が不要になるため、処理量をさらに削減することができる。

【0018】

しかし、この方法では、音声スペクトル特徴の生成において、その周波数軸方向の解像度がサブバンド符号化におけるサブバンド数で決まるため、所望のスペクトル特徴からの誤差を抑えた音声を合成するためには、サブバンド数を大きく設定しなければならない。ところが、サブバンド数を増やすと処理量は増える。この処理量の増加はフレーム周期を長くすることで抑えられるものの、一方でフレーム周期を長くするとスペクトル特徴変化の時間軸方向への解像度が不足し、品質が損なわれることになる。

【0019】

本発明は、このような事情に鑑みてなされたものであり、処理量の増加を抑えつつ、高い解像度を達成できる音声合成装置、音声合成方法および音声合成プログラムを提供することを目的とする。

【課題を解決するための手段】

【0020】

（１）上記の目的を達成するため、本発明の音声合成装置は、入力された時系列の音源制御情報およびスペクトル特性情報を基に、音声波形を合成する音声合成装置であって、音源波形を複数の周波数帯域に分割して蓄積されたサブバンド分割音源波形ベクトルに基づいて、入力された音源制御情報に対応するサブバンド分割音源波形ベクトルを生成するサブバンド分割音源生成部と、前記生成されたサブバンド分割音源波形ベクトルに対して、入力されたスペクトル特性情報に応じた振幅調整を行なうサブバンドパワー調整部と、特定のサブバンドにおいて出力目標音声のスペクトル特性を模擬するように、振幅調整された正弦波を合成する正弦波合成部と、前記特定のサブバンドにおいて前記振幅調整されたサブバンド分割音源波形ベクトルおよび前記正弦波が合成された正弦波合成成分を組み合わせて１つのサブバンド分割波形ベクトルを生成するサブバンド分割波形ベクトル生成部と、前記特定のサブバンドにおいて前記生成されたサブバンド分割波形ベクトルを単一の音声波形に合成し、前記特定のサブバンド以外のサブバンドにおいて前記振幅調整がなされたサブバンド分割音源波形ベクトルを単一の音声波形に合成するサブバンド合成部と、を備えることを特徴としている。

【0021】

このように、本発明の音声合成装置は音声波形の構成要素のうち周期性成分について、その一部のサブバンドにおいて所望のスペクトル特徴となるようにそれぞれ振幅特性を制御した正弦波を組み合わせて周期性波形要素の調波成分を直接的に合成している。これにより、サブバンド符号化におけるサブバンド数が少ない場合であっても、入力されたスペクトル特性情報を周波数軸方向に対してより高精度に反映させた音声を合成することができる。その結果、処理量の増加を抑えつつ、高い解像度で音声を再現できる。

【0022】

（２）また、本発明の音声合成装置は、前記サブバンド分割音源生成部が、前記サブバンド分割音源波形ベクトルとして原波形を完全もしくは近似的に復元できるようにダウンサンプリングし、前記正弦波合成部が、前記ダウンサンプリングでのサンプリングレートと等しいサンプリングレートで、前記特定のサブバンドにおいて前記正弦波合成成分を生成することを特徴としている。

【0023】

このようにして、音声合成時においてサブバンド符号化処理を行なうことなく、予めサブバンド符号化された正弦波合成結果を出力することで、処理量を削減しつつ、入力に対応した合成音声波形を生成できる。

【0024】

（３）また、本発明の音声合成装置は、前記正弦波合成部が、低い側の一部の帯域のサブバンドを前記特定のサブバンドとして前記正弦波合成成分を生成することを特徴としている。これにより、低い側の一部の帯域のサブバンドにおいて、入力されたスペクトル特性情報を周波数軸方向に対して高精度に反映させた音声を合成できる。

【0025】

（４）また、本発明の音声合成装置は、前記正弦波合成部が、前記特定のサブバンドにおいてインパルス音源に対応させて前記正弦波合成成分を生成することを特徴としている。これにより、特定のサブバンドのインパルス音源について、入力されたスペクトル特性情報を周波数軸方向に対して高精度に反映させた音声を合成できる。

【0026】

（５）また、本発明の音声合成方法は、入力された時系列の音源制御情報およびスペクトル特性情報を基に、音声波形を合成する音声合成方法であって、音源波形を複数の周波数帯域に分割して蓄積されたサブバンド分割音源波形ベクトルに基づいて、入力された音源制御情報に対応するサブバンド分割音源波形ベクトルを生成するステップと、前記生成されたサブバンド分割音源波形ベクトルに対して、入力されたスペクトル特性情報に応じたサブバンド毎の振幅調整を行なうステップと、特定のサブバンドにおいて出力目標音声のスペクトル特性を模擬するように、振幅調整された正弦波を合成するステップと、前記特定のサブバンドにおいて前記振幅調整されたサブバンド分割音源波形ベクトルおよび前記正弦波が合成された正弦波合成成分を組み合わせて１つのサブバンド分割波形ベクトルを生成するステップと、前記特定のサブバンドにおいて前記生成されたサブバンド分割波形ベクトルを単一の音声波形に合成し、前記特定のサブバンド以外のサブバンドにおいて前記振幅調整がなされたサブバンド分割音源波形ベクトルを単一の音声波形に合成するステップと、を含むことを特徴としている。これにより、処理量の増加を抑えつつ、高い解像度で音声を再現できる。

【0027】

（６）また、本発明の音声合成プログラムは、入力された時系列の音源制御情報およびスペクトル特性情報を基に、音声波形を合成する音声合成プログラムであって、音源波形を複数の周波数帯域に分割して蓄積されたサブバンド分割音源波形ベクトルに基づいて、入力された音源制御情報に対応するサブバンド分割音源波形ベクトルを生成する処理と、前記生成されたサブバンド分割音源波形ベクトルに対して、入力されたスペクトル特性情報に応じた振幅調整を行なう処理と、特定のサブバンドにおいて出力目標音声のスペクトル特性を模擬するように、振幅調整された正弦波を合成する処理と、前記特定のサブバンドにおいて前記振幅調整されたサブバンド分割音源波形ベクトルおよび前記正弦波が合成された正弦波合成成分を組み合わせて１つのサブバンド分割波形ベクトルを生成する処理と、前記特定のサブバンドにおいて前記生成されたサブバンド分割波形ベクトルを単一の音声波形に合成し、前記特定のサブバンド以外のサブバンドにおいて前記振幅調整がなされたサブバンド分割音源波形ベクトルを単一の音声波形に合成する処理と、をコンピュータに実行させることを特徴としている。これにより、処理量の増加を抑えつつ、高い解像度で音声を再現できる。

【発明の効果】

【0028】

本発明によれば、特定のサブバンドでは音声合成時にサブバンド分割音源生成部における処理が不要となる。そして、聴覚上、誤差の影響が大きい周波数帯域について正弦波合成により各調波成分の振幅特性を直接制御してスペクトル特徴を合成することで、フィルタバンクのバンド数を増やすことなく、周期性波形要素のスペクトル特徴の再現精度を高めることができる。これにより、携帯端末等の計算処理性能が限られた環境でも、高いスペクトル再現精度での音声合成処理が可能となる。

【図面の簡単な説明】

【0029】

【図1】基礎となる実施形態に係る音声合成装置の基本構成を示すブロック図である。

【図2】基礎となる実施形態に係る音声合成装置の具体的構成を示すブロック図である。

【図3A】サブバンド分割部の実際の回路構成を示すブロック図である。

【図3B】サブバンド分割部の理論的な構成を示すブロック図である。

【図4A】サブバンド合成部の実際の回路構成を示すブロック図である。

【図4B】サブバンド合成部の理論的な構成を示すブロック図である。

【図5】帯域分割フィルタバンクについて周波数に対する振幅特性を示すグラフである。

【図6】第１の実施形態に係る音声合成装置の基本構成を示すブロック図である。

【図7】第１の実施形態に係る音声合成装置の具体的構成を示すブロック図である。

【図8】第１の実施形態に係る音声合成装置の動作の一例を示すフローチャートである。

【図9】第１の実施形態に係る音声合成装置の動作の一例を示すフローチャートである。

【図10】第１の実施形態に係る音声合成装置の動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0030】

次に、本発明の実施形態について、図面を参照しながら説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては同一の参照番号を付し、重複する説明は省略する。

【0031】

［基礎となる実施形態］
（音声合成装置の構成）
図１は、音声合成装置１００の基本構成を示すブロック図であり、図２は、音声合成装置１００の具体的構成を示すブロック図である。音声合成装置１００は、音源波形をサブバンド分割部１１０によりサブバンド分割して蓄積し、入力情報に応じてサブバンド毎に振幅を調整する。そして、振幅を調整されたサブバンド分割音源波形ベクトルを用いてサブバンド合成部１４０により合成し、目標となるスペクトル特性を近似的に有する音声波形を合成する。

【0032】

音声合成装置１００は、入力された時系列の音源制御情報およびスペクトル特性情報を基に、音声波形を合成する。本実施形態において、音源制御情報とは合成する音声波形の基本周波数および各サブバンドの有声重み係数である。図１に示すように、音声合成装置１００は、サブバンド分割部１１０、サブバンド分割音源生成部１２０、サブバンドパワー調整部１３０およびサブバンド合成部１４０を備えている。

【0033】

サブバンド分割部１１０は、音源波形を複数の周波数帯域に分割し、音源波形の分割によりベクトル系列を生成する。サブバンド分割部１１０は、等時間間隔内のベクトル系列からベクトルを間引き、蓄積をするためのサブバンド分割音源波形ベクトルを生成することが好ましい。

【0034】

なお、サブバンド分割部１１０は、例えば分析フィルタバンクＥ_０（ｚ）〜Ｅ_Ｍ−１（ｚ）およびダウンサンプラＤ↓により構成される。分析フィルタバンクＥ_０（ｚ）〜Ｅ_Ｍ−１（ｚ）は、Ｍ個の周波数帯域に等分割するフィルタバンクで構成される。ダウンサンプラＤ↓は、サブバンド分割後のＭ次元のベクトル系列に対し、等時間間隔でＤ（ただしＤ≦Ｍとする）サンプルのベクトル系列から（Ｄ−１）のベクトルを間引いて１つのベクトルのみを残す処理を行なう。このような間引き処理により、事前蓄積のサイズと、合成フィルタバンクの処理量をそれぞれ削減できる。

【0035】

サブバンド分割音源生成部１２０は、音源波形を複数の周波数帯域に分割して蓄積されたサブバンド分割音源波形ベクトルに基づいて、入力された音源制御情報に対応するサブバンド分割音源波形ベクトルを生成する。その際には、蓄積されたサブバンド分割音源波形ベクトルのうち複数のサブバンド分割音源波形ベクトルを組み合わせて、入力された音源制御情報に対応するサブバンド分割音源波形ベクトルを生成する。

【0036】

サブバンド分割音源生成部１２０は、さらに蓄積部１２１および選択部１２２を備えている。蓄積部１２１は、事前に生成した、比較的短時間の音源波形（音源波形素片）をサブバンド分割した結果としてのベクトルを格納する。このベクトルは、サブバンド分割数と同じ次元数のベクトルであり、これをサブバンド分割波形ベクトルという。

【0037】

選択部１２２は、入力された基本周波数の情報に基づき、事前蓄積されたサブバンド分割波形ベクトルを選択、加算する。このようにして、サブバンド分割音源生成部１２０は、選択されたサブバンド分割波形ベクトルを用いて、または、複数種類のサブバンド分割波形ベクトルをサブバンド分割波形ベクトルとして構成して、サブバンド分割された音源波形ベクトルを出力する。なお、上記の蓄積までは事前処理として予め行ない、それ以降の処理は入力情報があったときに行なう。

【0038】

サブバンドパワー調整部１３０は、生成されたサブバンド分割音源波形ベクトルに対して、入力されたスペクトル特性情報に応じたサブバンド毎の振幅調整を行なう。サブバンドパワー調整部１３０には、各サブバンドのパワーを制御するための乗算回路を設けている。サブバンドパワー調整部１３０は、入力されるスペクトル特徴情報に基づき、サブバンド毎にこの係数Ａ_０〜Ａ_Ｍ−１を調整する。その結果、目標音声のスペクトル特性を再現する。なお、入力となるスペクトル情報は、直接的に各サブバンドのパワー情報で構成しても良いが、例えばメルケプストラム係数を入力とし、内部的に各サブバンドのパワー情報を計算し、その結果を用いてもよい。

【0039】

サブバンド合成部１４０は、振幅調整がなされたサブバンド分割音源波形ベクトルを単一の音声波形に合成する。すなわち、サブバンド分割波形を合成し、最終的な合成音声波形を生成する。サブバンド合成部１４０は、例えばアップサンプラＤ↑および合成フィルタバンクＲ_０（ｚ）〜Ｒ_Ｍ−１（ｚ）により構成される。アップサンプラＤ↑は、振幅調整がなされたサブバンド分割音源波形ベクトルに対し、帯域分割信号間にゼロ値サンプルを挿入し、Ｄ倍のアップサンプリングを行なう。合成フィルタバンクＲ_０（ｚ）〜Ｒ_Ｍ−１（ｚ）は、Ｍ個の周波数帯域に分割されたサブバンド分割音源波形ベクトルを単一の音声波形に合成する。

【0040】

（フィルタバンクの構成）
フィルタバンクを構成するあるフィルタの係数に離散フーリエ変換（ＤＦＴ）や離散コサイン変換（ＤＣＴ）、あるいはそれらの逆変換の係数系列を掛けると、基となったフィルタの特性を、周波数軸上でシフトした形のフィルタ特性が得られる。そして、このようなフィルタでフィルタバンクを構成することで、フィルタバンクの処理で必要な計算に、ＦＦＴ（高速フーリエ変換）等の高速化手法が利用可能となる。これにより、サブバンド分割・サブバンド合成の処理を高速化することができる。

【0041】

図３Ａおよび図３Ｂは、それぞれサブバンド分割部１１０の実際の回路構成および理論的な構成を示すブロック図である。また、図４Ａおよび図４Ｂは、それぞれサブバンド合成部１４０の実際の回路構成および理論的な構成を示すブロック図である。いずれの例も離散コサイン変換を用いた構成例を示している。

【0042】

サブバンド分割部１１０およびサブバンド合成部１４０のいずれについても、実際の回路構成には、遅延要素ｚ^−１が設けられ、離散コサイン変換要素ＤＣＴまたは逆離散コサイン変換要素ＩＤＣＴが設けられている。これに対し、サブバンド分割部１１０およびサブバンド合成部１４０と理論的に等価な構成では、上記の各要素が含まれない形が等価となっている。サブバンド分割部１１０と理論的に等価な構成では、フィルタ処理を行なってからダウンサンプリングを行なうため、処理のサンプルレートが大きく、処理量も大きくなるが、実際の構成では、先にダウンサンプリングを行なっているため、処理量は少なくなる。これは、サブバンド合成部１４０も同様である。

【0043】

図５は、等帯域分割フィルタバンクについて周波数に対する振幅特性を示すグラフである。ＤＦＴやＤＣＴのみを用いた場合、矩形窓関数をインパルス応答とする帯域通過フィルタを、周波数軸上でシフトした形の帯域通過フィルタで構成されるフィルタバンクと通常見なせる。以下、シフト前の基となるフィルタを基礎フィルタと呼ぶ。なお、基礎フィルタを、一般にはより好ましいと考えられる、遮断域での減衰量がより大きい周波数特性を持つ帯域通過フィルタ（なお周波数０を中心とする場合は、低域通過フィルタとなる）とすることも可能である。ただし、サブバンド分割処理結果をサブバンド合成した場合に原音声波形が復元できるようにフィルタを設計する必要がある。その条件は完全再構成条件と呼ばれる。また、フィルタ構成によっては厳密な復元が不可能な場合があり、その場合は、近似的に復元されるようにフィルタを設計する。また、長さＭのＤＦＴを用いた場合は、基となるフィルタを、正規化角周波数で２πｋ／Ｍ（ｋ≦０＜Ｍ）シフトさせたＭ個のフィルタでフィルタバンクが構成され、ＤＣＴを用いた場合は、その定義にもよるが、以下の例で定義されるＤＣＴ変換の場合、正規化角周波数でπ（ｋ＋１／２）／Ｍシフトさせた特徴と、π（−ｋ＋１／２）／Ｍシフトさせた特徴の和をその周波数特性とする、Ｍ個のフィルタでフィルタバンクが構成される。

【0044】

以下の例では、ＤＣＴ変換および逆ＤＣＴ変換のペアを用いている。ＤＦＴの入出力は複素数で定義されるのに対し、ＤＣＴの入出力は実数であり、処理をより簡単に行なうことができる。例えば、（１）式のＭ次のＤＣＴ係数を係数とするフィルタとして（２）式（０≦ｋ＜Ｍ）を用いても分析フィルタバンクを構成できる。

【数1】

【数2】

【0045】

ＤＣＴ係数の特性上、これはＭ分割の等帯域分割フィルタバンクであり、さらにこのフィルタバンクは、完全再構成条件を満たすように構成できるので、帯域分割波形から入力波形を復元することができる。

【0046】

なお、上記の構成において、サブバンド数はスペクトル特徴情報で記述されるスペクトルを所定の精度で模擬できるだけの数とする。例えば、１サンプルのスペクトル情報がｋ次（０次係数も含めパラメータ数としてはｋ＋１個）のメルケプストラムの場合で、かつここでのｋがスペクトル特徴を表現するのに必要な次元数の場合、そのようなスペクトルを一般的に模擬するために、少なくとも（ｋ＋１）個のサブバンド数が必要となる。

【0047】

また、サブバンドパワー調整部１３０は、白色な音源に対して、各サブバンドのゲインを調整し、入力されたスペクトル特徴情報に対応する音声波形を生成するように動作する。なお、マルチバンド混合励振を行なう場合は、予めインパルス音源と白色雑音源が等パワーとなるように正規化しておき、各サブバンドのパワー重みの和が１となるように制御することで白色な音源を得ることができる。

【0048】

先述のように、スペクトル情報として各サブバンドのパワー値を直接入力とする構成ではなく、メルケプストラム係数等から変換して各サブバンドのパワー係数を求めてもよい。サブバンド中心のスペクトル強度を、サブバンドのパワー値と見なして制御することで、目標のスペクトル特徴を近似的に得ることができる。サブバンドの中心は、ＤＦＴに基づくフィルタバンクを構成する場合、正規化角周波数軸上で、０，２π／Ｍ，４π／Ｍ，…となる。

【0049】

一方、先述のＤＣＴに基づくフィルタバンクを構成する場合は、±π／２Ｍ，±３π／２Ｍ，…となる。ただし、入力が実数系列でかつ、インパルス応答が対称な基礎フィルタを用いる場合は、周波数特性も全て周波数０を中心に対称となるので、例えば正規化角周波数で０からπの範囲のみ考えれば良い。サブバンド毎のスペクトル特性はフィルタバンク係数から求めることができるので、目標のスペクトル特徴との誤差を、周波数軸上で、サブバンド数よりもより細かい間隔で評価してもよい。例えば平均二乗誤差が最少となるようなサブバンドのパワー係数の組を、反復近似推定等により求めることで、より正確な制御を実現できる。なお、上記の例は一例であり、ＤＣＴ変換・逆ＤＣＴ変換のペアを、他の可逆変換のペアに置き換えることもできる。

【0050】

（音源の制御方法）
次に、音源の制御方法について説明する。まず前提として、サブバンド分割・サブバンド合成の前後で処理の線形性が保証されているものとする。先述のＤＦＴやＤＣＴに基づくフィルタバンクは、線形な操作の組み合わせだけでその処理が構成されているので、この条件を満たす。

【0051】

このとき、インパルス列について、例えば、過去の３２サンプルから３２帯域の分割を行ない、かつ各帯域の分析フィルタ・合成フィルタがＦＩＲフィルタで表現可能な場合、サブバンド分割した結果を次のように得ることができる。すなわち、入力フレームの１番目と２０番目のサンプルでインパルスが立っているようなインパルス音源波形を帯域分割した場合には、１番目のサンプルのみでインパルスが立っている音源波形をサブバンド分割した結果と、２０番目のサンプルのみでインパルスが立っている音源波形をサブバンド分割した結果の各要素を足すことにより得ることができる。

【0052】

つまり、Ｍ帯域分割の場合、インパルス音源については、Ｍ種類の音源波形の変化の事前蓄積があれば良い。実際には、音声合成で用いる基本周波数は比較的に低いので、音源波形のＭサンプル内に２つ以上のインパルスが含まれるケースが少ない場合も考えられる。その場合、足し合わせ処理の処理量はほぼ無視することができる。

【0053】

なお、事前作成・蓄積する波形を生成するための処理量は音声合成時の処理ではないためあまり問題とならない。したがって、例えば、１．５番目のサンプルでインパルスが立っているといった、仮想的にサンプリング周期以上の時間精度でインパルスの位置を制御することも容易である。そのような音源波形は、例えば２倍のサンプリング周波数を用いた対応する波形をまず作成し、高域遮断フィルタであるアンチエイリアスフィルタを掛けることで、元のサンプリング周波数におけるナイキスト周波数以上の成分を除去してから、２：１のダウンサンプリングによりサンプルを間引くことで得ることができる。

【0054】

このような手法は、サンプリング周波数が低く、インパルス位置をサンプル点に丸めてしまうと合成される音声の基本周波数の誤差が大きくなるケースで特に有効である。逆にサンプリングレートが高い場合は、インパルスの位置精度を下げ、蓄積するサブバンド分割波形の数を減らすという方法も考えられる。

【0055】

一方、白色雑音源については、インパルスの足し合わせで白色雑音を合成しても良いが、適当な個数、フレーム長の白色雑音列を事前に帯域分割・蓄積しておき、それをフレーム毎にランダムに選択することで、近似的に構成しても良い。この場合、変換波形を蓄積する必要はあるものの、重みづけ和の計算処理が不要となるので、処理量を減らすことができる。なお、比較的少ない数の蓄積のみから白色な雑音を生成するため、蓄積された帯域分割音源波形を複数個足し合わせて、帯域分割音源波形を構成する方法も考えられる。

【0056】

（非最大間引きフィルタバンクを用いた構成）
フィルタバンクにおける間引き率Ｍはその値が１（全く間引かない）からＭまでの場合で、少なくとも再合成前に各サブバンドでパワー調整を行なわない場合、サブバンド合成結果がサブバンド分割前の入力信号と一致するようなフィルタバンクを構成することができることが理論上知られている。例えば、ＤＦＴやＤＣＴのみでフィルタバンクを構成し、間引き率Ｌの間引きを行なう場合、計算誤差を無視すれば、それらの逆変換により入力波形が完全に復元できることは明らかである。

【0057】

しかし、特にＤ＝Ｍ（間引き率が最大であり、最大間引きと呼ばれる）の場合は、ＤＣＴを用いると、正規化角周波数において（ただしここではその対称性から０からπの範囲のみ考えることとする）、０〜π／Ｍ、π／Ｍ〜２π／Ｍ、．．．、（Ｍ−２）π／Ｍ〜（Ｍ−１）π／Ｍの各帯域の成分が、それが通過帯域、遮断帯域であるかに関わらず、それぞれのサブバンドに全て折り返されて格納される。そして、合成時に、各サブバンドの折り返し雑音成分が互いに打ち消しあうことで、入力波形が復元される。

【0058】

各サブバンドのフィルタを帯域通過と見た場合、その通過域の幅もπ／Ｍだが、実際には、通過域で常にゲインが１、遮断域で常に０となるような理想的なフィルタは、有限長のフィルタでは理論上実現できない。実際には、遮断域でもある程度の通過量があり、最大間引きの場合、大きな折り返し雑音が各サブバンドには含まれている。このため、各サブバンドのパワーをサブバンド毎に独立に変更してしまうと、サブバンド間で互いに打ち消しあっている折り返し雑音の構造が崩れてしまい、その折り返し雑音が問題となる。

【0059】

これに対し、ＤにＭより小さい値を設定すると、サンプルの間引きによる折り返しの幅が、フィルタバンクにおける帯域通過フィルタの通過域の幅より広くなるので、各サブバンドの折り返し雑音が減り、サブバンド毎に独立にパワーを調整した場合でも、折り返し雑音の影響を小さくすることができる。このような設定は非最大間引きと呼ばれる。一般に間引き率Ｄを小さくするほど、折り返し雑音の影響は小さくなるが、情報量的には冗長となり、蓄積・処理するデータ量が増える。このため、折り返し雑音の影響を抑えるために必要な範囲で、Ｄはできるだけ大きな値を設定することが好ましい。

【0060】

先述の非最大間引きは、帯域分割前、帯域合成後の波形系列から見ると、フレームシフトＤのオーバラップ分析を行なっていることと等価である。また、時間領域におけるＤサンプルの処理毎に、サブバンド分割領域における1サンプルの処理が行なわれる。ここで、簡単のためにＤがＭの約数であるとする。なお、完全再構成条件を満たすフィルタバンクを用いるものとする。

【0061】

まず、インパルス音源については、非最大間引きであっても、上記で説明している音源の制御方法と同様の方法で制御する。ただし、例えば長さＭのフレームにおいて、先頭からＮサンプル目（ただしＭ＞Ｎ≧Ｄとする）のサンプルが立っている場合、Ｄサンプルのフレームシフトにより、次のフレームでは先頭からＮ−Ｄ番目のサンプルにインパルスが立つ。このとき、インパルス音源はそれぞれのタイミングで、対応する事前蓄積されたサブバンド分割波形ベクトルを出力する。

【0062】

一方、白色雑音については、例えば、最も簡単な方法として、Ｍ×Ｎサンプル周期で同じ波形を繰り返すことで生成する方法が考えられる。その場合は、フレームシフトに対応する、Ｍ×Ｎ×（Ｍ／Ｄ）通りの、長さＭの波形を事前蓄積しておき、フレームシフトに応じて順に出力する方法がまず考えられる。ここでＮは、雑音周期が聴感上問題ない程度となるものであれば良い。例えば雑音の周期Ｍ×Ｎが、可聴周波数の下限（例えば２０Ｈｚ）に対応する周期より長ければよい。

【0063】

あるいは、長さＭの白色雑音波形素片を予め何個か用意しておき、それをランダムに繋ぎ合わせる方法もある。ここで１つの長さＭの白色雑音波形素片について、時間軸上の素片範囲外でサンプル値が全て０として扱う。この白色雑音波形素片単独の時間領域における1フレーム内での出現パターンは、フレーム内における波形の開始点の違いで決まり、開始点には−Ｍ＋Ｄ，−Ｍ＋２Ｄ，…，−Ｄ，０，Ｄ，…，Ｍ−Ｄの計（２（Ｍ／Ｄ）−１）個のパターンがある。

【0064】

１フレーム分の雑音波形は１種類(開始点が０の場合)または２種類の長さＭの雑音波形の組み合わせで表現できる。したがって、事前作成する長さＭのサンプルの白色雑音波形素片がＮ種類のとき、合計Ｎ（２（Ｍ／Ｄ）−１）個の事前蓄積から、１または２個のサブバンド分割波形を取得し、それをサブバンド分割領域で足し合わせる処理により、白色雑音源を実現できる。

【0065】

また、白色雑音波形素片の長さをＭ／２，Ｍ／４，…と短くしていくことで、その場合、１フレーム内での出現パターン数が減り、音源で必要な足し合せ処理が増えていく。逆に白色雑音波形素片の長さを長くすることもできる。その場合は出現パターン数が増えるため、必要な蓄積の数が増えるが、音源で足し合わせの処理が必要となる場合が減ることとなる。

【0066】

［第１の実施形態］
（正弦波合成を用いた装置の構成）
上記の実施形態は、音源ごとに乗算回路を設けてスペクトル包絡特性の再現と音源の混合比調整を同時に行なう構成であるが、例えば混合励振源の各帯域のパワーが等しくなるような条件の下でサブバンド分割された音源波形をまず作成し、それに対してサブバンドごとにパワー制御を行なうこともできる。

【0067】

図６は、混合励振源の一部に正弦波合成成分を用いた音声合成装置２００の基本構成を示すブロック図であり、図７は、音声合成装置２００の具体的構成を示すブロック図である。音声合成装置２００の基本構成は、音声合成装置１００と同様であり、音源波形をサブバンド分割部２１０によりサブバンド分割して蓄積し、入力情報に応じてサブバンド毎に振幅を調整する。そして、振幅を調整されたサブバンド分割音源波形ベクトルを用いてサブバンド合成部１４０により合成し、目標となるスペクトル特性を近似的に有する音声波形を合成する。

【0068】

音声合成装置２００は、入力された時系列の音源制御情報およびスペクトル特性情報を基に、音声波形を合成する。音源制御情報とは基本周波数および混合重みの情報である。音声合成装置２００では、インパルス列と正弦波合成とをサブバンド単位で切り替えて有声音の構成要素である周期性波形を合成する。インパルス列から合成するサブバンドについては、サブバンド符号化されたベクトル系列の各要素に、目標のスペクトル特性となるように適当な振幅乗数を掛ける。

【0069】

一方、正弦波合成により合成するサブバンド成分については、合成対象となるサブバンドに含まれる各調波成分（駆動音源の基本周波数の整数倍の成分）が目標のスペクトル特性を構成するように、各調波成分にそれぞれ適当な振幅乗数を乗ずる。この際、正弦波の位相は、例えば、先述のインパルス列から合成した場合と等遅延となるように制御する。例えば、インパルス列におけるインパルスが配置される時刻からさらに帯域分割フィルタの遅延時間を加えた時刻に位相が０となるような、その周波数が基本周波数の整数倍となる余弦関数の足し合わせが挙げられる。このような余弦関数の足し合わせは、従来のインパルス列から合成する場合を模擬でき、上記の条件を満たす。あるいは、もっと自然音声の特徴に近づけるように、異なる位相制御方法を用いてもよい。なお、帯域分割フィルタのオーバラップ特性により、通常、１つの調波成分は複数のサブバンドの成分として分割される。このため、サブバンド合成部の合成結果が目標のスペクトル特性となるように、各調波成分に対して、複数のサブバンドで正弦波の振幅、位相をそれぞれ制御する必要がある。

【0070】

そして、これら２種類の音声合成方法をサブバンド符号化におけるベクトル要素単位で組み合わせて、サブバンド符号化された合成音声系列を生成し、復号することで最終的な音声波形を生成する。

【0071】

図６に示すように、音声合成装置２００は、サブバンド分割部２１０、サブバンド分割音源生成部２２０、サブバンドパワー調整部１３０、正弦波合成部２３２、サブバンド分割波形ベクトル生成部２３６およびサブバンド合成部１４０を備えている。

【0072】

サブバンド分割音源生成部２２０は、正弦波合成により周期性成分を合成するサブバンドリスト以外のサブバンドインパルス音源に対応するサブバンド分割音源波形ベクトルと、白色雑音音源に対応するサブバンド分割音源波形ベクトルとの重み付け和により生成されたサブバンド分割音源波形ベクトルを生成する。サブバンド分割部２１０は、インパルス側分割部２１１ａおよび白色雑音側分割部２１１ｂを備えている。インパルス側分割部２１１ａはインパルス音源をサブバンド分割し、白色雑音側分割部２１１ｂは、白色雑音源をサブバンド分割する。

【0073】

サブバンド分割音源生成部２２０は、インパルス側蓄積部２２１ａ、インパルス側選択部２２２ａ、インパルス側重み付け乗算部２２３ａ、白色雑音側蓄積部２２１ｂ、白色雑音側選択部２２２ｂ、白色雑音側重み付け乗算部２２３ｂおよび加算部２２４を備えている。

【0074】

インパルス側蓄積部２２１ａは、インパルス音源に基づくサブバンド分割音源波形ベクトルを蓄積する。インパルス側選択部２２２ａは、入力された基本周波数の情報に基づき、事前蓄積されたインパルス音源に基づくサブバンド分割波形ベクトルを選択する。インパルス側重み付け乗算部２２３ａは、選択されたサブバンド分割波形ベクトルの各要素に重み付け係数Ａ_ｐ０〜Ａ_{ｐ（Ｍ−１）}のうちＡ_ｐｍ〜Ａ_{ｐ（Ｍ−１）}をそれぞれ乗算する。

【0075】

一方、白色雑音側蓄積部２２１ｂは、白色雑音源に基づくサブバンド分割音源波形ベクトルを蓄積する。白色雑音側選択部２２２ｂは、例えば上記の「音源の制御方法」に記載された方法に基づき、事前蓄積された白色雑音源に基づくサブバンド分割波形ベクトルを選択する。白色雑音側重み付け乗算部２２３ｂは、選択されたサブバンド分割波形ベクトルの各要素に重み付け係数Ａ_ａ０〜Ａ_{ａ（Ｍ−１）}をそれぞれ乗算する。なお、各係数は、Ａ_ｐｘ＋Ａ_ａｘ＝１となるように決められる。

【0076】

加算部２２４は、正弦波合成により周期性成分を合成するサブバンドリスト以外のサブバンドについてそれぞれインパルス側および白色雑音側で重み付け乗算されたサブバンド分割波形ベクトルを加算する。このように、複数種類のサブバンド分割波形ベクトルを、音源情報に基づき１つのサブバンド分割波形ベクトルとして生成する。混合励振源を音源に用いる場合、音源情報に基づき、インパルス列と雑音源の混合比調整も同時に行なう。

【0077】

なお、インパルス側蓄積部２２１ａ、インパルス側選択部２２２ａおよびインパルス側重み付け乗算部２２３ａは、インパルス側サブバンド分割音源生成部２２０ａを構成する。白色雑音側蓄積部２２１ｂ、白色雑音側選択部２２２ｂおよび白色雑音側重み付け乗算部２２３ｂは、白色雑音側サブバンド分割音源生成部２２０ｂを構成する。

【0078】

サブバンドパワー調整部１３０は、生成されたサブバンド分割音源波形ベクトルに対して、入力されたスペクトル特性情報に応じたサブバンド毎の振幅調整を行なう。サブバンドパワー調整部１３０は、各サブバンドのパワーを制御するための乗算回路を有し、入力されるスペクトル特徴情報に基づき、サブバンド毎にこの係数Ａ_０〜Ａ_Ｍ−１を調整する。

【0079】

正弦波合成部２３２は、正弦波合成により周期性成分を合成するサブバンドリスト（特定のサブバンド）について、サブバンド毎に出力目標音声のスペクトル特性を模擬するように、振幅調整された正弦波を合成する。これにより、サブバンド符号化におけるサブバンド数が少ない場合であっても、入力されたスペクトル特性情報を周波数軸方向に対してより高精度に反映させた音声を合成することができる。その結果、処理量の増加を抑えつつ、高い解像度で音声を再現できる。なお、サブバンド毎の振幅調整がなされた正弦波合成成分に対しては、インパルス成分の混合重み係数Ａ_ｐ０〜Ａ_{ｐ（ｍ−１）}を乗じ、それをサブバンドの正弦波合成による成分として保存する。

【0080】

正弦波合成部２３２は、特定のサブバンドにおいてインパルス音源に対応させて正弦波合成成分を生成することが好ましい。また、正弦波合成部２３２は、低い側の一部の帯域のサブバンドを特定のサブバンドとして正弦波合成成分を生成することが好ましい。これにより、低い側の一部の帯域のサブバンドにおいて、入力されたスペクトル特性情報を周波数軸方向に対して高精度に反映させた音声を合成できる。低い周波数の方を細かく扱うことで特に聴覚特性を向上できる。正弦波合成部２３２の動作の詳細は、後述する。

【0081】

サブバンド分割波形ベクトル生成部２３６は、特定のサブバンドにおいて振幅調整されたサブバンド分割音源波形ベクトルおよび正弦波が合成された正弦波合成成分を組み合わせて１つのサブバンド分割波形ベクトルを生成する。なお、サブバンドパワー調整部１３０およびサブバンド合成部１４０の機能は、音声合成装置１００のものと同様である。

【0082】

サブバンド合成部１４０は、振幅調整がなされたサブバンド分割音源波形ベクトルを単一の音声波形に合成する。サブバンド合成部１４０は、例えばアップサンプラＤ↑および合成フィルタバンクＲ_０（ｚ）〜Ｒ_Ｍ−１（ｚ）により構成される。

【0083】

このように、音声合成装置２００は、音源波形の種類に応じて、それぞれサブバンド分割し、音声合成時に事前蓄積した帯域サブバンド分割波形ベクトルを用いて音源となるサブバンド分割波形ベクトルを生成する。

【0084】

（正弦波合成部による処理）
以下に、正弦波合成部２３２の動作の詳細を説明する。正弦波合成部２３２における処理は、例えば正弦波合成部２３２による最終出力波形と同じサンプリングレートで特定の周波数の正弦波を生成し、それらを組み合わせて周期性波形を構築して、サブバンド符号化を行うことで実現できる。

【0085】

サブバンド符号化の処理が線形な処理のみで構成される場合、より効率的な処理のために、正弦波合成部２３２における処理は、ダウンサンプリングされたサンプリングレートと同じサンプリングレートで正弦波系列を生成して先にサブバンド符号化し、サブバンド符号のベクトルを定数倍することで正弦波の振幅調整を行なってから、そのベクトルを足し合わせることで、出力となる正弦波合成成分を生成してもよい。

【0086】

このように正弦波合成部２３２は、サブバンド分割音源波形ベクトルとして原波形を完全もしくは近似的に復元できるようにダウンサンプリングし、ダウンサンプリングでのサンプリングレートと等しいサンプリングレートで、特定のサブバンドにおいて正弦波合成成分を生成することが好ましい。このようにして、音声合成時においてサブバンド符号化処理を行なうことなく、予めサブバンド符号化された正弦波合成結果を出力することで、処理量を削減しつつ、入力に対応した合成音声波形を生成できる。

【0087】

さらに、サブバンド符号化された正弦波の生成処理においては、通常のサブバンド符号化処理を行なわずに、その振幅および位相特性からサブバンド符号化されたベクトル系列を直接求めることが可能である。これは、合成対象の周期性波形の周波数は音源情報として与えられ、サブバンド符号化に用いられる各フィルタの周波数−振幅特性および周波数−位相特性から、その振幅および位相特性が求まるため、可能になる。

【0088】

各サブバンドの各サンプルの値は、スペクトル特徴情報から決まる振幅特性を用いて得られた当該位相における正弦波の振幅と、帯域遮断フィルタの振幅特性の積で決まる。なお、位相は、帯域遮断フィルタの位相特性を反映させたものとする。三角関数については、例えば事前に数百の位相に対する値のテーブルを準備しておき、テーブルで定義された値の間を一次補間で求める方法等により、効率的に求めることができる。帯域遮断フィルタの振幅特性と位相特性についても同様にテーブルと一次補間を組み合わせる方法で効率的に求めることができる。

【0089】

上記の計算では、サブバンド符号化におけるフィルタの遮断域において、その振幅特性は一部の点を除き完全に０ではない。したがって、厳密な処理を行なうとすると、ある１つの正弦波系列に対するサブバンド符号化結果は、全てのサブバンド成分、すなわちサブバンド分割波形ベクトルの全ての次元要素に対して、それぞれ計算して求めなければならなくなる。正弦波合成部２３２は、合成する全てのサブバンドの成分に対してそれぞれ計算して求める必要があることになる。

【0090】

ただし、フィルタ遮断域の遮断量が充分に大きいと考えられるときは、遮断域に対応する次元の要素の値を０と見なすことで、正弦波の振幅制御に必要な乗算処理を削減できる。例えば、３２帯域分割が行われるＭＰＥＧオーディオでは、符号化で用いられる疑似直交鏡像フィルタバンクで、隣接サブバンドの中心周波数まで帯域制限フィルタのエッジ周波数をオーバラップさせ、基本的にはある周波数において常に２つのサブバンドが重なる構造となっており、また、帯域制限フィルタの遮断域は実用上充分なものと見なせる。

【0091】

例えば、３２ｋＨｚサンプリング時には、サブバンド符号化部の帯域制限フィルタの通過域は、０Ｈｚから０．７５ｋＨｚ，０．２５ｋＨｚから１．２５ｋＨｚ，０．７５ｋＨｚから１．７５ｋＨｚ，１．２５ｋＨｚから２．２５ｋＨｚ，…となる。この場合に、１ｋＨｚの正弦波は、主に２番目と３番目のサブバンドの成分として符号化される。そこで、上記の近似により、残りの３０サブバンドの値は０に固定し、正弦波合成部２３２においてサブバンド分割波形ベクトルを生成する際に必要な加算および乗算処理を省くことができる。

【0092】

（音声合成装置の動作例）
次に、音声合成装置２００の動作例を説明する。図８および図９は、音声合成装置２００の動作の一例を示すフローチャートである。なお、図中のＡ、Ｂ、Ｃは、図８と図９との流れを結ぶ点を示している。本動作例では、フレームシフトがＤサンプル、音源波形の１素片の長さがＭサンプル、分割帯域数がＭであることを前提条件としている。

【0093】

まず、ランダムに選択した雑音素片ｎ１のフレーム内開始点ｓ１を０に設定し、ランダムに選択した雑音素片ｎ２のフレーム内開始点ｓ２をＭに設定する（ステップＴ１）。次に、入力データの有無を判定する（ステップＴ２）。入力データが無い場合には、処理を終了する。入力データがある場合には、入力データとして、基本周波数、混合重み、スペクトル特徴情報を取得する（ステップＴ３）。

【0094】

入力された基本周波数からインパルスの位置を決定する（ステップＴ４）。各インパルスに対応するサブバンド分割音源波形ベクトルを蓄積されたサブバンド分割音源波形ベクトルから取得する（ステップＴ５）。なお、取得数はインパルスの数と同じ個数である。そして、インパルス側で取得したサブバンド分割音源波形ベクトルの和を計算する（ステップＴ６）。また、正弦波合成により周期性成分を合成するサブバンドリスト以外のサブバンドについて、インパルス側でサブバンド分割音源波形ベクトルの要素をそれぞれ混合重み係数倍する（ステップＴ７）。

【0095】

ｓを正弦波合成により周期性成分を合成するサブバンドリストの最初の要素とする（ステップＴ８）。ｆ_ｋを基本周波数のある整数倍の値のうち、サブバンドsの分析フィルタ（Ｅｓ（ｚ））の通過域に含まれる最小の値とし、ｘ＝０とする（ステップＴ９）。

【0096】

周波数がｆ_ｋでインパルスの位置を中心とする余弦関数を、スペクトル特徴から定まる周波数−振幅特性関数Ｐ（ｗ）によりＰ（ｗ）(ただしｗ＝２πｆ_ｋ／ｆ_ｓ、ｆ_ｓはサンプリング周波数)倍する。そして、その関数にフィルタＥ_ｓ（ｚ）を適用した場合について、対象時刻ｔにおけるその結果の値を計算し、ｘに加算する（ステップＴ１０）。すなわちｘをｘ＋｜Ｅ_ｓ（ｗ）｜Ｐ（ｗ）ｃｏｓ（２πｆ_ｋ（ｔ−ｔ_０）＋ａｒｇＥ_ｓ（ｗ））で更新する。なお、Ｅ_ｓ（ｗ）はＥ_ｓ（ｚ）のzをｅｘｐ（ｊｗ）に置き換えた関数(ｊは虚数単位)、ｔが対象時刻、ｔ_０がインパルス位置の時刻である。

【0097】

ｆ_ｋを基本周波数分だけ増加させ、合成対象を１つ上の調波に更新する（ステップＴ１１）。ｆ_ｋがＥ_ｓ（ｚ）の通過域に含まれるか否かを判定する（ステップＴ１２）。含まれる場合はステップＴ１０に戻る。そうでなければステップＴ１３へ進む。ｘにそのサブバンドsのインパルス成分の混合重み係数を乗じ、それをサブバンドsの正弦波合成による成分として保存する（ステップＴ１３）。

【0098】

サブバンドsが正弦波合成により周期性成分を合成するサブバンドのリストの最後の要素か否かを判定する（ステップＴ１４）。最後の要素でない場合にはsを正弦波合成により周期性成分を合成するサブバンドのリストのsの次の要素に更新し（ステップＴ１５）、ステップＴ９へ戻る。最後の要素である場合には、２個の白色雑音のサブバンド分割音源波形ベクトルである（ｎ１,ｓ１）、（ｎ２,ｓ２）の情報に基づき蓄積されたサブバンド分割音源波形ベクトルから取得する（ステップＴ１６）。

【0099】

そして、取得したサブバンド分割音源波形ベクトルの和を計算する（ステップＴ１７）。白色雑音源波形のサブバンド分割音源波形ベクトルの要素は、それぞれ（１−混合重み係数）倍する（ステップＴ１８）。

【0100】

次に、雑音素片ｎ１のフレーム内開始点ｓ１をｓ１−Ｄに設定し、雑音素片ｎ２のフレーム内開始点ｓ２をｓ２−Ｄに設定する（ステップＴ１９）。フレーム内開始点ｓ１が−Ｍより大きいか否かを判定し（ステップＴ２０）、大きい場合には、ステップＴ２２に進む。

【0101】

フレーム内開始点ｓ１が−Ｍ以下である場合には、雑音素片ｎ１を雑音素片ｎ２と同じに設定し、フレーム内開始点ｓ１を０に設定する。また、雑音素片ｎ２を新たにランダムに選択し、雑音素片ｎ２のフレーム内開始点ｓ２をＭに設定する（ステップＴ２１）。

【0102】

次に、正弦波合成により周期性成分を合成するサブバンドリスト以外のサブバンドについて、混合励振源のサブバンド分割音源波形ベクトルとして、インパルス側と白色雑側の重み付きサブバンド分割音源波形ベクトルの和を計算する（ステップＴ２２）。そして、音源波形のサブバンド分割音源波形ベクトルの各要素に対し、スペクトル特徴に基づく値を乗じる（ステップＴ２３）。

【0103】

サブバンドリストに含まれるサブバンドについて正弦波合成側と白色雑音側の重み付きサブバンド分割音源波形ベクトルの和を計算する（ステップＴ２４）。サブバンド合成処理を行ない（ステップＴ２５）、Ｄサンプルを出力して（ステップＴ２６）、ステップＴ２に戻る。このような処理により、処理量を削減し、十分な音声合成処理や混合励振が可能になる。なお、上記のような動作は、装置内のコンピュータによりプログラムが実行されることで行なわれる。

【0104】

なお、上記の実施形態では、入力情報に応じてサブバンド毎に振幅を調整しているが、音源波形を複数の周波数帯域の成分に分解し、分解された成分をそれぞれサブバンド符号化し、サブバンド符号化された分解成分について振幅を調整してもよい。

【符号の説明】

【0105】

１００ 音声合成装置
１１０ サブバンド分割部
１２０ サブバンド分割音源生成部
１２１ 蓄積部
１２２ 選択部
１３０ サブバンドパワー調整部
１４０ サブバンド合成部
２００ 音声合成装置
２１０ サブバンド分割部
２１１ａ インパルス側分割部
２１１ｂ 白色雑音側分割部
２２０ サブバンド分割音源生成部
２２０ａ インパルス側サブバンド分割音源生成部
２２０ｂ 白色雑音側サブバンド分割音源生成部
２２１ａ インパルス側蓄積部
２２１ｂ 白色雑音側蓄積部
２２２ａ インパルス側選択部
２２２ｂ 白色雑音側選択部
２２３ａ インパルス側乗算部
２２３ｂ 白色雑音側乗算部
２２４ 加算部
２３２ 正弦波合成部
２３６ サブバンド分割波形ベクトル生成部

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】