特開 2023-5191 音声処理学習プログラム、音声処理学習装置、音声処理学習方法、音声処理プログラム、音声処理装置及び音声処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023005191

(43)【公開日】2023-01-18

(54)【発明の名称】音声処理学習プログラム、音声処理学習装置、音声処理学習方法、音声処理プログラム、音声処理装置及び音声処理方法

(51)【国際特許分類】

   G10L 21/007 20130101AFI20230111BHJP

【ＦＩ】

G10L21/007

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021106955

(22)【出願日】2021-06-28

(71)【出願人】

【識別番号】599115217

【氏名又は名称】株式会社 ディー・エヌ・エー

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】阿久澤 圭

(72)【発明者】

【氏名】大西 弘太郎

(72)【発明者】

【氏名】滝口 啓介

(72)【発明者】

【氏名】豆谷 浩輝

(72)【発明者】

【氏名】森 紘一郎

(57)【要約】

【課題】任意の話者が発した音声を目標とする話者が発した音声の音質に適切に変換する。
【解決手段】音声を入力音響特徴量に変換する音響特徴量抽出器である音声分析部２０と、音声の話者ラベルを話者特徴量に変換する話者エンコーダ２２と、音響特徴量と話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダ２４と、潜在表現と話者特徴量を少なくとも用いて音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダ２６と、を備え、音声エンコーダ２４、音声デコーダ２６及び話者エンコーダ２２は、音声エンコーダ２４に入力される音響特徴量と音声デコーダ２６において生成される音響特徴量との距離を小さくするように学習させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータを、
音声を入力音響特徴量に変換する音響特徴量抽出器と、
音声の話者ラベルを話者特徴量に変換する話者エンコーダと、
入力音響特徴量と話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、
潜在表現と話者特徴量を少なくとも用いて音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、
を備えた音声処理学習装置として機能させ、
前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される入力音響特徴量と前記音声デコーダにおいて生成される出力音響特徴量との距離を小さくするように学習させることを特徴とする音声処理学習プログラム。

【請求項2】

請求項１に記載の音声処理学習プログラムであって、
前記音声デコーダは、前記２以上のサンプリング階層において話者特徴量を入力する階層が限定されていることを特徴とする音声処理学習プログラム。

【請求項3】

請求項２に記載の音声処理学習プログラムであって、
前記音声デコーダは、前記２以上のサンプリング階層において所定の階層より前段の階層には話者特徴量を入力せず、前記所定の階層より後段の階層には話者特徴量を入力することを特徴とする音声処理学習プログラム。

【請求項4】

請求項３に記載の音声処理学習プログラムであって、
前記音声デコーダは、前記２以上のサンプリング階層において前記所定の階層より前段の階層では事後分布からサンプリングを行い、前記所定の階層より後段の階層では事前分布からサンプリングを行うことを特徴とする音声処理学習プログラム。

【請求項5】

請求項１～４のいずれか１項に記載の音声処理学習プログラムであって、
前記音声デコーダは、話者特徴量を条件付きインスタンス正規化層に入力することを特徴とする音声処理学習プログラム。

【請求項6】

コンピュータを、
音声を音響特徴量に変換する音響特徴量抽出器と、
音声の話者ラベルを話者特徴量に変換する話者エンコーダと、
前記音響特徴量抽出器においてソース話者の音声を変換して得られたソース音響特徴量と、前記話者エンコーダにおいて前記ソース話者の話者ラベルを変換して得られたソース話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、
潜在表現と、前記話者エンコーダにおいてターゲット話者の話者ラベルを変換して得られたターゲット話者特徴量を少なくとも用いてターゲット音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、
前記音声デコーダで生成された前記ターゲット音響特徴量を音声に変換するボコーダと、
を備える音声処理装置として機能させることを特徴とする音声処理プログラム。

【請求項7】

請求項６に記載の音声処理プログラムであって、
前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される音響特徴量と前記音声デコーダにおいて生成される音響特徴量との距離を小さくするように学習させたものであることを特徴とする音声処理プログラム。

【請求項8】

請求項６又は７に記載の音声処理プログラムであって、
前記音声デコーダは、前記２以上のサンプリング階層において前記ターゲット話者特徴量を入力する階層が限定されていることを特徴とする音声処理学習プログラム。

【請求項9】

請求項８に記載の音声処理プログラムであって、
前記音声デコーダは、前記２以上のサンプリング階層において所定の階層より前段の階層には前記ターゲット話者特徴量を入力せず、前記所定の階層より後段の階層には前記ターゲット話者特徴量を入力することを特徴とする音声処理プログラム。

【請求項10】

請求項９に記載の音声処理プログラムであって、
前記音声デコーダは、前記２以上のサンプリング階層において前記所定の階層より前段の階層では事後分布からサンプリングを行い、前記所定の階層より後段の階層では事前分布からサンプリングを行うことを特徴とする音声処理プログラム。

【請求項11】

請求項６～１０のいずれか１項に記載の音声処理プログラムであって、
前記音声デコーダは、前記ターゲット話者特徴量を条件付きインスタンス正規化層に入力することを特徴とする音声処理プログラム。

【請求項12】

音声を入力音響特徴量に変換する音響特徴量抽出器と、
音声の話者ラベルを話者特徴量に変換する話者エンコーダと、
音響特徴量と話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、
潜在表現と話者特徴量を少なくとも用いて音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、
を備え、
前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される入力音響特徴量と前記音声デコーダにおいて生成される出力音響特徴量との距離を小さくするように学習させることを特徴とする音声処理学習装置。

【請求項13】

音声を音響特徴量に変換する音響特徴量抽出器と、
音声の話者ラベルを話者特徴量に変換する話者エンコーダと、
前記音響特徴量抽出器においてソース話者の音声を変換して得られたソース音響特徴量と、前記話者エンコーダにおいて前記ソース話者の話者ラベルを変換して得られたソース話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、
潜在表現と、前記話者エンコーダにおいてターゲット話者の話者ラベルを変換して得られたターゲット話者特徴量を少なくとも用いてターゲット音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、
前記音声デコーダで生成された前記ターゲット音響特徴量を音声に変換するボコーダと、
を備えることを特徴とする音声処理装置。

【請求項14】

音声を入力音響特徴量に変換する音響特徴量抽出器と、
音声の話者ラベルを話者特徴量に変換する話者エンコーダと、
音響特徴量と話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、
潜在表現と話者特徴量を少なくとも用いて音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、
を備える音声処理学習装置において、
前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される入力音響特徴量と前記音声デコーダにおいて生成される出力音響特徴量との距離を小さくするように学習させることを特徴とする音声処理学習方法。

【請求項15】

音声を音響特徴量に変換する音響特徴量抽出器と、
音声の話者ラベルを話者特徴量に変換する話者エンコーダと、
前記音響特徴量抽出器においてソース話者の音声を変換して得られたソース音響特徴量と、前記話者エンコーダにおいて前記ソース話者の話者ラベルを変換して得られたソース話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、
潜在表現と、前記話者エンコーダにおいてターゲット話者の話者ラベルを変換して得られたターゲット話者特徴量を少なくとも用いてターゲット音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、
前記音声デコーダで生成された前記ターゲット音響特徴量を音声に変換するボコーダと、
を備える音声処理装置を用いて、
前記ソース話者の音声を前記ターゲット話者の音声に変換することを特徴とする音声処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音声処理学習プログラム、音声処理学習装置、音声処理学習方法、音声処理プログラム、音声処理装置及び音声処理方法に関する。

【背景技術】

【0002】

任意の話者が発声した音声を別の話者の声質を有する音声に変換する音声処理装置が開発されている。例えば、画像変換の技術であるＣｙｃｌｅＧＡＮを音声変換に応用した技術が開示されている（非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Takuhiro Kaneko and Hirokazu Kameoka, Parallel-Data-Free Voice Conversion Using Cycle-Consistent Adversarial Networks arXiv:1711.11293,Nov. 2017 (EUSIPCO 2018) http://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/cyclegan-vc/

【発明の概要】

【発明が解決しようとする課題】

【0004】

元の話者から別の話者の音声を合成して出力する音声処理装置では、合成された音声の声質や言い回しをできるだけ自然なものにすることが要求されている。しかしながら、従来の音声処理装置の学習方法では、合成された音声を十分に自然なものとすることができない場合があった。

【課題を解決するための手段】

【0005】

本発明の１つの態様は、コンピュータを、音声を入力音響特徴量に変換する音響特徴量抽出器と、音声の話者ラベルを話者特徴量に変換する話者エンコーダと、入力音響特徴量と話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、潜在表現と話者特徴量を少なくとも用いて音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、を備えた音声処理学習装置として機能させ、前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される入力音響特徴量と前記音声デコーダにおいて生成される出力音響特徴量との距離を小さくするように学習させることを特徴とする音声処理学習プログラムである。

【0006】

ここで、前記音声デコーダは、前記２以上のサンプリング階層において話者特徴量を入力する階層が限定されていることが好適である。

【0007】

また、前記音声デコーダは、前記２以上のサンプリング階層において所定の階層より前段の階層には話者特徴量を入力せず、前記所定の階層より後段の階層には話者特徴量を入力することが好適である。

【0008】

また、前記音声デコーダは、前記２以上のサンプリング階層において前記所定の階層より前段の階層では事後分布からサンプリングを行い、前記所定の階層より後段の階層では事前分布からサンプリングを行うことが好適である。

【0009】

また、前記音声デコーダは、話者特徴量を条件付きインスタンス正規化層に入力することが好適である。

【0010】

本発明の別の態様は、コンピュータを、音声を音響特徴量に変換する音響特徴量抽出器と、音声の話者ラベルを話者特徴量に変換する話者エンコーダと、前記音響特徴量抽出器においてソース話者の音声を変換して得られたソース音響特徴量と、前記話者エンコーダにおいて前記ソース話者の話者ラベルを変換して得られたソース話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、潜在表現と、前記話者エンコーダにおいてターゲット話者の話者ラベルを変換して得られたターゲット話者特徴量を少なくとも用いてターゲット音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、前記音声デコーダで生成された前記ターゲット音響特徴量を音声に変換するボコーダと、を備える音声処理装置として機能させることを特徴とする音声処理プログラムである。

【0011】

ここで、前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される音響特徴量と前記音声デコーダにおいて生成される音響特徴量との距離を小さくするように学習させたものであることを特徴とする音声処理プログラム。

【0012】

また、前記音声デコーダは、前記２以上のサンプリング階層において前記ターゲット話者特徴量を入力する階層が限定されていることが好適である。

【0013】

また、前記音声デコーダは、前記２以上のサンプリング階層において所定の階層より前段の階層には前記ターゲット話者特徴量を入力せず、前記所定の階層より後段の階層には前記ターゲット話者特徴量を入力することが好適である。

【0014】

また、前記音声デコーダは、前記２以上のサンプリング階層において前記所定の階層より前段の階層では事後分布からサンプリングを行い、前記所定の階層より後段の階層では事前分布からサンプリングを行うことが好適である。

【0015】

また、前記音声デコーダは、前記ターゲット話者特徴量を条件付きインスタンス正規化層に入力することが好適である。

【0016】

本発明の別の態様は、音声を入力音響特徴量に変換する音響特徴量抽出器と、音声の話者ラベルを話者特徴量に変換する話者エンコーダと、音響特徴量と話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、潜在表現と話者特徴量を少なくとも用いて音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、を備え、前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される入力音響特徴量と前記音声デコーダにおいて生成される出力音響特徴量との距離を小さくするように学習させることを特徴とする音声処理学習装置である。

【0017】

本発明の別の態様は、音声を音響特徴量に変換する音響特徴量抽出器と、音声の話者ラベルを話者特徴量に変換する話者エンコーダと、前記音響特徴量抽出器においてソース話者の音声を変換して得られたソース音響特徴量と、前記話者エンコーダにおいて前記ソース話者の話者ラベルを変換して得られたソース話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、潜在表現と、前記話者エンコーダにおいてターゲット話者の話者ラベルを変換して得られたターゲット話者特徴量を少なくとも用いてターゲット音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、前記音声デコーダで生成された前記ターゲット音響特徴量を音声に変換するボコーダと、を備えることを特徴とする音声処理装置である。

【0018】

本発明の別の態様は、音声を入力音響特徴量に変換する音響特徴量抽出器と、音声の話者ラベルを話者特徴量に変換する話者エンコーダと、音響特徴量と話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、潜在表現と話者特徴量を少なくとも用いて音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、を備える音声処理学習装置において、前記音声エンコーダ、前記音声デコーダ及び前記話者エンコーダは、前記音声エンコーダに入力される入力音響特徴量と前記音声デコーダにおいて生成される出力音響特徴量との距離を小さくするように学習させることを特徴とする音声処理学習方法である。

【0019】

本発明の別の態様は、音声を音響特徴量に変換する音響特徴量抽出器と、音声の話者ラベルを話者特徴量に変換する話者エンコーダと、前記音響特徴量抽出器においてソース話者の音声を変換して得られたソース音響特徴量と、前記話者エンコーダにおいて前記ソース話者の話者ラベルを変換して得られたソース話者特徴量とを潜在表現に変換する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声エンコーダと、潜在表現と、前記話者エンコーダにおいてターゲット話者の話者ラベルを変換して得られたターゲット話者特徴量を少なくとも用いてターゲット音響特徴量を生成する２以上のサンプリング階層を有する変分自己符号化器を含んで構成される音声デコーダと、前記音声デコーダで生成された前記ターゲット音響特徴量を音声に変換するボコーダと、を備える音声処理装置を用いて、前記ソース話者の音声を前記ターゲット話者の音声に変換することを特徴とする音声処理方法である。

【発明の効果】

【0020】

本発明によれば、任意の話者が発した音声を目標とする話者が発した音声に適切に変換する音声処理学習プログラム、音声処理学習装置、音声処理学習方法、音声処理学習プログラム、音声処理学習装置及び音声処理学習方法を提供することができる。本発明の実施の形態の他の目的は、本明細書全体を参照することにより明らかになる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施の形態における音声処理装置の構成を示す図である。

【図2】本発明の実施の形態における音声処理学習装置の構成を示す機能ブロック図である。

【図3】バリエーショナル・オート－エンコーダの構成を示す図である。

【図4】ヌーヴォー・バリエーショナル・オート－エンコーダの構成を示す図である。

【図5】本発明の実施の形態におけるバリエーショナル・オート－エンコーダの各層のニューラルネットワークの構成を示す図である。

【図6】本発明の実施の形態における音声学習処理を説明するための図である。

【図7】本発明の実施の形態における音声学習装置の構成を示す機能ブロック図である。

【図8】本発明の実施の形態における音声処理を説明するための図である。

【発明を実施するための形態】

【0022】

本発明の実施の形態における音声処理装置１００は、図１に示すように、処理部１０、記憶部１２、入力部１４、出力部１６及び通信部１８を含んで構成される。処理部１０は、ＣＰＵ等の演算処理を行う手段を含む。処理部１０は、記憶部１２に記憶されている音声処理学習プログラムを実行することによって、本実施の形態における音声処理の学習を行う。また、処理部１０は、記憶部１２に記憶されている音声処理プログラムを実行することによって、本実施の形態における音声処理に関する機能を実現する。記憶部１２は、半導体メモリやメモリカード等の記憶手段を含む。記憶部１２は、処理部１０とアクセス可能に接続され、音声処理学習プログラム、音声処理プログラム、その処理に必要な情報を記憶する。入力部１４は、情報を入力する手段を含む。入力部１４は、例えば、使用者からの情報の入力を受けるキーボード、タッチパネル、ボタン等を備える。また、入力部１４は、任意の話者及び目標となる所定の話者の音声の入力を受ける音声入力手段を備える。音声入力手段は、例えば、マイク、増幅回路等を含む構成とすればよい。出力部１６は、管理者から入力情報を受け付けるためのユーザインターフェース画面（ＵＩ）や処理結果を出力する手段を含む。出力部１６は、例えば、画像を呈示するディスプレイを備える。また、出力部１６は、音声処理装置１００によって生成された合成音声を出力する音声出力手段を備える。音声出力手段は、例えば、スピーカ、増幅器等を含む構成とすればよい。通信部１８は、ネットワーク１０２を介して、外部端末（図示しない）との情報の通信を行うインターフェースを含んで構成される。通信部１８による通信は有線及び無線を問わない。なお、音声処理に供される音声情報は通信部１８を介して外部端末から取得してもよい。

【0023】

音声処理装置１００は、任意の話者が発した音声を所定の話者（目標話者）の音声の音質に変換する音声処理を行う。また、音声処理装置１００は、当該音声処理のための学習を行う音声処理学習装置としても機能する。

【0024】

［音声学習処理］
図２は、音声処理学習時における音声処理装置１００の構成を示す機能ブロック図である。音声処理装置１００は、音声分析部２０、話者エンコーダ２２、音声エンコーダ２４、音声デコーダ２６及び学習器２８として機能する。具体的には、音声処理装置１００は、音声処理学習プログラムを実行することによって以下の音声学習方法を実現する音声処理学習装置として機能する。

【0025】

音声分析部２０は、音声データを取得し、音声データから音響特徴量を抽出する音響特徴量抽出器として機能する。すなわち、音声処理装置１００の処理部１０は、音声分析部２０として機能する。音声データは、入力部１４を構成するマイクを用いて話者の音声を音声データに変換して取得すればよい。また、通信部１８を介して、外部のコンピュータ等に予め記録されている音声データを受信するようにしてもよい。取得された音声データは、記憶部１２に記憶される。

【0026】

音声データの取得処理は、任意の話者の発する音声について行われる。音声学習処理では、多数の話者からの音声を用いて音声エンコーダ２４及び音声デコーダ２６の学習処理が行われる。各話者から得る音声は、同一の内容である必要はない。

【0027】

また、音声分析部２０は、さらに音声処理に必要な音声分析を行う。例えば、音声分析部２０は、入力された音声の周波数特性に基づいて音声のケプストラム解析を行い、スペクトルの包絡線（声の太さ等を示す情報）及び微細構造の情報を含むメル周波数ケプストラム係数（ＭＦＣＣ）、音声の基本周波数や共鳴周波数（声の高さ、声のかすれ等を示す情報）等の音響特徴量を求める。音響特徴量は、例えば、音声セグメントの長さＴに対して（８０×Ｔ）次元のユークリッド空間とすることができる。具体的には、音声分析部２０は、話者ＩＤ（話者ラベル）がｉの話者が発した音声から音響特徴量ｘ_ｉを生成して出力する。音声分析部２０で抽出された音響特徴量は音声エンコーダ２４及び学習器２８へ入力される。

【0028】

話者エンコーダ２２は、音声分析部２０に入力された音声の発話者のＩＤを音声処理に利用できる話者特徴量に変換して出力する。話者エンコーダ２２は、発話者のＩＤを話者特徴量に変換して出力する埋込モジュールを含んで構成することができる。例えば、話者エンコーダ２２は、話者ＩＤがｉの話者である場合、話者特徴量ｙ_ｉを生成して出力する。話者エンコーダ２２で生成された話者特徴量は音声エンコーダ２４及び音声デコーダ２６へ入力される。

【0029】

音声処理装置１００の学習では、複数の話者が発した音声から得られた音響特徴量ｘ_ｉと話者特徴量ｙ_ｉの組み合わせ（ｘ_ｉ，ｙ_ｉ）のセットが用いられる。

【0030】

音声エンコーダ２４は、音響特徴量及び話者特徴量の入力を受けて、音響特徴量及び話者特徴量を潜在表現に変換する処理を行う。音声デコーダ２６は、音声エンコーダ２４によって得られた潜在表現及び話者特徴量の入力を受けて、潜在表現及び話者特徴量を音響特徴量に変換する処理を行う。潜在表現は、入力された音声データの言語的な特徴を表す。

【0031】

音声エンコーダ２４及び音声デコーダ２６は、図２に示すように、音声分析部２０から音響特徴量ｘ_ｉの入力を受けて、音声エンコーダ２４において潜在表現ｚに変換し、さらに音声デコーダ２６において潜在表現ｚから音響特徴量ｘ_ｉ＾に再構成し、出力の音響特徴量ｘ_ｉ＾が入力の音響特徴量ｘ_ｉを復元するように学習される。

【0032】

本実施の形態では、音声エンコーダ２４及び音声デコーダ２６は、バリエーショナル・オート－エンコーダ（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）によって構成される。バリエーショナル・オート－エンコーダは、変分自己符号化器の一種であり、図３に示すように、潜在表現を確率分布に基づいたサンプリングによって生成する。確率分布は、平均μと分散σで規定される正規分布と仮定する。バリエーショナル・オート－エンコーダは、入力Ｘに対して平均μと分散σに基づいたサンプリングによって潜在表現ｚを生成するエンコーダと、潜在表現ｚから出力Ｘ＾を生成するデコーダと、の組み合わせからなる。バリエーショナル・オート－エンコーダでは、入力Ｘと出力Ｘ＾との復元誤差（復元距離）Ｅが小さくなるように話者エンコーダ２２、音声エンコーダ２４及び音声デコーダ２６の学習が行われる。

【0033】

図４に示すように、一般的なバリエーショナル・オート－エンコーダは一階層のニューラルネットワークで構成されるが、本実施の形態では２階層以上の複数階層のニューラルネットワークで構成されたヌーヴォー・バリエーショナル・オート－エンコーダ（ＮＶＡＥ：Ｎｏｕｖｅａｕ Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）とすることが好適である。すなわち、ヌーヴォー・バリエーショナル・オート－エンコーダは、２以上のサンプリング階層を有する変分自己符号化器を含んで構成される。例えば、音声処理装置１００では、音声エンコーダ２４及び音声デコーダ２６をｎ＝３５階層のニューラルネットワークでそれぞれ構成することが好適である。

【0034】

音声エンコーダ２４及び音声デコーダ２６のヌーヴォー・バリエーショナル・オート－エンコーダの各層は、図５に示すように、Ｃｏｎｄｉｔｉｏｎａｌ－Ｉｎｓｔａｎｃｅ－Ｎｏｒｍａｌｉｚａｔｉｏｎ層（ＣＩＮ層）、Ｃｏｎｖｏｌｕｔｉｏｎ層（ＣＯＮＶ層）、Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ層（ＳＥ層）を組み合わせて構成される。ＣＩＮ層は、一般的なヌーヴォー・バリエーショナル・オート－エンコーダにおけるバッチ正規仮想（ＢＮ層）の代わりに設けられる層である。ＣＩＮ層は、正規化層の１つであり、スタイル毎に異なるパラメータを設定して正規化を行う条件付きインスタンス正規化層である。本実施の形態では、ＣＩＮ層は、話者特徴量を入力の１つとして、入力された話者特徴量によって条件付けられた正規化を行う。また、Ｓｗｉｓｈ活性化関数はｆ（ｘ）＝ｘ／（１＋ｅ^－βｘ）と表される活性化関数である。Ｃｏｎｖｏｌｕｔｉｏｎ層は、入力に対して畳み込み演算を適用して次の層に演算結果を出力する層である。ＳＥ層は、入力に対してチャンネル間の関係に基づいて適応的にａｔｔｅｎｔｉｏｎをかけて重み付きの特徴を出力する層である。

【0035】

図６を参照して、音声処理装置１００における音声学習処理について説明する。音声エンコーダ２４及び音声デコーダ２６は、それぞれ階層数ｎのニューラルネットワークで構成された例を示している。階層数ｎは、例えば、３５階層とすることができる。各階層は、それぞれ図５に示したＣｏｎｄｉｔｉｏｎａｌ－Ｉｎｓｔａｎｃｅ－Ｎｏｒｍａｌｉｚａｔｉｏｎ層（ＣＩＮ層）、Ｃｏｎｖｏｌｕｔｉｏｎ層（ＣＯＮＶ層）、Ｓｑｕｅｅｚｅ－ａｎｄ－Ｅｘｃｉｔａｔｉｏｎ層（ＳＥ層）を組み合わせて構成される。なお、音声エンコーダ２４の階層ｋ（ただし、ｋは１～ｎの階層数を示す）から出力される潜在表現をｈ_ｋで示し、音声デコーダ２６の階層数ｋで表される階層から出力される潜在表現をｚ_ｋで示している。

【0036】

音声エンコーダ２４では、階層ｎに対して音響特徴量ｘ_ｉ及び話者特徴量ｙ_ｉが入力され、潜在表現ｈ_ｎが出力される。次の階層ｎ－１では、前段である階層ｎから出力された潜在表現ｈ_ｎ及び話者特徴量ｙ_ｉが入力され、潜在表現ｈ_ｎ－１が出力される。以下、同様に、階層ｋでは、前段である階層ｋ＋１から出力された潜在表現ｈ_ｋ＋１及び話者特徴量ｙ_ｉが入力され、潜在表現ｈ_ｋが出力される。最終段である階層１では、前段である階層２から出力された潜在表現ｈ_２及び話者特徴量ｙ_ｉが入力され、潜在表現ｈ_１が出力される。当該潜在表現ｈ_１から音声デコーダ２６の初段である階層１の潜在表現ｚ_１がサンプリングされる。このように、音声エンコーダ２４においては、すべての階層１～ｎにおいて話者特徴量ｙ_ｉを入力に含めることが好適である。

【0037】

音声デコーダ２６では、初段である階層１に対して潜在表現ｚ_１が入力され、潜在表現ｚ_２が出力される。また、音声デコーダ２６の階層ｋにおける潜在表現ｚ_ｋは、音声デコーダ２６において前段の階層ｋ－１の潜在表現ｚ_ｋ－１、音声エンコーダ２４のｋ階層目の潜在表現ｈ_ｋ及び話者特徴量ｙ_ｉに基づく事前分布ｐ（ｚ_ｋ｜ｚ_ｋ－１，ｈ_ｋ，ｙ_ｉ）からサンプリングして得ることが可能である。また、潜在表現ｚ_ｋは、音声デコーダ２６のより前段の階層ｋ－１、階層ｋ－２・・・階層１の潜在表現ｚ_ｋ－１、潜在表現ｚ_ｋ－２・・・潜在表現ｚ_１及び音声エンコーダ２４のｋ階層目の潜在表現ｈ_ｋに基づく事後分布ｐ（ｚ_ｋ｜ｚ_ｋ－１，ｚ_ｋ－２・・・ｚ_１，ｈ_ｋ）からサンプリングして得ることも可能である。なお、分布ｐ（ａ｜ｂ）は、ｂを前提条件としてａが出力とされる尤もらしさを示す尤度関数である。

【0038】

音声学習処理では、音声デコーダ２６の出力に近い階層から遠い階層に亘って音声エンコーダ２４からサンプリングを行う。すなわち、図６に示すように、すべての階層１～階層ｎにおいて音声エンコーダ２４のｋ階層目の潜在表現ｈ_ｋからサンプリングを行うことが好適である。また、事後分布からのサンプリングには話者特徴量ｙ_ｉを入力に含めないことが好適である。

【0039】

すなわち、音声デコーダ２６では出力に近い階層のみに話者特徴量ｙ_ｉを入力に含め、出力から遠い階層には話者特徴量ｙ_ｉを入力に含めないことが好適である。このとき、音声エンコーダ２４からサンプリングを行わず、事前分布からサンプリングを行う階層では話者特徴量ｙ_ｉを入力に含め、音声エンコーダ２４からサンプリングを行い、事後分布からサンプリングを行う階層では話者特徴量ｙ_ｉを入力に含めないようにすることが好適である。

【0040】

なお、サンプリングには話者特徴量ｙ_ｉを含めない階層では、Ｃｏｎｄｉｔｉｏｎａｌ－Ｉｎｓｔａｎｃｅ－Ｎｏｒｍａｌｉｚａｔｉｏｎ層（ＣＩＮ層）に話者特徴量ｙ_ｉを入力しない。

【0041】

このような構成において、学習器２８では、音声デコーダ２６に入力される音響特徴量ｘ_ｉと音声デコーダ２６から出力される再構築された音響特徴量ｘ_ｉ＾との誤差（距離）が小さくなるように話者エンコーダ２２、音声エンコーダ２４及び音声デコーダ２６に含まれる各階層のニューラルネットワークの各種パラメータ（各ニューロンの重み係数又はバイアス等）を調整する。

【0042】

ここで、音声デコーダ２６に入力される音響特徴量ｘ_ｉと音声デコーダ２６から出力される再構築された音響特徴量ｘ_ｉ＾との誤差（距離）が小さくなるように、音声デコーダ２６において話者特徴量ｙ_ｉを考慮した事前分布からサンプリングを行う階層と、話者特徴量ｙ_ｉを考慮しない事後分布からサンプリングを行う階層との境界となる階層を適宜設定すればよい。

【0043】

以上のように、音声エンコーダ２４に入力される音響特徴量ｘ_ｉによって表現される音声と、音声デコーダ２６において再構築される音響特徴量ｘ_ｉ＾によって表現される音声とが近づくように音声エンコーダ２４及び音声デコーダ２６が学習される。

【0044】

［音声処理］
図７は、ソース話者が発した音声をターゲット話者が発した音声のように変換する音声処理時における音声処理装置１００の構成を示す機能ブロック図である。音声処理装置１００は、音声分析部２０、話者エンコーダ２２、音声エンコーダ２４、音声デコーダ２６及びボコーダ３０として機能する。具体的には、音声処理装置１００は、音声処理プログラムを実行することによって以下の音声処理を実現する音声処理装置として機能する。

【0045】

音声分析部２０は、ソース話者が発した音声の音声データを取得し、音声処理に必要な音声分析を行う。音声分析部２０で抽出された音響特徴量は音声エンコーダ２４へ入力される。

【0046】

話者エンコーダ２２は、ソース話者及びターゲット話者のＩＤを音声処理に利用できる話者特徴量に変換して出力する。話者エンコーダ２２は、ソース話者ＩＤがｓの話者である場合、ソース話者特徴量ｙ_ｓを生成して音声エンコーダ２４へ出力する。また、話者エンコーダ２２は、ターゲット話者ＩＤがｔの話者である場合、ターゲット話者特徴量ｙ_ｔを生成して音声デコーダ２６へ出力する。

【0047】

音声エンコーダ２４は、ソース話者の音声から得られた音響特徴量及びソース話者特徴量の入力を受けて、当該音響特徴量及び当該ソース話者特徴量を潜在表現に変換する処理を行う。音声デコーダ２６は、音声エンコーダ２４によって得られた潜在表現及びターゲット話者特徴量の入力を受けて、当該潜在表現及び当該ターゲット話者特徴量から音響特徴量を再構築する処理を行う。

【0048】

図８を参照して、音声処理装置１００における音声処理について説明する。音声処理では、上記の音声学習処理において学習された音声エンコーダ２４及び音声デコーダ２６を用いて行われる。

【0049】

音声エンコーダ２４では、階層ｎに対してソース話者の音声から得られた音響特徴量ｘ_ｓ及びソース話者特徴量ｙ_ｓが入力され、潜在表現ｈ_ｎが出力される。以下、学習時と同様に、階層ｋでは、前段である階層ｋ＋１から出力された潜在表現ｈ_ｋ＋１及びソース話者特徴量ｙ_ｓが入力され、潜在表現ｈ_ｋが出力される。最終段である階層１では、前段である階層２から出力された潜在表現ｈ_２及びソース話者特徴量ｙ_ｓが入力され、潜在表現ｈ_１が出力される。当該潜在表現ｈ_１から音声デコーダ２６の初段である階層１の潜在表現ｚ_１がサンプリングされる。

【0050】

音声デコーダ２６では、初段である階層１に対して潜在表現ｚ_１が入力され、潜在表現ｚ_２が出力される。音声デコーダ２６の出力から遠い階層では、ターゲット話者特徴量ｙ_ｔを入力に含めず、音声デコーダ２６においてより前段の階層ｋ－１、階層ｋ－２・・・階層１の潜在表現ｚ_ｋ－１、潜在表現ｚ_ｋ－２・・・潜在表現ｚ_１及び音声エンコーダ２４のｋ階層目の潜在表現ｈ_ｋに基づく事後分布ｐ（ｚ_ｋ｜ｚ_ｋ－１，ｚ_ｋ－２・・・ｚ_１，ｈ_ｋ）からサンプリングを行う。音声デコーダ２６の出力に近い階層では音声エンコーダ２４からサンプリングを行わず、直前の階層ｋ－１の潜在表現ｚ_ｋ－１及びターゲット話者特徴量ｙ_ｔに基づく事前分布ｐ（ｚ_ｋ｜ｚ_ｋ－１，ｙ_ｔ）からサンプリングを行う。図８では、音声デコーダ２６の階層ｎ－１及び階層ｎにおいて事前分布からサンプリングを行う例を示している。このとき、事前分布からのサンプリングにはソース話者特徴量ｙ_ｓではなく、ターゲット話者特徴量ｙ_ｔを入力に含めることが好適である。

【0051】

音声エンコーダ２４及び音声デコーダ２６における音声処理によって、音声デコーダ２６の最終段である階層ｎからソース話者の音声から得られた音響特徴量ｘ_ｓをターゲット話者の音声に合わせた音響特徴量ｘ_ｔが構築されて出力される。

【0052】

ボコーダ３０は、音声デコーダ２６から出力された音響特徴量ｘ_ｔを音声データに変換して出力する。ボコーダ３０は、音声分析部２０における音声データから音響特徴量を抽出する処理の逆の処理を行うことによって音響特徴量ｘ_ｔを音声データに変換することができる。

【0053】

以上のように、本実施の形態の音声処理装置１００によれば、任意の話者が発した音声を目標とする話者が発した音声の音質に適切に変換する音声処理装置、音声処理プログラム及び音声処理方法並びに音声学習処理装置、音声学習処理プログラム及び音声学習処理方法を提供することができる。すなわち、学習された音声エンコーダ２４及び音声デコーダ２６を含む音声処理装置１００によって、ソース話者が発した音声をターゲット話者が発したような音声に変換する音声処理を実現することができる。

【0054】

特に、音声エンコーダ２４及び音声デコーダ２６に対してヌーヴォー・バリエーショナル・オート－エンコーダ（ＮＶＡＥ：Ｎｏｕｖｅａｕ Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ－Ｅｎｃｏｄｅｒ）を適用することによって、従来よりもソース話者の音声をターゲット話者が発した自然な感じの音声に変換することができる。

【符号の説明】

【0055】

１０ 処理部、１２ 記憶部、１４ 入力部、１６ 出力部、１８ 通信部、２０ 音声分析部、２２ 話者エンコーダ、２４ 音声エンコーダ、２６ 音声デコーダ、２８ 学習器、３０ ボコーダ、１００ 音声処理装置、１０２ ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】