ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許7568977変換モデル学習装置、変換モデル生成方法、変換装置、変換方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-08
(45)【発行日】2024-10-17
(54)【発明の名称】変換モデル学習装置、変換モデル生成方法、変換装置、変換方法およびプログラム
(51)【国際特許分類】
G10L 21/007 20130101AFI20241009BHJP
G10L 25/30 20130101ALI20241009BHJP
【ＦＩ】
G10L21/007
G10L25/30
【請求項の数】
10
(21)【出願番号】P 2023518551
(86)(22)【出願日】2021-05-06
(86)【国際出願番号】 JP2021017361
(87)【国際公開番号】W WO2022234615
(87)【国際公開日】2022-11-10
【審査請求日】2023-09-11
【新規性喪失の例外の表示】特許法第３０条第２項適用 １．令和３年２月２４日に日本音響学会２０２１年春季研究発表会論文集にて公開 ２．令和３年２月２５日に論文公開サイトａｒＸｉｖにて公開
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】金子 卓弘
(72)【発明者】
【氏名】亀岡 弘和
(72)【発明者】
【氏名】田中 宏
(72)【発明者】
【氏名】北条 伸克
【審査官】大野 弘
(56)【参考文献】
【文献】特開２０１９－１０１３９１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ１０Ｌ ２１／００７
Ｇ１０Ｌ ２５／３０
(57)【特許請求の範囲】
【請求項1】
一次音声信号の音響特徴量系列である一次特徴量系列の時間軸上の一部をマスクした欠損一次特徴量系列を生成するマスク部と、前記欠損一次特徴量系列を機械学習モデルである変換モデルに入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列である二次特徴量系列を模擬した模擬二次特徴量系列を生成する変換部と、
前記模擬二次特徴量系列の時間周波数構造と前記二次特徴量系列の時間周波数構造が近いほど高くなる学習基準値を算出する算出部と、
前記学習基準値に基づいて前記変換モデルのパラメータを更新する更新部と
を備える変換モデル学習装置。
【請求項2】
前記模擬二次特徴量系列を機械学習モデルである逆変換モデルに入力することで、前記一次音声信号の音響特徴量系列を再現した再現一次特徴量系列を生成する逆変換部を備え、前記算出部は、前記再現一次特徴量系列と前記一次特徴量系列の類似度に基づいて前記学習基準値を算出する
請求項１に記載の変換モデル学習装置。
【請求項3】
前記逆変換モデルと前記変換モデルは同一の機械学習モデルであって、前記変換モデルは、音響特徴量系列と音声の種類を示すパラメータを入力とし、前記パラメータが示す種類に係る音響特徴量系列を出力とするモデルであって、
前記変換部は、前記欠損一次特徴量系列と前記二次音声信号の種類を示すパラメータとを前記変換モデルに入力することで前記模擬二次特徴量系列を生成し、
前記逆変換部は、前記模擬二次特徴量系列と前記一次音声信号の種類を示すパラメータとを前記変換モデルに入力することで前記再現一次特徴量系列を生成する
請求項２に記載の変換モデル学習装置。
【請求項4】
前記変換モデルは、音響特徴量系列と音声の種類を示すパラメータを入力とし、前記パラメータが示す種類に係る音響特徴量系列を出力とするモデルであって、前記変換部は、前記欠損一次特徴量系列と前記二次音声信号の種類を示すパラメータとを前記変換モデルに入力することで前記模擬二次特徴量系列を生成する
請求項１に記載の変換モデル学習装置。
【請求項5】
前記算出部は、前記模擬二次特徴量系列と前記二次音声信号の音響特徴量系列である二次特徴量系列の距離に基づいて前記学習基準値を算出する請求項１に記載の変換モデル学習装置。
【請求項6】
前記変換モデルは、音響特徴量系列と前記音響特徴量系列のマスク情報とを入力とするモデルである請求項１から請求項４の何れか１項に記載の変換モデル学習装置。
【請求項7】
コンピュータに、一次音声信号の音響特徴量系列である一次特徴量系列から前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列である二次特徴量系列を模擬した模擬二次特徴量系列を生成するための演算に用いられるパラメータを有する変換モデルを生成する変換モデル生成方法であって、一次音声信号の音響特徴量系列である一次特徴量系列の時間軸上の一部をマスクした欠損一次特徴量系列を生成するステップと、
前記欠損一次特徴量系列を機械学習モデルである変換モデルに入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列を模擬した模擬二次特徴量系列を生成するステップと、
前記模擬二次特徴量系列の時間周波数構造と前記二次特徴量系列の時間周波数構造が近いほど高くなる学習基準値を算出するステップと、
前記学習基準値に基づいて前記変換モデルのパラメータを更新することで学習済みの変換モデルを生成するステップと
を備える変換モデル生成方法。
【請求項8】
一次音声信号の音響特徴量系列である一次特徴量系列を取得する取得部と、請求項７に記載の変換モデル生成方法によって生成された変換モデルに、前記一次特徴量系列を入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列を模擬した模擬二次特徴量系列を生成する変換部と、
前記模擬二次特徴量系列を出力する出力部と
を備える変換装置。
【請求項9】
一次音声信号の音響特徴量系列である一次特徴量系列を取得するステップと、請求項７に記載の変換モデル生成方法によって生成された変換モデルに、前記一次特徴量系列を入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列を模擬した模擬二次特徴量系列を生成するステップと、
前記模擬二次特徴量系列を出力するステップと
を備える変換方法。
【請求項10】
コンピュータに、一次音声信号の音響特徴量系列である一次特徴量系列の時間軸上の一部をマスクした欠損一次特徴量系列を生成するステップと、
前記欠損一次特徴量系列を機械学習モデルである変換モデルに入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列である二次特徴量系列を模擬した模擬二次特徴量系列を生成するステップと、
前記模擬二次特徴量系列の時間周波数構造と前記二次特徴量系列の時間周波数構造が近いほど高くなる学習基準値を算出するステップと、
前記学習基準値に基づいて前記変換モデルのパラメータを更新するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、変換モデル学習装置、変換モデル生成方法、変換装置、変換方法およびプログラムに関する。
【背景技術】
【0002】
入力された音声の言語情報を保持したまま非言語情報やパラ言語情報（話者性や発話様式など）を変換する声質変換技術が知られている。声質変換技術の一つとして、機械学習を用いることが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－０３５９０２号公報
【文献】特開２０１９－１４４４０２号公報
【文献】特開２０１９－１０１３９１号公報
【文献】特開２０２０－１４０２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
言語情報を保持したまま非言語情報やパラ言語情報を変換するためには、音声における時間周波数構造を忠実に再現することが求められる。時間周波数構造とは、音声信号に係る周波数ごとの強度の時間変化のパターンである。言語情報を保持する場合、母音および子音の並びを保持する必要がある。非言語情報やパラ言語情報が異なっていても母音および子音はそれぞれ特有の共鳴周波数を持つ。そのため、時間周波数構造を精度よく再現することで、言語情報を保持した声質変換を実現することができる。
【0005】
本発明の目的は、時間周波数構造を精度よく再現することができる変換モデル学習装置、変換モデル生成方法、変換装置、変換方法およびプログラムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の一態様は、変換モデル学習装置であって、一次音声信号の音響特徴量系列である一次特徴量系列の時間軸上の一部をマスクした欠損一次特徴量系列を生成するマスク部と、前記欠損一次特徴量系列を機械学習モデルである変換モデルに入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列である二次特徴量系列を模擬した模擬二次特徴量系列を生成する変換部と、前記模擬二次特徴量系列の時間周波数構造と前記二次特徴量系列の時間周波数構造が近いほど高くなる学習基準値を算出する算出部と、前記学習基準値に基づいて前記変換モデルのパラメータを更新する更新部とを備える。
【0007】
本発明の一態様は、変換モデル生成方法であって、一次音声信号の音響特徴量系列である一次特徴量系列の時間軸上の一部をマスクした欠損一次特徴量系列を生成するステップと、前記欠損一次特徴量系列を機械学習モデルである変換モデルに入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列である二次特徴量系列を模擬した模擬二次特徴量系列を生成するステップと、前記模擬二次特徴量系列の時間周波数構造と前記二次特徴量系列の時間周波数構造が近いほど高くなる学習基準値を算出するステップと、前記学習基準値に基づいて前記変換モデルのパラメータを更新することで学習済みの変換モデルを生成するステップとを有する。
【0008】
本発明の一態様は、変換装置であって、一次音声信号の音響特徴量系列である一次特徴量系列を取得する取得部と、上記変換モデル生成方法によって生成された変換モデルに、前記一次特徴量系列を入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列を模擬した模擬二次特徴量系列を生成する変換部と、前記模擬二次特徴量系列を出力する出力部とを備える。
【0009】
本発明の一態様は、変換方法であって、一次音声信号の音響特徴量系列である一次特徴量系列を取得するステップと、上記変換モデル生成方法によって生成された変換モデルに、前記一次特徴量系列を入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列を模擬した模擬二次特徴量系列を生成するステップと、前記模擬二次特徴量系列を出力するステップとを備える。
【0010】
本発明の一態様は、プログラムであって、コンピュータに、一次音声信号の音響特徴量系列である一次特徴量系列の時間軸上の一部をマスクした欠損一次特徴量系列を生成するステップと、前記欠損一次特徴量系列を機械学習モデルである変換モデルに入力することで、前記一次音声信号と対応する時間周波数構造を有する二次音声信号の音響特徴量系列である二次特徴量系列を模擬した模擬二次特徴量系列を生成するステップと、前記模擬二次特徴量系列の時間周波数構造と前記二次特徴量系列の時間周波数構造が近いほど高くなる学習基準値を算出するステップと、前記学習基準値に基づいて前記変換モデルのパラメータを更新するステップとを実行させる。
【発明の効果】
【0011】
上記態様の少なくとも一つによれば、時間周波数構造を精度よく再現することができる。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態に係る音声変換システムの構成を示す図である。
【図2】第１の実施形態に係る変換モデル学習装置の構成を示す概略ブロック図である。
【図3】第１の実施形態に係る変換モデル学習装置の動作を示すフローチャートである。
【図4】第１の実施形態に係る学習処理におけるデータの変遷を示す図である。
【図5】第１の実施形態に係る音声変換装置の構成を示す概略ブロック図である。
【図6】第１の実施形態に係る音声変換システムの実験結果を示す図である。
【図7】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら実施形態について詳しく説明する。
〈第１の実施形態〉
《音声変換システム１の構成》
図１は、第１の実施形態に係る音声変換システム１の構成を示す図である。音声変換システム１は、音声信号の入力を受け付け、入力された音声信号の言語情報を保持したまま非言語情報やパラ言語情報を変換した音声信号を生成する。言語情報とは、音声信号のうちテキストとして表現可能な情報が表れる成分をいう。パラ言語情報とは、話者の感情や態度など、音声信号のうち話者の心理的な情報が表れる成分をいう。非言語情報とは、話者の性別や年齢など、音声信号のうち話者の身体的な情報が表れる成分をいう。つまり、音声変換システム１は、入力された音声信号を、文言を同じくしつつニュアンスを異ならせた音声信号に変換することができる。
〈第１の実施形態〉
《音声変換システム１の構成》
図１は、第１の実施形態に係る音声変換システム１の構成を示す図である。音声変換システム１は、音声信号の入力を受け付け、入力された音声信号の言語情報を保持したまま非言語情報やパラ言語情報を変換した音声信号を生成する。言語情報とは、音声信号のうちテキストとして表現可能な情報が表れる成分をいう。パラ言語情報とは、話者の感情や態度など、音声信号のうち話者の心理的な情報が表れる成分をいう。非言語情報とは、話者の性別や年齢など、音声信号のうち話者の身体的な情報が表れる成分をいう。つまり、音声変換システム１は、入力された音声信号を、文言を同じくしつつニュアンスを異ならせた音声信号に変換することができる。
【0014】
音声変換システム１は、音声変換装置１１と、変換モデル学習装置１３とを備える。
音声変換装置１１は、音声信号の入力を受け付け、非言語情報やパラ言語情報を変換した音声信号を出力する。例えば、音声変換装置１１は、集音装置１５から入力された音声信号を変換し、スピーカ１７から出力する。音声変換装置１１は、変換モデル学習装置１３によって学習された機械学習モデルである変換モデルを用いて、音声信号の変換処理を行う。
変換モデル学習装置１３は、音声信号を学習用データとして用いて変換モデルの学習を行う。このとき、変換モデル学習装置１３は、学習用データである音声信号の時間軸上の一部をマスクしたものを変換モデルに入力し、マスク部分を補間した音声信号を出力させることで、非言語情報またはパラ言語情報の変換に加え、音声信号の時間周波数構造も学習させる。
音声変換装置１１は、音声信号の入力を受け付け、非言語情報やパラ言語情報を変換した音声信号を出力する。例えば、音声変換装置１１は、集音装置１５から入力された音声信号を変換し、スピーカ１７から出力する。音声変換装置１１は、変換モデル学習装置１３によって学習された機械学習モデルである変換モデルを用いて、音声信号の変換処理を行う。
変換モデル学習装置１３は、音声信号を学習用データとして用いて変換モデルの学習を行う。このとき、変換モデル学習装置１３は、学習用データである音声信号の時間軸上の一部をマスクしたものを変換モデルに入力し、マスク部分を補間した音声信号を出力させることで、非言語情報またはパラ言語情報の変換に加え、音声信号の時間周波数構造も学習させる。
【0015】
《変換モデル学習装置１３の構成》
図２は、第１の実施形態に係る変換モデル学習装置１３の構成を示す概略ブロック図である。第１の実施形態に係る変換モデル学習装置１３は、ノンパラレルデータを学習用データとして変換モデルの学習を行う。パラレルデータとは、同一の文章を読み上げた、複数の（第１の実施形態においては２つの）異なる非言語情報またはパラ言語情報にそれぞれ対応する音声信号の組によって構成されるデータをいう。ノンパラレルデータとは、複数の（第一実施形態においては２つの）異なる非言語情報またはパラ言語情報にそれぞれ対応する音声信号によって構成されるデータをいう。
図２は、第１の実施形態に係る変換モデル学習装置１３の構成を示す概略ブロック図である。第１の実施形態に係る変換モデル学習装置１３は、ノンパラレルデータを学習用データとして変換モデルの学習を行う。パラレルデータとは、同一の文章を読み上げた、複数の（第１の実施形態においては２つの）異なる非言語情報またはパラ言語情報にそれぞれ対応する音声信号の組によって構成されるデータをいう。ノンパラレルデータとは、複数の（第一実施形態においては２つの）異なる非言語情報またはパラ言語情報にそれぞれ対応する音声信号によって構成されるデータをいう。
【0016】
第１の実施形態に係る変換モデル学習装置１３は、学習用データ記憶部１３１、モデル記憶部１３２、特徴量取得部１３３、マスク部１３４、変換部１３５、第１識別部１３６、逆変換部１３７、第２識別部１３８、算出部１３９、更新部１４０を備える。
【0017】
学習用データ記憶部１３１は、ノンパラレルデータである複数の音声信号の音響特徴量系列を記憶する。音響特徴量系列とは、音声信号に係る特徴量の時系列である。音響特徴量系列の例としては、メルケプストラム係数系列、基本周波数系列、非周期性指標系列、スペクトログラム、メルスペクトログラム、音声信号波形などが挙げられる。音響特徴量系列は、特徴量数×時間の行列で表される。学習用データ記憶部１３１が記憶する複数の音響特徴量系列は、変換元の非言語情報およびパラ言語情報を有する音声信号のデータ群と、変換先の非言語情報およびパラ言語情報を有する音声信号のデータ群とを含む。例えば、男性Ｍによる音声信号を女性Ｆによる音声信号に変換したい場合、学習用データ記憶部１３１には、男性Ｍによる音声信号の音響特徴量系列と女性Ｆによる音声信号の音響特徴量系列とが記憶される。以下、変換元の非言語情報およびパラ言語情報を有する音声信号を一次音声信号と呼ぶ。また、変換先の非言語情報およびパラ言語情報を有する音声信号を二次音声信号と呼ぶ。また、一次音声信号の音響特徴量系列を一次特徴量系列ｘとよび、二次音声信号の音響特徴量系列を二次特徴量系列ｙとよぶ。
【0018】
モデル記憶部１３２は、変換モデルＧ、逆変換モデルＦ、一次識別モデルＤＸおよび二次識別モデルＤＹを記憶する。変換モデルＧ、逆変換モデルＦ、一次識別モデルＤＸおよび二次識別モデルＤＹは、いずれもニューラルネットワーク（例えば、畳み込みニューラルネットワーク）によって構成される。
変換モデルＧは、一次特徴量系列と、当該音響特徴量系列の欠損箇所を示すマスク系列との組み合わせを入力とし、二次特徴量系列を模擬した音響特徴量系列を出力とする。
逆変換モデルＦは、二次特徴量系列と、当該音響特徴量系列の欠損箇所を示すマスク系列との組み合わせを入力とし、一次特徴量系列を模擬した音響特徴量系列を出力とする。
一次識別モデルＤＸは、音声信号の音響特徴量系列を入力とし、入力された音響特徴量系列に係る音声信号が一次音声信号である確率または真の信号である度合を示す値を出力とする。例えば、一次識別モデルＤＸは、入力された音響特徴量系列に係る音声信号が一次音声信号を模擬した音声である確率が高いほど０に近い値を出力し、一次音声信号である確率が高いほど１に近い値を出力する。
二次識別モデルＤＹは、音声信号の音響特徴量系列を入力とし、入力された音響特徴量系列に係る音声信号が二次音声信号である確率を出力とする。
変換モデルＧは、一次特徴量系列と、当該音響特徴量系列の欠損箇所を示すマスク系列との組み合わせを入力とし、二次特徴量系列を模擬した音響特徴量系列を出力とする。
逆変換モデルＦは、二次特徴量系列と、当該音響特徴量系列の欠損箇所を示すマスク系列との組み合わせを入力とし、一次特徴量系列を模擬した音響特徴量系列を出力とする。
一次識別モデルＤＸは、音声信号の音響特徴量系列を入力とし、入力された音響特徴量系列に係る音声信号が一次音声信号である確率または真の信号である度合を示す値を出力とする。例えば、一次識別モデルＤＸは、入力された音響特徴量系列に係る音声信号が一次音声信号を模擬した音声である確率が高いほど０に近い値を出力し、一次音声信号である確率が高いほど１に近い値を出力する。
二次識別モデルＤＹは、音声信号の音響特徴量系列を入力とし、入力された音響特徴量系列に係る音声信号が二次音声信号である確率を出力とする。
【0019】
変換モデルＧ、逆変換モデルＦ、一次識別モデルＤＸおよび二次識別モデルＤＹは、CycleGANを構成する。具体的には、変換モデルＧと二次識別モデルＤＹの組み合わせ、逆変換モデルＦと一次識別モデルＤＸの組み合わせが、それぞれ２つのＧＡＮを構成する。変換モデルＧおよび逆変換モデルＦは、Generatorである。一次識別モデルＤＸおよび二次識別モデルＤＹは、Discriminatorである。
【0020】
特徴量取得部１３３は、学習用データ記憶部１３１から学習に用いる音響特徴量系列を読み出す。
【0021】
マスク部１３４は、特徴量系列の時間軸上の一部をマスクした欠損特徴量系列を生成する。具体的には、マスク部１３４は、特徴量系列と同じサイズの行列であって、マスク領域を「０」、他の領域を「１」とするマスク系列ｍを生成する。マスク部１３４は、乱数に基づいてマスク領域を決定する。例えばマスク部１３４は、時間方向にランダムにマスク位置およびマスクサイズを決定し、次に周波数方向にランダムにマスク位置およびマスクサイズを決定する。なお、他の実施形態においては、マスク部１３４は、時間方向のマスク位置およびマスクサイズ、ならびに周波数方向のマスク位置およびマスクサイズの何れかを固定値としてもよい。また、マスク部１３４は、時間方向のマスクサイズを常に全時間としてもよいし、周波数方向のマスクサイズを常に全周波数としてもよい。またマスク部１３４は、マスクする箇所をポイント単位でランダムに決定してもよい。また、第１の実施形態ではマスク系列の要素の値は０または１の離散値であるが、マスク系列は元の特徴量系列内あるいは元の特徴量系列間の相対的な構造を何らかの形で欠損させられればよい。したがって、他の実施形態においては、マスク系列内の少なくとも１つの値が当該マスク系列内の他の値と異なる値である限り、マスク系列の値は任意の離散値または連続値でもよい。また、マスク部１３４は、それらの値をランダムに決定するようにしてもよい。
マスク系列の要素の値として連続値を用いる場合には、例えばマスク部１３４は、時間方向と周波数方向にランダムにマスク位置を決定し、次に当該マスク位置におけるマスク値を乱数によって決定する。マスク部１３４は、マスク位置として選ばれなかった時間周波数に対応するマスク系列の値を１とする。
上記のランダムにマスク位置を決定する操作や、マスク値を乱数によって決定する操作は、例えばマスク系列全体におけるマスク領域の割合や、マスク系列の値の平均値など、マスク系列に係る特徴量を指定して行われてもよい。マスク領域の割合やマスク系列の値の平均値、マスク位置、マスクサイズなど、マスクの特徴を表す情報を以下ではマスク情報と呼ぶ。
マスク系列の要素の値として連続値を用いる場合には、例えばマスク部１３４は、時間方向と周波数方向にランダムにマスク位置を決定し、次に当該マスク位置におけるマスク値を乱数によって決定する。マスク部１３４は、マスク位置として選ばれなかった時間周波数に対応するマスク系列の値を１とする。
上記のランダムにマスク位置を決定する操作や、マスク値を乱数によって決定する操作は、例えばマスク系列全体におけるマスク領域の割合や、マスク系列の値の平均値など、マスク系列に係る特徴量を指定して行われてもよい。マスク領域の割合やマスク系列の値の平均値、マスク位置、マスクサイズなど、マスクの特徴を表す情報を以下ではマスク情報と呼ぶ。
【0022】
マスク部１３４は、特徴量系列とマスク系列ｍの要素積を求めることで、欠損特徴量系列を生成する。以下、一次特徴量系列ｘをマスクした欠損特徴量系列を欠損一次特徴量系列ｘ（hat）とよび、二次特徴量系列ｙをマスクした欠損特徴量系列を欠損二次特徴量系列ｙ（hat）とよぶ。つまり、マスク部１３４は、以下の式（１）により欠損一次特徴量系列ｘ（hat）を算出し、以下の式（２）により欠損二次特徴量系列ｙ（hat）を算出する。なお、式（１）、（２）において白丸の演算子は、要素積を示す。
【0023】
【数1】
【0024】
【数2】
【0025】
変換部１３５は、欠損一次特徴量系列ｘ（hat）とマスク系列ｍとをモデル記憶部１３２が記憶する変換モデルＧに入力することで、二次音声信号の音響特徴量系列を模擬した音響特徴量系列を生成する。以下、二次音声信号の音響特徴量系列を模擬した音響特徴量系列を模擬二次特徴量系列ｙ′とよぶ。つまり、変換部１３５は、以下の式（３）により模擬二次特徴量系列ｙ′を算出する。
【0026】
【数3】
【0027】
変換部１３５は、後述の模擬一次特徴量系列ｘ′とすべての要素が「１」のマスク系列ｍとをモデル記憶部１３２が記憶する変換モデルＧに入力することで、二次特徴量系列を再現した音響特徴量系列を生成する。以下、二次音声信号の音響特徴量系列を再現した音響特徴量系列を再現二次特徴量系列ｙ″とよぶ。また、すべての要素が「１」のマスク系列ｍを１埋めマスク系列ｍ′とよぶ。変換部１３５は、以下の式（４）により模擬二次特徴量系列ｙ″を算出する。
【0028】
【数4】
【0029】
第１識別部１３６は、二次特徴量系列ｙまたは変換部１３５が生成した模擬二次特徴量系列ｙ′を二次識別モデルＤＹに入力することで、入力された特徴量系列が模擬二次特徴量系列である確率または真の信号である度合を示す値を算出する。
【0030】
逆変換部１３７は、欠損二次特徴量系列ｙ（hat）とマスク系列ｍとをモデル記憶部１３２が記憶する逆変換モデルＦに入力することで、一次音声信号の音響特徴量系列を模擬した模擬特徴量系列を生成する。以下、一次音声信号の音響特徴量系列を模擬した模擬特徴量系列を模擬一次特徴量系列ｘ´とよぶ。つまり、逆変換部１３７は、以下の式（５）により模擬二次特徴量系列ｘ′を算出する。
【0031】
【数5】
【0032】
逆変換部１３７は、模擬二次特徴量系列ｙ′と１埋めマスク系列ｍ′とをモデル記憶部１３２が記憶する逆変換モデルＦに入力することで、一次特徴量系列を再現した音響特徴量系列を生成する。以下、一次音声信号の音響特徴量系列を再現した音響特徴量系列を再現一次特徴量系列ｘ″とよぶ。変換部１３５は、以下の式（６）により模擬一次特徴量系列ｘ″を算出する。
【0033】
【数6】
【0034】
第２識別部１３８は、一次特徴量系列ｘまたは逆変換部１３７が生成した模擬一次特徴量系列ｘ′を一次識別モデルＤＸに入力することで、入力された特徴量系列が模擬一次特徴量系列である確率または真の信号である度合を示す値を算出する。
【0035】
算出部１３９は、変換モデルＧ、逆変換モデルＦ、一次識別モデルＤＸ、二次識別モデルＤＹの学習に用いる学習基準（損失関数）を算出する。具体的には、算出部１３９は、敵対的学習基準および循環無矛盾性基準に基づいて学習基準を算出する。
敵対的学習基準とは、音響特徴量系列が本物であるか模擬特徴量系列であるかの判断の正確さを示す指標である。算出部１３９は、一次識別モデルＤＸによる模擬一次特徴量系列に対する判断の正確さを示す敵対的学習基準Ｌｍａｄｖ Ｙ→Ｘと、二次識別モデルＤＹによる模擬二次特徴量系列に対する判断の正確さを示す敵対的学習基準Ｌｍａｄｖ Ｘ→Ｙとを算出する。
循環無矛盾性基準とは、入力に係る音響特徴量系列と、再現特徴量系列との相違を示す指標である。算出部１３９は、一次特徴量系列と再現一次特徴量系列との相違を示す循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘと、二次特徴量系列と再現二次特徴量系列との相違を示す循環無矛盾性基準Ｌｍｃｙｃ Ｙ→Ｘ→Ｙとを算出する。
算出部１３９は、以下の式（７）に示すように、敵対的学習基準Ｌｍａｄｖ Ｙ→Ｘと、敵対的学習基準Ｌｍａｄｖ Ｘ→Ｙと、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘと、循環無矛盾性基準Ｌｍｃｙｃ Ｙ→Ｘ→Ｙとの重み付き和を学習基準Ｌｆｕｌｌとして求める。式（７）においてλｍｃｙｃは循環無矛盾性基準に対する重みである。
敵対的学習基準とは、音響特徴量系列が本物であるか模擬特徴量系列であるかの判断の正確さを示す指標である。算出部１３９は、一次識別モデルＤＸによる模擬一次特徴量系列に対する判断の正確さを示す敵対的学習基準Ｌｍａｄｖ Ｙ→Ｘと、二次識別モデルＤＹによる模擬二次特徴量系列に対する判断の正確さを示す敵対的学習基準Ｌｍａｄｖ Ｘ→Ｙとを算出する。
循環無矛盾性基準とは、入力に係る音響特徴量系列と、再現特徴量系列との相違を示す指標である。算出部１３９は、一次特徴量系列と再現一次特徴量系列との相違を示す循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘと、二次特徴量系列と再現二次特徴量系列との相違を示す循環無矛盾性基準Ｌｍｃｙｃ Ｙ→Ｘ→Ｙとを算出する。
算出部１３９は、以下の式（７）に示すように、敵対的学習基準Ｌｍａｄｖ Ｙ→Ｘと、敵対的学習基準Ｌｍａｄｖ Ｘ→Ｙと、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘと、循環無矛盾性基準Ｌｍｃｙｃ Ｙ→Ｘ→Ｙとの重み付き和を学習基準Ｌｆｕｌｌとして求める。式（７）においてλｍｃｙｃは循環無矛盾性基準に対する重みである。
【0036】
【数7】
【0037】
更新部１４０は、算出部１３９が算出した学習基準Ｌｆｕｌｌに基づいて変換モデルＧ、逆変換モデルＦ、一次識別モデルＤＸ、二次識別モデルＤＹのパラメータを更新する。具体的には、更新部１４０は、一次識別モデルＤＸおよび二次識別モデルＤＹについて、学習基準Ｌｆｕｌｌが大きくなるようにパラメータを更新する。また更新部１４０は、変換モデルＧおよび逆変換モデルＦについて、学習基準Ｌｆｕｌｌが小さくなるようにパラメータを更新する。
【0038】
《指標値について》
ここで、算出部１３９が算出する指標値について説明する。
敵対的学習基準とは、音響特徴量系列が本物であるか模擬特徴量系列であるかの判断の正確さを示す指標である。一次特徴量系列に対する敵対的学習基準Ｌｍａｄｖ Ｙ→Ｘおよび二次特徴量系列に対する敵対的学習基準Ｌｍａｄｖ Ｘ→Ｙは、それぞれ以下の式（８）、式（９）で表される。
ここで、算出部１３９が算出する指標値について説明する。
敵対的学習基準とは、音響特徴量系列が本物であるか模擬特徴量系列であるかの判断の正確さを示す指標である。一次特徴量系列に対する敵対的学習基準Ｌｍａｄｖ Ｙ→Ｘおよび二次特徴量系列に対する敵対的学習基準Ｌｍａｄｖ Ｘ→Ｙは、それぞれ以下の式（８）、式（９）で表される。
【0039】
【数8】
【0040】
【数9】
【0041】
式（８）、（９）において、黒板太字体のＥは、添え字に示す分布に対する期待値を示す（以降の式でも同様）。ｙ～ｐＹ（ｙ）は、学習用データ記憶部１３１が記憶する二次音声信号のデータ群Ｙから二次特徴量系列ｙをサンプリングすることを示す。同様に、ｘ～ｐＸ（ｘ）は、学習用データ記憶部１３１が記憶する一次音声信号のデータ群Ｘから一次特徴量系列ｘをサンプリングすることを示す。ｍ～ｐＭ（ｍ）は、マスク部１３４が生成され得るマスク系列の群から１つのマスク系列ｍを生成することを示す。なお、第1の実施形態では距離基準としてクロスエントロピーを用いるが、他の実施形態ではこれに限られず、Ｌ１ノルム、Ｌ２ノルム、ワッサーステイン距離などの他の距離基準を用いてもよい。
【0042】
敵対的学習基準Ｌｍａｄｖ
Ｙ→Ｘは、二次識別モデルＤＹが二次特徴量系列ｙを実音声と識別し、模擬二次特徴量系列ｙ（hat）を合成音声と識別できている場合に大きい値を取る。敵対的学習基準Ｌｍａｄｖ
Ｘ→Ｙは、一次識別モデルＤＸが一次特徴量系列ｘを実音声と識別し、模擬一次特徴量系列ｘ（hat）を合成音声と識別できている場合に大きい値を取る。
【0043】
循環無矛盾性基準とは、入力に係る音響特徴量系列と、再現特徴量系列との相違を示す指標である。一次特徴量系列に対する循環無矛盾性基準Ｌｍｃｙｃ
Ｘ→Ｙ→Ｘおよび二次特徴量系列に対する循環無矛盾性基準Ｌｍｃｙｃ
Ｙ→Ｘ→Ｙは、それぞれ以下の式（１０）、式（１１）で表される。
【0044】
【数10】
【0045】
【数11】
【0046】
式（１０）、（１１）において｜｜・｜｜１は、Ｌ１ノルムを示す。循環無矛盾性基準Ｌｍｃｙｃ
Ｘ→Ｙ→Ｘは、一次特徴量系列ｘと再現一次特徴量系列ｘ″の距離が小さい場合に小さい値を取る。循環無矛盾性基準Ｌｍｃｙｃ
Ｙ→Ｘ→Ｙは、二次特徴量系列ｙと再現二次特徴量系列ｙ″の距離が小さい場合に小さい値を取る。
【0047】
《変換モデル学習装置１３の動作》
図３は、第１の実施形態に係る変換モデル学習装置１３の動作を示すフローチャートである。図４は、第１の実施形態に係る学習処理におけるデータの変遷を示す図である。
変換モデル学習装置１３が変換モデルの学習処理を開始すると、特徴量取得部１３３は、学習用データ記憶部１３１から一次特徴量系列ｘを１つずつ読み出し（ステップＳ１）、読み出した一次特徴量系列ｘそれぞれについて以下のステップＳ２からステップＳ７の処理を実行する。
図３は、第１の実施形態に係る変換モデル学習装置１３の動作を示すフローチャートである。図４は、第１の実施形態に係る学習処理におけるデータの変遷を示す図である。
変換モデル学習装置１３が変換モデルの学習処理を開始すると、特徴量取得部１３３は、学習用データ記憶部１３１から一次特徴量系列ｘを１つずつ読み出し（ステップＳ１）、読み出した一次特徴量系列ｘそれぞれについて以下のステップＳ２からステップＳ７の処理を実行する。
【0048】
マスク部１３４は、ステップＳ１で読み出した一次特徴量系列ｘと同じサイズのマスク系列ｍを生成する（ステップＳ２）。次に、マスク部１３４は、一次特徴量系列ｘとマスク系列ｍの要素積を求めることで、欠損一次特徴量系列ｘ（hat）を生成する（ステップＳ３）。
【0049】
変換部１３５は、ステップＳ３で生成した欠損一次特徴量系列ｘ（hat）とステップＳ２で生成したマスク系列ｍとをモデル記憶部１３２が記憶する変換モデルＧに入力することで、模擬二次特徴量系列ｙ′を生成する（ステップＳ４）。次に、第１識別部１３６は、ステップＳ４で生成した模擬二次特徴量系列ｙ′を二次識別モデルＤＹに入力することで、模擬二次特徴量系列が模擬二次特徴量系列ｙ′である確率を算出する（ステップＳ５）。
【0050】
次に、逆変換部１３７は、ステップＳ４で生成した模擬二次特徴量系列ｙ′と１埋めマスク系列ｍ′とをモデル記憶部１３２が記憶する逆変換モデルＦに入力することで、再現一次特徴量系列ｘ″を生成する（ステップＳ６）。算出部１３９は、ステップＳ１で読み出した一次特徴量系列ｘとステップＳ６で生成した再現一次特徴量系列ｘ″とのＬ１ノルムを求める（ステップＳ７）。
【0051】
また、第２識別部１３８は、ステップＳ１で読み出した一次特徴量系列ｘを一次識別モデルＤＸに入力することで、一次特徴量系列ｘが模擬一次特徴量系列ｘ′である確率を算出する（ステップＳ８）。
【0052】
次に、特徴量取得部１３３は、学習用データ記憶部１３１から二次特徴量系列ｙを１つずつ読み出し（ステップＳ９）、読み出した二次特徴量系列ｙそれぞれについて以下のステップＳ１０からステップＳ１６の処理を実行する。
【0053】
マスク部１３４は、ステップＳ９で読み出した二次特徴量系列ｙと同じサイズのマスク系列ｍを生成する（ステップＳ１０）。次に、マスク部１３４は、二次特徴量系列ｙとマスク系列ｍの要素積を求めることで、欠損二次特徴量系列ｙ（hat）を生成する（ステップＳ１１）。
【0054】
逆変換部１３７は、ステップＳ１１で生成した欠損二次特徴量系列ｙ（hat）とステップＳ１０で生成したマスク系列ｍとをモデル記憶部１３２が記憶する逆変換モデルＦに入力することで、模擬一次特徴量系列ｘ′を生成する（ステップＳ１２）。次に、第２識別部１３８は、ステップＳ１２で生成した模擬一次特徴量系列ｘ′を一次識別モデルＤＸに入力することで、模擬一次特徴量系列ｘ′が模擬一次特徴量系列ｘ′である確率または真の信号である度合を示す値を算出する（ステップＳ１３）。
【0055】
次に、変換部１３５は、ステップＳ１２で生成した模擬一次特徴量系列ｘ′と１埋めマスク系列ｍ′とをモデル記憶部１３２が記憶する変換モデルＧに入力することで、再現二次特徴量系列ｙ″を生成する（ステップＳ１４）。算出部１３９は、ステップＳ９で読み出した二次特徴量系列ｙとステップＳ１４で生成した再現二次特徴量系列ｙ″とのＬ１ノルムを求める（ステップＳ１５）。
【0056】
また、第１識別部１３６は、ステップＳ９で読み出した二次特徴量系列ｙを二次識別モデルＤＹに入力することで、二次特徴量系列ｙが模擬二次特徴量系列ｙ′である確率または真の信号である度合を示す値を算出する（ステップＳ１６）。
【0057】
次に、算出部１３９は、式（８）に基づいて、ステップＳ５で算出した確率とステップＳ１６で算出した確率から敵対的学習基準Ｌｍａｄｖ
Ｘ→Ｙを算出する。また算出部１３９は、式（９）に基づいて、ステップＳ８で算出した確率とステップＳ１３で算出した確率から敵対的学習基準Ｌｍａｄｖ
Ｙ→Ｘを算出する（ステップＳ１７）。また、算出部１３９は、式（１０）に基づいて、ステップＳ７で算出したＬ１ノルムから循環無矛盾性基準Ｌｍｃｙｃ
Ｘ→Ｙ→Ｘを算出する。また算出部１３９は、式（１１）に基づいて、ステップＳ１５で算出したＬ１ノルムから循環無矛盾性基準Ｌｍｃｙｃ
Ｙ→Ｘ→Ｙを算出する（ステップＳ１８）。
【0058】
算出部１３９は、式（７）に基づいて敵対的学習基準Ｌｍａｄｖ
Ｘ→Ｙ、敵対的学習基準Ｌｍａｄｖ
Ｙ→Ｘ、循環無矛盾性基準Ｌｍｃｙｃ
Ｘ→Ｙ→Ｘ、循環無矛盾性基準Ｌｍｃｙｃ
Ｙ→Ｘ→Ｙから学習基準Ｌｆｕｌｌを算出する（ステップＳ１９）。更新部１４０は、ステップＳ１９で算出した学習基準Ｌｆｕｌｌに基づいて変換モデルＧ、逆変換モデルＦ、一次識別モデルＤＸ、二次識別モデルＤＹのパラメータを更新する（ステップＳ２０）。
【0059】
更新部１４０は、ステップＳ１からステップＳ２０によるパラメータの更新を、所定のエポック数だけ繰り返し実行したか否かを判定する（ステップＳ２１）。繰り返しが所定のエポック数に満たない場合（ステップＳ２１：ＮＯ）、変換モデル学習装置１３はステップＳ１に処理を戻し、学習処理を繰り返し実行する。
【0060】
他方、繰り返しが所定のエポック数に達した場合（ステップＳ２１：ＹＥＳ）、変換モデル学習装置１３は学習処理を終了する。これにより、変換モデル学習装置１３は、学習済みモデルである変換モデルを生成することができる。
【0061】
《音声変換装置１１の構成》
図５は、第１の実施形態に係る音声変換装置１１の構成を示す概略ブロック図である。
第１の実施形態に係る音声変換装置１１は、モデル記憶部１１１、信号取得部１１２、特徴量算出部１１３、変換部１１４、信号生成部１１５、出力部１１６を備える。
図５は、第１の実施形態に係る音声変換装置１１の構成を示す概略ブロック図である。
第１の実施形態に係る音声変換装置１１は、モデル記憶部１１１、信号取得部１１２、特徴量算出部１１３、変換部１１４、信号生成部１１５、出力部１１６を備える。
【0062】
モデル記憶部１１１は、変換モデル学習装置１３による学習済みの変換モデルＧを記憶する。すなわち、変換モデルＧは、一次特徴量系列ｘと、当該音響特徴量系列の欠損箇所を示すマスク系列ｍとの組み合わせを入力とし、模擬二次特徴量系列ｙ′を出力とする。
【0063】
信号取得部１１２は、一次音声信号を取得する。例えば、信号取得部１１２は、記憶装置に記録された一次音声信号のデータを取得してもよいし、集音装置１５から一次音声信号のデータを取得してもよい。
【0064】
特徴量算出部１１３は、信号取得部１１２が取得した一次音声信号から一次特徴量系列ｘを算出する。特徴量算出部１１３の例としては、特徴量抽出器や音声分析機が挙げられる。
【0065】
変換部１１４は、特徴量算出部１１３が算出した一次特徴量系列ｘと１埋めマスク系列ｍ′とをモデル記憶部１１１が記憶する変換モデルＧに入力することで、模擬二次特徴量系列ｙ′を生成する。
【0066】
信号生成部１１５は、変換部１１４が生成した模擬二次特徴量系列ｙ′を音声信号データに変換する。信号生成部１１５の例としては、学習済みのニューラルネットワークモデルやボコーダが挙げられる。
【0067】
出力部１１６は、信号生成部１１５が生成した音声信号データを出力する。出力部１１６は、例えば記憶装置に音声信号データを記録してもよいし、スピーカ１７を介して音声信号データを再生してもよいし、ネットワークを介して音声信号データを送信してもよい。
【0068】
音声変換装置１１は、上記構成により、入力された音声信号の言語情報を保持したまま非言語情報やパラ言語情報を変換した音声信号を生成することができる。
【0069】
《作用・効果》
このように、第１の実施形態に係る変換モデル学習装置１３は、一次特徴量系列ｘの一部をマスクした欠損一次特徴量系列ｘ（hat）を用いて変換モデルＧを学習させる。このとき、音声変換システム１は、模擬二次特徴量系列ｙ′の時間周波数構造と二次特徴量系列ｙの時間周波数構造が近いほど間接的に高くなる学習基準値である、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘを用いる。循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘは、一次特徴量系列ｘと再現一次特徴量系列ｘ″との差を小さくするための基準である。つまり、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘは、再現一次特徴量系列の時間周波数構造と一次特徴量系列の時間周波数構造が近いほど高くなる学習基準値である。再現一次特徴量系列の時間周波数構造が一次特徴量系列の時間周波数構造と近くなるためには、再現一次特徴量系列を生成するための模擬二次特徴量系列において、マスクされた部分を適切に補完し、一次特徴量系列ｘの時間周波数構造に対応する時間周波数構造を再現する必要がある。すなわち、模擬二次特徴量系列ｙ′の時間周波数構造は、一次特徴量系列ｘと同じ言語情報を有する二次特徴量系列ｙの時間周波数構造を再現する必要がある。したがって、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘは、模擬二次特徴量系列ｙ′の時間周波数構造と二次特徴量系列ｙの時間周波数構造が近いほど高くなる学習基準値であるといえる。
このように、第１の実施形態に係る変換モデル学習装置１３は、一次特徴量系列ｘの一部をマスクした欠損一次特徴量系列ｘ（hat）を用いて変換モデルＧを学習させる。このとき、音声変換システム１は、模擬二次特徴量系列ｙ′の時間周波数構造と二次特徴量系列ｙの時間周波数構造が近いほど間接的に高くなる学習基準値である、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘを用いる。循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘは、一次特徴量系列ｘと再現一次特徴量系列ｘ″との差を小さくするための基準である。つまり、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘは、再現一次特徴量系列の時間周波数構造と一次特徴量系列の時間周波数構造が近いほど高くなる学習基準値である。再現一次特徴量系列の時間周波数構造が一次特徴量系列の時間周波数構造と近くなるためには、再現一次特徴量系列を生成するための模擬二次特徴量系列において、マスクされた部分を適切に補完し、一次特徴量系列ｘの時間周波数構造に対応する時間周波数構造を再現する必要がある。すなわち、模擬二次特徴量系列ｙ′の時間周波数構造は、一次特徴量系列ｘと同じ言語情報を有する二次特徴量系列ｙの時間周波数構造を再現する必要がある。したがって、循環無矛盾性基準Ｌｍｃｙｃ Ｘ→Ｙ→Ｘは、模擬二次特徴量系列ｙ′の時間周波数構造と二次特徴量系列ｙの時間周波数構造が近いほど高くなる学習基準値であるといえる。
【0070】
第１の実施形態に係る変換モデル学習装置１３は、欠損一次特徴量系列ｘ（hat）を用いることで、学習過程において、非言語情報およびパラ言語情報の変換に加え、マスク部分を補間するようにパラメータが更新される。補間を行うためには、変換モデルＧはマスク部分の周囲の情報からマスク部分を予測する必要がある。周囲の情報からマスク部分を予測するためには、音声の時間周波数構造を認識する必要がある。したがって、第１の実施形態に係る変換モデル学習装置１３によれば、欠損一次特徴量系列ｘ（hat）を補間できるように学習することで、学習過程で音声の時間周波数構造を獲得することができる。
【0071】
また、第１の実施形態に係る変換モデル学習装置１３は、模擬二次特徴量系列ｙ′を逆変換モデルＦに入力することでえられた再現一次特徴量系列ｘ″と一次特徴量系列ｘの類似度に基づいて学習を行う。これにより、変換モデル学習装置１３は、ノンパラレルデータに基づいて変換モデルＦを学習させることができる。
【0072】
《変形例》
なお、第１の実施形態に係る変換モデルＧおよび逆変換モデルＦは、音響特徴量系列とマスク系列とを入力とするが、これに限られない。例えば、他の実施形態に係る変換モデルＧおよび逆変換モデルＦは、マスク系列の代わりに、マスク情報を入力としてもよい。また、例えば、他の実施形態に係る変換モデルＧおよび逆変換モデルＦは、マスク系列を入力に含まず、音響特徴量系列のみの入力を受け付けるものであってもよい。この場合、変換モデルＧおよび逆変換モデルＦのネットワークの入力サイズは第１の実施形態の二分の一となる。
なお、第１の実施形態に係る変換モデルＧおよび逆変換モデルＦは、音響特徴量系列とマスク系列とを入力とするが、これに限られない。例えば、他の実施形態に係る変換モデルＧおよび逆変換モデルＦは、マスク系列の代わりに、マスク情報を入力としてもよい。また、例えば、他の実施形態に係る変換モデルＧおよび逆変換モデルＦは、マスク系列を入力に含まず、音響特徴量系列のみの入力を受け付けるものであってもよい。この場合、変換モデルＧおよび逆変換モデルＦのネットワークの入力サイズは第１の実施形態の二分の一となる。
【0073】
また、第１の実施形態に係る変換モデル学習装置１３は、式（７）に示す学習基準Ｌｆｕｌｌに基づいて学習を行うが、これに限られない。例えば、他の実施形態に係る変換モデル学習装置１３は、循環無矛盾性基準Ｌｍｃｙｃ
Ｘ→Ｙ→Ｘに加えてまたは代えて、式（１２）に示す恒等変換基準Ｌｍｉｄ
Ｘ→Ｙを用いてもよい。恒等変換基準Ｌｍｉｄ
Ｘ→Ｙは、二次特徴量系列ｙと欠損二次特徴量系列ｙ（hat）を変換モデルＧを用いて変換して得られる音響特徴量系列との変化が小さいほど小さい値となる。なお、恒等変換基準Ｌｍｉｄ
Ｘ→Ｙの算出に当たって、変換モデルＧへの入力は欠損二次特徴量系列ｙ（hat）ではなく二次特徴量系列ｙであってもよい。恒等変換基準Ｌｍｉｄ
Ｘ→Ｙは、模擬二次特徴量系列ｙ′の時周波数構造と二次特徴量系列ｙの時周波数構造が近いほど高くなる学習基準値であるといえる。
【0074】
【数12】
【0075】
また例えば、他の実施形態に係る変換モデル学習装置１３は、循環無矛盾性基準Ｌｍｃｙｃ
Ｙ→Ｘ→Ｙに加えてまたは代えて、式（１３）に示す恒等変換基準Ｌｍｉｄ
Ｙ→Ｘを用いてもよい。恒等変換基準Ｌｍｉｄ
Ｙ→Ｘは、一次特徴量系列ｘと欠損一次特徴量系列ｘ（hat）を変換モデルＦを用いて変換して得られる音響特徴量系列との変化が小さいほど小さい値となる。なお、恒等変換基準Ｌｍｉｄ
Ｙ→Ｘの算出に当たって、変換モデルＦへの入力は欠損一次特徴量系列ｘ（hat）ではなく一時特徴量系列ｘであってもよい。
【0076】
【数13】
【0077】
また例えば、他の実施形態に係る変換モデル学習装置１３は、敵対的学習基準Ｌｍｃｙｃ
Ｘ→Ｙに加えてまたは代えて、式（１４）に示す第２種敵対的学習基準Ｌｍａｄｖ２
X→Ｙ→Ｘを用いてもよい。第２種敵対的学習基準Ｌｍａｄｖ２
X→Ｙ→Ｘは、識別モデルが一次特徴量系列ｘを実音声と識別し、再現一次特徴量系列ｘ″を合成音声と識別できている場合に大きい値を取る。なお、第２種敵対的学習基準Ｌｍａｄｖ２
X→Ｙ→Ｘの計算に用いる識別モデルは、一次識別モデルＤＸと同じものであってもよいし別個に学習されたものであってもよい。
【0078】
【数14】
【0079】
また例えば、他の実施形態に係る変換モデル学習装置１３は、敵対的学習基準Ｌｍｃｙｃ
Ｙ→Ｘに加えてまたは代えて、式（１５）に示す第２種敵対的学習基準Ｌｍａｄｖ２
Ｙ→Ｘ→Ｙを用いてもよい。第２種敵対的学習基準Ｌｍａｄｖ２
Ｙ→Ｘ→Ｙは、識別モデルが二次特徴量系列ｙを実音声と識別し、再現二次特徴量系列ｙ″を合成音声と識別できている場合に大きい値を取る。なお、第２種敵対的学習基準Ｌｍａｄｖ２
Ｙ→Ｘ→Ｙの計算に用いる識別モデルは、二次識別モデルＤＹと同じものであってもよいし別個に学習されたものであってもよい。
【0080】
【数15】
【0081】
また、第１の実施形態に係る変換モデル学習装置１３は、ＧＡＮによって変換モデルＧを学習させるが、これに限られない。例えば、他の実施形態に係る変換モデル学習装置１３は、ＶＡＥのような任意の深層生成モデルによって変換モデルＧを学習させてもよい。
【0082】
《実験結果》
第１の実施形態に係る音声変換システム１を用いた音声信号の変換の実験結果の一例を説明する。実験では、女性話者１（ＳＦ）、男性話者１（ＳＭ）、女性話者２（ＴＦ）および男性話者２（ＴＭ）に係る音声信号データが用いられた。
第１の実施形態に係る音声変換システム１を用いた音声信号の変換の実験結果の一例を説明する。実験では、女性話者１（ＳＦ）、男性話者１（ＳＭ）、女性話者２（ＴＦ）および男性話者２（ＴＭ）に係る音声信号データが用いられた。
【0083】
実験では、音声変換システム１は話者性変換を行った。実験においてＳＦとＳＭとは一次音声信号として用いられた。実験においてＴＦとＴＭとは二次音声信号として用いられた。実験では、一次音声信号と二次音声信号との組それぞれについて実験が行われた。すなわち、実験ではＳＦとＴＦとの組、ＳＭとＴＭとの組、ＳＦとＴＭとの組、およびＳＭとＴＦとの組について話者性変換が行われた。
【0084】
実験では、各話者につき８１文が学習データとして用いられ３５文がテストデータとして用いられた。実験において、全音声信号のサンプリング周波数は２２０５０Ｈｚであった。学習データにおいて、変換元音声と変換目標音声との間に同一発話音声は存在しなかった。そのため、実験は、ノンパラレル設定での評価が可能な実験であった。
【0085】
実験では、各発話に対し、窓長が１０２４サンプルであってホップ長が２５６サンプルである短時間フーリエ変換の後、８０次元のメルスペクトログラムを音響特徴量系列として抽出された。実験において、メルスペクトログラムから音声信号を生成する際は、ニューラルネットワークで構成された波形生成器が用いられた。
【0086】
変換モデルＧ、逆変換モデルＦ、一次識別モデルＤｘおよび二次識別モデルＤｙは、それぞれＣＮＮによってモデル化された。より具体的には、変換器ＧおよびＦは、以下の第１処理部から第７処理部までの７つの処理部を有するニューラルネットワークであった。第１処理部は、２Ｄ ＣＮＮによる入力処理部であって畳み込みブロック１つで構成される。なお２Ｄは、２次元を意味する。第２処理部は、２Ｄ ＣＮＮによるダウンサンプリング処理部であって畳み込みブロック２つで構成される。第３処理部は、２Ｄから１Ｄへの変換処理部であって畳み込みブロック１つで構成される。なお１Ｄは、１次元を意味する。
【0087】
第４処理部は、１Ｄ ＣＮＮによる差分変換処理部であって畳み込みブロック２つを含む差分変換ブロック６つで構成される。第５処理部は、１Ｄから２Ｄへの変換処理部であって畳み込みブロック１つで構成される。第６処理部は、２Ｄ ＣＮＮによるアップサンプリング処理部であって畳み込みブロック２つで構成される。第７処理部は、２Ｄ ＣＮＮによる出力処理部であって畳み込みブロック１つで構成される。
【0088】
実験において、参考文献１に記載のCycleGAN-VC2を比較例とした。比較例に係る学習では、敵対的学習基準、第２種敵対的学習基準、循環無矛盾性基準および恒等変換基準を組み合わせた学習基準が用いられた。
【0089】
参考文献１：T. Kaneko, H. Kameoka, K. Tanaka, and N. Hojo, “CycleGAN-VC2: Improved CycleGAN-Based Non-Parallel Voice Conversion,” in Proc. ICASSP, 2019.
【0090】
第１の実施形態に係る音声変換システム１と比較例に係る音声変換システムとの主な相違点は、マスク部１３４によるマスク処理を行うか否かにあった。すなわち、第１の実施形態に係る音声変換システム１は、学習時に欠損一次特徴量系列ｘ（hat）から模擬二次特徴量系列ｙ′を生成したのに対し、比較例に係る音声変換システムは、学習時に一次特徴量系列ｘから模擬二次特徴量系列ｙ′を生成した。
【0091】
実験の評価は、メルケプストラム歪み（ＭＣＤ）と、Kernel DeepSpeech Distance（ＫＤＨＤ）との２つの評価指標に基づいて行った。ＭＣＤは、メルケプストラム領域における一次特徴量系列ｘと模擬二次特徴量系列ｙ′の類似度を示す。ＭＣＤの計算に当たっては、３５次元のメルケプストラムを抽出した。ＫＤＳＤは、一次特徴量系列ｘと模擬二次特徴量系列ｙ′の最大平均不一致（ＭＭＤ）を示す、ＫＤＳＤは、先行研究において主観評価と高い相関を持つことが知られている指標である。ＭＣＤおよびＫＤＳＤは、ともに値が小さい方が性能がよいことを意味する。
【0092】
図６は、第１の実施形態に係る音声変換システム１の実験結果を示す図である。図６において“ＳＦ－ＴＦ”は、ＳＦとＴＦとの組を示す。図６において“ＳＭ－ＴＭ”は、ＳＭとＴＭとの組を示す。図６において“ＳＦ－ＴＭ”は、ＳＦとＴＭとの組を示す。図６において“ＳＦ－ＴＦ”は、ＳＭとＴＦとの組を示す。
【0093】
図６に示すように、実験では“ＳＦ－ＴＦ”、“ＳＭ－ＴＭ”、“ＳＦ－ＴＭ”、“ＳＦ－ＴＦ”の全てにおいて、ＭＣＤおよびＫＤＳＤのいずれの評価指標においても、第１の実施形態に係る音声変換システム１の方が比較例に係る音声変換システムより性能がよいことが示された。なお、第１の実施形態に係る変換モデルＧおよび比較例に係る変換モデルのパラメータ数はいずれも約１６Ｍであり、ほぼ変わりがなかった。つまり、第１の実施形態に係る音声変換システム１は、比較例に対してパラメータ数を増やすことなく性能を向上させることができることがわかった。
【0094】
〈第２の実施形態〉
第１の実施形態に係る音声変換システム１は、変換元の非言語情報およびパラ言語情報の種類と、変換先の非言語情報およびパラ言語情報の種類とが予め定められている。これに対し、第２の実施形態に係る音声変換システム１は、予め定められた複数の音声の種類から、変換元の音声の種類と変換先の音声の種類を任意に選択して音声変換を行う。
第１の実施形態に係る音声変換システム１は、変換元の非言語情報およびパラ言語情報の種類と、変換先の非言語情報およびパラ言語情報の種類とが予め定められている。これに対し、第２の実施形態に係る音声変換システム１は、予め定められた複数の音声の種類から、変換元の音声の種類と変換先の音声の種類を任意に選択して音声変換を行う。
【0095】
第２の実施形態に係る音声変換システム１は、第１の実施形態に係る変換モデルＧおよび逆変換モデルＦに代えて、マルチ変換モデルＧｍｕｌｔｉを用いる。マルチ変換モデルＧｍｕｌｔｉは、変換元の音響特徴量系列と、音響特徴量系列の欠損箇所を示すマスク系列と、変換先の音声の種類を示すラベルとの組み合わせを入力とし、変換先の音声の種類を模擬した模擬音響特徴量系列を出力とする。変換先を示すラベルは、例えば話者ごとに付されたラベルや感情ごとに付されたラベルであってよい。マルチ変換モデルＧｍｕｌｔｉは、変換モデルＧおよび逆変換モデルＦを同一のモデルで実現したものであるといえる。
【0096】
また、第２の実施形態に係る音声変換システム１は、一次識別モデルＤＸおよび二次識別モデルＤＹに代えて、マルチ識別モデルＤｍｕｌｔｉを用いる。マルチ識別モデルＤｍｕｌｔｉは、音声信号の音響特徴量系列と識別対象の音声の種類を示すラベルとの組み合わせを入力とし、入力された音響特徴量系列に係る音声信号がラベルが示す非言語情報およびパラ言語情報を有する正しい音声信号である確率を出力とする。
マルチ変換モデルＧｍｕｌｔｉおよびマルチ識別モデルＤｍｕｌｔｉは、StarGANを構成する。
マルチ変換モデルＧｍｕｌｔｉおよびマルチ識別モデルＤｍｕｌｔｉは、StarGANを構成する。
【0097】
第２の実施形態に係る変換モデル学習装置１３の変換部１３５は、欠損一次特徴量系列ｘ（hat）とマスク系列ｍと任意のラベルｃＹをマルチ変換モデルＧｍｕｌｔｉに入力することで、二次特徴量系列を再現した音響特徴量系列を生成する。第２の実施形態に係る逆変換部１３７は、模擬二次特徴量系列ｙ′と１埋めマスク系列ｍ′と一次特徴量系列ｘに係るラベルｃＸとをマルチ変換モデルＧｍｕｌｔｉに入力することで、再現一次特徴量系列ｘ″を算出する。
【0098】
第２の実施形態に係る算出部１３９は、以下の式（１６）により敵対的学習基準を算出する。また第２の実施形態に係る算出部１３９は、以下の式（１７）により循環無矛盾性基準を算出する。
【0099】
【数16】
【0100】
【数17】
【0101】
これにより、第２の実施形態に係る変換モデル学習装置１３は、複数の非言語情報およびパラ言語情報から、変換元と変換先を任意に選択して音声変換を行うようにマルチ変換モデルＧｍｕｌｔｉを学習させることができる。
【0102】
《変形例》
なお、第２の実施形態に係るマルチ識別モデルＤｍｕｌｔｉは、音響特徴量系列とラベルの組み合わせを入力とするが、これに限られない。例えば、他の実施形態に係るマルチ識別モデルＤｍｕｌｔｉは、ラベルを入力に含まないものであってよい。この場合に、変換モデル学習装置１３は、音響特徴量の音声の種類を推定する推定モデルＥを用いてよい。推定モデルＥは、一次特徴量系列ｘが入力された場合に、複数のラベルｃそれぞれについて当該一次特徴量系列ｘに対応するラベルである確率を出力するモデルである。この場合、推定モデルＥによる一次特徴量系列ｘの推定結果が一次特徴量系列ｘに対応するラベルｃｘにおいて高い値を示すようなクラス学習基準Ｌｃｌｓを学習基準ｆｕｌｌに含める。クラス学習基準Ｌｃｌｓは、実音声に対して以下の式（１８）のように計算され、合成音声に対して以下の式（１９）のように計算される。
なお、第２の実施形態に係るマルチ識別モデルＤｍｕｌｔｉは、音響特徴量系列とラベルの組み合わせを入力とするが、これに限られない。例えば、他の実施形態に係るマルチ識別モデルＤｍｕｌｔｉは、ラベルを入力に含まないものであってよい。この場合に、変換モデル学習装置１３は、音響特徴量の音声の種類を推定する推定モデルＥを用いてよい。推定モデルＥは、一次特徴量系列ｘが入力された場合に、複数のラベルｃそれぞれについて当該一次特徴量系列ｘに対応するラベルである確率を出力するモデルである。この場合、推定モデルＥによる一次特徴量系列ｘの推定結果が一次特徴量系列ｘに対応するラベルｃｘにおいて高い値を示すようなクラス学習基準Ｌｃｌｓを学習基準ｆｕｌｌに含める。クラス学習基準Ｌｃｌｓは、実音声に対して以下の式（１８）のように計算され、合成音声に対して以下の式（１９）のように計算される。
【0103】
【数18】
【0104】
【数19】
【0105】
また、他の実施形態に係る変換モデル学習装置１３は、恒等変換基準Ｌｍｉｄや第２種敵対的学習基準を用いてマルチ変換モデルＧｍｕｌｔｉおよびマルチ識別モデルＤｍｕｌｔｉの学習を行ってもよい。
また、当該変形例では、マルチ変換モデルＧｍｕｌｔｉが、変換対象の音声の種類を表すラベルのみを入力に用いる例を説明したが、同時に変換元の音声の種類を表すラベルも入力に用いても良い。また、同様に、当該変形例では、マルチ識別モデルＤｍｕｌｔｉが、変換対象の音声の種類を表すラベルのみを入力に用いる例を説明したが、同時に変換元の音声の種類を表すラベルも入力に用いても良い。
また、当該変形例では、マルチ変換モデルＧｍｕｌｔｉが、変換対象の音声の種類を表すラベルのみを入力に用いる例を説明したが、同時に変換元の音声の種類を表すラベルも入力に用いても良い。また、同様に、当該変形例では、マルチ識別モデルＤｍｕｌｔｉが、変換対象の音声の種類を表すラベルのみを入力に用いる例を説明したが、同時に変換元の音声の種類を表すラベルも入力に用いても良い。
【0106】
また、第１の実施形態に係る変換モデル学習装置１３は、ＧＡＮによって変換モデルＧを学習させるが、これに限られない。例えば、他の実施形態に係る変換モデル学習装置１３は、ＶＡＥのような任意の深層生成モデルによって変換モデルＧを学習させてもよい。
【0107】
なお、第２の実施形態に係る音声変換装置１１は、マルチ変換モデルＧｍｕｌｔｉに変換先の音声の種類を示すラベルを入力する点以外は、第１の実施形態と同様の手順によって、音声信号の変換を行うことができる。
【0108】
〈第３の実施形態〉
第１の実施形態に係る音声変換システム１は、ノンパラレルデータに基づいて変換モデルＧを学習させる。これに対し、第３の実施形態に係る音声変換システム１は、パラレルデータに基づいて変換モデルＧを学習させる。
第１の実施形態に係る音声変換システム１は、ノンパラレルデータに基づいて変換モデルＧを学習させる。これに対し、第３の実施形態に係る音声変換システム１は、パラレルデータに基づいて変換モデルＧを学習させる。
【0109】
第３の実施形態に係る学習用データ記憶部１３１は、パラレルデータとして複数の一次特徴量系列と二次特徴量系列のペアを記憶する。
第３の実施形態に係る算出部１３９は、式（７）の学習基準に代えて、以下の式（２０）に示す回帰学習基準Ｌｒｅｇを算出する。更新部１４０は、回帰学習基準Ｌｒｅｇに基づいて変換モデルＧのパラメータを更新する。
第３の実施形態に係る算出部１３９は、式（７）の学習基準に代えて、以下の式（２０）に示す回帰学習基準Ｌｒｅｇを算出する。更新部１４０は、回帰学習基準Ｌｒｅｇに基づいて変換モデルＧのパラメータを更新する。
【0110】
【数20】
【0111】
なお、パラレルデータとして与えられる一次特徴量系列ｘと二次特徴量系列ｙとは、互いに対応する時間周波数構造を有している。したがって、第３の実施形態では、模擬二次特徴量系列ｙ′の時間周波数構造と二次特徴量系列ｙの時間周波数構造が近いほど高くなる回帰学習基準Ｌｒｅｇを直接学習基準値として用いることができる。当該学習基準値を用いて学習することで、非言語情報およびパラ言語情報の変換に加え、マスク部分を補間するようにモデルのパラメータが更新される。。
第３の実施形態に係る変換モデル学習装置１３は、逆変換モデルＦ、一次識別モデルＤＸおよび二次識別モデルＤＹを記憶しなくてよい。また、変換モデル学習装置１３は、第１識別部１３６、逆変換部１３７、第２識別部１３８を備えなくてよい。
第３の実施形態に係る変換モデル学習装置１３は、逆変換モデルＦ、一次識別モデルＤＸおよび二次識別モデルＤＹを記憶しなくてよい。また、変換モデル学習装置１３は、第１識別部１３６、逆変換部１３７、第２識別部１３８を備えなくてよい。
【0112】
なお、第３の実施形態に係る音声変換装置１１は、第１の実施形態と同様の手順によって、音声信号の変換を行うことができる。
【0113】
《変形例》
なお、他の実施形態に係る音声変換システム１は、第２の実施形態のようなマルチ変換モデルＧｍｕｌｔｉについて、パラレルデータを用いた学習を行ってもよい。
なお、他の実施形態に係る音声変換システム１は、第２の実施形態のようなマルチ変換モデルＧｍｕｌｔｉについて、パラレルデータを用いた学習を行ってもよい。
【0114】
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る音声変換システム１では、音声変換装置１１と変換モデル学習装置１３とが別個のコンピュータによって構成されるが、これに限られない。例えば、他の実施形態に係る音声変換システム１は、音声変換装置１１と変換モデル学習装置１３が同一のコンピュータによって構成されてもよい。
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。すなわち、他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態に係る音声変換システム１では、音声変換装置１１と変換モデル学習装置１３とが別個のコンピュータによって構成されるが、これに限られない。例えば、他の実施形態に係る音声変換システム１は、音声変換装置１１と変換モデル学習装置１３が同一のコンピュータによって構成されてもよい。
【0115】
〈コンピュータ構成〉
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ２０は、プロセッサ２１、メインメモリ２３、ストレージ２５、インタフェース２７を備える。
上述の音声変換装置１１および変換モデル学習装置１３は、コンピュータ２０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ２５に記憶されている。プロセッサ２１は、プログラムをストレージ２５から読み出してメインメモリ２３に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ２１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ２３に確保する。プロセッサ２１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ２０は、プロセッサ２１、メインメモリ２３、ストレージ２５、インタフェース２７を備える。
上述の音声変換装置１１および変換モデル学習装置１３は、コンピュータ２０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ２５に記憶されている。プロセッサ２１は、プログラムをストレージ２５から読み出してメインメモリ２３に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ２１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ２３に確保する。プロセッサ２１の例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、マイクロプロセッサなどが挙げられる。
【0116】
プログラムは、コンピュータ２０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージに既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ２０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ２１によって実現される機能の一部または全部が当該集積回路によって実現されてよい。このような集積回路も、プロセッサの一例に含まれる。
【0117】
ストレージ２５の例としては、磁気ディスク、光磁気ディスク、光ディスク、半導体メモリ等が挙げられる。ストレージ２５は、コンピュータ２０のバスに直接接続された内部メディアであってもよいし、インタフェース２７または通信回線を介してコンピュータ２０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ２０に配信される場合、配信を受けたコンピュータ２０が当該プログラムをメインメモリ２３に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ２５は、一時的でない有形の記憶媒体である。
【0118】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ２５に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【0119】
１…音声変換システム １１…音声変換装置 １１１…モデル記憶部 １１２…信号取得部 １１３…特徴量算出部 １１４…変換部 １１５…信号生成部 １１６…出力部 １３…変換モデル学習装置 １３１…学習用データ記憶部 １３２…モデル記憶部 １３３…特徴量取得部 １３４…マスク部 １３５…変換部 １３６…第１識別部 １３７…逆変換部 １３８…第２識別部 １３９…算出部 １４０…更新部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】