特許 7152550 モデル評価方法、モデル評価装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-03

(45)【発行日】2022-10-12

(54)【発明の名称】モデル評価方法、モデル評価装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品

(51)【国際特許分類】

   G10L 25/69 20130101AFI20221004BHJP

   G10L 25/15 20130101ALI20221004BHJP

【ＦＩ】

G10L25/69

G10L25/15

【請求項の数】 11

(21)【出願番号】P 2021048756

(22)【出願日】2021-03-23

(65)【公開番号】P2021103324

(43)【公開日】2021-07-15

【審査請求日】2021-03-23

(31)【優先権主張番号】202010437127.5

(32)【優先日】2020-05-21

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100163050

【弁理士】

【氏名又は名称】小栗 眞由美

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】鄭 林

(72)【発明者】

【氏名】陳 昌濱

(72)【発明者】

【氏名】馬 嘯空

(72)【発明者】

【氏名】孫 宇娟

【審査官】堀 洋介

(56)【参考文献】

【文献】米国特許出願公開第２０１３／００８０１７２（ＵＳ，Ａ１）

【文献】特開２０１７－０６７９４８（ＪＰ，Ａ）

【文献】特開２０１７－１６７２７３（ＪＰ，Ａ）

【文献】特開２０１７－０８３６２１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ ２５／００－２５／７２

Ｇ１０Ｌ １３／００－１３／１０

(57)【特許請求の範囲】

【請求項1】

第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号と、録音されたＮ個の第２のオーディオ信号とを取得することと、
Ｍ個の前記第１のオーディオ信号のそれぞれに対して声紋抽出を行ってＭ個の第１の声紋特徴を取得し、Ｎ個の前記第２のオーディオ信号のそれぞれに対して声紋抽出を行ってＮ個の第２の声紋特徴を取得することと、
Ｍ個の前記第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の前記第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得することと、
Ｋ個の前記第１の中心特徴とＪ個の前記第２の中心特徴との間の余弦距離を統計し、第１の距離を取得することと、
前記第１の距離に基づき、前記第１の評価対象音声合成モデルを評価することとを含み、
ここで、Ｍ、Ｎ、Ｋ及びＪはいずれも１よりも大きい正の整数であり、ＭはＫよりも大きく、ＮはＪよりも大きく、
Ｋ個の前記第１の中心特徴とＪ個の前記第２の中心特徴との間の前記余弦距離を統計し、前記第１の距離を取得することは、
各前記第１の中心特徴について、該第１の中心特徴と各前記第２の中心特徴との間の前記余弦距離を計算し、前記第１の中心特徴に対応するＪ個の余弦距離を取得し、前記第１の中心特徴に対応するＪ個の前記余弦距離を合計し、前記第１の中心特徴に対応する前記余弦距離の和を取得することと、
Ｋ個の前記第１の中心特徴に対応する余弦距離の和を合計し、前記第１の距離を取得することとを含むモデル評価方法。

【請求項2】

前記第１の距離に基づき、前記第１の評価対象音声合成モデルを評価することは、
前記第１の距離が予め設定された第１の閾値未満である場合、前記第１の評価対象音声合成モデルへの評価が成功したことを確定することと、
前記第１の距離が予め設定された前記第１の閾値以上である場合、前記第１の評価対象音声合成モデルへの評価が成功しなかったことを確定することとを含む請求項１に記載のモデル評価方法。

【請求項3】

前記第１の評価対象音声合成モデルで合成されたＭ個の前記第１のオーディオ信号と、録音されたＮ個の前記第２のオーディオ信号とを取得した後、
第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号を取得することと、
Ｔ個の前記第３のオーディオ信号のそれぞれに対して声紋抽出を行ってＴ個の第３の声紋特徴を取得することと、
Ｔ個の前記第３の声紋特徴をクラスタリングしてＰ個の第３の中心特徴を取得することと、
Ｐ個の前記第３の中心特徴とＪ個の前記第２の中心特徴との間の余弦距離を統計し、第２の距離を取得することと、
前記第１の距離及び前記第２の距離に基づき、前記第１の評価対象音声合成モデル又は前記第２の評価対象音声合成モデルを評価することとをさらに含み、
ここで、Ｔ及びＰは１よりも大きい正の整数であり、ＴはＰよりも大きい請求項１に記載のモデル評価方法。

【請求項4】

Ｋ個の前記第１の中心特徴のうち２つずつの前記第１の中心特徴間の余弦距離は、予め設定された第２の閾値よりも大きく、Ｊ個の前記第２の中心特徴のうち２つずつの前記第２の中心特徴間の余弦距離は、予め設定された第３の閾値よりも大きい請求項１に記載のモデル評価方法。

【請求項5】

第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号と、録音されたＮ個の第２のオーディオ信号とを取得する第１の取得モジュールと、
Ｍ個の前記第１のオーディオ信号のそれぞれに対して声紋抽出を行ってＭ個の第１の声紋特徴を取得し、Ｎ個の前記第２のオーディオ信号のそれぞれに対して声紋抽出を行ってＮ個の第２の声紋特徴を取得する第１の声紋抽出モジュールと、
Ｍ個の前記第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の前記第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得する第１のクラスタリングモジュールと、
Ｋ個の前記第１の中心特徴とＪ個の前記第２の中心特徴との間の余弦距離を統計し、第１の距離を取得する第１の統計モジュールと、
前記第１の距離に基づき、前記第１の評価対象音声合成モデルを評価する第１の評価モジュールとを備え、
ここで、Ｍ、Ｎ、Ｋ及びＪはいずれも１よりも大きい正の整数であり、ＭはＫよりも大きく、ＮはＪよりも大きく、
前記第１の統計モジュールは、具体的には、
各前記第１の中心特徴について、該第１の中心特徴と各前記第２の中心特徴との間の前記余弦距離を計算し、前記第１の中心特徴に対応するＪ個の余弦距離を取得し、前記第１の中心特徴に対応するＪ個の前記余弦距離を合計し、前記第１の中心特徴に対応する前記余弦距離の和を取得し、Ｋ個の前記第１の中心特徴に対応する前記余弦距離の和を合計し、前記第１の距離を取得するモデル評価装置。

【請求項6】

前記第１の評価モジュールは、具体的には、
前記第１の距離が予め設定された第１の閾値未満である場合、前記第１の評価対象音声合成モデルへの評価が成功したことを確定し、前記第１の距離が予め設定された前記第１の閾値以上である場合、前記第１の評価対象音声合成モデルへの評価が成功しなかったことを確定する請求項５に記載のモデル評価装置。

【請求項7】

第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号を取得する第２の取得モジュールと、
Ｔ個の前記第３のオーディオ信号のそれぞれに対して声紋抽出を行ってＴ個の第３の声紋特徴を取得する第２の声紋抽出モジュールと、
Ｔ個の前記第３の声紋特徴をクラスタリングしてＰ個の第３の中心特徴を取得する第２のクラスタリングモジュールと、
Ｐ個の前記第３の中心特徴とＪ個の前記第２の中心特徴との間の余弦距離を統計し、第２の距離を取得する第２の統計モジュールと、
前記第１の距離及び前記第２の距離に基づき、前記第１の評価対象音声合成モデル又は前記第２の評価対象音声合成モデルを評価する第２の評価モジュールとをさらに備え、
ここで、Ｔ及びＰは１よりも大きい正の整数であり、ＴはＰよりも大きい請求項５に記載のモデル評価装置。

【請求項8】

Ｋ個の前記第１の中心特徴のうち２つずつの前記第１の中心特徴間の余弦距離は、予め設定された第２の閾値よりも大きく、Ｊ個の前記第２の中心特徴のうち２つずつの前記第２の中心特徴間の余弦距離は、予め設定された第３の閾値よりも大きい請求項５に記載のモデル評価装置。

【請求項9】

少なくとも１つのプロセッサと、
少なくとも１つの該プロセッサに通信可能に接続されたメモリとを備え、
少なくとも１つの前記プロセッサにより実行されると、請求項１から請求項４のいずれかに記載のモデル評価方法を少なくとも１つの前記プロセッサに実行させる、少なくとも１つの前記プロセッサによって実行可能な命令が前記メモリに記憶されている電子機器。

【請求項10】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、請求項１から請求項４のいずれかに記載のモデル評価方法を前記コンピュータに実行させる非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項11】

プロセッサによって実行されると、請求項１から請求項４のいずれかに記載のモデル評価方法が実現されるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、データ処理技術に関し、特にオーディオデータ処理の技術分野に関し、具体的には、モデル評価方法、モデル評価装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0002】

音声合成技術は、文字をオーディオ信号に変換して出力する技術であり、ヒューマンコンピュータインタラクション分野で重要な役割を果たし、幅広い用途がある。パーソナライズされた音声合成は、音声合成技術により、実際の人間の発音に非常に類似するオーディオ信号を合成することであり、現在、地図、スマートスピーカーなどの分野に広く応用されている。

【0003】

現在、オーディオ信号を合成するためのパーソナライズされた音声合成モデルが多いが、これらのパーソナライズされた音声合成モデルで合成されたオーディオの復元度は不均一であり、したがって、パーソナライズされた音声合成モデルを評価することは非常に重要である。

【0004】

現在、一般的に、事前にトレーニングされた声紋検証モデルにより、パーソナライズされた音声合成モデルで合成されたオーディオの復元度、即ち合成されたオーディオと実際の人間の発音との類似度を評価し、それによって、パーソナライズされた音声合成モデルの優劣を評価する。しかしながら、声紋検証モデルは、一般的に、合成されたオーディオ信号の復元度を１つずつ検証するため、評価効率が低い。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、モデル評価方法、モデル評価装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品を提供する。

【課題を解決するための手段】

【0006】

本願の第１の態様として、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号と、録音されたＮ個の第２のオーディオ信号とを取得することと、Ｍ個の前記第１のオーディオ信号のそれぞれに対して声紋抽出を行ってＭ個の第１の声紋特徴を取得し、Ｎ個の前記第２のオーディオ信号のそれぞれに対して声紋抽出を行ってＮ個の第２の声紋特徴を取得することと、Ｍ個の前記第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の前記第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得することと、Ｋ個の前記第１の中心特徴とＪ個の前記第２の中心特徴との間の余弦距離を統計し、第１の距離を取得することと、前記第１の距離に基づき、前記第１の評価対象音声合成モデルを評価することとを含み、ここで、Ｍ、Ｎ、Ｋ及びＪはいずれも１よりも大きい正の整数であり、ＭはＫよりも大きく、ＮはＪよりも大きいモデル評価方法を提供する。

【0007】

本願の第２の態様として、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号と、録音されたＮ個の第２のオーディオ信号とを取得する第１の取得モジュールと、Ｍ個の前記第１のオーディオ信号のそれぞれに対して声紋抽出を行ってＭ個の第１の声紋特徴を取得し、Ｎ個の前記第２のオーディオ信号のそれぞれに対して声紋抽出を行ってＮ個の第２の声紋特徴を取得する第１の声紋抽出モジュールと、Ｍ個の前記第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の前記第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得する第１のクラスタリングモジュールと、Ｋ個の前記第１の中心特徴とＪ個の前記第２の中心特徴との間の余弦距離を統計し、第１の距離を取得する第１の統計モジュールと、前記第１の距離に基づき、前記第１の評価対象音声合成モデルを評価する第１の評価モジュールとを備え、ここで、Ｍ、Ｎ、Ｋ及びＪはいずれも１よりも大きい正の整数であり、ＭはＫよりも大きく、ＮはＪよりも大きいモデル評価装置を提供する。

【0008】

本願の第３の態様として、少なくとも１つのプロセッサと、少なくとも１つの該プロセッサに通信可能に接続されたメモリとを備え、少なくとも１つの前記プロセッサにより実行されると、上記のモデル評価方法を少なくとも１つの前記プロセッサに実行させる、少なくとも１つの前記プロセッサによって実行可能な命令が前記メモリに記憶されている電子機器を提供する。

【0009】

本願の第４の態様として、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、上記のモデル評価方法を前記コンピュータに実行させる非一時的なコンピュータ読み取り可能な記憶媒体を提供する。
本願の第５の態様として、プロセッサによって実行されると、上記のモデル評価方法が実現されるコンピュータプログラムを含むコンピュータプログラム製品を提供する。

【発明の効果】

【0010】

本願の技術によれば、Ｍ個の第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得し、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第１の距離を取得する。これにより、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号の復元度を、第１の距離に基づいて全体として評価することができ、さらに第１の評価対象音声合成モデルの評価効率を向上させることができる。本願は、パーソナライズされた音声合成モデルに対する従来技術の評価効率が低いという問題を解決する。

【0011】

ここでは説明される内容は、本開示の実施例の主要な特徴又は重要な特徴を示すことを意図しておらず、本開示の範囲を限定することにも用いられないことを理解すべきである。本開示の他の特徴は、以下の説明により理解しやすくなる。

【図面の簡単な説明】

【0012】

図面は、本解決策をより理解しやすくするためであり、本願を制限するものではない。

【図1】本願の実施例１に係るモデル評価方法のフローチャートである。

【図2】第２の評価対象音声合成モデルを評価する模式的フローチャートである。

【図3】本願の実施例２に係るモデル評価装置の構造模式図１である。

【図4】本願の実施例２に係るモデル評価装置の構造模式図２である。

【図5】本願の上記実施例に係るモデル評価方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0013】

以下では、図面を参照しながら本願の例示的な実施例を説明するが、この説明には、理解を容易にするために本願の実施例の様々な詳細が含まれるが、これらは単に例示的なものであると考えるべきである。したがって、当業者が理解できるように、本願の範囲及び精神を逸脱することなく、ここでは記載される実施例に様々な変更及び修正を加えることができる。同様に、以下の説明では、周知の機能及び構造については、明確化及び簡明化のために詳しく説明しない。

【0014】

実施例１
図１に示されるように、本願の実施例１に係るモデル評価方法は、ステップＳ１０１からステップＳ１０５を含む。
ステップＳ１０１として、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号と、録音されたＮ個の第２のオーディオ信号とを取得する。

【0015】

本実施例では、第１の評価対象音声合成モデルは、パーソナライズされた音声合成モデルであり、その目的は、第１の評価対象音声合成モデルで実際の人間の発音に類似するオーディオ信号を合成して、地図、スマートスピーカーなどの分野に適用することである。

【0016】

第１の評価対象音声合成モデルは、予め設定された第１のモデルによって事前にトレーニングされて生成されてもよい。予め設定された第１のモデルは、実質的には第１のアルゴリズムによって構築されたモデルであり、第１の評価対象音声合成モデルを取得するために、予め設定された第１のモデルにおけるパラメータはトレーニングにより取得される。

【0017】

具体的には、第１のユーザがテキストに従って録音した複数のオーディオ信号をトレーニングサンプルとし、たとえば、第１のユーザがテキストに従って録音した２０個又は３０個のオーディオ信号をトレーニングサンプルとし、予め設定された第１のモデルに入力し、トレーニングして予め設定された第１のモデルにおけるパラメータデータを取得し、第１のユーザの第１の評価対象合成モデルを生成する。

【0018】

第１の評価対象合成モデルを生成した後、１バッチのテキストを使用し、第１のユーザの第１の評価対象音声合成モデルを使用して１バッチの第１のオーディオ信号を生成する。具体的には、各テキストを第１の評価対象音声合成モデルに入力し、テキストに対応する第１のオーディオ信号を出力し、最終的にＭ個の第１のオーディオ信号を取得する。同時に、第１のユーザによって録音された１バッチの第２のオーディオ信号を取得し、最終的にＮ個の第２のオーディオ信号を取得する。

【0019】

ここで、Ｍ及びＮは、同じでもよく、異なっていてもよく、ここでは特に限定しない。第１の評価対象音声合成モデルの評価結果をより正確にするために、Ｍ及びＮは、通常大きく、たとえば２０又は３０である。

【0020】

ステップＳ１０２として、Ｍ個の第１のオーディオ信号のそれぞれに対して声紋抽出を行い、Ｍ個の第１の声紋特徴を取得し、Ｎ個の第２のオーディオ信号のそれぞれに対して声紋抽出を行い、Ｎ個の第２の声紋特徴を取得する。

【0021】

第１のオーディオ信号に対して声紋抽出を行う方式は、複数の方式を含むことができ、たとえば、従来の統計的方法を使用して、第１のオーディオ信号に対して声紋抽出を行い、第１の声紋特徴である第１のオーディオ信号の統計的特徴を取得する。また、たとえば、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を使用し、第１のオーディオ信号に対して声紋抽出を行い、第１の声紋特徴である第１のオーディオ信号のＤＮＮ声紋特徴を取得する。

【0022】

また、第２のオーディオ信号に対して声紋抽出を行う方式は、第１のオーディオ信号に対して声紋抽出を行う方式と類似するため、ここでは詳しく説明しない。

【0023】

ステップＳ１０３として、Ｍ個の第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得する。

【0024】

従来、クラスタリングアルゴリズム又は新しいクラスタリングアルゴリズムを使用してＭ個の第１の声紋特徴をクラスタリングし、Ｋ個の第１の中心特徴を取得することができる。ここで、Ｋは、これらのＭ個の第１の声紋特徴のうちの２つずつの第１の声紋特徴間の余弦距離の実際の状況に基づいてクラスタリングアルゴリズムによって取得されてもよい。

【0025】

たとえば、クラスタリングアルゴリズムは、これらのＭ個の第１の声紋特徴のうちの２つずつの第１の声紋特徴間の余弦距離に応じて、これらのＭ個の第１の声紋特徴を、３つのクラスタ、４つのクラスタ、５つのクラスタなどにクラスタリングすることができ、Ｋは、クラスタの数である。ここで、各クラスタの第１の声紋特徴のうちの２つずつの第１の声紋特徴間の余弦距離、即ち、グループ内の距離は、予め設定された閾値未満である。クラスタとクラスタの第１の声紋特徴間の余弦距離、即ちグループ間の距離は、別の予め設定された閾値よりも大きい。

【0026】

クラスタリングした後、各クラスタの第１の声紋特徴に応じて、クラスタの第１の中心特徴を計算し、たとえばクラスタの第１の中心特徴がクラスタの複数の第１の声紋特徴を平均した後の声紋特徴であってもよく、最終的にＫ個の第１の中心特徴を得る。

【0027】

また、Ｎ個の声紋特徴をクラスタリングする方式は、Ｍ個の声紋特徴をクラスタリングする方式と類似するため、ここでは詳しく説明しない。

【0028】

ここで、Ｋ及びＪは、同じでもよく、異なっていてもよく、ここでは特に限定しない。また、Ｍ、Ｎ、Ｋ及びＪはいずれも１よりも大きい正の整数であり、ＭはＫよりも大きく、ＮはＪよりも大きい。

【0029】

ステップＳ１０４として、Ｋ個の第１の中心特徴と前記Ｊ個の第２の中心特徴との間の余弦距離を統計し、第１の距離を取得する。

【0030】

各第１の中心特徴について、第１の中心特徴とＪ個の第２の中心特徴のそれぞれとの間の余弦距離を計算し、第１の中心特徴に対応する余弦距離を取得することができる。ここで、２つの中心特徴間の余弦距離は、これらの２つの中心特徴の類似度を特徴付けることができる。

【0031】

たとえば、Ｋ個の第１の中心特徴は、それぞれ第１の中心特徴Ａ１、第１の中心特徴Ａ２及び第１の中心特徴Ａ３であり、Ｊ個の第２の中心特徴は、それぞれ第２の中心特徴Ｂ１、第２の中心特徴Ｂ２及び第２の中心特徴Ｂ３である。第１の中心特徴Ａ１と第２の中心特徴Ｂ１、第１の中心特徴Ａ１と第２の中心特徴Ｂ２、第１の中心特徴Ａ１と第２の中心特徴Ｂ３との間の余弦距離を計算する。そして、第１の中心特徴Ａ１に対応する余弦距離Ａ１Ｂ１、余弦距離Ａ１Ｂ２及び余弦距離Ａ１Ｂ３を取得する。次に、第１の中心特徴Ａ２と第２の中心特徴Ｂ１、第１の中心特徴Ａ２と第２の中心特徴Ｂ２、第１の中心特徴Ａ２と第２の中心特徴Ｂ３との間の余弦距離を計算する。さらに、第１の中心特徴Ａ２に対応する余弦距離Ａ２Ｂ１、余弦距離Ａ２Ｂ２及び余弦距離Ａ２Ｂ３を取得する。そして、第１の中心特徴Ａ３と第２の中心特徴Ｂ１、第１の中心特徴Ａ３と第２の中心特徴Ｂ２、第１の中心特徴Ａ３と第２の中心特徴Ｂ３との間の余弦距離を計算する。さらに、第１の中心特徴Ａ３に対応する余弦距離Ａ３Ｂ１、余弦距離Ａ３Ｂ２及び余弦距離Ａ３Ｂ３を取得する。最終的に、Ｋ個の第１の中心特徴とＪ個の第２中心特徴との間の複数の余弦距離を取得することができる。

【0032】

次に、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の複数の余弦距離を統計し、第１の距離を取得する。ここで、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の複数の余弦距離を統計する方式は、様々であり、たとえば、これらの余弦距離を合計し、第１の距離を取得する。また、たとえば、これらの余弦距離を平均して、第１の距離を取得する。

【0033】

また、Ｋ個の第１の中心特徴がＭ個の第１の声紋特徴に基づいてクラスタリングされたものであり、Ｊ個の第２の中心特徴がＮ個の第２の声紋特徴に基づいてクラスタリングされたものであり、かつ第１の距離がＫ個の第１の中心特徴とＪ個の第２の中心特徴との間の複数の余弦距離に基づいて統計されたものである。このため、第１の距離は、Ｍ個の第１の声紋特徴とＮ個の第２の声紋特徴との間の類似度を全体として評価することができる。

【0034】

つまり、第１の距離は、Ｍ個の第１のオーディオ信号と、実際の人間により録音されたＮ個の第２のオーディオ信号の発音との類似度を全体として評価する。即ち、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号の復元度を評価することができる。第１の距離が予め設定された第１の閾値未満である場合、これらのＭ個の第１のオーディオ信号の復元度が良いことを示し、第１の距離が予め設定された第１の閾値以上である場合、これらのＭ個の第１のオーディオ信号の復元度が悪いことを示す。

【0035】

ステップＳ１０５として、第１の距離に基づき、第１の評価対象音声合成モデルを評価する。

【0036】

これらのＭ個の第１のオーディオ信号が第１の評価対象音声合成モデルで合成されるため、第１の距離は、第１の評価対象音声合成モデルを評価するために使用されてもよい。これにより、第１の距離に基づき、第１の評価対象音声合成モデルを評価することができる。

【0037】

本実施例では、Ｍ個の第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得し、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第１の距離を取得する。これにより、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号の復元度を、第１の距離に基いて全体として評価することができ、さらに多くの第１のオーディオ信号の復元度を迅速に評価し、第１の評価対象音声合成モデルの評価効率を向上させることができる。

【0038】

さらに、従来技術と比較して、本実施例では、声紋検証モデルを使用してモデル評価を行う必要がないため、声紋検証モデルを定期的に更新する必要があるという欠点を回避し、モデル評価のコストを削減させる。また、モデル評価プロセスでは、複数の第１の声紋特徴と複数の第２の声紋特徴とをそれぞれクラスタリングし、複数の第１の中心特徴と複数の第２の中心特徴とを取得することにより、オーディオ信号それぞれの特徴を十分に考慮し、さらにモデル評価の精度を向上させることができる。

【0039】

さらに、第１の評価対象音声合成モデルは、実質的には１つのアルゴリズムによって構築されたモデルである予め設定された第１のモデルを事前にトレーニングして生成されたおのである。したがって、本実施例では、予め設定された第１のモデルにより複数のユーザの第１の評価対象音声合成モデルを生成し、これらのユーザの第１の評価対象音声合成モデルを評価することにより、予め設定された第１のモデルを評価し、即ち予め設定された第１のモデルを構築するためのアルゴリズムを評価することもできる。したがって、本実施例は、パーソナライズされた音声合成アルゴリズムの評価効率を向上させることもできる。

【0040】

たとえば、パーソナライズされた音声合成アルゴリズムを使用して予め設定された第１のモデルを構築し、予め設定された第１のモデルにより複数のユーザの第１の評価対象音声合成モデルを生成し、これらの複数のユーザの第１の評価対象音声合成モデルをそれぞれ評価する。次に、これらの複数のユーザの第１の評価対象音声合成モデルの評価結果に基づき、予め設定された第１のモデルを評価し、これらの複数のユーザのうち、ほとんど又はすべてのユーザの第１の評価対象音声合成モデルへの評価が成功した場合、予め設定された第１のモデルへの評価が成功し、即ち予め設定された第１のモデルを構築するためのパーソナライズされた音声合成アルゴリズムへの評価が成功したことを確定する。

【0041】

オプションとして、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第１の距離を取得することは、各第１の中心特徴について、第１の中心特徴と各第２の中心特徴との間の余弦距離を計算し、第１の中心特徴に対応するＪ個の余弦距離を取得し、第１の中心特徴に対応するＪ個の余弦距離を合計し、第１の中心特徴に対応する余弦距離の和を取得することと、Ｋ個の第１の中心特徴に対応する余弦距離の和を合計し、第１の距離を取得することとを含む。

【0042】

本実施形態では、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の複数の余弦距離を計算し、これらの複数の余弦距離を合計することで、第１の距離、即ちＫ個の第１の中心特徴とＪ個の第２の中心特徴との間の総距離を取得する。総距離は、Ｍ個の第１の声紋特徴とＮ個の第２の声紋特徴との類似度を全体として特徴付けることができる。したがって、本実施形態では、総距離に基づき、Ｍ個の第１のオーディオ信号と実際の人間によって録音されたＮ個の第２のオーディオ信号の発音との類似度を全体として評価し、即ちＭ個の第１のオーディオ信号の復元度を評価することができる。これにより、多くの第１のオーディオ信号の復元度を迅速に評価することができ、さらに第１の評価対象音声合成モデルの評価効率を向上させることができる。

【0043】

オプションとして、第１の距離に基づき、第１の評価対象音声合成モデルを評価することは、第１の距離が予め設定された第１の閾値未満である場合、第１の評価対象音声合成モデルへの評価が成功したことを確定することと、第１の距離が予め設定された第１の閾値以上である場合、第１の評価対象音声合成モデルへの評価が成功しなかったことを確定することとを含んでいてもよい。

【0044】

本実施形態では、第１の距離が予め設定された第１の閾値未満である場合、これらのＭ個の第１のオーディオ信号の復元度が良いことを全体として確定することができ、これにより、これらのＭ個の第１のオーディオ信号を合成するための第１の評価対象音声合成モデルへの評価が成功したことを確定することができる。第１の距離が予め設定された第１の閾値以上である場合、これらのＭ個の第１のオーディオ信号の復元度が低いことを全体として確定することができる。これにより、これらのＭ個の第１のオーディオ信号を合成するための第１の評価対象音声合成モデルへの評価が成功しておらず、改善する必要があることを確定することができる。

【0045】

ここで、予め設定された第１の閾値は、実際の状況に応じて設定されてもよく、合成オーディオの復元度が高く要求される分野では、予め設定された第１の閾値は、小さく設定されてもよい。

【0046】

オプションとして、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号と、録音されたＮ個の第２のオーディオ信号とを取得した後、本実施例に係るモデル評価方法は、第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号を取得することと、Ｔ個の第３のオーディオ信号のそれぞれに対して声紋抽出を行ってＴ個の第３の声紋特徴を取得することと、Ｔ個の第３の声紋特徴をクラスタリングしてＰ個の第３の中心特徴を取得することと、Ｐ個の第３の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第２の距離を取得することと、第１の距離と第２の距離とに基づき、第１の評価対象音声合成モデル又は第２の評価対象音声合成モデルを評価することとをさらに含んでいてもよい。ここで、Ｔ及びＰは１よりも大きい正の整数であり、ＴはＰよりも大きい。

【0047】

本実施形態では、第２の評価対象音声合成モデルは、第１のユーザの評価対象音声合成モデルであり、第２の評価対象音声合成モデルもパーソナライズされた音声合成モデルであり、その目的は、第２の評価対象音声合成モデルで実際の人間の発音に類似するオーディオ信号を合成し、地図、スマートスピーカーなどの分野に適用することである。

【0048】

第２の評価対象音声合成モデルは、実質的には第２のアルゴリズムによって構築されたモデルである予め設定された第２のモデルを事前にトレーニングして生成されてもよい。第２の評価対象音声合成モデルを取得するために、第２の予め設定されたモデルにおけるパラメータは、トレーニングにより取得される。ここで、第２のアルゴリズムは、第１のアルゴリズムをアップグレードしたアルゴリズムであってもよいし、第１のアルゴリズムと同種の競合アルゴリズムであってもよい。

【0049】

具体的には、第１のユーザがテキストに従って録音した複数のオーディオ信号をトレーニングサンプルとし、たとえば、第１のユーザがテキストに従って録音した２０又は３０個のオーディオ信号をトレーニングサンプルとする。そして、予め設定された第２のモデルに入力し、トレーニングして予め設定された第２のモデルにおけるパラメータデータを取得し、第１のユーザの第２の評価対象合成モデルを生成する。

【0050】

第２の評価対象合成モデルを生成した後、１バッチのテキストを使用し、第１のユーザの第２の評価対象音声合成モデルを使用して１バッチの第３のオーディオ信号を生成する。具体的には、各テキストを第２の評価対象音声合成モデルに入力し、テキストに対応する第３のオーディオ信号を出力し、最終的にＴ個の第３のオーディオ信号を取得する。

【0051】

ここで、Ｍ及びＴは、同じでもよく、異なっていてもよく、ここでは特に限定しない。第２の評価対象音声合成モデルの評価結果をより正確にするために、Ｔは、通常大きく、たとえば２０又は３０である。

【0052】

本実施形態では、第３のオーディオ信号に対して声紋抽出を行う方式は、第１のオーディオ信号に対して声紋抽出を行う方式と類似し、Ｔ個の第３の声紋特徴をクラスタリングする方式は、Ｍ個の第１の声紋特徴をクラスタリングする方式と類似する。そして、Ｐ個の第３の中心特徴とＪ個の第２の中心特徴との間の余弦距離の統計方式は、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の余弦距離の統計方式と類似し、ここでは詳しく説明しない。

【0053】

Ｐ個の第３の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第２の距離を取得した後、第１の距離と第２の距離とに基づき、第１の評価対象音声合成モデル又は第２の評価対象音声合成モデルを評価することができる。

【0054】

具体的には、第２のアルゴリズムが第１のアルゴリズムをアップグレードしたアルゴリズムである場合、一般的に、第２の評価対象音声合成モデルを評価する必要がある。図２を参照すると、図２は、第２の評価対象音声合成モデルを評価する模式的フローチャートである。図２に示されるように、ユーザによって録音されたＮ個の第２のオーディオ信号、第１の評価対象音声合成モデル即ちオンラインで使用されているモデルで合成されたＭ個の第１のオーディオ信号、及び第２の評価対象音声合成モデル即ち今回アップグレードされたモデルで合成されたＴ個の第３のオーディオ信号に対して、声紋抽出をそれぞれ行い、Ｍ個の第１の声紋特徴、Ｎ個の第２の声紋特徴、及びＴ個の第３の声紋特徴を取得する。

【0055】

次に、これらの３つの声紋特徴をそれぞれクラスタリングして、Ｋ個の第１の中心特徴、Ｊ個の第２の中心特徴、及びＰ個の第３の中心特徴を取得する。

【0056】

次に、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第１の距離を取得し、それと同時に、Ｐ個の第３の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第２の距離を取得する。

【0057】

最後に、第１の距離及び第２の距離の大きさを比較する。第２の距離が第１の距離よりも小さい場合には、第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号の復元度が第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号の復元度よりも高いことを確定し、それによって、第２の評価対象音声合成モデルへの評価が成功したことを確定する。第２の距離が第１の距離以上である場合、第２の評価対象音声合成モデルへの評価が成功しておらず、第２のアルゴリズムを再度アップグレードして改善する必要があることを確定する。

【0058】

第２のアルゴリズムが第１のアルゴリズムと同種の競合アルゴリズムである場合、一般的に、第１の評価対象音声合成モデルを評価する必要があり、第１の距離及び第２の距離の大きさを比較する。第２の距離が第１の距離よりも大きい場合、第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号の復元度が第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号の復元度よりも低いことを確定し、それによって、第１の評価対象音声合成モデルへの評価が成功したことを確定する。第２の距離が第１の距離以下である場合、第１の評価対象音声合成モデルへの評価が成功しておらず、第１のアルゴリズムをアップグレードして改善する必要があることを確定する。

【0059】

本実施形態では、Ｔ個の第３の声紋特徴をクラスタリングし、Ｐ個の第３の中心特徴を取得し、Ｐ個の第３の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第２の距離を取得する。これにより、第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号の復元度を、第２の距離に基づいて全体として評価することができ、さらに多くの第３のオーディオ信号の復元度を迅速に評価することができ、第２の評価対象音声合成モデルの評価効率を向上させることができる。また、第１の距離及び第２の距離の大きさを比較することにより、第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号の復元度と第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号の復元度とを比較することができる。さらに、様々なパーソナライズされた音声合成アルゴリズムを比較し、パーソナライズされた音声合成アルゴリズムを評価することができ、アルゴリズム評価の効率を向上させることができる。

【0060】

オプションとして、Ｋ個の第１の中心特徴のうち２つずつの第１の中心特徴間の余弦距離は、予め設定された第２の閾値よりも大きく、Ｊ個の第２の中心特徴のうち２つずつの第２の中心特徴間の余弦距離は、予め設定された第３の閾値よりも大きくてもよい。

【0061】

本実施形態では、Ｋ個の第１の中心特徴のうち２つずつの第１の中心特徴間の余弦距離を予め設定された第２の閾値よりも大きく設定し、Ｊ個の第２の中心特徴のうち２つずつの第２の中心特徴間の余弦距離を予め設定された第３の閾値よりも大きく設定することにより、オーディオ信号それぞれの特徴を十分に考慮し、さらにモデル評価の精度を向上させることができる。

【0062】

ここで、予め設定された第２の閾値及び予め設定された第３の閾値は、実際の状況に応じて設定されてもよい。オーディオ信号それぞれの特徴を十分に考慮し、モデル評価の精度を確保するために、一般的に、予め設定された第２の閾値及び予め設定された第３の閾値が大きく設定されるほど好ましく、即ち、グループ間の距離が大きいほど好ましい。

【0063】

なお、本願のモデル評価方法における複数の選択可能な実施形態は、互いに組み合わせて実現されてもよいし、個別に実現されてもよく、本願はこれについて限定しない。

【0064】

実施例２
図３に示されるように、本願は、モデル評価装置３００を提供する。
モデル評価装置３００は、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号と、録音されたＮ個の第２のオーディオ信号とを取得する第１の取得モジュール３０１と、Ｍ個の第１のオーディオ信号のそれぞれに対して声紋抽出を行ってＭ個の第１の声紋特徴を取得し、Ｎ個の第２のオーディオ信号のそれぞれに対して声紋抽出を行ってＮ個の第２の声紋特徴を取得する第１の声紋抽出モジュール３０２と、Ｍ個の第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得する第１のクラスタリングモジュール３０３と、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第１の距離を取得する第１の統計モジュール３０４と、第１の距離に基づき、第１の評価対象音声合成モデルを評価する第１の評価モジュール３０５とを備える。ここで、Ｍ、Ｎ、Ｋ及びＪはいずれも１よりも大きい正の整数であり、ＭはＫよりも大きく、ＮはＪよりも大きい。

【0065】

オプションとして、第１の統計モジュール３０４は、具体的には、各第１の中心特徴について、第１の中心特徴と各第２の中心特徴との間の余弦距離を計算し、第１の中心特徴に対応するＪ個の余弦距離を取得し、第１の中心特徴に対応するＪ個の余弦距離を合計し、第１の中心特徴に対応する余弦距離の和を取得し、Ｋ個の第１の中心特徴に対応する余弦距離の和を合計し、第１の距離を取得してもよい。

【0066】

オプションとして、第１の評価モジュール３０５は、具体的には、第１の距離が予め設定された第１の閾値未満である場合、第１の評価対象音声合成モデルへの評価が成功したことを確定し、第１の距離が予め設定された第１の閾値以上である場合、第１の評価対象音声合成モデルへの評価が成功しなかったことを確定してもよい。

【0067】

オプションとして、図４に示されるように、本願はモデル評価装置３００をさらに提供する。図３に示すモジュールに基づき、モデル評価装置３００は、第２の評価対象音声合成モデルで合成されたＴ個の第３のオーディオ信号を取得する第２の取得モジュール３０６と、Ｔ個の第３のオーディオ信号のそれぞれに対して声紋抽出を行ってＴ個の第３の声紋特徴を取得する第２の声紋抽出モジュール３０７と、Ｔ個の第３の声紋特徴をクラスタリングしてＰ個の第３の中心特徴を取得する第２のクラスタリングモジュール３０８と、Ｐ個の第３の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第２の距離を取得する第２の統計モジュール３０９と、第１の距離及び第２の距離に基づき、第１の評価対象音声合成モデル又は第２の評価対象音声合成モデルを評価する第２の評価モジュール３１０とをさらに備えていてもよい。ここで、Ｔ及びＰは１よりも大きい正の整数であり、ＴはＰよりも大きい。

【0068】

オプションとして、Ｋ個の第１の中心特徴のうち２つずつの第１の中心特徴間の余弦距離は、予め設定された第２の閾値よりも大きく、Ｊ個の第２の中心特徴のうち２つずつの第２の中心特徴間の余弦距離は、予め設定された第３の閾値よりも大きくてもよい。

【0069】

本願に係るモデル評価装置３００は、モデル評価方法の上記実施例におけるモデル評価装置で実現される各プロセスを実現することができ、かつ同じ有益な効果を達成することができ、繰り返しを回避するために、ここで詳しく説明しない。

【0070】

本願の実施例によれば、本願は、電子機器及びコンピュータ読み取り可能な記憶媒体をさらに提供する。

【0071】

図５には、本願の上記実施例に係るモデル評価方法の電子機器のブロック図が示されている。電子機器は、たとえば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなど、様々な形式のデジタルコンピュータを指すことを意図している。電子機器は、たとえば、パーソナルデジタルアシスタント、携帯電話、スマートフォン、ウェアラブル機器、及びその他の類似のコンピューティング装置など、様々な形式の移動装置を示してもよい。本明細書に示されているコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であるが、本明細書の説明及び／又は要求される本願の実現を制限する意図はしない。

【0072】

図５に示されるように、電子機器は、少なくとも１つのプロセッサ５０１と、メモリ５０２と、高速インターフェース及び低速インターフェースを有する、様々なコンポーネントを接続するためのインターフェースとを備える。
各コンポーネントは、異なるバスを介して互いに接続され、共通のマザーボードに取り付けられ、又は必要に応じて他の方式で取り付けられ得る。プロセッサは電子機器内で実行される命令を処理でき、この命令には、メモリ内に格納される又はメモリ上に格納されて外部入力／出力装置（たとえば、インターフェースに結合された表示機器など）にＧＵＭのグラフィック情報を表示する命令が含まれる。他の実施形態では、複数のプロセッサ及び／又は複数のバスを、必要に応じて、複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は必要な操作の一部（たとえば、サーバアレイ、ブレードサーバのグループ、又はマルチプロセッサシステムとして）を提供する。図５では、単一のプロセッサ５０１を用いた場合が例示されている。

【0073】

メモリ５０２は、本願の実施例に係る非一時的なコンピュータ読み取り可能な記憶媒体である。
メモリ５０２は、本願の実施例に係る上記モデル評価方法を少なくとも１つのプロセッサに実行させるように、少なくとも１つのプロセッサによって実行可能な命令を格納している。本願の非一時的なコンピュータ読み取り可能な記憶媒体は、本願に係るモデル評価方法をコンピュータに実行させるためのコンピュータ命令を格納している。

【0074】

非一時的なコンピュータ読み取り可能な記憶媒体としてのメモリ５０２は、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュール、たとえば、本願の実施例に係るモデル評価方法に対応するプログラム命令／モジュール（たとえば、図３又は図４に示す第１の取得モジュール３０１、第１の声紋抽出モジュール３０２、第１のクラスタリングモジュール３０３、第１の統計モジュール３０４、第１の評価モジュール３０５、第２の取得モジュール３０６、第２の声紋抽出モジュール３０７、第２のクラスタリングモジュール３０８、第２の統計モジュール３０９及び第２の評価モジュール３１０）を格納することができる。プロセッサ５０１は、メモリ５０２に格納された非一時的なソフトウェアプログラム、命令、及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち、上記実施例に係るモデル評価方法を実現する。

【0075】

メモリ５０２は、プログラム記憶領域及びデータ記憶領域を含むことができ、プログラム記憶領域は、オペレーティングシステム、及び少なくとも１つの機能に必要なアプリケーションプログラムを格納し、データ記憶領域は、モデル評価方法を実現するための電子機器の使用に従って作成されたデータなどを格納する。
さらに、メモリ５０２は、高速ランダムアクセスメモリを含み、さらに、たとえば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスなどの非一時的なメモリを含んでもよい。他の実施例として、メモリ５０２は、プロセッサ５０１に対して遠隔的に設置されるメモリを選択的に含んでもよく、これらの遠隔メモリは、ネットワークを介してモデル評価方法を実現するための電子機器に接続され得る。上記ネットワークの一例には、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

【0076】

モデル評価方法を実現する電子機器は、入力装置５０３及び出力装置５０４をさらに備えていてもよい。プロセッサ５０１、メモリ５０２、入力装置５０３及び出力装置５０４はバス又はその他の方式で接続してもよく、図５には、バスによる接続が例示されている。

【0077】

入力装置５０３は、入力される数字又はキャラクター情報を受信すること、モデル評価方法を実現するための電子機器、たとえば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインタ、少なくとも１つのマウスボタン、トラックボール、ジョイスティックなどの入力装置のユーザ設定及び機能制御に関連するキー信号入力を生成することができる。
出力装置５０４は、表示機器、補助照明装置（たとえば、ＬＥＤ）、触覚フィードバック装置（たとえば、振動モータ）などを含む。表示機器は、液晶ディスプレイ（ＬＤＣ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むが、これらに限定されない。他の実施例として、表示機器はタッチスクリーンであってもよい。

【0078】

本願の実施例によれば、本願は、コンピュータプログラム製品をさらに提供する。
ここで説明するシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、少なくとも１つのコンピュータプログラム製品において実施され、少なくとも１つのコンピュータプログラムは、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行及び／又は解釈され得、このプログラム可能なプロセッサは専用又は汎用のプログラム可能なプロセッサであってもよい。ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令をこのストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に送信することができる。

【0079】

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）には、プログラム可能なプロセッサの機械命令が含まれ、高度なプロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ／機械語を用いてこれらのコンピューティングプログラムを実施できる。たとえば、本明細書で使用される「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラム可能なプロセッサの任意のコンピュータプログラム製品、機器、及び／又は装置（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック機器（ＰＬＤ））に提供するものを指し、機械読み取り可能な信号としての機械命令を受信するための機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、プログラム可能なプロセッサに機械命令及び／又はデータを提供するために使用される任意の信号を指す。

【0080】

ユーザと対話できるように、ここで説明するシステム及び技術をコンピュータに実施することができ、このコンピュータは、ユーザに情報を表示するための表示装置（たとえば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、ユーザがコンピュータに入力することを可能とするキーボード及びポインティング装置（たとえば、マウスやトラックボール）を有する。他の種類の装置も、ユーザとの対話を提供することができ、たとえば、ユーザに提供するフィードバックは、任意の形式の感覚フィードバック（たとえば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であってもよく、そして、ユーザからの入力は、任意の形式（音響入力、音声入力、又は触覚入力を含む）で受信できる。

【0081】

ここで説明するシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（たとえば、データサーバとして）、又はミドルウェアコンポーネントを含むコンピューティングシステム（たとえば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（たとえば、グラフィカルユーザインターフェース又はＷＥＢブラウザーを備えたユーザコンピュータが挙げられ、ユーザはこのグラフィカルユーザインターフェース又はこのＷＥＢブラウザーを介してここで説明するシステム及び技術の実施形態と対話できる）、又はこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントを含む任意の組み合わせコンピューティングシステムにおいて実施できる。システムのコンポーネントは、任意の形式又は媒体のデジタルデータ通信（たとえば、通信ネットワーク）を介して相互に接続できる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットが含まれる。

【0082】

コンピュータシステムには、クライアントとサーバを含むことができる。クライアントとサーバは通常、互いに遠く離れており、通信ネットワークを介して互いに会話するのが一般的である。クライアントとサーバの関係は、対応するコンピュータで実行され、互いにクライアント－サーバの関係を持つコンピュータプログラムによって生成される。

【0083】

本実施例では、Ｍ個の第１の声紋特徴をクラスタリングしてＫ個の第１の中心特徴を取得し、Ｎ個の第２の声紋特徴をクラスタリングしてＪ個の第２の中心特徴を取得し、Ｋ個の第１の中心特徴とＪ個の第２の中心特徴との間の余弦距離を統計し、第１の距離を取得する。これにより、第１の評価対象音声合成モデルで合成されたＭ個の第１のオーディオ信号の復元度を、第１の距離に基いて全体として評価することができ、さらに多くの第１のオーディオ信号の復元度を迅速に評価し、第１の評価対象音声合成モデルの評価効率を向上させることができる。したがって、上記の技術的手段により、パーソナライズされた音声合成モデルに対する従来技術の評価効率が低いという問題をよく解決する。

【0084】

なお、上記の様々な形式のプロセスを用いて、ステップを改めて並べ替えたり、追加したり、削除したりすることができる。たとえば、本願に記載の各ステップは、本願開示の技術案の所望の結果が達成できる限り、並行して実施しても、順次実施しても、異なる順序で実施してもよく、本明細書では、それについて限定しない。

【0085】

上記特定実施形態は、本願の特許範囲に対する制限を構成するものではない。当業者にとって明らかなように、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができる。本願の精神及び原則の範囲内で行われた修正、同等の置換、及び改良であれば、本願の特許範囲に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】