特許 7355306 機械学習を利用したテキスト音声合成方法、装置およびコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-25

(45)【発行日】2023-10-03

(54)【発明の名称】機械学習を利用したテキスト音声合成方法、装置およびコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G10L 13/10 20130101AFI20230926BHJP

   G10L 25/30 20130101ALI20230926BHJP

【ＦＩ】

G10L13/10 113Z

G10L25/30

【請求項の数】 21

(21)【出願番号】P 2022081878

(22)【出願日】2022-05-18

(62)【分割の表示】P 2020538659の分割

【原出願日】2019-01-11

(65)【公開番号】P2022107032

(43)【公開日】2022-07-20

【審査請求日】2022-05-30

(31)【優先権主張番号】10-2018-0004066

(32)【優先日】2018-01-11

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2018-0004234

(32)【優先日】2018-01-12

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2018-0004235

(32)【優先日】2018-01-12

(33)【優先権主張国・地域又は機関】KR

(31)【優先権主張番号】10-2019-0004186

(32)【優先日】2019-01-11

(33)【優先権主張国・地域又は機関】KR

(73)【特許権者】

【識別番号】519018864

【氏名又は名称】ネオサピエンス株式会社

【氏名又は名称原語表記】ＮＥＯＳＡＰＩＥＮＣＥ， ＩＮＣ．

(74)【代理人】

【識別番号】100121728

【弁理士】

【氏名又は名称】井関 勝守

(74)【代理人】

【識別番号】100165803

【弁理士】

【氏名又は名称】金子 修平

(72)【発明者】

【氏名】ギム テス

(72)【発明者】

【氏名】イ ヨングン

【審査官】山下 剛史

(56)【参考文献】

【文献】特開２０１７－３２８３９（ＪＰ，Ａ）

【文献】特開２０１７－５８４１１（ＪＰ，Ａ）

【文献】特開２００６－１８９５４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００９２２５８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｌ １３／００－１３／１０，２５／３０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

テキスト音声合成（ｔｅｘｔ－ｔｏ－ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ）装置であって、
メモリと、
前記メモリと連結され、前記メモリに含まれたコンピュータ読み取り可能な少なくとも一つのプログラムを実行するように構成された少なくとも一つのプロセッサとを含み、
前記少なくとも一つのプログラムは、
入力テキストを受信し、
話者の発声特徴を受信し、
前記受信された入力テキストおよび前記話者の発声特徴を人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成し、
前記話者の発声特徴を調節するための追加の入力を受信するための命令語を含み、ここで、前記話者の発声特徴は、前記受信された追加の入力に基づいて調節される話者の発声特徴を含み、
前記人工ニューラルネットワークのテキスト音声合成モデルは、複数の学習テキストおよび前記複数の学習テキストに対応する音声データに基づいて機械学習を遂行して学習される、テキスト音声合成装置。

【請求項2】

前記話者の発声特徴は、前記話者の発声特徴を表す埋め込みベクトルを含み、前記埋め込みベクトルは、話者の音声サンプルから抽出される、請求項１に記載のテキスト音声合成装置。

【請求項3】

前記話者の発声特徴を表す埋め込みベクトルは、学習された人工ニューラルネットワークの埋め込みベクトル抽出モデルを用いて、話者の音声サンプルに基づいて抽出される、請求項２に記載のテキスト音声合成装置。

【請求項4】

前記話者の発声特徴を表す埋め込みベクトルは、前記話者の韻律的特徴を表す第１のサブ埋め込みベクトルを含み、ここで、前記韻律的特徴は、発話速度に関する情報、発音アクセントに関する情報、休止区間に関する情報または音高に関する情報のうち少なくとも１つを含み、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成することは、前記話者の韻律的特徴を表す第１のサブ埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の韻律的特徴が反映された前記入力テキストに対する出力音声データを生成することを含む、請求項２に記載のテキスト音声合成装置。

【請求項5】

前記話者の発声特徴を表す埋め込みベクトルは、前記話者の感情的特徴を表す第２のサブ埋め込みベクトルを含み、ここで、前記感情的特徴は、前記話者の発話内容に内在された感情に関する情報を含み、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成することは、前記話者の感情的特徴を表す第２のサブ埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の感情的特徴が反映された前記入力テキストに対する出力音声データを生成することを含む、請求項２に記載のテキスト音声合成装置。

【請求項6】

前記話者の発声特徴を表す埋め込みベクトルは、前記話者の音色および音高に対する特徴を表す第３のサブ埋め込みベクトルを含み、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成することは、前記話者の音色および音高に対する特徴を表す第３のサブ埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の音色および音高に対する特徴が反映された前記入力テキストに対する出力音声データを生成することを含む、請求項２に記載のテキスト音声合成装置。

【請求項7】

前記少なくとも一つのプログラムは、
前記追加の入力に基づいて、前記話者の発声特徴を表す埋め込みベクトルを修正し、
前記修正された埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記出力音声データを、前記追加の入力に含まれた情報が反映された前記入力テキストに対する音声データに変換するための命令語をさらに含む、請求項２に記載のテキスト音声合成装置。

【請求項8】

前記話者の発声特徴を調節するための追加の入力は、性別に関する情報、年齢に関する情報、地域別イントネーションに関する情報、発声の速度に関する情報、音高または発声の大きさに関する情報のうち少なくとも１つを含む、請求項１に記載のテキスト音声合成装置。

【請求項9】

前記話者の発声特徴を受信することは、
予め決定された時間区間内に、前記話者から入力された音声を前記話者の音声サンプルとしてリアルタイムで受信し、
前記話者の音声サンプルから前記話者の発声特徴を受信することを含む、請求項１に記載のテキスト音声合成装置。

【請求項10】

前記話者の発声特徴を受信することは、第１の話者の発声特徴および第２の話者の発声特徴を受信することを含み、ここで、前記第１の話者および前記第２の話者は互いに異なり、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成することは、前記受信された入力テキスト、前記第１の話者の発声特徴および前記第２の話者の発声特徴を前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記第１の話者の発声特徴および前記第２の話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成することを含む、請求項１に記載のテキスト音声合成装置。

【請求項11】

機械学習を利用したテキスト音声合成（ｔｅｘｔ－ｔｏ－ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ）方法であって、
入力テキストを受信するステップと、
話者の発声特徴を受信するステップと、
前記受信された入力テキストおよび前記話者の発声特徴を人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成するステップと、
前記話者の発声特徴を調節するための追加の入力を受信するステップとを含み、ここで、前記話者の発声特徴は、前記受信された追加の入力に基づいて調節される話者の発声特徴を含み、
前記人工ニューラルネットワークのテキスト音声合成モデルは、複数の学習テキストおよび前記複数の学習テキストに対応する音声データに基づいて機械学習を遂行して学習される、テキスト音声合成方法。

【請求項12】

前記話者の発声特徴は、前記話者の発声特徴を表す埋め込みベクトルを含み、前記埋め込みベクトルは、話者の音声サンプルから抽出される、請求項１１に記載のテキスト音声合成方法。

【請求項13】

前記話者の発声特徴を表す埋め込みベクトルは、学習された人工ニューラルネットワークの埋め込みベクトル抽出モデルを用いて、話者の音声サンプルに基づいて抽出される、請求項１２に記載のテキスト音声合成方法。

【請求項14】

前記話者の発声特徴を表す埋め込みベクトルは、前記話者の韻律的特徴を表す第１のサブ埋め込みベクトルを含み、ここで、前記韻律的特徴は、発話速度に関する情報、発音アクセントに関する情報、休止区間に関する情報または音高に関する情報のうち少なくとも１つを含み、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成するステップは、前記話者の韻律的特徴を表す第１のサブ埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の韻律的特徴が反映された前記入力テキストに対する出力音声データを生成するステップを含む、請求項１２に記載のテキスト音声合成方法。

【請求項15】

前記話者の発声特徴を表す埋め込みベクトルは、前記話者の感情的特徴を表す第２のサブ埋め込みベクトルを含み、ここで、前記感情的特徴は、前記話者の発話内容に内在された感情に関する情報を含み、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成するステップは、前記話者の感情的特徴を表す第２のサブ埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の感情的特徴が反映された前記入力テキストに対する出力音声データを生成するステップを含む、請求項１２に記載のテキスト音声合成方法。

【請求項16】

前記話者の発声特徴を表す埋め込みベクトルは、前記話者の音色および音高に対する特徴を表す第３のサブ埋め込みベクトルを含み、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成するステップは、前記話者の音色および音高に対する特徴を表す第３のサブ埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記話者の音色および音高に対する特徴が反映された前記入力テキストに対する出力音声データを生成するステップを含む、請求項１２に記載のテキスト音声合成方法。

【請求項17】

前記追加の入力に基づいて、前記話者の発声特徴を表す埋め込みベクトルを修正するステップと、
前記修正された埋め込みベクトルを前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記出力音声データを、前記追加の入力に含まれた情報が反映された前記入力テキストに対する音声データに変換するステップとをさらに含む、請求項１２に記載のテキスト音声合成方法。

【請求項18】

前記話者の発声特徴を調節するための追加の入力は、性別に関する情報、年齢に関する情報、地域別イントネーションに関する情報、発声の速度に関する情報、音高または発声の大きさに関する情報のうち少なくとも１つを含む、請求項１１に記載のテキスト音声合成方法。

【請求項19】

前記話者の発声特徴を受信するステップは、
予め決定された時間区間内に、前記話者から入力された音声を前記話者の音声サンプルとしてリアルタイムで受信するステップと、
前記話者の音声サンプルから前記話者の発声特徴を受信するステップとを含む、請求項１１に記載のテキスト音声合成方法。

【請求項20】

前記話者の発声特徴を受信するステップは、第１の話者の発声特徴および第２の話者の発声特徴を受信するステップを含み、ここで、前記第１の話者および前記第２の話者は互いに異なり、
前記話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成するステップは、前記受信された入力テキスト、前記第１の話者の発声特徴および前記第２の話者の発声特徴を前記人工ニューラルネットワークのテキスト音声合成モデルに入力して、前記第１の話者の発声特徴および前記第２の話者の発声特徴が反映された前記入力テキストに対する出力音声データを生成するステップを含む、請求項１１に記載のテキスト音声合成方法。

【請求項21】

請求項１１乃至２０の何れか一項に記載の方法をコンピュータで実行するために、コンピュータ読み取り可能な記録媒体に保存されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、入力テキストを受信して入力テキストに対する音声を合成する方法および合
成された音声を再生する装置に関するものである。

【背景技術】

【0002】

音声（ｓｐｅｅｃｈ）は、人間の基礎的で効果的な意思を伝達できる道具の１つである
。音声ベースの通信は、ユーザーに直観的で便利なサービスを提供し、一部の装置は、音
声を使用して相互作用できる音声ユーザーインターフェースを使用している。従来の音声
ユーザーインターフェースにおいて、音声応答を具現する簡単な方法はオーディオ録音で
あるが、録音された音声のみが利用され得るという限界があった。これらの装置は、録音
されてない音声に対しては応答サービスを提供できないため、装置の使用における柔軟性
が低下する。例えば、Ａｐｐｌｅ Ｓｉｒｉ（登録商標）およびＡｍａｚｏｎ Ａｌｅｘ
ａ（登録商標）などの人工知能（ＡＩ）のエージェントは、ユーザーのクエリ（ｑｕｅｒ
ｉｅｓ）がランダムであり得るため、ユーザーのクエリに対する応答サービスのために多
様な文章を生成することができる必要がある。これらのアプリケーションにおいて可能な
すべての応答を録音する場合、かなりの時間と費用が要求される。このような環境におい
て、多くの研究者が自然で速い音声合成モデルを開発しようと努力している。また、テキ
ストから音声を生成できるＴＴＳ（ｔｅｘｔ－ｔｏ－ｓｐｅｅｃｈ）ともいうテキスト音
声合成が広く研究されている。

【0003】

一般的に、ＴＴＳ技術は、波形接続型ＴＴＳ（Ｃｏｎｃａｔｅｎａｔｉｖｅ ＴＴＳ）
、パラメトリックＴＴＳ（Ｐａｒａｍｅｔｒｉｃ ＴＴＳ）など、多様な音声合成方法が
ある。例えば、波形接続型ＴＴＳは、音声を音素などの非常に短い単位で事前に切断して
格納し、合成する文章を構成する音声を結合して合成することができ、パラメトリックＴ
ＴＳは、音声の特徴をパラメータで表現し、合成可能な文章を構成する音声の特徴を表す
パラメータを、ボコーダー（ｖｏｃｏｄｅｒ）を利用して文章に対応する音声に合成する
ことができる。

【0004】

一方、最近では、人工ニューラルネットワーク（例えば、ディープニューラルネットワ
ーク）ベースの音声合成方法が活発に研究されており、これらの音声合成方法によって合
成された音声は、従来の方法に比べてはるかに自然な音声の特徴を含んでいる。しかし、
人工ニューラルネットワークベースの音声合成方法によって新たな話者のための音声合成
サービスを提供するためには、その話者の声に該当する多くのデータが必要であり、この
データを利用した人工ニューラルネットワークモデルの再学習が要求される。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示による方法および装置は、新たな話者に関する多くのデータまたは情報の入力な
しに、その新たな話者の発声の特性が反映された、入力テキストに対する出力音声データ
を提供する音声合成方法および装置に関するものである。また、本開示による方法および
装置は、別途の機械学習なしに、新たな話者を拡張して音声合成サービスを提供すること
ができる。

【課題を解決するための手段】

【0006】

本開示の一実施例に係る機械学習を利用したテキスト音声合成（ｔｅｘｔ－ｔｏ－ｓｐ
ｅｅｃｈ ｓｙｎｔｈｅｓｉｓ）方法は、複数の学習テキストおよび複数の学習テキスト
に対応する音声データに基づいて機械学習を遂行して生成された、単一の人工ニューラル
ネットワークのテキスト音声合成（ｔｅｘｔ－ｔｏ－ｓｐｅｅｃｈ ｓｙｎｔｈｅｓｉｓ
）モデルを生成するステップと、入力テキストを受信するステップと、話者の発声特徴を
受信するステップと、話者の発声特徴を単一の人工ニューラルネットワークのテキスト音
声合成モデルに入力して、話者の発声特徴が反映された入力テキストに対する出力音声デ
ータを生成するステップと、を含むことができる。

【0007】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の話者の発声特徴を
受信するステップは、音声サンプルを受信するステップと、音声サンプルから話者の発声
特徴を表す埋め込みベクトルを抽出するステップとを含むことができる。

【0008】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の音声サンプルから
話者の発声特徴を表す埋め込みベクトルを抽出するステップは、話者の韻律的特徴を表す
第１のサブ埋め込みベクトルを抽出するステップを含み、ここで、韻律的特徴は、発話速
度に関する情報、発音アクセントに関する情報、休止区間に関する情報または音高に関す
る情報のうち少なくとも１つを含み、話者の発声特徴が反映された入力テキストに対する
出力音声データを生成するステップは、韻律的特徴を表す第１のサブ埋め込みベクトルを
単一の人工ニューラルネットワークのテキスト音声合成モデルに入力して、話者の韻律的
特徴が反映された入力テキストに対する出力音声データを生成するステップを含むことが
できる。

【0009】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の音声サンプルから
話者の発声特徴を表す埋め込みベクトルを抽出するステップは、話者の感情的特徴を表す
第２のサブ埋め込みベクトルを抽出するステップを含み、ここで、感情的特徴は、話者の
発話内容に内在された感情に関する情報を含み、話者の発声特徴が反映された入力テキス
トに対する出力音声データを生成するステップは、感情的特徴を表す第２のサブ埋め込み
ベクトルを単一の人工ニューラルネットワークのテキスト音声合成モデルに入力して、話
者の感情的特徴が反映された入力テキストに対する出力音声データを生成するステップを
含むことができる。

【0010】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の音声サンプルから
話者の発声特徴を表す埋め込みベクトルを抽出するステップは、話者の音色および音高に
対する特徴を表す第３のサブ埋め込みベクトルを抽出するステップを含み、話者の発声特
徴が反映された入力テキストに対する出力音声データを生成するステップは、話者の音色
および音高に対する特徴を表す第３のサブ埋め込みベクトルを単一の人工ニューラルネッ
トワークのテキスト音声合成モデルに入力して、話者の音色および音高に対する特徴が反
映された入力テキストに対する出力音声データを生成するステップを含むことができる。

【0011】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の話者の発声特徴が
反映された入力テキストに対する出力音声データを生成するステップは、出力音声データ
に対する追加の入力を受信するステップと、追加の入力に基づいて、話者の発声特徴を表
す埋め込みベクトルを修正するステップと、修正された埋め込みベクトルを単一の人工ニ
ューラルネットワークのテキスト音声合成モデルに入力して、出力音声データを、追加の
入力に含まれた情報が反映された入力テキストに対する音声データに変換するステップと
を含むことができる。

【0012】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の出力音声データに
対する追加の入力は、性別に関する情報、年齢に関する情報、地域別イントネーションに
関する情報、発声の速度に関する情報、音高または発声の大きさに関する情報のうち少な
くとも１つを含むことができる。

【0013】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の音声サンプルを受
信するステップは、予め決定された時間区間内に、話者から入力された音声を音声サンプ
ルとしてリアルタイムで受信するステップを含むことができる。

【0014】

本開示の一実施例に係る機械学習を利用したテキスト音声合成方法の音声サンプルを受
信するステップは、予め決定された時間区間内に、話者から入力された音声を音声データ
ベースから受信するステップを含むことができる。

【0015】

また、上述したような機械学習を利用したテキスト音声合成方法を具現するためのプロ
グラムは、コンピュータ読み取り可能な記憶媒体に記録されることができる。

【0016】

また、上述したような機械学習を利用したテキスト音声合成方法と関連した装置および
技術的手段などもまた開示することができる。

【図面の簡単な説明】

【0017】

【図1】図１は、本開示の一実施例に係るテキスト音声合成端末を示す図である。

【図2】図２は、本開示の一実施例に係るテキスト音声合成装置を示す図である。

【図3】図３は、本開示の一実施例に係るテキスト音声合成方法を示すフローチャートである。

【図4】図４は、本開示の一実施例に係るテキスト音声合成装置を示す図である。

【図5】図５は、人工ニューラルネットワークベースのテキスト音声合成装置の構成を示す図である。

【図6】図６は、本開示の一実施例に係る人工ニューラルネットワークベースのテキスト音声合成装置の構成を示す図である。

【図7】図７は、本開示の一実施例に係る複数の話者の各々を区別することができる発声特徴を表す埋め込みベクトルを抽出するネットワークを示す図である。

【図8】図８は、本開示の一実施例に係る人工ニューラルネットワークベースのテキスト音声合成装置の構成を示す図である。

【図9】図９は、本開示の一実施例に係る発声特徴調節部の動作を示すフローチャートである。

【図10】図１０は、本開示の一実施例に基づいて出力音声の特性を変更するユーザーインターフェースの例示を示す図である。

【図11】図１１は、本開示の一実施例に係るテキスト音声合成システムのブロック図である。

【発明を実施するための形態】

【0018】

開示された実施例の利点および特徴、そしてそれらを達成する方法は、添付の図面と共
に後述される実施例を参照すると明確である。しかし、本開示は、以下において開示され
る実施形態に限定されるものではなく、異なる多様な形態で具現されることができ、単に
本実施例は、本開示が完全になるようにし、本開示が属する技術分野において通常の知識
を有する者に発明の範疇を完全に知らせるために提供されるだけのものである。

【0019】

本明細書において使用される用語について簡略に説明し、開示された実施例について具
体的に説明する。

【0020】

本明細書において使用される用語は、本開示での機能を考慮しながら可能な現在広く使
用される一般的な用語を選択したが、これは関連分野に携わる技術者の意図または判例、
新しい技術の出現などによって異なることができる。また、特定の場合、出願人が任意に
選定した用語もあり、この場合は該当する発明の説明部分で詳細にその意味を記載する。
したがって、本開示において使用される用語は、単純な用語の名称ではなく、その用語が
有する意味と本開示の全般にわたる内容に基づいて定義されるべきである。

【0021】

本明細書においての単数の表現は、文脈上明らかに単数であるものと特定していない限
り、複数の表現を含む。また、複数の表現は、文脈上明らかに複数であるものと特定して
いない限り、単数の表現を含む。

【0022】

明細書全体においてある部分がある構成要素を「含む」とするとき、これは特に反対の
記載がない限り、他の構成要素を除外するのではなく、他の構成要素をさらに含むことが
可能であることを意味する。

【0023】

また、明細書において使用される「部」という用語は、ソフトウェアまたはハードウェ
ア構成要素を意味し、「部」は、ある役割を遂行する。しかしながら、「部」は、ソフト
ウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングできる
格納媒体にあるように構成することもでき、１つまたはそれ以上のプロセッサを再生させ
るように構成されることもできる。したがって、一例として「部」は、ソフトウェア構成
要素、オブジェクト指向ソフトウェア構成要素、クラス構成要素およびタスクの構成要素
のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラム
コードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、デー
タベース、データ構造、テーブル、アレイおよび変数を含む。構成要素と「部」の中で提
供される機能は、より少数の構成要素および「部」で結合されたり、追加の構成要素と「
部」にさらに分離されたりすることができる。

【0024】

本開示の一実施例によれば、「部」は、プロセッサおよびメモリで具現されることがで
きる。用語「プロセッサ」は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロ
セッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、状
態マシンなどを含むように広く解釈されるべきである。いくつかの環境において「プロセ
ッサ」は、カスタムＩＣ（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フ
ィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを称することもできる。用語「プ
ロセッサ」は、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロ
セッサの組み合わせ、ＤＳＰコアと結合した１つ以上のマイクロプロセッサの組み合わせ
、または任意の他のこのような構成の組み合わせのような処理デバイスの組み合わせを称
することもできる。

【0025】

用語「メモリ」は、電子情報を格納可能な任意の電子コンポーネントを含むように広く
解釈されるべきである。用語「メモリ」は、ランダムアクセスメモリ（ＲＡＭ）、読み出
し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマ
ブル読み出し専用メモリ（ＰＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（
ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）
、フラッシュメモリ、磁気または光学データ記憶装置、レジスタなどのプロセッサ－読み
出し可能媒体の多様なタイプを称することもできる。プロセッサがメモリから情報を読み
取りし／したり、メモリに情報を記録することができたりすれば、メモリは、プロセッサ
と電子通信状態にあると言われる。プロセッサに集積されたメモリは、プロセッサと電子
通信状態にある。

【0026】

以下では、添付した図面を参照して、実施例に対して本開示が属する技術分野における
通常の知識を有する者が容易に実施できるように詳細に説明する。そして図面で本開示を
明確に説明するために説明と関係ない部分は省略する。

【0027】

図１は、本開示の一実施例に係るテキスト音声合成端末（１００）を示す図である。

【0028】

テキスト音声合成端末（１００）は、少なくとも１つのプロセッサとメモリを含むこと
ができる。例えば、テキスト音声合成端末（１００）は、スマートフォン、コンピュータ
または携帯電話などで具現されることができる。テキスト音声合成端末（１００）は、通
信部を含んで外部装置（例えば、サーバ装置）と通信することができる。

【0029】

テキスト音声合成端末（１００）は、ユーザー（１１０）からテキスト入力と特定の話
者入力を受信することができる。例えば、図１に図示されたように、テキスト音声合成端
末（１００）は、テキスト入力として、「Ｈｏｗ ａｒｅ ｙｏｕ？」を受信することが
できる。また、テキスト音声合成端末（１００）は、話者入力として、「人１」を受信す
ることができる。ここで、「人１」は、予め設定された話者、すなわち「人１」の発声特
徴を示すことができる。テキスト音声合成端末（１００）は、複数の人の発声特徴のうち
少なくとも１つの発声特徴（例えば、「人１」）を予め設定するように構成されることが
できる。例えば、このような複数の人の発声特徴は、通信部を介してサーバー装置などの
外部装置から受信されることができる。図１では、予め設定された話者を指定できるユー
ザーインターフェースを図示しているが、これに限定されるものではなく、ユーザーは、
特定のテキストに対する音声をテキスト音声合成端末（１００）に提供することができ、
テキスト音声合成端末（１００）は、受信された音声の発声特徴を抽出して、音声合成の
ためのユーザーの発声特徴が選択されるように表示することができる。例えば、受信され
た音声から音声の発声特徴が抽出されることができ、音声の発声特徴は、埋め込みベクト
ルで表示されることができる。

【0030】

テキスト音声合成端末（１００）は、指定された話者の発声特徴が反映された入力テキ
ストに対する音声データを出力するように構成されることができる。例えば、図１に図示
されたように、「Ｈｏｗ ａｒｅ ｙｏｕ」の入力テキストに対する出力音声データを生
成するにおいて、選択された「人１」の発声特徴が出力音声データに反映されるように構
成されることができる。ここで、特定の話者の発声特徴は、その話者の音声を模写するこ
とだけでなく、その発声を構成できるスタイル、韻律、感情、音色、音高などの多様な要
素のうち少なくとも１つを含むことができる。このような出力音声データを生成するため
に、テキスト音声合成端末（１００）は、テキスト音声合成装置に入力テキストおよび指
定された話者を提供することができ、テキスト音声合成装置から合成された音声データ（
例えば、「人１」の発声特徴が反映された「Ｈｏｗ ａｒｅ ｙｏｕ」の音声データ）を
受信することができる。テキスト音声合成装置に関しては、以下の図２でより詳細に説明
する。テキスト音声合成端末（１００）は、合成された音声データをユーザー（１１０）
に出力することができる。これと異なり、テキスト音声合成端末（１００）は、テキスト
音声合成装置を含むように構成されることができる。

【0031】

図２は、本開示の一実施例に係るテキスト音声合成装置（２００）を示す図である。

【0032】

図２のテキスト音声合成装置（２００）が使用するデータ学習部（図示せず）およびデ
ータ認識部（図示せず）は、後述される図１１のテキスト音声合成装置（１１００）の構
成と同一または類似の構成を含むことができる。テキスト音声合成装置（２００）は、発
声特徴抽出部（２１０）、発声特徴調節部（２２０）、音声データベース（２３０）、エ
ンコーダ（２４０）、デコーダ（２５０）、後処理プロセッサ（２６０）および通信部（
２７０）を含むことができる。

【0033】

一実施例によれば、発声特徴抽出部（２１０）は、話者の音声信号（例えば、音声サン
プル）を受信し、受信された音声信号から話者の発声特徴を抽出するように構成されるこ
とができる。ここで、受信した音声信号またはサンプルは、話者の発声特徴に関連する情
報を示す音声スペクトルデータを含むことができる。話者の発声特徴を抽出するにおいて
、話者の音声信号から発声特徴を抽出できる任意の知られた適切な特徴抽出方法が使用さ
れることができる。例えば、メル周波数ケプストラム（ＭＦＣ）のような音声処理方法を
利用して受信された音声信号またはサンプルから発声特徴を抽出することができる。これ
と異なり、音声サンプルを学習された発声特徴抽出モデル（例えば、人工ニューラルネッ
トワーク）に入力して、発声特徴を抽出することができる。例えば、抽出された話者の発
声特徴は、埋め込みベクトルで表すことができる。他の実施例によれば、発声特徴抽出部
（２１０）は、テキストおよびビデオのうちの少なくとも１つを受信することができ、受
信されたテキストおよびビデオから話者の発声特徴を抽出するように構成されることがで
きる。抽出された話者の発声特徴は、エンコーダ（２４０）またはデコーダ（２５０）の
うち少なくとも１つに提供することができる。

【0034】

一実施例によれば、発声特徴抽出部（２１０）から抽出された話者の発声特徴は、記憶
媒体（例えば、音声データベース（２３０））または外部記憶装置に格納されることがで
きる。これにより、入力テキストに対する音声合成時に、記憶媒体に予め格納された複数
の話者の発声特徴のうち１つ以上の話者の発声特徴が選択または指定されることができ、
選択または指定された複数の話者の発声特徴が音声合成に利用されることができる。

【0035】

発声特徴調節部（２２０）は、話者の発声特徴を調節するように構成されることができ
る。一実施例によれば、発声特徴調節部（２２０）は、話者の発声特徴を調節するための
情報を受信することができる。例えば、話者の発声特徴を調節するための情報は、発声特
徴調節部（２２０）によってユーザーから入力されることができる。ユーザーから受信し
た情報に基づいて、発声特徴調節部（２２０）は、発声特徴抽出部（２１０）から抽出さ
れた話者の発声特徴を調節することができる。

【0036】

一実施例によれば、音声データベース（２３０）は、学習テキストおよび複数の学習テ
キストに対応する音声を格納することができる。学習テキストは、少なくとも１つの言語
で作成されることができ、人が理解できる単語、句および文章のうち少なくとも１つを含
むことができる。また、音声データベース（２３０）に格納された音声は、複数の話者が
学習テキストを読んだ音声データを含むことができる。学習テキストおよび音声データは
、音声データベース（２３０）に予め格納されていたり、通信部（２７０）から受信され
たりすることができる。音声データベース（２３０）が格納している学習テキストおよび
音声に基づいて、エンコーダ（２４０）およびデコーダ（２５０）のうち少なくとも１つ
は、単一の人工ニューラルネットワークのテキスト音声合成モデルを含んだり、生成した
りすることができる。例えば、エンコーダ（２４０）およびデコーダ（２５０）が、単一
の人工ニューラルネットワークのテキスト音声合成モデルを構成することができる。

【0037】

一実施例によれば、音声データベース（２３０）は、発声特徴抽出部（２１０）から抽
出された１つ以上の話者の発声特徴を格納するように設定されることができる。格納され
た話者の発声特徴（例えば、話者の発声特徴を表す埋め込みベクトル）は、音声合成時に
エンコーダ（２４０）またはデコーダのうち少なくとも１つに提供されることができる。

【0038】

また、エンコーダ（２４０）は、入力テキストを受信することができ、入力テキストを
文字埋め込みに変換して生成するように構成されることができる。このような文字埋め込
みは、単一の人工ニューラルネットワークのテキスト音声合成モデル（例えば、プレネッ
ト（ｐｒｅ－ｎｅｔ）、ＣＢＨＧモジュール、ディープニューラルネットワーク（ＤＮＮ
）、畳み込みニューラルネットワーク＋ディープニューラルネットワーク（ＣＮＮ＋ＤＮ
Ｎ）など）に入力して、エンコーダ（２４０）の隠れ状態を生成することができる。一実
施例によれば、エンコーダ（２４０）は、発声特徴抽出部（２１０）または発声特徴調節
部（２２０）のうち少なくとも１つから話者の発声特徴をさらに受信し、文字埋め込みお
よび話者の発声特徴を単一の人工ニューラルネットワークのテキスト音声合成モデル（例
えば、プレネット（ｐｒｅ－ｎｅｔ）、ＣＢＨＧモジュール、ディープニューラルネット
ワーク（ＤＮＮ）、畳み込みニューラルネットワーク＋ディープニューラルネットワーク
（ＣＮＮ＋ＤＮＮ）など）に入力して、エンコーダ（２４０）の隠れ状態（ｈｉｄｄｅｎ
ｓｔａｔｅｓ）を生成することができる。このように生成されたエンコーダ（２４０）
の隠れ状態は、デコーダ（８２０）に提供されることができる。

【0039】

デコーダ（２５０）は、話者の発声特徴を受信するように構成されることができる。デ
コーダ（２５０）は、発声特徴抽出部（２１０）および発声特徴調節部（２２０）のうち
少なくとも１つから話者の発声特徴を受信することができる。しかし、これに限定される
ものではなく、デコーダ（２５０）は、通信部（２７０）または入出力部（Ｉ／Ｏ部；図
示せず）から話者の発声特徴を受信することができる。

【0040】

デコーダ（２５０）は、エンコーダ（２４０）から入力テキストに対応した隠れ状態を
受信することができる。一実施例によれば、デコーダ（２５０）は、現在の時間－ステッ
プ（ｔｉｍｅ－ｓｔｅｐ）で入力テキストのうちどの部分から音声を生成するかを決定す
るように構成されたアテンションモジュールを含むことができる。

【0041】

デコーダ（２５０）は、話者の発声特徴および入力テキストを単一の人工ニューラルネ
ットワークのテキスト音声合成モデルに入力して、入力テキストに対応する出力音声デー
タを生成することができる。このような出力音声データは、話者の発声特徴が反映された
合成音声データを含むことができる。一実施例によれば、予め設定された第１の話者の発
声特徴に基づいて、第１の話者が入力テキストを読むように見える出力音声データが生成
されることができる。例えば、出力音声データは、メルスペクトログラムで表現されるこ
とができる。しかし、これに限定されるものではなく、出力音声データは、線形スペクト
ログラムで表現されることができる。このような出力音声データは、スピーカー、後処理
プロセッサ（２６０）または通信部（２７０）のうち少なくとも１つに出力されることが
できる。

【0042】

一実施例によれば、後処理プロセッサ（２６０）は、デコーダ（２５０）で生成された
出力音声データをスピーカーで出力可能な音声に変換するように構成されることができる
。例えば、変換された出力可能な音声は、波形（ｗａｖｅｆｏｒｍ）で表示することがで
きる。後処理プロセッサ（２６０）は、デコーダ（２５０）で生成された出力音声データ
がスピーカーで出力されるに不適切な場合にのみ動作するように構成されることができる
。つまり、デコーダ（２５０）で生成された出力音声データがスピーカーで出力されるに
適切な場合、出力音声データは、後処理プロセッサ（２６０）を経由せずに直接スピーカ
ーに出力されることができる。これにより、図２では、後処理プロセッサ（２６０）がテ
キスト音声合成装置（２００）に含まれるように図示されているが、後処理プロセッサ（
２６０）がテキスト音声合成装置（２００）に含まれないように構成されることができる
。

【0043】

一実施例によれば、後処理プロセッサ（２６０）は、デコーダ（２５０）で生成された
メルスペクトログラムで表現された出力音声データを、時間ドメインの波形に変換するよ
うに構成されることができる。また、後処理プロセッサ（２６０）は、出力音声データの
信号の大きさが予め決定された基準の大きさに達していない場合、出力音声データの大き
さを増幅させることができる。後処理プロセッサ（２６０）は、変換された出力音声デー
タをスピーカーまたは通信部（２７０）のうち少なくとも１つに出力することができる。

【0044】

通信部（２７０）は、テキスト音声合成装置（２００）が外部装置と、信号またはデー
タを送受信するように構成されることができる。外部装置は、図１のテキスト音声合成端
末（１００）を含むことができる。これと異なり、外部装置は、他のテキスト音声合成装
置を含むことができる。また、外部装置は、音声データベースを含む任意の装置であるこ
とができる。

【0045】

一実施例によれば、通信部（２７０）は、外部装置からテキストを受信するように構成
されることができる。ここで、テキストは、単一の人工ニューラルネットワークのテキス
ト音声合成モデルの学習のために使用される学習テキストを含むことができる。これと異
なり、テキストは、ユーザー端末から受信された入力テキストを含むことができる。これ
らのテキストは、エンコーダ（２４０）またはデコーダ（２５０）のうち少なくとも１つ
に提供されることができる。

【0046】

一実施例において、通信部（２７０）は、外部装置から話者の発声特徴を受信すること
ができる。通信部（２７０）は、外部装置から話者の音声信号またはサンプルを受信し、
発声特徴抽出部（２１０）に送信することができる。

【0047】

通信部（２７０）は、ユーザー端末から入力された情報を受信することができる。例え
ば、通信部（２７０）は、話者の発声特徴を調節するための入力情報を受信し、受信され
た入力情報を発声特徴調節部（２２０）に提供することができる。

【0048】

通信部（２７０）は、任意の信号またはデータを外部装置に送信することができる。例
えば、通信部（２７０）は、生成された出力音声に関連する情報、つまり、出力音声デー
タを外部装置に送信することができる。また、生成された単一の人工ニューラルネットワ
ークのテキスト音声合成モデルは、通信部（２７０）を介してテキスト音声合成端末（１
００）または他のテキスト音声合成装置に送信されることができる。

【0049】

一実施例によれば、テキスト音声合成装置（２００）は、入出力部（Ｉ／Ｏ装置；図示
せず）をさらに含むことができる。入出力部は、ユーザーから入力を直接受信することが
できる。また、入出力部は、ユーザーに音声、映像またはテキストのうち少なくとも１つ
を出力することができる。

【0050】

図３は、本開示の一実施例に係るテキスト音声合成方法を示すフローチャートである。

【0051】

まず、ステップ３１０において、テキスト音声合成装置（２００）は、複数の学習テキ
ストおよび複数の学習テキストに対応する音声データに基づいて機械学習を遂行して生成
された単一の人工ニューラルネットワークのテキスト音声合成（ｔｅｘｔ－ｔｏ－ｓｐｅ
ｅｃｈ ｓｙｎｔｈｅｓｉｓ）モデルを生成するステップを遂行することができる。テキ
スト音声合成装置（２００）は、ステップ３２０において、入力テキストを受信するステ
ップを遂行することができる。ステップ３３０において、テキスト音声合成装置（２００
）は、話者の発声特徴を受信するステップを遂行することができる。テキスト音声合成装
置（２００）は、話者の発声特徴を予め学習されたテキスト音声合成モデルに入力して、
話者の発声特徴が反映された入力テキストに対する出力音声データを生成するステップを
ステップ３４０において遂行することができる。

【0052】

以下では、図４と一緒にテキスト音声合成方法をより詳細に説明する。

【0053】

図４は、本開示の一実施例に係るテキスト音声合成装置（４００）を示す図である。図
４のテキスト音声合成装置（４００）は、図２のテキスト音声合成装置（２００）の構成
と同一または類似の構成を含むことができる。テキスト音声合成装置（４００）は、発声
特徴抽出部（４１０）、音声データベース（４３０）、通信部（４７０）、エンコーダ（
４４０）およびデコーダ（４５０）を含むことができる。図４の発声特徴抽出部（４１０
）は、図２の発声特徴抽出部（２１０）の構成と同一または類似の構成を含むことができ
る。図４の音声データベース（４３０）は、図２の音声データベース（２３０）の構成と
同一または類似の構成を含むことができる。図４の通信部（４７０）は、図２の通信部（
２７０）の構成と同一または類似の構成を含むことができる。図４のエンコーダ（４４０
）は、図２のエンコーダ（２４０）の構成と同一または類似の構成を含むことができる。
図４のデコーダ（４５０）は、図２のデコーダ（２５０）の構成と同一または類似の構成
を含むことができる。図２のテキスト音声合成装置（２００）の説明と図４のテキスト音
声合成装置（４００）の説明の中で重複する内容は省略する。

【0054】

一実施例によれば、テキスト音声合成装置（４００）は、話者の音声サンプルまたは信
号を受信することができる。例えば、音声サンプルは、通信部（４７０）を介してユーザ
ー端末から受信されることができる。さらに他の例として、このような話者の音声サンプ
ルまたは信号は、音声データベースを含むテキスト音声合成端末から受信されることがで
きる。このような話者の音声サンプルまたは信号は、発声特徴抽出部（４１０）に提供さ
れることができる。話者の音声サンプルまたは信号は、予め決定された時間区間内に話者
から入力された音声データを含むことができる。例えば、予め決定された時間区間は、話
者が自分の音声を入力できる比較的短い時間（例：数秒、数十秒または数十分以内）を表
すことができる。

【0055】

一実施例によれば、テキスト音声合成装置（４００）は、音声合成の対象である入力テ
キストを受信するように構成されることができる。例えば、入力テキストは、ユーザー端
末から通信部（４７０）を介して受信されることができる。これと異なり、テキスト音声
合成装置（４００）は、入出力装置（図示せず）が含まれているため、これらの入力テキ
ストの入力を受けることができる。受信された入力テキストは、発声特徴抽出部（４１０
）に提供されることができる。

【0056】

一実施例によれば、音声データベース（４３０）は、１つ以上の話者の音声サンプルま
たは信号を格納するように構成されることができる。このような話者の音声サンプルまた
は信号は、発声特徴抽出部（４１０）に提供されることができる。

【0057】

発声特徴抽出部（４１０）は、音声サンプルまたは信号から話者の発声特徴を表す埋め
込みベクトルを抽出するステップを遂行することができる。発声特徴抽出部（４１０）は
、韻律的特徴抽出部（４１２）、感情的特徴抽出部（４１４）、音色および音高抽出部（
４１６）を含むことができる。図４における発声特徴抽出部（４１０）は、韻律的特徴抽
出部（４１２）、感情的特徴抽出部（４１４）、音色および音高抽出部（４１６）を含む
ように図示されているが、韻律的特徴抽出部（４１２）、感情的特徴抽出部（４１４）、
音色および音高抽出部（４１６）のうち少なくとも１つを含むように構成されることがで
きる。

【0058】

韻律的特徴抽出部（４１２）は、話者の韻律的特徴を表す第１のサブ埋め込みベクトル
を抽出するように構成されることができる。ここで、韻律的特徴は、発話速度に関する情
報、発音アクセントに関する情報、休止区間に関する情報および音高に関する情報のうち
少なくとも１つを含むことができる。抽出された話者の韻律的特徴を表す第１のサブ埋め
込みベクトルは、エンコーダ（４４０）またはデコーダ（４５０）のうち少なくとも１つ
に提供されることができる。一実施例によれば、エンコーダ（４４０）およびデコーダ（
４５０）は、韻律的特徴を表す第１のサブ埋め込みベクトルを単一の人工ニューラルネッ
トワークのテキスト音声合成モデルに入力して、話者の韻律的特徴が反映された入力テキ
ストに対する出力音声データを生成することができる。

【0059】

感情的特徴抽出部（４１４）は、話者の感情的特徴を表す第２のサブ埋め込みベクトル
を抽出するように構成されることができる。ここで、感情的特徴は、話者の発話内容に内
在された感情に関する情報を含むことができる。例えば、感情的特徴は、予め決定された
感情に限定されず、話者の音声に内在されている１つ以上の感情のそれぞれに対する程度
および／または内在された感情の組み合わせなどの情報を含むことができる。抽出された
話者の感情的特徴を表す第２のサブ埋め込みベクトルは、エンコーダ（４４０）またはデ
コーダ（４５０）のうち少なくとも１つに提供されることができる。一実施例によれば、
エンコーダ（４４０）およびデコーダ（４５０）は、感情的特徴を表す第２のサブ埋め込
みベクトルを単一の人工ニューラルネットワークのテキスト音声合成モデルに入力して、
話者の感情的特徴が反映された入力テキストに対する出力音声データを生成することがで
きる。

【0060】

音色および音高抽出部（４１６）は、話者の音色および音高に対する特徴を表す第３の
サブ埋め込みベクトルを抽出するように構成されることができる。抽出された話者の音色
および音高に対する特徴を表す第３のサブ埋め込みベクトルは、エンコーダ（４４０）ま
たはデコーダ（４５０）のうち少なくとも１つに提供されることができる。一実施例によ
れば、エンコーダ（４４０）およびデコーダ（４５０）は、話者の音色および音高に対す
る特徴を表す第３のサブ埋め込みベクトルを単一の人工ニューラルネットワークのテキス
ト音声合成モデルに入力して、話者の音色および音高に対する特徴が反映された入力テキ
ストに対する出力音声データを生成することができる。

【0061】

一実施例によれば、エンコーダ（４４０）は、抽出された話者の発声特徴を表す埋め込
みベクトルを受信することができる。エンコーダ（４４０）は、予め機械学習された１つ
以上の話者の発声特徴を表す埋め込みベクトルおよび受信された話者の発声特徴を表す埋
め込みベクトルに基づいて、単一の人工ニューラルネットワークのテキスト音声合成モデ
ルを生成または更新することによって、より類似な話者の音声を合成することができる。

【0062】

図４においては、１つの話者の音声サンプルまたは信号から感情的特徴、韻律的特徴ま
たは音声および音高のうち少なくとも１つを抽出して、音声を合成するものとして図示さ
れているが、これに限定されるものではない。他の実施例において、感情的特徴、韻律的
特徴または音声および音高のうち少なくとも１つが他の話者の音声サンプルまたは信号か
ら抽出されることもできる。例えば、発声特徴抽出部（４１０）は、第１の話者の音声サ
ンプルまたは信号を受信し、受信された第１の話者の音声サンプルまたは信号から感情的
特徴および韻律的特徴を抽出する一方、第２の話者の音声サンプルまたは信号（例：有名
人の音声）を受信し、受信された第２の話者の音声サンプルまたは信号から音色および音
高の特徴を抽出することができる。このように抽出された２つの話者の発声特徴は、音声
合成時にエンコーダ（４４０）またはデコーダ（４５０）のうち少なくとも１つに提供さ
れることができる。これにより、合成される音声には、第１の話者の音声サンプルまたは
信号内に含まれた音声を発話した第１の話者の感情と韻律が反映されるが、第２の話者（
例示：有名人）の音声サンプルまたは信号内に含まれた音声を発話した第２の話者の音色
および音高が反映されることができる。

【0063】

図５は、人工ニューラルネットワークベースのテキスト音声合成装置の構成を示す図で
ある。

【0064】

一実施例によれば、エンコーダ（５１０）は、テキストを発音情報として生成するよう
に構成されることができる。また、生成された発音情報は、アテンションモジュールを含
むデコーダ（５２０）に提供され、デコーダ（５２０）は、このような発音情報を音声と
して生成するように構成されることができる。

【0065】

エンコーダ（５１０）は、入力テキストを文字埋め込み（ｃｈａｒａｃｔｅｒ ｅｍｂ
ｅｄｄｉｎｇ）に変換して生成することができる。エンコーダ（５１０）において、生成
された文字埋め込みは、全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を含
むプレネット（ｐｒｅ－ｎｅｔ）に通過させることができる。また、エンコーダ（５１０
）は、プレネット（ｐｒｅ－ｎｅｔ）からの出力をＣＢＨＧモジュールに提供し、図５に
図示されたように、エンコーダの隠れ状態（Ｅｎｃｏｒｄｅｒ ｈｉｄｄｅｎ ｓｔａｔ
ｅｓ）ｅｉを出力することができる。例えば、ＣＢＨＧモジュールは、１次元畳み込みバ
ンク（１Ｄ ｃｏｎｖｏｌｕｔｉｏｎ ｂａｎｋ）、最大プーリング（ｍａｘ ｐｏｏｌ
ｉｎｇ）、ハイウェイネットワーク（ｈｉｇｈｗａｙ ｎｅｔｗｏｒｋ）、双方向ＧＲＵ
（ｂｉｄｉｒｅｃｔｉｏｎａｌ ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）を含むこ
とができる。

【0066】

デコーダ（５２０）は、全結合層から構成されたプレネットとＧＲＵ（ｇａｔｅｄ ｒ
ｅｃｕｒｒｎｔ ｕｎｉｔ）を含むアテンション（ａｔｔｅｎｔｉｏｎ）ＲＮＮ（ｒｅｃ
ｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、レジデュアルＧＲＵ（ｒｅｓｉｄｕａ
ｌ ＧＲＵ）を含むデコーダＲＮＮ（ｄｅｃｏｄｅｒ ＲＮＮ）を含むことができる。例
えば、デコーダ（５２０）からの出力は、メルスケールスペクトログラム（ｍｅｌ－ｓｃ
ａｌｅ ｓｐｅｃｔｒｏｇｒａｍ）で表現されることができる。

【0067】

デコーダ（５２０）のアテンションＲＮＮおよびデコーダＲＮＮは、音声の話者に該当
する情報を受信することができる。例えば、デコーダ（５２０）は、ワンホット話者ＩＤ
ベクトル（５２１）を受信することができる。デコーダ（５２０）は、ワンホット話者Ｉ
Ｄベクトル（５２１）に基づいて、話者埋め込みベクトル（５２２）を生成することがで
きる。デコーダ（５２０）のアテンションＲＮＮおよびデコーダＲＮＮは、話者埋め込み
ベクトル（５２２）を受信して、与えられた話者別に異なる出力音声データを生成するこ
とができるように、単一の人工ニューラルネットワークのテキスト音声合成モデルを更新
することができる。

【0068】

また、デコーダ（５２０）は、エンコーダ（５１０）と同様に、単一の人工ニューラル
ネットワークのテキスト音声合成モデルを生成または更新するために、入力テキスト、話
者に関連する情報および入力テキストに対応する音声信号のペアで存在するデータベース
を利用することができる。デコーダ（５２０）は、入力テキスト、話者に関連する情報を
それぞれ人工ニューラルネットワークの入力とし、該当の入力テキストに対応する音声信
号を正解として学習することができる。デコーダ（５２０）は、入力テキストと話者に関
連する情報を更新された単一の人工ニューラルネットワークのテキスト音声合成モデルに
適用して、その話者の音声を出力することができる。

【0069】

また、デコーダ（５２０）の出力は、後処理プロセッサ（５３０）に提供されることが
できる。後処理プロセッサ（５３０）のＣＢＨＧは、デコーダ（５２０）のメルスケール
スペクトログラムをリニアスケールスペクトログラム（ｌｉｎｅａｒ－ｓｃａｌｅ ｓｐ
ｅｃｔｒｏｇｒａｍ）に変換するように構成されることができる。例えば、後処理プロセ
ッサ（５３０）のＣＢＨＧの出力信号は、マグニチュードスペクトログラム（ｍａｇｎｉ
ｔｕｄｅ ｓｐｅｃｔｒｏｇｒａｍ）を含むことができる。後処理プロセッサ（５３０）
のＣＢＨＧの出力信号の位相（ｐｈａｓｅ）は、グリフィンリム（Ｇｒｉｆｆｉｎ－Ｌｉ
ｍ）アルゴリズムを通じて復元され、逆短時間フーリエ変換（ｉｎｖｅｒｓｅ ｓｈｏｒ
ｔ－ｔｉｍｅ ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）されることができる。後処理プロ
セッサ（５３０）は、時間ドメイン（ｔｉｍｅ ｄｏｍａｉｎ）の音声信号に出力するこ
とができる。

【0070】

このような人工ニューラルネットワークベースのテキスト音声合成装置は、テキストと
音声信号のペアで存在する大容量のデータベースを利用して学習されることができる。入
力としてテキストを入れて出た出力を、該当する正解音声信号と比較して損失関数（ｌｏ
ｓｓ ｆｕｎｃｔｉｏｎ）を定義することができる。テキスト音声合成装置は、損失関数
を誤差逆伝播（ｅｒｒｏｒ ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）アルゴリズムを通じて
学習し、最終的にランダムのテキストを入力したときに所望の音声出力が出る単一の人工
ニューラルネットワークのテキスト音声合成モデルを得ることができる。

【0071】

図６は、本開示の一実施例に係る人工ニューラルネットワークベースのテキスト音声合
成装置の構成を示す図である。

【0072】

図６において、図５で説明した内容と重複する内容は省略される。図６のデコーダ（６
２０）は、エンコーダ（６１０）からエンコーダの隠れ状態ｅｉを受信することができる
。また、図６のデコーダ（６２０）は、図５のデコーダ（５２０）と異なり、話者の音声
データ（６２１）を受信することができる。ここで、音声データ（６２１）は、予め決定
された時間区間（短い時間区間、例えば、数秒、数十秒または数十分）内に話者から入力
された音声を表すデータを含むことができる。例えば、話者の音声データ（６２１）は、
音声スペクトログラムデータ（例えば、ログメルスペクトログラム）を含むことができる
。デコーダ（６２０）は、話者の音声データに基づいて、話者の発声特徴を表す話者の発
声特徴埋め込みベクトル（６２２）を取得することができる。デコーダ（６２０）は、話
者の発声特徴埋め込みベクトル（６２２）をアテンションＲＮＮおよびデコーダＲＮＮに
提供することができる。

【0073】

図５に図示されたテキスト音声合成システムは、話者の発声特徴を表す情報として話者
（ｓｐｅａｋｅｒ）ＩＤを使用し、これらの話者ＩＤは、ワンホットベクトル（ｓｉｎｇ
ｌｅ－ｈｏｔ ｖｅｃｔｏｒ）として表現されることができる。ただし、このようなワン
ホット話者ＩＤベクトルは、学習データにない新たな話者に対するＩＤに容易に拡張する
ことができない。このようなテキスト音声合成システムは、ワンホットベクトルで表現さ
れた話者に対してのみ埋め込みを学習したため、新たな話者の埋め込みを得る方法がない
。新たな話者の音声を生成するためには、全体ＴＴＳモデルを再学習したり、ＴＴＳモデ
ルの埋め込み層を微調整したりする必要がある。これらの作業は、ＧＰＵが搭載された装
備を利用する場合、相当な時間が所要されるプロセスに該当する。これに反して、図６に
図示されたテキスト音声合成システムは、新たな話者ベクトルを生成するためにＴＴＳモ
デルを追加で学習したり、話者埋め込みベクトルを手動で検索したりすることなく、新た
な話者の音声を即時生成することができるＴＴＳシステムを提供する。つまり、テキスト
音声合成システムは、複数の話者に適応的に変更された音声を生成することができる。

【0074】

一実施例によれば、図６においては入力テキストに対する音声合成時に、第１の話者の
音声データ（６２１）から抽出された第１の話者の発声特徴埋め込みベクトル（６２２）
がデコーダＲＮＮおよびアテンションＲＮＮに入力されるように構成されているが、図５
に図示された第２の話者のワンホット話者ＩＤベクトル（５２１）も一緒にデコーダＲＮ
ＮおよびアテンションＲＮＮに入力されることができる。例えば、発声特徴埋め込みベク
トル（６２２）に関連する第１の話者とワンホット話者ＩＤベクトル（５２１）に関連す
る第２の話者は同一であることができる。さらに他の例として、発声特徴埋め込みベクト
ル（６２２）に関連する第１の話者とワンホット話者ＩＤベクトル（５２１）に関連する
第２の話者は異なることができる。これにより、入力テキストに対する音声合成時に、第
１の話者の発声特徴埋め込みベクトル（６２２）および第２の話者のワンホット話者ＩＤ
ベクトル（５２１）が一緒にデコーダＲＮＮおよびアテンションＲＮＮに入力されること
によって、入力テキストに対応する第２の話者の音声に第１の話者の発声特徴埋め込みベ
クトル（６２２）に含まれた韻律的特徴、感情的特徴または音色および音高の特徴のうち
少なくとも１つの特徴が反映された合成音声が生成されることができる。つまり、ワンホ
ット話者ＩＤベクトル（５２１）と関連する第２の話者の声に、第１の話者の発声特徴、
すなわち、韻律的特徴、感情的特徴または音色および音高の特徴のうち少なくとも１つの
特徴が反映された合成音声が生成されることができる。

【0075】

図７は、本開示の一実施例に係る複数の話者の各々を区別することができる埋め込みベ
クトル（６２２）を抽出するネットワークを示す図である。

【0076】

一実施例によれば、図７に図示されたネットワークは、畳み込みネットワーク（ｃｏｎ
ｖｕｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）および最大オーバータイムプーリング（ｍａｘ
－ｏｖｅｒ－ｔｉｍｅ ｐｏｏｌｉｎｇ）を含み、ログメルスペクトログラム（ｌｏｇ－
Ｍｅｌ－ｓｐｅｃｔｒｏｇｒａｍ）の入力を受けて、音声サンプルまたは音声信号として
固定次元話者埋め込みベクトルを抽出することができる。ここで、音声サンプルまたは音
声信号は、入力テキストに該当する音声データである必要はなく、ランダムに選択された
音声信号が使用されることができる。

【0077】

このようなネットワークにおいて、スペクトログラムが利用されることに制約がないた
め、任意のスペクトログラムがこのネットワークに挿入されることができる。また、これ
により、ネットワークの即時的な適応を介して新たな話者のための発声特徴を表す埋め込
みベクトル（６２２）を生成することができる。入力スペクトログラムは、多様な長さを
有することができるが、例えば、時間軸に対して長さが１に固定された次元ベクトルが畳
み込み層の終端に位置する最大オーバータイムプーリング（ｍａｘ－ｏｖｅｒ－ｔｉｍｅ
ｐｏｏｌｉｎｇ）層に入力されることができる。

【0078】

図７においては、畳み込みネットワーク（ｃｏｎｖｕｌｕｔｉｏｎａｌ ｎｅｔｗｏｒ
ｋ）および最大オーバータイムプーリング（ｍａｘ－ｏｖｅｒ－ｔｉｍｅ ｐｏｏｌｉｎ
ｇ）を含むネットワークを図示しているが、話者の発声特徴を抽出するために多様な層を
含むネットワークを構築することができる。例えば、話者の発声特徴のうちアクセントの
ように時間に応じて音声特徴パターンの変化を表す場合、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ
ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用して特徴を抽出するようにネットワークを具現す
ることができる。

【0079】

図８は、本開示の一実施例に係る人工ニューラルネットワークベースのテキスト音声合
成装置の構成を示す図である。図８のテキスト音声合成装置に対する説明において、図５
または図６のテキスト音声合成装置と重複する説明は省略する。図８において、エンコー
ダ（８１０）は、入力テキストを受信することができる。例えば、入力テキストは、複数
の言語で構成されることができる。一実施例によれば、入力テキストは、１つ以上の言語
で使用される単語、句または文章のうち少なくとも１つを含むことができる。例えば、「
アンニョンハセヨ」などのような韓国語の文章または「Ｈｏｗ ａｒｅ ｙｏｕ？」など
のような英語の文章のようなテキストの入力を受けることができる。入力テキストが受信
されると、エンコーダ（８１０）は、受信された入力テキストを字母単位、文字単位、音
素（ｐｈｏｎｅｍｅ）単位に分離することができる。他の実施例によれば、エンコーダ（
８１０）は、字母単位、文字単位、音素（ｐｈｏｎｅｍｅ）単位に分離された入力テキス
トを受信することができる。さらに他の実施例によれば、エンコーダ（８１０）は、入力
テキストに対する文字埋め込みを受信することができる。

【0080】

エンコーダ（８１０）が入力テキストまたは分離された入力テキストを受信した場合、
エンコーダ（８１０）は、少なくとも１つの埋め込み層を生成するように構成されること
ができる。一実施例によれば、エンコーダ（８１０）の少なくとも１つの埋め込み層は、
字母単位、文字単位、音素（ｐｈｏｎｅｍｅ）単位に分離された入力テキストに基づいて
文字埋め込みを生成することができる。例えば、エンコーダ（８１０）は、分離された入
力テキストに基づいて文字埋め込みを取得するために、すでに学習された機械学習モデル
（例えば、確率モデルまたはニューラルネットワークなど）を使用することができる。さ
らに、エンコーダ（８１０）は、機械学習を遂行しながら機械学習モデルを更新すること
ができる。機械学習モデルが更新される場合、分離された入力テキストに対する文字埋め
込みも変更されることができる。

【0081】

エンコーダ（８１０）は、文字埋め込みを全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ
ｌａｙｅｒ）で構成されたＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モジュ
ールに通過させることができる。ＤＮＮは、一般的なフィードフォワード層（ｆｅｅｄｆ
ｏｒｗａｒｄ ｌａｙｅｒ）または線形層（ｌｉｎｅａｒ ｌａｙｅｒ）を含むことがで
きる。

【0082】

エンコーダ（８１０）は、ＤＮＮの出力をＣＮＮ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅ
ｕｒａｌ ｎｅｔｗｏｒｋ）またはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔ
ｗｏｒｋ）のうち少なくとも１つが含まれたモジュールに提供することができる。また、
エンコーダ（８１０）は、デコーダ（８２０）で話者の音声データに基づいて生成された
話者の発声特徴埋め込みベクトル（ｓ）を受信することができる。ＣＮＮは、畳み込みカ
ーネル（ｃｏｎｖｏｌｕｔｉｏｎ ｋｅｒｎｅｌ）サイズによる地域的特性を捕捉するこ
とができる反面、ＲＮＮは、長期依存性（ｌｏｎｇ ｔｅｒｍ ｄｅｐｅｎｄｅｎｃｙ）
を捕捉することができる。エンコーダ（８１０）は、ＤＮＮの出力および話者の発声特徴
埋め込みベクトル（ｓ）をＣＮＮまたはＲＮＮのうち少なくとも１つに入力して、エンコ
ーダ（８１０）の隠れ状態（ｈ）を出力することができる。

【0083】

デコーダ（８２０）は、話者の音声データを受信することができる。デコーダ（８２０
）は、話者の音声データに基づいて、話者の発声特徴埋め込みベクトル（ｓ）を生成する
ことができる。埋め込み層は、話者の音声データを受信することができる。埋め込み層は
、話者の音声データに基づいて、話者の発声特徴を生成することができる。ここで、話者
の発声特徴は、個人別に異なる特徴を有することができる。埋め込み層は、例えば、機械
学習に基づいて話者別の発声特徴を区別することができる。例えば、埋め込み層は、話者
の発声特徴を表す話者の発声特徴埋め込みベクトル（ｓ）を生成することができる。一実
施例によれば、デコーダ（８２０）は、話者の発声特徴を話者の発声特徴埋め込みベクト
ル（ｓ）に変換するために、すでに学習された機械学習モデルを使用することができる。
デコーダは、機械学習を遂行しながら機械学習モデルを更新することができる。機械学習
モデルが更新される場合、話者の発声特徴を表す話者の発声特徴埋め込みベクトル（ｓ）
も変更されることができる。例えば、前述した図７の音声抽出ネットワークを利用して、
受信された話者の音声データから話者の発声特徴を抽出することができる。

【0084】

話者の発声特徴埋め込みベクトル（ｓ）は、エンコーダ（８１０）のＣＮＮまたはＲＮ
Ｎのうち少なくとも１つに出力されることができる。また、話者の発声特徴埋め込みベク
トル（ｓ）は、デコーダのデコーダＲＮＮおよびアテンションＲＮＮに出力されることが
できる。

【0085】

デコーダ（８２０）のアテンション（ａｔｔｅｎｔｉｏｎ）は、エンコーダ（８１０）
からエンコーダの隠れ状態（ｈ）を受信することができる。隠れ状態（ｈ）は、エンコー
ダ（８１０）の機械学習モデルからの結果値を示すことができる。例えば、隠れ状態（ｈ
）は、本開示の一実施例による単一の人工ニューラルネットワークのテキスト音声合成モ
デルの一部構成要素を含むことができる。また、デコーダ（８２０）のアテンションは、
アテンションＲＮＮから情報を受信することができる。アテンションＲＮＮから受信した
情報は、デコーダ（８２０）が以前の時間－ステップ（ｔｉｍｅ－ｓｔｅｐ）までどの音
声を生成したのかに関する情報を含むことができる。また、デコーダ（８２０）のアテン
ションは、アテンションＲＮＮから受信した情報およびエンコーダの情報に基づいて、コ
ンテキストベクトルを出力することができる。エンコーダ（８１０）の情報は、音声を生
成すべき入力テキストに関する情報を含むことができる。コンテキストベクトルは、現在
の時間－ステップ（ｔｉｍｅ－ｓｔｅｐ）で入力テキストのうちどの部分から音声を生成
するかを決定するための情報を含むことができる。例えば、デコーダ（８２０）のアテン
ションは、音声生成の初期には、入力テキストの前部分に基づいて音声を生成し、音声が
生成されるにつれて、徐々に入力テキストの後部分に基づいて音声を生成するようにする
情報を出力することができる。

【0086】

デコーダ（８２０）は、話者の発声特徴埋め込みベクトル（ｓ）をアテンション（ａｔ
ｔｅｎｔｉｏｎ）ＲＮＮおよびデコーダ（ｄｅｃｏｄｅｒ）ＲＮＮに入力して、話者別に
異ならせてデコードをするように人工ニューラルネットワークの構造を構成することがで
きる。一実施例によれば、テキスト音声合成システムは、人工ニューラルネットワークを
学習させるために、テキスト、話者の発声特徴埋め込みベクトル（ｓ）、音声信号のペア
で存在するデータベースを利用することができる。他の実施例においては、図５で説明し
たように、話者の発声特徴を表す話者の発声特徴埋め込みベクトル（ｓ）の代わりにワン
ホットベクトルを使用して、データベースが構築されることができる。また、話者の発声
特徴埋め込みベクトル（ｓ）とワンホットベクトルが一緒に使用されてデータベースが構
築されることができる。

【0087】

ダミーフレームは、以前の時間－ステップ（ｔｉｍｅ－ｓｔｅｐ）が存在しない場合、
デコーダに入力されるフレームである。ＲＮＮは、自動回帰（ａｕｔｏｒｅｇｒｅｓｓｉ
ｖｅ）で機械学習をすることができる。つまり、直前の時間－ステップ（８２２）で出力
されたｒフレームは、現在の時間－ステップ（８２３）の入力となることができる。最初
の時間－ステップ（８２１）では直前の時間－ステップが存在しないため、デコーダ（８
２０）は、最初の時間－ステップの機械学習ネットワークにダミーフレームを入力するこ
とができる。

【0088】

一実施例によれば、デコーダ（８２０）は、全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅ
ｄ ｌａｙｅｒ）で構成されたＤＮＮを含むことができる。ＤＮＮは、一般的なフィード
フォワード層（ｆｅｅｄｆｏｒｗａｒｄ ｌａｙｅｒ）または線形層（ｌｉｎｅａｒ ｌ
ａｙｅｒ）のうち少なくとも１つを含むことができる。

【0089】

一実施例において、デコーダ（８２０）は、ＧＲＵで構成されたアテンション（ａｔｔ
ｅｎｔｉｏｎ）ＲＮＮを含むことができる。アテンションＲＮＮは、アテンションで使用
される情報を出力する層である。アテンションに関しては既に上述したため詳細な説明は
省略する。

【0090】

デコーダ（８２０）は、レジデュアル（ｒｅｓｉｄｕａｌ）ＧＲＵで構成されたデコー
ダ（ｄｅｃｏｄｅｒ）ＲＮＮを含むことができる。デコーダＲＮＮは、アテンションから
入力テキストの位置情報を受信することができる。つまり、位置情報は、デコーダ（８２
０）が入力テキストのどの位置を音声に変換しているかに関する情報を含むことができる
。デコーダＲＮＮは、アテンションＲＮＮから情報を受信することができる。アテンショ
ンＲＮＮから受信した情報は、デコーダ（８２０）が以前の時間－ステップ（ｔｉｍｅ－
ｓｔｅｐ）までどの音声を生成したのかに関する情報を含むことができる。デコーダＲＮ
Ｎは、今まで生成した音声に後続する次の出力音声を生成することができる。例えば、出
力音声は、メルスペクトログラムの形態を有することができ、出力音声は、ｒ個のフレー
ムを含むことができる。

【0091】

テキスト音声合成のために、ＤＮＮ、アテンションＲＮＮおよびデコーダＲＮＮの動作
は、繰り返して遂行されることができる。例えば、最初の時間－ステップ（８２１）で取
得されたｒ個のフレームは、次の時間－ステップ（８２２）の入力となることができる。
また、時間－ステップ（８２２）で出力されたｒ個のフレームは、次の時間－ステップ（
８２３）の入力となることができる。

【0092】

上述したような過程を通じて、テキストのすべての単位に対する音声が生成されること
ができる。一実施例によれば、テキスト音声合成システムは、それぞれの時間－ステップ
別に出たメルスペクトログラムを時間順に連結（ｃｏｎｃａｔｅｎａｔｅ）して、全体テ
キストに対するメルスペクトログラムの音声を取得することができる。全体テキストに対
するメルスペクトログラムの音声は、ボコーダ（８３０）に出力されることができる。

【0093】

本開示の一実施例によるボコーダー（８３０）のＣＮＮまたはＲＮＮは、エンコーダ（
８１０）のＣＮＮまたはＲＮＮと類似な動作をすることができる。つまり、ボコーダー（
８３０）のＣＮＮまたはＲＮＮは、地域的特性と長期依存性を捕捉することができる。こ
れにより、ボコーダー（８３０）のＣＮＮまたはＲＮＮは、リニアスケールスペクトログ
ラム（ｌｉｎｅａｒ－ｓｃａｌｅ ｓｐｅｃｔｒｏｇｒａｍ）を出力することができる。
例えば、リニアスケールスペクトログラムは、マグニチュードスペクトログラム（ｍａｇ
ｎｉｔｕｄｅ ｓｐｅｃｔｒｏｇｒａｍ）を含むことができる。ボコーダー（８３０）は
、図８に図示されたように、スペクトログラムの位相（ｐｈａｓｅ）をグリフィンリム（
Ｇｒｉｆｆｉｎ－Ｌｉｍ）アルゴリズムを通じて予測することができる。ボコーダー（８
３０）は、逆短時間フーリエ変換（Ｉｎｖｅｒｓｅ Ｓｈｏｒｔ－Ｔｉｍｅ Ｆｏｕｒｉ
ｅｒ Ｔｒａｎｓｆｏｒｍ）を利用して、時間ドメイン（ｔｉｍｅ ｄｏｍａｉｎ）の音
声信号を出力することができる。

【0094】

本開示の他の実施例によるボコーダーは、機械学習モデルに基づいて、メルスペクトロ
グラムから音声信号を生成することができる。機械学習モデルは、メルスペクトログラム
と音声信号との間の相関関係を機械学習したモデルを含むことができる。例えば、Ｗａｖ
ｅＮｅｔまたはＷａｖｅＧｌｏｗなどのような人工ニューラルネットワークモデルが使用
されることができる。

【0095】

このような人工ニューラルネットワークベースの音声合成装置は、１つ以上の言語で構
成されたテキストと音声信号のペアで存在する大容量のデータベースを利用して学習する
ことができる。一実施例によれば、音声合成装置は、テキストを受信し、出力された音声
信号を正解音声信号と比較して損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を定義すること
ができる。音声合成装置は、損失関数を誤差逆伝播（ｅｒｒｏｒ ｂａｃｋ ｐｒｏｐａ
ｇａｔｉｏｎ）アルゴリズムを通じて学習し、最終的にランダムのテキストを入力したと
きに所望の音声出力が出る人工ニューラルネットワークを得ることができる。

【0096】

このような人工ニューラルネットワークベースの音声合成装置においては、テキスト、
話者の発声特徴などが人工ニューラルネットワークに入力されて音声信号が出力されるこ
とができる。テキスト音声合成装置は、出力された音声信号と正解音声信号を比較して学
習することによって、テキストや話者の発声特徴を受信するときにその話者の音声でテキ
ストを読んだ出力音声データを生成することができる。

【0097】

図９は、本開示の一実施例に係る発声特徴調節部（９００）の動作を示すフローチャー
トである。

【0098】

図９の発声特徴調節部（９００）は、図２の発声特徴調節部（２２０）の同一または類
似の構成を含むことができる。図２と重複する説明は省略する。

【0099】

発声特徴調節部（９００）は、話者の情報を表す埋め込みベクトルを受信することがで
きる。一実施例によれば、これらの埋め込みベクトルは、話者の発声特徴に対する埋め込
みベクトルを含むことができる。例えば、話者の情報に対する埋め込みベクトルは、話者
の発声特徴のうち互いに直交する複数のサブ埋め込みベクトルの加重和として表示される
ことができる。

【0100】

発声特徴調節部（９００）は、受信された話者の情報に対する埋め込みベクトルの内在
要素を分離することができる。例えば、発声特徴調節部（９００）は、話者の情報に対す
る埋め込みベクトルに基づいて、互いに直交する複数の単位埋め込みベクトルを取得する
ことができる。一実施例によれば、埋め込みベクトルに内在された要素を分離する方法と
しては、独立成分分析（ＩＣＡ：ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａ
ｌｙｓｉｓ）、独立ベクトル分析（ＩＶＡ：ｉｎｄｅｐｅｎｄｅｎｔ ｖｅｃｔｏｒ ａ
ｎａｌｙｓｉｓ）、スパースコーディング（ｓｐａｒｓｅ ｃｏｄｉｎｇ）、独立因子分
析（ＩＦＡ：ｉｎｄｅｐｅｎｄｅｎｔ ｆａｃｔｏｒ ａｎａｌｙｓｉｓ）、独立部分空
間分析（ＩＳＡ：ｉｎｄｅｐｅｎｄｅｎｔ ｓｕｂｓｐａｃｅ ａｎａｌｙｓｉｓ）、非
負値行列因子分解（ＮＭＦ：ｎｏｎｎｅｇａｔｉｖｅ ｍａｔｒｉｘ ｆａｃｔｏｒｉｚ
ａｔｉｏｎ）などの多様な方法があり得る。そして、埋め込みベクトルに内在された要素
が分離され得るように、テキスト音声合成装置は、話者の情報に対する埋め込みベクトル
を学習するときにテキスト音声合成装置の学習式に正規化（ｒｅｇｕｌａｒｉｚａｔｉｏ
ｎ）を遂行することができる。テキスト音声合成装置が学習式に正規化を遂行して機械学
習をする場合、埋め込みベクトルは、スパースベクトル（ｓｐａｒｓｅ ｖｅｃｔｏｒ）
に学習されることができる。これにより、テキスト音声合成装置は、スパースベクトルに
学習された埋め込みベクトルで、主成分分析（ＰＣＡ：ｐｒｉｎｃｉｐｌｅ ｃｏｍｐｏ
ｎｅｎｔ ａｎａｌｙｓｉｓ）を利用して、内在された要素を正確に分離することができ
る。

【0101】

一実施例によれば、発声特徴調節部（９００）は、出力音声データに対する追加の入力
を受信するように構成されることができる。発声特徴調節部（９００）は、追加の入力に
基づいて、話者の発声特徴を表す埋め込みベクトルを修正することができる。例えば、発
声特徴調節部（９００）は、追加の入力に基づいて、複数の単位埋め込みベクトルに対す
る加重値を変更することができる。

【0102】

一実施例において、発声特徴調節部（９００）は、受信された追加の入力に基づいて話
者の発声特徴を表す埋め込みベクトルを修正するように構成されることができる。例えば
、発声特徴調節部（９００）は、追加の入力に応じて変更された加重値を、複数の単位埋
め込みベクトルに乗じて加えることにより、話者の情報に対する埋め込みベクトルを再合
成することができる。発声特徴調節部（９００）は、変更された話者の情報に対する埋め
込みベクトルを出力することができる。テキスト音声合成装置は、修正された埋め込みベ
クトルを単一の人工ニューラルネットワークのテキスト音声合成モデルに入力して、出力
音声データを、追加の入力に含まれた情報が反映された入力テキストに対する音声データ
に変換することができる。

【0103】

図１０は、本開示の一実施例に基づいて出力音声の特性を変更するユーザーインターフ
ェースの例を示す図である。

【0104】

テキスト音声合成装置は、ユーザーからテキストウィンドウに入力されたテキストを受
信することができる。図１０に図示された再生ボタンが選択される場合（例えば、タッチ
されたり、押されたりする場合）、テキスト音声合成装置は、入力されたテキストに対応
する出力音声データを生成して、ユーザーインターフェースを含むユーザー端末に提供す
ることができる。

【0105】

テキスト音声合成装置は、ユーザーからの追加の入力を受信することができる。出力音
声データに対する追加の入力は、性別に関する情報、年齢に関する情報、地域別イントネ
ーションに関する情報、発声の速度に関する情報または音高および発声の大きさに関する
情報のうち少なくとも１つを含むことができる。

【0106】

一実施例によれば、テキスト音声合成装置は、現在の選択または指定された話者の発声
特徴を、通信部を介してユーザー端末に送信することができ、現在の音声特徴が、図１０
に図示されたように、ユーザー端末のディスプレイ部に所定の形状（例えば、線、多角形
、円形など）で表示されることができる。ユーザーは、入力部を利用して、性別に関する
情報、年齢に関する情報、地域別イントネーションに関する情報、発声の速度に関する情
報、音高および発声の大きさに関する情報のうち少なくとも１つを変更することができ、
ユーザーの入力に基づいて変更された出力音声が出力されることができる。例えば、ユー
ザーは、図１０に図示されたように、女性に近い性別、６０代より１０代に近い年齢、忠
清地方のイントネーションを選択することができる。選択された入力に基づいて、現在の
音声特徴が変更され、ユーザー端末に変更された音声特徴が反映されたり、合成された音
声が出力されたりすることができる。

【0107】

以上のように、複数の実施例に基づいて話者の情報に対する埋め込みベクトル中に内在
された要素の１つ以上を変更して、声の特性を変更する構成を説明したが、本発明はこれ
に限定されるものではなく、他の適切な方法によって構成することもできる。一実施例に
よれば、埋め込みベクトルの内在された要素をＳＳＭＬ（ｓｐｅｅｃｈ ｓｙｎｔｈｅｓ
ｉｓ ｍａｒｋｕｐ ｌａｎｇｕａｇｅ）の属性（ａｔｔｒｉｂｕｔｅ）に表現して変更
することもできる。例えば、＜ｇｅｎｄｅｒ ｖａｌｕｅ ＝ 「６」＞＜ｒｅｇｉｏｎ
ｖａｌｕｅ ＝ 「３、４、５」＞のようにＳＳＭＬの属性に表現することができる。

【0108】

図１１は、本開示の一実施例に係るテキスト音声合成システム（１１００）のブロック
図である。

【0109】

図１１を参照すると、一実施例によるテキスト音声合成システム（１１００）は、デー
タ学習部（１１１０）およびデータ認識部（１１２０）を含むことができる。データ学習
部（１１１０）は、データを入力して機械学習モデルを取得することができる。また、デ
ータ認識部（３０２）は、データを機械学習モデルに適用して、出力音声を生成すること
ができる。上述したようなテキスト音声合成システム（１１００）は、プロセッサおよび
メモリを含むことができる。

【0110】

データ学習部（１１１０）は、テキストに対する音声学習をすることができる。データ
学習部（１１１０）は、テキストに応じてどの音声を出力するかに関する基準を学習する
ことができる。また、データ学習部（１１１０）は、どの音声の特徴を利用して音声を出
力するかに関する基準を学習することができる。音声の特徴は、音素の発音、ユーザーの
語調、イントネーションまたはアクセントのうち少なくとも１つを含むことができる。デ
ータ学習部（１１１０）は、学習に利用されるデータを取得し、取得されたデータを後述
するデータ学習モデルに適用することによって、テキストに応じた音声を学習することが
できる。

【0111】

データ認識部（１１２０）は、テキストに基づいてテキストに対する音声を出力するこ
とができる。データ認識部（１１２０）は、学習されたデータ学習モデルを利用して、所
定のテキストから音声を出力することができる。データ認識部（１１２０）は、学習によ
る予め設定された基準に基づいて、所定のテキスト（データ）を取得することができる。
また、データ認識部（１１２０）は、取得されたデータを入力値としてデータ学習モデル
を利用することによって、所定のデータに基づいた音声を出力することができる。また、
取得されたデータを入力値としてデータ学習モデルによって出力された結果値は、データ
学習モデルを更新するのに利用されることができる。

【0112】

データ学習部（１１１０）またはデータ認識部（１１２０）のうち少なくとも１つは、
少なくとも１つのハードウェアチップ形態に製作されて、電子機器に搭載されることがで
きる。例えば、データ学習部（１１１０）またはデータ認識部（１１２０）のうち少なく
とも１つは、人工知能（ＡＩ；ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）のた
めの専用ハードウェアチップの形態に製作されることもでき、または既存の汎用プロセッ
サ（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ）またはグラフィッ
ク専用プロセッサ（例：ＧＰＵ）の一部として製作され、すでに説明した各種の電子機器
に搭載されることもできる。

【0113】

また、データ学習部（１１１０）およびデータ認識部（１１２０）は、別々の電子機器
にそれぞれ搭載されることもできる。例えば、データ学習部（１１１０）およびデータ認
識部（１１２０）のうち１つは電子機器に含まれ、残りの１つはサーバーに含まれること
ができる。また、データ学習部（１１１０）およびデータ認識部（１１２０）は、有線ま
たは無線を通じて、データ学習部（１１１０）が構築したモデルの情報をデータ認識部（
１１２０）に提供することもでき、データ認識部（１１２０）に入力されたデータが追加
の学習データとしてデータ学習部（１１１０）に提供されることもできる。

【0114】

一方、データ学習部（１１１０）またはデータ認識部（１１２０）のうち少なくとも１
つは、ソフトウェアモジュールで具現されることができる。データ学習部（１１１０）お
よびデータ認識部（１１２０）のうち少なくとも１つが、ソフトウェアモジュール（また
は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を含むプログラムモジュール）で具現される場合、
ソフトウェアモジュールは、メモリまたはコンピュータ読み取り可能な非一時的な読み取
り可能な記録媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌ
ｅ ｍｅｄｉａ）に格納されることができる。また、この場合、少なくとも１つのソフト
ウェアモジュールは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって提供されたり
、所定のアプリケーションによって提供されたりすることができる。これと異なり、少な
くとも１つのソフトウェアモジュールのうち一部はＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔ
ｅｍ）によって提供され、残りの一部は所定のアプリケーションによって提供されること
ができる。

【0115】

本開示の一実施例によるデータ学習部（１１１０）は、データ取得部（１１１１）、前
処理部（１１１２）、学習データ選択部（１１１３）、モデル学習部（１１１４）および
モデル評価部（１１１５）を含むことができる。

【0116】

データ取得部（１１１１）は、機械学習に必要なデータを取得することができる。学習
のためには多くのデータが必要であるため、データ取得部（１１１１）は、複数のテキス
トおよびそれに対応する音声を受信することができる。

【0117】

前処理部（１１１２）は、ユーザーの心理状態判断のために取得されたデータが機械学
習に使用され得るように、取得されたデータを前処理することができる。前処理部（１１
１２）は、後述するモデル学習部（１１１４）が利用できるように、取得されたデータを
予め設定されたフォーマットに加工することができる。例えば、前処理部（１１１２）は
、テキストおよび音声を形態素解析して形態素埋め込みを取得することができる。

【0118】

学習データ選択部（１１１３）は、前処理されたデータの中から学習に必要なデータを
選択することができる。選択されたデータは、モデル学習部（１１１４）に提供されるこ
とができる。学習データ選択部（１１１３）は、既設定された基準に基づいて、前処理さ
れたデータの中から学習に必要なデータを選択することができる。また、学習データ選択
部（１１１３）は、後述するモデル学習部（１１１４）による学習によって、既設定され
た基準に基づいてデータを選択することもできる。

【0119】

モデル学習部（１１１４）は、学習データに基づいて、テキストに応じてどの音声を出
力するかに関する基準を学習することができる。また、モデル学習部（１１１４）は、テ
キストに応じて音声を出力する学習モデルを学習データとして利用して学習させることが
できる。この場合、データ学習モデルは、予め構築されたモデルを含むことができる。例
えば、データ学習モデルは、基本学習データ（例えば、サンプルイメージなど）の入力を
受けて予め構築されたモデルを含むことができる。

【0120】

データ学習モデルは、学習モデルの適用分野、学習の目的または装置のコンピュータ性
能などを考慮して構築されることができる。データ学習モデルは、例えば、ニューラルネ
ットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をベースにするモデルを含むことができる
。例えば、ディープニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔ
ｗｏｒｋ）、回帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａ
ｌ Ｎｅｔｗｏｒｋ）、長・短期記憶モデル（ＬＳＴＭ：Ｌｏｎｇ Ｓｈｏｒｔ-Ｔｅｒ
ｍ Ｍｅｍｏｒｙ ｍｏｄｅｌｓ）、双方向性回帰型ディープニューラルネットワーク（
ＢＲＤＮＮ：Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｃｕｒｒｅｎｔ Ｄｅｅｐ Ｎｅｕｒａ
ｌ Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉ
ｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などのようなモデルがデータ学習モデルと
して使用されることができるが、これに限定されない。

【0121】

多様な実施例によれば、モデル学習部（１１１４）は、予め構築されたデータ学習モデ
ルが複数個存在する場合、入力された学習データと基本学習データの関連性が大きいデー
タ学習モデルを学習するデータ学習モデルとして決定することができる。この場合、基本
学習データは、データのタイプ別に既分類されていることができ、データ学習モデルは、
データのタイプ別に予め構築されていることができる。例えば、基本学習データは、学習
データが生成された地域、学習データが生成された時間、学習データの大きさ、学習デー
タのジャンル、学習データの生成者、学習データ内のオブジェクトの種類などのような多
様な基準で既分類されていることができる。

【0122】

また、モデル学習部（１１１４）は、例えば、誤差逆伝播法（ｅｒｒｏｒ ｂａｃｋ－
ｐｒｏｐａｇａｔｉｏｎ）または最急降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ）を含
む学習アルゴリズムなどを利用して、データ学習モデルを学習することができる。

【0123】

また、モデル学習部（１１１４）は、例えば、学習データを入力値とする教師あり学習
（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を通じて、データ学習モデルを学習するこ
とができる。

【0124】

また、モデル学習部（１１１４）は、例えば、別途のガイドなしに、状況判断のために
必要なデータの種類を自分で学習することによって状況判断のための基準を発見する教師
なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を通じて、データ学習モデル
を学習することができる。また、モデル学習部（１１１４）は、例えば、学習による状況
判断の結果が正しいかに対するフィードバックを利用する強化学習（ｒｅｉｎｆｏｒｃｅ
ｍｅｎｔ ｌｅａｒｎｉｎｇ）を通じて、データ学習モデルを学習することができる。

【0125】

また、データ学習モデルが学習されると、モデル学習部（１１１４）は、学習されたデ
ータ学習モデルを格納することができる。この場合、モデル学習部（１１１４）は、学習
されたデータ学習モデルを、データ認識部（１１２０）を含む電子機器のメモリに格納す
ることができる。また、モデル学習部（１１１４）は、学習されたデータ学習モデルを電
子機器と有線または無線ネットワークで接続されるサーバーのメモリに格納することもで
きる。

【0126】

この場合、学習されたデータ学習モデルが格納されるメモリは、例えば、電子機器の少
なくとも１つの他の構成要素に関係された命令またはデータを一緒に格納することもでき
る。さらに、メモリは、ソフトウェアおよび／またはプログラムを格納することもできる
。プログラムは、例えば、カーネル、ミドルウェア、アプリケーションプログラミングイ
ンターフェース（ＡＰＩ）および／またはアプリケーションプログラム（または「アプリ
ケーション」）などを含むことができる。

【0127】

モデル評価部（１１１５）は、データ学習モデルに評価データを入力し、評価データか
ら出力される結果が所定の基準を満たさない場合、モデル学習部（１１１４）が再学習す
るようにすることができる。この場合、評価データは、データ学習モデルを評価するため
の既設定されたデータを含むことができる。

【0128】

例えば、モデル評価部（１１１５）は、評価データに対する学習されたデータ学習モデ
ルの結果の中で、認識結果が正確でない評価データの数または比率が予め設定されたしき
い値を超える場合、所定の基準を満たさないものと評価することができる。例えば、所定
の基準が比率２％で定義される場合において、学習されたデータ学習モデルが総１０００
個の評価データの中で２０個を超える評価データに対して誤った認識結果を出力する場合
、モデル評価部（１１１５）は、学習されたデータ学習モデルが適していないものである
と評価することができる。

【0129】

一方、学習されたデータ学習モデルが複数個存在する場合、モデル評価部（１１１５）
は、それぞれの学習されたデータ学習モデルに対して所定の基準を満たすかを評価し、所
定の基準を満足するモデルを最終データ学習モデルとして決定することができる。この場
合、所定の基準を満たすモデルが複数個である場合、モデル評価部（１１１５）は、評価
点数の高い順に予め設定されたある１つまたは所定個数のモデルを最終データ学習モデル
として決定することができる。

【0130】

一方、データ学習部（１１１０）内のデータ取得部（１１１１）、前処理部（１１１２
）、学習データ選択部（１１１３）、モデル学習部（１１１４）またはモデル評価部（１
１１５）のうち少なくとも１つは、少なくとも１つのハードウェアチップ形態に製作され
て、電子機器に搭載されることができる。例えば、データ取得部（１１１１）、前処理部
（１１１２）、学習データ選択部（１１１３）、モデル学習部（１１１４）またはモデル
評価部（１１１５）のうち少なくとも１つは、人工知能（ＡＩ；ａｒｔｉｆｉｃｉａｌ
ｉｎｔｅｌｌｉｇｅｎｃｅ）のための専用ハードウェアチップの形態に製作されることも
でき、または既存の汎用プロセッサ（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ ｐｒｏ
ｃｅｓｓｏｒ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部として製作され
、前述した各種の電子機器に搭載されることもできる。

【0131】

また、データ取得部（１１１１）、前処理部（１１１２）、学習データ選択部（１１１
３）、モデル学習部（１１１４）およびモデル評価部（１１１５）は、１つの電子機器に
搭載されることもでき、または別の電子機器にそれぞれ搭載されることもできる。例えば
、データ取得部（１１１１）、前処理部（１１１２）、学習データ選択部（１１１３）、
モデル学習部（１１１４）およびモデル評価部（１１１５）のうち一部は電子機器に含ま
れ、残りの一部はサーバーに含まれることができる。

【0132】

また、データ取得部（１１１１）、前処理部（１１１２）、学習データ選択部（１１１
３）、モデル学習部（１１１４）またはモデル評価部（１１１５）のうち少なくとも１つ
は、ソフトウェアモジュールで具現されることができる。データ取得部（１１１１）、前
処理部（１１１２）、学習データ選択部（１１１３）、モデル学習部（１１１４）または
モデル評価部（１１１５）のうち少なくとも１つがソフトウェアモジュール（または、命
令（ｉｎｓｔｒｕｃｔｉｏｎ）を含むプログラムモジュール）で具現される場合、ソフト
ウェアモジュールは、コンピュータ読み取り可能な非一時的な読み取り可能な記録媒体（
ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉａ）に
格納されることができる。また、この場合、少なくとも１つのソフトウェアモジュールは
、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって提供されたり、所定のアプリケー
ションによって提供されたりすることができる。これと異なり、少なくとも１つのソフト
ウェアモジュールのうち一部はＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって提供
され、残りの一部は所定のアプリケーションによって提供されることができる。

【0133】

本開示の一実施例によるデータ認識部（１１２０）は、データ取得部（１１２１）、前
処理部（１１２２）、認識データ選択部（１１２３）、認識結果提供部（１１２４）およ
びモデル更新部（１１２５）を含むことができる。

【0134】

データ取得部（１１２１）は、音声を出力するために必要なテキストを取得することが
できる。逆に、データ取得部（１１２１）は、テキストを出力するために必要な音声を取
得することができる。前処理部（１１２２）は、音声またはテキストを出力するために取
得されたデータが使用され得るように、取得されたデータを前処理することができる。前
処理部（１１２２）は、後述する認識結果提供部（１１２４）が音声またはテキストを出
力するために取得されたデータを利用できるように、取得されたデータを既設定されたフ
ォーマットに加工することができる。

【0135】

認識データ選択部（１１２３）は、前処理されたデータの中から音声またはテキストを
出力するために必要なデータを選択することができる。選択されたデータは、認識結果提
供部（１１２４）に提供されることができる。認識データ選択部（１１２３）は、音声ま
たはテキストを出力するための既設定された基準に基づいて、前処理されたデータの中か
ら一部または全部を選択することができる。また、認識データ選択部（１１２３）は、モ
デル学習部（１１１４）による学習によって、既設定された基準に基づいてデータを選択
することもできる。

【0136】

認識結果提供部（１１２４）は、選択されたデータをデータ学習モデルに適用して、音
声またはテキストを出力することができる。認識結果提供部（１１２４）は、認識データ
選択部（１１２３）によって選択されたデータを入力値として利用することにより、選択
されたデータをデータ学習モデルに適用することができる。また、認識結果は、データ学
習モデルによって決定されることができる。

【0137】

モデル更新部（１１２５）は、認識結果提供部（１１２４）によって提供される認識結
果に対する評価に基づいて、データ学習モデルが更新されるようにすることができる。例
えば、モデル更新部（１１２５）は、認識結果提供部（１１２４）によって提供される認
識結果をモデル学習部（１１１４）に提供することにより、モデル学習部（１１１４）が
データ学習モデルを更新するようにすることができる。

【0138】

一方、データ認識部（１１２０）内のデータ取得部（１１２１）、前処理部（１１２２
）、認識データ選択部（１１２３）、認識結果提供部（１１２４）またはモデル更新部（
１１２５）のうち少なくとも１つは、少なくとも１つのハードウェアチップの形態に製作
されて、電子機器に搭載されることができる。例えば、データ取得部（１１２１）、前処
理部（１１２２）、認識データ選択部（１１２３）、認識結果提供部（１１２４）または
モデル更新部（１１２５）のうち少なくとも１つは、人工知能（ＡＩ；ａｒｔｉｆｉｃｉ
ａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）のための専用ハードウェアチップの形態に製作される
こともでき、または既存の汎用プロセッサ（例：ＣＰＵまたはａｐｐｌｉｃａｔｉｏｎ
ｐｒｏｃｅｓｓｏｒ）またはグラフィック専用プロセッサ（例：ＧＰＵ）の一部として製
作され、前述した各種の電子機器に搭載されることもできる。

【0139】

また、データ取得部（１１２１）、前処理部（１１２２）、認識データ選択部（１１２
３）、認識結果提供部（１１２４）およびモデル更新部（１１２５）は、１つの電子機器
に搭載されることもでき、または別の電子機器にそれぞれ搭載されることもできる。例え
ば、データ取得部（１１２１）、前処理部（１１２２）、認識データ選択部（１１２３）
、認識結果提供部（１１２４）およびモデル更新部（１１２５）のうち一部は電子機器に
含まれ、残りの一部はサーバーに含まれることができる。

【0140】

また、データ取得部（１１２１）、前処理部（１１２２）、認識データ選択部（１１２
３）、認識結果提供部（１１２４）またはモデル更新部（１１２５）のうち少なくとも１
つは、ソフトウェアモジュールで具現されることができる。データ取得部（１１２１）、
前処理部（１１２２）、認識データ選択部（１１２３）、認識結果提供部（１１２４）ま
たはモデル更新部（１１２５）のうち少なくとも１つが、ソフトウェアモジュール（また
は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を含むプログラムモジュール）で具現される場合、
ソフトウェアモジュールは、コンピュータ読み取り可能な非一時的な読み取り可能な記録
媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉ
ａ）に格納されることができる。また、この場合、少なくとも１つのソフトウェアモジュ
ールは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によって提供されたり、所定のアプ
リケーションによって提供されたりすることができる。これと異なり、少なくとも１つの
ソフトウェアモジュールのうち一部はＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）によっ
て提供され、残りの一部は所定のアプリケーションによって提供されることができる。

【0141】

これまでに多様な実施例を中心に説明した。本発明が属する技術分野において通常の知
識を有する者は、本発明が、本発明の本質的な特性から逸脱しない範囲で変形された形態
で具現され得ることを理解できるであろう。したがって、開示された実施例は、限定的な
観点ではなく、説明的な観点から考慮されるべきである。本発明の範囲は、前述した説明
ではなく、特許請求の範囲に示されており、それと同等の範囲内にあるすべての違いは、
本発明に含まれるものと解釈されるべきである。

【0142】

一方、上述した本発明の実施例は、コンピュータで実行され得るプログラムで作成可能
であり、コンピュータ読み取り可能な記録媒体を利用してプログラムを動作させる汎用デ
ジタルコンピュータで具現されることができる。コンピュータ読み取り可能な記録媒体は
、磁気記録媒体（例えば、ロム、フロッピーディスク、ハードディスクなど）、光学的読
み取り媒体（例えば、ＣＤ－ＲＯＭ、ＤＶＤなど）のような記憶媒体を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】