知財求人 - 知財ポータルサイト「IP Force」
▶ ビゴ テクノロジー ピーティーイー． リミテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-26
(54)【発明の名称】モデル訓練及び音色変換方法、装置、デバイス及び媒体
(51)【国際特許分類】
G10L 21/007 20130101AFI20241219BHJP
G10L 13/06 20130101ALI20241219BHJP
G10L 25/30 20130101ALI20241219BHJP
【ＦＩ】
G10L21/007
G10L13/06 200
G10L25/30
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024538190
(86)(22)【出願日】2022-12-20
(85)【翻訳文提出日】2024-06-21
(86)【国際出願番号】 CN2022140253
(87)【国際公開番号】W WO2023116660
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】202111577618.0
(32)【優先日】2021-12-22
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】320010240
【氏名又は名称】ビゴ テクノロジー ピーティーイー． リミテッド
【住所又は居所原語表記】３０ ＰＡＳＩＲ ＰＡＮＪＡＮＧ ＲＯＡＤ，＃１５－３１Ａ，ＭＡＰＬＥＴＲＥＥ ＢＵＳＩＮＥＳＳ ＣＩＴＹ，ＳＩＮＧＡＰＯＲＥ １１７４４０
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】黄 家▲鴻▼
(72)【発明者】
【氏名】李 玉▲楽▼
(72)【発明者】
【氏名】▲項▼ ▲偉▼
(57)【要約】
本願には、モデル訓練及び音色変換方法、装置、デバイス及び媒体が提供される。当該音色抽出ネットワークによって入力するサンプルオーディオデータの第１音色特徴を取得することができるため、入力するサンプルオーディオデータの音色情報を正確に取得し、後続に、当該音色特徴によって合成オーディオデータを取得し、合成オーディオデータの音色の正確性を向上させることに有利になり、当該除去音色ネットワークによって、当該第１音色特徴に基づいて、当該サンプルオーディオデータの第１語義特徴を取得することができ、サンプルオーディオデータにおける、発話者音色に関係なく、且つ発音コンテンツに関する特徴を正確に取得したことを実現することで、後続に当該第１語義特徴によって合成オーディオデータを取得し、合成オーディオデータの発音コンテンツの正確性を確保することに有利になる。訓練済みの音色変換モデルを取得した後、当該音色変換モデルによって音色変換を行うことで、音色変換の変換効果及び信頼性を向上させることができる。
【特許請求の範囲】
【請求項1】
サンプルセットを取得し、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであることと、いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することと、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することと、
を含む、
音色変換モデル訓練方法。
【請求項2】
前記サンプルオーディオデータに対応する目標オーディオデータは、前記サンプルオーディオデータ、前記サンプルオーディオデータの発話者と異なるサンプルオーディオデータ、及び前記サンプルオーディオデータの発話者と異なる非サンプルオーディオデータ、のうちの少なくとも一種を含む、請求項１に記載の方法。
【請求項3】
前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴を取得することは、前記目標オーディオデータは前記サンプルオーディオデータである場合、前記サンプルオーディオデータの第１音色特徴を前記第２音色特徴として決定することと、
前記目標オーディオデータは前記サンプルオーディオデータではない場合、前記オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記目標オーディオデータの第２音色特徴を取得することと、
を含む、
請求項２に記載の方法。
【請求項4】
前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得することは、前記除去音色ネットワークにおける事後エンコーダによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、前記サンプルオーディオデータにおける語義情報の隠れベクトルを取得することと、
前記除去音色ネットワークにおけるエンハンスサブネットワークによって、前記隠れベクトルに基づいて、前記第１語義特徴を取得することと、
を含む、
請求項１に記載の方法。
【請求項5】
前記方法は、いずれか一つの前記サンプルオーディオデータに対して、前記オリジナル音色変換モデルにおける語義抽出ネットワークによって、前記サンプルオーディオデータに基づいて、第２語義特徴を取得すること、をさらに含み、各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことは、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各前記サンプルオーディオデータにそれぞれ対応する合成オーディオデータ、及び各前記サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各前記サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する、ことを含む、
請求項４に記載の方法。
【請求項6】
前記オリジナル音色変換モデルにおける語義抽出ネットワークによって、前記サンプルオーディオデータに基づいて、第２語義特徴を取得することは、前記語義抽出ネットワークにおける第１コンテンツサブネットワークによって、前記サンプルオーディオデータに基づいて、コンテンツ特徴を取得することと、
前記語義抽出ネットワークにおける第２コンテンツサブネットワークによって、前記コンテンツ特徴に基づいて、離散化のコンテンツ特徴を取得することと、
前記語義抽出ネットワークにおける第３コンテンツサブネットワークによって、前記離散化のコンテンツ特徴に基づいて、前記第２語義特徴を取得することと、
を含む、
請求項５に記載の方法。
【請求項7】
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各前記サンプルオーディオデータにそれぞれ対応する合成オーディオデータ、及び各前記サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各前記サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、前記オリジナル音色変換モデルに対して訓練を行うことは、各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各前記サンプルオーディオデータにそれぞれ対応する合成オーディオデータに基づいて、再構成損失値を決定することと、
各前記サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各前記サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、語義損失値を決定することと、
前記再構成損失値及び前記語義損失値によって、総合損失値を決定することと、
前記総合損失値によって、前記オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行うことで、訓練済みの音色変換モデルを取得することと、
を含む、
請求項５または６に記載の方法。
【請求項8】
前記方法は、前記除去音色ネットワークにおける事後エンコーダによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、前記隠れベクトルの平均ベクトル及び分散ベクトルを取得することをさらに含み、各前記サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各前記サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、語義損失値を決定することは、
各前記サンプルオーディオデータにそれぞれ対応する第１語義特徴、第２語義特徴、平均ベクトル及び分散ベクトルに基づいて、語義損失値を決定することを含む、
請求項１から７のいずれか一項に記載の方法。
【請求項9】
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各前記サンプルオーディオデータにそれぞれ対応する合成オーディオデータ、及び各前記サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各前記サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、前記オリジナル音色変換モデルに対して訓練を行うことは、各前記サンプルオーディオデータにそれぞれ対応するコンテンツ特徴及び各前記サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴に基づいて、数量化損失値を決定することと、及び
各前記サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴及び各前記サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、比較学習損失値を決定することと、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各前記サンプルオーディオデータにそれぞれ対応する合成オーディオデータ、各前記サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各前記サンプルオーディオデータにそれぞれ対応する第２語義特徴、前記数量化損失値及び前記比較学習損失値に基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することと、
を含む、
請求項６に記載の方法。
【請求項10】
前記訓練済みの音色変換モデルを取得した後、前記方法は、前記音色変換モデル及びサンプルセットにおける各前記サンプルオーディオデータに基づいて、前記異なる発話者にそれぞれ対応する音色特徴を決定することと、
前記異なる発話者にそれぞれ対応する対象標識及び音色特徴を対応的に保存することと、
をさらに含む、
請求項１から９のいずれか一項に記載の方法。
【請求項11】
ソースオーディオデータ及び目標発話者の音色特徴を取得することと、予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することと、
を含む、
音色変換方法。
【請求項12】
前記目標発話者の音色特徴を取得することは、前記目標発話者の情報を取得することと、
前記目標発話者の情報は対象標識であることを決定する場合、保存する対象標識と音色特徴との対応関係によって、前記目標発話者の対象標識に対応する音色特徴を決定することと、
前記目標発話者の情報はオーディオデータであることを決定する場合、前記音色変換モデルにおける音色抽出ネットワークによって、前記オーディオデータの音色特徴を取得することと、
を含む、
請求項１１に記載の方法。
【請求項13】
取得ユニットと、処理ユニットと、訓練ユニットとを含み、前記取得ユニットは、サンプルセットを取得することに配置され、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
前記処理ユニットは、いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することに配置され、
前記訓練ユニットは、各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する、ことに配置される、
音色変換モデル訓練装置。
【請求項14】
取得モジュールと、合成モジュールとを含み、前記取得モジュールは、ソースオーディオデータ及び目標発話者の音色特徴を取得することに配置され、
前記合成モジュールは、予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することに配置される、
音色変換装置。
【請求項15】
プロセッサ及びメモリを少なくとも含み、前記プロセッサは、メモリに記憶されるコンピュータプログラムを実行する場合、請求項１から１０のいずれか一項に記載の前記音色変換モデル訓練方法のステップ、または、請求項１１から１２のいずれか一項に記載の前記音色変換方法のステップを実現することに配置される、
電子デバイス。
【請求項16】
コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサに実行される場合、請求項１から１０のいずれか一項に記載の前記音色変換モデル訓練方法のステップ、または、請求項１１から１２のいずれか一項に記載の前記音色変換方法のステップを実現させる、
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０２１年１２月２２日に中国特許庁に提出された出願番号２０２１１１５７７６１８．０の中国特許出願の優先権を主張し、その全てのコンテンツは参照により本願に援用する。
【0002】
本願は、自然言語理解の技術分野に関し、特に、モデル訓練及び音色変換方法、装置、デバイス及び媒体に関する。
【背景技術】
【0003】
音色変換技術はオーディオ分野における一つの重要な技術であり、オーディオコンテンツの生成、娯楽オーディオの作成、及び秘密通話などの分野に広く応用される。音色変換技術とは、オリジナルのオーディオにおける音声の音色を他の話者の音声の音色に変換することである。音色変換の過程において、音色を変換した後のオーディオの音色が他の話者の音声の音色と似て、オーディオのコンテンツがそのままで変更されないままで保持されることを確保する必要がある。音色変換技術の難点は、如何にオリジナルのオーディオのコンテンツ情報を保持したまま、音色転換を行うかということである。
【0004】
この点に鑑みて、如何に音色変換を行い、安定的な音色変換効果を得るかということは、早急に解決すべき技術問題である。
【発明の概要】
【課題を解決するための手段】
【0005】
本願の実施例には、現在の音色変換の変換効果が悪く、音色変換の信頼性を低減する問題を解決するためのモデル訓練及び音色変換方法、装置、デバイス及び媒体が提供される。
【0006】
本願の実施例には音色変換モデル訓練方法が提供され、前記方法は、
サンプルセットを取得し、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであることと、
いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することと、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することと、
を含む。
サンプルセットを取得し、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであることと、
いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することと、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することと、
を含む。
【0007】
本願の実施例には、音色変換方法が提供され、前記方法は、
ソースオーディオデータ及び目標発話者の音色特徴を取得することと、
予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することと、
を含む。
ソースオーディオデータ及び目標発話者の音色特徴を取得することと、
予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することと、
を含む。
【0008】
本願の実施例には、音色変換モデル訓練装置が提供され、前記装置は、取得ユニットと、処理ユニットと、訓練ユニットとを含み、
前記取得ユニットは、サンプルセットを取得することに配置され、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
前記処理ユニットは、いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することに配置され、
前記訓練ユニットは、各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することに配置される。
前記取得ユニットは、サンプルセットを取得することに配置され、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
前記処理ユニットは、いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することに配置され、
前記訓練ユニットは、各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することに配置される。
【0009】
本願の実施例には音色変換装置が提供され、前記装置は、取得モジュールと合成モジュールとを含み、
前記取得モジュールは、ソースオーディオデータ及び目標発話者の音色特徴を取得することに配置され、
前記合成モジュールは、予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することに配置される。
前記取得モジュールは、ソースオーディオデータ及び目標発話者の音色特徴を取得することに配置され、
前記合成モジュールは、予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することに配置される。
【0010】
本願の実施例には、電子デバイスが提供され、前記電子デバイスは、プロセッサとメモリとを少なくとも含み、前記プロセッサは、メモリに記憶されるコンピュータプログラムを実行する場合、上記のような前記音色変換モデル訓練方法のステップ、または、上記のような前記音色変換方法のステップを実現することに配置される。
【0011】
本願の実施例には、コンピュータ可読記憶媒体が提供され、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサに実行される場合、上記のような前記音色変換モデル訓練方法のステップ、または、上記のような前記音色変換方法のステップを実現させる。
【0012】
本願の実施例にはコンピュータプログラム製品も提供され、コンピュータプログラムを含み、当該コンピュータプログラムが実行される場合、上記のような前記音色変換モデル訓練方法のステップ、または、上記のような前記音色変換方法のステップを実現できる。
【0013】
音色変換モデルに対して訓練を行う過程において、サンプルセットにおけるサンプルオーディオデータに対して予めラベル付けを行う必要がなく、サンプルオーディオデータに対して行うラベル付けにかかるコストを減少し、後続にサンプルセットにおけるサンプルオーディオデータに基づいた音色変換モデルに対する訓練を容易にする。オリジナル音色変換モデルには、音色抽出ネットワーク、除去音色ネットワーク及びボコーダを含むため、当該音色抽出ネットワークによって入力するサンプルオーディオデータの第１音色特徴を取得することができ、これにより、入力するサンプルオーディオデータの音色情報を正確に取得し、後続に、当該音色特徴によって合成オーディオデータを取得し、合成オーディオデータの音色の正確性を向上させることに有利になり、当該除去音色ネットワークによって、当該第１音色特徴に基づいて、入力するサンプルオーディオデータの第１語義特徴を取得でき、サンプルオーディオデータにおける、発話者音色に関係なく、且つ発音コンテンツに関する特徴を正確に取得したことを実現することで、後続に当該第１語義特徴によって合成オーディオデータを取得し、合成オーディオデータの発音コンテンツの正確性を確保することに有利になる。当該ボコーダによって、当該第１語義特徴及び当該サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することができる。各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、オリジナル音色変換モデルに対して訓練を行うことができることで、訓練済みの音色変換モデルを取得し、教師なし訓練の音色変換モデルを実現し、音色変換モデルを取得する難しさを大幅に低減する。後続、訓練済みの音色変換モデルに基づいて音色変換を行うことで、音色変換の変換効果及び信頼性を向上させることができる。
【0014】
本願の実施例における技術案をより明確に説明するために、以下は、実施例の説明において使用する必要がある図面に対して簡単に説明しており、以下で説明する図面は、本願のいくつかの実施例に過ぎず、当業者にとって、創造的な労働を払わない前提で、これらの図面によって他の図面を得ることもできることは明らかである。
【図面の簡単な説明】
【0015】
【図1】本願の実施例に提供される音色変換モデル訓練の過程の概略図である。
【図2】本願の実施例に提供される音色変換モデルの構造の概略図である。
【図3】本願の実施例に提供される音色変換の過程の概略図である。
【図4】本願の実施例に提供される音色変換モデルの構造の概略図である。
【図5】本願の実施例に提供される音色変換モデル訓練装置的構造概略図である。
【図6】本願の実施例に提供される音色変換装置の構造の概略図である。
【図7】本願の実施例に提供される電子デバイスの構造の概略図である。
【図8】本願の実施例に提供される他の電子デバイスの構造の概略図である。
【発明を実施するための形態】
【0016】
本願の目的、技術案及び利点をより明確するために、以下、図面を結合して本願に対してさらに詳しく説明し、説明する実施例は、本願の一部の実施例に過ぎず、全部の実施例ではない。本願における実施例に基づいて、当業者は、創造的な労働を払わない前提で得る全ての他の実施例は、いずれも本願の保護範囲に属する。
【0017】
当業者であれば、本願の実施形態は、システム、装置、デバイス、方法またはコンピュータプログラム製品として実現できることを知っている。そのため、本願は、具体的に以下の形式、即ち、完全なハードウェア、完全なソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含み）、またはハードウェアとソフトウェアの結合的な形式で実現することができる。
【0018】
本願において、図面における任意の要素の数は、制限ではなく、いずれも例示のために使用されること、及び任意の名称は区分のためにのみ使用され、制限的な意味を持たないことを理解することができる。
【0019】
現在、テキスト読み上げ（Ｔｅｓｔ ｔｏ Ｓｐｅｅｃｈ、ＴＴＳ）による音色変換技術、音声認識（Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ、ＡＳＲ）による音色変換技術、生成式敵対的ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ、ＧＡＮ）による音色変換技術、及び変分自動エンコーダ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏ Ｅｎｃｏｄｅｒ、ＶＡＥ）による音色変換技術を採用することで、音色変換を実現することができる。これらの方法を採用して音色変換を行う場合、合成オーディオデータの発音コンテンツの正確性を確保しようとすると、合成オーディオデータにおける語気などの語義コンテンツに関係ない音色特徴（例えばため息、絶叫など）を確保できず、合成オーディオデータの自然さ及び音色変換効果が低減してしまう。
【0020】
ＡＳＲによる音色変換技術を例として、当該方法において、一般的に一つの予め訓練済みのＡＳＲモデルを採用してオーディオの語義情報を抽出し、音色抽出モデルによって目標発話者のオーディオデータにおける音色情報を抽出し、当該語義情報及び音色情報に基づいて、目標発話者の合成オーディオデータを生成する。当該方法が予め訓練されたＡＳＲモデルに大きく依存するため、ＡＳＲモデルの精度は、合成オーディオデータの音色変換効果に直接的に影響を与える。同時に、ＡＳＲモデルは、主に語義の抽出に利用するため、オーディオデータにおける語気などの語義コンテンツに関係ない音色情報を見落すことがあり、合成オーディオデータが語気などの語義コンテンツに関係ない情報を失ってしまう。
【0021】
ＴＴＳによる音色変換技術を例として、当該方法において、目標発話者の大量のオーディオデータを予め採集する必要があり、その後、採集した各オーディオデータ及び各オーディオデータにそれぞれ対応する語義情報に基づいて、当該目標発話者の声学モデル及びボコーダを訓練して得る。この後、テキスト情報のテキスト特徴及び訓練済みの当該目標発話者の声学モデル及びボコーダに基づいて、目標発話者の合成オーディオデータを取得する。一般的にセンテンス３万以上、または３０時間以上の当該目標発話者のオーディオデータを予め採集する必要があり、当該目標発話者の声学モデル及びボコーダの精度を確保できることで、各オーディオデータの語義に対してラベル付けを行う必要があり、当該目標発話者の声学モデル及びボコーダを取得する難しさを増加し、及びかかるコストも非常に大きくなり、得た合成オーディオデータにおける語気などの音色情報は比較的に固定化され、合成オーディオデータの自然さ及び音色変換効果が低減してしまう。
【0022】
上記の問題を解決するために、本願の実施例には、モデル訓練及び音色変換方法、装置、デバイス、媒体が提供される。音色変換モデルに対して訓練を行う過程において、サンプルセットにおけるサンプルオーディオデータに対して予めラベル付けを行う必要がなく、サンプルオーディオデータに対して行うラベル付けにかかるコストを減少するため、後続のサンプルセットにおけるサンプルオーディオデータに基づいて音色変換モデルに対する訓練を容易にする。音色変換モデルに対して訓練を行う過程において、サンプルセットにおけるサンプルオーディオデータに対して予めラベル付けを行う必要がなく、サンプルオーディオデータに対して行うラベル付けにかかるコストを減少するため、後続のサンプルセットにおけるサンプルオーディオデータに基づいて音色変換モデルに対する訓練を容易にする。オリジナル音色変換モデルには、音色抽出ネットワーク、除去音色ネットワーク及びボコーダを含むため、当該音色抽出ネットワークによって入力するサンプルオーディオデータの第１音色特徴を取得できることで、入力するサンプルオーディオデータの音色情報を正確に取得し、後続に、当該音色特徴によって合成オーディオデータを取得し、合成オーディオデータの音色の正確性を向上させることに有利になり、当該除去音色ネットワークによって、当該第１音色特徴に基づいて、入力するサンプルオーディオデータの第１語義特徴を取得でき、サンプルオーディオデータにおける、発話者音色に関係なく、且つ発音コンテンツに関する特徴を正確に取得したことを実現することで、後続に当該第１語義特徴によって合成オーディオデータを取得し、合成オーディオデータの発音コンテンツの正確性を確保することに有利になる。当該ボコーダによって、当該第１語義特徴及び当該サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することができる。各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、オリジナル音色変換モデルに対して訓練を行うことができることで、訓練済みの音色変換モデルを取得し、教師なし訓練の音色変換モデルを実現し、音色変換モデルを取得する難しさを大幅に低減する。後続に、訓練済みの音色変換モデルに基づいて音色変換を行うことで、音色変換の変換効果及び信頼性を向上させることができる。
【0023】
なお、上記の実施例に示した応用シーンは、説明を容易にするために提出された例示的なシーンのみであり、本願の実施例に提供されるモデル訓練及び音色変換方法、装置、デバイス及び媒体の応用シーンに対する限定ではない。当業者であれば、新しい業務シーンの出現につれて、本願の実施例に提供される技術案は類似な技術問題に対して、同様に適用されることが分かる。
【0024】
実施例１：
図１は本願の実施例に提供される音色変換モデル訓練の過程の概略図であり、当該過程は、
Ｓ１０１：サンプルセットを取得することを含み、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じである。
図１は本願の実施例に提供される音色変換モデル訓練の過程の概略図であり、当該過程は、
Ｓ１０１：サンプルセットを取得することを含み、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じである。
【0025】
本願の実施例に提供される音色変換モデル訓練方法は、電子デバイスに応用され、当該電子デバイスは、例えば、ロボット、モバイル端末などのスマートデバイスであってもよく、サーバであってもよい。
【0026】
一般的には、異なる発話者のオーディオデータを採集し、これらのオーディオデータをサンプルオーディオデータとして決定することができ、先にこれらのサンプルオーディオデータによって、オリジナル音色合成モデルに対して訓練を行い、訓練済みの音色合成モデルを取得することで、音色変換モデルのロバスト性を向上し、及び音色変換モデルが合成できる音色の種類が多くなる。
【0027】
本願の実施例には、Ｓ１０１でサンプルオーディオデータを取得することは、以下の少なくとも一つの方式を含む。
【0028】
方式１、収録した異なる発話者のオーディオデータを、サンプルオーディオデータとして決定する。
【0029】
サンプルオーディオデータを採集する過程において、発話者は、プロの録音環境において語音データを収録し、収録する語音データをサンプルオーディオデータとして決定することができ、インテリジェント端末（例えば、携帯電話、タブレットなど）によって語音データを収録し、収録する語音データに基づいてサンプルオーディオデータを決定する。
【0030】
例えば、発話者は、インテリジェント端末にトリガ操作を入力することができる。ここで、発話者がインテリジェント端末にトリガ操作を入力する方式が多く、当該トリガ操作は、発話者がインテリジェント端末のディスプレイに表示される仮想ボタンをトリガしたことであってもよく、発話者がインテリジェント端末に語音情報を入力したことであってもよく、発話者がインテリジェント端末のディスプレイにグラフィックコマンドなどを描画することであってもよく、具体的な実施過程において、実際のニーズに従って柔軟に設定し、ここでは具体的な限定はしない。インテリジェント端末は、発話者が入力したトリガ操作を受信した後、発話者が選択する予め収録済みの語音データを電子デバイスにアップロードすることができ、語音収録機能に入り、リアルタイムに発話者の語音データを収録することを開始し、収録する複数の語音データを電子デバイスにアップロードすることで、電子デバイスが受信した語音データに基づいてサンプルオーディオデータを決定することもできる。
【0031】
発話者がプロの録音環境において語音データを収録する必要がなく、インテリジェント端末によって語音データを収録することができるため、発話者の語音データを取得する難しさ及びコストを低減し、ユーザーの体験を大幅に向上させる。
【0032】
インテリジェント端末によって語音データを収録する場合、インテリジェント端末によって収録した語音データを発話者のオリジナル語音データとして決定することができる。当該オリジナル語音データにおいて大量の作業環境におけるノイズが存在する可能性があるため、先に、収録したオリジナル語音データに対してオーディオ処理を行い、例えば、当該オリジナル語音データに対してノイズ低減処理、及び／または残響を除去する処理を行い、クリーンな語音データを得ることができる。その後、オーディオ処理後の語音データをサンプルオーディオデータとして決定する。
【0033】
なお、当該オリジナル語音データに対してノイズ低減処理、及び／または残響を除去する処理を行う具体的な過程は、いずれも先行技術であるため、ここで詳しい説明を省略する。
【0034】
方式２、上記の方式１を基に、同一の発話者の少なくとも二つの語音データに対してスティッチング処理を行うことができ、スティッチング処理後の取得したスティッチング語音データをサンプルオーディオデータとして決定し、このように、取得したサンプルオーディオデータに対して拡張を行うことを実現でき、さらに、サンプルオーディオデータを取得する難しさ及びかかるコストを低減し、取得した大量のサンプルオーディオデータによって、音色変換モデルに対して訓練を行い、取得した音色変換モデルの精度及びロバスト性を向上させることにも有利になる。
【0035】
１つの可能な実施形態では、上記方式１を基に、同一の発話者の少なくとも二つの語音データに対してスティッチング処理を行い、スティッチング処理後の取得したスティッチング語音データをサンプルオーディオデータとして決定することは、以下のようないくつかの方式を含むことができる。
【0036】
方式一、上記方式１に基づいて収録した語音データを基礎語音データとして決定する。ここで、当該基礎語音データは上記の実施例におけるオリジナル語音データであってもよく、上記の実施例におけるオーディオ処理した後の語音データであってもよい。異なる発話者について、当該発話者の少なくとも二つの異なる基礎語音データに対してスティッチングを行い、スティッチング語音データ（説明を容易にするために、第１スティッチング語音データとして記載される）を決定した。各基礎語音サンプル及び各第１スティッチング語音データをいずれもサンプルオーディオデータとして決定する。
【0037】
方式二、上記方式１に基づいて収録した語音データを基礎語音データとして決定する。異なる発話者について、当該発話者の少なくとも一つの基礎語音データを設定される倍数によってコピーし、当該少なくとも一つのコピーする語音データと対応する基礎語音データとをスティッチングを行い、スティッチング語音データ（説明を容易にするために、第２スティッチング語音データとして記載される）を決定した。当該第２スティッチング語音データは、少なくとも二つの同じ語音データによってスティッチングされたものであることが理解できる。各基礎語音サンプル及び各第２スティッチング語音データをいずれもサンプルオーディオデータとして決定する。
【0038】
方式三、上記方式１に基づいて収録した語音データを基礎語音データとして決定する。異なる発話者について、当該発話者の少なくとも一つの基礎語音データを、設定される倍数によってコピーし、少なくとも二つの同じ語音データ（コピー後の語音データと基礎語音データ）と、当該発話者の少なくとも一つの、当該語音データ以外の他の語音データとをスティッチングを行い、スティッチング語音データ（説明を容易にするために、第３スティッチング語音データとして記載される）を決定した。当該第３スティッチング語音データは、少なくとも二つの同じ語音データ及び少なくとも二つの異なる語音データを含むことが理解できる。各基礎語音サンプル及び各第３スティッチング語音データをいずれもサンプルオーディオデータとして決定する。
【0039】
１つの可能な実施形態では、同時に上記の方式一ないし方式三における少なくとも二つの方式によって、取得したサンプルオーディオデータに対して拡張を行うことができる。
【0040】
収録した発話者の語音データによってサンプルオーディオデータを決定することを基に、発話者の少なくとも二つの語音データに対してスティッチング処理を行い、スティッチング処理した語音データをサンプルオーディオデータとして決定することができるため、発話者のサンプルオーディオデータに対する拡張を実現し、さらに発話者のサンプルオーディオデータを取得する難しさ及びかかるコストを低減し、取得した大量のサンプルオーディオデータによって、音色変換モデルに対して訓練を行い、取得した音色変換モデルの精度及びロバスト性を向上させることに有利になる。
【0041】
精度が比較的高い音色変換モデルを取得しようとすると、音色変換モデルが出力する合成オーディオデータを、目標発話者が言う同じ発音コンテンツのオーディオデータ（目標オーディオデータとして記載される）に近づくように、当該音色変換モデルの音色変換効果に対して監督を行う必要がある。そのため、サンプルセットにおける各サンプルオーディオデータを取得した後、各サンプルオーディオデータについて、当該サンプルオーディオデータに対応する目標オーディオデータを決定することができ、後続に当該目標オーディオデータによって、オリジナル音色変換モデル及び当該サンプルオーディオデータに基づいて取得した合成オーディオデータが正確か否かを決定することで、オリジナル音色変換モデルの音色変換効果を決定することができる。
【0042】
１つの可能な実施形態では、サンプルセットにおける各サンプルオーディオデータについて、当該サンプルオーディオデータの語義情報と同じの、異なる発話者の目標オーディオデータを決定することができる。ここで、当該目標オーディオデータは、サンプルオーディオデータ及び非サンプルオーディオデータにおける少なくとも一種を含み、即ち、当該目標オーディオデータは、サンプルセットにおける当該サンプルオーディオデータの語義情報と同じの、異なる発話者のサンプルオーディオデータ、及び／または、当該サンプルオーディオデータの語義情報と同じの、異なる発話者の非サンプルオーディオデータを含む。
【0043】
他の可能な実施形態では、サンプルセットにおける各サンプルオーディオデータについて、当該サンプルオーディオデータの語義情報と同じの、異なる発話者の目標オーディオデータを決定する過程において、大量のコストがかかることを考慮した。そのため、本願の実施例において、サンプルセットにおける各サンプルオーディオデータについて、当該サンプルオーディオデータを当該サンプルオーディオデータに対応する目標オーディオデータとして決定することができ、これによって、リソースを費やして、当該サンプルオーディオデータ音色と異なる目標オーディオデータを決定する必要がないことを実現し、音色変換モデルに対して訓練を行う難しさを低減する。
【0044】
Ｓ１０２：いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得する。
【0045】
本願の実施例において、オリジナル音色変換モデルが予め配置され、当該オリジナル音色変換モデルにおけるパラメータのパラメータ値はランダムに設置されるものであってもよく、人工的に予め配置されるものであってもよい。上記の実施例に基づいてサンプルセットを取得した後、サンプルセットに含まれる各サンプルオーディオデータに基づいて、当該オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することができる。
【0046】
具体的な実施過程において、当該サンプルセットにおけるいずれか一つのサンプルオーディオデータを取得し、当該サンプルオーディオデータをオリジナル音色変換モデルに入力した。当該オリジナル音色変換モデルによって、当該サンプルオーディオデータ及び当該サンプルオーディオデータに対応する目標オーディオデータの音色特徴（第２音色特徴として記載される）に基づいて、当該サンプルオーディオデータに対応する合成オーディオデータを取得する。
【0047】
一種の例示において、当該オリジナル音色変換モデルには、音色抽出ネットワーク、除去音色ネットワーク及びボコーダを少なくとも含み、当該オリジナル音色変換モデルに含まれる音色抽出ネットワーク、除去音色ネットワーク及びボコーダによって、入力するサンプルオーディオデータに対して正確な処理を行う。ここで、当該音色抽出ネットワークは、それぞれ除去音色ネットワーク及びボコーダに接続され、除去音色ネットワークはボコーダに接続され、当該音色抽出ネットワークによって入力するサンプルオーディオデータにおける第１音色特徴を取得することができるため、入力するサンプルオーディオデータにおける語義コンテンツに関係ない音色情報を正確に取得し、後続に当該第１音色特徴によって合成オーディオデータを取得し、合成オーディオデータの音色の正確性を向上させることに有利になり、当該除去音色ネットワークによって、入力するサンプルオーディオデータの第１語義特徴を取得でき、当該第１語義特徴はサンプルオーディオデータの発話者の音色に関係なく、サンプルオーディオデータの語義情報のみに関する特徴であり、これによって、後続に当該第１語義特徴によって合成オーディオデータを取得し、合成オーディオデータの発音コンテンツの正確性を確保することに有利になる。当該ボコーダによって、当該第１語義特徴及び当該サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することができる。
【0048】
具体的な実施過程において、当該サンプルセットにおけるいずれか一つのサンプルオーディオデータを取得し、当該サンプルオーディオデータをオリジナル音色変換モデルに入力した。当該オリジナル音色変換モデルにおける音色抽出ネットワークによって、当該サンプルオーディオデータに対して応じた処理を行い、当該サンプルオーディオデータに対応する第１音色特徴を取得する。オリジナル音色変換モデルにおける除去音色ネットワークによって、当該第１音色特徴及びサンプルオーディオデータに対応する線形スペクトラムに基づいて、語義特徴（第１語義特徴として記載される）を取得する。オリジナル音色変換モデルにおけるボコーダによって、取得した第１語義特徴及び当該サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、当該サンプルオーディオデータに対応する合成オーディオデータを取得する。
【0049】
ここで、第１語義特徴はサンプルオーディオデータにおける、発話者音色に関係なく、且つ発音コンテンツに関する特徴であるため、音色の語義情報に対する影響を回避し、取得した語義情報の正確性を向上させる。
【0050】
なお、当該サンプルオーディオデータに対応する線形スペクトラムは、予め設置される線形スペクトラムアルゴリズム（例えば、高速フーリエ変換アルゴリズムなどの）によって取得したものであってもよい。
【0051】
１つの可能な実施形態では、サンプルセットにおけるいずれか一つのサンプルオーディオデータをオリジナル音色変換モデルに入力する前に、当該サンプルオーディオデータの声学特徴を取得し、当該サンプルオーディオデータの声学特徴を当該オリジナル音色変換モデルに入力し、当該オリジナル音色変換モデルによって当該声学特徴に対して処理を行い、合成オーディオデータを取得することができる。
【0052】
ここで、当該声学特徴は、メルススペクトラム（Ｍｅｌ Ｓｐｅｃｔｒｏｇｒａｍ）メル周波数ケプストラム係数（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ、ＭＦＣＣ）、樹皮周波数ケプストラム係数（Ｂａｒｋ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ、ＢＦＣＣ）、逆メル周波数ケプストラム係数（Ｉｎｖｅｒｓｅ Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ、ＩＭＦＣＣ）、ガンマトーン周波数ケプストラム係数（Ｇａｍｍａｔｏｎｅ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ、ＧＦＣＣ）、線形予測周波数ケプストラム係数（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ、ＬＰＣＣｓ）などのタイプの声学特徴のうちのいずれかの一つであってもよい。
【0053】
なお、当該声学特徴は声学特徴抽出アルゴリズムによって取得したものであってもよく、声学特徴抽出モデルによって取得したものであってもよい。
【0054】
例示的に、声学特徴がメルススペクトラムであることを例として、当該サンプルセットにおけるいずれか一つのサンプルオーディオデータのメルススペクトラムを取得し、当該サンプルオーディオデータのメルススペクトラムをオリジナル音色変換モデルに入力した。当該オリジナル音色変換モデルにおける音色抽出ネットワークによって、入力したメルススペクトラムに対して応じた処理を行い、当該サンプルオーディオデータの第１音色特徴、例えば、２５６次元の音色特徴（ｔｏｎｅ＿ｖｅｃｔｏｒ）を取得する。
【0055】
なお、当該音色抽出ネットワークは、声紋モデルに含まれるネットワーク層、例えば、エンド・ツー・エンド声紋ネットワーク（Ｄｅｅｐ Ｓｐｅａｋｅｒ ＲａｗＮｅｔ， ＧＥ２Ｅ）などによって決定されることができる。
【0056】
当該オリジナル音色変換モデルにおける除去音色ネットワークには、少なくとも事後エンコーダを含み、これによってサンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴を正確に取得し、取得した第１語義特徴の正確性を向上することを実現し、サンプルオーディオデータの音色特徴がサンプルオーディオデータの語義情報に与える影響を回避する。ここで、当該事後エンコーダ（ｐｏｓｔｅｒｉｏｒ ｅｎｃｏｄｅｒ）がエンハンスサブネットワークに接続され、当該事後エンコーダがサンプルオーディオデータから発音コンテンツに関する隠れベクトルを取得し、当該隠れベクトルによって当該サンプルオーディオデータの第１語義特徴を決定するように配置される。
【0057】
具体的には、上記の実施例に基づいて音色抽出ネットワークが出力する第１音色特徴を取得した後、当該オリジナル音色変換モデルにおける除去音色ネットワークに含まれる事後エンコーダによって、当該第１音色特徴及びサンプルオーディオデータに対応する線形スペクトラム（ｌｉｎｅａｒ ｓｐｅｃｔｒｏｇｒｍ）に基づいて、サンプルオーディオデータにおける語義情報の隠れベクトルを取得することができる。その後、当該隠れベクトルによって、当該第１語義特徴を決定する。
【0058】
ここで、直接的に当該隠れベクトルを第１語義特徴として決定することができ、予め設置される数学関数（例えば、対数関数など）によって、当該隠れベクトルに対して処理を行い、処理後の隠れベクトルを第１語義特徴として決定することもできる。
【0059】
１つの可能な実施形態では、当該オリジナル音色変換モデルにおける除去音色ネットワークにおいて、エンハンスサブネットワーク（例えば、ｆｌｏｗネットワーク）を含み、サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴を増強し、語義情報の分布表示を向上し、さらに取得した第１語義特徴の正確性を向上し、サンプルオーディオデータの音色特徴がサンプルオーディオデータの語義情報に与える影響を回避する。当該エンハンスサブネットワークは、除去音色ネットワークにおける事後エンコーダに接続されることができ、当該エンハンスサブネットワークが、事後エンコーダが取得した隠れベクトルに対して増強を行うことに配置される。当該エンハンスサブネットワークが、事後エンコーダが取得した隠れベクトルから、より高い次元、より抽象的な発話者音色に関係なく、且つ語義情報に関する特徴を抽出するように配置されることが理解できる。
【0060】
具体的な実施過程において、上記の実施例に基づいて音色抽出ネットワークが出力する第１音色特徴を取得した後、当該オリジナル音色変換モデルにおける除去音色ネットワークに含まれる事後エンコーダによって、当該第１音色特徴及びサンプルオーディオデータに対応する線形スペクトラムに基づいて、サンプルオーディオデータにおける語義情報の隠れベクトルを取得することができる。その後、当該オリジナル音色変換モデルにおける除去音色ネットワークに含まれるエンハンスサブネットワークによって、当該隠れベクトルに基づいて、増強した後の隠れベクトルを取得し、即ち第１語義特徴を決定する。
【0061】
上記の実施例に基づいて入力するサンプルオーディオデータの第１語義特徴を取得した後、当該音色変換モデルにおけるボコーダによって、当該第１語義特徴及び当該サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、発音コンテンツが第１語義特徴を満たし、且つ音色が第２音色特徴を満たす合成オーディオデータを取得することができる。
【0062】
ここで、当該ボコーダは、ボコーダ、例えば、高効率（ＨｉＦｉＧＡＮ）ボコーダ、線形予測（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ 、ＬＰＣ）ボコーダ、Ｗｏｒｌｄボコーダなどであってもよく、具体的な実施過程において、実際のニーズによって柔軟に設定することができ、ここでは具体的な限定はしない。
【0063】
１つの可能な実施形態では、当該オリジナル音色変換ネットワークにおける音色抽出ネットワークによって、サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴を取得する。
【0064】
例えば、目標オーディオデータはサンプルオーディオデータである場合、直接的に、当該オリジナル音色変換ネットワークにおける音色抽出ネットワークによって決定されるサンプルオーディオデータの第１音色特徴を第２音色特徴として決定する。
【0065】
また、例えば、目標オーディオデータはサンプルオーディオデータではなく、即ち、当該目標オーディオデータは、サンプルセットにおける、当該サンプルオーディオデータの発話者と異なるサンプルオーディオデータ、又は、当該サンプルオーディオデータの発話者と異なる非サンプルオーディオデータである場合、サンプルオーディオデータをオリジナル音色変換モデルに入力した場合、当該サンプルオーディオデータに対応する目標オーディオデータも当該オリジナル音色変換モデルに入力したことで、当該オリジナル音色変換ネットワークにおける音色抽出ネットワークによって、当該目標オーディオデータの第２音色特徴を取得することを実現する。
【0066】
Ｓ１０３：各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する。
【0067】
精度のより高い音色変換モデルが決定するサンプルオーディオデータに対応する合成オーディオデータは、当該サンプルオーディオデータに対応する目標オーディオデータと、より類似する。そのため、上記の実施例に基づいて各サンプルオーディオデータにそれぞれ対応する合成オーディオデータを取得した後、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各サンプルオーディオデータにそれぞれ対応する合成オーディオデータに基づいて、オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行い、これによって、訓練済みの音色変換モデルを取得する。例示的に、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータそれぞれが対応する合成オーディオデータに基づいて、再構成損失値を決定し、当該再構成損失値によって、オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行い、これによって、訓練済みの音色変換モデルを取得する。
【0068】
１つの可能な実施形態では、各サンプルオーディオデータについて、当該サンプルオーディオデータに対応する目標オーディオデータ及び当該サンプルオーディオデータに対応する合成オーディオデータによって、サブ再構成損失値を決定することができる。現在の反復が取得した全てのサブ再構成損失値の和によって、再構成損失値を決定し、当該再構成損失値によって、当該オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行い、これによって、訓練済みの音色変換モデルを取得する。
【0069】
例示的に、以下のような数式に従って、当該サンプルオーディオデータに対応する目標オーディオデータ及び当該サンプルオーディオデータに対応する合成オーディオデータによって、サブ再構成損失値を決定することができる：
【数1】
【0070】
ここで、
はｋ番目のサンプルオーディオデータに対応するサブ再構成損失値を示し、
はｋ番目のサンプルオーディオデータに対応する合成オーディオデータを示し、
はｋ番目のサンプルオーディオデータに対応する目標オーディオデータを示し、
は１のノルム演算子を示す。
【数2】
【数3】
【数4】
【数5】
【0071】
音色変換モデル取得オーディオデータにおける語義情報の精度も音色変換の効果に影響を与えることを考慮した。そのため、本願の実施例において、音色変換モデルに対する訓練過程において、当該音色変換モデルが抽出した語義特徴の精確度に対して監督を行う。
【0072】
１つの可能な実施形態では、サンプルセットにおける各サンプルオーディオデータの語義情報に対して予めラベル付けを行うことができることで、各サンプルオーディオデータにそれぞれ対応するラベル付けの語義と各サンプルオーディオデータにそれぞれ対応する第１語義特徴との間の差異によって、当該音色変換モデルが抽出した語義特徴の精確度に対して監督を行う。
【0073】
他の可能な実施形態では、精度の比較的高い音色変換モデルを取得しようとする場合、大量のサンプルオーディオデータが必要となり、各サンプルオーディオデータに対してラベル付けを行うことは、大量の仕事量、大量のコストを費やし、音色変換モデルを取得する難しさを増加させてしまう。そのため、本願の実施例において、音色変換モデルにおいて一つの語義抽出ネットワークを追加することで、当該語義抽出ネットワークと音色変換モデルにおける除去音色ネットワークによってオーディオデータにおける語義情報を敵対的学習することができる。オリジナル音色変換モデルに対して訓練を行う過程において、サンプルセットにおけるいずれか一つのサンプルオーディオデータに対して、当該オリジナル音色変換モデルにおける語義抽出ネットワークによって、入力するサンプルオーディオデータに基づいて、当該サンプルオーディオデータにおける語義特徴（第２語義特徴として記載される）を取得する。ここで、当該第２語義特徴もサンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴である。
【0074】
一種の例示において、当該語義抽出ネットワークには、第１コンテンツサブネットワーク、第２コンテンツサブネットワーク及び第３コンテンツサブネットワークを含むことができ、これによって、サンプルオーディオデータにおける音色情報を除去する語義情報を正確に取得することを実現する。ここで、当該第１コンテンツサブネットワークが当該第２コンテンツサブネットワークに接続され、当該第１コンテンツサブネットワークは、サンプルオーディオデータに対して処理を行い、当該サンプルオーディオデータにおける比較的密集するコンテンツ特徴を取得することに配置され、当該第１コンテンツサブネットワークはｈ－ｎｅｔネットワークなどであってもよい。当該第２コンテンツサブネットワークが第３コンテンツサブネットワークサブネットワークに接続され、当該第２コンテンツサブネットワークは、第１コンテンツサブネットワークが出力するコンテンツに対して特徴処理を行い、離散化のコンテンツ特徴を取得し、当該コンテンツ特徴における不要な細部を削除し、離散化のコンテンツ特徴をサンプルオーディオデータの語義情報に関連付けることに配置され、例えば、当該第２コンテンツサブネットワークはベクトル化層（Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ、ＶＱ）などであってもよい。当該第３コンテンツサブネットワークは、第２コンテンツサブネットワークが出力する離散化のコンテンツに対して特徴処理を行い、当該離散化のコンテンツの特徴学習サンプルオーディオデータにおける語義情報に関する局部特徴を激励することで、サンプルオーディオデータの第２語義特徴を取得することに配置され、例えば、当該第３コンテンツサブネットワークはｇ－ｎｅｔネットワーク、リカレントニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＲＮＮ）によるコントラスト予測符号化（Ｃｏｎｔｒａｓｔｉｖｅ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ、ＣＰＣ）ネットワークなどであってもよい。
【0075】
具体的な実施過程において、上記の実施例に基づいていずれか一つのサンプルオーディオデータをオリジナル音色変換モデルに入力した後、当該オリジナル音色変換モデルにおける語義によってネットワークに含まれる第１コンテンツサブネットワークを抽出し、当該サンプルオーディオデータに基づいて、コンテンツ特徴を取得し、当該語義抽出ネットワークにおける第２コンテンツサブネットワークによって、当該コンテンツ特徴に基づいて、離散化のコンテンツ特徴を取得し、語義抽出ネットワークにおける第３コンテンツサブネットワークによって、当該離散化のコンテンツ特徴に基づいて、当該サンプルオーディオデータの第２語義特徴を取得する。
【0076】
【0077】
当該サンプルセットにおけるいずれか一つのサンプルオーディオデータのメルススペクトラムを取得し、当該サンプルオーディオデータのメルススペクトラムをオリジナル音色変換モデルに入力した。当該オリジナル音色変換モデルにおける音色抽出ネットワーク（ｓｐｅａｋｅｒ ｅｎｃｏｄｅｒ）によって、当該サンプルオーディオデータのメルススペクトラムに対して応じた処理を行い、当該サンプルオーディオデータに対応する第１音色特徴（ｔｏｎｅ＿ｖｅｃｔｏｒ）を取得する。当該オリジナル音色変換モデルにおける除去音色ネットワークに含まれる事後エンコーダ（ｐｏｓｔｅｒｉｏｒ ｅｎｃｏｄｅｒ）によって、当該第１音色特徴及びサンプルオーディオデータに対応する線形スペクトラム（ｌｉｎｅａｒ ｓｐｅｃｔｒｏｇｒｍ）に基づいて、サンプルオーディオデータにおける語義情報の隠れベクトル（ｚｓｑ）を取得することができる。当該オリジナル音色変換モデルにおける除去音色ネットワークに含まれるエンハンスサブネットワーク（ｆｌｏｗ）によって、当該隠れベクトルに基づいて、増強した後の隠れベクトルを取得し、即ち、第１語義特徴を決定する。同時に、当該オリジナル音色変換モデルにおける語義抽出ネットワーク（ＶＱＣＰＣ ｎｅｔ）によって、入力するサンプルオーディオデータに基づいて、当該サンプルオーディオデータにおける第２語義特徴を取得する。その後、図２に示すボコーダ（ｄｅｃｏｄｅｒ）によって、当該第１語義特徴及びサンプルオーディオデータに対応する目標オーディオデータの第２音色特徴（ｓｐｅａｋｅｒ ｉｎｎｅｒ ｅｍｂｅｄｄｉｎｇ）に基づいて、合成オーディオデータ（ｒａｗ ｗａｖｅｆｏｒｍ）を取得する。
【0078】
具体的には、当該オリジナル音色変換モデルにおける語義抽出ネットワークによって、入力するサンプルオーディオデータに基づいて、当該サンプルオーディオデータにおける第２語義特徴を取得する過程は、当該オリジナル音色変換モデルにおける語義抽出ネットワークに含まれる第１コンテンツサブネットワーク（ｈ－ｎｅｔ）によって、当該サンプルオーディオデータのメルススペクトラムに基づいて、コンテンツ特徴Ｚを取得し、図２に示すようなｋ番目のサンプルオーディオデータのコンテンツ特徴Ｚには、ｋ番目のサンプルオーディオデータに含まれる各オーディオフレームのコンテンツデータを含み、例えば、ｋ番目のサンプルオーディオデータに含まれるｎ番目のオーディオフレームのコンテンツデータはｚｋ，ｎである、ことを含む。当該語義抽出ネットワークにおける第２コンテンツサブネットワーク（Ｖｅｃｔｏｒ Ｑｕａｎｔｉｚａｔｉｏｎ（ＶＱ））によって、当該コンテンツ特徴Ｚに基づいて、離散化のコンテンツ特徴
を取得し、図２に示すようなｋ番目のサンプルオーディオデータの離散化のコンテンツ特徴
には、ｋ番目のサンプルオーディオデータに含まれる各オーディオフレームの離散化のコンテンツデータを含み、例えば、ｋ番目のサンプルオーディオデータに含まれるｎ番目のオーディオフレームの離散化のコンテンツデータは
である。語義抽出ネットワークにおける第３コンテンツサブネットワーク（ｇ－ｎｅｔ）によって、当該離散化のコンテンツ特徴
に基づいて、当該サンプルオーディオデータの第２語義特徴Ｒを取得し、図２に示すようなｋ番目のサンプルオーディオデータの第２語義特徴Ｒには、ｋ番目のサンプルオーディオデータに含まれる各オーディオフレームの第２語義特徴を含み、例えば、ｋ番目のサンプルオーディオデータに含まれるｎ番目のオーディオフレームの離散化のコンテンツデータはｒｋ，ｎである。
【数6】
【数7】
【数8】
【数9】
【0079】
なお、当該ｈ－ｎｅｔネットワークには、畳み込み層、仕様層、線形変換層、論理関数層を含むことができる。図２に示すｈ－ｎｅｔネットワークに含まれる１つの畳み込み層（ｃｏｎｖ ｌａｙｅｒ）が４つの同じ接続構造のサブネットワークに順番に接続され、いずれか一つのサブネットワークについて、当該サブネットワークには、１層仕様層（ｌａｙｅｒ ｎｏｒｍａｌｉｚａｔｉｏｎ）、２層線形変換層（ｌｉｎｅａｒ ｌａｙｅｒ）及び１層論理関数（ＲｅＬＵ）層を含む。
【0080】
上記の実施例に基づいて各サンプルオーディオデータの第２語義特徴を取得した後、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各サンプルオーディオデータにそれぞれ対応する合成オーディオデータ、及び各サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することができる。つまり、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータが、それぞれ対応する合成オーディオデータとの間の差異、及び各サンプルオーディオデータにそれぞれ対応する第１語義特徴が、それぞれ対応する第２語義特徴との間の差異に基づいて、当該オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行うことで、訓練済みの音色変換モデルを取得し、これにより、監督なしで音色変換モデル抽出語義情報の能力に対して訓練を行うことを実現する。
【0081】
具体的な実施過程において、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各サンプルオーディオデータにそれぞれ対応する合成オーディオデータに基づいて、再構成損失値を決定し、各サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、語義損失値を決定する。当該再構成損失値及び語義損失値によって、総合損失値を決定する。当該総合損失値によって、当該オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行うことで、訓練済みの音色変換モデルを取得する。
【0082】
例示的に、サンプルセットにおける各サンプルオーディオデータについて、根拠となる当該サンプルオーディオデータに対応する目標オーディオデータと対応する合成オーディオデータとの間の差異によって、サブ再構成損失値を決定し、且つ当該サンプルオーディオデータの第１語義特徴と第２語義特徴との間の差異によって、サブ語義損失値を決定する。現在の反復が決定する全ての再構成損失値の和によって、再構成損失値を決定し、且つ現在の反復が決定する全てのサブ語義損失値の和によって、語義損失値を決定する。当該再構成損失値及び語義損失値によって、総合損失値を決定する。当該総合損失値によって、当該オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行うことで、訓練済みの音色変換モデルを取得する。
【0083】
一種の例示において、当該再構成損失値及び語義損失値によって、総合損失値を決定する場合、再構成損失値及びそれに対応する第１重み値、及び語義損失値及びそれに対応する第２重み値によって、総合損失値を決定することができる。例えば、再構成損失値と対応する第１重み値との積（第１積として記載される）、及び語義損失値と対応する第２重み値との積（第２積として記載される）を取得する。第１積と第２積との和によって、総合損失値を決定する。
【0084】
１つの可能な実施形態では、オリジナル音色変換モデルにおける除去音色ネットワークに含まれる事後エンコーダによって、サンプルオーディオデータに対応する線形スペクトラム及びオリジナル音色変換モデルにおける音色抽出ネットワークが決定する第１音色特徴に基づいて、隠れベクトルを取得すると共に、当該隠れベクトルの平均ベクトル及び分散ベクトルを取得することもできる。つまり、オリジナル音色変換モデルにおける除去音色ネットワークに含まれる事後エンコーダによって、サンプルオーディオデータに対応する線形スペクトラム及びオリジナル音色変換モデルにおける音色抽出ネットワークが決定する第１音色特徴に基づいて、隠れベクトルの平均ベクトル及び分散ベクトルを取得することもできる。後続に、各サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、語義損失値を決定する場合、各サンプルオーディオデータにそれぞれ対応する第１語義特徴、前記第２語義特徴、平均ベクトル及び分散ベクトルに基づいて、語義損失値を決定することができる。つまり、各サンプルオーディオデータについて、当該サンプルオーディオデータの第１語義特徴、第２語義特徴、平均ベクトル及び分散ベクトルによって、サブ語義損失値を決定する。現在の反復が決定する全てのサブ語義損失値の和によって、語義損失値を決定する。
【0085】
例示的に、以下のような数式によって、当該サンプルオーディオデータの第１語義特徴、第２語義特徴、平均ベクトル及び分散ベクトルに基づいて、サブ語義損失値を決定することができる：
【数10】
【0086】
ここで、ＫＬ＿ｌｏｓｓは、ｋ番目のサンプルオーディオデータに対応するサブ語義損失値を示し、
はｋ番目のサンプルオーディオデータに対応する隠れベクトルの分散ベクトルのｌｏｇ値を示し、
はｋ番目のサンプルオーディオデータの第２語義特徴の分散ベクトルのｌｏｇ値であり、
はｋ番目のサンプルオーディオデータの第１語義特徴を示し、
はｋ番目のサンプルオーディオデータに対応する隠れベクトルの平均ベクトルを示す。
【数11】
【数12】
【数13】
【数14】
【0087】
１つの可能な実施形態では、オリジナル音色変換モデルにおける語義抽出ネットワークは、第１コンテンツサブネットワーク、第２コンテンツサブネットワーク及び第３コンテンツサブネットワークを含む場合、オリジナル音色変換モデルに対して訓練を行う過程において、当該語義抽出ネットワークに損失値が存在することを考慮する必要もある。そのため、本願の実施例において、各サンプルオーディオデータにそれぞれ対応するコンテンツ特徴及び各サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴に基づいて、数量化損失値を決定し、且つ各サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、比較学習損失値を決定することができ、これによって、後続に、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び各サンプルオーディオデータにそれぞれ対応する合成オーディオデータ、各サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴、当該数量化損失値及び比較学習損失値に基づいて、当該オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行うことで、訓練済みの音色変換モデルを取得することを容易にする。
【0088】
一種の例示において、数量化損失値を決定する場合、各サンプルオーディオデータについて、当該サンプルオーディオデータに含まれる各オーディオフレームに対応するコンテンツ特徴及び離散化のコンテンツ特徴によって、当該サンプルオーディオデータに対応するサブ数量化損失値を決定することができる。現在の反復が決定する全てのサブ数量化損失値の和によって、数量化損失値を決定する。
【0089】
例えば、以下のような数式によって、各サンプルオーディオデータにそれぞれ対応するコンテンツ特徴及び各サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴に基づいて、数量化損失値を決定することができる：
【数15】
【0090】
ここで、ＶＱ＿ｌｏｓｓは数量化損失値を示し、Ｋはサンプルセットに含まれるサンプルオーディオデータの総数量を示し、Ｎは各サンプルオーディオデータにそれぞれに含まれるオーディオフレームの総数量を示し、ｎは、現在のｋ番目のサンプルオーディオデータに含まれるｎ番目のオーディオフレームを示し、ｚｋ，ｎは、ｋ番目のサンプルオーディオデータに含まれるｎ番目のオーディオフレームに対応するコンテンツ特徴を示し、
はｋ番目のサンプルオーディオデータに含まれるｎ番目のオーディオフレームに対応する離散化のコンテンツ特徴を示し、ｓｇ（．）は、勾配停止演算子を示し、
は２のノルム演算子を示す。
【数16】
【数17】
【0091】
一種の例示において、敵対的学習損失値を決定する場合、各サンプルオーディオデータについて、当該サンプルオーディオデータに含まれる各オーディオフレームに対応する離散化のコンテンツ特徴及び第２語義特徴によって、当該サンプルオーディオデータに対応するサブ比較学習損失値を決定することができる。現在の反復が決定する全てのサブ比較学習損失値の和によって、比較学習損失値を決定する。
【0092】
例えば、以下のような数式によって、各サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、比較学習損失値を決定する：
【数18】
【0093】
ここで、ＣＰＣ＿ｌｏｓｓは、比較学習損失値を示し、Ｋは、サンプルセットに含まれるサンプルオーディオデータの総数量を示し、
Ｎは各サンプルオーディオデータにそれぞれ含まれるオーディオフレームの数を示し、Ｍは、いずれか一つのサンプルオーディオデータに含まれるポジティブサンプルオーディオフレームの総数量を示し、ｎは現在のｋ番目のサンプルオーディオデータにおけるｎ番目のオーディオフレームを示し、
は、ｋ番目のサンプルオーディオデータにおけるｎ＋ｍ番目のオーディオフレームに対応する離散化のコンテンツ特徴を示し、ｗｍは、関連フレームの数がｍである場合の対応する重みマトリックスを示し、ｒｋ，ｎはｋ番目のサンプルオーディオデータに含まれるｎ番目のオーディオフレームに対応する第２語義特徴を示し、Ｔは転置子であり、
は、ｋ番目のサンプルオーディオデータに含まれるポジティブサンプルオーディオフレーム以外のいずれか一つのマイナスサンプルオーディオフレームを示し、Ωｋ，ｎ，ｍは、ｋ番目のサンプルオーディオデータに含まれるマイナスサンプルオーディオフレームのセットを含むことを示す。
【数19】
【数20】
【数21】
【0094】
具体的な実施過程において、当該オリジナル音色変換モデルに対して訓練を行う場合、各サンプルオーディオデータについて、当該サンプルオーディオデータに対応する目標オーディオデータと対応する合成オーディオデータとの間の差異によって、サブ再構成損失値を決定し、当該サンプルオーディオデータの第１語義特徴と第２語義特徴との間の差異によって、サブ語義損失値を決定し、当該サンプルオーディオデータに含まれる各オーディオフレームに対応するコンテンツ特徴及び離散化のコンテンツ特徴によって、当該サンプルオーディオデータに対応するサブ数量化損失値を決定し、且つ当該サンプルオーディオデータに含まれる各オーディオフレームに対応する離散化のコンテンツ特徴及び第２語義特徴によって、当該サンプルオーディオデータに対応するサブ比較学習損失値を決定する。現在の反復が決定する全てのサブ再構成損失値の和によって、再構成損失値を決定し、現在の反復が決定する全てのサブ語義損失値の和によって、語義損失値を決定し、現在の反復が決定する全てのサブ比較学習損失値の和によって、比較学習損失値を決定し、現在の反復が決定する全てのサブ数量化損失値の和によって、数量化損失値を決定する。決定した再構成損失値、語義損失値、比較学習損失値及び数量化損失値によって、総合損失値を決定する。当該総合損失値によって、当該オリジナル音色変換モデルにおけるパラメータのパラメータ値に対して調整を行うことで、訓練済みの音色変換モデルを取得する。
【0095】
例示的に、決定した再構成損失値及びそれに対応する第１重み値、語義損失値及びそれに対応する第２重み値、比較学習損失値及びそれに対応する第３重み値及び数量化損失値及びそれに対応する第４重み値によって、総合損失値を決定することができる。
【0096】
合成オーディオデータの音色変換効果もボコーダの精度に影響されることを考慮した。そのため、本願の実施例において、オリジナル音色変換モデルに対して訓練を行う過程において、当該オリジナル音色変換モデルにおけるボコーダには損失値が存在する可能性があることも考慮して、ボコーダの損失値によって、音色変換モデルに対して訓練を行う。つまり、オリジナル音色変換モデルに対して訓練を行う過程において、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータ、及び当該オリジナル音色変換モデルにおけるボコーダの損失値に基づいて、オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する。
【0097】
例示的に、ボコーダはＨｉＦｉＧＡＮボコーダであることを例として、ＨｉＦｉ－ＧＡＮボコーダはディープニューラルネットワークモデルであり、エンド・ツー・エンドのフォワードネットワーク構造を採用し、マルチスケールの判別器を訓練し、高効率、高品質な語音合成を実現することができる。ＨｉＦｉＧＡＮボコーダにはジェネレータ及び判別器を含み、当該判別器は二つの種類を含み、それぞれはマルチスケール判別器とマルチサイクル判別器であり、二つの種類の異なる角度から、それぞれＨｉＦｉＧＡＮボコーダにおけるジェネレータが生成するオーディオデータを同定する。ＨｉＦｉＧＡＮボコーダは、特徴マッチング損失を訓練ジェネレータの定額外の損失として、判別器の各中間特徴を抽出することで、各特徴空間における目標オーディオデータと合成オーディオデータとの間の距離Ｌ１を算出し、ＧＡＮを安定させる。そのため、当該ＨｉＦｉＧＡＮボコーダの損失値は特徴マッチング損失値を含むことで、当該特徴マッチング損失値によって、当該オリジナル音色変換モデルに対して訓練を行う。
【0098】
例示的に、当該特徴マッチング損失値は、以下のような数式によって決定されることができる：
【数22】
【0099】
ここで、Ｊは、ボコーダに含まれる判別器において特徴を抽出する層の数を示し、Ｄｊ（）は、判別器におけるｊ番目の抽出特徴層が抽出した特徴を示し、Ｑｊは、判別器におけるｊ番目の抽出特徴層が抽出した特徴の数を示し、ｘは目標オーディオデータであり、ｓはジェネレータが生成する合成オーディオデータのメルススペクトラムである。
【0100】
ＨｉＦｉＧＡＮボコーダの本質は依然として一つの生成敵対的なネットワークであるため、ＨｉＦｉＧＡＮボコーダにおける判別器が算出する合成オーディオデータは目標オーディオデータの確率であり、ＨｉＦｉＧＡＮボコーダにおけるジェネレータは、オーディオデータを合成することに配置され、ＨｉＦｉＧＡＮボコーダに対して訓練を行う過程で、ＨｉＦｉＧＡＮボコーダにおける判別器が、目標オーディオデータであるか、合成オーディオデータであるかが区分できないように、当該ＨｉＦｉＧＡＮボコーダにおけるジェネレータが目標オーディオデータに近い合成オーディオデータを合成することができることが望ましい。これに基づいて、当該ＨｉＦｉＧＡＮボコーダの損失値は、生成敵対損失値をさらに含む。例えば、目標オーディオデータ及びＨｉＦｉＧＡＮボコーダにおけるジェネレータが生成する合成オーディオデータのメルススペクトラムによって、生成敵対損失値を決定することができる。
【0101】
例示的に、以下のような数式によって敵対損失値を生成することができる：
【数23】
【0102】
ここで、Ｌａｄｖ(Ｄ；Ｇ)は、ＨｉＦｉＧＡＮボコーダにおける判別器の生成敵対損失値を示し、Ｌａｄｖ(Ｇ；Ｄ)は、ＨｉＦｉＧＡＮボコーダにおけるジェネレータの生成敵対損失値を示し、ｘは目標オーディオデータであり、ｓはジェネレータが生成する合成オーディオデータのメルススペクトラムである。
【0103】
上記の実施例に基づいて、ボコーダの損失値を取得した後、当該ボコーダの損失値及び各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータによって、当該オリジナル音色変換モデルにおける各パラメータのパラメータ値に対して調整を行うことで、訓練済みの音色変換モデルを取得する。
【0104】
例えば、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、再構成損失値を決定し、且つオリジナル音色変換モデルにおけるボコーダの損失値を決定する。当該再構成損失値及びボコーダの損失値によって、総合損失値を決定する。当該総合損失値によって、当該オリジナル音色変換モデルにおける各パラメータのパラメータ値に対して調整を行う。
【0105】
ここで、当該再構成損失値及びボコーダの損失値によって、総合損失値を決定する場合、当該再構成損失値及びそれに対応する第１重み値、及びボコーダの損失値及びそれに対応する第５損失値によって、総合損失値を決定することができる。
【0106】
また、例えば、各サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、再構成損失値を決定し、各サンプルオーディオデータにそれぞれ対応する第１語義特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、語義損失値を決定し、各サンプルオーディオデータにそれぞれ対応するコンテンツ特徴及び各サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴に基づいて、数量化損失値を決定し、各サンプルオーディオデータにそれぞれ対応する離散化のコンテンツ特徴及び各サンプルオーディオデータにそれぞれ対応する第２語義特徴に基づいて、比較学習損失値を決定し、オリジナル音色変換モデルにおけるボコーダの損失値を決定する。当該再構成損失値、語義損失値、数量化損失値、比較学習損失値及びボコーダの損失値によって、総合損失値を決定する。当該総合損失値によって、当該オリジナル音色変換モデルにおける各パラメータのパラメータ値に対して調整を行う。
【0107】
例示的に、当該再構成損失値、語義損失値、数量化損失値、比較学習損失値及びボコーダの損失値によって、総合損失値を決定することが以下のような数式によって表示されることができる：
【数24】
【0108】
ここで、ｔｏｔａｌ＿ｌｏｓｓは、総合損失値を示し、ｒｅｃｏｎ＿ｌｏｓｓは、再構成損失値を示し、ＫＬ＿ｌｏｓｓは、語義損失値を示し、ｖｑ＿ｌｏｓｓは、数量化損失値を示し、ｃｐｃ＿ｌｏｓｓは、比較学習損失値を示し、ｄｅｃｏｄｅｒ＿ｌｏｓｓは、ボコーダの損失値を示す。
【0109】
なお、ボコーダはＨｉＦｉＧＡＮボコーダである場合、ｄｅｃｏｄｅｒ＿ｌｏｓｓは、特徴マッチング損失値（ｆｍ＿ｌｏｓｓ）と生成敵対損失値（ａｄｖ＿ｌｏｓｓ）とを含むことができる。
【0110】
オリジナル音色変換モデルを訓練することに配置されるいくつかのサンプルオーディオデータが含まれるため、各サンプルオーディオデータについて、予め設置される収束条件が満たされるまでに、いずれも上記のステップを実行する。
【0111】
ここで、予め設置される収束条件が満たされることは、現在の反復が決定する総合損失値は予め設置される損失閾値未満、又はオリジナル音色変換モデルに対して訓練を行う反復回数は予め設置される最大の反復回数に達するなどのことであってもよい。具体的な実施において、柔軟に設置することができ、ここでは具体的な限定はしない。
【0112】
１つの可能な実施形態では、オリジナル音色変換モデルに対して訓練する場合、サンプルオーディオデータを訓練サンプルとテストサンプルに分け、先に、訓練サンプルに基づいて、オリジナル音色変換モデルに対して訓練を行い、また、テストサンプルに基づいて、上記の既に訓練された音色変換モデルの信頼程度に対して検証を行う。
【0113】
訓練済みの音色変換モデルを取得した後、当該音色変換モデル及びサンプルセットにおける各サンプルオーディオデータに基づいて、サンプルセットにおける各発話者にそれぞれ対応する音色特徴を決定することができる。その後、各発話者にそれぞれ対応する音色特徴及び各発話者にそれぞれ対応する対象標識を対応的に保存し、このように、後続に当該訓練済みの音色変換モデルによって、当該サンプルセットにおけるいずれか一つの発話者の合成オーディオデータを合成する場合、直接的に対象標識と音色特徴との対応関係によって、当該発話者の対象標識の音色特徴を決定することができ、当該発話者の音色特徴及び音色変換モデルによって、当該発話者の合成オーディオデータを取得し、音色変換の効率に向上させることに有利になる。当該サンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者の音色は、いずれも当該訓練済みの音色変換モデルが支持する音色であることが理解できる。
【0114】
実施例２：
本願の実施例には、音色変換方法も提供され、図３は本願の実施例に提供される音色変換の過程の概略図であり、当該過程は、
Ｓ３０１：ソースオーディオデータ及び目標発話者の音色特徴を取得することを含む。
本願の実施例には、音色変換方法も提供され、図３は本願の実施例に提供される音色変換の過程の概略図であり、当該過程は、
Ｓ３０１：ソースオーディオデータ及び目標発話者の音色特徴を取得することを含む。
【0115】
本願の実施例に提供される音色変換方法が電子デバイスに応用され、当該電子デバイスは、例えば、ロボットなどのスマートデバイスであってもよく、サーバであってもよい。ここで、本願の実施例において、音色変換を行う電子デバイスは、上記の音色変換モデル訓練を行う電子デバイスと同じであってもよく、異なってもよい。
【0116】
１つの可能な実施形態では、音色変換モデル訓練を行う過程において、一般的にオフラインの方式を採用して、音色変換モデル訓練を行うため、訓練済みの音色変換モデルを取得した後、当該音色変換モデルが、音色変換を行う電子デバイスに配備されることができることで、音色変換を行う電子デバイスが、当該音色変換モデルによって音色変換を行うことができることを容易にする。
【0117】
なお、具体的に音色変換モデルを訓練する過程は、既に上記の実施例において説明し、重複箇所については言及しない。
【0118】
１つの可能な実施形態では、訓練済みの音色変換モデルには語義抽出ネットワークを含む場合、当該語義抽出ネットワークは、主に除去音色ネットワークが抽出した語義特徴に対して監督を行うために使用され、そのため、訓練済みの音色変換モデルが音色変換を行う電子デバイスに配備される場合、当該音色変換モデルにおける語義抽出ネットワーク以外の他のネットワークを、音色変換を行う電子デバイスに配備することができることで、当該音色変換モデルに含まれるパラメータ量を減少し、データ転送にかかるコスト及び音色変換を行う電子デバイスの内部記憶空間への圧力を低減する。
【0119】
音色変換を行う必要がある場合、ユーザーはスマートデバイスで合成要求を入力することができ、当該合成要求によって、スマートデバイスを制御して目標発話者がある発音コンテンツを出すオーディオデータを合成することができる。ここで、具体的に合成要求を入力する方式は多く、例えば、入力合成要求の方式は、語音情報を入力する方式によって入力することであってもよく、スマートデバイスのディスプレイに表示する仮想ボタンに対して操作を行う方式によって入力するなどであってもよく、具体的な実施過程において、ニーズによって柔軟に設定することができ、ここでは具体的な限定はしない。スマートデバイスが合成要求を取得した後、当該合成要求、ソースオーディオデータ及び目標発話者の情報を音色変換を行う電子デバイスに送信することができる。
【0120】
ここで、目標発話者とは、音色変換技術によって取得した合成オーディオデータの音色が属する発話者であり、当該目標発話者の情報は、目標発話者の対象標識、又は、目標発話者のオーディオデータを含む。当該ソースオーディオデータとは、語義情報を提供し、且つ音色情報のオーディオデータを提供しないことに配置されるものである。
【0121】
なお、当該ソースオーディオデータ及び目標発話者のオーディオデータは、いずれもユーザーがスマートデバイスによって収録したものであってもよく、予めスマートデバイスにおけるオーディオデータに配置されるものであってもよい。
【0122】
可能な応用シーンにおいて、ユーザーがサンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者を目標発話者として決定する場合、当該目標発話者の情報は、目標発話者の対象標識を含む。例えば、スマートデバイスが複数の発話者の対象標識を出力し、ユーザーはスマートデバイスが出力する複数の対象標識を選択することができ、スマートデバイスは、ユーザーが選択する対象標識を検測した場合、選択する対象標識を目標発話者の情報として決定し、後続に、スマートデバイスは、合成要求、当該目標発話者の対象標識及び当該ソースオーディオデータを音色変換を行う電子デバイスに送信することができる。
【0123】
ここで、当該対象標識は、数字、文字列などの形式によって示すことができ、他の形式によって示すこともでき、一意に当該発話者を標識する形式であれば、いずれも本願の実施例として配置されることができる。
【0124】
なお、当該サンプルセットにおけるサンプルオーディオデータは、音色変換モデルを訓練するように配置される。当該サンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者の音色は、いずれも当該訓練済みの音色変換モデルが支持する音色であることを理解できる。
【0125】
もう一つの可能な応用シーンにおいて、ユーザーがサンプルセット以外の他の発話者を目標発話者として決定し、即ち、サンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者を目標発話者として決定しない場合、当該目標発話者の情報は目標発話者のオーディオデータを含む。例えば、スマートデバイスが複数の発話者の対象標識を出力し、スマートデバイスは、ユーザーが選択する対象標識を検測されず、又はユーザーが入力する目標発話者を追加するトリガ操作を検測した場合、ユーザーに目標発話者のオーディオデータを入力することを提示し、且つユーザーが入力するオーディオデータを目標発話者の情報として決定することができる。後続に、スマートデバイスは、合成要求、当該目標発話者のオーディオデータ及び当該ソースオーディオデータを音色変換を行う電子デバイスに送信することができる。
【0126】
音色変換を行う電子デバイスは、当該合成要求、目標発話者の情報及びソースオーディオデータを受信した後、当該目標発話者の情報に基づいて、目標発話者の音色特徴を決定することができる。後続に、当該目標発話者の音色特徴及びソースオーディオデータに基づいて、目標発話者がソースオーディオデータの発音コンテンツを出すオーディオデータを取得し、即ち目標発話者の合成オーディオデータを取得する。
【0127】
１つの可能な実施形態では、前記目標発話者の音色特徴を取得することは、
前記目標発話者の情報を取得することと、
前記目標発話者の情報は対象標識であることを決定する場合、保存する対象標識と音色特徴との対応関係によって、前記目標発話者の対象標識に対応する音色特徴を決定することと、
前記目標発話者の情報はオーディオデータであることを決定する場合、前記音色変換モデルにおける音色抽出ネットワークによって、前記オーディオデータの音色特徴を取得することと、
を含む。
前記目標発話者の情報を取得することと、
前記目標発話者の情報は対象標識であることを決定する場合、保存する対象標識と音色特徴との対応関係によって、前記目標発話者の対象標識に対応する音色特徴を決定することと、
前記目標発話者の情報はオーディオデータであることを決定する場合、前記音色変換モデルにおける音色抽出ネットワークによって、前記オーディオデータの音色特徴を取得することと、
を含む。
【0128】
本願の実施例において、当該目標発話者の情報に基づいて、目標発話者の音色特徴を決定することは、以下のような二つの状況を含む：
【0129】
状況一、当該目標発話者の情報は目標発話者の対象標識である場合、当該目標発話者はサンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者であることを示すため、保存する対象標識と音色特徴との対応関係によって、目標発話者の対象標識に対応する音色特徴を決定し、決定した音色特徴を当該目標発話者の音色特徴として決定する。
【0130】
ここで、音色変換モデルは前記サンプルセットにおけるサンプルオーディオデータに基づいて訓練されたものである。
【0131】
状況二、当該目標発話者の情報はオーディオデータである場合、当該目標発話者はサンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者であるか否かを決定できないことを示すため、音色変換モデルにおける音色抽出ネットワークによって、当該オーディオデータの音色特徴を取得し、取得した音色特徴を当該目標発話者の音色特徴として決定する。
【0132】
Ｓ３０２：予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得する。
【0133】
上記の実施例に基づいて、ソースオーディオデータ及び目標発話者の音色特徴を取得した後、当該ソースオーディオデータ及び目標発話者の音色特徴を予め訓練される音色変換モデルに入力することができることで、当該音色変換モデルによって、ソースオーディオデータ及び目標発話者の音色特徴に基づいて、合成オーディオデータを決定する。
【0134】
具体的な実施過程において、予め訓練される音色変換モデルにおける音色抽出ネットワークによって、ソースオーディオデータの音色特徴を取得する。音色変換モデルにおける除去音色ネットワークによって、音色特徴及びソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、当該語義特徴はソースオーディオデータにおける発話者音色に関係なく、且つ語義情報に関する特徴であり、音色変換モデルにおけるボコーダによって、語義特徴及び目標発話者の音色特徴に基づいて、合成オーディオデータを取得する。
【0135】
ここで、ソースオーディオデータに対応する線形スペクトラムを取得する過程は、既に上記の実施例に説明し、ここでは具体的な限定はしない。
【0136】
１つの可能な実施形態では、ソースオーディオデータを予め訓練される音色変換モデルに入力する前に、当該ソースオーディオデータのメルケプストラムを取得し、当該ソースオーディオデータの代わりに、当該メルケプストラムを音色変換モデルに入力することで、音色変換モデルに必要な算出量を低減し、音色変換効率を向上させ、音色変換モデルが行う音色変換を容易にすることができる。
【0137】
【0138】
まず、ソースオーディオデータ及び目標発話者の情報を取得する。
【0139】
当該目標発話者の情報は、目標発話者の対象標識である場合、当該目標発話者はサンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者であることを示し、現在、目標発話者がいずれか一つのオーディオデータにおける発音コンテンツを出すオーディオデータを取得しようとすると、保存する対象標識と音色特徴との対応関係によって、目標発話者の対象標識に対応する音色特徴を決定し、決定した音色特徴を当該目標発話者の音色特徴として決定する。当該目標発話者の情報によって、後続に、ａｎｙ－ｔｏ－ｍａｎｙの音色変換方式を実現でき、即ちサンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者の音色特徴を選択して、予め訓練される音色変換モデルによって、当該音色特徴及び任意発音コンテンツのソースオーディオデータに基づいて、当該発話者が当該発音コンテンツを出すオーディオデータを取得することができる。
【0140】
当該目標発話者の情報はオーディオデータである場合、当該目標発話者はサンプルセットにおけるいずれか一つのサンプルオーディオデータの発話者であるか否かを決定できないことを示し、現在、いずれか一つの目標発話者がいずれか一つのオーディオデータにおける発音コンテンツを出すオーディオデータを取得しようとすると、音色変換モデルにおける音色抽出ネットワークによって、当該オーディオデータの音色特徴を取得し、取得した音色特徴を当該目標発話者の音色特徴として決定する。当該目標発話者の情報によって、後続に、ｍａｎｙ－ｔｏ－ｍａｎｙの音色変換方式を実現でき、即、予め訓練される音色変換モデルによって、任意オーディオデータの音色特徴及び任意発音コンテンツのソースオーディオデータに基づいて、当該音色特徴及び発音コンテンツを満たす合成オーディオデータを取得することができる。
【0141】
当該ソースオーディオデータ（Ｒｅｆｅｒｅｎｃｅ－ｗａｖ）及び目標発話者の音色特徴を予め訓練される音色変換モデルに入力した。
【0142】
当該音色変換モデルにおける音色抽出ネットワーク（図４に示すようなｓｐｅａｋｅｒ ｅｎｃｏｄｅｒ）によって、当該ソースオーディオデータのメルススペクトラム（Ｍｅｌ ｓｐｅｃｔｒｏｇｒｍ）に対して応じた処理を行い、当該ソースオーディオデータに対応する音色特徴、図４に示すようなｔｏｎｅ＿ｖｅｃｔｏｒを取得する。
【0143】
当該音色変換モデルにおける除去音色ネットワークに含まれる事後エンコーダ、図４に示すようなｐｏｓｔｅｒｉｏｒ ｅｎｃｏｄｅｒによって、当該ソースオーディオデータに対応する音色特徴及びソースオーディオデータに対応する線形スペクトラム、図４に示すようなｌｉｎｅａｒ ｓｐｅｃｔｒｏｇｒｍに基づいて、ソースオーディオデータにおける語義情報的隠れベクトル、図４に示すようなｚｓｑを取得することができる。
【0144】
当該音色変換モデルにおける除去音色ネットワークに含まれるエンハンスサブネットワーク（ｆｌｏｗ）によって、当該隠れベクトルに基づいて、増強した後の隠れベクトルを取得し、即ち語義特徴を決定する。
【0145】
図４に示すようなボコーダ（ｄｅｃｏｄｅｒ）によって、当該語義特徴及び目標発話者の音色特徴、図４に示すようなｓｐｅａｋｅｒ ｉｎｎｅｒ ｅｍｂｅｄｄｉｎｇに基づいて、合成オーディオデータを取得し、即ち図４に示すようなｒａｗ ｗａｖｅｆｏｒｍを取得する。
【0146】
実施例３：
本願の実施例には音色変換モデル訓練装置が提供され、図５は本願の実施例に提供される音色変換モデル訓練装置の構造の概略図であり、当該構造は、取得ユニット５１と、処理ユニット５２と、訓練ユニット５３と、を含み、
取得ユニット５１はサンプルセットを取得することに配置され、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
処理ユニット５２は、いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴が、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することに配置され、
訓練ユニット５３は、各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することに配置される。
本願の実施例には音色変換モデル訓練装置が提供され、図５は本願の実施例に提供される音色変換モデル訓練装置の構造の概略図であり、当該構造は、取得ユニット５１と、処理ユニット５２と、訓練ユニット５３と、を含み、
取得ユニット５１はサンプルセットを取得することに配置され、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
処理ユニット５２は、いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴が、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得することに配置され、
訓練ユニット５３は、各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得することに配置される。
【0147】
上記の音色変換モデル訓練装置が問題を解決する原理は、音色変換モデル訓練装置方法と類似し、そのため、上記の音色変換モデル訓練装置の実施及び対応する有益な効果は、方法の実施及び有益な効果を参照することができ、重複箇所については言及しない。
【0148】
実施例４：
本願の実施例提供には音色変換装置が提供され、図６は本願の実施例に提供される音色変換装置の構造の概略図であり、当該構造は取得モジュール６１と、合成モジュール６２とを含み、
取得モジュール６１は、ソースオーディオデータ及び目標発話者の音色特徴を取得することに配置され、
合成モジュール６２は、予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することに配置される。
上記の音色変換装置が問題を解決する原理が音色変換装置方法と類似し、そのため、上記の音色変換装置の実施は、方法の実施を参照することができ、重複箇所については言及しない。
本願の実施例提供には音色変換装置が提供され、図６は本願の実施例に提供される音色変換装置の構造の概略図であり、当該構造は取得モジュール６１と、合成モジュール６２とを含み、
取得モジュール６１は、ソースオーディオデータ及び目標発話者の音色特徴を取得することに配置され、
合成モジュール６２は、予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得することに配置される。
上記の音色変換装置が問題を解決する原理が音色変換装置方法と類似し、そのため、上記の音色変換装置の実施は、方法の実施を参照することができ、重複箇所については言及しない。
【0149】
実施例５：
図７は本願の実施例に提供される電子デバイスの構造の概略図であり、当該電子デバイスは、プロセッサ７１、通信インターフェース７２、メモリ７３、通信バス７４を含み、ここで、プロセッサ７１、通信インターフェース７２、メモリ７３は通信バス７４を介して相互の通信を行い、
前記メモリ７３にはコンピュータプログラムが記憶され、前記プログラムが前記プロセッサ７１によって実行される場合、前記プロセッサ７１に以下のようなステップを実行させる：
サンプルセットを取得し、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得し、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する。
図７は本願の実施例に提供される電子デバイスの構造の概略図であり、当該電子デバイスは、プロセッサ７１、通信インターフェース７２、メモリ７３、通信バス７４を含み、ここで、プロセッサ７１、通信インターフェース７２、メモリ７３は通信バス７４を介して相互の通信を行い、
前記メモリ７３にはコンピュータプログラムが記憶され、前記プログラムが前記プロセッサ７１によって実行される場合、前記プロセッサ７１に以下のようなステップを実行させる：
サンプルセットを取得し、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得し、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する。
【0150】
上記電子デバイスが問題を解決する原理が音色変換モデル訓練方法と類似し、そのため、上記の電子デバイスの実施は、方法の実施例１を参照することができ、重複箇所については言及せず、相応の有益な効果部分と同じであるため、ここで言及しない。
【0151】
実施例６：
図８は本願の実施例に提供される他の電子デバイスの構造の概略図であり、当該電子デバイスは、プロセッサ８１、通信インターフェース８２、メモリ８３、通信バス８４を含み、ここで、プロセッサ８１、通信インターフェース８２、メモリ８３は、通信バス８４を介して相互の通信を行い、
前記メモリ８３には、コンピュータプログラムが記憶され、前記プログラムが前記プロセッサ８１によって実行される場合、前記プロセッサ８１に以下のようなステップを実行させる：
ソースオーディオデータ及び目標発話者の音色特徴を取得し、
予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得する。
図８は本願の実施例に提供される他の電子デバイスの構造の概略図であり、当該電子デバイスは、プロセッサ８１、通信インターフェース８２、メモリ８３、通信バス８４を含み、ここで、プロセッサ８１、通信インターフェース８２、メモリ８３は、通信バス８４を介して相互の通信を行い、
前記メモリ８３には、コンピュータプログラムが記憶され、前記プログラムが前記プロセッサ８１によって実行される場合、前記プロセッサ８１に以下のようなステップを実行させる：
ソースオーディオデータ及び目標発話者の音色特徴を取得し、
予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得する。
【0152】
上記の電子デバイスが問題を解決する原理は、音色変換方法と類似し、そのため、上記電子デバイスの実施は、方法の実施例２を参照することができ、重複箇所については言及しない。
【0153】
上記の電子デバイスが言及する通信バスは、周辺機器相互接続規格（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ、ＰＣＩ）バスまたは拡張産業規格構造（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってもよい。当該通信バスを、アドレスバス、データバス、制御バスなどに分けることができる。簡単に説明するために、図においてバスが太線１本のみで示されるが、バスが１本のみであることや一つの種類のバスであることを示すわけではない。通信インターフェース８２は、上記電子デバイスが他のデバイスとの間に通信を行うように配置される。メモリは、メモリランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）を含むことができ、不揮発性メモリ（Ｎｏｎ－Ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ、ＮＶＭ）、例えば、少なくとも一つのディスクメモリを含むこともできる。選択肢の一つとして、メモリは、前述プロセッサから離れた位置にある少なくとも一つの記憶装置であってもよい。
【0154】
上記プロセッサは、中央プロセッサ、ネットワークプロセッサ（Ｎｅｔｗｏｒｋ Ｐｒｏｃｅｓｓｏｒ、ＮＰ）などを含む汎用プロセッサであってもよく、デジタルコマンドプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、特定用途向け集積回路、フィールドプログラマブルゲートディスプレイまたは他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであってもよい。
【0155】
実施例７：
上記各実施例を基に、本願の実施例には、コンピュータ可読記憶媒体も提供され、前記コンピュータ可読記憶媒体には、プロセッサによって実行されるコンピュータプログラムが記憶され、前記プログラムが前記プロセッサで稼働される場合、前記プロセッサに実行させる時に、以下のようなステップを実現する：
サンプルセットを取得し、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得し、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する。
上記各実施例を基に、本願の実施例には、コンピュータ可読記憶媒体も提供され、前記コンピュータ可読記憶媒体には、プロセッサによって実行されるコンピュータプログラムが記憶され、前記プログラムが前記プロセッサで稼働される場合、前記プロセッサに実行させる時に、以下のようなステップを実現する：
サンプルセットを取得し、ここで、前記サンプルセットには、異なる発話者のサンプルオーディオデータが含まれ、各前記サンプルオーディオデータは、それぞれ目標オーディオデータに対応し、前記目標オーディオデータと前記サンプルオーディオデータとは、語義情報が同じであり、
いずれか一つの前記サンプルオーディオデータに対して、オリジナル音色変換モデルにおける音色抽出ネットワークによって、前記サンプルオーディオデータの第１音色特徴を取得し、前記オリジナル音色変換モデルにおける除去音色ネットワークによって、前記第１音色特徴及び前記サンプルオーディオデータに対応する線形スペクトラムに基づいて、第１語義特徴を取得し、ここで、前記第１語義特徴は、前記サンプルオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記オリジナル音色変換モデルにおけるボコーダによって、前記第１語義特徴及び前記サンプルオーディオデータに対応する目標オーディオデータの第２音色特徴に基づいて、合成オーディオデータを取得し、
各前記サンプルオーディオデータにそれぞれ対応する目標オーディオデータ及び合成オーディオデータに基づいて、前記オリジナル音色変換モデルに対して訓練を行うことで、訓練済みの音色変換モデルを取得する。
【0156】
コンピュータ可読記憶媒体が問題を解決する原理及び相応的に得る有益な効果は、上記の実施例中の音色変換モデル訓練方法と類似し、そのため、具体的な実施は、音色変換モデル訓練方法の実施を参照することができる。
【0157】
実施例８：
上記各実施例を基に、本願の実施例には、コンピュータ可読記憶媒体も提供され、前記コンピュータ可読記憶媒体に、プロセッサによって実行されるコンピュータプログラムが記憶され、前記プログラムが前記プロセッサで稼働される場合、前記プロセッサに実行させる時に、以下のようなステップを実現する：
ソースオーディオデータ及び目標発話者の音色特徴を取得し、
予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得する。
上記各実施例を基に、本願の実施例には、コンピュータ可読記憶媒体も提供され、前記コンピュータ可読記憶媒体に、プロセッサによって実行されるコンピュータプログラムが記憶され、前記プログラムが前記プロセッサで稼働される場合、前記プロセッサに実行させる時に、以下のようなステップを実現する：
ソースオーディオデータ及び目標発話者の音色特徴を取得し、
予め訓練される音色変換モデルにおける音色抽出ネットワークによって、前記ソースオーディオデータの音色特徴を取得し、前記音色変換モデルにおける除去音色ネットワークによって、前記音色特徴及び前記ソースオーディオデータに対応する線形スペクトラムに基づいて、語義特徴を取得し、ここで、前記語義特徴は、前記ソースオーディオデータにおける、発話者音色に関係なく、且つ語義情報に関する特徴であり、前記音色変換モデルにおけるボコーダによって、前記語義特徴及び前記目標発話者の音色特徴に基づいて、合成オーディオデータを取得する。
【0158】
コンピュータ可読記憶媒体が問題を解決する原理は、上記の実施例中の音色変換方法と類似し、そのため、具体的な実施は、音色変換方法の実施を参照することができる。
【0159】
当業者であれば、本願の実施例に提供されるのは、方法、システム、またはコンピュータプログラム製品であることが自明である。そのため、本願は、完全ハードウェア実施例、完全ソフトウェア実施例、またはソフトウェアとハードウェア方面を結合する実施例の形式を採用することができる。また、本願は、コンピュータ利用可能なプログラムコードが含まれる一つ又は複数のコンピュータ利用可能な記憶媒体（ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリなどを含むがこれらに限定されない）で実施されるコンピュータプログラム製品の形式を採用することができる。
【0160】
本願の実施例には、コンピュータプログラム製品も提供され、コンピュータプログラムが含まれ、当該コンピュータプログラムが実行される場合、上記のような前記音色変換モデル訓練方法のステップ、または、上記のような前記音色変換方法のステップを実現できる。
【0161】
本願は、本願の方法、デバイス（システム）、及びコンピュータプログラム製品によるフローチャート及び／またはブロック図を参照して説明する。コンピュータプログラムコマンドによってフローチャート及び／またはブロック図における各フロー及び／またはブロック、及びフローチャート及び／またはブロック図におけるフロー及び／またはブロックの結合を実現できることを理解することができる。これらのコンピュータプログラムコマンドが汎用コンピュータ、専用コンピュータ、組み込みプロセッサまたは他のプログラマブルデータ処理デバイスのプロセッサに提供されることで一つの機器を生成することができ、これにより、コンピュータまたは他のプログラマブルデータ処理デバイスのプロセッサによって実行されるコマンドで、フローチャートの一つのフローまたは複数のフロー及び／またはブロック図の一つのブロックまたは複数のブロックに指定される機能を実現するための装置を生成する。
【0162】
これらのコンピュータプログラムコマンドは、コンピュータまたは他のプログラマブルデータの処理デバイスをガイドして特定の方式で動作させることができるコンピュータ可読メモリに記憶されることもでき、これによって、当該コンピュータ可読メモリに記憶されるコマンドに、コマンド装置を含む製品を生成させ、当該コマンド装置は、フローチャートの一つのフローまたは複数のフロー及び／またはブロック図の一つのブロックまたは複数のブロックに指定される機能を実現する。
【0163】
これらのコンピュータプログラムコマンドが、コンピュータまたは他のプログラマブルデバイスで一連の操作ステップを実行することで、コンピュータを実現する処理を生成するように、コンピュータまたは他のプログラマブルデータ処理デバイスにロードすることもでき、これにより、コンピュータまたは他のプログラマブルデバイスで実行されるコマンドは、フローチャートの一つのフローまたは複数のフロー及び／またはブロック図の一つのブロックまたは複数のブロックに指定される機能を実現するためのステップを提供する。
【符号の説明】
【0164】
５１ 取得ユニット
５２ 処理ユニット
５３ 訓練ユニット
６１ 取得モジュール
６２ 合成モジュール
７１ プロセッサ
７２ 通信インターフェース
７３ メモリ
７４ 通信バス
８１ プロセッサ
８２ 通信インターフェース
８３ メモリ
８４ 通信バス
５２ 処理ユニット
５３ 訓練ユニット
６１ 取得モジュール
６２ 合成モジュール
７１ プロセッサ
７２ 通信インターフェース
７３ メモリ
７４ 通信バス
８１ プロセッサ
８２ 通信インターフェース
８３ メモリ
８４ 通信バス
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】