特許7179273翻訳モデルのトレーニング方法、語句翻訳の方法、機器、記憶媒体及びコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-18
(45)【発行日】2022-11-29
(54)【発明の名称】翻訳モデルのトレーニング方法、語句翻訳の方法、機器、記憶媒体及びコンピュータプログラム
(51)【国際特許分類】
G06F 40/44 20200101AFI20221121BHJP
【ＦＩ】
G06F40/44
【請求項の数】
8
(21)【出願番号】P 2020545261
(86)(22)【出願日】2019-03-29
(65)【公表番号】
(43)【公表日】2021-06-17
(86)【国際出願番号】 CN2019080411
(87)【国際公開番号】W WO2019214365
(87)【国際公開日】2019-11-14
【審査請求日】2020-08-28
(31)【優先権主張番号】201810445783.2
(32)【優先日】2018-05-10
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100150197
【弁理士】
【氏名又は名称】松尾 直樹
(72)【発明者】
【氏名】程 勇
(72)【発明者】
【氏名】▲塗▼ 兆▲鵬▼
(72)【発明者】
【氏名】孟 凡▲東▼
(72)【発明者】
【氏名】▲ジャイ▼ 俊杰
(72)【発明者】
【氏名】▲劉▼ 洋
【審査官】成瀬 博之
(56)【参考文献】
【文献】特開２０１８－０５５６７０（ＪＰ，Ａ）
【文献】特表２０１２－５２７７０１（ＪＰ，Ａ）
【文献】特開２００７－１２２５２５（ＪＰ，Ａ）
【文献】山内真樹 他3名，自動コーパス生成とフィードバックによる少量コーパスからの統計機械翻訳，2016年度 人工知能学会全国大会(第30回)論文集[CD-ROM]，日本，社団法人 人工知能学会，2016年06月06日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／２０－４０／５８
(57)【特許請求の範囲】
【請求項1】
コンピュータ機器が実行する翻訳モデルのトレーニング方法であって、前記コンピュータ機器が、複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するステップと、
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するステップであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、トレーニングサンプルの単語を置き換えることによって、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い前記外乱サンプルが採用される、ステップと、
前記コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップとを含む方法であって、
前記各トレーニングサンプルは、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対であり、
前記コンピュータ機器が、各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定する前記ステップは、
各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び外乱出力サンプルセットの対応する外乱出力サンプルを決定するステップであって、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であるステップを含み、
前記コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得する前記ステップは、
複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップを含み、
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定する前記ステップは、
前記各トレーニング入力サンプルにおける第１単語を決定するステップであって、前記第１単語は置換対象単語であるステップと、
前記第１単語の単語ベクトルに基づいて、少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを取得するステップであって、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高いステップとを含む、方法であって、
前記初期翻訳モデルは、エンコーダと、分類器と、デコーダとを含み、
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、第１中間表現結果と前記第２中間表現結果に基づいて分類値を出力して前記第１中間表現結果と前記第２中間表現結果とが類似の表示となるよう前記エンコーダを激励し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する
方法。
【請求項2】
前記コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定する前記ステップは、前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定するステップと、
毎回、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、ガウシノイズが付けられた後の単語の単語ベクトルを得て、前記ガウシノイズが付けられた後の単語の単語ベクトルを用いて単語の語義情報を捕捉することにより、該当する語義情報を有する単語を得て前記外乱サンプルセットを取得するステップとを含む請求項１に記載の方法。
【請求項3】
前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを含み、前記分類ターゲット関数には、前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、前記分類値を計算し、
前記トレーニングターゲット関数には、前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には、前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる請求項１に記載の方法。
【請求項4】
前記コンピュータ機器が、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得する前記ステップは、各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力するステップと、
勾配降下という方式で前記モデルターゲット関数を最適化し、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定するステップであって、分類ターゲット関数におけるエンコーダのパラメータの勾配に－１をかけるステップとを含む請求項３に記載の方法。
【請求項5】
１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを含む翻訳モデルのトレーニング装置であって、前記プログラムユニットは前記プロセッサによって実行され、前記プログラムユニットは、複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニットと、
前記取得ユニットにより取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニットであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、トレーニングサンプルの単語を置き換えることによって、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い前記外乱サンプルが採用される、決定ユニットと、
前記取得ユニットにより取得した前記複数のトレーニングサンプル及び前記決定ユニットにより決定した前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置されるモデルトレーニングユニットと、を含む装置であって、
前記決定ユニットは、前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び外乱出力サンプルセットの対応する外乱出力サンプルを決定するように配置され、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
前記モデルトレーニングユニットは、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置される、
前記決定ユニットは、前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットの決定の際に、前記各トレーニング入力サンプルにおける第１単語を決定するものであり、前記第１単語は置換対象単語であり、前記第１単語の単語ベクトルに基づいて、少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを取得するものであり、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高いものである、装置であって、
前記初期翻訳モデルは、エンコーダユニットと、分類ユニットと、デコーダユニットとを含み、
前記エンコーダユニットは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類ユニットは、前記第１中間表現結果と前記第２中間表現結果とを区別し、第１中間表現結果と前記第２中間表現結果に基づいて分類値を出力して前記第１中間表現結果と前記第２中間表現結果とが類似の表示となるよう前記エンコーダユニットを激励し、
前記デコーダユニットは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する
装置。
【請求項6】
入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有するコンピュータ機器であって、前記メモリにはプログラム命令が記憶され、前記プロセッサはメモリに記憶されるプログラム命令を実行することで、請求項１～４のいずれか１項に記載の方法を実行するコンピュータ機器。
【請求項7】
命令を含む非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令がコンピュータ機器で実行される場合、前記コンピュータ機器に請求項１～４のいずれか１項に記載の方法を実行させる記憶媒体。
【請求項8】
命令を含むコンピュータプログラムであって、前記命令がコンピュータ機器で実行される場合、前記コンピュータ機器に請求項１～４のいずれか１項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は２０１８年０５月１０日にて中国特許庁に提出され、出願番号が２０１８１０４４５７８３.２であり、発明の名称が「翻訳モデルのトレーニング方法、語句翻訳の方法、機器及び記憶媒体」である中国特許出願の優先権を主張して、その全ての内容を本出願に参照により援用する。
【0002】
本出願の実施例は、コンピュータ技術分野に関わり、具体的に、翻訳モデルのトレーニング方法、語句翻訳の方法、機器及び記憶媒体に関わる。
【背景技術】
【0003】
人工知能の発展に連れて、機械翻訳は既に大幅に応用され、例えば同時通訳及びチャット翻訳などは、いずれも機械翻訳に基づき、１つの入力言語を他の言語に変換して出力する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
ニューラル機械翻訳は、完全にニューラルネットワークに基づく機械翻訳モデルであり、いろんな言語ペアで既に優れた翻訳水準に達して、各種機械翻訳製品に大幅に応用されている。ただし、ニューラル機械翻訳モデルは１つの完全なニューラルネットワークに基づき、そのモデリングの全体性のため、ターゲットエンドの各出力はソースエンドから入力される各単語に依存し、入力における僅かな外乱に対して敏感すぎる。例えば、中国語から英語への翻訳において、ユーザが「彼らは困難を恐れず、囲碁ＡＩを作成する」を入力すると、機械翻訳モデルから提供した英語翻訳は「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」であるが、ユーザが「彼らは困難を怖がらず、囲碁ＡＩを作成する」という類似の語句を入力すると、機械翻訳の出力は急激に変えて、結果として、「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」になり、ユーザはただ同義語でそのうちの１つの単語を置き換えているが、その翻訳結果が急激に変化した。
【0005】
このように、現在のニューラル機械翻訳の安定性、つまりロバスト性は劣っている。
【0006】
本出願の実施例は、機械翻訳のロバスト性、及び翻訳品質を向上させるための、翻訳モデルのトレーニング方法、語句翻訳の方法、機器及び記憶媒体を提供する。
【課題を解決するための手段】
【0007】
本出願の実施例第１の態様は翻訳モデルのトレーニング方法を提供し、前記方法は、
コンピュータ機器が、複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するステップと、
コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するステップであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップを含む。
コンピュータ機器が、複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するステップと、
コンピュータ機器が、前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するステップであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
コンピュータ機器が、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するステップを含む。
【0008】
本出願の実施例の第２の態様は語句翻訳の方法を提供し、前記方法は、
端末機器が第１言語で表現される第１翻訳対象語句を受信するステップと、
端末機器がターゲット翻訳モデルを利用して前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するステップであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
端末機器が前記第２言語で表現される翻訳結果語句を出力するステップとを含む。
端末機器が第１言語で表現される第１翻訳対象語句を受信するステップと、
端末機器がターゲット翻訳モデルを利用して前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するステップであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高いステップと、
端末機器が前記第２言語で表現される翻訳結果語句を出力するステップとを含む。
【0009】
本出願の実施例の第３の態様は、１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有する翻訳モデルのトレーニング装置を提供し、プログラムユニットはプロセッサによって実行され、プログラムユニットは、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニットと、
前記取得ユニットにより取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニットであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニットと、
前記取得ユニットにより取得した前記複数のトレーニングサンプル及び前記決定ユニットにより決定した前記各々トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置されるモデルトレーニングユニットと、を含む。
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニットと、
前記取得ユニットにより取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニットであって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニットと、
前記取得ユニットにより取得した前記複数のトレーニングサンプル及び前記決定ユニットにより決定した前記各々トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用して、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを取得するように配置されるモデルトレーニングユニットと、を含む。
【0010】
本出願の実施例の第４の態様は、１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有する語句翻訳装置を提供し、プログラムユニットはプロセッサによって実行され、プログラムユニットは、
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニットと、
ターゲット翻訳モデルを利用して前記受信ユニットにより受信した前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するように配置される翻訳ユニットであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニットと、
前記翻訳ユニットにより翻訳した第２言語で表現される翻訳結果語句を出力するように配置される出力ユニットと、を備える。
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニットと、
ターゲット翻訳モデルを利用して前記受信ユニットにより受信した前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を取得するように配置される翻訳ユニットであって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニットと、
前記翻訳ユニットにより翻訳した第２言語で表現される翻訳結果語句を出力するように配置される出力ユニットと、を備える。
【0011】
本出願の実施例の第５の態様は、入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有するコンピュータ機器を提供し、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、第１の態様に記載の方法を実行する。
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、第１の態様に記載の方法を実行する。
【0012】
本出願の実施例第６の態様は、入力/出力（Ｉ/Ｏ）インターフェースと、プロセッサと、メモリとを有する端末機器を提供し、前記メモリにはプログラム命令が記憶され、
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、第２の態様に記載の方法を実行する。
前記プロセッサはメモリに記憶されるプログラム命令を実行することで、第２の態様に記載の方法を実行する。
【0013】
本出願の実施例の第７の態様は命令を有する非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記命令がコンピュータ機器で実行される場合、前記コンピュータ機器に前記第１の態様または第２の態様に記載の方法を実行させる。
【0014】
本出願の実施例の他の態様は命令を有するコンピュータプログラム製品を提供し、前記命令はコンピュータで実行される場合、コンピュータに前記第１の態様または第２の態様に記載の方法を実行させる。
【0015】
本出願の実施例は、翻訳モデルをトレーニングする際、外乱サンプルを利用し、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングしたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【図面の簡単な説明】
【0016】
【図1】本出願の実施例における翻訳モデルトレーニングシステムの１つの実施例の模式図である。
【図2】本出願の実施例における翻訳モデルトのレーニング方法の１つの実施例の模式図である。
【図3】本出願の実施例における初期翻訳モデルのアーキテクチャ模式図である。
【図4】本出願の実施例における語句翻訳の方法の１つの実施例の模式図である。
【図5】本出願の実施例における語句翻訳の１つの応用シーン模式図である。
【図6】本出願の実施例における語句翻訳の他の応用シーン模式図である。
【図7】本出願の実施例における語句翻訳の他の応用シーン模式図である。
【図8】本出願の実施例における語句翻訳の他の応用シーン模式図である。
【図9】本出願の実施例における翻訳モデルのトレーニング装置の１つの実施例の模式である。
【図10】本出願の実施例における語句翻訳装置の１つの実施例の模式である。
【図11】本出願の実施例におけるコンピュータ機器の１つの実施例の模式図である。
【図12】本出願の実施例における端末機器の１つの実施例の模式図である。
【発明を実施するための形態】
【0017】
以下は図面を結合して、本出願の実施例を記載し、明らかに、記載の実施例は全ての実施例ではなく、本出願の一部の実施例のみである。当業者が知っているように、技術の発展及び新たなシーンの出現に連れて、類似の技術問題に対しても、本出願の実施例により提供される技術案は同じように適用できる。
【0018】
本出願の実施例は、機械翻訳のロバスト性及び翻訳品質を向上させることができる翻訳モデルのトレーニング方法を提供する。本出願の実施例はさらに相応的な語句翻訳の方法、コンピュータ機器、端末機器及びコンピュータ読み取り可能な記憶媒体を提供する。以下はそれぞれ詳しく説明する。
【0019】
人工知能の発展に連れて、機械翻訳の正確さがますます高くなり、かなりの程度で、ユーザに便利をもたらす。例えば同時通訳、文字翻訳などのシーンにおいていずれも機械翻訳を利用する。一般的に、機械翻訳はモデルによる翻訳であり、つまり、翻訳モデルを事前にトレーニングすることで、トレーニングされた翻訳モデルは１つの言語の語句を受信し得て、そして該語句を他の言語に変換して出力する。現在のニューラル機械翻訳は完全にニューラルネットワークに基づく機械翻訳モデルであり、翻訳の正確さが高いが、該モデルのアンチノイズ能力が劣って、入力される語句に僅かな外乱があっても、出力される語句は不正確になる。従って、本出願の実施例は翻訳モデルのトレーニング方法を提供し、翻訳モデルをトレーニングする際、トレーニングサンプルに各種の外乱サンプルが導入されることで、トレーニングされた翻訳モデルは、外乱付きの語句を受信しても、正確に翻訳できることを保証する。
【0020】
なお、本出願の実施例において、外乱はノイズを含む。
【0021】
以下は図面を結合して、本出願の実施例における翻訳モデルトのレーニング過程を紹介する。
【0022】
図１は、本出願の実施例における翻訳モデルトレーニングシステムの１つの実施例の模式図である。
【0023】
図１に示すように、本出願の実施例における翻訳モデルトレーニングシステムの１つの実施例は、コンピュータ機器１０とデータベース２０とを有し、データベース２０にはトレーニングサンプルが記憶される。
【0024】
コンピュータ機器１０は、データベース２０からトレーニングサンプルセットを取得し、そして、該トレーニングサンプルセットによって翻訳モデルをトレーニングし、ターゲット翻訳モデルを得る。
【0025】
【0026】
図２に示すように、本出願の実施例により提供される翻訳モデルのトレーニング方法の１つの実施例は以下のステップを有し、
１０１、コンピュータ機器は複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得する。
１０１、コンピュータ機器は複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得する。
【0027】
本出願の実施例において、トレーニングサンプルセットにおけるトレーニングサンプルは、外乱が付けられていないサンプルを指す。
【0028】
１０２、コンピュータ機器は前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定し、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い。
【0029】
本出願の実施例において、外乱サンプルは外乱情報またはノイズが含まれるサンプルを指すが、その語義とトレーニングサンプルとの類似度が基本的に一致であり、外乱情報は意思が同様であるが、文字が異なる単語であってもよく、他の状況で語句の語義を大幅に変化させない単語であってもよい。
【0030】
本出願の実施例における第１プリセット値は例えば、９０％または９５％などのような１つの具体的な値であってよく、例を挙げて説明するが、第１プリセット値の範囲を限定せず、該第１プリセット値は必要に応じて設定すればよい。
【0031】
トレーニングサンプルと外乱サンプルとの関係について、以下の例を参照して理解すればよく、
トレーニングサンプル：「彼らは困難を恐れず、囲碁ＡＩを作成する」。
外乱サンプル：「彼らは困難を怖がらず、囲碁ＡＩを作成する」。
トレーニングサンプル：「彼らは困難を恐れず、囲碁ＡＩを作成する」。
外乱サンプル：「彼らは困難を怖がらず、囲碁ＡＩを作成する」。
【0032】
前記例から分かるように、トレーニングサンプルと外乱サンプルとの語義は非常に近くて、ただ異なる単語、例えば「怖がらず」で元の単語である「恐れず」を置き換える。
【0033】
１０３、コンピュータ機器は、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
【0034】
モデルをトレーニングする際、トレーニングサンプルと対応する外乱サンプルを利用してトレーニングする。
【0035】
本出願の実施例は、翻訳モデルをトレーニングする際、外乱サンプルを採用し、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【0036】
任意選択で、本出願の実施例により提供される翻訳モデルのトレーニング方法の他の実施例において、
前記各トレーニングサンプルは、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対であり、
対応するように、前記コンピュータ機器は、各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定することは、
各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定することを含み、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
対応するように、コンピュータ機器は、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることは、
複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることを含む。
前記各トレーニングサンプルは、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対であり、
対応するように、前記コンピュータ機器は、各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定することは、
各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定することを含み、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
対応するように、コンピュータ機器は、前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることは、
複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることを含む。
【0037】
本出願の実施例において、トレーニング入力サンプルは第１言語であり、トレーニング出力サンプルは第２言語である。第１言語と第２言語とは異なる。本出願の実施例において、第１言語に対して中国語で例を挙げて、第２言語に対して英語で例を挙げる。ただし、中国語と英語を、本出願の実施例における翻訳モデルに対する限定として理解するべきではない。本出願の実施例における翻訳モデルは、いずれか２つの異なる言語の間の相互翻訳に適用される。トレーニングする際、相応的な２つの言語のトレーニングサンプルを採用すれば、この２つの言語の間の翻訳を実現できる。
【0038】
本出願の実施例において、各々トレーニング入力サンプルは複数の外乱入力サンプルを具備し得るが、各々外乱入力サンプルに対応する外乱出力サンプルはいずれもトレーニング出力サンプルと同様である。
【0039】
以上のトレーニング入力サンプル、トレーニング出力サンプル、外乱入力サンプル、及び外乱出力サンプルの間の対応関係について、表１を参照して理解すればよい。
【0040】
【表1】
【0041】
以上の表１から分かるように、トレーニング入力サンプルがｘである場合、トレーニング出力サンプルはｙであり、ｘに対応する外乱入力サンプルは複数があり、それぞれｘ′１、ｘ′２及びｘ′３などであり、各外乱入力サンプルに対応する外乱出力サンプルはいずれもｙである。このように、ｘ、それともｘ′１、ｘ′２またはｘ′３を入力しても、トレーニングされたターゲット翻訳モデルから出力される翻訳結果はいずれもｙであるように確保できる。ターゲット翻訳モデルの翻訳のロバスト性及び翻訳品質をさらに保証する。
【0042】
無論、表１はただ例を挙げて説明し、トレーニング入力サンプルに対応する外乱入力サンプルは、表１における列挙するものより少なくても多くてもよい。
【0043】
以上は外乱入力サンプルを紹介し、以下は外乱入力サンプルの発生を紹介する。
【0044】
外乱入力サンプルの１つの発生方式は以下の通りである。
【0045】
前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定することは以下を含み、
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象となる単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象となる単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
【0046】
本出願の実施例において、語彙レベルから外乱付きの語句を発生させ、１つの入力の語句を特定し、そして、そのうちの修正対象となる第１単語に対してサンプリングを行って、該第１単語の位置を決定してから、これらの位置にある第１単語を、単語表における第２単語に置き換える。
【0047】
単語表には多い単語が含まれ、第２単語に対する選択について、以下の式を参照して理解すればよい。
【0048】
【数1】
【0049】
なお、Ｅ[ｘｉ]は第１単語ｘｉの単語ベクトルであり、ｃｏｓ（Ｅ[ｘｉ]、Ｅ[ｘ]）は第１単語ｘｉと第２単語ｘとの類似度を計量する。単語ベクトルは単語の語義情報を捕捉できるから、該置換方式で、順調に現在語句における第１単語ｘｉを、それと近い語義情報を有する第２単語ｘに置き換えることができる。
【0050】
また、外乱入力サンプルの他の発生方式は以下の通りである。
【0051】
前記トレーニングサンプルセットにおける各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセットを決定することは、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定することと、
毎回に、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得ることと、を含む。
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定することと、
毎回に、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得ることと、を含む。
【0052】
本出願の実施例において、特徴レベルから外乱付きの語句を発生させる。１つの語句を特定し、該語句における各単語のベクトルを得て、そして、各単語の単語ベクトルに対していずれもガウシノイズをつけることで、可能な外乱種類をシミュレーションし、以下の式を参照して理解すればよい。
【0053】
Ｅ[ｘ′ｉ]＝Ｅ[ｘｉ]+ε、ε～Ｎ（０、ｖδ ２Ｉ）
【0054】
以上の式が示すように、Ｅ[ｘｉ]は単語ｘｉの単語ベクトルを標識し、Ｅ[ｘ′ｉ]はガウシノイズが付けられた後の単語の単語ベクトルであり、ベクトルεは分散がδ ２であるガウシノイズからサンプリングすることで取得され、δは１つのハイパーパラメータである。
【0055】
本技術案において、１つの汎用案であり、外乱入力に参加する対策を自由に定義できる。
【0056】
以上は外乱入力サンプルの発生過程を紹介し、以下は本出願の実施例における翻訳モデルのアーキテクチャを紹介する。
【0057】
【0058】
エンコーダは、トレーニング入力サンプル及び対応する外乱入力サンプルを受信するとともに、第１中間表現結果及び第２中間表現結果を出力し、第１中間表現結果はトレーニング入力サンプルの中間表現結果であり、第２中間表現結果は対応する外乱入力サンプルの中間表現結果である。
【0059】
分類器は、第１中間表現結果と第２中間表現結果とを区別する。
【0060】
デコーダは、第１中間表現結果に基づいてトレーニング出力サンプルを出力し、第２中間表現結果に基づいてトレーニング出力サンプルを出力する。
【0061】
前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを含み、
前記分類ターゲット関数には、前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には、前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には、前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
前記分類ターゲット関数には、前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には、前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には、前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
【0062】
本出願の実施例において、トレーニング入力サンプルはｘで示し、対応する外乱入力サンプルはｘ′で示し、トレーニング出力サンプル及び外乱出力サンプルはいずれもｙで示し、第１中間表現結果はＨｘで示し、第２中間表現結果はＨｘ′で示し、分類ターゲット関数はＬｉｎｖ（ｘ、ｘ′）で示し、トレーニングターゲット関数はＬｔｒｕｅ（ｘ、ｙ）で示し、外乱ターゲット関数はＬｎｏｉｓｙ（ｘ′、ｙ）で示す。
【0063】
本出願の実施例における初期翻訳モデルは、ニューラル機械翻訳モデルであってもよい。
【0064】
初期翻訳モデルに対するトレーニングターゲットは、初期翻訳モデルのｘ及びｘ′に対する翻訳行為を基本的に一致させる。エンコーダは第１言語の語句ｘをＨｘに変換し、デコーダはＨｘを入力としてターゲット言語の語句ｙを出力する。本出願の実施例のトレーニングターゲットは、外乱があっても不変のエンコーダとデコーダをトレーニングすることである。
【0065】
ｘ′はｘの１つの微小な変化であるから、類似の語義情報を有する。１つの入力対（ｘ、ｘ′）を特定し、翻訳モデルをトレーニングする際のトレーニングターゲットは以下の通りであり、（１）ＨｘとＨｘ′とがなるべく近接すべきであることを示すようにコーディングし、（２） Ｈｘ′を特定し、デコーダは同じｙを出力すべきである。従って、本出願の実施例には、２つのトレーニングターゲットが導入されることで、エンコーダとデコーダとのロバスト性を強化させ、
Ｌｉｎｖ（ｘ、ｘ′）を導入することで、ｘとｘ′に対して類似の表示を出力するように、エンコーダを激励し、これによって、外乱があっても不変のエンコーダを実現し、敵対的学習を介して該ターゲットを実現する。
Ｌｉｎｖ（ｘ、ｘ′）を導入することで、ｘとｘ′に対して類似の表示を出力するように、エンコーダを激励し、これによって、外乱があっても不変のエンコーダを実現し、敵対的学習を介して該ターゲットを実現する。
【0066】
Ｌｎｏｉｓｙ（ｘ′、ｙ） を導入することで、外乱が含まれる入力ｘ′に対してターゲット言語の語句ｙを発生させるように、デコーダをガイドする。
【0067】
新たに導入される２つのトレーニングターゲットはニューラル機械翻訳モデルのロバスト性を実現でき、入力の僅かな外乱による出力空間の急激な変化を回避できる。その同時に、元のデータｘ及びｙでのトレーニングターゲットＬｔｒｕｅ（ｘ、ｙ）を導入することで、ニューラル機械翻訳モデルのロバスト性を向上させるとともに、翻訳の品質を強化させるように保証する。
【0068】
従って、初期翻訳モデルのモデルターゲット関数は以下の通りである。
【0069】
【数2】
【0070】
θｅｎｃはエンコーダのパラメータであり、θｄｅｃはデコーダのパラメータであり、θｄｉｓは分類器のパラメータである。αとβとは元の翻訳タスクと機械翻訳モデルの安定性との間の重要度を制御するために用いられる。
【0071】
外乱があっても不変のエンコーダのターゲットは、エンコーダが１つの正確な語句ｘ及びその対応する外乱語句ｘ′を入力して後、エンコーダが２つの語句に対して発生する表現は区別できず、デコーダがロバストの出力を発生させることに直接的に寄与する。本出願の実施例において、エンコーダを発生器Ｇとすることができ、陰的表現であるＨｘシーケンスの発生過程を定義する。その同時に、元に入力される表現Ｈｘと外乱入力Ｈｘ′とを区別するための分類器Ｄを導入する。発生器Ｇの作用はｘ及びｘ′に対して近い表現を発生させることで、分類器Ｄがそれらを区別できないようにすることであり、分類器Ｄの作用はそれらをなるべく区別するようにすることである。
【0072】
形式で、敵対的学習のターゲットは以下の通り定義する。
【0073】
【数3】
【0074】
１つの入力を特定し、分類器は１つの分類値を出力し、そのターゲットは正確な語句ｘの分類値を最大化にするとともに、外乱語句ｘ′の分類値を最小化にすることである。
【0075】
確率的勾配降下でモデルターゲット関数Ｊ（θ）を最適化する。フォワード伝搬において、ｘとｙとが含まれる１組のデータ以外に、さらにｘ′とｙとが含まれる１組のデータがある。該２組のデータによりＪ（θ）の値を算出し、そして、Ｊ（θ）のモデルパラメータに対応する勾配を算出し、これらの勾配は、モデルパラメータを更新するために用いられる。なぜならば、Ｌｉｎｖのターゲットは、正確な語句ｘの分類値を最大化にするとともに、外乱語句ｘ′の 分類値を最小化することであるから、Ｌｉｎｖのパラメータセットθｅｎｃに対する勾配に－１をかけて、他の勾配は正常に伝搬さればよい。このように、初期トレーニングモデルにおけるθｅｎｃ、θｄｅｃ及びθｄｉｓの値を算出でき、アンチノイズ能力を有するターゲット翻訳モデルをトレーニングする。
【0076】
つまり、本出願の実施例において、前記複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得ることは以下を含み、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化することで、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に－１をかける。
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化することで、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に－１をかける。
【0077】
以上はターゲット翻訳モデルのトレーニング過程を紹介し、以下は該ターゲット翻訳モデルによって語句翻訳を行う過程を紹介する。
【0078】
図４は、本出願の実施例における語句翻訳の方法の１つの実施例の模式図であり、図４に示すように、本出願の実施例により提供される語句翻訳の方法の１つの実施例は以下のステップを有し、
２０１、端末機器は第１言語で表現される第１翻訳対象語句を受信する。
２０１、端末機器は第１言語で表現される第１翻訳対象語句を受信する。
【0079】
本出願の実施例において、第１言語はターゲット翻訳モデルが支持する、任意のタイプの言語であってよい。
【0080】
２０２、端末機器はターゲット翻訳モデルによって前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を得て、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い。
【0081】
ターゲット翻訳モデルについて、前記モデルのトレーニング過程の実施例を参照して理解すればよく、ここで贅言しない。
【0082】
２０３、端末機器は前記第２言語で表現される翻訳結果語句を出力する。
【0083】
第２言語は第１言語と異なる言語であり、例えば、第１言語は中国語であり、第２言語は英語である。
【0084】
本出願の実施例において、ターゲット翻訳モデルはアンチノイズ能力を有するから、ノイズが付けられた語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【0085】
任意選択で、本出願の実施例により提供される語句翻訳の方法の他の実施例において、さらに以下を含んでもよく、
端末機器は前記第１言語で表現される第２翻訳対象語句を受信し、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と、前記第１翻訳対象語句との類似度が第１プリセット値より高く、
端末機器はターゲット翻訳モデルによって前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得て、
端末機器は前記翻訳結果語句を出力する。
端末機器は前記第１言語で表現される第２翻訳対象語句を受信し、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と、前記第１翻訳対象語句との類似度が第１プリセット値より高く、
端末機器はターゲット翻訳モデルによって前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得て、
端末機器は前記翻訳結果語句を出力する。
【0086】
本出願の実施例において、第１翻訳対象語句は前記例示におけるトレーニング入力サンプルに限定されず、前記外乱入力サンプルのうちの１つであってもよい。
【0087】
本出願の実施例における語句翻訳案について、以下の２つのシーンの例示を参照して理解すればよい。
【0088】
図５は、本出願の実施例における語句翻訳の１つの応用シーンの模式図であり、図５における（Ａ）～（Ｃ）は本出願の実施例のソーシャルネットワークアプリケーションにおけるテキスト翻訳の１つのシーンの例示図である。
【0089】
図５の（Ａ）に示すように、ソーシャルネットワークアプリケーションにおける「彼らは困難を恐れず、囲碁ＡＩを作成する」ということを英語に翻訳しようとすると、文字部分を長押しすれば、図５の（Ｂ）に示す頁が出現し、図５の（Ｂ）に示される頁には「コピー」、「転送」、「削除」及び「英語へ翻訳」などの機能ボックスが出現し、無論、図５の（Ｂ）は例に過ぎず、「英語へ翻訳」を「翻訳」に変更してもよく、そしてプルダウンボックスが出現し、対応する翻訳文字を選択すればよい。ユーザは図５の（Ｂ）に示される頁で「英語へ翻訳」をクリックすると、図５の（Ｃ）に示される翻訳結果「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」が出現する。
【0090】
図５の（Ａ）～（Ｃ）は本出願の実施例の、ソーシャルネットワークアプリケーションにおけるテキスト翻訳の他のシーンの例示図である。
【0091】
図６は、本出願の実施例における語句翻訳の他の応用シーンの模式図であり、図６のＡに示すように、ソーシャルネットワークアプリケーションにおける「彼らは困難を怖がらず、囲碁ＡＩを作成する」ということを英語に翻訳しようとすると、文字部分を長押しすれば、図６の（Ｂ）に示される頁が出現し、図５の（Ｂ）に示される頁には「コピー」、「転送」、「削除」及び「英語へ翻訳」などの機能ボックスが出現し、ユーザは図６の（Ｂ）に示される頁で「英語へ翻訳」をクリックすると、図６の（Ｃ）に示される翻訳結果「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」が出現する。
【0092】
図５の（Ａ）～（Ｃ）、及び図６の（Ａ）～（Ｃ）の過程及び結果に対する比較から分かるように、図５の（Ａ）の翻訳対象となる語句は「彼らは困難を恐れず、囲碁ＡＩを作成する」ことであり、図６の（Ａ）の翻訳対象となる語句は「彼らは困難を怖がらず、囲碁ＡＩを作成する」ことであるが、この語義が類似する２つの語句に対して、図５の（Ｃ）及び図６の（Ｃ）において、それぞれ同じ翻訳結果である「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」を取得する。このように、本出願の実施例により提供される語句翻訳案のロバスト性及び翻訳品質がより優れる。
【0093】
図７は、本出願の実施例の語句翻訳の、同時通訳シーンにおける１つの応用模式図である。
【0094】
図７に示すように、同時通訳シーンにおいて、発言者は中国語で「彼らは困難を恐れず、囲碁ＡＩを作成する」と話して、英語チャンネルを利用する聴衆が聞いた語句は「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」になる。
【0095】
図８は、本出願の実施例の語句翻訳の、同時通訳シーンにおける他の応用模式図である。
【0096】
図８に示すように、同時通訳シーンにおいて、発言者は中国語で「彼らは困難を怖がらず、囲碁ＡＩを作成する」と話して、英語チャンネルを利用する聴衆が聞いた語句は「Ｔｈｅｙ ａｒｅ ｎｏｔ ａｆｒａｉｄ ｏｆ ｄｉｆｆｉｃｕｌｔｉｅｓ ｔｏ ｍａｋｅ Ｇｏ ＡＩ」になる。
【0097】
【0098】
【0099】
以上の実施例は本出願の実施例におけるターゲット翻訳モデルのトレーニング過程、及びターゲット翻訳モデルを利用して語句翻訳を行う過程を紹介し、以下は図面を結合して、本出願の実施例における翻訳モデルトのレーニング装置、語句翻訳装置、コンピュータ機器及び端末機器を紹介する。
【0100】
図９は、本出願の実施例における翻訳モデルのトレーニング装置の１つの実施例の模式である。本出願の実施例により提供される翻訳モデルのトレーニング装置３０は、１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有し、プログラムユニットはプロセッサによって実行され、図９に示すように、プログラムユニットは、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニット３０１と、
前記取得ユニット３０１により取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニット３０２であって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニット３０２と、
前記取得ユニット３０１により取得した前記複数のトレーニングサンプル及び前記決定ユニット３０２により決定した前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得るように配置されるモデルトレーニングユニット３０３と、を含む。
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得するように配置される取得ユニット３０１と、
前記取得ユニット３０１により取得した前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定するように配置される決定ユニット３０２であって、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い決定ユニット３０２と、
前記取得ユニット３０１により取得した前記複数のトレーニングサンプル及び前記決定ユニット３０２により決定した前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得るように配置されるモデルトレーニングユニット３０３と、を含む。
【0101】
本出願の実施例は翻訳モデルをトレーニングする際、外乱サンプルを利用して、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【0102】
任意選択で、前記決定ユニット３０２は、前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定するように配置され、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
モデルトレーニングユニット３０３は、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得るように配置される。
モデルトレーニングユニット３０３は、複数のトレーニングサンプル対、前記各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得るように配置される。
【0103】
任意選択で、前記決定ユニット３０２は以下のように配置され、即ち、
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
【0104】
任意選択で、前記決定ユニット３０２は以下のように配置され、即ち、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定し、
毎回、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得る。
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定し、
毎回、前記各単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得る。
【0105】
任意選択で、前記初期翻訳モデルはエンコーダと、分類器と、デコーダとを有し、
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する。
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する。
【0106】
任意選択で、前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを有し、
前記分類ターゲット関数には前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
前記分類ターゲット関数には前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
【0107】
任意選択で、モデルトレーニングユニット３０３は以下のように配置され、即ち、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化することで、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に－１をかける。
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化することで、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に－１をかける。
【0108】
本出願の実施例により提供される翻訳モデルのトレーニング装置３０について、前記方法実施例部分の相応的な内容を参照して理解すればよく、ここで贅言しない。
【0109】
図１０に示すように、本出願の実施例により提供される語句翻訳装置の１つの実施例であり、該装置は１つ又は複数のプロセッサと、プログラムユニットを記憶するための１つ又は複数のメモリとを有し、プログラムユニットはプロセッサによって実行され、プログラムユニットは、
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニット４０１と、
ターゲット翻訳モデルによって前記受信ユニット４０１により受信された前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を得るように配置される翻訳ユニット４０２であって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによってトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニット４０２と、
前記翻訳ユニット４０２により翻訳され、第２言語で表現される翻訳結果語句を出力するように配置される出力ユニット４０３と、を含む。
第１言語で表現される第１翻訳対象語句を受信するように配置される受信ユニット４０１と、
ターゲット翻訳モデルによって前記受信ユニット４０１により受信された前記第１翻訳対象語句を翻訳することで、第２言語で表現される翻訳結果語句を得るように配置される翻訳ユニット４０２であって、前記ターゲット翻訳モデルは複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによってトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高い翻訳ユニット４０２と、
前記翻訳ユニット４０２により翻訳され、第２言語で表現される翻訳結果語句を出力するように配置される出力ユニット４０３と、を含む。
【0110】
本出願の実施例において、ターゲット翻訳モデルはアンチノイズ能力を有するから、ノイズが付けられた語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【0111】
任意選択で、前記受信ユニット４０１はさらに、前記第１言語で表現される第２翻訳対象語句を受信するように配置され、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と、前記第１翻訳対象語句との類似度が第１プリセット値より高く、
前記翻訳ユニット４０２はさらに、ターゲット翻訳モデルによって前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得るように配置され、
前記出力ユニット４０３はさらに、前記翻訳結果語句を出力するように配置される。
前記翻訳ユニット４０２はさらに、ターゲット翻訳モデルによって前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得るように配置され、
前記出力ユニット４０３はさらに、前記翻訳結果語句を出力するように配置される。
【0112】
以上の語句翻訳装置４０について、方法実施例部分の相応的な内容を参照して理解すればよく、ここで贅言しない。
【0113】
図１１は、本出願の実施例におけるコンピュータ機器の１つの実施例の模式図である。図１１に示すように、コンピュータ機器５０はプロセッサ５１０と、メモリ５４０と、入力出力（Ｉ/Ｏ）インターフェース５３０とを有し、メモリ５４０は読み取り専用メモリとランダムアクセスメモリとを含むとともに、プロセッサ５１０に操作命令及びデータを提供する。メモリ５４０にはさらに不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）が含まれてもよい。
【0114】
いくつかの実施形態において、メモリ５４０には、実行可能なモジュールまたはデータ構成、或いは彼らのサブセット、または彼らの拡張セットなどの要素が記憶され、
本出願の実施例において、地面標識の決定過程で、メモリ５４０に記憶される操作命令（該操作命令はオペレーティングシステムに記憶されてもよい）を呼び出すことで、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得し、
前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定し、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高く、
前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
本出願の実施例において、地面標識の決定過程で、メモリ５４０に記憶される操作命令（該操作命令はオペレーティングシステムに記憶されてもよい）を呼び出すことで、
複数のトレーニングサンプルが含まれるトレーニングサンプルセットを取得し、
前記トレーニングサンプルセットにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを決定し、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高く、
前記複数のトレーニングサンプルと前記各トレーニングサンプルにそれぞれ対応する外乱サンプルセットによって初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
【0115】
本出願の実施例は翻訳モデルをトレーニングする際、外乱サンプルを利用して、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【0116】
プロセッサ５１０は、コンピュータ機器５０の操作を制御し、プロセッサ５１０はさらに中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）とも呼ばれる。メモリ５４０は読み取り専用メモリとランダムアクセスメモリとを含むとともに、プロセッサ５１０に命令及びデータを提供する。メモリ５４０の一部はさらに不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）を含んでもよい。具体的な応用において、コンピュータ機器５０の各部品はバスシステム５２０を介して結合され、バスシステム５２０はデータバス以外に、さらに電源バス、制御バス及び状態信号バスなどを含んでもよい。ただし、明らかに説明するために、図面において、各種のバスに対して、いずれもバスシステム５２０として標識する。
【0117】
前記本出願の実施例に開示された方法は、プロセッサ５１０に適用されるか、またはプロセッサ５１０によって実現できる。プロセッサ５１０は、信号の処理能力を有する集積回路チップであってもよい。実現の過程で、前記方法の各ステップはプロセッサ５１０におけるハードウェアの集積論理回路、またはソフトウェア形式である命令によって完成される。前記プロセッサ５１０は汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、現場でプログラム可能なゲートアレイ（ＦＰＧＡ）、または他のプログラマブルロジックデバイス、個別ゲート、或いはトランジスタロジックデバイス、個別ハードウェア部品であってよい。本出願の実施例に開示された各方法、ステップ及び論理ブロック図を実現または実行できる。汎用プロセッサはマイクロプロセッサであってもよく、該プロセッサは任意の通常のプロセッサなどであってもよい。本出願の実施例に開示された方法のステップを結合し、ハードウェア復号プロセッサによって実行して完成するか、または復号プロセッサにおけるハードウェア及びソフトウェアモジュールを組み合わせることで実行して完成するように直接的に表現できる。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、または電気的に消去およびプログラム可能なメモリ、レジスタなどの本分野の成熟の記憶媒体に位置してもよい。該記憶媒体はメモリ５４０にあり、プロセッサ５１０はメモリ５４０における情報を読み取り、そのハードウェアを結合して前記方法のステップを完成する。
【0118】
任意選択で、プロセッサ５１０は以下のように配置され、即ち、
前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定し、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
複数のトレーニングサンプル対、前記各々トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
前記各トレーニングサンプルが、トレーニング入力サンプルとトレーニング出力サンプルとが含まれる１つのトレーニングサンプル対である場合、各トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルを決定し、前記外乱入力サンプルセットには少なくとも１つの外乱入力サンプルが含まれ、前記外乱出力サンプルと前記トレーニング出力サンプルとが同様であり、
複数のトレーニングサンプル対、前記各々トレーニング入力サンプルにそれぞれ対応する外乱入力サンプルセット、及び前記外乱出力サンプルセットの対応する外乱出力サンプルによって、初期翻訳モデルをトレーニングすることで、ターゲット翻訳モデルを得る。
【0119】
任意選択で、プロセッサ５１０は以下のように配置され、
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
前記各トレーニング入力サンプルにおける第１単語を決定し、前記第１単語は置換対象単語であり、
少なくとも１つの第２単語で前記第１単語をそれぞれ置き換えることで、前記外乱入力サンプルセットを得て、前記第２単語と前記第１単語との語義の類似度が第２プリセット値より高い。
【0120】
任意選択で、プロセッサ５１０は以下のように配置され、即ち、
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定し、
毎回、前記単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得る。
前記各トレーニング入力サンプルにおける各単語の単語ベクトルを決定し、
毎回、前記単語の単語ベクトルに１つの異なるガウシノイズベクトルを重畳することで、前記外乱サンプルセットを得る。
【0121】
任意選択で、前記初期翻訳モデルはエンコーダと、分類器と、デコーダと、を有し、
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する。
前記エンコーダは、前記トレーニング入力サンプルと対応する外乱入力サンプルを受信するとともに、第１中間表現結果と第２中間表現結果を出力し、前記第１中間表現結果は前記トレーニング入力サンプルの中間表現結果であり、前記第２中間表現結果は前記対応する外乱入力サンプルの中間表現結果であり、
前記分類器は、前記第１中間表現結果と前記第２中間表現結果とを区別し、
前記デコーダは、第１中間表現結果に基づいて前記トレーニング出力サンプルを出力し、前記第２中間表現結果に基づいて前記トレーニング出力サンプルを出力する。
【0122】
任意選択で、前記初期翻訳モデルのモデルターゲット関数は、前記分類器と前記エンコーダに関する分類ターゲット関数と、前記エンコーダと前記デコーダに関するトレーニングターゲット関数と、外乱ターゲット関数とを含み、
前記分類ターゲット関数には前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
前記分類ターゲット関数には前記トレーニング入力サンプルと、前記対応する外乱入力サンプルと、前記エンコーダのパラメータと、前記分類器のパラメータとが含まれ、
前記トレーニングターゲット関数には前記トレーニング入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれ、
前記外乱ターゲット関数には前記外乱入力サンプルと、前記トレーニング出力サンプルと、前記エンコーダのパラメータと、前記デコーダのパラメータとが含まれる。
【0123】
任意選択で、プロセッサ５１０は以下のように配置され、
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化し、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に－１をかける。
各トレーニング入力サンプル、対応する外乱入力サンプル及び対応するトレーニング出力サンプルを前記モデルターゲット関数に入力し、
勾配降下という方式で前記モデルターゲット関数を最適化し、前記エンコーダのパラメータの値、前記デコーダのパラメータの値及び前記分類器のパラメータの値を決定し、分類ターゲット関数におけるエンコーダのパラメータの勾配に－１をかける。
【0124】
【0125】
前記語句翻訳の過程は例えば携帯電話、タブレット、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、販売時点情報管理システム（Ｐｏｉｎｔ ｏｆ Ｓａｌｅｓ、ＰＯＳ）、車載コンピュータなどのような任意の端末機器によって実行される場合、端末は携帯電話であることを例として、
図１２は本出願の実施例における端末機器の１つの実施例の模式図であり、以下は該端末機器が携帯電話であることを例として説明する。図１２を参照し、携帯電話は、無線周波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）、回路１１１０、メモリ１１２０、入力ユニット１１３０、表示ユニット１１４０、センサ１１５０、オーディオ回路１１６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール１１７０、プロセッサ１１８０、及びカメラ１１９０などの部材を有する。当業者が理解できるように、図１２に示した携帯電話の構成は、携帯電話に対する限定を構成せず、図示より多いまたは少ない部材を有するか、またはいくつかの部材、或いは異なる部材を組み合わせて配置してもよい。
図１２は本出願の実施例における端末機器の１つの実施例の模式図であり、以下は該端末機器が携帯電話であることを例として説明する。図１２を参照し、携帯電話は、無線周波（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、ＲＦ）、回路１１１０、メモリ１１２０、入力ユニット１１３０、表示ユニット１１４０、センサ１１５０、オーディオ回路１１６０、ワイヤレスフィデリティ（ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ＷｉＦｉ）モジュール１１７０、プロセッサ１１８０、及びカメラ１１９０などの部材を有する。当業者が理解できるように、図１２に示した携帯電話の構成は、携帯電話に対する限定を構成せず、図示より多いまたは少ない部材を有するか、またはいくつかの部材、或いは異なる部材を組み合わせて配置してもよい。
【0126】
以下は図１２を結合して携帯電話の各構成部材を具体的に紹介し、
ＲＦ回路１１１０は、情報の送受信または通話過程で、信号の受信及び送信に用いられ、ＲＦ回路１１１０は送受信機である。特に、基地局のダウンリンクの情報を受信した後、プロセッサ１１８０に処理させる、また、アップリンクになるように設計されるデータを基地局に送信する。一般的に、ＲＦ回路１１１０は、アンテナ、少なくとも１つの増幅器、送受信機、カプラ、ローノイズアンプ（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ、ＬＮＡ）、デュプレクサなどを含むが、これらに限定されない。また、ＲＦ回路１１１０はさらに無線通信を介してネットワーク及び他の機器と通信することができる。前記無線通信はいずれかの通信規格またはプロトコルを利用でき、グローバルモバイル通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ,ＷＣＤＭＡ（登録商標））、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、電子メール、ショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ＳＭＳ）などを含むが、これらに限定されない。
ＲＦ回路１１１０は、情報の送受信または通話過程で、信号の受信及び送信に用いられ、ＲＦ回路１１１０は送受信機である。特に、基地局のダウンリンクの情報を受信した後、プロセッサ１１８０に処理させる、また、アップリンクになるように設計されるデータを基地局に送信する。一般的に、ＲＦ回路１１１０は、アンテナ、少なくとも１つの増幅器、送受信機、カプラ、ローノイズアンプ（Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ、ＬＮＡ）、デュプレクサなどを含むが、これらに限定されない。また、ＲＦ回路１１１０はさらに無線通信を介してネットワーク及び他の機器と通信することができる。前記無線通信はいずれかの通信規格またはプロトコルを利用でき、グローバルモバイル通信システム（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、ＧＳＭ）、汎用パケット無線サービス（Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ、ＧＰＲＳ）、符号分割多元接続（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、ＣＤＭＡ）、広帯域符号分割多元接続（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ,ＷＣＤＭＡ（登録商標））、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ＬＴＥ）、電子メール、ショートメッセージサービス（Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ＳＭＳ）などを含むが、これらに限定されない。
【0127】
メモリ１１２０は、ソフトウェアプログラム及びモジュールを記憶し、プロセッサ１１８０はメモリ１１２０に記憶されるソフトウェアプログラム及びモジュールを実行することで、携帯電話のいろんな機能アプリケーション及びデータ処理を実行する。メモリ１１２０は主にプログラム記憶領域とデータ記憶領域とを含み、プログラム記憶領域にはオペレーティングシステム、少なくとも１つの機能の必要なアプリケーションプログラム（例えば音声再生機能、画像再生機能など）などが記憶され、データ記憶領域には、携帯電話の利用に応じて構築されるデータ（例えばオーディオデータ、電話帳など）などが記憶される。また、メモリ１１２０は高速ランダムアクセスメモリを有してもよく、さらに少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイスのような不揮発性メモリ、または他の揮発性固体記憶装置を有してもよい。
【0128】
入力ユニット１１３０は、ユーザにより入力した翻訳対象語句、翻訳インジケータを受信する。具体的に、入力ユニット１１３０はタッチパネル１１３１及び他の入力機器１１３２を有してもよい。タッチパネル１１３１はタッチスクリーンとも呼ばれて、ユーザの、その上または付近のタッチ操作（例えばユーザの、指、タッチペンなどのいずれかの適切な物体、または付属品による、タッチパネル１１３１の上またはタッチパネル１１３１の付近での操作）を収集し、事前に設定されたプログラムに応じて相応的な接続装置を駆動する。任意選択で、タッチパネル１１３１はタッチ検出装置とタッチコントローラとの２つの部分を有してもよい。タッチ検出装置はユーザのタッチ方位、及びタッチ操作による信号を検出し、信号をタッチコントローラに伝送し、タッチコントローラはタッチ検出装置からタッチ情報を受信するとともに、接点座標に変換してから、プロセッサ１１８０に送信し、プロセッサ１１８０から発信された命令を受信し実行する。また、抵抗式、静電容量式、赤外線及び弾性表面波などの多種のタイプによってタッチパネル１１３１を実現し得る。タッチパネル１１３１以外に、入力ユニット１１３０はさらに他の入力機器１１３２を含んでもよい。具体的に、他の入力機器１１３２は物理キーボード、ファンクションキー（例えば音量調整ボタン、スイッチボタンなど）、トラックボール、マウス、ジョイスティックなどのうちの１種または多種を含むが、これらに限定されない。
【0129】
表示ユニット１１４０は、翻訳結果を表示する。表示ユニット１１４０は表示パネル１１４１を含んでもよく、任意選択で、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、有機発光ダイオード（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ-Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ,ＯＬＥＤ）などの形式で表示パネル１１４１を配置することができる。さらに、タッチパネル１１３１は表示パネル１１４１を覆ってもよく、タッチパネル１１３１はその上または付近のタッチ操作を検出した後、プロセッサ１１８０に伝送することで、タッチイベントのタイプを決定し、そして、プロセッサ１１８０はタッチイベントのタイプに応じて表示パネル１１４１で相応的な視覚出力を提供する。図１２において、タッチパネル１１３１と表示パネル１１４１とが、２つの独立の部材として携帯電話の入力及び出力機能を実現するが、いくつかの実施例において、タッチパネル１１３１と表示パネル１１４１とを集積させることで、携帯電話の入力及び出力機能を実現できる。
【0130】
携帯電話はさらに、少なくとも１種のセンサ１１５０、例えば光センサ、運動センサ及び他のセンサを含んでもよい。具体的に、光センサは環境光センサ及び接近センサを含んでもよく、環境光センサは環境光線の明暗に応じて表示パネル１１４１の輝度を調節でき、接近センサは携帯電話が耳元に移動した際、表示パネル１１４１及び／またはバックライトをオフにする。運動センサの１種として、加速度計センサは各方向での（一般的に３軸である）加速度の大さを検出でき、静止する場合、重力の大さ及び方向を検出でき、携帯電話の姿勢認識のアプリケーション（例えば、水平および垂直画面切り替え、関するゲーム、磁力計の姿勢校正）、振動することで関する機能（例えば歩数計、叩き）を認識することなどに用いられる。さらに携帯電話に配置されるジャイロ、気圧計、湿度計、温度計、赤外線センサなどの他のセンサについて、ここで贅言しない。
【0131】
オーディオ回路１１６０、スピーカ１１６１、マイクロフォン１１６２はユーザと携帯電話との間のオーディオインターフェースを提供できる。オーディオ回路１１６０は受信されたオーディオデータの変換後の電気信号を、スピーカ１１６１に転送し、スピーカ１１６１によって声音信号に変換し出力する一方で、マイクロフォン１１６２は収集された声音信号を電気信号に変換し、オーディオ回路１１６０が受信した後、オーディオデータに変換し、オーディオデータをプロセッサ１１８０に出力し処理した後、ＲＦ回路１１１０を介して、例えば他の携帯電話に送信し、または、さらに処理するように、オーディオデータをメモリ１１２０に出力する。
【0132】
ＷｉＦｉは近距離無線転送技術であり、携帯電話はＷｉＦｉモジュール１１７０を介してユーザの電子メールに対する送受信、ウェブページに対する閲覧及びストリームメディアに対するアクセスなどに寄与し、ユーザに無線のブロードバンドインターネットに対するアクセスを提供する。図１２はＷｉＦｉモジュール１１７０を示すが、それは必ずしも携帯電話の必要な構成ではなく、必要に応じて、発明の本質を変更しない範囲内で省略することができる。
【0133】
プロセッサ１１８０は、携帯電話の制御センターであり、各種のインターフェース及び回路によって携帯電話全体の各部分を接続し、メモリ１１２０内に記憶されるソフトウェアプログラム及び／またはモジュールを動作または実行し、メモリ１１２０内に記憶されるデータを呼び出すことで、携帯電話の各種の機能及びデータの処理を実行し、これによって、携帯電話の全体を監視する。任意選択で、プロセッサ１１８０は１つ又は複数の処理ユニットを含んでもよく、好ましくは、プロセッサ１１８０にはアプリケーションプロセッサとモデムプロセッサとが集積され、アプリケーションプロセッサは主にオペレーティングシステム、ユーザインタフェース及びアプリケーションプログラムなどを処理し、モデムプロセッサは主に無線通信を処理する。なお、前記モデムプロセッサはプロセッサ１１８０に集積されていなくてもよい。
【0134】
カメラ１１９０は、画像を採集する。
【0135】
携帯電話はさらに、各部材に給電するための電源（例えば電池）を含み、好ましくは、電源は電源管理システムを介してプロセッサ１１８０に論理的に接続されることで、電源管理システムによって充電、放電、及び消費電力に対する管理などの機能を実現する。
【0136】
図示していないが、携帯電話はさらにカメラ、ブルートゥース（登録商標）モジュールなどを含んでもよく、ここで贅言しない。
【0137】
本出願の実施例において、該端末に含まれるプロセッサ１１８０はさらに、以下の制御機能を有し、即ち、
第１言語で表現される第１翻訳対象語句を受信し、
ターゲット翻訳モデルによって前記第１翻訳対象語句を翻訳し、第２言語で表現される翻訳結果語句を得て、前記ターゲット翻訳モデルが複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高く、
前記第２言語で表現される翻訳結果語句を出力する。
第１言語で表現される第１翻訳対象語句を受信し、
ターゲット翻訳モデルによって前記第１翻訳対象語句を翻訳し、第２言語で表現される翻訳結果語句を得て、前記ターゲット翻訳モデルが複数のトレーニングサンプル及び前記複数のトレーニングサンプルにおける各トレーニングサンプルにそれぞれ対応する外乱サンプルセットを利用してトレーニングすることで得られて、前記外乱サンプルセットには少なくとも１つの外乱サンプルが含まれ、前記外乱サンプルと対応するトレーニングサンプルとの語義の類似度が第１プリセット値より高く、
前記第２言語で表現される翻訳結果語句を出力する。
【0138】
任意選択で、さらに、
前記第１言語で表現される第２翻訳対象語句を受信し、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と前記第１翻訳対象語句との類似度が第１プリセット値より高く、
ターゲット翻訳モデルを利用して前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得て、
前記翻訳結果語句を出力する。
前記第１言語で表現される第２翻訳対象語句を受信し、前記第２翻訳対象語句が前記第１翻訳対象語句の外乱語句であり、前記第２翻訳対象語句と前記第１翻訳対象語句との類似度が第１プリセット値より高く、
ターゲット翻訳モデルを利用して前記第２翻訳対象語句を翻訳することで、前記第１翻訳対象語句に対応する前記翻訳結果語句を得て、
前記翻訳結果語句を出力する。
【0139】
前記実施例において、全部または部分的にソフトウェア、ハードウェア、ファームウエアまたはその任意の組み合わせで実現することができる。ソフトウェアによって実現する場合、全部または部分的にコンピュータプログラム製品という形式で実現することができる。
【0140】
前記コンピュータプログラム製品は１つ又は複数のコンピュータ命令を有する。コンピュータで前記コンピュータプログラム命令をロード及び実行する場合、全部または部分的に本出願の実施例に記載のフローまたは機能が発生する。前記コンピュータは汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能な装置であってもよい。前記コンピュータ命令はコンピュータ読み取り可能な記憶媒体に記憶されるか、または１つのコンピュータ読み取り可能な記憶媒体から、他のコンピュータ読み取り可能な記憶媒体に転送され、例えば前記コンピュータ命令は１つのウェブサイト、コンピュータ、サーバまたはデータセンターから、有線（例えば同軸ケーブル、光ファイバー、デジタル加入者線（ＤＳＬ））或いは無線（例えば赤外線、無線、マイクロ波など）の方式で他のウェブサイト、コンピュータ、サーバまたはデータセンターに転送される。前記コンピュータ読み取り可能な記憶媒体は、コンピュータが記憶できる、任意の利用可能な媒体、または１つ又は複数の利用可能な媒体集積が含まれるサーバ、データセンターなどのデータ記憶機器であってもよい。前記利用可能な媒体は、磁気媒体（例えばフロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えば、ＤＶＤ）、または半導体媒体（例えばソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ、ＳＳＤ））などであってもよい。
【0141】
当業者は理解できるように、前記実施例の各方法における全部または一部のステップは、プログラムによって関するハードウェアに命令することで完成され、該プログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよく、記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光学ディスクなどを含んでもよい。
【0142】
以上は、本出願の実施例により提供される翻訳モデルのトレーニング方法、語句翻訳の方法、装置及び機器を詳しく紹介し、本明細書において、具体的な例を利用して本出願の実施例の原理及び実施形態を説明し、以上の実施例に対する説明は、ただ本出願の実施例の方法及びその核心思想への理解に寄与する。その同時に、当業者であれば、本出願の実施例の思想に応じて、具体的な実施形態及び応用範囲で変更でき、本明細書の内容は、本出願の実施例に対する限定として理解すべきではない。
【0143】
本出願の実施例は翻訳モデルをトレーニングする際、外乱サンプルを利用し、外乱サンプルとトレーニングサンプルとの語義の類似度が第１プリセット値より高く、つまり、外乱サンプルとトレーニングサンプルとの語義が近く、このようにトレーニングされたターゲット翻訳モデルがノイズ付きの語句を受信しても、正確に翻訳できる。これによって、機械翻訳のロバスト性及び翻訳品質を向上させる。
【符号の説明】
【0144】
30 翻訳モデルのトレーニング装置
301 取得ユニット
302 決定ユニット
303 モデルトレーニングユニット
40 語句翻訳装置
401 受信ユニット
402 翻訳ユニット
403 出力ユニット
50 コンピュータ機器
510 プロセッサ
530 Ｉ／Ｏインターフェース
540 メモリ
1110 ＲＦ回路
1120 メモリ
1130 入力ユニット
1131 タッチパネル
1132 他の入力機器
1140 表示ユニット
1141 表示パネル
1150 センサ
1160 オーディオ回路
1161 スピーカ
1162 マイクロフォン
1170 ＷｉＦｉモジュール
1180 プロセッサ
1190 カメラ
301 取得ユニット
302 決定ユニット
303 モデルトレーニングユニット
40 語句翻訳装置
401 受信ユニット
402 翻訳ユニット
403 出力ユニット
50 コンピュータ機器
510 プロセッサ
530 Ｉ／Ｏインターフェース
540 メモリ
1110 ＲＦ回路
1120 メモリ
1130 入力ユニット
1131 タッチパネル
1132 他の入力機器
1140 表示ユニット
1141 表示パネル
1150 センサ
1160 オーディオ回路
1161 スピーカ
1162 マイクロフォン
1170 ＷｉＦｉモジュール
1180 プロセッサ
1190 カメラ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】