知財求人 - 知財ポータルサイト「IP Force」
特許7025090翻訳方法、ターゲット情報決定方法および関連装置、ならびにコンピュータプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-02-15
(45)【発行日】2022-02-24
(54)【発明の名称】翻訳方法、ターゲット情報決定方法および関連装置、ならびにコンピュータプログラム
(51)【国際特許分類】
G06F 40/44 20200101AFI20220216BHJP
【ＦＩ】
G06F40/44
【請求項の数】
12
(21)【出願番号】P 2020503957
(86)(22)【出願日】2018-07-11
(65)【公表番号】
(43)【公表日】2020-09-24
(86)【国際出願番号】 CN2018095231
(87)【国際公開番号】W WO2019019916
(87)【国際公開日】2019-01-31
【審査請求日】2020-03-10
(31)【優先権主張番号】201710612833.7
(32)【優先日】2017-07-25
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】517392436
【氏名又は名称】▲騰▼▲訊▼科技（深▲セン▼）有限公司
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100140534
【氏名又は名称】木内 敬二
(72)【発明者】
【氏名】▲塗▼ 兆▲鵬▼
(72)【発明者】
【氏名】周 浩
(72)【発明者】
【氏名】史 ▲樹▼明
【審査官】成瀬 博之
(56)【参考文献】
【文献】中国特許出願公開第１０６１２６５０７（ＣＮ，Ａ）
【文献】中国特許出願公開第１０６３７２０５８（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／２０－４０／５８
(57)【特許請求の範囲】
【請求項1】
ニューラルネットワークマシン翻訳システムに適用される翻訳方法であって、エンコーダが、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることであって、前記処理対象となるテキスト情報は、第１の言語に属し、前記ソースベクトル表示シーケンスにおける各ソースベクトルはそれぞれ１つのソースコンテンツを表し、前記ソースベクトル表示シーケンスにおける各ソースベクトルは前記第１の言語に属することと、
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、ソースベクトルと、前記第１の時刻に隣接する一つ前の時刻である第２の時刻におけるデコーダの状態ベクトルと、前記第２の時刻における前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを表すベクトルである第３の翻訳ベクトルと、前記第２の時刻における前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを表すベクトルである第２のベクトルとに対して、アテンション機構を用いた操作を行い、前記ソースベクトル表示シーケンスにおける各ソースベクトルのアライメント確率の和が１であり、前記アライメント確率が大きいほど前記ソースコンテンツと生成対象のターゲット情報との関連性が高くなるように、各ソースコンテンツに対するアライメント確率を決定し、前記ソースコンテンツのアライメント確率と前記ソースコンテンツのセマンティックベクトルとを重み付き加算することにより、前記第１の時刻に対応するソースコンテキストベクトルを取得し、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを表すベクトルである第１の翻訳ベクトル、および／または、前記第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを表すベクトルである第２の翻訳ベクトルを含む、ことと、
デコーダが、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることであって、前記ターゲット情報は、前記第１の言語とは異なる第２の言語に属するものであることとを含むことを特徴とする翻訳方法。
【請求項2】
前記デコーダが前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを前記デコーダに入力することと、
前記デコーダが前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理することと、
復号化処理の結果に基づいて、前記処理対象となるソースコンテンツの翻訳コンテンツを取得することであって、前記翻訳コンテンツは、前記第１の時刻のターゲット情報であることとを含むことを特徴とする請求項１に記載の方法。
【請求項3】
ターゲット情報決定装置が実行するターゲット情報決定方法であって、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることであって、前記ソースベクトル表示シーケンスにおける各ソースベクトルはそれぞれ１つのソースコンテンツを表す、ことと、
前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、ソースベクトルと、前記第１の時刻に隣接する一つ前の時刻である第２の時刻におけるデコーダの状態ベクトルと、前記第２の時刻における前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを表すベクトルである第３の翻訳ベクトルと、前記第２の時刻における前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを表すベクトルである第２のベクトルとに対して、アテンション機構を用いた操作を行い、前記ソースベクトル表示シーケンスにおける各ソースベクトルのアライメント確率の和が１であり、前記アライメント確率が大きいほど前記ソースコンテンツと生成対象のターゲット情報との関連性が高くなるように、各ソースコンテンツに対するアライメント確率を決定し、前記ソースコンテンツのアライメント確率と前記ソースコンテンツのセマンティックベクトルとを重み付き加算することにより、前記第１の時刻に対応するソースコンテキストベクトルを取得し、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを表すベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを表すベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含むことを特徴とするターゲット情報決定方法。
【請求項4】
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定することは、前記ソースベクトル表示シーケンスに基づいて、前記第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることとを含むことを特徴とする請求項３に記載の方法。
【請求項5】
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを決定することは、前記ソースベクトル表示シーケンスに基づいて、前記第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることと、
前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の時刻に隣接する１つ前の時刻のソースコンテキストベクトルおよび過去翻訳ベクトルを読み込み、前記第２の翻訳ベクトルを取得することであって、前記第２の翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを表すベクトルである、第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルが、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して得られたものであることとを含むことを特徴とする請求項３に記載の方法。
【請求項6】
前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定することは、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の時刻に隣接する１つ前の時刻のソースコンテキストベクトルおよび過去翻訳ベクトルを読み込み、前記第２の翻訳ベクトルを取得することを含み、前記第２の翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを表すベクトルである第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルが、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して得られたものであることを特徴とする請求項３に記載の方法。
【請求項7】
前記予め設定されたニューラルネットワークモデルが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることは、ゲート付き回帰型ユニットが、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得ることを含むことを特徴とする請求項４または５記載の方法。
【請求項8】
前記予め設定されたニューラルネットワークモデルが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることは、ゲート付き回帰型ユニットが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、中間ベクトルを得ることと、
前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得ることとを含むことを特徴とする請求項４または５に記載の方法。
【請求項9】
前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、前記方法は、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、および前記翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定することをさらに含み、これに対応して、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、前記第１の時刻のデコーダの状態、前記ソースコンテキストベクトル、および前記翻訳ベクトルを復号化処理して、前記第１の時刻のターゲット情報を得ることを含むことを特徴とする請求項４に記載の方法。
【請求項10】
前記方法は、前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得することであって、前記第１の指標の期待値は、その値が高いほど、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間は予想に合致することを表すためのものであることと、
前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得することであって、前記第２の指標の期待値は、その値が高いほど、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味は予想に合致することを表すためのものであることと、
標準ニューラルネットワーク翻訳モデルのトレーニングターゲットと、前記第１の指標の期待値と、前記第２の指標の期待値とに基づいて、前記第１の時刻のターゲット情報の生成確率が最大化するようにトレーニングターゲットを決定することであって、前記トレーニングターゲットは、予め設定されたニューラルネットワークモデルを構築するためのものであることとをさらに含むことを特徴とする請求項６に記載の方法。
【請求項11】
請求項１～１０のうちいずれか一項に記載の方法を行うように構成されたターゲット情報決定装置。
【請求項12】
コンピュータで実行される場合、請求項１～１０のうちいずれか一項に記載の方法を実行させるための命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、２０１７年０７月２５日に中国特許局に出願された、出願番号が２０１７１０６１２８３３．７であり、出願名称が「翻訳方法、ターゲット情報決定方法および関連装置」である中国特許出願の優先権を主張し、その全ての内容が参照することにより本願に組み込まれる。
【0002】
［技術分野］
本発明の実施例は、コンピュータ技術の分野に関し、特に、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体に関する。
本発明の実施例は、コンピュータ技術の分野に関し、特に、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体に関する。
【背景技術】
【0003】
機械翻訳（ＭＴ：ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ）とは、機械を利用してテキストや言葉を１つの言語から同じ意味の内容を有する別の言語に変換するプロセスを指す。深層学習の台頭につれ、最近二年間、ディープニューラルネットワーク技術はＭＴにも応用され、ニューラル機械翻訳（ＮＭＴ：ｎｅｕｒａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ）は、次世代の翻訳技術になる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の実施例は、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体を提供する。
【課題を解決するための手段】
【0005】
本発明の一態様は、ニューラルネットワーク機械翻訳システムに適用される翻訳方法を提供し、前記方法は、エンコーダを用いて処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることであって、前記処理対象となるテキスト情報は、第１の言語に属することと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、デコーダを用いて前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることであって、前記ターゲット情報は、前記第１の言語とは異なる第２の言語に属するものであることとを含む。
【0006】
また、本発明の別の一態様は、ターゲット情報決定方法を提供し、該方法は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む。
【0007】
また、本発明のさらに別の一態様は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを備えるターゲット情報決定装置を提供し、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、前記少なくとも１つの命令モジュールは、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュールと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュールであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものである第１の取得モジュールと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定する第１の決定モジュールであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である第１の決定モジュールと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュールとを備える。
【0008】
また、本発明のさらなる別の一態様は、メモリと、プロセッサと、バスシステムとを備えるターゲット情報決定装置を提供し、前記メモリは、プログラムを記憶するためのものであり、前記プロセッサは、前記メモリにおけるプログラムを実行するためのものであり、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得るステップと、前記ソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを取得するステップであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるステップと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定するステップであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であるステップと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得るステップとを含み、前記バスシステムは、前記メモリと前記プロセッサを接続して、前記メモリと前記プロセッサを通信させるためのものである。
【0009】
また、本発明の別の一態様は、コンピュータで実行される場合、コンピュータに上記の各態様に記載された方法を実行させる命令が記憶されているコンピュータ読み取り可能な記憶媒体である。
【0010】
また、本発明のさらに別の一態様は、電子デバイスによって実行されるターゲット情報決定方法を提供し、該方法は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む。
【発明の効果】
【0011】
本発明の実施例は、翻訳方法、ターゲット情報決定方法および関連装置を提供し、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施例におけるターゲット情報決定装置のアーキテクチャ図である。
【図2】本発明の実施例におけるターゲット情報決定方法のフローチャート概略図である。
【図3】本発明の実施例におけるターゲット情報決定方法の一実施例の概略図である。
【図4】本発明の実施例におけるゲート付き回帰型ユニットの構成概略図である。
【図5】本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図である。
【図6】本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図である。
【図7】本発明の実施例における注目度モジュールの一実施例の概略図である。
【図8】本発明の実施例におけるデコーダの状態の一実施例の概略図である。
【図9】本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第１のソースコンテンツを翻訳する実施例の概略図である。
【図10】本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第２のソースコンテンツを翻訳する実施例の概略図である。
【図11】本発明の実施例におけるターゲット情報決定装置の一実施例の概略図である。
【図12】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図13】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図14】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図15】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図16】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図17】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図18】本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。
【図19】本発明の実施例におけるターゲット情報決定装置の別の実施例を示す図である。
【図20】本発明の実施例におけるターゲット情報決定装置の構成概略図である。
【発明を実施するための形態】
【0013】
本発明の明細書や特許請求の範囲および上記図面における用語「第１」、「第２」、「第３」、「第４」など（ある場合）は、特定の順序や前後の順序を説明するために使用される必要がなく、類似の対象を区別するために使用される。ここで説明する本発明の実施例が、例えばここで図示または説明するもの以外の順序で実施されることができるように、このように使用されるデータは適切な状況で交換可能であるということが理解されるべきである。さらに、用語「含む」や「有する」およびそれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップやユニットを含むプロセス、方法、システム、製品またはデバイスは、明確に記載されているステップやユニットに限定される必要がなく、明確に記載されていないものやこれらのプロセス、方法、製品またはデバイスに固有のその他のステップやユニットを含むことができる。
【0014】
本発明の実施例は、主に符号化－復号化モデル（ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ）に適用され、符号化とは、入力シーケンスを長さがあるベクトルに変換することであり、復号化とは、エンコーダによって生成されたベクトルシーケンスから出力シーケンスに再変換することである、ということが理解されたい。ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒモデルは、例えば翻訳、ドキュメント摘出および質問回答システムなど、多くの応用がある。翻訳では、入力シーケンスは翻訳されるテキストであり、出力シーケンスは翻訳されたテキストである。質問回答システムでは、入力シーケンスは提出された質問であり、出力シーケンスは回答である。
【0015】
具体的に実現される場合、エンコーダとデコーダは、いずれも、固定されたものではなく、オプションとして、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）、回帰型ニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）、ゲート付き回帰型ユニット（ＧＲＵ：ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）、長・短期記憶（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ）、双方向回帰型ニューラルネットワーク（ＢｉＲＮＮ：ｂｉｄｉｒｅｃｔｉｏｎａｌ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）などがあり、符号化と復号化をする際に、異なるニューラルネットワークを採用してもよく、例えば、符号化をする際にＢｉＲＮＮを使用する一方、復号化をする際にＲＮＮを使用してもよく、あるいは、符号化をする際にＲＮＮを使用する一方、復号化をする際にＬＳＴＭを使用してもよいし、これはここでは限定されない。
【0016】
図１を参照して、図１は、本発明の実施例におけるターゲット情報決定装置のアーキテクチャ図であり、図１に示すように、デコーダに２つの隠れ層が追加的に導入され、この２つの隠れ層は、ベクトルシーケンスで表すことができる。図１の
【0017】
【数1】
【0018】
は、（ｔ－１）番目の時刻に対応する第２の翻訳ベクトルを表し、第２の翻訳ベクトルとは、すでに翻訳されたソースコンテンツを意味し、すなわち過去翻訳ベクトルである。図１の
【0019】
【数2】
【0020】
は、ｔ番目の時刻に対応する第１の翻訳ベクトルを表し、第１の翻訳ベクトルとは、まだ翻訳されていないソースコンテンツを意味し、すなわち未来翻訳ベクトルである。図１のｃｔは、ｔ番目の時刻に対応するソースコンテキストベクトルを表す。図１のｓｔは、ｔ番目の時刻のデコーダの状態を表す。
【0021】
本発明は、追加の隠れ層を導入することにより、意味レベルで過去翻訳（翻訳されたコンテンツ）と未来翻訳（翻訳されていないコンテンツ）を直接モデル化し、関連コンテンツをデコーダの状態から分離し、ニューラルネットワーク翻訳システムによる関連コンテンツへの記憶および利用を向上させ、これによって、翻訳システムの効果を向上させる。本発明で提供される方法は、主流のニューラルネットワーク機械翻訳システムに適用することができる。
【0022】
理解を容易にするために、図２を参照して、図２は、本発明の実施例におけるターゲット情報決定方法のフローチャート概略図であり、図２に示すように、具体的には、
まず、エンコーダモジュールＳ１は、ステップ１０１で、処理する必要があるセンテンスを入力し、その後、該エンコーダモジュールＳ１によってソースベクトル表示シーケンスを出力する。次に、全ての訳文が生成されるまで、注目度モジュールＳ２、過去未来モジュールＳ３、およびデコーダモジュールＳ４によって、次のステップを繰り返す。
まず、エンコーダモジュールＳ１は、ステップ１０１で、処理する必要があるセンテンスを入力し、その後、該エンコーダモジュールＳ１によってソースベクトル表示シーケンスを出力する。次に、全ての訳文が生成されるまで、注目度モジュールＳ２、過去未来モジュールＳ３、およびデコーダモジュールＳ４によって、次のステップを繰り返す。
【0023】
注目度モジュールＳ２は、（ｔ－１）番目の時刻の過去翻訳ベクトルと未来翻訳ベクトルを読み込み、ここで、過去翻訳ベクトルの初期は全ゼロベクトルであり、ソースコンテンツが翻訳されていないことを表し、未来翻訳ベクトルの初期はソースベクトル表示シーケンスの最後のベクトルであり、ソースセンテンスのまとめを表す。注目度モジュールＳ２は、ステップ１０３で、現在時刻であるｔ番目の時刻のソースコンテキストベクトルを出力する。過去未来モジュールＳ３は、現在時刻のソースコンテキストベクトルを読み取り、ステップ１０４で、ｔ番目の時刻の過去翻訳ベクトルと未来翻訳ベクトルを更新する。デコーダモジュールＳ４は、ｔ番目の時刻の未来翻訳ベクトル、（ｔ－１）番目の時刻の過去翻訳ベクトル、ｔ番目の時刻のソースコンテキストベクトル、および他の標準入力を読み取って、ステップ１０５で、ｔ番目の時刻のターゲットワードを生成する。
【0024】
本発明は、ＮＭＴシステムに適用することができ、以下、本発明で提供される翻訳方法を説明し、本発明の実施例における翻訳方法の実施例は以下を含む。
【0025】
ＮＭＴシステムでは、まず、エンコーダを用いて、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、ここで、処理対象となるテキスト情報は第一言語、例えば中国語に属し、実際の応用では他の種類の言語であってもよいということが理解される。
【0026】
符号化処理のフローは、具体的には、処理対象となるテキスト情報をＮＭＴシステムにおけるエンコーダに入力し、それから、このエンコーダを用いて、処理対象となるテキスト情報を符号化処理して、最後に、符号化処理の結果に基づいて、ソースベクトル表示シーケンスを取得することであり、ソースベクトル表示シーケンスにおける各ソースベクトルは第１の言語に属する。
【0027】
第１の言語が中国語であると仮定すると、処理対象となるテキスト情報は中国語のセンテンスであってもよいし、このセンテンスには、いくつかのフレーズが含まれている。この中国語のセンテンスが符号化処理された後、ソースベクトル表示シーケンスが得られ、さらに、現在の時刻である第１の時刻に対応するソースコンテキストベクトルが取得され、ここで、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表し、ソースコンテンツは、具体的にはこの中国語のセンテンスのうちのある単語であると考えられる。
【0028】
第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるということが理解される。
【0029】
次に、ＮＭＴシステムは、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを決定し、ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。第１の時刻がｔ時刻であれば、第２の時刻がｔ－１時刻となる。
【0030】
説明を容易にするために、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを翻訳ベクトルと呼ぶことができ、翻訳ベクトルは、第１の翻訳ベクトルであってもよく、第２の翻訳ベクトルであってもよいし、第１の翻訳ベクトルおよび第２の翻訳ベクトルであってもよい。
【0031】
つまり、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであり、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである。
例えば、ソースベクトル表示シーケンスに対応するソースコンテンツは、
例えば、ソースベクトル表示シーケンスに対応するソースコンテンツは、
【0032】
【数3】
【0033】
であると仮定する。したがって、ソースベクトルに対応する単語は
【0034】
【数4】
【0035】
である。現在時刻で「世界各地」という単語までに翻訳すれば、未来翻訳ベクトルは、翻訳されていない
【0036】
【数5】
【0037】
のそれぞれに対応するベクトルとして理解され、過去翻訳ベクトルは、翻訳された「毎月」および「到」に対応するベクトルとして理解される。
【0038】
最後に、ＮＭＴシステムでは、デコーダを用いて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得、ここで、ターゲット情報は、第２の言語に属する。第２の言語は第１の言語とは異なる言語であることが理解され、英語、フランス語または日本語等であってもよいし、ここでは限定されていない。
【0039】
第１の時刻で「世界各地」という単語まで翻訳すれば、出力されたターゲット情報は「ａｌｌ ｐａｒｔｓ ｏｆ ｔｈｅ ｗｏｒｌｄ」であってよいし、つまり、第１の言語は中国語であり、第２の言語は英語であり、ここまで機械翻訳のプロセスが終了する。
【0040】
本発明の実施例は、翻訳方法を提供し、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【0041】
以下、本発明におけるターゲット情報決定方法を説明し、該方法は電子デバイスによって実行されるようにしてよい。図３を参照して、図３は、本発明の実施例におけるターゲット情報決定方法の一実施例であり、以下のステップを含む。
【0042】
２０１で、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る。
【0043】
本実施例では、ターゲット情報決定装置におけるエンコーダは、処理対象となるテキスト情報に対して符号化処理を行い、ここで、処理対象となるテキスト情報は、例えば
【0044】
【数6】
【0045】
という翻訳対象のセンテンスであってもよいし、センテンスを符号化処理した後、ソースベクトル表示シーケンスを得ることができる。
【0046】
ソースベクトル表示シーケンスにおける各ベクトルは、１つのソースコンテンツ（ソースワード）に対応する。例えば、
【0047】
【数7】
【0048】
というセンテンスにおけるソースコンテンツは、それぞれ
【0049】
【数8】
【0050】
である。このシーケンスに従って、ターゲット情報決定装置におけるデコーダは、ワードごとに訳文を生成する。
【0051】
２０２で、ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得し、ここで、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表すためのものである。
【0052】
前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるということが理解される。
【0053】
本実施例では、ターゲット情報決定装置は、ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することができ、第１の時刻は、本発明の実施例におけるｔ番目の時刻であり、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表すためのものである。
【0054】
具体的には、ターゲット情報決定装置は、各ソースコンテンツ毎に例えば０．０または０．２などのアライメント確率を出力し、ソースベクトル表示シーケンスにおける各アライメント確率の和が１であり、かつ、アライメント確率が大きいほど、このソースコンテンツと生成対象のターゲット情報との関連性が高くなる。アライメント確率と意味ベクトルとを重み付けることにより、ｔ番目の時刻のソースコンテキストベクトルを生成することができる。
【0055】
２０３で、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを決定し、ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。
【0056】
第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを翻訳ベクトルと呼ぶことができるということが理解される。
【0057】
本実施例では、ターゲット情報決定装置は、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定したり、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定したり、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを決定したりすることができる。ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。
【0058】
具体的には、第１の翻訳ベクトルは、ｔ番目の時刻の未来翻訳ベクトルを表し、第２の翻訳ベクトルは、（ｔ－１）番目の時刻の過去翻訳ベクトルを表す。１つのターゲット情報を生成したら、対応するソースコンテキストベクトルｃｔを、前の時刻の過去翻訳ベクトルに加えて新しい過去翻訳ベクトルを得て、前の時刻の未来翻訳ベクトルからｃｔを引いて新しい未来翻訳ベクトルを得る。
【0059】
２０４で、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。
【0060】
本実施例では、ターゲット情報決定装置におけるデコーダは、１つのニューラルネットワーク出力層を使用して、第１の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができ、または、第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができ、あるいは、第１の翻訳ベクトル、第２の翻訳ベクトル、およびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができる。
【0061】
ターゲット情報を生成するプロセスで、複数の選択対象の情報を生成し、最後に類似度が最も高い単語をターゲット情報として出力することができる。例えば、
【0062】
【数9】
【0063】
というセンテンスにおいて、
【0064】
【数10】
【0065】
は「ｍａｎｙ」または「ｍｕｃｈ」に翻訳されてもよいが、デコーダの状態ベクトルに記憶されている意味知識によれば、可算名詞の前に「ｍａｎｙ」が使用されていることが分かる。そのため、ここでの
【0066】
【数11】
【0067】
は最後に「ｍａｎｙ」に翻訳されている。
【0068】
本発明の実施例では、ターゲット情報決定方法が提供されており、まず、ターゲット情報決定装置は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、その後、ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、最後に、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【0069】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の１つの選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定することは、
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルおよびソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルおよびソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
【0070】
前記第３の翻訳ベクトルは、前記第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであるということが理解される。
【0071】
本実施例では、ターゲット情報決定装置が、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルを決定するプロセスは、まず、ソースベクトル表示シーケンスに基づいて第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることを含むようにしてよい。
【0072】
具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ－１）番目の時刻であると仮定すると、ターゲット情報決定装置は、第１の時刻のソースコンテキストベクトル（第１の時刻で翻訳されたソースコンテンツを表す）を読み込み、さらに、記憶されている未来翻訳ベクトルを更新する必要がある。未来翻訳ベクトルの初期化は、ソースセンテンスのまとめ（通常、ソースベクトル表示シーケンスの最後のベクトル）であり、はじめの全てのソースコンテンツがいずれも翻訳されていないことを表す。そして、各時刻に、次のように更新される。
【0073】
【数12】
【0074】
ここで、
【0075】
【数13】
【0076】
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
【0077】
【数14】
【0078】
は、（ｔ－１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【0079】
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
【0080】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを如何に決定することが説明され、すなわち、ソースベクトル表示シーケンスに基づいて第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルおよびソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る。上記のように、予め設定されたニューラルネットワークモデルを利用して第１の翻訳ベクトルを出力することで、未来翻訳ベクトルの精度を向上させることができる。
【0081】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおとび第２の翻訳ベクトルを決定することは、
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることと、
ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることと、
ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。
【0082】
前記第４の翻訳ベクトルは、前記第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルであるということが理解される。
【0083】
本実施例では、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ－１）番目の時刻であると仮定すると、第１の時刻のソースコンテキストベクトル（すなわち、翻訳されているソース意味コンテンツ）はｃｔと表され、注目度モジュールによって得られたものであり、ｃｔは、過去翻訳ベクトルおよび未来翻訳ベクトルを更新するためにも用いられ、次のように更新される。
【0084】
【数15】
【0085】
ここで、
【0086】
【数16】
【0087】
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
【0088】
【数17】
【0089】
は、（ｔ－１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【0090】
【数18】
【0091】
ここで、
【0092】
【数19】
【0093】
は、ｔ番目の時刻の過去翻訳ベクトルを表し、すなわち第４の翻訳ベクトルであり、
【0094】
【数20】
【0095】
は、（ｔ－１）番目の時刻の過去翻訳ベクトルを表し、すなわち第２の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【0096】
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
【0097】
モデル化によって、「累積」というルール、即ち、ｔ番目の時刻のソースコンテキストベクトルｃｔ（ｔ番目の時刻で翻訳されているソースコンテンツ）と、（ｔ－１）番目の時刻の過去翻訳ベクトル（（ｔ－１）番目の時刻まで翻訳されたソースコンテンツ）とが累積されることを達成する、ということが期待されている。そのため、ＲＮＮ構造が選択され、その理由として、ＲＮＮがｔ番目の時刻までの履歴情報をよくまとめることができ、かつ期待に沿ったからである。例えば、
【0098】
【数21】
【0099】
である。
【0100】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得、また、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、過去翻訳ベクトルと未来翻訳ベクトルの精度を向上させることができる。
【0101】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定することは、
【0102】
ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものであることを含むようにしてよい。
【0103】
本実施例では、ターゲット情報決定装置は、第１の時刻のソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の時刻の第２の翻訳ベクトルを取得するようにしてよい。
【0104】
具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ－１）番目の時刻であると仮定すると、ターゲット情報決定装置は、（ｔ－２）番目の時刻のソースコンテキストベクトルおよび（ｔ－２）番目の時刻の過去翻訳ベクトルを読み込み、その後、予め設定されたニューラルネットワークモデルを用いて、（ｔ－２）番目の時刻のソースコンテキストベクトルおよび（ｔ－２）番目の時刻の過去翻訳ベクトルを処理して、（ｔ－１）番目の時刻の過去翻訳ベクトルを得る。過去翻訳ベクトルを全ゼロベクトルに初期化し、即ち、
【0105】
【数22】
【0106】
になり、いかなるソースコンテンツが最初に翻訳されていないことを表す。そして、各時刻に、次のように更新される。
【0107】
【数23】
【0108】
ここで、
【0109】
【数24】
【0110】
は、ｔ番目の時刻の過去翻訳ベクトルを表し、すなわち第４の翻訳ベクトルであり、
【0111】
【数25】
【0112】
は、（ｔ－１）番目の時刻の過去翻訳ベクトルを表し、すなわち第２の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
【0113】
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
【0114】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、予め設定されたニューラルネットワークモデルを利用して第２の翻訳ベクトルを出力することで、過去翻訳ベクトルの精度を向上させることができる。
【0115】
オプションとして、上記の図３に対応する前の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることは、
ゲート付き回帰型ユニットＧＲＵを用いて、第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得ることを含むようにしてよい。
ＧＲＵはＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔの略記であるということが理解される。
ゲート付き回帰型ユニットＧＲＵを用いて、第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得ることを含むようにしてよい。
ＧＲＵはＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔの略記であるということが理解される。
【0116】
本実施例では、未来翻訳ベクトルを得るプロセスでは、モデル化によって、「累減」というルールを達成する必要がある。第１の時刻がｔ番目の時刻であり、第２の時刻は（ｔ－１）番目の時刻であると仮定すると、即ち、第１の時刻のソースコンテキストベクトルｃｔ（第１の時刻で翻訳されているソースコンテンツ）を第３の翻訳ベクトル（すなわち、第２の時刻までまだ翻訳されていないソースコンテンツに対応するベクトル）から減算する。ここでは、「累減」というルールをモデル化するために、いくつかの構造を設計した。本発明は、様々なＲＮＮ構造に適用できるが、ここでは主流のＧＲＵを例にして説明する。
【0117】
図４を参照して、図４は、本発明の実施例におけるゲート付き回帰型ユニットの構成概略図であり、図４に対応する標準ＧＲＵ構造により、「逓減」モデルが構築され、かつ、ＧＲＵのパラメータが自動的に以下のルールを学習できるように期待されている。
【0118】
【数26】
【0119】
ここで、
【0120】
【数27】
【0121】
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
【0122】
【数28】
【0123】
は、（ｔ－１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、第１の時刻のソースコンテキストベクトルを表し、ｕｔは、第１の時刻の更新ゲートを表し、
【0124】
【数29】
【0125】
は、ＧＲＵによって生成された更新状態候補を表し、すなわち、中間ベクトルであり、ｒｔは、出力された重みベクトルを表し、ｔａｎｈ（）は、双曲線正接関数を表し、σ（）は、ｓｉｇｍｏｉｄ関数を表す。Ｕ、Ｗ、Ｕｒ、Ｗｒ、ＵｕおよびＷｕは、関数に関するパラメータを表し、これらのパラメータは、ニューラルネットワーク翻訳システムの他のパラメータと一緒にトレーニングされる。
【0126】
しかしながら、図４に対応するＧＲＵ構造は、「逓減」を必要とする信号を与えず、こうすれば、ＧＲＵがルールを学習することの難しさが増加してしまう。そのため、このＧＲＵ構造を改善することにより、図５に対応するＧＲＵ－ｏ構造を得ることができる。図５を参照して、図５は、本発明の実施例におけるゲート付き回帰型ユニットの別の構成図であり、この構成では、まず第１の時刻（すなわちｔ番目の時刻）のソースコンテキストベクトルｃｔを、第２の時刻（すなわち（ｔ－１）番目の時刻）の未来翻訳ベクトルから減算し、ここで、第２の時刻の未来翻訳ベクトルは第３の翻訳ベクトルである。必要な第１の翻訳ベクトルを得て、ＧＲＵ構造に伝送し、具体的には、以下の式を参照する。
【0127】
【数30】
【0128】
ここで、
【0129】
【数31】
【0130】
は、ｃｔを
【0131】
【数32】
【0132】
から減算することを表し、ＵｍおよびＷｍは、関数に関するパラメータを表し、これらのパラメータは、ニューラルネットワーク翻訳システムの他のパラメータと一緒にトレーニングされる。
【0133】
更に、本発明の実施例では、ＧＲＵを用いて第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得て、得られた第１の翻訳ベクトルをＧＲＵ構造に伝送するようにしてよい。上記のように、ＧＲＵにおいて逓減の信号を与えることができ、こうすれば、ルールを学習することに寄与し、モデルトレーニングの精度を向上させる。
【0134】
オプションとして、上記の図３に対応する前の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることは、
ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得ることと、
中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得ることと、
中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
【0135】
本実施例では、ＧＲＵ内部で「累減」という操作を行うようにしてもよいし、図６を参照して、図６は、本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図であり、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ－１）番目の時刻であると仮定すると、ＧＲＵのパラメータは以下のルールを自動的に学習することができる。
【0136】
【数33】
【0137】
ここで、
【0138】
【数34】
【0139】
は、ＧＲＵによって生成された更新状態候補を表し、即ち中間ベクトルであり、ｒｔは、出力された重みベクトルを表し、ｔａｎｈ（）は、双曲線正接関数を表し、
【0140】
【数35】
【0141】
は、（ｔ－１）番目の時刻の未来翻訳ベクトルを表し、即ち第３の翻訳ベクトルであり、ｃｔは、第１の時刻のソースコンテキストベクトルを表す。
【0142】
【数36】
【0143】
を得た後、（ｔ－１）番目の時刻の第３の翻訳ベクトルと補間結合し、最終的な第１の翻訳ベクトル
【0144】
【数37】
【0145】
を得ることができる。
上記の操作を採用すれば、各時刻に過去翻訳ベクトルと未来翻訳ベクトルを得ることができ、
上記の操作を採用すれば、各時刻に過去翻訳ベクトルと未来翻訳ベクトルを得ることができ、
【0146】
【数38】
【0147】
は、ｔ番目の時刻まで翻訳されたソースコンテンツを表し、
【0148】
【数39】
【0149】
は、ｔ番目の時刻まで翻訳されていないソースコンテンツを表す。
【0150】
また、本発明の実施例では、ターゲット情報決定装置は、予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得るプロセスは、まず、ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得て、また、中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得るようにしてよい。上記のように、ＧＲＵ内部で逓減という操作を行うことは、操作の精度を向上させて、操作の効率を向上させるのに役立つ。
【0151】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを得ることは、
第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することと、
ソースコンテンツのアライメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定することとを含むようにしてよい。
第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することと、
ソースコンテンツのアライメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定することとを含むようにしてよい。
【0152】
本実施例では、ターゲット情報決定装置はソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを如何に得ることが説明され、理解を容易にするために、図７を参照して、図７は、本発明の実施例における注目度モジュールの一実施例の概略図であり、具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ－１）番目の時刻であると仮定すると、ターゲット情報決定装置は、エンコーダとデコーダとを含み、デコーダは、第２の時刻のデコーダの状態ｓｔ－１、
【0153】
【数40】
【0154】
およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルｈｉに基づいて、ソースコンテンツのアライメント確率αｔ，ｉを決定する。
つまり、次の式を用いて、アライメント確率αｔ，ｉを計算する。
つまり、次の式を用いて、アライメント確率αｔ，ｉを計算する。
【0155】
【数41】
【0156】
ここで、αｔ，ｉは、注目度メカニズムによって出力された、各ソースコンテンツに対するアライメント確率の分布を指し、アライメント確率の分布の総和は１であり、ｈｉは、エンコーダによる入力センテンスのうちのｉ番目のソースコンテンツに対するベクトル表現であり、ｓｏｆｔ ｍａｘ（）は、正規化操作を表し、ニューラルネットワークにより入力された値は、通常正または負の値であるため、通常は先にその指数値を使用してそれを正の値に変換し、次にすべての指数値を正規化して、確率の分布を得る。ａ（）は、注目度モジュールの操作である。
【0157】
ソースコンテンツのアラインメント確率αｔ，ｉを得た後、対応するソースコンテンの意味ベクトルｘｉと重み付き加算を行って、第１の時刻に対応するソースコンテキストベクトルを得る。例えば、第１の時刻のαｔ，１は０．５であり、αｔ，２は０．３であり、αｔ，３は０．２であり、ｘ１は２であり、ｘ２は４であり、ｘ３は６であり、そうすると、第１の時刻に対応するソースコンテキストベクトルｃｔの計算方式は、以下の通りである。
ｃｔ＝０．５×２＋０．３×４＋０．２×６＝３．４
実際の応用では、アラインメント確率αｔ，ｉの計算方法は、さらに、
ｃｔ＝０．５×２＋０．３×４＋０．２×６＝３．４
実際の応用では、アラインメント確率αｔ，ｉの計算方法は、さらに、
【0158】
【数42】
【0159】
であってもよいということが理解される。
【0160】
次に、本発明の実施例では、まず、第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアラインメント確率を決定し、その後、ソースコンテンツのアラインメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定するようにしてよい。上記のように、ターゲット情報決定装置における注目度モジュールは、どのソースコンテンツが既に翻訳されたか、どのソースコンテンツがまだ翻訳されていないかを知ることができ、これにより、翻訳されていないコンテンツに注目度をもっと向け、翻訳されたコンテンツに対する関心を低減し、これによって、翻訳漏れや翻訳重複の問題を緩和することができる。
【0161】
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例におけるターゲット情報決定方法の別の選択可能な実施例では、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトル及び第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定することをさらに含むようにしてよい。
【0162】
これに対応して、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得ることを含むようにしてよい。
【0163】
本実施例では、ターゲット情報決定装置は第１の時刻のターゲット情報を得る前に、まず、第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトルおよび第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、ここで、第１の時刻はｔ番目の時刻であり、現在の時刻でもあり、第２の時刻は（ｔ－１）番目の時刻であり、前の時刻でもある。
【0164】
具体的には、図８を参照して、図８は、本発明の実施例におけるデコーダの状態の一実施例の概略図であり、第２の時刻のデコーダの状態はｓｔ－１であり、第２の時刻のターゲット情報はｙｔ－１であり、ソースコンテキストベクトルはｃｔであり、第１の翻訳ベクトルは
【0165】
【数43】
【0166】
であり、第２の翻訳ベクトルは
【0167】
【数44】
【0168】
であり、次の式を利用して第１の時刻のデコーダの状態ｓｔを計算することができる。
【0169】
【数45】
【0170】
ここで、ｆ（）は、デコーダの状態を更新するアクティブ関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を表し、ニューラルネットワーク翻訳モデルの標準構成でもあり、その入力は、実際の要求に応じて柔軟に変化することができる。
【0171】
次に、本発明の実施例では、まず第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトル、および第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、その後、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルのモデル化を、デコーダの状態から独立させて、第１の時刻の、注目度モジュールによって出力されたソースコンテキストベクトルと完全なソース意味ベクトル表現を構成して、デコーダに伝送することで、より正確なターゲット情報を生成することができる。
【0172】
オプションとして、上記の図３に対応する後の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、
【0173】
第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得することと、
第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得することと、
第１の指標の期待値および第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定することとをさらに含むようにしてよい。
第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得することと、
第１の指標の期待値および第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定することとをさらに含むようにしてよい。
【0174】
本実施例では、トレーニングターゲットを増加させる方法も提供され、トレーニングターゲットを増加させることにより、予め設定されたニューラルネットワークモデルよりよくトレーニングして得ることができる。説明を簡単にするために、以下、未来翻訳ベクトルをトレーニングすることを例にして説明し、過去翻訳ベクトルをトレーニングする方法は似ているため、ここでは詳しく説明しない。未来翻訳ベクトルを例にして、できるだけ
【0175】
【数46】
【0176】
を達成する必要があり、即ち、隣接時刻の２つの翻訳ベクトルの情報差は、この時刻で翻訳されたソースコンテンツとほぼ同じである必要があり、これにより、未来翻訳ベクトルのモデル化が満たされる。翻訳において、ソースコンテンツとターゲット情報の意味コンテンツはほぼ同じであり、即ち、
【0177】
【数47】
【0178】
であるため、新しい指標の期待値を定義し、未来翻訳ベクトルの変化と、生成された対応するターゲット情報との意味レベルでの一致性を直接に評価する。
第１の指標の期待値は、以下のように計算することができる。
第１の指標の期待値は、以下のように計算することができる。
【0179】
【数48】
【0180】
ここで、Ｅ（ｙｔ）は、ターゲット情報を表し、ｙｔは、ターゲット情報のベクトル表現であり、
【0181】
【数49】
【0182】
は、未来翻訳ベクトルの更新が予想通りである（例えば、更新量と翻訳されたソースコンテンツがほぼ同じである）かどうかを判定する指標の期待値である。指標の期待値が高いほど、予想に合致になる。
【0183】
【数50】
【0184】
は、
【0185】
【数51】
【0186】
との差の絶対値である。
同様に，第２の指標の期待値は、
同様に，第２の指標の期待値は、
【0187】
【数52】
【0188】
に基づいて
【0189】
【数53】
【0190】
を計算し得て、さらに第２の指標の期待値
【0191】
【数54】
【0192】
を得ることもできる。
第１の指標の期待値および第２の指標の期待値に基づいて、トレーニングターゲットを次のように計算することができる。
第１の指標の期待値および第２の指標の期待値に基づいて、トレーニングターゲットを次のように計算することができる。
【0193】
【数55】
【0194】
ここで、Ｊ（θ，γ）は、トレーニングによって得られたパラメータを表し、これはトレーニングターゲットの共通表現である。θは、ＮＭＴシステムのパラメータを表し、γは、新しく導入された過去未来モジュールのパラメータを表し、
【0195】
【数56】
【0196】
は、最大スコアを得るトレーニングターゲット（すなわち、式中のｌｉｋｅｌｉｈｏｏｄ、ｆｕｔｕｒｅ ｌｏｓｓおよびｐａｓｔ ｌｏｓｓ）に対応するパラメータを表す。
【0197】
【数57】
【0198】
は、標準ニューラルネットワーク翻訳モデルのトレーニングターゲットを表し、すなわち、各ターゲット情報の生成確率を最大化させること、または、ターゲットワードを最大化させることで生成された尤度（ｌｉｋｅｌｉｈｏｏｄ）分数として表現することができる。
【0199】
【数58】
【0200】
は、未来翻訳ベクトルの第１の指標の期待値を表し、
【0201】
【数59】
【0202】
は、過去翻訳ベクトルの第２の指標の期待値を表す。
【0203】
また、本発明の実施例では、第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得して、第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得し、その後、第１の指標の期待値および第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する。上記のように、トレーニングターゲットを増加させ、かつこの部分のトレーニングターゲットは、意味レベルでの一致性をよりよく満たすことができ、トレーニングの精度と実現可能性を向上させることができる。
【0204】
理解を容易にするために、以下では、本発明におけるターゲット情報決定プロセスを具体的なアプリケーションシナリオで詳細に説明することができ、図９を参照して、図９は、本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第１のソースコンテンツを翻訳する実施例の概略図であり、具体的には、エンコーダは、入力センテンス
【0205】
【数60】
【0206】
を読み込み、＜ｅｏｓ＞は、センテンスの終了記号を表し、その後、ソースベクトル表示シーケンスを出力し、ここで、各ベクトル（すなわち図９における円点直条）が１つのソースコンテンツに対応する。このソースベクトル表示シーケンスに基づいて、デコーダは翻訳文を生成する。
【0207】
まず、アラインメント確率と意味ベクトルを重み付けし、第１の時刻のソースコンテキストベクトルｃ１を生成し、アラインメント確率は図９における０．５、０．２、０．２、０．１、０．０および０．０となる。次に、ｃ１に基づいて過去翻訳ベクトルと未来翻訳ベクトルを更新し、すなわち、次の式を採用する。
【0208】
【数61】
【0209】
ここで、
【0210】
【数62】
【0211】
は、第１の時刻の過去翻訳ベクトルを表し、
【0212】
【数63】
【0213】
は、初期時刻の過去翻訳ベクトルを表し、
【0214】
【数64】
【0215】
は、第１の時刻の未来翻訳ベクトルを表し、
【0216】
【数65】
【0217】
は、初期時刻の未来翻訳ベクトルを表す。
デコーダは、
デコーダは、
【0218】
【数66】
【0219】
および初期時刻のデコーダの状態ｓ０を復号化し、第１の時刻のデコーダの状態ｓ１を更新でき、ｓ０とｃ１に基づいて、１つのニューラルネットワーク出力層を使用して、すべてのターゲットワードと比較して、最も類似度の高い１つのワードをターゲット情報ｙ１として選択し、このｙ１は
【0220】
【数67】
【0221】
の翻訳文「ｍａｎｙ」である。
【0222】
図１０を参照して、本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第２のソースコンテンツを翻訳する実施例の概略図であり、図１０に示すように、まず、アラインメント確率と意味ベクトルを重み付けし、第２の時刻のソースコンテキストベクトルｃ２を生成し、アラインメント確率は、図１０における０．３、０．６、０．１、０．０、０．０および０．０となる。次に、ｃ２に基づいて、過去翻訳ベクトルと未来翻訳ベクトルを更新し、すなわち、次の式を採用する。
【0223】
【数68】
【0224】
ここで、
【0225】
【数69】
【0226】
は、第２の時刻の過去翻訳ベクトルを表し、
【0227】
【数70】
【0228】
は、第１の時刻の過去翻訳ベクトルを表し、
【0229】
【数71】
【0230】
は、第２の時刻の未来翻訳ベクトルを表し、
【0231】
【数72】
【0232】
は、第１の時刻の未来翻訳ベクトルを表す。
デコーダは、
デコーダは、
【0233】
【数73】
【0234】
および第１の時刻のデコーダの状態ｓ１を復号化し、第２の時刻のデコーダの状態を更新し、ｓ１、ｃ２および前の１つに生成されたターゲット情報ｙ１に基づいて、１つのニューラルネットワーク出力層を使用して、すべてのターゲットワードと比較して、最も類似度の高い１つのワードをターゲット情報ｙ２として選択し、このｙ２は、
【0235】
【数74】
【0236】
の翻訳文「ａｉｒｐｏｒｔｓ」である。
入力センテンスを完全に翻訳するまで、これを類推する。
入力センテンスを完全に翻訳するまで、これを類推する。
【0237】
以下、本発明におけるターゲット情報決定装置を詳細に説明し、図１１を参照して、本発明の実施例におけるターゲット情報決定装置３０は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを備え、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、ここで、前記少なくとも１つの命令モジュールは、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュール３０１と、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュール３０２と、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスおよび前記第１の取得モジュール３０２が取得した前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定する第１の決定モジュール３０３と、前記第１の決定モジュール３０３が決定した前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュール３０４とを備え、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である。
【0238】
本実施例では、符号化モジュール３０１は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、第１の取得モジュール３０２は、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、第１の決定モジュール３０３は、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスおよび前記第１の取得モジュール３０２が取得した前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であり、復号化モジュール３０４は、前記第１の決定モジュール３０３が決定した前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。
【0239】
本発明の実施例では、ターゲット情報決定装置が提供され、まず、ターゲット情報決定装置は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、その後、ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、第２の時刻は、第１の時刻に隣接する一つ前の時刻であり、最後に、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
【0240】
【0241】
前記第１の決定モジュール３０３は、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得する第１の取得ユニット３０３１と、予め設定されたニューラルネットモデルを用いて、前記第１の取得ユニット３０３１が取得した前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る第１の処理ユニット３０３２とを備える。
【0242】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを如何に決定することが説明され、すなわち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る。上記のように、予め設定されたニューラルネットワークモデルを利用して第１の翻訳ベクトルを出力することで、未来翻訳ベクトルの精度を向上させることができる。
【0243】
【0244】
前記第１の決定モジュール３０３は、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得する第２の取得ユニット３０３３と、予め設定されたニューラルネットワークモデルを用いて、前記第２の取得ユニット３０３３が取得した前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得る第２の処理ユニット３０３４と、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得する第３の取得ユニット３０３５とを備え、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【0245】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることができ、また、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得することもでき、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、過去翻訳ベクトルと未来翻訳ベクトルの精度を向上させることができる。
【0246】
オプションとして、上記の図１１に対応する実施例を基にして、図１４を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の決定モジュール３０３は、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得する第４の取得ユニット３０３６を備え、ここで、第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【0247】
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、予め設定されたニューラルネットワークモデルを利用して第２の翻訳ベクトルを出力することで、過去翻訳ベクトルの精度を向上させることができる。
【0248】
オプションとして、上記の図１２または図１３に対応する実施例を基にして、図１５を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の処理ユニット３０３２は、ゲート付き回帰型ユニットＧＲＵを用いて、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得る減算サブユニット３０３２１を備える。
【0249】
更に、本発明の実施例では、ＧＲＵを用いて第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得て、得られた第１の翻訳ベクトルをＧＲＵ構造に伝送するようにしてよい。上記のように、ＧＲＵにおいて逓減の信号を与えることができ、こうすれば、ルールを学習することに寄与し、モデルトレーニングの精度を向上させる。
【0250】
オプションとして、上記の図１２または図１３に対応する実施例を基にして、図１６を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の処理ユニット３０３２は、ＧＲＵを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、中間ベクトルを得る処理サブユニット３０３２２と、前記処理サブユニット３０３２２が処理して得られた前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得る結合サブユニット３０３２３とを備える。
【0251】
また、本発明の実施例では、ターゲット情報決定装置が、予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得るプロセスは、まず、ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得て、また、中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得るようにしてよい。上記のように、ＧＲＵ内部で逓減という操作を行うことは、操作の精度を向上させて、操作の効率を向上させるのに役立つ。
【0252】
オプションとして、上記の図１１に対応する実施例を基にして、図１７を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の取得モジュール３０２は、前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定する第１の決定ユニット３０２１と、前記第１の決定ユニット３０２１が決定した前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定する第２の決定ユニット３０２２とを備える。
【0253】
次に、本発明の実施例では、まず、第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアラインメント確率を決定し、その後、ソースコンテンツのアラインメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定することができる。上記のように、ターゲット情報決定装置における注目度モジュールは、どのソースコンテンツが既に翻訳されたか、どのソースコンテンツがまだ翻訳されていないかを知ることができ、これにより、翻訳されていないコンテンツに注目度をもっと向け、翻訳されたコンテンツに対する関心を低減し、これによって、翻訳漏れや翻訳重複の問題を緩和することができる。
【0254】
オプションとして、上記の図１１に対応する実施例を基にして、図１８を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記ターゲット情報決定装置３０は、前記復号化モジュール３０４は前記第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび前記第２の翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定する第２の決定モジュール３０５をさらに備えるようにしてよく、前記復号化モジュール３０４は、前記第１の時刻のデコーダの状態、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルを復号化処理して、前記第１の時刻のターゲット情報を得る復号化ユニット３０４１を備える。
【0255】
次に、本発明の実施例では、まず第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトルおよび第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、その後、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルのモデル化を、デコーダの状態から独立させて、第１の時刻の、注目度モジュールによって出力されたソースコンテキストベクトルと完全なソース意味ベクトル表現を構成して、デコーダに伝送することで、より正確なターゲット情報を生成する。
【0256】
オプションとして、上記の図１７または図１８に対応する実施例を基にして、図１９を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記ターゲット情報決定装置３０は、前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得する第２の取得モジュール３０６と、前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得する第３の取得モジュール３０７と、前記第２の取得モジュール３０６が取得した前記第１の指標の期待値および前記第３の取得モジュール３０７が取得した前記第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する第２の決定モジュール３０８とを備えるようにしてよい。
【0257】
また、本発明の実施例では、第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得して、第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得し、その後、第１の指標の期待値及び第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する。上記のように、トレーニングターゲットを増加させ、かつこの部分のトレーニングターゲットは、意味レベルでの一致性をよりよく満たすことができ、これによって、トレーニングの精度と実現可能性を向上させることができる。
【0258】
図２０は、本発明の実施例で提供されるターゲット情報決定装置の構成概略図であり、このターゲット情報決定装置３００は、構成または性能の違いのせいで、比較的大きな差異を生成し、１つまたは複数の中央プロセッサ（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）３２２（例えば、１つまたは複数のプロセッサ）と、メモリ３３２と、アプリケーション３４２またはデータ３４４を記憶する１つまたは複数の記憶媒体３３０（例えば、１つまたは複数の大容量記憶装置）とを備えるようにしてよい。ここで、メモリ３３２および記憶媒体３３０は、一時的な記憶または永続的な記憶であってもよい。記憶媒体３３０に記憶されたプログラムは、１つまたは複数のモジュール（図示せず）を含むようにしてよく、各モジュールがターゲット情報決定装置に対する一連の命令操作を含むようにしてよい。さらに、中央プロセッサ３２２は、記憶媒体３３０と通信し、ターゲット情報決定装置３００で記憶媒体３３０における一連の命令操作を実行するように構成されてもよい。
【0259】
ターゲット情報決定装置３００は、１つまたは複数の電源３２６、１つまたは複数の有線や無線ネットワークインターフェース３５０、１つまたは複数の入出力インターフェース３５８および／またはＷｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ ＯＳ Ｘ（登録商標）、ＵｎｉｘＴＭ、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）などの１つまたは複数のオペレーティングシステム３４１を備えるようにしてよい。
上記の実施例におけるターゲット情報決定装置によって実行されたステップは、図２０に示すターゲット情報決定装置の構成に基づくものである。
上記の実施例におけるターゲット情報決定装置によって実行されたステップは、図２０に示すターゲット情報決定装置の構成に基づくものである。
【0260】
ＣＰＵ３２２は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得することと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定することと、前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを実行し、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である。
【0261】
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得することと、予め設定されたニューラルネットモデルを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることとを実行する。
【0262】
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得することと、予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることと、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することとを実行し、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【0263】
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することを実行し、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
【0264】
オプションとして、ＣＰＵ３２２は、具体的に、ゲート付き回帰型ユニットＧＲＵを用いて、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得ることを実行する。
【0265】
オプションとして、ＣＰＵ３２２は、具体的に、ＧＲＵを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、中間ベクトルを得ることと、前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得ることとを実行する。
【0266】
オプションとして、ＣＰＵ３２２は、具体的に、前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、前記第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することと、前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定することとを実行する。
【0267】
オプションとして、ＣＰＵ３２２は、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび前記第２の翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定することを実行する。
【0268】
ＣＰＵ３２２は、具体的に、前記第１の時刻のデコーダの状態、前記第１の翻訳ベクトル、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、前記第１の時刻のターゲット情報を得ることを実行する。
【0269】
オプションとして、ＣＰＵ３２２は、前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得することと、前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得することと、前記第１の指標の期待値および前記第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定することとを実行する。
【0270】
ここでは説明の便宜上かつ簡潔にするために、上記で説明したシステム、装置、およびユニットの具体的な動作手順は、前述の方法の実施例における対応するプロセスを参照してもよいため、ここで説明を省略することは、当業者によって明確に理解され得る。
【0271】
本願で提供されるいくつかの実施例では、開示されたシステム、装置、および方法は、他の方法で実現され得るということが理解されるべきである。例えば、上記の装置の実施例は、単に概略的なものであり、例えば、前記ユニットの区分は、論理機能の区分のみであり、実際に実装される場合に、他の区分方式があってもよいし、例えば、複数のユニットまたはコンポーネントは、他のシステムに結合または統合されてもよく、あるいは、一部の特徴は無視されてもよく、または実行されなくてもよい。さらに、表示または検討された相互間の結合または直接結合または通信接続は、いくつかのインターフェース、装置またはユニットを介する間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。
【0272】
前記分離手段として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された手段は、物理ユニットである場合とそうでない場合があり、即ち、一箇所に位置してもよく、あるいは、複数のネットワークユニットに分布されてもよい。実際の必要に応じて、その中の一部または全部のユニットを選択して、本実施例の目的を実現することができる。
【0273】
また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、各ユニットが個別に物理的に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。
【0274】
前記統合されたユニットは、ソフトウェア機能ユニットの形式で実現され、かつ独立した製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の技術的解決策について、本質的なものまたは既存の技術に寄与する部分または該技術的解決策の全部または一部が、ソフトウェア製品として具現化されることができ、このコンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の各実施例に係る方法の全部または一部のステップを１台のコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスなど）に実行させるための若干の命令を含む。上記の記憶媒体は、Ｕディスク、モバイルハードディスク、リードオンリーメモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなど、プログラムコードを記憶できる様々な媒体を含む。したがって、本発明の一実施例は、コンピュータで実行される場合、上記のような方法をコンピュータに実行させる命令を含むコンピュータ読み取り可能な記憶媒体を提供する。
【0275】
上記のように、上記の実施例は、本発明の技術的解決策を説明するためにのみ使用され、それを限定するためのものではない。上記の実施例を参照して本発明を詳細に説明したが、当業者は、依然として、上記の各実施例に記載された技術的解決策を修正したり、一部の技術的特徴を均等に置き換えたりすることができ、また、これらの修正または置き換えは、対応する技術的解決策の本質を、本発明の各実施例の技術的解決策の精神および範囲から逸脱させない。
【符号の説明】
【0276】
３０ ターゲット情報決定装置
３００ ターゲット情報決定装置
３０１ 符号化モジュール
３０２ 第１の取得モジュール
３０３ 第１の決定モジュール
３０４ 復号化モジュール
３０５ 第２の決定モジュール
３０６ 第２の取得モジュール
３０７ 第３の取得モジュール
３０８ 第２の決定モジュール
３２２ 中央プロセッサ
３２６ 電源
３３０ 記憶媒体
３３２ メモリ
３４１ オペレーティングシステム
３４２ アプリケーション
３４４ データ
３５０ 有線または無線ネットワークインターフェース
３５８ 入出力インターフェース
３０２１ 第１の決定ユニット
３０２２ 第２の決定ユニット
３０３１ 第１の取得ユニット
３０３２ 第１の処理ユニット
３０３３ 第２の取得ユニット
３０３４ 第２の処理ユニット
３０３５ 第３の取得ユニット
３０３６ 第４の取得ユニット
３０４１ 復号化ユニット
３０３２１ 減算サブユニット
３０３２２ 処理サブユニット
３０３２３ 結合サブユニット
３００ ターゲット情報決定装置
３０１ 符号化モジュール
３０２ 第１の取得モジュール
３０３ 第１の決定モジュール
３０４ 復号化モジュール
３０５ 第２の決定モジュール
３０６ 第２の取得モジュール
３０７ 第３の取得モジュール
３０８ 第２の決定モジュール
３２２ 中央プロセッサ
３２６ 電源
３３０ 記憶媒体
３３２ メモリ
３４１ オペレーティングシステム
３４２ アプリケーション
３４４ データ
３５０ 有線または無線ネットワークインターフェース
３５８ 入出力インターフェース
３０２１ 第１の決定ユニット
３０２２ 第２の決定ユニット
３０３１ 第１の取得ユニット
３０３２ 第１の処理ユニット
３０３３ 第２の取得ユニット
３０３４ 第２の処理ユニット
３０３５ 第３の取得ユニット
３０３６ 第４の取得ユニット
３０４１ 復号化ユニット
３０３２１ 減算サブユニット
３０３２２ 処理サブユニット
３０３２３ 結合サブユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】