特許 7546457 翻訳装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-29

(45)【発行日】2024-09-06

(54)【発明の名称】翻訳装置およびプログラム

(51)【国際特許分類】

   G06F 40/44 20200101AFI20240830BHJP

【ＦＩ】

G06F40/44

【請求項の数】 8

(21)【出願番号】P 2020190613

(22)【出願日】2020-11-17

(65)【公開番号】P2022079808

(43)【公開日】2022-05-27

【審査請求日】2023-10-11

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100141139

【弁理士】

【氏名又は名称】及川 周

(74)【代理人】

【識別番号】100171446

【弁理士】

【氏名又は名称】高田 尚幸

(74)【代理人】

【識別番号】100114937

【弁理士】

【氏名又は名称】松本 裕幸

(74)【代理人】

【識別番号】100171930

【弁理士】

【氏名又は名称】木下 郁一郎

(72)【発明者】

【氏名】美野 秀弥

(72)【発明者】

【氏名】伊藤 均

(72)【発明者】

【氏名】後藤 功雄

(72)【発明者】

【氏名】山田 一郎

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】中国特許出願公開第１０９９４８１６６（ＣＮ，Ａ）

【文献】山岸 駿秀、他１名，目的言語側の文間文脈を考慮した文脈つきニューラル機械翻訳，言語処理学会第２５回年次大会 発表論文集［ｏｎｌｉｎｅ］，日本，言語処理学会，2019年03月04日，ｐ．３９４－３９７

【文献】藤井 諒、他３名，ニューラル機械翻訳における文脈情報の選択的利用，言語処理学会第２５回年次大会 発表論文集［ｏｎｌｉｎｅ］，日本，言語処理学会，2019年03月04日，ｐ．１４５９－１４６２

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－４０／５８

(57)【特許請求の範囲】

【請求項1】

原言語文と、前記原言語文に対応する目的言語側の文脈情報と、をエンコード処理するエンコーダーと、
前記エンコーダーがエンコード処理した結果の情報に基づいてデコード処理を行って、前記原言語文の翻訳結果である目的言語文を出力するデコーダーと、
を備え、
外部から取得する未知の原言語文の翻訳処理を行う翻訳モードにおいては、前記文脈情報は、当該原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文であり、
前記エンコーダーおよび前記デコーダーの学習を行う学習モードにおいては、前記文脈情報は、現在の前記原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文である場合を少なくとも含む、
翻訳装置。

【請求項2】

前記エンコーダーは、前記原言語文をエンコード処理する原言語文エンコーダーと、前記原言語文に対応する目的言語側の文脈情報をエンコード処理する文脈エンコーダーと、を含み、
前記デコーダーは、前記原言語文エンコーダーがエンコード処理した結果の情報と、前記文脈エンコーダーがエンコード処理した結果の情報と、の両方に基づいて前記デコード処理を行う、
請求項１に記載の翻訳装置。

【請求項3】

前記原言語文の情報と、前記文脈情報と、を連結して連結情報とし、前記連結情報を前記エンコーダーに渡す連結部、
をさらに備え、
前記エンコーダーは前記連結部が出力する前記連結情報に基づいて前記エンコード処理を行う、
請求項１に記載の翻訳装置。

【請求項4】

前記連結部は、前記原言語文の情報と、前記文脈情報との間に、セパレータートークンを挿入して前記連結情報とする、
請求項３に記載の翻訳装置。

【請求項5】

前記学習モードにおいて、現在の前記原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文と、現在の前記原言語文よりも前の原言語文に対応する正解訳の目的言語文と、のいずれかを目的言語側の前記文脈情報として選択し、選択したほうの前記文脈情報を出力する選択部、
をさらに備え、
前記エンコーダーは、前記選択部が出力した前記文脈情報をエンコード処理する、
請求項１から４までのいずれか一項に記載の翻訳装置。

【請求項6】

前記選択部は、所定の確率値ｐ（ただし、０＜ｐ＜１）に基づき、確率ｐで前記正解訳の目的言語文を前記文脈情報として選択し、確率（１－ｐ）で前記デコーダーが出力した翻訳結果である目的言語文を前記文脈情報として選択する、
請求項５に記載の翻訳装置。

【請求項7】

前記選択部は、前記エンコーダーおよび前記デコーダーの学習が第ｅ回目（ｅは、正整数）のエポックであるときに、ｅの値の増加に対応して単調にｐが減少するようにｐの値を定めるものである、
請求項６に記載の翻訳装置。

【請求項8】

コンピューターを、
原言語文と、前記原言語文に対応する目的言語側の文脈情報と、をエンコード処理するエンコーダーと、
前記エンコーダーがエンコード処理した結果の情報に基づいてデコード処理を行って、前記原言語文の翻訳結果である目的言語文を出力するデコーダーと、
を備える翻訳装置として機能させるプログラムであって、
外部から取得する未知の原言語文の翻訳処理を行う翻訳モードにおいては、前記文脈情報は、当該原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文であり、
前記エンコーダーおよび前記デコーダーの学習を行う学習モードにおいては、前記文脈情報は、現在の前記原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文である場合を少なくとも含む、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、翻訳装置およびプログラムに関する。

【背景技術】

【0002】

ニューラル機械翻訳は、ニューラルネットワークを用いた機械翻訳の手法である。ニューラル機械翻訳は、原言語と目的言語の大量の対訳データ（「学習データ」と呼ばれる）を利用した機械学習によって実現できる。しかし、ニューラル機械翻訳においてベースとなっている翻訳モデルは、文レベルの学習および翻訳を想定しているため、文脈を考慮した学習や翻訳ができない。つまり、一般的なニューラル機械翻訳が用いる翻訳モデルは、文脈情報を考慮するものではない。また、既存の学習データは、文レベルで対応付けされている対訳である場合が多く、文脈付きの学習データが少ないという課題もある。文脈情報を考慮せずに翻訳を行うと、翻訳スタイルが定まらない、主語を補完することができない、用語の統一ができない、などといった理由から翻訳精度が低下する。

【0003】

そのような状況の中で、非特許文献１、非特許文献２、および非特許文献３に記載された機械翻訳手法は、学習時に学習データに文脈情報を組み込むことによって、文脈を考慮した翻訳を可能にしようとしている。例えば、非特許文献１に記載された手法は、「１つ前の原言語文」を学習に用いる手法である。また、非特許文献１や非特許文献３に記載された手法は、「１つ前の目的言語文」を学習に用いる手法である。

【先行技術文献】

【非特許文献】

【0004】

【文献】Rachel Bawden, Rico Sennrich, Alexandra Birch, Barry Haddow, “Evaluating Discourse Phenomena in Neural Machine Translation”, In Proceedings of NAACL-HLT, pp. 1304-1313, New Orleans, Louisiana, June 1 - 6, 2018，［online］，［2020年10月10日ダウンロード］，インターネット＜URL：https://www.aclweb.org/anthology/N18-1118.pdf＞.

【文献】李凌寒，中澤敏明，鶴岡慶雅，文脈情報を考慮した日英ニューラル機械翻訳，言語処理学会 第２５回年次大会発表論文集，pp.101-104，2019年3月，［online］，［2020年10月10日ダウンロード］，インターネット＜URL：https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/A2-2.pdf＞.

【文献】Ruchit Agrawal, Marco Turchi, Matteo Negri, “Contextual handling in neural machine translation: Look behind, ahead and on both sides”, In Proceedings of EAMT2018, 21st Annual Conference of the European Association for Machine Translation, 28-30 May 2018，［online］，［2020年10月10日ダウンロード］，インターネット＜URL：https://pdfs.semanticscholar.org/b98a/268a7f63f9ba0df2dc88b7f002792bf01bc0.pdf＞.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上に挙げた従来技術は、文脈情報を利用する翻訳の手法であるが、さらなる課題が存在する。

【0006】

非特許文献１や非特許文献２に記載されている、原言語文の文脈の情報を入力とする手法では、出力時の適切なスタイルが不明であるため、適切なスタイルを有する出力が得られない場合がある。また、原言語文の文脈の情報を入力とする手法では、原言語と目的言語との間のギャップによる誤差が混入されてしまい、翻訳精度の向上を阻害する恐れがある。

【0007】

例えば、英語のニュース原稿文を日本語のニュース原稿文に翻訳する翻訳装置を実現する際に、目的言語である日本語側の出力文のスタイルがわからないまま学習すると、翻訳結果の出力のスタイルがばらばらになってしまう場合がある。例えば、出力される日本語文において、「である」調の文や「です・ます」調の文が混在するなど、翻訳結果の質が低下する。

【0008】

また、同じく英語のニュースの文を日本語の文に翻訳する翻訳装置を実現する際に、出力先である目的言語側の用語がわからないまま学習すると、翻訳結果の文において用語の統一ができない場合がある。例えば、ニュース内のある文において「田中信三首相」と表記され、その後の別の文において「田中首相」と表記されるなど、用語が統一されず翻訳結果の質が低下する。

【0009】

また、非特許文献１や非特許文献３に記載されている、目的言語文の情報を入力とする手法では、翻訳時に用いるべき機械翻訳結果の特徴を適切に学習することができず、翻訳精度が低下することが報告されている。

【0010】

本発明は、上記の課題認識に基づいて行なわれたものであり、文脈の情報を利用しつつ、出力される目的言語文（翻訳結果）の翻訳精度や流暢性を向上させることのできる翻訳装置およびプログラムを提供しようとするものである。

【課題を解決するための手段】

【0011】

［１］上記の課題を解決するため、本発明の一態様による翻訳装置は、原言語文と、前記原言語文に対応する目的言語側の文脈情報と、をエンコード処理するエンコーダーと、前記エンコーダーがエンコード処理した結果の情報に基づいてデコード処理を行って、前記原言語文の翻訳結果である目的言語文を出力するデコーダーと、を備え、外部から取得する未知の原言語文の翻訳処理を行う翻訳モードにおいては、前記文脈情報は、当該原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文であり、前記エンコーダーおよび前記デコーダーの学習を行う学習モードにおいては、前記文脈情報は、現在の前記原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文である場合を少なくとも含む、翻訳装置である。

【0012】

［２］また、本発明の一態様は、上記の翻訳装置において、前記エンコーダーは、前記原言語文をエンコード処理する原言語文エンコーダーと、前記原言語文に対応する目的言語側の文脈情報をエンコード処理する文脈エンコーダーと、を含み、前記デコーダーは、前記原言語文エンコーダーがエンコード処理した結果の情報と、前記文脈エンコーダーがエンコード処理した結果の情報と、の両方に基づいて前記デコード処理を行う、というものである。

【0013】

［３］また、本発明の一態様は、上記の翻訳装置において、前記原言語文の情報と、前記文脈情報と、を連結して連結情報とし、前記連結情報を前記エンコーダーに渡す連結部、をさらに備え、前記エンコーダーは前記連結部が出力する前記連結情報に基づいて前記エンコード処理を行う、ものである。

【0014】

［４］また、本発明の一態様は、上記の翻訳装置において、前記連結部は、前記原言語文の情報と、前記文脈情報との間に、セパレータートークンを挿入して前記連結情報とする、ものである。

【0015】

［５］また、本発明の一態様は、上記の翻訳装置において、前記学習モードにおいて、現在の前記原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文と、現在の前記原言語文よりも前の原言語文に対応する正解訳の目的言語文と、のいずれかを目的言語側の前記文脈情報として選択し、選択したほうの前記文脈情報を出力する選択部、をさらに備え、前記エンコーダーは、前記選択部が出力した前記文脈情報をエンコード処理する、ものである。

【0016】

［６］また、本発明の一態様は、上記の翻訳装置において、前記選択部は、所定の確率値ｐ（ただし、０＜ｐ＜１）に基づき、確率ｐで前記正解訳の目的言語文を前記文脈情報として選択し、確率（１－ｐ）で前記デコーダーが出力した翻訳結果である目的言語文を前記文脈情報として選択する、ものである。

【0017】

［７］また、本発明の一態様は、上記の翻訳装置において、前記選択部は、前記エンコーダーおよび前記デコーダーの学習が第ｅ回目（ｅは、正整数）のエポックであるときに、ｅの値の増加に対応して単調にｐが減少するようにｐの値を定めるものである。

【0018】

［８］また、本発明の一態様は、コンピューターを、原言語文と、前記原言語文に対応する目的言語側の文脈情報と、をエンコード処理するエンコーダーと、前記エンコーダーがエンコード処理した結果の情報に基づいてデコード処理を行って、前記原言語文の翻訳結果である目的言語文を出力するデコーダーと、を備える翻訳装置として機能させるプログラムであって、外部から取得する未知の原言語文の翻訳処理を行う翻訳モードにおいては、前記文脈情報は、当該原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文であり、前記エンコーダーおよび前記デコーダーの学習を行う学習モードにおいては、前記文脈情報は、現在の前記原言語文よりも前の原言語文に基づいて前記デコーダーが出力した翻訳結果である目的言語文である場合を少なくとも含む、プログラムである。

【発明の効果】

【0019】

本発明によれば、翻訳装置は、モデルの学習を行う際に、文脈情報を利用する。その文脈情報は、現在の原言語文よりも前の原言語文に基づいてデコーダーが出力した翻訳結果である場合を少なくとも含む。これにより、モデルは、自装置が出力する翻訳結果文を文脈として利用する翻訳処理を行えるようになる。これにより、翻訳装置が出力する翻訳結果の質が上がる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１実施形態による翻訳装置の概略機能構成を示すブロック図である。

【図2】第１実施形態による第１エンコーダーと、第２エンコーダーと、デコーダーの、より詳細な構成の例を示すブロック図である。

【図3】第２実施形態による翻訳装置の概略機能構成を示すブロック図である。

【図4】第２実施形態による選択部による作用を示す概略図である。

【図5】第３実施形態による翻訳装置の概略機能構成を示すブロック図である。

【図6】第３実施形態による連結部が実行する連結処理の例を示す概略図である。

【図7】第４実施形態による翻訳装置の概略機能構成を示すブロック図である。

【図8】第４実施形態において翻訳装置が学習モードで動作する場合に、エンコーダーに入力されるデータが確率的に選択される処理を示す概略図である。

【図9】第１実施形態から第４実施形態までの翻訳装置の内部構成の例を示すブロック図である。

【発明を実施するための形態】

【0021】

次に、本発明の複数の実施形態について、図面を参照しながら説明する。以下の各実施形態の翻訳装置では、原言語文と目的言語文との対に加えて、目的言語文側の文脈を用いてモデルの学習を行う。文脈情報とは、正解訳の文や、機械翻訳結果の文である。モデルの形態としては、シングルエンコーダーモデルを用いる実施形態と、マルチエンコーダーモデルを用いる実施形態とが可能である。上記のように目的言語文の文脈情報を用いることによって、目的言語側のスタイルを忠実に学習することが可能となる。

【0022】

特に、第２実施形態および第４実施形態では、前の目的言語の正解文と、前の目的言語の機械翻訳結果の文と、の両方のデータが、適切な比率になるように制御しながら学習に用いる。これにより、前の文の主題や出力スタイルなどを学習でき、翻訳精度の向上が期待できる。

【0023】

［第１実施形態］
図１は、第１実施形態による翻訳装置の概略機能構成を示すブロック図である。図示するように、翻訳装置１は、第１エンコーダー１１と、第２エンコーダー１２と、デコーダー１５と、入力部２１と、出力部２２と、学習データ供給部２３と、文脈供給部３１と、を含んで構成される。これらの各々の機能部は、例えば、コンピューターと、プログラムとで実現することが可能である。また、各機能部は、必要に応じて、記憶手段を有する。記憶手段は、例えば、プログラム上の変数や、プログラムの実行によりアロケーションされるメモリーである。また、必要に応じて、磁気ハードディスク装置やソリッドステートドライブ（ＳＳＤ）といった不揮発性の記憶手段を用いるようにしてもよい。また、各機能部の少なくとも一部の機能を、プログラムではなく専用の電子回路として実現してもよい。

【0024】

翻訳装置１は、機械学習可能なモデルを用いて実現される。翻訳装置１は、ある時点においては、学習モードあるいは翻訳モードのいずれかのモードで処理を行う。学習モードにおいては、翻訳装置１は、学習データを用いて、内部のモデルの学習処理を行う。学習データは、翻訳元の言語である原言語による文と、その原言語文に対応する正解の目的言語の文との対のデータを含む。翻訳モードにおいては、翻訳装置１は、学習済みのモデルに基づいて、入力される原言語文の翻訳処理を行い、目的言語文を出力する。原言語および目的言語は、それぞれ、任意の自然言語であってよい。原言語および目的言語は、それぞれ、日本語、英語、ドイツ語、フランス語、ロシア語、スペイン語、イタリア語、中国語、韓国語、あるいはその他の言語であってよい。

【0025】

翻訳装置1は、単一の文ではなく、文の系列を翻訳対象とする。本実施形態で、文脈とは、翻訳対象としている単一の文の前後の文などに基づく状況のことである。本実施形態では、特に、翻訳対象としている文の前に出現した一つまたは複数の文を指して「文脈」（context）と呼ぶ場合がある。本実施形態では、さらに、特に翻訳対象としている文の直前に出現した一文を指して「文脈」と呼ぶ場合がある。翻訳装置１の特徴の一部は、文脈を利用した翻訳処理を行うこと、および文脈を利用した翻訳処理を行うためのモデルの機械学習を行うことである。

【0026】

第１エンコーダー１１は、翻訳処理の対象となる原言語文をエンコード処理する。第１エンコーダー１１は、エンコード処理した結果の情報を、デコーダー１５に渡す。第１エンコーダー１１は、原言語文と等価な情報として、単語ベクトルの列を取得して処理対象としてもよい。なお、第１エンコーダー１１は、学習モードにおいては、学習データ供給部２３が供給する原言語文（学習データ）のエンコード処理を行う。また、第１エンコーダー１１は、翻訳モードにおいては、入力部２１から渡される未知の翻訳対象の原言語文のエンコード処理を行う。なお、第１エンコーダー１１は、「原言語文エンコーダー」とも呼ばれる。

【0027】

第２エンコーダー１２は、原言語文に対応する目的言語側の文脈情報をエンコード処理するものである。第２エンコーダー１２は、エンコード処理した結果の情報を、デコーダー１５に渡す。第２エンコーダー１２は、文脈情報として、単語ベクトルの列を取得して処理対象としてもよい。なお、第２エンコーダー１２は、「文脈エンコーダー」とも呼ばれる。

【0028】

第２エンコーダー１２が処理対象とする文脈情報とは、次の通りである。即ち、外部から取得する未知の原言語文の翻訳処理を行う翻訳モードにおいては、文脈情報は、当該原言語文よりも前の原言語文に基づいてデコーダー１５が出力した翻訳結果であるところの目的言語文である。エンコーダーおよびデコーダーの学習を行う学習モードにおいては、文脈情報は、現在の原言語文よりも前の原言語文に基づいてデコーダー１５が出力した翻訳結果であるところの目的言語文である場合を少なくとも含む。

【0029】

第１エンコーダー１１と第２エンコーダー１２とを併せた「エンコーダー」は、原言語文と、前記原言語文に対応する目的言語側の文脈情報と、をエンコード処理して、その結果をデコーダー１５に渡すものである。

【0030】

デコーダー１５は、前記のエンコーダー（第１エンコーダー１１および第２エンコーダー１２）がエンコード処理した結果の情報に基づいてデコード処理を行って、原言語文の翻訳結果である目的言語文を出力する。より具体的には、デコーダー１５は、第１エンコーダー１１がエンコード処理した結果の情報と、第２エンコーダー１２がエンコード処理した結果の情報と、の両方に基づいてデコード処理を行う。

【0031】

デコーダー１５からの出力は、学習モードにおいては、正解訳と比較される。その比較結果に基づいて、エンコーダーおよびデコーダーのモデルの内部パラメーターの調整が行われる。この場合、誤差逆伝播法等の手法が用いられる。デコーダー１５からの出力は、翻訳モードにおいては、翻訳結果の文として、出力部２２から出力される。

【0032】

入力部２１は、翻訳モードにおいて、翻訳対象の文（原言語文）を取得し、第１エンコーダー１１に渡す。

【0033】

出力部２２は、翻訳モードにおいて、デコーダー１５から渡される翻訳結果の文（目的言語文）を、外部に出力する。

【0034】

学習データ供給部２３は、学習モードにおいて、学習データを供給する。学習データは、原言語文と目的言語文の対（対訳）の集合である。目的言語側の文は、原言語文の正解訳の文である。学習データは、原言語文側と目的言語文側の両方において、文の列である。文の列を構成する複数の文は、順序関係を有するものである。

【0035】

文脈供給部３１は、前の文の機械翻訳結果を、第２エンコーダー１２への入力とするために供給する。文脈供給部３１は、特に、１つ前の文の機械翻訳結果である一文を、供給するようにしてよい。

【0036】

図２は、第１エンコーダー１１と、第２エンコーダー１２と、デコーダー１５の、より詳細な構成の例を示すブロック図である。図示するように、第１エンコーダー１１と、第２エンコーダー１２と、デコーダー１５とは、トランスフォーマー（Transformer）のモデルを用いて構成され得る。トランスフォーマーは、ニューラルネットワークを用いた、既存技術によるモデルの一つである。トランスフォーマーについては、Ashish Vaswaniらによる文献「Attention Is All You Need」（31st Conference on Neural Information Processing Systems (NIPS 2017), Long Beach, CA, USA，https://arxiv.org/pdf/1706.03762.pdf）にも記載されている。

【0037】

翻訳装置１においては、第１エンコーダー１１からの出力と第２エンコーダー１２からの出力とのそれぞれが、デコーダー１５に入力される。

【0038】

第１エンコーダー１１および第２エンコーダー１２のそれぞれの入力において、入力エンベディングを行う。即ち、第１エンコーダー１１および第２エンコーダー１２のそれぞれに入力される単語ベクトルの列は、第１エンコーダー１１および第２エンコーダー１２の内部のモデルの次元数のベクトルに変換される。また、第１エンコーダー１１および第２エンコーダー１２のそれぞれの入力において、ポジショナルエンコーディングを行うことにより、各文における単語の位置の情報を入力値に組み込むようにする。第１エンコーダー１１および第２エンコーダー１２のそれぞれは、ｎ個のレイヤーが積み重なる構成を有する。それらの各々のレイヤーは、マルチヘッドセルフアテンションメカニズムのサブレイヤーと、全結合のフィードフォワードネットワークのサブレイヤーとを有する。

【0039】

デコーダー１５への入力において、入力エンベディングを行う。即ち、デコーダー１５に入力される単語ベクトルの列は、デコーダー１５の内部のモデルの次元数のベクトルに変換される。また、デコーダー１５への入力において、ポジショナルエンコーディングを行うことにより、文における単語の位置の情報を入力値に組み込むようにする。デコーダー１５は、第１エンコーダー１１や第２エンコーダー１２と同様に、ｎ個のレイヤーが積み重なる構成を有する。それら各々のレイヤーは、マスクされたマルチヘッドセルフアテンションメカニズムのサブレイヤーと、第１エンコーダー１１および第２エンコーダー１２からの出力値を用いたマルチヘッドアテンションのサブレイヤーと、文中の位置ごとのフィードフォワードネットワーク（position-wise feed-forward）のサブレイヤーとを有する。

【0040】

本実施形態によれば、学習モードにおいて、翻訳装置１は、自装置が出力した前の文の翻訳結果（目的言語文）を、文脈の情報として、第２エンコーダー１２に入力する。これにより、第１エンコーダー１１と第２エンコーダー１２とデコーダー１５とのそれぞれのモデルは、学習データに含まれる原言語文と目的言語文（正解）との対に加えて、上記の文脈の情報のも基づいた学習を行う。このような学習により、翻訳装置１は、自装置が出力した文脈に合った翻訳結果を出力することができる。つまり、本実施形態の翻訳装置１では、学習時と翻訳時とに用いる文脈情報の違いによるギャップが解消される。

【0041】

［第２実施形態］
次に、本発明の第２実施形態について説明する。なお、前実施形態において既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

【0042】

図３は、第２実施形態による翻訳装置の概略機能構成を示すブロック図である。図示するように、翻訳装置２は、第１エンコーダー１１と、第２エンコーダー１２と、デコーダー１５と、入力部２１と、出力部２２と、学習データ供給部２３と、文脈供給部３１と、選択部３２と、を含んで構成される。翻訳装置２も、例えば、コンピューターを用いて実現することが可能である。上記構成のうち、第１エンコーダー１１と、第２エンコーダー１２と、デコーダー１５と、入力部２１と、出力部２２と、学習データ供給部２３と、文脈供給部３１と、のそれぞれは、第１実施形態の場合と同様の機能を持つ。ただし、本実施形態において、第２エンコーダー１２は、選択部３２から渡される文脈情報（目的言語文）を入力し、エンコーディング処理を行う。

【0043】

本実施形態の特徴は、学習モードの処理において、選択部３２が、文脈供給部３１から供給される目的言語文または学習データ供給部２３から供給される目的言語文のいずれかを選択し、出力する点である。この選択部３２が出力する文脈情報を、第２エンコーダー１２は処理対象とする。つまり、選択部３２は、その時点で翻訳対象とする文の１つ前の文の機械翻訳結果である目的言語文（文脈供給部３１が供給）と、同じく１つ前の文の正解訳である目的言語文（学習データ供給部２３が供給）のいずれか一方を、出力する。なお、翻訳モードの処理においては、選択部３２は、常に文脈供給部３１から供給される目的言語文を出力する。翻訳モードの処理においては、学習データ供給部２３は、学習データ（の目的言語文）を供給しない。

【0044】

より具体的には、学習モードの処理において、選択部３２は、所定の確率ｐ（０＜ｐ＜１）に基づいて、前文の正解訳である目的言語文または前文の機械翻訳結果である目的言語文のいずれかを、選択し、第２エンコーダー１２に渡す。つまり、選択部３２は、ｐの値が与えられたとき、確率ｐで、学習データ供給部２３から渡される前文の正解訳である目的言語文を、第２エンコーダー１２に渡す。また、選択部３２は、上記ｐの値を前提として、確率（１－ｐ）で、文脈供給部３１から渡される前文の機械翻訳結果である目的言語文を、第２エンコーダー１２に渡す。上記のようにｐの値に基づいて確率的にどちらかの目的言語文を選択するために、選択部３２は、適宜、例えば擬似乱数を発生させる処理を行い、その擬似乱数値に基づく処理を行うようにしてもよい。ただし、擬似乱数等を用いず、例えばｐの値に基づくパターンにしたがって、選択部３２が順に、前文の正解訳である目的言語文または前文の機械翻訳結果である目的言語文のいずれかを選択するよいにしてよい。なお、ｐの値は、適宜定めてよい。

【0045】

ｐの値の決め方を、例えば、次の通りとしてよい。即ち、翻訳装置２におけるモデルの機械学習の処理が第ｅ回目のエポック（ｅ＝１，２，３，・・・）であるときに、確率値ｐの値を、下の式（１）の通りとする。言い換えれば、ｅの値は、その時点における翻訳装置２の学習回数（バッチ数、エポック数）である。ただし、ｅの値が２から始まるようにしても良い。なお、式（１）において、ｅｘｐ（）は、ネイピア数を底とする指数関数である。また、ｋはハイパーパラメーターであり、ｋの値は適宜定められる。ただし、ｋ≧１である。ｋの値が小さい程（１に近い程）、ｅの値の変化に対するｐの値の変化の度合いが速い。ｋの値が大きい程、ｅの値の変化に対するｐの値の変化の度合いが遅い。

【0046】

【数1】

【0047】

式（１）に表すｐを用いる場合、学習回数ｅの値が大きくなるにつれて、ｐの値は単調に減少し、０に漸近する。つまり、ｅの値が小さい程、選択部３２は、機械翻訳結果の目的言語文（確率１－ｐ）よりも、正解訳の目的言語文（確率ｐ）の方を、より高い確率で選択する。そして、ｅの値が大きくなるにつれて、ｐの値が徐々に０に近づく。即ち、ｅの値が大きい程、選択部３２は、正解訳の目的言語文（確率ｐ）よりも、機械翻訳結果の目的言語文（確率ｐ）の方を、より高い確率で選択するようになっていく。つまり、翻訳用のモデルの学習がそれほど進まないうちは、翻訳装置２は、正解訳に基づく文脈（前の文）に相対的に大きく依存して、翻訳用のモデルの学習を進める。また、翻訳用のモデルの学習が進むにつれて、翻訳装置２は、自装置の出力である機械翻訳結果の文脈（前の文）に徐々に大きく依存するようになりながら、翻訳用のモデルの学習を進める。

【0048】

つまり、翻訳装置２は、モデルの学習の最初の方のうちは、正解訳をより重く用いることにより、ノイズの少ない学習を促進する。また、翻訳装置２は、モデルの学習が進むにつれて徐々に、機械翻訳結果をより重く用いることによって学習を進める。徐々に機械翻訳結果をより重く用いることによって、翻訳時と同じ特徴を有する機械翻訳結果に含まれるノイズに対応した、ギャップの生じない学習を行うことが可能となる。つまり、翻訳装置２による翻訳用モデルの学習は、カリキュラムラーニングと同様の効果を奏する。なお、カリキュラムラーニングについては、下記参考文献にも記載されている。
［参考文献］ Yoshua Bengio，Jerome Louradour，Ronan Collobert，Jason Weston，“Curriculum Learning”， Proceedings of the 26th International Conference on Machine Learning（ICML’09）, Montreal, Canada, 2009年，p.41-49，https://mila.quebec/wp-content/uploads/2019/08/2009_curriculum_icml.pdf

【0049】

以上説明したように、選択部３２は、学習モードにおいて、現在の原言語文よりも前の原言語文に基づいてデコーダー１５が出力した翻訳結果である目的言語文と、現在の原言語文よりも前の原言語文に対応する正解訳の目的言語文と、のいずれかを目的言語側の文脈情報として選択し、選択したほうの文脈情報を出力する。なお、デコーダー１５が出力した翻訳結果の文は、文脈供給部３１から、選択部３２に渡される。選択部３２は、選択したほうの文脈情報を、第２エンコーダー１２に渡す。第２エンコーダー１２は、選択部３２が出力した文脈情報をエンコード処理する。

【0050】

前述の通り、選択部３２は、所定の確率値ｐ（ただし、０＜ｐ＜１）に基づき、確率ｐで正解訳の目的言語文を前記文脈情報として選択し、確率（１－ｐ）でデコーダー１５が出力した翻訳結果である目的言語文を文脈情報として選択するようにしてよい。さらに、選択部３２は、エンコーダーおよびデコーダーの学習が第ｅ回目（ｅは、正整数）のエポックであるときに、ｅの値の増加に対応して単調にｐが減少するようにｐの値を定めてよい。その一例として、選択部３２は、前記の式（１）に基づいてｐの値を決定してもよい。

【0051】

図４は、上記の選択部３２による作用を示す概略図である。図示するように第２エンコーダー１２には、学習データ供給部が供給する正解訳、または文脈供給部３１が供給する機械翻訳文のいずれかが入力される。第２エンコーダー１２への上記の入力は、選択部３２によって確率的に選択される。即ち、確率ｐ（０＜ｐ＜１）で、正解訳の文が第２エンコーダーに入力される。また、確率（１－ｐ）で、機械翻訳文が第２エンコーダーに入力される。

【0052】

［第３実施形態］
次に、本発明の第３実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

【0053】

図５は、第３実施形態による翻訳装置の概略機能構成を示すブロック図である。図示するように、翻訳装置３は、エンコーダー１３と、デコーダー１５と、入力部２１と、出力部２２と、学習データ供給部２３と、文脈供給部３１と、連結部３３と、を含んで構成される。翻訳装置３も、例えば、コンピューターを用いて実現することが可能である。上記の構成のうち、デコーダー１５と、入力部２１と、出力部２２と、学習データ供給部２３と、文脈供給部３１の各々の機能は、第１実施形態で説明したものと同様である。

【0054】

第１実施形態の翻訳装置１の構成と比較して、本実施形態の翻訳装置３の特徴は、次の通りである。つまり、第１実施形態の翻訳装置１が第１エンコーダー１１と第２エンコーダー１２とを備えていたのに対して、第３実施形態の翻訳装置３は、エンコーダーとしては、エンコーダー１３を備える。エンコーダー１３は、単一のエンコーダーとして、翻訳対象の文である原言語文と、目的言語側の文脈情報と、の両方を入力とする。エンコーダー１３は、文脈情報として具体的には、翻訳対象の文の１つ前の文の機械翻訳結果である目的言語文を入力する。また、エンコーダー１３は、具体的には、連結部３３から渡されるデータを入力とする。つまり、エンコーダー１３は連結部３３が出力する連結情報に基づいてエンコード処理を行う。

【0055】

連結部３３は、原言語文と文脈情報とを連結し、その連結された結果をエンコーダー１３に渡す。具体的には、連結部３３は、学習モードにおいては、学習データ供給部２３が供給する学習データに含まれる原言語文と、文脈供給部３１が供給する、その原言語文の１つ前の文の翻訳結果である機械翻訳文（目的言語文）とを連結する。また、連結部３３は、翻訳モードにおいては、入力部２１が取得した原言語文の１つと、文脈供給部３１が供給する、その原言語文の１つ前の文の翻訳結果である機械翻訳文（目的言語文）とを連結する。なお、連結部３３は、学習モードと翻訳モードとのいずれのモードにおいても、原言語文に対応する単語列と目的言語文（文脈）に対応する単語列とを連結し、それら両単語列の間に、セパレータートークンを挿入する。

【0056】

つまり、連結部３３は、原言語文の情報と、文脈情報と、を連結して連結情報とし、その連結情報をエンコーダー１３に渡す。また、連結部３３は、原言語文の情報と、文脈情報との間に、セパレータートークンを挿入して連結情報としてよい。

【0057】

図６は、連結部３３による連結処理の例を示す概略図である。図示する例は、原言語が日本語であり、目的言語が英語である場合の例である。図示する目的言語文は、「A male student in the first year of junior high school in Kanagawa Prefecture ・・・」という英文である。この目的言語文は、下記の翻訳対象の文の１つ前の文（機械翻訳文）である。一方、現在の翻訳対象の文（原言語文）は、「学校は今月3日から休校になりました。」という日本語文である。連結部３３は、これらの２つの文を連結するとともに、その領分の間にセパレータートークンである＜ＳＥＰ＞というトークンを挿入する。連結部３３による連結の結果は、「A male student in the first year of junior high school in Kanagawa Prefecture ・・・ ＜ＳＥＰ＞学校は今月3日から休校になりました。」というトークン列である。エンコーダー１３は、セパレータートークンによって区切られたこのトークン列を入力として、処理を行う。

【0058】

［第４実施形態］
次に、本発明の第４実施形態について説明する。なお、前実施形態までにおいて既に説明した事項については以下において説明を省略する場合がある。ここでは、本実施形態に特有の事項を中心に説明する。

【0059】

図７は、第４実施形態による翻訳装置の概略機能構成を示すブロック図である。図示するように、翻訳装置４は、エンコーダー１３と、デコーダー１５と、入力部２１と、出力部２２と、学習データ供給部２３と、文脈供給部３１と、選択部３２と、連結部３３と、を含んで構成される。翻訳装置４も、例えば、コンピューターを用いて実現することが可能である。これらの機能のうち、エンコーダー１３と、デコーダー１５と、入力部２１と、出力部２２と、学習データ供給部２３と、文脈供給部３１と、のそれぞれの機能は、第３実施形態で説明したものと同様である。

【0060】

本実施形態の特徴は、次の通りである。即ち、第４実施形態の翻訳装置４は、第３実施形態の翻訳装置３と同様に、連結部３３を持つ。つまり、翻訳装置４において、連結部３３は、翻訳対象である原言語文の情報と、その原言語文の文脈情報（１つ前の原言語文に対応する目的言語文の情報）とを連結する。また、翻訳装置４は、第２実施形態の翻訳装置２と同様に、選択部３２を持つ。つまり翻訳装置４の選択部３２は、学習モードで動作する場合において、文脈情報として、正解訳の目的言語文と、機械翻訳結果である目的言語文とを、確率的に選択する。

【0061】

選択部３２が、正解訳である目的言語文の文脈情報（「文脈参照情報」とも呼ぶ）と、機械翻訳結果である目的言語文の文脈情報（「文脈推論情報」とも呼ぶ）と、のいずれかを選ぶ方法は、第２実施形態において説明したものと同様である。即ち、選択部３２は、確率ｐで文脈参照情報を選択し、確率（１－ｐ）で文脈推論情報を選択する。ｐの値の決め方についても、第２実施形態で説明した通りである。ｐの決め方の一例は、第２実施形態において式（１）を参照しながら説明した通りである。

【0062】

つまり、本実施形態の選択部３２は、学習モードにおいて、現在の原言語文よりも前の原言語文に基づいてデコーダー１５が出力した翻訳結果である目的言語文と、現在の原言語文よりも前の原言語文に対応する正解訳の目的言語文と、のいずれかを目的言語側の文脈情報として選択し、選択したほうの文脈情報を出力する。選択部３２は、選択したほうの文脈情報を、連結部３３に渡す。連結部３３は、選択部３２が出力した文脈情報を、原言語文と連結する。

【0063】

図８は、第４実施形態において、翻訳装置４が学習モードで動作する場合に、エンコーダー１３に入力されるデータが確率的に選択される処理を示す概略図である。図示するように、エンコーダー１３には、確率ｐで、文脈参照情報（目的言語文）と原言語文（翻訳対象文）とを連結したデータが、入力される。また、エンコーダー１３には、確率（１－ｐ）で、文脈推論情報（目的言語文）と原言語文（翻訳対象文）とを連結したデータが、入力される。原言語文（翻訳対象文）は、学習データ供給部２３によって供給される、現在の翻訳対象の文である。文脈参照情報（目的言語文）は、学習データ供給部２３によって供給される、１つ前の翻訳対象の文に対応する正解訳の文である。文脈推論情報（目的言語文）は、文脈供給部３１によって供給される、１つ前の翻訳対象の文に対応する機械翻訳の結果の文である。文脈参照情報と文脈推論情報のどちらかを選択する処理は、選択部３２が行う処理である。文脈情報（目的言語文）と翻訳対象の原言語文とを連結する処理は、連結部３３が行う処理である。なお、第３実施形態の場合と同様に、連結部３３は、セパレータートークン＜ＳＥＰ＞を間に挿入する。なお図７に示した構成では、選択部３２が選択を行った後に連結部３３が連結する順序を示しているが、連結部３３が連結を行った後に選択部３２が選択を行う順序として翻訳装置４を実現してもよい。

【0064】

図９は、第１実施形態から第４実施形態までの翻訳装置の内部構成の例を示すブロック図である。翻訳装置１、２、３、または４は、コンピューターを用いて実現され得る。図示するように、そのコンピューターは、中央処理装置９０１と、ＲＡＭ９０２と、入出力ポート９０３と、入出力デバイス９０４や９０５等と、バス９０６と、を含んで構成される。コンピューター自体は、既存技術を用いて実現可能である。中央処理装置９０１は、ＲＡＭ９０２等から読み込んだプログラムに含まれる命令を実行する。中央処理装置９０１は、各命令にしたがって、ＲＡＭ９０２にデータを書き込んだり、ＲＡＭ９０２からデータを読み出したり、算術演算や論理演算を行ったりする。ＲＡＭ９０２は、データやプログラムを記憶する。ＲＡＭ９０２に含まれる各要素は、アドレスを持ち、アドレスを用いてアクセスされ得るものである。なお、ＲＡＭは、「ランダムアクセスメモリー」の略である。入出力ポート９０３は、中央処理装置９０１が外部の入出力デバイス等とデータのやり取りを行うためのポートである。入出力デバイス９０４や９０５は、入出力デバイスである。入出力デバイス９０４や９０５は、入出力ポート９０３を介して中央処理装置９０１との間でデータをやりとりする。バス９０６は、コンピューター内部で使用される共通の通信路である。例えば、中央処理装置９０１は、バス９０６を介してＲＡＭ９０２のデータを読んだり書いたりする。また、例えば、中央処理装置９０１は、バス９０６を介して入出力ポートにアクセスする。

【0065】

なお、上述した実施形態における翻訳装置の少なくとも一部の機能をコンピューターで実現することができる。その場合、この機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリー等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。つまり、「コンピューター読み取り可能な記録媒体」とは、非一過性の（non-transitory）コンピューター読み取り可能な記録媒体であってよい。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、一時的に、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

【0066】

以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。

【0067】

例えば、第１実施形態から第４実施形態までにおいて、文脈供給部３１は、直前の一文のみを文脈情報として供給するようにしていた。変形例として、文脈供給部３１が、現在の文よりも前の複数の文を文脈情報として供給するようにしてもよい。この場合、第２実施形態と第４実施形態のそれぞれにおいては、学習データ供給部２３も、文脈情報として、同数の正解訳の文を供給する。

【0068】

以上、説明したように、上で説明したいずれかの実施形態（変形例を含む）では、目的言語文側の文脈情報を用いて翻訳用のモデルの学習を行う。これにより、出力される翻訳結果のスタイルや、省略された主語などの情報を学習することができ、翻訳精度が向上する。

【0069】

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【0070】

［評価実験について］
各実施形態を実装し、実データ例を用いて翻訳処理を実際に行い、翻訳結果を評価した。その結果を、次に説明する。本実験では、原言語は日本語であり、目的言語は英語である。実験に用いたデータは、時事ニュース（国プロ）のコーパス、およびＴＥＤトークのコーパスである。時事ニュース（国プロ）のデータにおいて、学習用のデータ文数は２２万０１８０文、評価テストセットの文数は２０００文である。ＴＥＤトークのデータにおいて、学習用のデータ文数は１９万４１７０文、評価テストセットの文数は１２８５文である。

【0071】

［実験１の結果］
実験１では、第１実施形態および第２実施形態のそれぞれを評価し、従来技術のシステムと比較した。ベースラインのシステムは、（Ａ）文レベル機械翻訳システムと、（Ｂ）日本語側文脈考慮機械翻訳システムと、（Ｃ）英語側文脈考慮機械翻訳システム（ｐ＝１）とである。（Ａ）文レベル機械翻訳システムでは、文脈情報を用いない形での翻訳を行う。（Ｂ）日本語側文脈考慮機械翻訳システムでは、文脈情報として原言語（日本語）側の前文を入力して翻訳を行う。（Ｃ）英語側文脈考慮機械翻訳システム（ｐ＝１）では、文脈情報として、目的言語（英語）側の前文の正解訳のみを用いて学習を行う。なお、評価尺度としては、機械翻訳処理の評価によく用いられるＢＬＥＵを用いる。

【0072】

第１実施形態および第２実施形態のＢＬＥＵ値による評価結果、およびそのベースラインとの比較は、表１に示す通りである。

【0073】

【表1】

【0074】

上記の通り、第１実施形態の評価値は、データの種別に依っては、（Ａ）文レベル機械翻訳システム、および（Ｃ）英語側文脈考慮機械翻訳システム（ｐ＝１）の評価値を、上回った。第２実施形態の評価値は、データの種別に依らず、（Ａ）文レベル機械翻訳システム、（Ｂ）日本語側文脈考慮機械翻訳システム、（Ｃ）英語側文脈考慮機械翻訳システム（ｐ＝１）のそれぞれの評価値を上回った。なお、第２実施形態の評価値は、第１実施形態の評価値を上回った。

【0075】

この実験１における、翻訳結果の例は、次の通りである。翻訳対象の文のための文脈情報として、目的言語（英語）側の前文は、「I’m going to talk about a boy in a village.」というものであった。ここで、翻訳対象の原言語（日本語）側の文は、「名前は知りませんが彼の話はできます」というものである。この原言語文に対応する正解訳の目的言語文は「I don’t know his name, but I do know his story.」である。即ち、原言語文における「名前」は、文脈として出現する「a boy」の名前であり、よって、「名前」に対応する正解訳は「his name」である。このようなテスト用の文に対して、（Ａ）の文レベル機械翻訳システムによる翻訳結果は「I don’t know the name, but I can tell you his story.」であった。つまり、従来技術による（Ａ）のシステムは、文脈を利用せずに翻訳を行うため、「the name」という翻訳結果を出力することによって、その「名前」が「his name」であるか否かの区別を避けるような学習のしかたをしている、と解釈することが可能である。一方、第２実施形態のシステムによる翻訳結果は「I don’t know his name, but I can tell you his story.」であった。つまり、第２実施形態のシステムは、「名前」の訳として「his name」を出力した。このように、第２実施形態のシステムは、文脈にも依存した、より高品質な翻訳を行っていると評価することができる。

【0076】

［実験２の結果］
実験２では、第３実施形態および第４実施形態のそれぞれを評価し、従来技術のシステムと比較した。ベースラインのシステムは、（Ａ）文レベル機械翻訳システムと、（Ｃ）英語側文脈考慮機械翻訳システム（ｐ＝１）とである。

【0077】

第３実施形態および第４実施形態のＢＬＥＵ値による評価結果、およびそのベースラインとの比較は、表２に示す通りである。

【0078】

【表2】

【0079】

上記の通り、第４実施形態の評価値は、データの種別に依っては、（Ａ）文レベル機械翻訳システムの評価値を、上回った。また、第４実施形態の評価値は、データの種別に依らず、（Ｃ）英語側文脈考慮機械翻訳システム（ｐ＝１）の評価値を上回った。なお、第４実施形態の評価値は、第３実施形態の評価値を上回った。

【0080】

この実験２における、翻訳結果の例を次に説明する。翻訳対象の文のための文脈情報として、目的言語（英語）側の前文は、「On September 11, 2001, I heard a young man flying in a city, and he went down, and a man came down the stairs, he was going down the stairs, he was going down a piece of paper, and he was doing it every Wednesday. 」というものであった。ここで、翻訳対象の原言語（日本語）側の文は、「あの日に一日中仕事をしてくれていることに感謝しようとしました でも涙が出てきたのです」というものである。この原言語文に対応する正解訳の目的言語文は「And I tried to thank him for doing his work on that day of all days, but I started to cry.」である。つまり、当該文の主体である「私,I」が感謝しようとした相手は「him」（前出のa manを指す）と表されている。このようなテスト用の文に対して、（Ａ）の文レベル機械翻訳システムによる翻訳結果は「And I was trying to appreciate the fact that I was doing my work every day, but tears were coming out.」であった。つまり、従来技術による（Ａ）のシステムは、「appreciate」しようとする相手が「him」であることを明示せず、且つ「that I was doing my work every day」という誤訳を出力している。また、（Ｃ）の英語側文脈考慮機械翻訳システム（ｐ＝１）は、「And I was going to thank you for that day, and I was going to thank you for doing my work every day, but I got to tears.」という翻訳結果を出力している。つまり、従来技術による（Ｃ）のシステムは、「thank you for doing my work」と、正解訳とは異なる人称を用いた翻訳結果を出力している。文脈を利用せずに翻訳を行うため、「the name」という翻訳結果を出力することによって、その「名前」が「his name」であるか否かの区別を避けるような学習のしかたをしている、と解釈することが可能である。一方、第２実施形態のシステムによる翻訳結果は「I don’t know his name, but I can tell you his story.」であった。つまり、第２実施形態のシステムは、「名前」の訳として「his name」を出力した。このように、第２実施形態のシステムは、文脈にも依存した、より高品質な翻訳を行っていると評価することができる。一方、第４実施形態の翻訳システムは、上記の原言語文に対応して、「And I was grateful for that day, and I tried to thank him for doing work all the day, but I had tears in my tears.」という翻訳結果を出力している。つまり、第４実施形態のシステムは、前記の文脈情報に基づいて「tried to thank him」と、感謝しようとした相手が「him」であることを明示している。このように、第４実施形態のシステムは、文脈にも依存した、より高品質な翻訳を行っていると評価することができる。

【産業上の利用可能性】

【0081】

本発明は、例えば、自然言語の翻訳を必要とするあらゆる産業の領域において利用することができる。但し、本発明の利用範囲はここに例示したものには限られない。

【符号の説明】

【0082】

１，２，３，４ 翻訳装置
１１ 第１エンコーダー（原言語文エンコーダー）
１２ 第２エンコーダー（文脈エンコーダー）
１３ エンコーダー
１５ デコーダー
２１ 入力部
２２ 出力部
２３ 学習データ供給部
３１ 文脈供給部
３２ 選択部
３３ 連結部
９０１ 中央処理装置
９０２ ＲＡＭ
９０３ 入出力ポート
９０４，９０５ 入出力デバイス
９０６ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】