特開 2024-94499 対訳コーパス生成プログラム、対訳コーパス生成方法および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024094499

(43)【公開日】2024-07-10

(54)【発明の名称】対訳コーパス生成プログラム、対訳コーパス生成方法および情報処理装置

(51)【国際特許分類】

   G06F 40/237 20200101AFI20240703BHJP

   G06F 40/295 20200101ALI20240703BHJP

【ＦＩ】

G06F40/237

G06F40/295

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022211073

(22)【出願日】2022-12-28

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】グェンレ アン

【テーマコード（参考）】

5B091

【Ｆターム（参考）】

5B091AB06

5B091CC00

(57)【要約】

【課題】対訳コーパスの量を増大させる。
【解決手段】情報処理装置１０は、第１の言語の固有表現１３ａを含む第１の文と、固有表現１３ａに対応する第２の言語の固有表現１３ｂを含む第２の文とを対応付けた対訳コーパス１３を取得する。情報処理装置１０は、第１の言語の複数の固有表現を含む辞書データ１５から、固有表現１３ａとの類似度が閾値を超える固有表現１４ａを抽出する。情報処理装置１０は、第１の言語の固有表現と第２の言語の固有表現との対応を示す辞書データ１６を用いて、固有表現１４ａに対応する固有表現１４ｂを特定する。情報処理装置１０は、第１の文に含まれる固有表現１３ａを固有表現１４ａに置換し、第２の文に含まれる固有表現１３ｂを固有表現１４ｂに置換することで、対訳コーパス１４を生成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１の言語の第１の固有表現を含む第１の文と、前記第１の固有表現に対応する第２の言語の第２の固有表現を含む第２の文とを対応付けた第１の対訳コーパスを取得し、
前記第１の言語の複数の固有表現を含む第１の辞書データから、前記第１の固有表現との類似度が閾値を超える前記第１の言語の第３の固有表現を抽出し、
前記第１の言語の固有表現と前記第２の言語の固有表現との対応を示す第２の辞書データを用いて、前記第３の固有表現に対応する前記第２の言語の第４の固有表現を特定し、
前記第１の文に含まれる前記第１の固有表現を前記第３の固有表現に置換し、前記第２の文に含まれる前記第２の固有表現を前記第４の固有表現に置換することで、前記第１の対訳コーパスと異なる第２の対訳コーパスを生成する、
処理をコンピュータに実行させる対訳コーパス生成プログラム。

【請求項2】

訓練済みの固有表現認識モデルを用いて、前記第１の固有表現の固有表現クラスを判定し、異なる固有表現を含む前記第１の辞書データの中から、前記固有表現クラスに基づいて前記第１の辞書データを選択する処理を、前記コンピュータに更に実行させる、
請求項１記載の対訳コーパス生成プログラム。

【請求項3】

前記第３の固有表現の抽出は、前記第１の固有表現を示す文字列と前記第３の固有表現を示す文字列との間で、文字列間類似度を前記類似度として算出する処理を含む、
請求項１記載の対訳コーパス生成プログラム。

【請求項4】

前記第２の辞書データは、概念を識別する識別子と対応付けて、前記概念を表す複数の言語の固有表現を記載した多言語用語辞書データである、
請求項１記載の対訳コーパス生成プログラム。

【請求項5】

前記第４の固有表現の特定は、前記第２の辞書データが前記第３の固有表現と対応付けて複数の第４の固有表現を含む場合、前記第３の固有表現に含まれる単語の分散表現ベクトルと前記複数の第４の固有表現に含まれる単語の分散表現ベクトルとを用いて、前記複数の第４の固有表現の中から前記第４の固有表現を選択する処理を含む、
請求項１記載の対訳コーパス生成プログラム。

【請求項6】

前記第１の言語は、機械翻訳モデルに入力される原文に用いられる言語であり、前記第２の言語は、前記機械翻訳モデルから出力される翻訳文に用いられる言語である、
請求項１から５の何れか一項に記載の対訳コーパス生成プログラム。

【請求項7】

第１の言語の第１の固有表現を含む第１の文と、前記第１の固有表現に対応する第２の言語の第２の固有表現を含む第２の文とを対応付けた第１の対訳コーパスを取得し、
前記第１の言語の複数の固有表現を含む第１の辞書データから、前記第１の固有表現との類似度が閾値を超える前記第１の言語の第３の固有表現を抽出し、
前記第１の言語の固有表現と前記第２の言語の固有表現との対応を示す第２の辞書データを用いて、前記第３の固有表現に対応する前記第２の言語の第４の固有表現を特定し、
前記第１の文に含まれる前記第１の固有表現を前記第３の固有表現に置換し、前記第２の文に含まれる前記第２の固有表現を前記第４の固有表現に置換することで、前記第１の対訳コーパスと異なる第２の対訳コーパスを生成する、
処理をコンピュータが実行する対訳コーパス生成方法。

【請求項8】

第１の言語の第１の固有表現を含む第１の文と、前記第１の固有表現に対応する第２の言語の第２の固有表現を含む第２の文とを対応付けた第１の対訳コーパスと、前記第１の言語の複数の固有表現を含む第１の辞書データと、前記第１の言語の固有表現と前記第２の言語の固有表現との対応を示す第２の辞書データとを記憶する記憶部と、
前記第１の辞書データから、前記第１の固有表現との類似度が閾値を超える前記第１の言語の第３の固有表現を抽出し、前記第２の辞書データを用いて、前記第３の固有表現に対応する前記第２の言語の第４の固有表現を特定し、前記第１の文に含まれる前記第１の固有表現を前記第３の固有表現に置換し、前記第２の文に含まれる前記第２の固有表現を前記第４の固有表現に置換することで、前記第１の対訳コーパスと異なる第２の対訳コーパスを生成する処理部と、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は対訳コーパス生成プログラム、対訳コーパス生成方法および情報処理装置に関する。

【背景技術】

【0002】

コンピュータによる自然言語処理には、データベースとして対訳コーパスが使用されることがある。対訳コーパスは、ある自然言語で記載された文と、別の自然言語で記載された同等の意味をもつ文とを対応付けて記憶する。一例として、コンピュータは、事前に用意された対訳コーパスを訓練データとして用いて、一方の言語のテキストを他方の言語のテキストに変換するための機械翻訳モデルを訓練することがある。使用する対訳コーパスの量や品質は、機械翻訳などの自然言語処理タスクの品質に影響を与える。

【0003】

なお、ソース言語で記載されたソーステキストの中から固有表現を認識し、ソーステキストと固有表現情報とを入力データとして用いて、アテンション機構を含む機械翻訳モデルを訓練する機械学習方法が提案されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２２－１４１１９１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

対訳コーパスは、複数の言語を理解する者によって人手で作成されることが多い。このため、自然言語処理に使用する対訳コーパスを大量に収集することは容易でない。例えば、自然言語処理タスクが対象とする２つの言語のうちの少なくとも一方が、話者の少ない低リソース言語である場合、対訳コーパスが不足するおそれがある。また、例えば、自然言語処理タスクが特定の専門分野を対象とする場合、その専門分野に関する対訳コーパスを少量しか収集できないおそれがある。そこで、１つの側面では、本発明は、対訳コーパスの量を増大させることを目的とする。

【課題を解決するための手段】

【0006】

１つの態様では、以下の処理をコンピュータに実行させる対訳コーパス生成プログラムが提供される。第１の言語の第１の固有表現を含む第１の文と、第１の固有表現に対応する第２の言語の第２の固有表現を含む第２の文とを対応付けた第１の対訳コーパスを取得する。第１の言語の複数の固有表現を含む第１の辞書データから、第１の固有表現との類似度が閾値を超える第１の言語の第３の固有表現を抽出する。第１の言語の固有表現と第２の言語の固有表現との対応を示す第２の辞書データを用いて、第３の固有表現に対応する第２の言語の第４の固有表現を特定する。第１の文に含まれる第１の固有表現を第３の固有表現に置換し、第２の文に含まれる第２の固有表現を第４の固有表現に置換することで、第１の対訳コーパスと異なる第２の対訳コーパスを生成する。

【0007】

また、１つの態様では、コンピュータが実行する対訳コーパス生成方法が提供される。また、１つの態様では、記憶部と処理部とを有する情報処理装置が提供される。

【発明の効果】

【0008】

１つの側面では、対訳コーパスの量が増大する。

【図面の簡単な説明】

【0009】

【図1】第１の実施の形態の情報処理装置を説明するための図である。

【図2】第２の実施の形態の情報処理装置のハードウェア例を示す図である。

【図3】対訳コーパスの第１文からの固有表現の認識例を示す図である。

【図4】固有表現認識モデルの構造例を示す図である。

【図5】対訳コーパスの第２文からの固有表現の特定例を示す図である。

【図6】多言語語句整列に用いられる類似度行列の例を示す図である。

【図7】文字列が類似する他の固有表現の抽出例を示す図である。

【図8】他の固有表現の訳語の抽出例を示す図である。

【図9】拡張対訳コーパスの例を示す図である。

【図10】機械翻訳モデルの構造例を示す図である。

【図11】情報処理装置の機能例を示すブロック図である。

【図12】コーパス拡張の手順例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。

【0011】

図１は、第１の実施の形態の情報処理装置を説明するための図である。
第１の実施の形態の情報処理装置１０は、自然言語処理に使用される対訳コーパスの量を増大させる。情報処理装置１０は、既存の対訳コーパスを部分的に修正することで、別の対訳コーパスを自動的に生成する。生成された対訳コーパスは、例えば、機械翻訳モデルを訓練するための訓練データとして使用される。ただし、生成された対訳コーパスが、機械翻訳以外の自然言語処理タスクに使用されてもよい。

【0012】

対訳コーパスを用いた機械学習や自然言語処理タスクは、情報処理装置１０で実行されてもよいし、他の情報処理装置で実行されてもよい。情報処理装置１０は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１０が、コンピュータ、対訳コーパス生成装置、自然言語処理装置、機械学習装置または機械翻訳装置と呼ばれてもよい。

【0013】

情報処理装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。

【0014】

処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２が、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路を含んでもよい。プロセッサは、例えば、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。プロセッサの集合が、マルチプロセッサまたは単に「プロセッサ」と呼ばれてもよい。

【0015】

記憶部１１は、対訳コーパス１３および辞書データ１５，１６を記憶する。対訳コーパス１３は、第１の言語で記載された第１の文と第２の言語で記載された第２の文とを対応付ける。対訳コーパス１３は、第１の文と第２の文のペアを複数含んでもよい。第１の文と第２の文とは意味的に同等であればよく、文の個数が異なってもよい。例えば、文の個数の比は、１対１、１対２、１対３、２対１、３対１などである。

【0016】

第１の言語および第２の言語は、異なる自然言語である。異なる自然言語では、文字セット、文法、および、文字列が表す意味の少なくとも１つが異なる。第１の言語は、話者が比較的多い高リソース言語であることが好ましい。例えば、第１の言語は英語であり、第２の言語は非ヨーロッパ系言語である。自然言語処理タスクが機械翻訳である場合、第１の文と第２の文の一方が原文に相当し、他方が翻訳文に相当する。例えば、第１の文が原文に相当し、第２の文が翻訳文に相当する。

【0017】

対訳コーパス１３は、例えば、第１の言語および第２の言語を理解する者によって人手で作成される高品質な対訳コーパスである。対訳コーパス１３は、生物医学分野などの特定の専門分野の用語を含む専門的テキストであってもよい。

【0018】

対訳コーパス１３において、第１の文は固有表現１３ａを含み、第２の文は固有表現１３ａに対応する固有表現１３ｂを含む。固有表現１３ｂは、例えば、固有表現１３ａの訳語に相当し、固有表現１３ａと同等の意味をもつ。固有表現は、固有名詞、日付表現、時間表現などの表現である。１つの固有表現は、１つの単語から形成されていることもあるし、２以上の単語から形成されていることもある。固有表現は、その種類に応じて複数の固有表現クラスに分類されることがある。例えば、生物医学分野の固有表現は、遺伝子、薬品、疾患および突然変異に分類されることがある。

【0019】

情報処理装置１０は、訓練済みの固有表現認識モデルを用いて、第１の文の中から固有表現１３ａを認識してもよい。また、情報処理装置１０は、訓練済みの固有表現認識モデルを用いて、第２の文の中から固有表現１３ｂを認識してもよい。また、情報処理装置１０は、訓練済みの語句整列モデルを用いて、第１の文に含まれる固有表現１３ａに対応する句を、第２の文の中から検索してもよい。

【0020】

語句整列モデルは、言語が異なる２つの文の間で類似する語を検索するために、多言語分散表現ベクトルを用いてもよい。多言語分散表現は、意味が近い単語には類似するベクトルを割り当てるという単一言語の分散表現を、複数の言語に拡張したものである。多言語分散表現ベクトルは、例えば、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）などの訓練済みの機械学習モデルによって算出される。

【0021】

辞書データ１５は、第１の言語で記載された複数の固有表現を含む。辞書データ１５は、固有表現クラス毎に分かれていてもよい。例えば、辞書データ１５は、遺伝子名を含む辞書データ、薬品名を含む辞書データ、疾患名を含む辞書データ、および、突然変異名を含む辞書データに分かれていてもよい。

【0022】

辞書データ１６は、第１の言語の固有表現と第２の言語の固有表現との対応を示す。辞書データ１６は、概念を識別する識別子と対応付けて、その概念を表す複数の言語の固有表現を記載した多言語用語辞書データであってもよい。辞書データ１６に含まれる固有表現は、専門家によって収集されて体系化されたものであってもよい。

【0023】

処理部１２は、対訳コーパス１３を取得する。処理部１２は、辞書データ１５から、固有表現１３ａとの類似度が閾値を超える、第１の言語の固有表現１４ａを抽出する。処理部１２は、固有表現１４ａとして複数の固有表現を抽出してもよい。固有表現１３ａと固有表現１４ａとの類似度は、例えば、文字列間の類似度である。

【0024】

処理部１２は、編集距離（レーベンシュタイン距離）を類似度の指標として使用してもよい。また、処理部１２は、コサイン類似度を類似度の指標として使用してもよい。コサイン類似度を使用する場合、例えば、処理部１２は、各固有表現の文字列をｎ－ｇｒａｍに分解し、複数種類のｎ－ｇｒａｍそれぞれが文字列の中に含まれているか否かを示すベクトルを生成する。処理部１２は、２つの固有表現に対応する２つのベクトルの間でコサイン類似度を算出する。コサイン類似度は、２つのベクトルの内積を２つのベクトルそれぞれの大きさで割ったものであり、－１以上１以下の値域をもつ。

【0025】

処理部１２は、辞書データ１６を用いて、固有表現１４ａに対応する第２の言語の固有表現１４ｂを特定する。辞書データ１６には、固有表現１４ａと同じ概念をもつ第２の言語の固有表現が複数記載されていることがある。その場合、処理部１２は、固有表現１４ａに対応する全ての固有表現を固有表現１４ｂとして特定してもよい。また、処理部１２は、それら複数の固有表現の一部を固有表現１４ｂとして選択してもよい。

【0026】

固有表現１４ｂの選択には、多言語分散表現ベクトルが用いられてもよい。例えば、処理部１２は、固有表現１４ａに含まれる単語の多言語分散表現ベクトルと、固有表現１４ｂに含まれる単語の多言語分散表現ベクトルとを用いて、固有表現１４ａと固有表現１４ｂとの類似度を算出する。処理部１２は、例えば、固有表現１４ａ，１４ｂの類似度が閾値を超える場合、固有表現１４ｂを採用する。

【0027】

処理部１２は、対訳コーパス１３の第１の文に含まれる固有表現１３ａを、固有表現１４ａに置換する。また、処理部１２は、対訳コーパス１３の第２の文に含まれる固有表現１３ｂを、固有表現１４ｂに置換する。これにより、処理部１２は、対訳コーパス１３と異なる対訳コーパス１４を生成する。このとき、第１の文の固有表現１３ａ以外の部分と、第２の文の固有表現１３ｂ以外の部分は、対訳コーパス１３と同じでもよい。処理部１２は、固有表現１４ａ，１４ｂが異なる複数通りの文のペアを生成してもよい。

【0028】

処理部１２は、生成された対訳コーパス１４を出力する。処理部１２は、対訳コーパス１４を不揮発性ストレージに保存してもよいし、情報処理装置１０に接続された表示装置に表示してもよいし、他の情報処理装置に送信してもよい。

【0029】

以上説明したように、第１の実施の形態の情報処理装置１０は、第１の言語の複数の固有表現を含む辞書データ１５から、対訳コーパス１３の第１の文に含まれる固有表現１３ａとの類似度が閾値を超える固有表現１４ａを抽出する。情報処理装置１０は、第１の言語の固有表現と第２の言語の固有表現との対応を示す辞書データ１６を用いて、固有表現１４ａに対応する固有表現１４ｂを特定する。情報処理装置１０は、第１の文の固有表現１３ａを固有表現１４ａに置換し、対訳コーパス１３の第２の文に含まれる固有表現１３ｂを固有表現１４ｂに置換することで、対訳コーパス１４を生成する。

【0030】

これにより、対訳コーパスの量が増大する。その結果、対訳コーパスを使用した機械学習や自然言語処理タスクの精度が向上する。特に、話者の少ない低リソース言語や専門性の高い特定の専門分野について、対訳コーパスの量が増大する。

【0031】

また、文字列の置換は、固有表現が記載された辞書データを参照して固有表現単位で行われる。これにより、実在しない固有表現が創作されるリスクが低下する。特に、生物医学分野のように、固有表現に複合語や入れ子構造が多い場合であっても、当該リスクが低下する。また、動詞が名詞に置換されるといった品詞の変化のリスクが低下する。よって、対訳コーパス１４の品質が向上する。また、対訳コーパス１３の外部にある辞書データ１５，１６が参照される。これにより、元の対訳コーパス１３に含まれない固有表現が対訳コーパス１４に挿入される可能性があり、対訳コーパスが充実する。

【0032】

なお、情報処理装置１０は、訓練済みの固有表現認識モデルを用いて、固有表現１３ａの固有表現クラスを判定してもよく、異なる固有表現を含む複数の辞書データの中から、固有表現クラスに基づいて辞書データ１５を選択してもよい。これにより、意味的に自然な文が生成される可能性が高くなる。また、情報処理装置１０は、固有表現１３ａを示す文字列と固有表現１４ａを示す文字列との間で、文字列間類似度を算出してもよい。これにより、固有表現１４ａが固有表現１３ａと類似する概念をもつ可能性が高くなる。

【0033】

また、辞書データ１６は、概念を識別する識別子と対応付けて、概念を表す複数の言語の固有表現を記載した多言語用語辞書データであってもよい。これにより、固有表現１４ａの訳語に相当する固有表現１４ｂが高精度に特定される。また、情報処理装置１０は、辞書データ１６が固有表現１４ａと対応付けて複数の固有表現を含む場合、固有表現１４ａに含まれる単語の分散表現ベクトルと固有表現１４ｂに含まれる単語の分散表現ベクトルとを用いて、固有表現１４ｂを選択してもよい。これにより、固有表現１４ａと意味的に近い固有表現１４ｂが選択される。

【0034】

また、第１の言語は、機械翻訳モデルに入力される原文に用いられる言語であってもよく、第２の言語は、機械翻訳モデルから出力される翻訳文に用いられる言語であってもよい。これにより、機械翻訳モデルの精度が向上して機械翻訳の品質が向上する。

【0035】

［第２の実施の形態］
次に、第２の実施の形態を説明する。
第２の実施の形態の情報処理装置１００は、生物医学分野の対訳コーパスに対してデータ拡張を行って、対訳コーパスの量を増大させる。また、情報処理装置１００は、データ拡張後の対訳コーパスを訓練データとして用いて、機械翻訳モデルを訓練する。また、情報処理装置１００は、訓練された機械翻訳モデルを用いて機械翻訳を行う。ただし、データ拡張、機械学習および機械翻訳が、異なる情報処理装置によって行われてもよい。

【0036】

情報処理装置１００は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１００が、コンピュータ、データ拡張装置、対訳コーパス生成装置、自然言語処理装置、機械学習装置または機械翻訳装置と呼ばれてもよい。第２の実施の形態の情報処理装置１００は、第１の実施の形態の情報処理装置１０に対応する。

【0037】

図２は、第２の実施の形態の情報処理装置のハードウェア例を示す図である。
情報処理装置１００は、バスに接続されたＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。

【0038】

ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムおよびデータをＲＡＭ１０２にロードし、プログラムを実行する。情報処理装置１００は、複数のプロセッサを有してもよい。

【0039】

ＲＡＭ１０２は、ＣＰＵ１０１で実行されるプログラムおよびＣＰＵ１０１で演算に使用されるデータを一時的に記憶する揮発性半導体メモリである。情報処理装置１００は、ＲＡＭ以外の種類の揮発性メモリを有してもよい。

【0040】

ＨＤＤ１０３は、オペレーティングシステム（ＯＳ：Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラムと、データとを記憶する不揮発性ストレージである。情報処理装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の不揮発性ストレージを有してもよい。

【0041】

ＧＰＵ１０４は、ＣＰＵ１０１と連携して画像処理を行い、情報処理装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイまたはプロジェクタである。情報処理装置１００に、プリンタなどの他の種類の出力デバイスが接続されてもよい。

【0042】

また、ＧＰＵ１０４は、ＧＰＧＰＵ（General Purpose Computing on Graphics Processing Unit）として使用されてもよい。ＧＰＵ１０４は、ＣＰＵ１０１からの指示に応じてプログラムを実行し得る。情報処理装置１００は、ＲＡＭ１０２以外の揮発性半導体メモリをＧＰＵメモリとして有してもよい。

【0043】

入力インタフェース１０５は、情報処理装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２は、例えば、マウス、タッチパネルまたはキーボードである。情報処理装置１００に複数の入力デバイスが接続されてもよい。

【0044】

媒体リーダ１０６は、記録媒体１１３に記録されたプログラムおよびデータを読み取る読み取り装置である。記録媒体１１３は、例えば、磁気ディスク、光ディスクまたは半導体メモリである。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）およびＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）およびＤＶＤ（Digital Versatile Disc）が含まれる。媒体リーダ１０６は、記録媒体１１３から読み取られたプログラムおよびデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、ＣＰＵ１０１によって実行されることがある。

【0045】

記録媒体１１３は、可搬型記録媒体であってもよい。記録媒体１１３は、プログラムおよびデータの配布に用いられることがある。また、記録媒体１１３およびＨＤＤ１０３が、コンピュータ読み取り可能な記録媒体と呼ばれてもよい。

【0046】

通信インタフェース１０７は、ネットワーク１１４を介して他の情報処理装置と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。

【0047】

次に、対訳コーパスのデータ拡張について説明する。第２の実施の形態では、機械翻訳モデルが英語から日本語への機械翻訳を行うものとし、対訳コーパスは英語の文と日本語の文とを含む。ただし、第２の実施の形態のデータ拡張は、他の自然言語にも応用可能である。例えば、第２の実施の形態のデータ拡張は、英語から非ヨーロッパ系言語への機械翻訳のための対訳コーパスに好適である。また、第２の実施の形態では、翻訳対象が生物医学分野であり、対訳コーパスは生物医学分野のテキストである。

【0048】

図３は、対訳コーパスの第１文からの固有表現の認識例を示す図である。
情報処理装置１００は、対訳コーパス１３１を取得する。対訳コーパス１３１は、例えば、生物医学分野の専門家によって人手で作成される。情報処理装置１００は、生物医学分野の論文から対訳コーパス１３１を抽出してもよい。

【0049】

対訳コーパス１３１は、英文と、英文の翻訳に相当する和文とを含む。意味的に同等な英文と和文のペアにおいて、文の個数の比は１対１であることが多い。ただし、文の個数の比は、１対２、１対３、２対１または３対１であってもよい。対訳コーパス１３１は、英文と和文のペアを２以上含んでもよい。生物医学分野の英文と和文とを対応付けた対訳コーパス１３１を大量に収集することは容易でない。そこで、情報処理装置１００は、対訳コーパス１３１に対してデータ拡張を行い、対訳コーパスの量を増やす。

【0050】

まず、情報処理装置１００は、対訳コーパス１３１に含まれる英文に対して固有表現認識タスクを実行し、英文に含まれる固有表現を認識する。固有表現認識タスクには、訓練済みの固有表現認識モデルが使用される。情報処理装置１００は、英文を単語に分割し、単語をトークンとして扱う。情報処理装置１００は、固有表現認識モデルにトークン列を入力し、各トークンに付与されるタグを決定する。

【0051】

タグは、固有表現の種類に相当する固有表現クラスを表す記号と、固有表現の中でのトークンの相対位置を表す記号とを含む。固有表現クラスには、遺伝子（Gene）、薬品（Drug）、疾患（Disease）、突然変異（Mutation）およびその他（Other）が含まれる。

【0052】

相対位置には、単独（Ｓ：Single）、先頭（Ｂ：Beginning）、中間（Ｉ：Inside）および末尾（Ｅ：Ending）が含まれる。Ｓは、そのトークン単独で固有表現を形成していることを示す。Ｂは、そのトークンが固有表現を形成する複数のトークンの先頭であることを示す。Ｉは、そのトークンが固有表現を形成する複数のトークンの中間であることを示す。Ｅは、そのトークンが固有表現を形成する複数のトークンの末尾であることを示す。ただし、末尾のトークンにＩが付与されることもある。

【0053】

固有表現情報１４１は、対訳コーパス１３１に含まれる英文の中から認識された「ischemic heart disease」という１つの固有表現を示す。この固有表現の固有表現クラスは、疾患名であることを表すDiseaseである。固有表現認識については、例えば、次の非特許文献にも記載されている。An Nguyen Le, Hajime Morita and Tomoya Iwakura, "Learning Entity-Likeness with Multiple Approximate Matches for Biomedical NER", Proc. of the International Conference on Recent Advances in Natural Language, (RANLP2021), pp. 1040-1049, September 2021。

【0054】

図４は、固有表現認識モデルの構造例を示す図である。
自然言語で記述されたテキスト１５１が与えられると、情報処理装置１００は、テキスト１５１に含まれる文字列をトークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎに分割する。トークンへの分割には、形態素解析などの自然言語処理技術が用いられてもよい。

【0055】

情報処理装置１００は、各トークンを分散表現の単語ベクトルに変換することで、トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎを単語ベクトルＷ_１，Ｗ_２，Ｗ_３，…，Ｗ_Ｎに変換する。単語ベクトルは、所定の次元数の数値を列挙した数値ベクトルである。単語ベクトルの次元数は、例えば、３００次元である。単語ベクトルＷ_１，Ｗ_２，Ｗ_３，…，Ｗ_Ｎは、訓練済みの多層ニューラルネットワークを用いて算出される。

【0056】

情報処理装置１００は、単語ベクトルＷ_１，Ｗ_２，Ｗ_３，…，Ｗ_Ｎを、ＢｉｏＢＥＲＴ（Bidirectional Encoder Representations from Transformers for Biomedical Text Mining）１５２に入力して、単語ベクトルＴ_１，Ｔ_２，Ｔ_３，…，Ｔ_Ｎに変換する。ＢｉｏＢＥＲＴ１５２は、生物医学分野のテキストを訓練データとして用いて機械学習により訓練された、訓練済みの多層ニューラルネットワークである。ＢｉｏＢＥＲＴ１５２は、直列的に重ねられた２４層のTransformerを含む。各Transformerは、入力されたベクトルを別のベクトルに変換する多層ニューラルネットワークである。

【0057】

また、情報処理装置１００は、単語ベクトルＴ_１，Ｔ_２，Ｔ_３，…，Ｔ_Ｎとは別に、トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎに対応するマッチングベクトルＤ_１，Ｄ_２，Ｄ_３，…，Ｄ_Ｎを算出する。各トークンのマッチングベクトルは、既知の固有表現が記載された固有表現辞書と当該トークンとの間のマッチング状態を示すマッチング情報を、分散表現ベクトルに変換したものである。マッチングベクトルは以下のように算出される。

【0058】

情報処理装置１００は、トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎから、ｎ個の連続するトークンを示すｎ－ｇｒａｍを網羅的に生成する。ｎ＝１，２，３，…，Ｎである。トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎから、１－ｇｒａｍはＮ通り生成され、２－ｇｒａｍはＮ－１通り生成され、３－ｇｒａｍはＮ－２通り生成される。

【0059】

情報処理装置１００は、ｎ－ｇｒａｍそれぞれについて、予め用意した固有表現辞書との間で近似文字列照合を行う。固有表現辞書は、遺伝子名、薬品名、疾患名、突然変異名などの既知の固有表現とその固有表現が属する固有表現クラスとを記載したものである。近似文字列照合では、情報処理装置１００は、固有表現辞書に記載された１つの固有表現と１つのｎ－ｇｒａｍとの間で、編集距離を算出する。編集距離は、２つの文字列が一致するために行われる１文字の追加、１文字の置換または１文字の削除の回数である。編集距離＝０は、２つの文字列が完全一致していることを意味する。

【0060】

情報処理装置１００は、編集距離が閾値未満である場合、当該固有表現と当該ｎ－ｇｒａｍとが類似すると判定する。ｎ－ｇｒａｍに類似する固有表現が見つかると、情報処理装置１００は、そのｎ－ｇｒａｍに含まれるトークンそれぞれに対してマッチング情報を生成する。マッチング情報は、クラス、適合度および位置の３つの要素を含む。

【0061】

クラスは、既知の固有表現が属する固有表現クラスである。適合度は、ｎ－ｇｒａｍと既知の固有表現とが、完全一致関係（Exact）であるか近似関係（Approximate）であるかを示すフラグである。位置は、ｎ－ｇｒａｍの中における着目するトークンの相対位置である。位置は、Ｓ，Ｂ，Ｉ，Ｅの何れかである。

【0062】

トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎの中には、マッチング情報が１つのみ得られるトークンもあれば、マッチング情報が２つ以上得られるトークンもあれば、マッチング情報が１つも得られないトークンもある。マッチング情報が１つも得られないトークンに対しては、クラスがその他クラスであるダミーのマッチング情報が生成される。

【0063】

情報処理装置１００は、各マッチング情報をマッチングベクトルに変換する。異なるマッチング情報のパターン（マッチングパターン）は少数であることから、マッチングパターンとその分散表現とを対応付けたマッチングパターン辞書が予め用意される。例えば、情報処理装置１００は、各マッチングパターンに識別番号を付与し、識別番号を入力および出力に用いる多層ニューラルネットワークを機訓練する。情報処理装置１００は、あるマッチングパターンの識別番号を入力層に与えたときに中間層で算出される数値を列挙した特徴ベクトルを、そのマッチングパターンに対応するマッチングベクトルとして採用する。マッチングベクトルの次元数は、例えば、１００次元である。

【0064】

情報処理装置１００は、１つのトークンに対して異なるパターンのマッチング情報が生成された場合、異なるマッチング情報に対応する２以上のマッチングベクトルを、プーリング処理によって１つのマッチングベクトルに集約する。プーリング処理は、２以上のベクトルの間で次元毎に数値演算を行うことで、次元数が同じ単一のベクトルを生成する処理である。プーリング処理として、最大プーリング（Max Pooling）や平均プーリング（Average Pooling）が挙げられる。最大プーリングは、次元毎に、２以上のベクトルの中で最大の数値を選択するプーリング処理である。平均プーリングは、次元毎に、２以上のベクトルに含まれる数値の平均値を算出するプーリング処理である。

【0065】

このようにして、トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎに対応するマッチングベクトルＤ_１，Ｄ_２，Ｄ_３，…，Ｄ_Ｎが算出される。情報処理装置１００は、単語ベクトルＴ_１，Ｔ_２，Ｔ_３，…，Ｔ_ＮとマッチングベクトルＤ_１，Ｄ_２，Ｄ_３，…，Ｄ_Ｎとを合成して、結合ベクトルＶ_１，Ｖ_２，Ｖ_３，…，Ｖ_Ｎを生成する。ここでは、トークン毎に、単語ベクトルの後ろにマッチングベクトルを連結する。例えば、結合ベクトルは４００次元である。

【0066】

情報処理装置１００は、結合ベクトルＶ_１，Ｖ_２，Ｖ_３，…，Ｖ_Ｎをラベル予測層１５３に入力して、トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎに対応するタグスコアｓ_１，ｓ_２，ｓ_３，…，ｓ_Ｎを算出する。タグスコアは、複数のタグそれぞれの確信度を含む。情報処理装置１００は、タグスコアｓ_１，ｓ_２，ｓ_３，…，ｓ_Ｎに基づいて、トークンｗ_１，ｗ_２，ｗ_３，…，ｗ_Ｎそれぞれに付与するタグを決定する。情報処理装置１００は、トークン毎に、複数のタグのうち確信度が最大のタグを選択してもよい。

【0067】

ラベル予測層１５３は、多層ニューラルネットワークである。例えば、ラベル予測層１５３は、双方向ＬＳＴＭ（Long Short Term Memory）である。ＬＳＴＭは、内部状態を保持する多層ニューラルネットワークである。内部状態を保持することから、複数の結合ベクトルを連続的にＬＳＴＭに入力すると、ある結合ベクトルに対するタグスコアは、その結合ベクトルだけでなくそれ以前の結合ベクトルにも依存する。

【0068】

双方向ＬＳＴＭは、複数の結合ベクトルが順方向に入力される順方向ＬＳＴＭと、複数の結合ベクトルが逆方向に入力される逆方向ＬＳＴＭとを含む。双方向ＬＳＴＭは、同じトークンに対応する順方向ＬＳＴＭの出力ベクトルと逆方向ＬＳＴＭの出力ベクトルとを合成して、当該トークンに対する最終的なタグスコアを算出する。

【0069】

図５は、対訳コーパスの第２文からの固有表現の特定例を示す図である。
次に、情報処理装置１００は、認識された英語の固有表現に対応する日本語の固有表現を、対訳コーパス１３１に含まれる和文の中から特定する。このとき、情報処理装置１００は、言語が異なる文の間で語句の対応を判定する語句整列モデルを使用する。

【0070】

情報処理装置１００は、英文のトークン列と和文のトークン列とを、訓練済みの語句整列モデルに入力することで、英文のトークンと和文のトークンとの対応を示す語対応情報１４２を生成する。英文のトークンは単語に相当し、和文のトークンは形態素に相当する。語対応情報１４２は、トークン番号のペアを複数含む。ペアの１番目のトークン番号は、英文の中でのトークンの位置を示す。ペアの２番目のトークン番号は、和文の中でのトークンの位置を示す。ペアは、英文のトークンに対応する和文のトークンを示す。例えば、語対応情報１４２は、「ischemic」が「虚」「血」「性」に対応し、「heart」が「心」に対応し、「disease」が「疾患」に対応することを示す。

【0071】

情報処理装置１００は、語対応情報１４２に基づいて、和文に含まれる複数の句それぞれが、認識された英語の固有表現に対応する確率を算出する確率計算を行う。これにより、情報処理装置１００は、句対応情報１４３を生成する。句は、連続する１以上のトークンを含む。例えば、句対応情報１４３は、「虚血性心疾患」が「ischemic heart disease」に対応する確率が０．８１４５であり、「虚血性心疾患の」が「ischemic heart disease」に対応する確率が０．７９８５であることを示す。

【0072】

情報処理装置１００は、句対応情報１４３の中から確率が最大の句を選択することで、固有表現情報１４４を生成する。固有表現情報１４４は、対訳コーパス１３１に含まれる英語の固有表現に対応する、対訳コーパス１３１に含まれる日本語の固有表現を示す。例えば、固有表現情報１４４は、「虚血性心疾患」を示す。

【0073】

語句整列については、例えば、次の非特許文献にも記載されている。Zi-Yi Dou and Graham Neubig, "Word Alignment by Fine-tuning Embeddings on Parallel Corpora", Proc. of the 16th Conference of the European Chapter of the Association for Computational Linguistics (EACL2021), pp. 2112-2128, April 2021。

【0074】

図６は、多言語語句整列に用いられる類似度行列の例を示す図である。
多言語語句整列においては、情報処理装置１００は、英文のトークンそれぞれの多言語分散表現ベクトルと、和文のトークンそれぞれの多言語分散表現ベクトルとを算出する。多言語分散表現ベクトルの算出には、例えば、訓練済みの多言語ＢＥＲＴが使用される。多言語ＢＥＲＴは、類似する意味をもつ英単語と日本語単語とからは、類似する分散表現ベクトルが算出されるように訓練されている。

【0075】

情報処理装置１００は、英文に含まれる１つのトークンと和文に含まれる１つのトークンとの間で、多言語分散表現ベクトルのコサイン類似度を算出する。コサイン類似度は、２つのベクトルの内積を２つのベクトルそれぞれの大きさで割ったものであり、－１以上１以下の値域をもつ。コサイン類似度が大きいほど、類似度が高いことを表す。

【0076】

類似度行列１４５は、英文に含まれる複数のトークンと和文に含まれる複数のトークンとの間で網羅的に算出されたコサイン類似度を示す。類似度行列１４５の列ｘ１，ｘ２，…，ｘ８は、英文のトークンに対応する。類似度行列１４５の行ｙ１，ｙ２，…，ｙ８は、和文のトークンに対応する。情報処理装置１００は、類似度行列１４５に基づいて、英文の各トークンに対応付ける和文のトークンを決定する。

【0077】

情報処理装置１００は、原則として、類似度行列１４５の列毎に、コサイン類似度が最大の行を選択する。これにより、英文のトークン毎に、最も類似する和文のトークンが選択される。ただし、情報処理装置１００は、言語の特性を考慮して、英文の同一のトークンに対応付ける和文のトークンの個数を制限してもよく、和文の同一のトークンに対応付ける英文のトークンの個数を制限してもよい。

【0078】

また、情報処理装置１００は、英文上で隣接するトークンには、和文上で隣接するトークンを優先的に対応付けてもよい。この場合、類似度行列１４５の対角成分が選択されやすくなる。情報処理装置１００は、列を左から右に向かって走査する順方向走査と、列を右から左に向かって走査する逆方向走査を通じて、トークンの対応を決定してもよい。

【0079】

図７は、文字列が類似する他の固有表現の抽出例を示す図である。
次に、情報処理装置１００は、生物医学分野の英語の専門用語辞書を参照して、対訳コーパス１３１に含まれる英語の固有表現に対して、類似文字列リスト１４６を生成する。類似文字列リスト１４６は、英語の固有表現に類似する英語の他の固有表現を示す。

【0080】

情報処理装置１００は、固有表現クラス毎に英語の専門用語辞書を記憶している。よって、情報処理装置１００は、遺伝子名の専門用語辞書、薬品名の専門用語辞書、疾患名の専門用語辞書および突然変異名の専門用語辞書を記憶している。情報処理装置１００は、固有表現認識で判定された固有表現クラスに対応する専門用語辞書を選択する。

【0081】

情報処理装置１００は、選択した専門用語辞書から、対訳コーパス１３１に含まれる英語の固有表現と類似する文字列をもつ英語の他の固有表現を検索する。情報処理装置１００は、対訳コーパス１３１に含まれる英語の固有表現を、文字を単位とするｎ－ｇｒａｍに分解する。また、情報処理装置１００は、専門用語辞書に含まれる英語の固有表現それぞれを、文字を単位とするｎ－ｇｒａｍに分解する。

【0082】

情報処理装置１００は、異なるｎ－ｇｒａｍに異なる次元を割り当てたベクトルを規定する。情報処理装置１００は、対訳コーパス１３１の固有表現に対して、出現するｎ－ｇｒａｍに対応する次元を１とし、その他の次元を０とするベクトルを生成する。また、情報処理装置１００は、専門用語辞書の固有表現それぞれに対して、出現するｎ－ｇｒａｍに対応する次元を１とし、その他の次元を０とするベクトルを生成する。

【0083】

情報処理装置１００は、対訳コーパス１３１の固有表現と専門用語辞書の固有表現との間で、ベクトルのコサイン類似度を算出する。情報処理装置１００は、コサイン類似度が閾値を超える固有表現を、専門用語辞書から抽出する。ただし、情報処理装置１００は、編集距離などの他の類似度指標を用いてもよい。

【0084】

情報処理装置１００は、専門用語辞書から抽出した固有表現を含む類似文字列リスト１４６を生成する。類似文字列リスト１４６は、対訳コーパス１３１の固有表現と固有表現クラスが同じで、かつ、文字列が類似する英語の固有表現を示す。

【0085】

図８は、他の固有表現の訳語の抽出例を示す図である。
次に、情報処理装置１００は、生物医学分野の多言語の専門用語辞書１３２を参照して、類似文字列リスト１４６に含まれる英語の固有表現それぞれに対して、訳語リスト１４７を生成する。訳語リスト１４７は、英語の固有表現に対応する日本語の固有表現を示す。英語の１つの固有表現に対して、日本語の２以上の固有表現が存在することがある。類似固有表現の抽出に参照する専門用語辞書と訳語の特定に参照する専門用語辞書１３２とは、原則として異なる辞書である。ただし、両者が同一の辞書であってもよい。

【0086】

専門用語辞書１３２は、生物医学分野の専門家によって体系化された多言語の専門用語を示す辞書である。専門用語辞書１３２は、例えば、ＵＭＬＳ（Unified Medical Language System）である。専門用語辞書１３２は、複数のレコードを含む。各レコードは、概念を識別する識別子を示すカラムと、自然言語を示すカラムと、固有表現を示すカラムとを含む。専門用語辞書１３２は、同一の概念をもつ異なる言語の固有表現を含む。専門用語辞書１３２は、同一の概念をもつ同一の自然言語の固有表現を複数含むことがある。

【0087】

例えば、英語の固有表現「ischemic heart disease」、「ischemic heart disease, NOS」および「myocardial ischemia」と、日本語の固有表現「虚血性心疾患」、「虚血性心筋症」および「虚血性心筋疾患」は、同一の概念を表す固有表現である。

【0088】

情報処理装置１００は、類似文字列リスト１４６に含まれる英語の固有表現を専門用語辞書１３２から検索する。情報処理装置１００は、その固有表現と同一の概念をもつ日本語の固有表現を、専門用語辞書１３２から抽出する。情報処理装置１００は、抽出された日本語の固有表現を含む訳語リスト１４７を生成する。

【0089】

このとき、情報処理装置１００は、同一の概念をもつ全ての日本語の固有表現を専門用語辞書１３２から抽出してもよいし、日本語の固有表現を絞り込んでもよい。例えば、情報処理装置１００は、英語の固有表現に含まれる単語の多言語分散表現ベクトルと、日本語の固有表現の候補に含まれる単語の多言語分散表現ベクトルとを算出する。情報処理装置１００は、多言語分散表現ベクトルを用いて、英語の固有表現と日本語の固有表現の候補との間の類似度を算出する。情報処理装置１００は、類似度が閾値を超える日本語の固有表現のみを、専門用語辞書１３２から抽出する。

【0090】

図９は、拡張対訳コーパスの例を示す図である。
情報処理装置１００は、類似文字列リスト１４６から英語の固有表現を１つ選択し、訳語リスト１４７から日本語の固有表現を１つ選択することで、英語の固有表現と日本語の固有表現のペアを１つ生成する。情報処理装置１００は、このようにして、英語の固有表現と日本語の固有表現のペアを複数生成する。

【0091】

情報処理装置１００は、対訳コーパス１３１に含まれる英語の固有表現を、生成した固有表現ペアに含まれる英語の固有表現に置換する。また、情報処理装置１００は、対訳コーパス１３１に含まれる日本語の固有表現を、同一の固有表現ペアに含まれる日本語の固有表現に置換する。これにより、情報処理装置１００は、複数の固有表現ペアを用いて、英文と和文のペアを複数含む拡張対訳コーパス１３３を生成する。

【0092】

なお、専門用語辞書１３２が、対訳コーパス１３１に含まれる英語の固有表現に対応する日本語の２以上の固有表現を含むことがある。その場合、情報処理装置１００は、対訳コーパス１３１の英語の固有表現を変更せず、対訳コーパス１３１の日本語の固有表現のみを変更した英文と和文のペアを生成することも可能である。

【0093】

例えば、拡張対訳コーパス１３３は、対訳コーパス１３１の「虚血性心疾患」を「虚血性心筋症」または「虚血性心筋疾患」に置換した文ペアを含む。また、拡張対訳コーパス１３３は、対訳コーパス１３１の「ischemic heart disease」を「ischemic heart disease, NOS」に置換した文ペアを含む。また、拡張対訳コーパス１３３は、更に対訳コーパス１３１の「虚血性心疾患」を「虚血性心筋症」または「虚血性心筋疾患」に置換した文ペアを含む。また、拡張対訳コーパス１３３は、対訳コーパス１３１の「ischemic heart disease」を「myocardial ischemia」に置換した文ペアを含む。また、拡張対訳コーパス１３３は、更に対訳コーパス１３１の「虚血性心疾患」を「虚血性心筋症」または「虚血性心筋疾患」に置換した文ペアを含む。

【0094】

ここで、生物医学分野の専門用語は、複合語であることがあり、入れ子構造をもつこともある。そのため、ある単語を別の単語に単純に置換すると、実在しない専門用語が創作されてしまうことがある。これに対して、情報処理装置１００は、対訳コーパス１３１の外部の専門用語辞書を参照して、固有表現単位で文字列を置換する。これにより、実在しない固有表現が創作されるリスクが低下し、拡張対訳コーパス１３３の品質が向上する。

【0095】

また、名詞と動詞の置換など、文字列の置換によって品詞が変化してしまうリスクが低下する。これにより、拡張対訳コーパス１３３の品質が向上する。また、情報処理装置１００は、外部の専門用語辞書を参照することで、元の対訳コーパス１３１に含まれない新たな固有表現を拡張対訳コーパス１３３に追加することができる。これにより、文ペアのバリエーションの幅が広がり、拡張対訳コーパス１３３が充実する。

【0096】

図１０は、機械翻訳モデルの構造例を示す図である。
情報処理装置１００は、拡張対訳コーパス１３３を用いて機械翻訳モデルを訓練する。機械翻訳モデルには、Transformerが使用される。機械翻訳モデルは、分散表現モデル１６１，１６２、位置エンコーダ１６３、エンコーダ１６４、デコーダ１６５および線形変換層１６６を含む。エンコーダ１６４は、自己アテンション層１７１およびフィードフォワード層１７２を含む。デコーダ１６５は、自己アテンション層１７３，１７４およびフィードフォワード層１７５を含む。

【0097】

分散表現モデル１６１は、英語のトークンを分散表現ベクトルに変換する。分散表現モデル１６１には、原文を示す英語のトークン列が入力される。分散表現モデル１６２は、日本語のトークンを分散表現ベクトルに変換する。分散表現モデル１６２には、翻訳文の一部分を示す日本語のトークン列が入力される。分散表現モデル１６２に入力されるトークン列は、翻訳文のうち既に訳語が決定された部分であり、翻訳文の先頭から、現在翻訳しようとしているトークンの１つ前までの範囲である。

【0098】

位置エンコーダ１６３は、文の中での各トークンの位置を示すトークン番号を、分散表現ベクトルに変換する。トークン番号から分散表現ベクトルへの変換には、例えば、サイン関数またはコサイン関数が用いられる。位置エンコーダ１６３は、分散表現モデル１６１が出力する原文のトークンの分散表現ベクトルの後ろに、トークン番号の分散表現ベクトルを連結し、自己アテンション層１７１に入力する。また、位置エンコーダ１６３は、分散表現モデル１６２が出力する翻訳文のトークンの分散表現ベクトルの後ろに、トークン番号の分散表現ベクトルを連結し、自己アテンション層１７３に入力する。

【0099】

自己アテンション層１７１は、アテンション機構を用いて、原文の各トークンの分散表現ベクトルを変換する。自己アテンション層１７１は、訓練済みの係数を含む第１の行列を用いて、着目するトークンの分散表現ベクトルを、クエリと呼ばれるベクトルに変換する。また、自己アテンション層１７１は、訓練済みの係数を含む第２の行列を用いて、他のトークンの分散表現ベクトルを、キーと呼ばれるベクトルに変換する。また、自己アテンション層１７１は、訓練済みの係数を含む第３の行列を用いて、他のトークンの分散表現ベクトルを、バリューと呼ばれるベクトルに変換する。

【0100】

自己アテンション層１７１は、クエリとキーの内積を求めることで、着目するトークンにとっての他のトークンの重要度を示すアテンション重みを算出する。自己アテンション層１７１は、他のトークンのバリューをアテンション重みで重み付けして、着目するトークンのベクトルと合成することで、着目するトークンのベクトルを更新する。よって、自己アテンション層１７１は、各トークンのベクトルを他のトークンを参照して更新する。

【0101】

フィードフォワード層１７２は、自己アテンション層１７１が出力する各トークンの分散表現ベクトルを、訓練済みの係数を用いて変換する。フィードフォワード層１７２は、変換した分散表現ベクトルを自己アテンション層１７４に入力する。なお、機械翻訳モデルは、エンコーダ１６４を直列に複数個接続して使用することがある。

【0102】

自己アテンション層１７３は、自己アテンション層１７１と同様のアテンション機構を用いて、翻訳文の各トークンの分散表現ベクトルを変換する。自己アテンション層１７４は、フィードフォワード層１７２および自己アテンション層１７３から分散表現ベクトルを受け付け、アテンション機構を用いて分散表現ベクトルを変換する。フィードフォワード層１７５は、自己アテンション層１７４が出力する分散表現ベクトルを変換する。なお、機械翻訳モデルは、デコーダ１６５を直列に複数個接続して使用することがある。

【0103】

線形変換層１６６は、フィードフォワード層１７５から受け付けるベクトルを用いて、日本語の単語それぞれの確信度を算出する。機械翻訳モデルは、例えば、確信度が最大の単語を、翻訳文に含まれる次の単語として採用する。機械翻訳モデルは、ここで決定された訳語を分散表現モデル１６２に入力する。

【0104】

情報処理装置１００は、誤差逆伝播法によって機械翻訳モデルを訓練する。情報処理装置１００は、拡張対訳コーパス１３３に含まれる英文を機械翻訳モデルに入力し、機械翻訳モデルが出力する翻訳文を取得する。情報処理装置１００は、拡張対訳コーパス１３３に含まれる和文と取得した翻訳文との間の誤差を算出し、誤差が小さくなるように、機械翻訳モデルに含まれる係数を更新する。情報処理装置１００は、使用する文ペアを切り替えながら、誤差の算出と係数の更新とを繰り返す。

【0105】

情報処理装置１００は、訓練された機械翻訳モデルを用いて、入力された英文を和文に翻訳する。対訳コーパス１３１に代えて拡張対訳コーパス１３３を用いて機械翻訳モデルを訓練することで、機械翻訳モデルの精度が向上する。一例として、対訳コーパス１３１を用いて訓練された機械翻訳モデルのＢＬＥＵ（Bilingual Evaluation Understudy）スコアは１４．０、拡張対訳コーパス１３３を用いて訓練された機械翻訳モデルのＢＬＥＵスコアは１４．８である。ＢＬＥＵスコアは、人手で作成された参照翻訳文と機械翻訳された翻訳文との類似度を示す指標であり、大きいほど高評価であることを表す。

【0106】

次に、情報処理装置１００の機能および処理手順について説明する。
図１１は、情報処理装置の機能例を示すブロック図である。
情報処理装置１００は、コーパス記憶部１２１、モデル記憶部１２２、辞書記憶部１２３、固有表現認識部１２４、語句整列部１２５、辞書検索部１２６、コーパス拡張部１２７、機械学習部１２８および機械翻訳部１２９を有する。コーパス記憶部１２１、モデル記憶部１２２および辞書記憶部１２３は、例えば、ＲＡＭ１０２またはＨＤＤ１０３を用いて実装される。固有表現認識部１２４、語句整列部１２５、辞書検索部１２６、コーパス拡張部１２７、機械学習部１２８および機械翻訳部１２９は、例えば、ＣＰＵ１０１、ＧＰＵ１０４およびプログラムを用いて実装される。

【0107】

コーパス記憶部１２１は、生物医学分野の日英の対訳コーパスを記憶する。また、コーパス記憶部１２１は、この対訳コーパスから生成された拡張対訳コーパスを記憶する。
モデル記憶部１２２は、各種の訓練済みの機械学習モデルを記憶する。訓練済みの機械学習モデルには、分散表現モデル、固有表現認識モデル、語句整列モデルなどが含まれる。また、モデル記憶部１２２は、訓練された機械翻訳モデルを記憶する。

【0108】

辞書記憶部１２３は、生物医学分野の専門用語辞書を記憶する。専門用語辞書には、固有表現クラス毎に分かれた英語の専門用語辞書が含まれる。また、専門用語辞書には、同一の概念を表す異なる言語の固有表現を収集した多言語の専門用語辞書が含まれる。

【0109】

固有表現認識部１２４は、コーパス記憶部１２１からデータ拡張前の対訳コーパスを読み出し、モデル記憶部１２２に記憶された固有表現認識モデルを用いて、対訳コーパスに含まれる英文から英語の固有表現を認識する。

【0110】

語句整列部１２５は、モデル記憶部１２２に記憶された語句整列モデルを用いて、対訳コーパスに含まれる英文と和文との間の語対応関係および句対応関係を判定する。語句整列部１２５は、句対応関係に基づいて、和文の中から、固有表現認識部１２４で認識された英語の固有表現に対応する日本語の固有表現を特定する。

【0111】

辞書検索部１２６は、固有表現認識部１２４で認識された英語の固有表現の固有表現クラスに対応する英語の専門用語辞書を、辞書記憶部１２３から読み出す。辞書検索部１２６は、認識された英語の固有表現とのコサイン類似度が閾値を超えるような英語の他の固有表現を、読み出された専門用語辞書から抽出する。これにより、辞書検索部１２６は、認識された英語の固有表現に対して、類似文字列リストを生成する。

【0112】

また、辞書検索部１２６は、辞書記憶部１２３から多言語の専門用語辞書を読み出す。辞書検索部１２６は、類似文字列リストに含まれる英語の固有表現と同じ概念を表す日本語の固有表現を、多言語の専門用語辞書から抽出する。これにより、辞書検索部１２６は、英語の他の固有表現に対して、訳語リストを生成する。

【0113】

コーパス拡張部１２７は、辞書検索部１２６で生成された類似文字列リストの中から英語の固有表現を１つ選択し、選択した英語の固有表現に対応する訳語リストの中から日本語の固有表現を１つ選択することで、固有表現ペアを生成する。コーパス拡張部１２７は、このようにして複数の固有表現ペアを生成する。

【0114】

コーパス拡張部１２７は、固有表現認識部１２４で認識された英文の固有表現と語句整列部１２５で特定された和文の固有表現とを、複数の固有表現ペアそれぞれを用いて置換する。これにより、コーパス拡張部１２７は、文ペアの個数が増えた拡張対訳コーパスを生成し、コーパス記憶部１２１に保存する。なお、コーパス拡張部１２７は、拡張対訳コーパスを表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

【0115】

機械学習部１２８は、コーパス記憶部１２１から拡張対訳コーパスを読み出す。機械学習部１２８は、拡張対訳コーパスを訓練データとして用いて、英語の原文を日本語の翻訳文に変換する機械翻訳モデルを訓練し、訓練された機械翻訳モデルをモデル記憶部１２２に保存する。なお、機械学習部１２８は、機械翻訳モデルを表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

【0116】

機械翻訳部１２９は、英語のテキストを受け付ける。英語のテキストは、ユーザから入力されてもよく、他の情報処理装置から受信されてもよい。機械翻訳部１２９は、モデル記憶部１２２から訓練済みの機械翻訳モデルを読み出し、受け付けた英語のテキストを機械翻訳モデルに入力する。機械翻訳部１２９は、機械翻訳モデルによって生成された日本語の翻訳文を出力する。機械翻訳部１２９は、翻訳文を不揮発性ストレージに保存してもよいし、表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

【0117】

図１２は、コーパス拡張の手順例を示すフローチャートである。
（Ｓ１０）固有表現認識部１２４は、固有表現認識モデルを用いて、対訳コーパスに含まれる第１言語の文の中から固有表現＃１を認識する。

【0118】

（Ｓ１１）語句整列部１２５は、対訳コーパスに含まれる第１言語の文および第２言語の文それぞれをトークンに分割する。語句整列部１２５は、語句整列モデルを用いて、第１言語のトークンと第２言語のトークンとの対応を判定する。

【0119】

（Ｓ１２）語句整列部１２５は、トークンの対応関係から第１言語の句と第２言語の句との対応を判定し、固有表現＃１に対応する第２言語の固有表現＃２を特定する。
（Ｓ１３）辞書検索部１２６は、ステップＳ１０で認識された固有表現＃１が属する固有表現クラスに関する第１言語の辞書＃１を読み出す。

【0120】

（Ｓ１４）辞書検索部１２６は、対訳コーパスに含まれる固有表現＃１と辞書＃１に含まれる複数の固有表現＃３それぞれとの間で、文字列の類似度を算出する。
（Ｓ１５）辞書検索部１２６は、ステップＳ１４で算出された類似度が閾値を超える固有表現＃３を、辞書＃１から抽出する。

【0121】

（Ｓ１６）辞書検索部１２６は、同一の概念を表す第１言語の固有表現および第２言語の固有表現を対応付けて記載した辞書＃２を読み出す。
（Ｓ１７）辞書検索部１２６は、辞書＃２から固有表現＃３を検索し、固有表現＃３に対応する第２言語の固有表現＃４を抽出する。

【0122】

（Ｓ１８）コーパス拡張部１２７は、対訳コーパスに含まれる固有表現＃１を固有表現＃３に置換し、対訳コーパスに含まれる固有表現＃２を固有表現＃４に置換することで、新しい文ペアを生成する。これにより、コーパス拡張部１２７は、元の文ペアに加えて新しい文ペアを含む拡張対訳コーパスを生成する。なお、図１２において、第１言語の一例は英語であり、第２言語の一例は日本語である。

【0123】

以上説明したように、第２の実施の形態の情報処理装置１００は、データ拡張により、元の対訳コーパスよりも文ペアが増えた拡張対訳コーパスを生成し、拡張対訳コーパスを用いて機械翻訳モデルを訓練する。これにより、機械翻訳モデルの精度が向上し、機械翻訳タスクの品質が向上する。特に、情報処理装置１００は、大量の対訳コーパスを収集することが容易でない生物医学分野において、文ペアを増やすことができる。

【0124】

また、新しい文ペアは、固有表現単位で句を置換することで行われる。これにより、単純な文字列置換と比較して、実在しない固有表現が創作されるリスクが低下する。特に、複合語の固有表現や入れ子構造の固有表現が多い生物医学分野において、当該リスクが低下する。また、文字列置換によって品詞が変化してしまうリスクが低下する。よって、拡張対訳コーパスの品質が向上し、機械翻訳モデルの精度が向上する。

【0125】

また、データ拡張においては、元の対訳コーパスに加えて生物医学分野の専門用語辞書が参照される。これにより、元の対訳コーパスに含まれない固有表現が拡張対訳コーパスに挿入され、文ペアのバリエーションが増える。また、置換後の固有表現は、元の固有表現と同一の固有表現クラスに属し、かつ、コサイン類似度が閾値を超えるものである。これにより、言語的に不自然な文ペアが生成されてしまうリスクが低下する。

【符号の説明】

【0126】

１０ 情報処理装置
１１ 記憶部
１２ 処理部
１３，１４ 対訳コーパス
１３ａ，１３ｂ，１４ａ，１４ｂ 固有表現
１５，１６ 辞書データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】