特許 7420180 機械読解方法、装置、およびコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】機械読解方法、装置、およびコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06N 20/10 20190101AFI20240116BHJP

【ＦＩ】

G06N20/10

【請求項の数】 10

(21)【出願番号】P 2022140877

(22)【出願日】2022-09-05

(65)【公開番号】P2023038929

(43)【公開日】2023-03-17

【審査請求日】2022-09-05

(31)【優先権主張番号】202111045757.9

(32)【優先日】2021-09-07

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100107515

【弁理士】

【氏名又は名称】廣田 浩一

(72)【発明者】

【氏名】ティエヌション シアオ

(72)【発明者】

【氏名】ルォイ チョン

(72)【発明者】

【氏名】ビヌ ドォン

(72)【発明者】

【氏名】シャヌシャヌ ジアン

(72)【発明者】

【氏名】ジィアシ ジャン

【審査官】大塚 俊範

(56)【参考文献】

【文献】中国特許出願公開第１１３２２１５５３（ＣＮ，Ａ）

【文献】WANG, B. et al.，On Position Embeddings in BERT，2021年01月，pp. 1-21，[online], [retrieved on 2023-07-27], Retrieved from <http://web.archive.org/web/20210118235629/https://openreview.net/forum?id=onxoVA9FxMw>

【文献】DEVLIN, J. et al.，BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding，arXiv:1810.04805 [cs.CL]，2019年，pp. 1-16，[online], [retrieved on 2023-07-27], Retrieved from <https://arxiv.org/abs/1810.04805> <doi: 10.48550/arXiv.1810.04805>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／１０

(57)【特許請求の範囲】

【請求項1】

段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成するステップと、
前記段落・問題ペア中の各サブワードについて、前記サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記いずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置および前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、第２部分における前記サブワードの相互注目情報を算出するステップであって、前記第１部分は、前記サブワードが所在する段落または問題であり、前記第１部分が段落である場合は、前記第２部分は問題であり、前記第１部分が問題である場合は、前記第２部分は段落である、ステップと、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップと、
前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得るステップと、を含み、
前記サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップは、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して、当該サブワードの注目情報を取得し、当該サブワードの注目情報と当該サブワードの所属するワードにおけるワード境界情報を融合して、当該サブワードの融合ベクトルを取得するステップを含み、
前記サブワードの注目情報と当該サブワードの所属ワードのワード境界情報を融合して、当該サブワードの融合ベクトルを取得するステップは、
各サブワードについて、当該サブワードが所属するワードにおける最初のサブワードであるか否かに基づいて、当該サブワードに対応するワード先頭情報を決定し、当該サブワードが所属するワードにおける最後のサブワードであるか否かに基づいて、当該サブワードに対応するワード末尾情報を決定するステップと、
当該サブワードの注目情報、ワード先頭情報、ワード末尾情報に対してベクトル融合を行い、当該サブワードの融合ベクトルを取得するステップと、を含むことを特徴とする機械読解方法。

【請求項2】

前記第１部分における当該サブワードの自己注目情報を算出するステップは、
前記段落・問題ペア中の各サブワードについて、前記第１部分におけるいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第１部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第１部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第１部分における当該サブワードの自己注目情報を得るステップを含む、ことを特徴とする請求項１に記載の機械読解方法。

【請求項3】

前記第２部分における当該サブワードの相互注目情報を算出するステップは、
前記段落・問題ペア中の各サブワードについて、前記第２部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第２部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第２部分のサブワードに対応するサブワードベクトルの加重合計を行い、前記第２部分のサブワードの相互注目情報を得るステップを含む、ことを特徴とする請求項１に記載の機械読解方法。

【請求項4】

前記サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップは、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して、当該サブワードの融合ベクトルを取得するステップを含む、ことを特徴とする請求項１に記載の機械読解方法。

【請求項5】

前記当該サブワードの自己注目情報と相互注目情報の融合は、当該サブワードの自己注目情報と相互注目情報のベクトル加算またはベクトル結合を含む、ことを特徴とする請求項１に記載の機械読解方法。

【請求項6】

段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成する符号化モジュールと、
前記段落・問題ペア中の各サブワードについて、当該サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記段落・問題ペア中のいずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置と前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、第２部分における前記サブワードの相互注目情報を算出し、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成する相互作用情報算出モジュールであって、前記第１部分は、前記サブワードが所在する段落または問題であり、前記第１部分が段落である場合は、前記第２部分が問題であり、前記第１部分が問題である場合は、前記第２部分が段落である、相互作用情報算出モジュールと、
前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得る復号化モジュールと、を備え、
前記相互作用情報算出モジュールは、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して、当該サブワードの注目情報を得る第２の融合モジュールと、
当該サブワードの注目重み情報と、当該サブワードの所属するワードにおけるワード境界情報とを融合して、当該サブワードの融合ベクトルを得る第３の融合モジュールと、を備え、
前記第３の融合モジュールは、
各サブワードについて、当該サブワードが所属するワードにおける最初のサブワードであるか否かに基づいて、当該サブワードに対応するワード先頭情報を決定し、当該サブワードが所属するワードにおける最後のサブワードであるか否かに基づいて、当該サブワードに対応するワード末尾情報を決定するワード境界情報生成モジュールと、
当該サブワードの注目情報、ワード先頭情報、ワード末尾情報のベクトル融合を行い、当該サブワードの融合ベクトルを得る融合処理モジュールと、を備えることを特徴とする機械読解装置。

【請求項7】

前記相互作用情報算出モジュールは、
前記段落・問題ペア中の各サブワードについて、前記第１部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第１部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第１部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第１部分における当該サブワードの自己注目情報を得る自己注目情報算出モジュールを備えることを特徴とする請求項６に記載の機械読解装置。

【請求項8】

前記相互作用情報算出モジュールは、
前記段落・問題ペア中の各サブワードについて、第２部分のいずれかのサブワードに対する該サブワードの相対位置を用いて、前記第２部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第２部分のサブワードに対応するサブワードベクトルの加重合計を行い、当該サブワードの第２部分における相互注目情報を得る相互注目情報算出モジュールを備えることを特徴とする請求項６に記載の機械読解装置。

【請求項9】

前記相互作用情報算出モジュールは、
前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して、当該サブワードの融合ベクトルを得る第１の融合モジュールを備えることを特徴とする請求項６に記載の機械読解装置。

【請求項10】

コンピュータプログラムが格納され、前記コンピュータプログラムが、プロセッサによって実行されると、請求項１から５のいずれか１項に記載の機械読解方法のステップを実行することを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自然言語処理（Natural Language Processing：NLP）における機械読解（Machine Reading Comprehension）の分野に関し、具体的には、機械読解方法、装置およびコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

機械読解技術とは、アルゴリズムを用いてコンピュータに文章の意味を理解させるとともに、関連する問題に答えられるようにする技術である。段落と問題のいずれも、人間の言語形式による文字表現であり、文章は、1つまたは複数の段落を含むことができる。機械読解モデルの入力は、段落（Paragraph）と問題（Question）からなる段落・問題ペアであり、通常は一段落の文字である。機械読解モデルの出力は、該問題への予測された解答（Answer）である。

【0003】

機械読解モデルから出力する解答には、あらかじめ用意された複数の解答選択肢から解答を選択する多肢選択型、段落から解答の開始位置と終了位置を特定して解答を提供する区間解答型、自ら解答を生成する自由生成型などの種類がある。

【0004】

図1は、機械読解モデルの一般的なアーキテクチャを示し、通常は、符号化層、相互作用層、復号層（復号層は、デコーダまたは出力層と呼ばれることもある）を有する。符号化層では、段落と問題のそれぞれに底層処理を施し、段落・問題ペアをデジタル符号に変換し、コンピュータで処理可能な情報単位とする。符号化において、モデルは元の語句の文章における意味を維持する必要がある。

【0005】

相互作用層では、モデルに段落と問題の意味的なつながりに注目させ、段落の意味分析から問題への理解を深めるとともに、問題の意味分析から段落への理解を深めることができる。読解モデルは、段落と問題の意味を組み合わせて考慮し、モデルの両者への理解を深める。

【0006】

相互作用層を経て、モデルは段落と問題の意味的つながりを確立し、これにより、問題への解答を予測することができる。予測機能を完成させるモジュールは、復号層（デコーダまたは出力層）と呼ばれる。前述したように、機械読解タスクの解答には、区間解答型、多肢選択型など、様々なタイプがあるため、復号層の具体的な形態は、タスクの解答タイプとの連付けを行う必要がある。また、復号層は、モデル最適化時の評価関数と損失関数を決定する。

【0007】

本発明者らは、従来技術の機械読解モデルは、通常、相互作用層における段落と問題間の意味的つながりしか考慮しておらず、したがって、解答予測の精度を高めるためには、それらを改良する必要があることを見出した。

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明の実施形態は、機械読解モデルの性能を向上し、解答予測の精度を向上させることができる機械読解方法、装置およびコンピュータ読み取り可能な記憶媒体を提供する。

【課題を解決するための手段】

【0009】

本発明の一態様によれば、少なくとも1つの実施形態は、段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成するステップと、
前記段落・問題ペア中の各サブワードについて、前記サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記いずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置および前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、第２部分における前記サブワードの相互注目情報を算出するステップであって、前記第１部分は、前記サブワードが所在する段落または問題であり、前記第１部分が段落である場合は、前記第２部分は問題であり、前記第１部分が問題である場合は、前記第２部分は段落である、ステップと、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップと、前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得るステップと、を含む機械読解方法を提供する。

【0010】

さらに、本発明の少なくとも1つの実施形態によれば、前記第１部分における当該サブワードの自己注目情報を算出するステップは、前記段落・問題ペア中の各サブワードについて、前記第1部分におけるいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第1部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第1部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第1部分における当該サブワードの自己注目情報を得るステップを含んでもよい。

【0011】

さらに、本発明の少なくとも1つの実施形態によれば、前記第2部分における当該サブワードの相互注目情報を算出するステップは、前記段落・問題ペア中の各サブワードについて、前記第2部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第2部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第2部分のサブワードに対応するサブワードベクトルの加重合計を行い、前記第2部分のサブワードの相互注目情報を得るステップを含んでもよい。

【0012】

さらに、本発明の少なくとも1つの実施形態によれば、前記サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップは、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して、当該サブワードの融合ベクトルを取得するステップを含んでもよい。

【0013】

さらに、本発明の少なくとも1つの実施形態によれば、前記サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップは、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して、当該サブワードの注目情報を取得し、当該サブワードの注目情報と当該サブワードの所属するワードにおけるワード境界情報を融合して、当該サブワードの融合ベクトルを取得するステップを含んでもよい。

【0014】

さらに、本発明の少なくとも1つの実施形態によれば、前記サブワードの注目情報と当該サブワードの所属ワードのワード境界情報を融合して、当該サブワードの融合ベクトルを取得するステップは、各サブワードについて、当該サブワードが所属するワードにおける最初のサブワードであるか否かに基づいて、当該サブワードに対応するワード先頭情報を決定し、当該サブワードが所属するワードにおける最後のサブワードであるか否かに基づいて、当該サブワードに対応するワード末尾情報を決定するステップと、当該サブワードの注目情報、ワード先頭情報、ワード末尾情報に対してベクトル融合を行い、当該サブワードの融合ベクトルを取得するステップと、を含んでもよい。

【0015】

さらに、本発明の少なくとも1つの実施形態によれば、前記当該サブワードの自己注目情報と相互注目情報の融合は、当該サブワードの自己注目情報と相互注目情報のベクトル加算またはベクトル結合を含んでもよい。

【0016】

本発明の別の態様によれば、少なくとも1つの実施形態は、段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成する符号化モジュールと、前記段落・問題ペア中の各サブワードについて、当該サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記段落・問題ペア中のいずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置と前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、第２部分における前記サブワードの相互注目情報を算出し、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成する相互作用情報算出モジュールであって、前記第１部分は、前記サブワードが所在する段落または問題であり、前記第１部分が段落である場合は、前記第２部分が問題であり、前記第１部分が問題である場合は、前記第２部分が段落である、相互作用情報算出モジュールと、前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダにより予測された解答を得る復号化モジュールと、を備える機械読解装置を提供する。

【0017】

さらに、本発明の少なくとも1つの実施形態によれば、前記相互作用情報算出モジュールは、前記段落・問題ペア中の各サブワードについて、前記第1部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第1部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第1部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第1部分における当該サブワードの自己注目情報を得る自己注目情報算出モジュールを備える。

【0018】

さらに、本発明の少なくとも1つの実施形態によれば、前記相互作用情報算出モジュールは、前記段落・問題ペア中の各サブワードについて、第2部分のいずれかのサブワードに対する該サブワードの相対位置を用いて、前記第2部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第2部分のサブワードに対応するサブワードベクトルの加重合計を行い、当該サブワードの第2部分における相互注目情報を得る相互注目情報算出モジュールを備える。

【0019】

さらに、本発明の少なくとも1つの実施形態によれば、前記相互作用情報算出モジュールは、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して、当該サブワードの融合ベクトルを得る第1の融合モジュールを備える。

【0020】

さらに、本発明の少なくとも1つの実施形態によれば、前記相互作用情報算出モジュールは、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して、当該サブワードの注目情報を得る第2の融合モジュールと、当該サブワードの注目重み情報と、当該サブワードの所属するワードにおけるワード境界情報とを融合して、当該サブワードの融合ベクトルを得る第3の融合モジュールと、を備える。

【0021】

さらに、本発明の少なくとも1つの実施形態によれば、前記第3の融合モジュールは、各サブワードについて、当該サブワードが所属するワードにおける最初のサブワードであるか否かに基づいて、当該サブワードに対応するワード先頭情報を決定し、当該サブワードが所属するワードにおける最後のサブワードであるか否かに基づいて、当該サブワードに対応するワード末尾情報を決定するワード境界情報生成モジュールと、当該サブワードの注目情報、ワード先頭情報、ワード末尾情報のベクトル融合を行い、当該サブワードの融合ベクトルを得る融合処理モジュールと、を備える。

【0022】

本発明の実施形態は、コンピュータプログラムが格納され、前記コンピュータプログラムが、プロセッサによって実行されると、上記の機械読解方法のステップを実行するコンピュータ読み取り可能な記憶媒体をさらに提供する。

【発明の効果】

【0023】

本発明の実施形態によって提供される機械読解方法、装置およびコンピュータ読み取り可能な記憶媒体は、従来技術に比べて、サブワードの自己注目情報と相互注目情報を結合してサブワードの融合ベクトルに取り入れることで、融合ベクトルにより多くの意味的相互作用情報を含ませ、デコーダ（復号層または出力層）がより表現力のある相互作用情報から解答を予測することができ、解答の予測精度を向上することができる。さらに、本発明の実施形態では、サブワードの融合ベクトルにワードの境界情報も融合するため、予測される解答の境界がより正確になり、モデルの予測性能が向上する。

【図面の簡単な説明】

【0024】

本発明の実施形態の技術ソリューションをより明確に説明するために、以下、本発明の実施形態の説明に必要な添付の図面について簡単に説明する。 以下の説明における添付の図面は、本発明の一部の実施形態に過ぎず、当業者が創造的な努力をすることなく、これらの図面に基づいて他の図面が得られることは言うまでもない。

【図1】従来技術の機械読解モデルの1つのアーキテクチャ模式図である。

【図2】本発明の実施形態における機械読解方法の一概略処理図である。

【図3】本発明の実施形態の機械読解装置の一概略構成図である。

【図4】本発明の実施形態のニューラル機械翻訳装置の他の概略構成図である。

【図5】本発明の実施形態のニューラル機械翻訳装置の他の概略構成図である。

【図6】本発明の実施形態のニューラル機械翻訳装置の他の概略構成図である。

【図7】本発明の実施形態のニューラル機械翻訳装置の他の概略構成図である。

【発明を実施するための形態】

【0025】

本発明によって解決される技術的課題、技術ソリューション、および利点を明確にするために、以下、添付の図面および具体的な実施形態にあわせて、詳細に説明する。以下の説明では、具体的な構成や部品などの特定の細部は、本発明の実施形態の完全な理解を助けるためにのみ提供されている。したがって、本発明の範囲と精神から逸脱することなく、本明細書に記載されている実施形態に様々な変更や修正を加えられることは、当業者に明白である。また、公知の機能や構造の説明は、明確かつ簡潔にするために省略している。

【0026】

理解すべきことは、本明細書中で言及している「一実施形態」または「一つの実施形態」は、実施形態に関する特定の特徴、構造または特性が、本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書中に登場する「一実施形態で」または「一つの実施形態で」は、必ずしも同じ実施形態を意味するものではない。さらに、これらの特定の特徴、構造、または特性は、1つまたは複数の実施形態に任意の適切な方法で組み合わせることができる。

【0027】

本発明の様々な実施形態において、以下の各プロセスの通し番号の大きさは、実行の順序を意味するものではなく、各プロセスの実行順序は、その機能と固有の論理によって決定されるものであり、本発明の実施形態の実施プロセスを何ら制限するものではないことは理解すべきである。

【0028】

本発明の実施形態の理解の一助となるように、まず、本発明の実施形態に関係し得る関連概念について簡単に説明する。

【0029】

(1）ワード（word）
ワードは、構文構造におけるワードの位置と役割からみて、言語において独立して使用できる最小の単位である。例えば、英語では、通常、ワードは1つまたは複数のアルファベットを含むことがある。また、英語の文表現では、通常、ワードとワードの間にスペースや句読点がある。中国語では、ワードは単語であり、1つまたは複数の漢字を含むことがある。中国語の文表現では、通常、ワードとワードの間には境界がない。また、文字とは通常、英語ではアルファベット、中国語では漢字、及び、各種句読点（ピリオド、コンマなど）を指す。

【0030】

(2）サブワード（subword）は、文字とワードの間のテキスト表現単位であり、本明細書ではサブワード単位とも称される。例えば、8文字で構成される英語ワード"homework"は、"home"と"work "の2つのサブワードに分割することができる。また、「ho」、「me」、「work」の3つのサブワードに分割することもできる。中国語の"生命探測儀"は、5文字で構成されており、"生命"と"探測儀"の2つのサブワードに分割することができ、また、"生命"と"探測"と"儀"の3つのサブワードに分割することもできる。

【0031】

図2を参照すると、本発明の実施形態により提供される機械読解方法は、図2に示すように、具体的に英語、日本語、中国語等の言語に適用し、問題への解答を予測することができる。該方法は、以下のステップを含む。

【0032】

ステップ201において、段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成する。

【0033】

ここで、段落・問題ペアには段落と問題が含まれ、段落と問題は通常、１段落の文字であり、機械読解モデルのタスクは、すなわち、アルゴリズムを用いて段落・問題ペアの意味を理解するとともに、該問題への解答を予測することである。

【0034】

上述の段落・問題ペアを得た後、様々なワード分離技術を用いて段落・問題ペアのワード分離を行い、段落・問題ペアに含まれる個々のサブワードを得ることができる。従来のワード分離技術には、辞書・文法規則に基づくワード分離法と、統計に基づくワード分離法がある。辞書・文法規則に基づくワード分離法は、辞書照合と文法知識を用いてワード分離を行うものであり、その原理は、段落・問題ペアの文字列と辞書の語彙項目を1つずつ照合し、辞書からある文字列が見つかれば照合が成功し、分割することができ、そうでなければ分割できないというものであり、具体的には、ワード単位のトラバース法、最大マッチング法、最小サブワード分割法などが含まれる。ワード頻度統計に基づくワード分割法などの、統計に基づくワード分割法は、ワード頻度統計の方法を用いて文字がワードをなしているか否かを、段落・問題ペアにおける該文字の統計的な出現頻度に基づいて、判断するものである。

【0035】

ワード分離処理の後は、段落・問題ペア中の各サブワードにベクトル化処理を施すことができ、文字符号などのよりリッチな情報を追加するとともに、文脈符号を用いて、段落・問題ペア中の各サブワードに対応する、特定の文脈における当該サブワードの意味を含む、サブワードベクトルを得ることができる。文脈の符号化は、具体的に、リカレント・ニューラル・ネットワーク（RNN）やコンボリューショナル・ニューラル・ネットワーク（CNN）などのツールを用いることができる。

【0036】

また、本発明の実施形態では、従来技術の機械読解モデルの符号化層を用いて、段落・問題ペアに対して上記処理を施してもよく、本発明の実施形態ではこれらについての詳細な説明は省略する。

【0037】

ステップ202において、 前記段落・問題ペア中の各サブワードについて、前記サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記いずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置および前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目（self-attention（自己注意とも称される））情報を算出し、かつ第２部分における前記サブワードの相互注目（mutual attention）情報を算出するステップであって、前記第１部分が、前記サブワードが配置されている段落または問題であり、前記第１部分が段落である場合は、前記第2部分が問題であり、前記第１部分が問題である場合は、前記第2部分が段落である。

【0038】

ここで、段落・問題ペアにおけるサブワードの具体的な位置を示すものとして、絶対位置を用いることができ、例えば、段落・問題ペア中の各サブワードの絶対位置を、サブワードが段落・問題ペアに配置されている順に、位置1、位置2、位置3…と表すことができる。前記相対位置は、2つのサブワード間の相対的な距離を反映しており、具体的には、2つのサブワードの絶対位置の差の絶対値を用いて表すことができる。例えば、サブワードiとサブワードjの絶対位置をそれぞれR_iとR_jとすると、サブワードiとサブワードjの相対位置R_ijは次のように表すことができる。

【0039】

R_ij = |R_i - R_j|
本発明の実施形態では、上記ステップ202における、段落・問題ペアのある部分（例えば、段落や解答）のサブワードについて、該サブワードの段落・問題ペアの別の部分との相互注目情報を算出し、さらに、該サブワードの段落・問題ペアの同一部分における自己注目情報を算出する。

【0040】

ステップ203においては、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とに基づいて、当該サブワードの融合ベクトルを生成する。

【0041】

ここで、１つの実施形態として、本発明の実施形態では、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して、当該サブワードの融合ベクトルを得る。別の実施形態として、本発明の実施形態では、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して当該サブワードの注目情報を得る。次に、当該サブワードの注目情報と当該サブワードの所属ワードにおけるワード境界情報を融合して当該サブワードの融合ベクトルを得ることで、当該サブワードの自己注目情報とワード境界情報の両方を融合ベクトルに導入するようにする。

【0042】

ステップ204において、前記段落・問題ペア中の各サブワードの融合ベクトルを機械読解モデルのデコーダに入力し、前記デコーダによって予測された解答を得る。

【0043】

ここで、本発明の実施形態では、サブワードの融合ベクトルを機械読解モデルに入力するが、具体的には、機械読解モデルのデコーダ（出力層、解答予測モジュールやデコーダモジュールなどとも呼ばれることがある）に入力してもよい。機械読解タスクの解答には、区間解答型、多肢選択型など、様々な種類があることを考えて、デコーダの具体的な形態はタスクの解答の種類との関連付けが必要であることから、本発明の実施形態では、デコーダの種類は特に限定しない。すなわち、本発明の実施形態は、様々な種類のデコーダに適用することができる。前記デコーダは、前記段落・問題ペア中の各サブワードの融合ベクトルを与えられると、予測した解答を出力することができ、該解答を機械読解モデルのモデルトレーニングや解答予測に使用することができる。

【0044】

以上のステップを経て、本発明の実施形態では、サブワードの自己注目情報と相互注目情報とを結合してサブワードの融合ベクトルに取り入れるため、融合ベクトルにはより多くの意味的相互作用情報が含まれ、デコーダはより表現力のある相互作用情報に基づいて解答を予測することができ、解答予測の精度を向上させることができる。また、本発明の実施形態では、サブワードの融合ベクトルにワードの境界情報も取り入れているため、予測される解答の境界がより正確になり、モデルの予測性能が向上する。

【0045】

以下、上記の各ステップについて、より詳細な例を挙げて説明する。なお、以下の説明における数式やアルゴリズムは、本発明の実施形態の上記のステップを実現するための例示に過ぎず、本発明を限定するものではないことに留意されたい。

【0046】

具体的な実施態様として、上記ステップ202における、前記段落・問題ペア中のあるサブワードについて、前記第1部分における当該サブワードの自己注目情報を算出するステップは、前記第1部分におけるいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第1部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第1部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第1部分における当該サブワードの自己注目情報を得る。

【0047】

例えば、第1部分のサブワードiに対して、当該サブワードiと第1部分のサブワードjの間の自己注目重みW_{i, j}次のように表される。

【0048】

W_{i, j} = Attention(v_i, v_j, R_ij)
前記第1部分における該サブワードiの自己注目情報S_iは、次のように表される。

【数1】

【0049】

式中、v_iとv_jは、それぞれサブワードiとサブワードjのサブワードベクトルであり、例えば、従来技術の機械読解モデルの符号化層から出力されたサブワードiとサブワードjのベクトルを用いて算出することができる。Attention()は、注目重みの算出式を表す。
（外１）

は、jが第１部分におけるサブワードであることを表す。なお、算出を容易にするために、自己注目重みW_{i, j}は、正規化された重みであってもよく、すなわち、サブワードiと前記第１部分におけるすべてのサブワードjとの間の自己注目重みW_{i, j}の合計を1としてもよい。

【0050】

同様に、上記ステップ202における、前記段落・問題ペア中のあるサブワードについて、前記第2部分における当該サブワードの相互注目情報を算出するステップは、前記段落・問題ペア中の各サブワードについて、前記第2部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第2部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第2部分のサブワードに対応するサブワードベクトルの加重合計を行い、前記第2部分のサブワードの相互注目情報を得る。

【0051】

例えば、第1部分のサブワードiに対して、当該サブワードiと第2部分のサブワードjの間の相互注目重みW’_i,jは次のように示される。

【0052】

W’_{i, j} = Attention(v_i, v_j, R_ij)
前記第2部分における当該サブワードiの相互注目情報Miは、次のように表される。

【数2】

【0053】

式中、v_iとv_jは、それぞれサブワードiとサブワードjのサブワードベクトルであり、例えば、従来技術の機械読解モデルの符号化層から出力されたサブワードiとサブワードjのベクトルを用いて算出することができる。Attention()は、注目重みの算出式を表す。
（外２）

は、jが第２部分におけるサブワードであることを表す。なお、算出を容易にするために、相互注目重みW’_{i, j}は、正規化された重みであってもよく、すなわち、サブワードiと前記第２部分におけるすべてのサブワードjとの間の相互注目重みW’_{i, j}の合計を1としてもよい。

【0054】

注目重みの具体的な算出式を以下に示す。

【0055】

Attention(v_i, v_j, R_ij) = softMax(v_i W_iW_j ^Tv_j ^T + R_ij)
式中、W_iとW_jは、それぞれサブワードiとサブワードjの重みパラメータであり、例えば、従来技術の機械読解モデルの符号化層から出力されるサブワードiとサブワードjの重み行列を用いて算出することができる。

【0056】

上記ステップ203の一実施形態では、あるサブワードの自己注目情報および相互注目情報を融合して該サブワードの注目情報を得るとともに、該サブワードの注目情報を該サブワードの融合ベクトルとし、具体的には、該サブワードの自己注目情報および相互注目情報のベクトル加算や、ベクトル接合を行うことができ、あるいは他の融合形式（例えば、ベクトルの重み付け後に加算する等）を用いてもよい。上記の融合プロセスは、以下の式で表される。

【0057】

H_i=Aggregate(S_i, M_i)
式中、H_iは、当該サブワードiの注目情報を示し、Aggregate()は、集計関数を表す。例えば、具体的に、集計関数は、以下のようになる。

【0058】

Aggregate(S_I, M_i) = S_I + M_i
上記の集計関数は、ベクトル加算による融合を表している。

【0059】

上記ステップ203の別の実施形態では、さらに、サブワードの注目情報（すなわち、上記式のH_i)と当該サブワードの所属ワードにおけるワード境界情報を融合させることで、サブワードごとの融合ベクトルを取得し、具体的には、各サブワードについて、当該サブワードが所属ワードの最初のサブワードであるか否かに基づいて、当該サブワードに対応する語頭（ワード先頭）情報を決定し、かつ当該サブワードが所属ワードの最後のサブワードであるか否かに基づいて、当該サブワードに対応する語尾（ワード末尾）情報を決定し、その後、当該サブワードの注目情報、語頭情報、および語尾情報のベクトル融合を行い、当該サブワードの融合ベクトルを得る。ここで、該サブワードの所属するワードの境界情報とは、該サブワードの所属するワード内の位置が、語尾であるか、あるいは語頭であるかを指している。ベクトルの融合には、ベクトル接合（結合）、ベクトル加算などの融合方法がある。以下、ベクトル接合の実施形態について説明する。

【0060】

例えば、サブワードiの場合、そのワードの境界情報は次のように算出される。

【数3】

【0061】

ワードの境界情報の１例を表1に示す。語頭の情報は、潜在的な解答の開始位置を示し、語尾の情報は、潜在的な解答の終了位置を示している。例えば、BPE（Byte Pair Encoding）などのアルゴリズムでは、珍しいワードはサブワードに分割されることがあり、たとえば、表1のように、「culmination」が{cu, ##lm, ##ination}に分割される。明らかに、「## lm」と「## ination」を解答の開始位置にすることはできないため、この部分の語頭情報は0である。ここで、語頭情報における0はサブワードが語頭ではないことを示し、1はサブワードが語頭であることを示し、語尾情報における0はサブワードが語尾ではないことを示し、1はサブワードが語尾であることを示している。

【表1】

【0062】

その後、１つの融合関数を用いて語頭と語尾情報をモデルに取り込み、最終的な融合ベクトル表現
（外３）

を得る。

【数4】

【0063】

一例として、融合関数Merge()は、以下のように表され、すなわち、単純なベクトル接合を行う。

【数5】

【0064】

最終的な融合ベクトル表現
（外４）

は、デコーダ（出力層や解答予測モジュールとも呼ばれる）に入力され、解答が得られる。

【0065】

上記の実施形態によって提供される機械読解方法によれば、本発明の実施形態は、さらに、コンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体を提供し、当該コンピュータプログラムが、プロセッサによって実行されると、上記のいずれかの方法の実施形態における機械読解方法のステップを実施する。

【0066】

上記の方法に基づき、本発明の実施形態は、さらに上記の方法を実施するための装置も提供する。図3を参照すると、本発明の実施形態によって提供される機械読解装置は、段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成する符号化モジュール31と、前記段落・問題ペア中の各サブワードについて、当該サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記段落・問題ペア中のいずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置と前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、かつ第１部分における前記サブワードの相互注目情報を算出するものであって、前記第１部分が、前記サブワードが配置されている段落または問題であり、前記第１部分が段落である場合は、前記第２部分が問題であり、前記第１部分が問題である場合は、前記第２部分が段落であり、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成する相互作用情報算出モジュール32と、前記段落・問題ペア中の各サブワードの融合ベクトルを、機械読解モデルのデコーダに入力し、前記デコーダの予測解答を得る復号化モジュール33と、を備える。

【0067】

以上のような機械読解装置により、本発明の実施形態は、解答予測の精度を向上させることができる。

【0068】

図4を参照すると、本発明の実施形態において、前記相互作用情報算出モジュール32は、前記段落・問題ペア中の各サブワードについて、前記第1部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第1部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第1部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第1部分における当該サブワードの自己注目情報を得る自己注目情報算出モジュール321と、前記段落・問題ペア中の各サブワードについて、第2部分のいずれかのサブワードに対する該サブワードの相対位置を用いて、前記第2部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第2部分のサブワードに対応するサブワードベクトルの加重合計を行い、当該サブワードの第2部分における相互注目情報を得る相互注目情報算出モジュール322と、を備える。

【0069】

一実施形態として、図5を参照すると、本発明の実施形態において、前記相互作用情報算出モジュール32は、さらに、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して、当該サブワードの融合ベクトルを得るための第1の融合モジュール323を備える。

【0070】

別の実施形態として、図６を参照すると、本発明の実施形態において、前記相互作用情報算出モジュール32は、さらに、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して、当該サブワードの注目情報を得るための第2の融合モジュール324と、当該サブワードの注目重み情報と、当該サブワードの所属ワードのワード境界情報とを融合して、当該サブワードの融合ベクトルを得るための第3の融合モジュール325と、を備える。

【0071】

ここで、上述の第1の融合モジュールまたは第2の融合モジュールは、当該サブワードの自己注目情報と相互注目情報とを融合させる際に、具体的には、該サブワードの自己注目情報と相互注目情報とのベクトル加算またはベクトル接合を行うようにしてもよい。

【0072】

ここで、上述の第3融合モジュールは、具体的には、以下のモジュール（図6には未図示）、すなわち、各サブワードについて、当該サブワードが所属ワードの最初のサブワードであるか否かに基づいて、当該サブワードに対応する語頭情報を決定し、かつ当該サブワードが所属ワードの最後のサブワードであるか否かに基づいて、当該サブワードに対応する語尾情報を決定するワード境界情報生成モジュールと、当該サブワードの注目情報、語頭情報、語尾情報のベクトル融合を行い、当該サブワードの融合ベクトルを得る融合処理モジュールを備えてもよい。

【0073】

図7を参照すると、本発明の実施形態は、さらに、機械読解装置のハードウェア構成ブロック図を提供し、図7に示すように、機械読解装置700は、プロセッサ702、およびメモリ704を有し、前記メモリ704にコンピュータプログラム命令が格納されており、前記コンピュータプログラム命令が前記プロセッサによって実行されると、前記プロセッサ702に、段落と問題からなる段落・問題ペアを取得し、前記段落・問題ペア中の各サブワードに対応するサブワードベクトルを生成するステップと、前記段落・問題ペア中の各サブワードについて、前記サブワードと前記段落・問題ペア中のいずれかのサブワードとの間の距離に基づいて、前記いずれかのサブワードに対する前記サブワードの相対位置を決定し、前記相対位置および前記サブワードのサブワードベクトルを用いて、第１部分における前記サブワードの自己注目情報を算出し、かつ第２部分における前記サブワードの相互注目情報を算出するステップであって、前記第１部分が、前記サブワードが配置されている段落または問題であり、前記第１部分が段落である場合は、前記第２部分が問題であり、前記第１部分が問題である場合は、前記第２部分が段落である、ステップと、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報に基づいて、当該サブワードの融合ベクトルを生成するステップと、前記段落・問題ペア中の各サブワードの融合ベクトルを、機械読解モデルのデコーダに入力し、前記デコーダの予測解答を得るステップを実行させる。

【0074】

さらに、図7に示すように、機械読解装置700は、ネットワークインターフェース701、入力装置703、ハードディスク705、および表示装置706をさらに含む。

【0075】

上述した様々なインターフェースやデバイスは、バスアーキテクチャを介して互いに接続されていてもよい。バスアーキテクチャは、互いに接続された任意の数のバスとブリッジを含んでいてもよい。具体的には、プロセッサ702で表される1つ以上のCPU（Central Processing Unit）と、メモリ704で表される1つ以上のメモリの各種回路が互いに接続されている。また、バスアーキテクチャは、周辺機器、電圧レギュレータ、電源管理回路など、他の各種回路を接続することもできる。バスアーキテクチャがこれらのコンポーネント間の接続通信を可能にするために使用されていることが理解できる。データバス以外にも、バスアーキテクチャには、電源バス、制御バス、ステータス信号バスも含まれており、これらはいずれも当技術分野で周知されているため、本明細書では詳細は割愛する。

【0076】

前記ネットワークインターフェース701は、ネットワーク（インターネット、LANなど）に接続可能であり、ネットワークからのデータを受信し、受信したデータをハードディスク705に保存することができる。

【0077】

前記入力装置703は、操作者が入力した様々な指示を受け取り、実行のためにプロセッサ702に送ることができる。前記入力装置703は、キーボードやクリック装置（例えば、マウス、トラックボール、タッチパッド、タッチパネルなど）で構成されていてもよい。

【0078】

前記表示装置706は、プロセッサ702による命令実行から得られた結果、例えば、予測した解答などを表示してもよい。

【0079】

前記メモリ704は、オペレーティングシステムの動作に必要なプログラムやデータ、プロセッサ702の演算中の中間結果などのデータを格納する。

【0080】

なお、本発明の実施形態におけるメモリ704は、揮発性メモリであっても不揮発性メモリであってもよく、また、揮発性メモリと不揮発性メモリの両方で構成されていてもよいことは理解できる。不揮発性メモリは、リードオンリーメモリ（ROM）、プログラマブルリードオンリーメモリ（PROM）、消去可能プログラマブルリードオンリーメモリ（EPROM）、電気的消去可能プログラマブルリードオンリーメモリ（EEPROM）、またはフラッシュメモリであってもよい。揮発性メモリは、外部キャッシュとして使用されるRAM（Random Access Memory）であってもよい。本明細書に記載された装置および方法のメモリ704は、これらのメモリおよび他の任意の適切なタイプのメモリを含むことができるが、これらに限定されるものではない。

【0081】

いくつかの実施形態では、メモリ704は、オペレーティングシステム7041およびアプリケーションプログラム7042といった要素を格納し、モジュールまたはデータ構造、またはそれらのサブセット、またはそれらの拡張セットを実行することが可能である。

【0082】

オペレーティングシステム7041は、フレームワーク層、コアライブラリ層、ドライバ層など、各種基本サービスの実装や、ハードウェアベースのタスク処理用の各種システムプログラムを含む。アプリケーションプログラム7042は、各種アプリケーションサービスを実施するための、ブラウザ（Browser）などの各種アプリケーションを含む。本発明の実施形態の方法を実施するためのプログラムは、アプリケーションプログラム7042に含めることができる。

【0083】

本発明の上記実施形態で開示された方法は、プロセッサ702内に適用してもよく、プロセッサ702によって実施されてもよい。プロセッサ702は、信号処理能力を有する集積回路チップであってもよい。実装においては、上述した方法の各ステップは、プロセッサ702内のハードウェアの集積論理回路によって、またはソフトウェアの形態の命令によって達成されてもよい。上述したプロセッサ702は、汎用プロセッサ、デジタル信号プロセッサ（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）または他のプログラマブル・ロジック・デバイス、ディスクリート・ゲートまたはトランジスタ・ロジック・デバイス、ディスクリート・ハードウェアコンポーネントであってもよく、本発明の実施形態で開示された各方法、ステップ、および論理ブロック図を実装または実行することができる。汎用プロセッサは、マイクロプロセッサであってもよく、また、該プロセッサは、従来の任意のプロセッサなどであってもよい。本発明の実施形態にあわせて開示された方法のステップは、ハードウェアの復号化処理装置に直接具現化して実行されてもよく、復号化処理装置のハードウェアモジュールとソフトウェアモジュールの組み合わせで実行されてもよい。ソフトウェアモジュールは、ランダムメモリ、フラッシュメモリ、リードオンリーメモリ、プログラマブルリードオンリーメモリ、または電気的に消去可能なプログラマブルメモリ、レジスタ、などの当技術分野で十分に確立された他の記憶媒体に配置することができる。該記憶媒体はメモリ704に配置され、プロセッサ702がメモリ704の情報を読み出し、そのハードウェアとの組み合わせで上記方法のステップを実現する。

【0084】

本明細書で説明したこれらの実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせで実装することができることを理解していただきたい。ハードウェア実装の場合、処理ユニットは、1つまたは複数の特殊用途向け集積回路（ASIC）、デジタル信号プロセッサ（DSP）、デジタル信号処理装置（DSPD）、プログラマブル・ロジック・デバイス（PLD）、フィールド・プログラマブル・ゲート・アレイ（FPGA）、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願明細書に記載された機能を実行するための他の電子ユニット、またはそれらの組み合わせで実装することができる。

【0085】

ソフトウェア実装の場合、本明細書に記載されている技術は、本明細書に記載されている機能を実行するモジュール（プロシージャ、ファンクションなど）によって実装することができる。ソフトウェアコードは、メモリに格納され、プロセッサによって実行されてもよい。メモリは、プロセッサ内に実装されていても、プロセッサ外に実装されていてもよい。

【0086】

具体的には、前記コンピュータプログラムがプロセッサ702によって実行される際に、さらに、前記段落・問題ペア中の各サブワードについて、前記第1部分におけるいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第1部分のいずれかのサブワードの自己注目重みを算出し、前記自己注目重みを用いて、前記第1部分のサブワードに対応するサブワードベクトルの加重合計を行うことにより、前記第1部分における当該サブワードの自己注目情報を得るステップを実装してもよい。

【0087】

具体的には、前記コンピュータプログラムがプロセッサ702によって実行される際に、さらに、前記段落・問題ペア中の各サブワードについて、前記第2部分のいずれかのサブワードに対する当該サブワードの相対位置を用いて、前記第2部分のいずれかのサブワードの相互注目重みを算出し、前記相互注目重みを用いて、前記第2部分のサブワードに対応するサブワードベクトルの加重合計を行い、前記第2部分のサブワードの相互注目情報を得るステップを実装してもよい。

【0088】

具体的には、前記コンピュータプログラムがプロセッサ702によって実行される際に、さらに、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報を融合して、当該サブワードの融合ベクトルを得るステップを実装してもよい。

【0089】

具体的には、前記コンピュータプログラムがプロセッサ702によって実行される際に、さらに、前記段落・問題ペア中の各サブワードについて、当該サブワードの自己注目情報と相互注目情報とを融合して当該サブワードの注目情報を取得し、かつ当該サブワードの注目情報と当該サブワードの所属ワードのワード境界情報とを融合して当該サブワードの融合ベクトルを取得するステップを実装してもよい。

【0090】

具体的には、前記コンピュータプログラムがプロセッサ702によって実行される際に、さらに、各サブワードについて、当該サブワードが所属ワードの最初のサブワードであるか否かに基づいて、当該サブワードに対応する語頭情報を決定し、かつ当該サブワードが所属ワードの最後のサブワードであるか否かに基づいて、当該サブワードに対応する語尾情報を決定するステップと、当該サブワードの注目情報、語頭情報、語尾情報のベクトル融合を行い、当該サブワードの融合ベクトルを得るステップを実装してもよい。

【0091】

具体的には、前記コンピュータプログラムがプロセッサ702によって実行される際に、さらに、当該サブワードの自己注目情報と相互注目情報のベクトル加算またはベクトル接合を行うことで、当該サブワードの自己注目情報と相互注目情報を融合するステップを実装してもよい。

【0092】

当業者であれば、本明細書に開示された実施形態にあわせて説明した各例のユニットおよびアルゴリズムのステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組み合わせで実装可能であることが認識できる。これらの機能をハードウェアで実現するか、ソフトウェアで実現するかは、技術的ソリューションの特定の用途と設計上の制約に依存する。当業者は、特定の用途ごとに、説明した機能を実装するために異なる方法を用いることができるが、そのような実装は本発明の範囲を逸脱するものとみなされるべきではない。

【0093】

当業者には明らかなように、説明の便宜と簡潔さのために、上述したシステム、デバイス、ユニットの特定の作業プロセスは、前述の方法の実施形態における対応プロセスを参照することができ、ここでは詳細は割愛する。

【0094】

本願で提供される実施形態において、開示された装置および方法は、他の方法で実施可能であることは理解すべきである。例えば、上述した装置の実施形態は単なる例示であり、例えば、前記ユニットの分割は、論理的な機能分割に過ぎず、実際に実施する際には別の方法で分割してもよく、例えば、複数のユニットやコンポーネントを組み合わせたり、別のシステムに統合したりすることができ、また、一部の特徴を無視するか、実装しないことも可能である。別の点では、図示または議論されている相互結合または直接結合または通信接続は、インターフェースを介して行われてもよく、デバイスまたはユニットの間接的な結合または通信接続は、電気的、機械的またはその他の形式で行われてもよい。

【0095】

個別のパーツとして記述されているユニットは、物理的に分離されているものであっても、分離されていないものであってもよく、ユニットとして表示されているパーツは、物理的なユニットであってもそうでなくてもよい。すなわち、1つの場所に配置されていてもよく、あるいは、複数のネットワークユニットに分散していてもよい。これらのユニットの一部または全部は、実用上の必要性に応じて選択することで、本発明の実施形態のソリューションの目的を達成することができる。

【0096】

なお、本発明の各実施形態における個々の機能ユニットは、単一の処理ユニットに統合されていても、個々のユニットが物理的に別々に存在していてもよく、2つ以上のユニットが単一のユニットに統合されていてもよい。

【0097】

前述の機能が、ソフトウェア機能ユニットの形で実装され、単独製品として販売または使用される場合は、コンピュータ読み取り可能な記憶媒体に格納されていてもよい。このような理解に基づき、本発明の技術的ソリューションの、本質的に或いは従来技術に寄与する部分あるいは該技術的ソリューションの一部は、の形態で具現化されてもよい。該コンピュータソフトウェア製品は記憶媒体に格納され、コンピュータ装置（パーソナルコンピュータ、サーバ、またはネットワーク装置などであってもよい）に本発明の各実施形態に記載されている前述の方法のすべてまたは一部のステップを実行させるための命令を含む。前述の記憶媒体は、USBメモリ、リムーバブルハードディスク、ROM、RAM、ディスク、CD-ROMなど、プログラムコードを格納できる各種媒体を含む。

【0098】

以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲はこれに限定されるものではなく、本発明が開示する技術的範囲内で、当業者が容易に考えられる変形や置換は、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、特許請求の範囲の保護範囲に準拠するものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】