知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024147528
(43)【公開日】2024-10-16
(54)【発明の名称】モデル訓練方法、モデル訓練装置および記憶媒体
(51)【国際特許分類】
G06F 40/56 20200101AFI20241008BHJP
G06F 16/90 20190101ALI20241008BHJP
【ＦＩ】
G06F40/56
G06F16/90 100
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2024060102
(22)【出願日】2024-04-03
(31)【優先権主張番号】202310347623.5
(32)【優先日】2023-04-03
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ホォンユィ リ
(72)【発明者】
【氏名】ビヌ ドォン
(72)【発明者】
【氏名】シャヌシャヌ ジアン
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175EA01
(57)【要約】
【課題】本発明はモデル訓練方法、装置および記憶媒体を提供する。
【解決手段】本発明の実施例はモデルの訓練過程において、疑問詞に対応する第1提示テキストとテキストサンプルを回答選択モデルの入力とし、回答選択モデルに特定タイプの回答候補を出力させ、また、疑問詞に対応する第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルの入力とし、同じ疑問詞およびその解釈を含む提示テキストによって回答選択モデルと質問生成モデルを関連付けて、選択された回答候補と関連する質問を質問生成モデルに生成させることにより、モデルが生成する質問回答対の性能が改善される。
【選択図】図1
【解決手段】本発明の実施例はモデルの訓練過程において、疑問詞に対応する第1提示テキストとテキストサンプルを回答選択モデルの入力とし、回答選択モデルに特定タイプの回答候補を出力させ、また、疑問詞に対応する第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルの入力とし、同じ疑問詞およびその解釈を含む提示テキストによって回答選択モデルと質問生成モデルを関連付けて、選択された回答候補と関連する質問を質問生成モデルに生成させることにより、モデルが生成する質問回答対の性能が改善される。
【選択図】図1
【特許請求の範囲】
【請求項1】
コンピュータが実行するモデル訓練方法であって、
目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと前記疑問詞を含む質問の生成を提示する第2提示テキストを生成し、
テキストサンプル、疑問詞を含む質問サンプル、及び前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得し、
原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得、また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成し、複数の前記第2訓練サンプルを含む第2訓練セットを得、及び
前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する、ことを含む、
ことを特徴とするモデル訓練方法。
目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと前記疑問詞を含む質問の生成を提示する第2提示テキストを生成し、
テキストサンプル、疑問詞を含む質問サンプル、及び前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得し、
原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得、また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成し、複数の前記第2訓練サンプルを含む第2訓練セットを得、及び
前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する、ことを含む、
ことを特徴とするモデル訓練方法。
【請求項2】
前記第1訓練セットが少なくとも一つの第3訓練サンプルをさらに含み、
第1テキストサンプルに対して、当該第1テキストサンプルに対応する全ての質問サンプルに含まれない第1疑問詞を特定し、前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて前記第3訓練サンプルを形成する
ことを特徴とする請求項1に記載のモデル訓練方法。
第1テキストサンプルに対して、当該第1テキストサンプルに対応する全ての質問サンプルに含まれない第1疑問詞を特定し、前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて前記第3訓練サンプルを形成する
ことを特徴とする請求項1に記載のモデル訓練方法。
【請求項3】
前記第1訓練セットを用いて回答選択モデルを訓練し、前記第2訓練セットを用いて質問生成モデルを訓練することは、
前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し、及び
前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する、ことを含む、
ことを特徴とする請求項1に記載のモデル訓練方法。
前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し、及び
前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する、ことを含む、
ことを特徴とする請求項1に記載のモデル訓練方法。
【請求項4】
目標テキストに対して、前記目標言語中の疑問詞から第2疑問詞を選択し、
前記第2疑問詞に対応する第1提示テキストと前記目標テキストを、前記回答選択モデルに入力して、前記回答選択モデルが出力する目標回答を得、及び
前記第2疑問詞に対応する第2提示テキスト、前記目標テキスト及び前記目標回答を、前記質問生成モデルに入力して、前記質問生成モデルが出力する目標質問を得る、ことをさらに含む、
ことを特徴とする請求項1に記載のモデル訓練方法。
前記第2疑問詞に対応する第1提示テキストと前記目標テキストを、前記回答選択モデルに入力して、前記回答選択モデルが出力する目標回答を得、及び
前記第2疑問詞に対応する第2提示テキスト、前記目標テキスト及び前記目標回答を、前記質問生成モデルに入力して、前記質問生成モデルが出力する目標質問を得る、ことをさらに含む、
ことを特徴とする請求項1に記載のモデル訓練方法。
【請求項5】
前記疑問詞に対応する第1提示テキストと第2提示テキストはそれぞれ前記疑問詞と前記疑問詞の解釈を含む、
ことを特徴とする請求項1に記載のモデル訓練方法。
ことを特徴とする請求項1に記載のモデル訓練方法。
【請求項6】
前記回答選択モデルは自然言語理解モデルであり、前記質問生成モデルは自然言語生成モデルである、
ことを特徴とする請求項1に記載のモデル訓練方法。
ことを特徴とする請求項1に記載のモデル訓練方法。
【請求項7】
目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと前記疑問詞を含む質問の生成を提示する第2提示テキストを生成する第1生成モジュールと、
テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得する第1取得モジュールと、
原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得、また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成し、複数の前記第2訓練サンプルを含む第2訓練セットを得る第2生成モジュールと、
前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する訓練モジュールと、を含む、
ことを特徴とするモデル訓練装置。
テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得する第1取得モジュールと、
原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得、また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成し、複数の前記第2訓練サンプルを含む第2訓練セットを得る第2生成モジュールと、
前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する訓練モジュールと、を含む、
ことを特徴とするモデル訓練装置。
【請求項8】
前記第1訓練セットが少なくとも一つの第3訓練サンプルをさらに含み、
第1テキストサンプルに対して、当該第1テキストサンプルに対応する全ての質問サンプルに含まれない第1疑問詞を特定し；前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて前記第3訓練サンプルを形成する第3生成モジュールを含む、
ことを特徴とする請求項7に記載のモデル訓練装置。
第1テキストサンプルに対して、当該第1テキストサンプルに対応する全ての質問サンプルに含まれない第1疑問詞を特定し；前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて前記第3訓練サンプルを形成する第3生成モジュールを含む、
ことを特徴とする請求項7に記載のモデル訓練装置。
【請求項9】
前記訓練モジュールは、
前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し、及び
前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する、
ことを特徴とする請求項7または8に記載のモデル訓練装置。
前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し、及び
前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する、
ことを特徴とする請求項7または8に記載のモデル訓練装置。
【請求項10】
目標テキストに対して、前記目標言語中の疑問詞から第2疑問詞を選択し、前記第2疑問詞に対応する第1提示テキストと前記目標テキストを、前記回答選択モデルに入力して、前記回答選択モデルが出力する目標回答を得、前記第2疑問詞に対応する第2提示テキスト、前記目標テキスト及び前記目標回答を、前記質問生成モデルに入力して、前記質問生成モデルが出力する目標質問を得るモデル応用モジュールを更に含む、
ことを特徴とする請求項7に記載のモデル訓練装置。
ことを特徴とする請求項7に記載のモデル訓練装置。
【請求項11】
前記疑問詞に対応する第1提示テキストと第2提示テキストはそれぞれ前記疑問詞と前記疑問詞の解釈を含む、
ことを特徴とする請求項7に記載のモデル訓練装置。
ことを特徴とする請求項7に記載のモデル訓練装置。
【請求項12】
前記回答選択モデルは自然言語理解モデルであり、前記質問生成モデルは自然言語生成モデルである、
ことを特徴とする請求項7に記載のモデル訓練装置。
ことを特徴とする請求項7に記載のモデル訓練装置。
【請求項13】
コンピュータに、請求項1から6のいずれか1項に記載されるモデル訓練方法を実行させるためのプログラム。
【請求項14】
請求項13に記載のプログラムを記憶しているコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は機械学習と自然言語処理(NLP，Natural Language Processing)技術に関し、具体的には、モデル訓練方法、モデル訓練装置および記憶媒体に関する。
【背景技術】
【0002】
質問生成技術は自然言語処理分野における重要な技術の一つである。質問生成の目的は、ユーザが指定した1つのテキストに対して、そのテキストに関連するいくつかの質問を生成し、テキストにおいてこれらの質問の回答を教示すことである。質問生成技術は、質問と回答の組合せ、すなわち質問回答対(本文では、単にQ&A対と呼ぶこともある)を自動的に生成するために、Q&Aシステムや検索エンジンで広く用いられている。Q&Aシステムと検索エンジンには、多数の質問回答対が必要である。Q&Aシステムにおいて、自動質問回答方法の一つとして、類似度アルゴリズムを用いて、ユーザの質問を予めデータベース内で作成された質問回答対にマッチングさせて回答を得る方法がある。一方、検索エンジンは、ユーザの質問に対して検索されたテキストの中から正解を見つける機械読解モデルを用いている。しかし、機械読解モデルは大量のQ&A対で訓練する必要がある。これらのQ&A対の生成には多くの時間と労力が必要であり、場合によってはタグ付け者にある程度の専門性が要求される。しかし、質問生成技術は、自動的にQ&A対を生成することにより、Q&Aシステムや検索エンジンの構築コストを大幅に削減される。
【0003】
現在、主流の質問生成システムは、通常一つの回答選択モデルと一つの質問生成モデルを含む。そのうち、回答選択モデルはテキストから回答候補を選択し、質問生成モデルはテキストと回答選択モデルより選択された回答候補に基づいて関連する質問を生成する。従来の質問生成方法の一つは、一つの回答選択モデル(sequence-to-sequenceモデル)を訓練することで複数のキーフレーズ(回答候補)を生成する。この回答選択モデルは、大規模なQ&Aデータ集(SQuAD)から人手で選択された回答から、回答候補により高い確率を割り当てることを学習した。また、この方法は、選択された回答候補に基づいて質問を生成する質問生成モデルを提供する。この方法は、回答選択モデルが訓練において、テキスト内のすべてのタイプの回答候補を同時に選択することを学習するため、モデルが質問価値の特徴を捉え難い欠点がある。なお、質問生成モデルは、回答を選択した後に、質問生成を支援するために回答選択モデルから追加情報(回答のタイプなど)が得られないため、選択された回答に関連しない質問を生成してしまう可能性がある。
【0004】
そのため、選択された回答と生成された質問の関連性を向上させる質問生成技術が求められている。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の少なくとも一つの実施例はモデル訓練方法、装置および記憶媒体を提供し、回答選択モデルより選択される回答と質問生成モデルより生成される質問の関連性を向上させることを目的とする。
【0006】
語意マッチングタスクの精度を向上させる。
【課題を解決するための手段】
【0007】
本発明は、上記技術問題を解決するために、以下の技術を提供する。
【0008】
まず、本発明の実施例は、目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと前記疑問詞を含む質問の生成を提示する第2提示テキストを生成し；テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始（オリジナル）訓練サンプルを取得し；原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得、また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成し、複数の前記第2訓練サンプルを含む第2訓練セットを得る第2生成モジュールと；前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する、ことを含む、ことを特徴とするモデル訓練方法を提供する。
【0009】
オプションとして、前記第1訓練セットが少なくとも一つの第3訓練サンプルをさらに含み、前記第3訓練サンプルは、第1テキストサンプル毎に対応する全ての質問サンプルのいずれにも第1疑問詞が含まれないことを判定し；前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて形成される。
【0010】
また、オプションとして、前記第1訓練セットを用いて回答選択モデルを訓練し、前記第2訓練セットを用いて質問生成モデルを訓練することは、前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し；前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する、ことを含む。
【0011】
また、オプションとして、上記のモデル訓練方法は、目標テキストに対して、前記目標言語中の疑問詞から第2疑問詞を選択し；前記第2疑問詞に対応する第1提示テキストと前記目標テキストを、前記回答選択モデルに入力して、前記回答選択モデルが出力する目標回答を得；前記第2疑問詞に対応する第2提示テキスト、前記目標テキスト及び前記目標回答を、前記質問生成モデルに入力して、前記質問生成モデルが出力する目標問題を得る、ことを含む。
【0012】
また、オプションとして、上記モデル訓練方法は、前記疑問詞に対応する第1提示テキストと第2提示テキストはそれぞれ前記疑問詞と前記疑問詞の解釈を含む。
【0013】
また、オプションとして、前記回答選択モデルは自然言語理解モデルであり、前記質問生成モデルは自然言語生成モデルである。
【0014】
そして、本発明の実施例は、目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと前記疑問詞を含む質問の生成を提示する第2提示テキストを生成する第1生成モジュールと、テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得する第1取得モジュールと、原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得；また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成し、複数の前記第2訓練サンプルを含む第2訓練セットを得る第2生成モジュールと；前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する訓練モジュールと、を含むことを特徴とするモデル訓練装置を提供する。
【0015】
オプションとして、前記第1訓練セットが少なくとも一つの第3訓練サンプルをさらに含み、前記第3訓練サンプルは、第1テキストサンプル毎に対応する全ての質問サンプルのいずれにも第1疑問詞が含まれないことを判定し；前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて形成される。
【0016】
オプションとして、前記訓練モジュールは、前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し；前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する。
【0017】
また、オプションとして、モデル訓練装置は、目標テキストに対して、前記目標言語中の疑問詞から第2疑問詞を選択し；前記第2疑問詞に対応する第1提示テキストと前記目標テキストを、前記回答選択モデルに入力して、前記回答選択モデルが出力する目標回答を得；前記第2疑問詞に対応する第2提示テキスト、前記目標テキスト及び前記目標回答を、前記質問生成モデルに入力して、前記質問生成モデルが出力する目標問題を得るモデル応用モジュールを更に含む。
【0018】
また、オプションとして、前記疑問詞に対応する第1提示テキストと第2提示テキストはそれぞれ前記疑問詞と前記疑問詞の解釈を含む。
【0019】
また、オプションとして、選前記回答選択モデルは自然言語理解モデルであり、前記質問生成モデルは自然言語生成モデルである。
【0020】
さらに、本発明の実施例は、コンピュータ読み取り可能な記憶媒体であって、コンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサに実行されることにより、上述のモデル訓練方法のステップが実現されることを特徴とする記憶媒体を提供する。
【発明の効果】
【0021】
従来と比べ、本発明の実施例に提供されるモデル訓練方法および装置によれば、モデル訓練において、疑問詞に対応する第1提示テキストとテキストサンプルを回答選択モデルの入力として、回答選択モデルに特定の種類の回答候補を出力させると共に、前記疑問詞に対応する第2提示テキスト、テキストサンプルと回答サンプルを質問生成モデルの入力として、同じ疑問詞およびその解釈を含む提示テキストによって回答選択モデルを質問生成モデルに関連付けることにより、選択された回答と生成された質問の関連性を向上させ、さらに、モデルが生成する質問回答対のパフォーマンスを改善することができる。
【図面の簡単な説明】
【0022】
以下に好ましい実施形態を詳細に説明することにより、様々な他のメリットや利点が当業者には明らかになるであろう。添付図面は好ましい実施方式を示す目的にのみ用いられ、本発明を限定するものではない。なお、図面全体を通して同一の部品には同一の参照符号を付する。
【発明を実施するための形態】
【0023】
本発明が解決しようとする問題、構成及び効果をより明確にするために、以下に、図面と具体的な実施例を合わせて詳しく説明する。以下の説明では、具体的な配置と構成要素の特定の細部は本発明の実施例を全面的に理解することを助けるためだけである。したがって、本発明の範疇と精神から逸脱することなく、ここに記述された実施例に対して様々な変更と修正を行うことができることが当業者には明らかである。なお、明瞭と簡潔な記載のため、既知の機能と構成の説明は省略する。
【0024】
明細書を通して言及される「一つの実施例」または「一実施例」は実施例と関連する特定の特徴、構造または特性が本願の少なくとも一つの実施例に含まれることを意味する。そのため、明細書の各所に記載される「一つの実施例中に」又は「一実施例中に」は必ずしも同じ実施例を指すとは限らない。その他、これらの特定の特徴、構成または特性は任意の適当な方式で一つ或いは複数の実施例に結合できる。本願の明細書と特許請求の範囲の中の用語「第1」、「第2」などは類似の対象を区別するために用いられ、特定の順序または前後順序を説明するために用いられる必要はない。そのように使用されたデータは適切な状況で交換可能であることを理解すべきであり、それによってここに説明された本発明の実施例は例えばここに図示または説明されたもの以外の順序で実施することができる。さらに、「含む」および「有する」という用語、およびそれらのいかなる変形も、非排他的な包含をカバーすることを意図しており、例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品、または装置は、明示的に列挙されたステップまたはユニットに必ずしも限定されるわけではなく、明示的に列挙されていないまたはそのようなプロセス、方法、製品、または装置に固有の他のステップまたはユニットを含むことができる。明細書及びクレーム中の「及び/又は」は接続される対象の少なくとも一つを意味する。
【0025】
本発明の各実施例において、下記の各プロセスの番号の大きさは、実行順序の前後を意味するものではない。各プロセスの実行順序は、その機能と内在ロジックによって確定され、本発明の実施例の実施プロセスに対していかなる限定するものではない。
【0026】
通常、質問生成システムは1つの回答選択モデルと1つの質問生成モデルを含む。従来の関連研究では、以下の2つの面で質問生成の性能向上を試みた。一つは、回答選択モデルにより選択された回答が質問の価値をより優れるかという点であり、もう一つは、質問生成モデルにより生成された質問が選択された回答と関連性があるかという点である。例えば、ある関連付け技術は外部パーサを使用してテキスト中の表現(例えば時間や人など)とそれらの間の関係を解析し、かつ他の表現との関連係数が最も多い表現を回答候補として選択する。次に、これらの回答候補をそれらの表現類別とともに質問生成モデルに入力され、質問を生成する。上記技術は、質問生成モデルが回答となる表現とより関連する質問を生成するために表現類別を用いるが、外部パーサの性能に大きく依存し、固有表現の範囲外のフレーズを回答候補として選択することができない問題がある。例えば、英語を例とする場合、「take a nap」のような固有表現でない動詞句を回答候補として選択することができない。また、ニューラルネットワークベースの回答選択モデルを学習することで、回答候補を選択するアプローチもある。この技術は、回答としてフレーズを選択できるが、回答選択モデルは追加情報を後続の質問生成モデルに渡さない。さらに、質問生成モデルが様々な種類の回答候補から質問価値の特徴を捉えること困難である。
【0027】
選択された回答と生成された質問との関連性を向上させ、生成された質問回答対の性能を改善するために、本発明の実施例は以下のモデル訓練方法を提供する。図1に示すように、前記モデル訓練方法は、目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと、前記疑問詞を含む質問の生成を提示する第2提示テキストを生成するステップ11を含む。
【0028】
ここで、目標言語は中国語、英語、日本語などの自然言語であるが、本説明では主に英語を例に説明する。通常、自然言語において、疑問詞が存在する。英文を例にすると、疑問詞は「who」、「when」、「where」、「howmuch」、「howlong」などを含む。また、中国語を例にすると、疑問詞は
（外１）
（外２）
（外３）
（外４）
などを含む。各疑問詞の解釈は関連辞書(例えばオックスフォード辞書)または百科事典(例えばウィキペディア)を検索することによって得られるが、本出願の実施例ではこれについて具体的な限定をしない。
（外１）
【0029】
具体的には、あらかじめ人手で集められた目標言語からすべての疑問詞を取得し、すべての疑問詞と複数の原始訓練サンプルを含む原始訓練セット中の問題サンプルとに対して文字列マッチングを行い、原始訓練セット中の問題サンプルにあった疑問詞を保留する。保留された疑問詞ごとに、辞書や百科事典を調べて、それらの解釈を得る。たとえば、「when」の解釈は「the time at something happen」である。
【0030】
それぞれの疑問詞に対して、前記疑問詞とその解釈に基づいて、前記疑問詞に対応する第1提示テキスト(回答選択提示テキスト)と第2提示テキスト(質問生成提示テキスト)を生成する。そのうち、前記第1提示テキストは前記疑問詞を含む質問に対して回答候補を選択することを提示する。具体的に、前記疑問詞に対応する第1提示テキストは、前記疑問詞と前記疑問詞の解釈を含む。前記第2提示テキストは前記疑問詞を含む質問の生成を提示する。前記疑問詞に対応する第2提示テキストも、前記疑問詞と前記疑問詞の解釈を含む。このように、本発明の実施例は疑問詞毎に同じ疑問詞に対応する第1提示テキストと第2提示テキストを生成することができる。
【0031】
以下は、英語を例として、提示テキストを作成するための具体例を示す。
【0032】
本例において、第1提示テンプレートと第2提示テンプレートを予め作成する。本説明では、第1提示テンプレートを回答選択提示(prompt)テンプレート、第2提示テンプレートを質問生成提示(prompt)テンプレートと呼ぶことがある。
【0033】
そのうち、第1提示テンプレートは提示テキストである。前記提示テキストは2箇所の空白位置があり、それぞれ疑問詞と疑問詞の解釈に対応する。当該提示テキストは前記疑問詞を含む質問に対する回答候補の選択を提示する。ある疑問詞に対応する第1提示テキストを生成する場合に、その疑問詞とその解釈をそれぞれ第1提示テンプレート中の対応する空白位置に埋めて、第1提示テキストを得る。
【0034】
第2提示テンプレートも提示テキストである。この提示テキストにも2箇所の空白位置があり、それぞれ疑問詞と疑問詞の解釈に対応する。この提示テキストは、前記疑問詞を含む質問の生成を提示する。ある疑問詞に対応する第2提示テキストを生成する場合に、その疑問詞とその解釈をそれぞれ第2提示テンプレート中の対応する空白位置に埋めて第2提示テキストを得る。
【0035】
たとえば、第1提示テンプレート(回答選択promptテンプレート)は次のようになる。
【0036】
Find a text to answer a question which asks about．
ここで、一番目の下線に対応する空白位置は疑問詞を埋めるために用いられ、二番目の下線に対応する空白位置は疑問詞の解釈を埋めるために用いられる。
ここで、一番目の下線に対応する空白位置は疑問詞を埋めるために用いられ、二番目の下線に対応する空白位置は疑問詞の解釈を埋めるために用いられる。
【0037】
第2提示テンプレート(質問生成promptテンプレート)は、次のようになる。
【0038】
Ask a question which asks about．
疑問詞「When」を例にとると、「When」の解釈は「the time at something happen」であり、「When」とその解釈を上のテンプレートに埋めと、図2のような第1提示テキストと第2提示テキストが得られる。この2つの提示テキストはともに疑問詞「When」に対応する提示テキストであるため、この2つの提示テキスト間には一対一の対応関係が存在する。
疑問詞「When」を例にとると、「When」の解釈は「the time at something happen」であり、「When」とその解釈を上のテンプレートに埋めと、図2のような第1提示テキストと第2提示テキストが得られる。この2つの提示テキストはともに疑問詞「When」に対応する提示テキストであるため、この2つの提示テキスト間には一対一の対応関係が存在する。
【0039】
なお、以上は、本発明の実施例に適用した提示テンプレート/提示テキストの一例に過ぎず、本発明の実施例は他の形式の提示テンプレート/提示テキストを使用してもよい。例えば、第1提示テンプレートは以下の何れかであってもよい。
【0040】
Select an answer to question which is about．
Choose an answer to question which is about．
第2提示テンプレートは、次のいずれかにしてもよい。
Choose an answer to question which is about．
第2提示テンプレートは、次のいずれかにしてもよい。
【0041】
Generate a question which is about．
Provide a question which is about．
また、モデル訓練方法は、テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得するステップ12を含む。
Provide a question which is about．
また、モデル訓練方法は、テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得するステップ12を含む。
【0042】
ここで、複数の原始訓練サンプルを含む原始データセットを取得する。通常、訓練サンプルには、テキストサンプル、1つまたは複数の質問、および各質問に対する回答が含まれる。処理を容易にするために、各原始訓練サンプルが一つの質問とその回答を含むように、複数の質問と回答を含む訓練サンプルを複数の原始訓練サンプルに分割してよい。このように、各原始訓練サンプルは一つのテキストサンプル、一つの質問サンプル及び前記質問サンプルに対応する回答サンプルを含む。テキストサンプルは一段の文章であってよく、質問サンプルは前記文章に対して提供された質問であってよく、回答サンプルはその質問に対する回答であってよい。通常、回答サンプルは前記文章の一部の文字、即ち文章テキストのサブ文字列である。
【0043】
本発明の実施例において、原始訓練サンプルとは任意の機械読み取り理解のデータセットを指し、例えばスタンフォード大学が公開したSQuAD1．1データセットである。データセットにおいて訓練データ毎に人手でタグ付けされており、各訓練データに、1つの文章、文章に関連する複数の質問及びそれに対応する回答(回答はいずれも文章の一部の文字列)を含む。1つの文章、その文章に関連する1つの質問、およびその質問に対応する回答は、回答選択モデルと質問生成モデルの訓練サンプルとすることができる。これらの文章、質問及び回答は、回答選択モデルと質問生成モデルの訓練過程において取得されるが、回答選択モデルの訓練には、回答が訓練の目標とし、文章と質問は入力とするのに対して、質問生成モデルの訓練には、質問は訓練の目標として、文章と回答は入力とするように、異なる方式でモデルに入力される。
【0044】
また、モデル訓練方法は、原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得；また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成して、複数の前記第2訓練サンプルを含む第2訓練セットを得るステップ13を含む。
【0045】
Transformersに基づく双方向符号化器(Bidirectional Encoder Representation from Transformer、BERT)モデルやT5モデルなどの多くの事前訓練言語モデルは、ほとんどの自然言語処理タスクに対して優れた性能を持ち、提示（prompt）として一文を受け取り、指定されたタスクを実現するようにモデルを導くことができる。図3に示すように、prompt文を「translate English to German」(すなわち、英語をドイツ語に翻訳する)を翻訳する目標の英語文に接続してT5モデルに入力すると、T5モデルは目標の英語文のドイツ語翻訳を出力することができる。これに基づいて、本発明の実施例はprompt駆動の質問生成関連モデルの訓練方法を提供し、回答選択モデルと質問生成モデルは共にpromptメカニズムを使用し、具体的に、提示テキスト(promptテキスト)を導入することによって、原始訓練サンプルを基に新たな訓練サンプルを再構築し、関連モデルを訓練する。
【0046】
具体的には、本発明の実施例は提示テキストに回答候補の種類情報が反映される疑問詞およびその解釈の情報を盛り込む。例えば、疑問詞「when」について、その回答候補は時間タイプである。また、疑問詞「where」について、その回答候補は場所タイプである。本発明の実施例は提示テキストに回答候補のタイプ情報を盛り込むことによって、提示テキストが回答タイプ情報を提示として回答選択モデルに入力することで、回答選択モデルに毎回特定タイプの回答候補だけを出力させることにより、モデルが「質問価値」の特徴をよりよく捉えることができる一方、提示テキストが同様の回答タイプ情報を質問生成モデルにも伝えることにより、2つのモデルを関連付けて、質問生成モデルが選択された回答候補により関連する質問を生成することができる。
【0047】
本発明の実施例は、訓練サンプルを生成する際に、原始訓練サンプル毎に対応する第1訓練サンプルを生成する。具体的に、原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成する。このように、複数の原始訓練サンプルに対して、複数の第1訓練サンプルが得られることで、第1訓練セットを得る。同様に、原始訓練サンプル毎に対応する第2訓練サンプルを生成する。具体的に、原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成する。このように、複数の原始訓練サンプルに対して、複数の第2訓練サンプルが得られることで、第2訓練セットを得る。
【0048】
ある原始訓練サンプル中の質問サンプルが「When were the Normans in Normandy?」とし、その中に疑問詞が「When」であるとすると、疑問詞「When」に対して、図4に示す二つの提示テキストを生成することで、第1訓練サンプルと第2訓練サンプルを得る。その中、第1訓練サンプルは図4に示す第1提示テキスト、原始訓練サンプルのテキストサンプル及び回答サンプルを含み、第2訓練サンプルは図4に示す第2提示テキスト、原始訓練サンプルのテキストサンプル、質問サンプル及び回答サンプルを含む。
【0049】
また、モデル訓練方法は、前記第1訓練セットを用いて回答選択モデルを訓練し、前記第2訓練セットを用いて質問生成モデルを訓練するステップ14を含む。
【0050】
本発明の実施例において、回答選択モデルは自然言語理解モデルである。具体的に、BERT、Roberta、ALBERT、ERNIE、ELECTRAなどのモデルのいずれかである。回答選択モデルはBERTのようなプレ訓練された言語モデルをインフラストラクチャとして使用する。例えば、BERT等のプレ訓練言語モデルは、Transformerモデルアーキテクチャを基に、大規模なコーパスによりプレ訓練して得られ、回答選択などの自然言語処理タスクを実現することができる。また、質問生成モデルは自然言語生成モデルである。具体的に、T5モデル、GPT、BARTのモデルなどのいずれかである。例えば、質問生成モデルはT5モデルをインフラストラクチャとして使用する。T5モデルは、Transformerのエンコーダ/デコーダアーキテクチャに基づいてプレ訓練して得られ、テキスト生成機能を備える。
【0051】
ここで、回答選択モデルを訓練する時に、第1訓練セットの各第1訓練サンプルの第1提示テキストとテキストサンプルを回答選択モデルに入力する。第1提示テキストに質問サンプル中の疑問詞を含む。回答選択モデルにより出力される対応する回答サンプルを目標として、回答選択モデルを訓練し、訓練された前記回答選択モデルを得る。
【0052】
図5は第1訓練サンプルを用いて回答選択モデルを訓練する例を示す。この場合、回答選択モデルは、第1訓練サンプルの第1提示テキストとテキストサンプルを入力とし、モデルが出力する第1訓練サンプルの回答サンプルを訓練目標する。図5に示す回答生成モデルはBERT等のプレ訓練言語モデルである。第1提示テキストとテキストサンプルを対にして、図5に示す形式で入力し、回答選択モデルに入力する。すなわち特殊な区切り文字「<SEP>」を用いて第1提示テキストとテキストサンプルを連結して回答選択モデルの入力とする。この入力方式はBERTモデルによるプレ訓練時の入力方式によって決定される。
【0053】
図5を一例とすると、
第1提示テキスト：Find a text to answer a "when" question which asks about the time at something happens．
テキストサンプル：The Normans (Norman：Nourmands；French：Normands；Latin：Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy，a region in France…The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century，and it continued to evolve over the succeeding centuries．
回答サンプル：in the first half of the 10th century or in the 10th and 11th centuries．
すなわち、回答選択モデルの訓練過程において、第1訓練サンプル中の第1提示テキストとテキストサンプルを回答選択モデルに入力し、回答選択モデルは、テキストサンプルから1つのテキストを選択して回答テキストとして出力する。そして、回答選択モデルが出力する回答テキストと当該第1訓練サンプル中の回答サンプルとの類似性を計算し、算出された類似性に基づいて回答選択モデルのモデルパラメータを最適化することにより、回答選択モデルが出力する回答テキストを前記回答サンプルに接近させる。以上の最適化処理により、最終的に訓練された回答選択モデルが得られる。
第1提示テキスト：Find a text to answer a "when" question which asks about the time at something happens．
テキストサンプル：The Normans (Norman：Nourmands；French：Normands；Latin：Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy，a region in France…The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century，and it continued to evolve over the succeeding centuries．
回答サンプル：in the first half of the 10th century or in the 10th and 11th centuries．
すなわち、回答選択モデルの訓練過程において、第1訓練サンプル中の第1提示テキストとテキストサンプルを回答選択モデルに入力し、回答選択モデルは、テキストサンプルから1つのテキストを選択して回答テキストとして出力する。そして、回答選択モデルが出力する回答テキストと当該第1訓練サンプル中の回答サンプルとの類似性を計算し、算出された類似性に基づいて回答選択モデルのモデルパラメータを最適化することにより、回答選択モデルが出力する回答テキストを前記回答サンプルに接近させる。以上の最適化処理により、最終的に訓練された回答選択モデルが得られる。
【0054】
質問生成モデルの訓練時に、第2訓練集中の各第2訓練サンプルの第2提示テキスト、テキストサンプルと回答サンプルを質問生成モデルに入力する。質問生成モデルが出力する対応の質問サンプルを目標として、質問生成モデルを訓練し、訓練された質問生成モデルを得る。
【0055】
図6は第2訓練サンプルを用いて質問生成モデルを訓練する一例を示す。図6では、回答サンプル、第2提示テキスト、テキストサンプルを用いて3元素組を構成し、図6に示す入力方式で質問生成モデルに入力する。この入力方式は質問生成モデルのインフラストラクチャであるT5モデルによって決定される。ここで、第2提示テキストの前に「Prompt：」を接頭辞として、サンプルテキストの前に「Paragraph：」を接頭辞として追加した後、両者を連結する。一方、回答サンプルは隠れ式、即ちXML形式(<answer>と</answer>)を用いて、テキストサンプル(図中6の下線部分)に表記する方式で入力する。
【0056】
図6を例とすると、
第2提示テキスト：Ask a "when" question which asks about the time at something happens．
サンプルテキストは：The Normans (Norman：Nourmands；French：Normands；Latin：Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy，a region in France…The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century，and it continued to evolve over the succeeding centuries．
回答サンプル：in the 10th and 11th centuries．
質問サンプル：When were the Normans in Normandy?
すなわち、質問生成モデルの訓練過程において、第2訓練サンプル中の第2提示テキスト、テキストサンプル及び質問サンプルを質問生成モデルに入力し、質問生成モデルは、一つのテキストを生成して質問テキストとして出力する。そして、質問生成モデルが出力する質問テキストと第2訓練サンプル中の質問サンプルとの類似性を計算し、算出された類似性に基づいて質問生成モデルのモデルパラメータを最適化することにより、質問生成モデルが出力する質問テキストを質問サンプルに接近させる。以上の最適化処理により、最終的に訓練された質問生成モデルが得られる。
第2提示テキスト：Ask a "when" question which asks about the time at something happens．
サンプルテキストは：The Normans (Norman：Nourmands；French：Normands；Latin：Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy，a region in France…The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century，and it continued to evolve over the succeeding centuries．
回答サンプル：in the 10th and 11th centuries．
質問サンプル：When were the Normans in Normandy?
すなわち、質問生成モデルの訓練過程において、第2訓練サンプル中の第2提示テキスト、テキストサンプル及び質問サンプルを質問生成モデルに入力し、質問生成モデルは、一つのテキストを生成して質問テキストとして出力する。そして、質問生成モデルが出力する質問テキストと第2訓練サンプル中の質問サンプルとの類似性を計算し、算出された類似性に基づいて質問生成モデルのモデルパラメータを最適化することにより、質問生成モデルが出力する質問テキストを質問サンプルに接近させる。以上の最適化処理により、最終的に訓練された質問生成モデルが得られる。
【0057】
以上のステップによって、本発明の実施例はモデルの訓練過程において、疑問詞に対応する第1提示テキストとテキストサンプルを回答選択モデルの入力とし、回答選択モデルに特定タイプの回答候補を出力させ、また、疑問詞に対応する第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルの入力とし、同じ疑問詞およびその解釈を含む提示テキストによって回答選択モデルと質問生成モデルを関連付けて、選択された回答候補と関連する質問を質問生成モデルに生成させることにより、モデルが生成する質問回答対の性能が改善される。
【0058】
上記のステップ13で生成された第1の訓練サンプルは、正訓練サンプル、すなわちテキストサンプル中に質問の回答が存在するものである。疑問詞を持つ質問に対して、テキストサンプル中に質問の回答が存在しない場合があることを考慮し、本発明の実施例は更に第1訓練セットを生成する時、当該第1訓練セットに少なくとも一つの第3訓練サンプル(負訓練サンプル)を追加する。具体的には、原始訓練サンプル中のあるテキストサンプル(説明上便宜のため、ここでは第1テキストサンプルと呼ぶ)に対して、当該第1テキストサンプルに対応する全ての質問サンプルに含まれない第1疑問詞を特定する。ここで、第1疑問詞は、目標言語のすべての疑問詞には存在し、前記第1テキストサンプルに対応するすべての質問サンプルには存在しない。また、第1疑問詞は原始訓練セットの質問サンプルには存在し、第1テキストサンプルに対応するすべての問題サンプルには存在しない。その後、第1疑問詞に対応する第1提示テキスト、空白回答及び第1テキストサンプルを用いて、第3訓練サンプルを生成する。空白の回答はたとえば、「None」(回答として空白)である。
【0059】
例えば、すべての原始訓練サンプルに共有される以下3つの原始訓練サンプルが、同一のテキストサンプルxを含むとする。
【0060】
具体的には：
原始訓練サンプルa：テキストサンプルx、質問1(疑問詞1を含む)、回答1；
原始訓練サンプルb：テキストサンプルx、質問2(疑問詞2を含む)、回答2；
原始訓練サンプルc：テキストサンプルx、質問3(疑問詞3を含む)、回答3；
仮に疑問詞が疑問詞1～5の全部で5つあるとすると、同一のテキストサンプルxに対応するすべての質問サンプルに含まれない疑問詞は疑問詞4と疑問詞5であることが分かる。このため、以下、2つの第3の訓練サンプル(負訓練サンプル)が生成され、即ち、
第3訓練サンプル1：テキストサンプルx、疑問詞4に対応する第1提示テキスト、回答(None)；
第3訓練サンプル2：テキストサンプルx、疑問詞5に対する第1提示テキスト、回答(None)。
原始訓練サンプルa：テキストサンプルx、質問1(疑問詞1を含む)、回答1；
原始訓練サンプルb：テキストサンプルx、質問2(疑問詞2を含む)、回答2；
原始訓練サンプルc：テキストサンプルx、質問3(疑問詞3を含む)、回答3；
仮に疑問詞が疑問詞1～5の全部で5つあるとすると、同一のテキストサンプルxに対応するすべての質問サンプルに含まれない疑問詞は疑問詞4と疑問詞5であることが分かる。このため、以下、2つの第3の訓練サンプル(負訓練サンプル)が生成され、即ち、
第3訓練サンプル1：テキストサンプルx、疑問詞4に対応する第1提示テキスト、回答(None)；
第3訓練サンプル2：テキストサンプルx、疑問詞5に対する第1提示テキスト、回答(None)。
【0061】
第1訓練セット中に正負サンプルの割合は、複数の回答選択モデルを異なる割合で訓練することにより、回答選択モデルの性能に応じて、性能指標が最も良い回答選択モデルが用いた割合を最終の割合として選択することができる。
【0062】
前記ステップ14によって、本発明の実施例は訓練された回答選択モデルと質問生成モデルを得る。その後、本発明の実施例は上記モデルを目標テキストとして用い、質問回答対を生成する。前記目標テキストはユーザにより入力された一つのテキストでよい。具体的には、本発明の実施例は目標言語中の疑問詞から一つの疑問詞を選択する(説明を簡単にするため、第2疑問詞と呼ぶ)。そして、第2疑問詞に対応する前記第1提示テキストと前記目標テキストを回答選択モデルに入力して、前記回答選択モデルが出力する回答(説明上便宜のため、ここでは目標回答と呼ぶ)を得る。その後、第2疑問詞に対応する第2提示テキスト、目標テキスト及び目標回答を、質問生成モデルに入力し、前記質問生成モデルが出力する目標質問を得る。これにより、目標質問と目標回答からなる一対の質問回答対が得られる。以上の処理において、第1提示テキストと第2提示テキストの生成方式は、モデル訓練過程に行われた方式と同じである．上記の処理は、図5と図6を参照してもよい。この場合、図5と図6のテキストサンプルを上記の目標テキストに置き換える。前記方式によって、一つまたは複数の疑問詞を利用して、目標テキストの一組または複数組の質問回答対を得ることができる。
【0063】
以上の方法に基づき、本発明の実施例はさらに前記方法を実施する装置を提供する。図7に示すように、本発明の実施例は、目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと前記疑問詞を含む質問の生成を提示する第2提示テキストを生成する第1生成モジュール71と、テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得する第1取得モジュール72と、原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、回答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得；また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成して、複数の前記第2訓練サンプルを含む第2訓練セットを得る第2生成モジュール73と；前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する訓練モジュール74と、を含むモデル訓練装置を提供する。
【0064】
本発明の実施例は、以上のモジュールにより、訓練して得られたモデルが選択した回答と生成された問題との関連性が向上される。
【0065】
オプションとして、前記第1訓練セットは少なくとも第3訓練サンプルを含む、前記モデル訓練装置は第1テキストサンプルに対して、当該第1テキストサンプルに対応する全ての質問サンプルに含まれない第1疑問詞を特定し；前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて前記第3訓練サンプルを形成する第3生成モジュールを含む。
【0066】
また、オプションとして、前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し；前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する。
【0067】
また、オプションとして、前記モデル訓練装置は、目標テキストに対して、前記目標言語中の疑問詞から第2疑問詞を選択し；前記第2疑問詞に対応する第1提示テキストと前記目標テキストを、前記回答選択モデルに入力して、前記回答選択モデルが出力する目標回答を得；前記第2疑問詞に対応する第2提示テキスト、前記目標テキスト及び前記目標回答を、前記質問生成モデルに入力して、前記質問生成モデルが出力する目標問題を得るモデル応用モジュールを更に含む。
【0068】
また、オプションとして、前記疑問詞に対応する第1提示テキストと第2提示テキストはそれぞれ前記疑問詞と前記疑問詞の解釈を含む。
【0069】
また、オプションとして、前記回答選択モデルは自然言語理解モデルであり、前記質問生成モデルは自然言語生成モデルである。
【0070】
図8に本発明の実施例にかかるモデル訓練装置のハードウェア構成を示すブロック図を示す。図8に示すように、モデル訓練装置800はプロセッサ802とコンピュータプログラム指令を記憶するメモリ804を備え、前記コンピュータプログラム指令が前記プロセッサに実行されることにより、前記プロセッサ802は、目標言語中の疑問詞及びその解釈に基づいて、前記疑問詞に対応する、前記疑問詞を含む質問に対して回答候補の選択を提示する第1提示テキストと前記疑問詞を含む質問の生成を提示する第2提示テキストを生成し；テキストサンプル、疑問詞を含む質問サンプル、前記質問サンプルに対応する回答サンプルを含む複数の原始訓練サンプルを取得し；原始訓練サンプル毎に、前記原始訓練サンプルのテキストサンプル、答サンプル、質問サンプル中の疑問詞に対応する第1提示テキストを用いて、第1訓練サンプルを生成し、複数の前記第1訓練サンプルを含む第1訓練セットを得；また、前記原始訓練サンプルのテキストサンプル、質問サンプル、回答サンプル、質問サンプル中の疑問詞に対応する第2提示テキストを用いて、第2訓練サンプルを生成し、複数の前記第2訓練サンプルを含む第2訓練セットを得；前記第1訓練セットを用いて、回答選択モデルを訓練し、前記第2訓練セットを用いて、質問生成モデルを訓練する、処理を実行させる。
【0071】
また、図8に示すように、前記モデル訓練装置800はまたネットワークインターフェース801、入力装置803、ハードディスク805、表示装置806を含む。
【0072】
これらの各ネットワークインターフェースやデバイスは、バスアーキテクチャを介して互いに接続される。バスアーキテクチャは、任意の数の互い接続されるバスおよびブリッジ含む。具体的に、プロセッサ802が代表する1つまたは複数の中央処理装置(CPU)及び/またはグラフィックスプロセッサ(GPU)、およびメモリ804が代表する1つまたは複数のメモリの各種回路が接続される。バスアーキテクチャは、周辺機器、電圧レギュレータ、電力管理回路などさまざまな他の回路を接続してもよい。バスアーキテクチャにより、これらのコンポーネント間の通信可能に接続される。バスアーキテクチャはデータバス以外に、電源バス、制御バス及び状態信号バスを含む。これらはすべて本技術分野で周知されるため、詳しい説明を省く。
【0073】
ネットワークインターフェース801は、ネットワーク(例えばインターネット、ローカルエリアネットワークなど)に接続され、ネットワークから原始訓練サンプルなどのデータを受信して、受信したデータをハードディスク805に保存する。
【0074】
入力装置803は、操作者が入力する各種の指令を受信し、プロセッサ802に実行されるように送信する。前記入力装置803はキーボード又はポインティング設備(例えば、マウス、トラックボール(trackball)、タッチボード或いはタッチスクリーンなどを含む。
【0075】
表示装置806は、プロセッサ802が指令を実行して得られる結果を表示し、例えばモデル訓練進捗などを表示する。
【0076】
メモリ804は、オペレーティングシステム（OS）の実行に必要なプログラムとデータ、およびプロセッサ802の計算中の中間結果などのデータを記憶する。本発明の実施例のメモリ804は揮発性メモリ又は非揮発性メモリであってもよく、揮発性と非揮発性メモリの両方を有してもよい。その中、非揮発性メモリは読出し専用メモリ(ROM)、プログラム可能な読出し専用メモリ(PROM)、消去可能でプログラム可能な読出し専用メモリ(EPROM)、電気消去可能プログラム可能読出し専用メモリ(EEPROM)或いはフラッシュメモリである。揮発性メモリは、外部キャッシュとして使用されるランダムアクセスメモリ(RAM)でもよい。本文に説明する装置と方法のメモリ804はこれらと任意の他の適合タイプのメモリを含むことを意図するが、それに限定されない。
【0077】
一部の実施形態において、メモリ804に、実行可能なモジュール又はデータ構成若しくはこれらのサブモジュールや拡張モジュールであるオペレティングシステム8041及びアプリケーションプログラム8042が記憶される。
【0078】
そのうち、オペレティングシステム8041は、各種システムプログラム、例えばフレームワーク層、コアライブラリ層、駆動層を含み、様々な基幹業務やハードウェアベースのタスクを実現するために用いられる。アプリケーションプログラム8042は各種アプリケーションプログラム、例えばウェブブラウザ―(Browser)等を含み、様々なアプリケーション業務を実現するためのものである。本実施例にかかる方法を実行するプログラムはアプリケーションプログラム8042に含む。
【0079】
上記本発明の実施例にかかる方法は、プロセッサ802に適用され、またはプロセッサ802によって実現される。プロセッサ802は信号を処理する能力を持つ集積回路基板である。上記方法の各ステップはプロセッサ802におけるハードウェアである集積論理回路又はソフトウェア形式の指令によって実現される。上記プロセッサ802は汎用プロセッサ、デジタル信号処理装置(DSP)、専用集積回路(ASIC)、既製プログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェア部品であり、本発明の実施例に開示される各方法、ステップ及び論理ボックスを実現又は実行可能なものである。汎用処理器はマイクロプロセッサ又は任意の一般処理器などである。本発明の実施例にかかる方法の各ステップは、ハードウェアであるデコーダにより実行されることで実現されてもよく、または、デコーダにお行けるハードウェアとソフトウェアとの組み合わせによって実現されても良い。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、あるいは電気的消去可能なプログラマブルメモリ、レジスタなど、本分野で成熟した記憶媒体に記憶される。このソフトウェアが記憶される記憶媒体を備えるメモリ804から、プロセッサ802は情報を読み取り、ハードウェアに合わせて上記方法のステップを実現させる。
【0080】
以上に説明した実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせで実現される。その中に、ハードウェアの実現に関して、処理ユニットは一つまたは複数の専用集積回路(ASIC)、デジタル信号処理プロセッサ（DSP）、デジタル信号処理装置(DSPD)、プログラム可能論理回路(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実行する他の電子ユニット或いはその組合せにより実現される。
【0081】
また、ソフトウェアの実現に関しては、以上で説明した機能を実現するモジュール(たとえばプロセス、関数など)により上記技術が実現される。ソフトウェアコードは、メモリに保存され、プロセッサによって実行される。なお、メモリはプロセッサの内部または外部で実現される。
【0082】
具体的には、前記第1訓練セットが少なくとも一つの第3訓練サンプルをさらに含み、前記コンピュータプログラムがプロセッサ802に実行されることにより、第1テキストサンプルに対して、当該第1テキストサンプルに対応する全ての質問サンプルに含まれない第1疑問詞を特定し、前記第1疑問詞に対応する第1提示テキスト、空白回答及び前記第1テキストサンプルを用いて前記第3訓練サンプルを形成するステップは実行される。
【0083】
また、具体的には、前記コンピュータプログラムがプロセッサ802に実行されることにより、前記第1訓練セットにおける訓練サンプル毎の第1提示テキストとテキストサンプルを回答選択モデルに入力し、前記回答選択モデルにより出力される対応する回答サンプルを目標として、前記回答選択モデルを訓練し、訓練された前記回答選択モデルを生成し；前記第2訓練セットにおける訓練サンプル毎の第2提示テキスト、テキストサンプル及び回答サンプルを質問生成モデルに入力し、前記質問生成モデルにより出力される対応する問題サンプルを目標として、前記質問生成モデルを訓練し、訓練された前記質問生成モデルを生成する、ステップは実現される。
【0084】
また、具体的には、前記コンピュータプログラムがプロセッサ802に実行されることにより、目標テキストに対して、前記目標言語中の疑問詞から第2疑問詞を選択し；前記第2疑問詞に対応する第1提示テキストと前記目標テキストを、前記回答選択モデルに入力して、前記回答選択モデルが出力する目標回答を得；前記第2疑問詞に対応する第2提示テキスト、前記目標テキスト及び前記目標回答を、前記質問生成モデルに入力して、前記質問生成モデルが出力する目標質問を得るステップは実現される。
【0085】
オプションとして、前記疑問詞に対応する第1提示テキストと第2提示テキストはそれぞれ前記疑問詞と前記疑問詞の解釈を含む。
【0086】
オプションとして、前記回答選択モデルは自然言語理解モデルであり、前記質問生成モデルは自然言語生成モデルである。
【0087】
本発明の技術分野の当業者は、以上で開示された実施例に記載された各例のユニットおよびアルゴリズムのステップが、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組み合わせで実現されることが容易に想到される。これらの機能はハードウェアまたはソフトウェアのいずれかで実行することは、発明の特定的な適用や設計制約に依存する。当業者が特定の適用に応じた方法で上記の機能を実現させることができるが、本発明の範囲を超えるべきではない。
【0088】
また、説明上便宜と簡潔性のため、上記のシステム、装置及びユニットの具体的な作業過程に関して、上記した実施例中の対応過程に参照することができることが、当業者とって明らかであるために、詳細な説明を省略する。
【0089】
本発明の複数の実施例より開示された方法及び装置は別の形態でも実現可能であることは容易に想到される。例えば、上記記載された装置は模式的なものに過ぎない。例えば、前記したユニットの分割は論理的な機能の割り当ての一例に過ぎず、実際に実現の時に別の分割方式を採用しても良い。例えば、複数のユニットまたはモジュールを組み合わせるか、別のシステムに集約し、または、一部の機能を省略し、若しくは実行しなくてもよい。なお、上記表示または開示された相互的な接続または直接な接続若しくは通信可能な接続は、ネットワークインターフェースを介する接続である。装置やユニット同士の間接的な接続または通信可能な接続は、電気的または機械的もしくは他の形態の接続でよい。
【0090】
前記分離部材として説明したユニットは物理的に分離してもしなくてもよい。ユニットとして表示する部材は物理的なユニットであってもでなくてもよい。即ち、同一の場所にしてよく、複数のネットワークユニット上に分散してもよい。実際の需要に応じてその中の一部または全部のユニットを選択して本発明の実施例の目的を実現する。
【0091】
なお、本発明の実施例にかかる各機能的ユニットは、1つの処理ユニットに集約しても良く、物理的に単独でもよく、2つ以上で一つのユニットとして集約してもよい。
【0092】
前記機能は、ソフトウェア機能ユニットの形で実現し、且つ、独立製品として販売または使用する場合に、コンピュータ読取り可能な記憶媒体に記憶することができる。この場合に、本発明の技術方案は本質的、または従来技術に貢献する部分若しくは前記技術方案の部分はソフトウェア製品の形で表現される。前記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ装置(パーソナルコンピュータ、サーバ、或いはネットワークデバイスなど)により本発明の各実施例にかかる前記方法の全部或いは一部のステップを実行させる複数の指令を含む。なお、前述の記憶媒体は、USBメモリ、リムーバブルディスク、ROM、RAM、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。
【0093】
以上の説明は、本発明の具体的な実施方式であるが、本発明の保護範囲はこれに限定されず、当技術分野に精通するいかなる技術者も本発明が開示した技術範囲内で、変更または置換を容易に想到されることは、すべて本発明の保護範囲内に含まれるべきである。そのため、本発明の範囲は請求の範囲を基準としなければならない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】