特許7418704穴埋め熟語問題の回答を選択する方法、装置およびコンピュータ機器
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-12
(45)【発行日】2024-01-22
(54)【発明の名称】穴埋め熟語問題の回答を選択する方法、装置およびコンピュータ機器
(51)【国際特許分類】
G06F 40/279 20200101AFI20240115BHJP
G06F 40/216 20200101ALI20240115BHJP
G06F 40/253 20200101ALI20240115BHJP
【ＦＩ】
G06F40/279
G06F40/216
G06F40/253
【請求項の数】
6
(21)【出願番号】P 2021568947
(86)(22)【出願日】2020-11-30
(65)【公表番号】
(43)【公表日】2022-06-30
(86)【国際出願番号】 CN2020132602
(87)【国際公開番号】W WO2021159816
(87)【国際公開日】2021-08-19
【審査請求日】2021-11-29
(31)【優先権主張番号】202010923909.X
(32)【優先日】2020-09-04
(33)【優先権主張国・地域又は機関】CN
【前置審査】
(73)【特許権者】
【識別番号】517406065
【氏名又は名称】平安科技（深▲せん▼）有限公司
【氏名又は名称原語表記】ＰＩＮＧ ＡＮ ＴＥＣＨＮＯＬＯＧＹ （ＳＨＥＮＺＨＥＮ） ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】２３Ｆ，Ｐｉｎｇ’ａｎ Ｆｉｎａｎｃｉａｌ Ｃｅｎｔｅｒ，Ｎｏ．５０３３ Ｙｉｔｉａｎ Ｒｏａｄ，Ｆｕ’ａｎ Ｃｏｍｍｕｎｉｔｙ ｏｆ Ｆｕｔｉａｎ Ｓｔｒｅｅｔ，Ｆｕｔｉａｎ Ｄｉｓｔｒｉｃｔ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０００ Ｃｈｉｎａ
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】▲劉▼ 翔
(72)【発明者】
【氏名】▲陳▼ 秀玲
【審査官】長 由紀子
(56)【参考文献】
【文献】米国特許出願公開第２０１７／０３３７４７９（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０８９２４１６７（ＣＮ，Ａ）
【文献】中国特許出願公開第１１０９９０５５６（ＣＮ，Ａ）
【文献】三木 一弘、太田 学，ＢＥＲＴを用いた英文空所補充問題の一解法，第１２回データ工学と情報マネジメントに関するフォーラム （第１８回日本データベース学会年次大会） ［ｏｎｌｉｎｅ］，日本，2020年03月04日，pp.1-7
【文献】喜多 智也、平 博順，ＲＮＮ言語モデルを用いた平叙文完成問題の自動解法，言語処理学会第２３回年次大会 発表論文集 ［ｏｎｌｉｎｅ］，日本，言語処理学会，2017年03月06日，pp.1149-1152
【文献】喜多 智也、平 博順，Ｇａｔｅｄ－Ａｔｔｅｎｔｉｏｎ Ｒｅａｄｅｒを用いた英語意見要旨把握問題の自動解答，言語処理学会第２４回年次大会 発表論文集 ［ｏｎｌｉｎｅ］，日本，言語処理学会，2018年03月05日，pp.967-970
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／００－５８
Ｇ０９Ｂ ７／００－１２
(57)【特許請求の範囲】
【請求項1】
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含み、
上述した前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップの前に、
訓練サンプルを取得するステップであって、前記訓練サンプルは、回答が選択された穴埋め熟語問題の複数のコーパステキスト、および熟語ライブラリにおけるすべての熟語の説明テキストを含むステップと、
前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るステップであって、前記自然言語ニューラルネットワークは、ネットワーク出力層と畳み込み層を含み、前記畳み込み層は、複数の畳み込みネットワークを順に積み重ねることで形成され、次の前記畳み込みネットワークの入力層は、その前のすべての畳み込みネットワークの出力層に接続され、かつ各前記畳み込みネットワークの入力層は、いずれも前記ｂｅｒｔ言語モデルの出力層に接続され、最後の前記畳み込みネットワークの出力層は、前記ネットワーク出力層に接続されるステップと、を含む、穴埋め熟語問題の回答を選択する方法。
【請求項2】
上述した前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るステップは、前記訓練サンプルを前記ｂｅｒｔ言語モデルに入力し、前記ｂｅｒｔ言語モデルに基づいて前記訓練サンプルの特徴行列を抽出するステップと、
前記特徴行列を前記自然言語ニューラルネットワークに入力して反復訓練し、前記熟語選択穴埋めモデルを得るステップと、を含む、請求項１に記載の穴埋め熟語問題の回答を選択する方法。
【請求項3】
前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップの前に、各回答セットにおいて、前記空欄を埋める信頼度が第１の閾値未満である前記候補熟語が少なくとも１つ存在するか否かをそれぞれ判断するステップと、
存在する場合、対応する回答を排除し、かつ排除された前記回答における前記候補熟語の、前記空欄を埋める信頼度の和を計算しないようにするステップと、を含む、請求項１に記載の穴埋め熟語問題の回答を選択する方法。
【請求項4】
上述した信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップの後、さらに、前記ターゲット回答を前記穴埋めテキストに埋め、回答テキストを得るステップと、
前記回答テキストに対するユーザの採点を取得し、かつ前記採点が第２の閾値よりも大きいか否かを判断するステップであって、前記ユーザは標準回答に基づいて前記回答テキストを採点するステップと、
前記採点が第２の閾値よりも大きい場合には、前記回答テキスト、および前記ターゲット回答におけるすべての候補熟語の説明テキストを訓練セットとして形成し、かつ前記訓練セットを前記熟語選択穴埋めモデルに入力して再訓練するステップと、
再訓練された前記熟語選択穴埋めモデルをブロックチェーンに保存するステップと、を含む、請求項１に記載の穴埋め熟語問題の回答を選択する方法。
【請求項5】
前記穴埋め熟語問題は学生をテストするために使用され、上述した信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップの後、さらに、
学生側端末からアップロードされたテストテキストを取得するステップであって、テストテキストは、前記学生が前記穴埋め熟語問題の穴埋めテキストに学生の回答を埋めたテキストであり、前記学生側端末は、前記テストテキストをアップロードするとき、前記穴埋め熟語問題に埋められた前記学生の回答を順にステッチして第１の熟語の組み合わせを得て、かつブロックチェーンに基づいて、前記第１の熟語の組み合わせに対してハッシュ計算を実行し、対応するハッシュ値を得て、前記ハッシュ値を識別コードとして前記テストテキストに追加するステップと、
前記テストテキストにおけるすべての学生回答を抽出し、かつ順次ステッチして第２の熟語の組み合わせを得るステップと、
ブロックチェーンに基づいて、前記第２の熟語の組み合わせに対してハッシュ計算を実行し、対応する検証用ハッシュ値を得るステップと、
前記テストテキストにおける識別コードを認識し、かつ前記検証用ハッシュ値と前記識別コードが一致するか否かを検証するステップと、
一致する場合、前記学生回答と前記ターゲット回答を一つずつ比較し、前記学生回答の精度を得るステップと、を含む、請求項１に記載の穴埋め熟語問題の回答を選択する方法。
【請求項6】
コンピュータプログラムが記憶されるメモリと、プロセッサとを備えるコンピュータ機器であって、前記プロセッサが前記コンピュータプログラムを実行することにより、穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む穴埋め熟語問題の回答を選択する方法を実現する、コンピュータ機器であって、
上述した前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップの前に、
訓練サンプルを取得するステップであって、前記訓練サンプルは、回答が選択された穴埋め熟語問題の複数のコーパステキスト、および熟語ライブラリにおけるすべての熟語の説明テキストを含むステップと、
前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るステップであって、前記自然言語ニューラルネットワークは、ネットワーク出力層と畳み込み層を含み、前記畳み込み層は、複数の畳み込みネットワークを順に積み重ねることで形成され、次の前記畳み込みネットワークの入力層は、その前のすべての畳み込みネットワークの出力層に接続され、かつ各前記畳み込みネットワークの入力層は、いずれも前記ｂｅｒｔ言語モデルの出力層に接続され、最後の前記畳み込みネットワークの出力層は、前記ネットワーク出力層に接続されるステップと、を含む、コンピュータ機器。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、２０２０年０９月０４日に中国特許庁に出願された、出願番号２０２０１０９２３９０９．Ｘ、発明名称「穴埋め熟語問題の回答を選択する方法、装置およびコンピュータ機器」の中国特許出願の優先権を主張し、その全てが参照により本出願に組み込まれる。
【0002】
本出願は、人工知能技術の分野に関し、特に、穴埋め熟語問題の回答を選択する方法、装置、コンピュータ機器、および記憶媒体に関する。
【背景技術】
【0003】
熟語とは、中国語で古くから使われてきたシンプルで、豊富な意味と長い歴史を持つ固定フレーズのことで、中国の伝統文化の縮図であり、様々な由来がある。熟語は、それ自体が複雑な構造をしており、長年にわたって中国語の言語教育の重点と難点である。穴埋め熟語問題は、初等・中等教育の言語学習において身につける必要がある重要な知識ポイントであり、テスト問題としてもよく出題される。熟語穴埋めのような問題に直面する際、従来技術では人間の頭脳を利用して解決されてきた。親たちは、子供の宿題を指導するとき、熟語穴埋めのような難問の解決に自分の知識が不十分になっており、多くのアプリやインターネット検索で答えを捜していることが多いようである。しかしながら、本発明者は、現在のアプリやインターネット検索では、熟語の穴埋めのような問題は常に人手によって答えを収集し、知的な方法で回答を自動的に判断することができないことに気づいた。手作業で集められた問題の数が不完全であるため、親や学生は長く検索しても、なかなか答えを見つけられない場合がしばしばである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本出願は、穴埋め熟語問題の回答を選択する方法、装置、コンピュータ機器、および記憶媒体を提供することを主な目的とし、現在の人手によって集められた問題の数が不完全であるため、穴埋め熟語問題に答えられないという欠点を解消することを旨とする。
【課題を解決するための手段】
【0005】
上記の目的を実現するために、本出願は、穴埋め熟語問題の回答を選択する方法を提供し、
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
【0006】
本出願はさらに、穴埋め熟語問題の回答を選択する装置を提供し、
穴埋め熟語問題の問題テキストを取得するための第１の取得ユニットであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含む第１の取得ユニットと、
すべての前記候補熟語の説明テキストを取得するための第２の取得ユニットと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るための第１の出力ユニットと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するための選択ユニットであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できない選択ユニットと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するための計算ユニットと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するための第２の出力ユニットと、を含む。
穴埋め熟語問題の問題テキストを取得するための第１の取得ユニットであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含む第１の取得ユニットと、
すべての前記候補熟語の説明テキストを取得するための第２の取得ユニットと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るための第１の出力ユニットと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するための選択ユニットであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できない選択ユニットと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するための計算ユニットと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するための第２の出力ユニットと、を含む。
【0007】
本出願はさらに、コンピュータプログラムが記憶されるメモリと、プロセッサとを備えるコンピュータ機器を提供し、前記プロセッサが前記コンピュータプログラムを実行することにより、穴埋め熟語問題の回答を選択する方法を実現し、以下のステップ、すなわち、
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
【0008】
本出願はさらに、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサによって実行されると、穴埋め熟語問題の回答を選択する方法が実現され、以下のステップ、すなわち、
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
【発明の効果】
【0009】
本出願は、穴埋め熟語問題の回答を選択する方法、装置、コンピュータ機器、および記憶媒体を提供し、前記穴埋め熟語問題の回答を選択する方法は、穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、すべての前記候補熟語の説明テキストを取得するステップと、前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップと、各前記空欄を埋める各前記候補熟語の信頼度に応じて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。本出願は、人工知能を用いて、空欄を埋める各回答セットにおける候補熟語の信頼度の和を得て、信頼度の和が最も高い回答セットをターゲット回答とすることで、熟語が埋める空欄に対する回答を高効率かつ高精度で得る。
【図面の簡単な説明】
【0010】
【図1】本出願の一実施例における穴埋め熟語問題の回答を選択する方法のステップの模式図である。
【図2】本出願の一実施例における穴埋め熟語問題の回答を選択する装置の構成ブロック図である。
【図3】本出願の一実施例に係るコンピュータ機器の構成模式図である。
【0011】
本出願の目的の実現、機能的特徴、および利点を実施例と組み合わせて、図面を参照しながらさらに説明する。
【発明を実施するための形態】
【0012】
図１を参照すると、本出願の一実施例は、穴埋め熟語問題の回答を選択する方法を提供し、以下のステップ、すなわち、
穴埋め熟語問題の問題テキストを取得するステップＳ１であって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップＳ２と、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップＳ３と、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップＳ４であって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップＳ５と、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップＳ６と、を含む。
穴埋め熟語問題の問題テキストを取得するステップＳ１であって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップＳ２と、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップＳ３と、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップＳ４であって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップＳ５と、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップＳ６と、を含む。
【0013】
本実施例では、上記の方法は、穴埋め熟語問題の回答を出力する場面に応用され、人工知能を用いて穴埋め熟語問題の回答を高効率かつ高精度で出力する。本出願に係る解決手段は、スマートシティの建設を促進するための知恵教育の分野にも応用できる。
【0014】
上記のステップＳ１で記載したように、上記の穴埋め熟語問題の問題テキストは、典型的には、学生の試験問題の電子テキストであり、上記問題テキストは、複数の文からなる穴埋めテキストと、複数の候補熟語（すなわち、候補回答）とを含み、学生は、上記の候補熟語から選択して上記の穴埋めテキストの空欄を埋めることができる。
【0015】
上記のステップＳ２で記載したように、データベース（例えば、熟語辞書）にすべての熟語の説明テキスト（すなわち、熟語の意味を解釈するテキスト）が記憶されており、上記のデータベースから、すべての候補熟語の説明テキストを取得することができる。
【0016】
上記のステップＳ３で記載したように、１つの熟語選択穴埋めモデルを予め訓練し、当該熟語選択穴埋めモデルは、ｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークで訓練して得られるものであり、上記の熟語選択穴埋めモデルは、穴埋め熟語問題に埋められた各熟語が正解である信頼度を予測するために使用される。穴埋め熟語問題に埋められた熟語が正解であるか否かを判断する方法は、上記の熟語選択穴埋めモデルに基づいて、上記熟語の説明テキストと穴埋め熟語問題の文の意味的な一貫性を計算し、対応する信頼度を決定することである。
【0017】
上記のステップＳ４で記載したように、ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成する。本実施例では、数学のランダム配列を用いて、ｎ個の前記候補熟語からｍ個の熟語を選択して複数の組み合わせとしてランダムに配列し、各組み合わせは、上記穴埋め熟語問題に埋められる予備回答として使用される。理解されるように、上記の組み合わせの数は、ｎ＊（ｎ－１）＊（ｎ－２）＊．．．＊（ｎ－ｍ＋１）である。
【0018】
上記のステップＳ５で記載したように、上記のステップＳ３では、各前記空欄を埋めるすべての候補熟語の信頼度が算出されたので、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を算出することができる。本実施例では、ＫＭアルゴリズムに基づいて上記の信頼度の和を計算し、ここで、ＫＭアルゴリズムは汎用のアルゴリズムであり、ここでは繰り返して説明しない。
【0019】
上記のステップＳ６で記載したように、信頼度の和が最も高い回答セットをターゲット回答として得て、理解されるように、上記の信頼度は、空欄を埋める候補熟語が正確である信頼度を表し、その信頼度が高いほど正解に近いことは明らかである。したがって、上記の信頼度の和が最も高い場合には、対応するターゲット回答も正解に最も近いものとなり、最後は前記ターゲット回答を前記穴埋め熟語問題の回答として出力する。本実施例では、人工知能の深層学習で訓練された熟語選択穴埋めモデルに基づいて、各前記空欄を埋める各候補熟語の信頼度を取得し、さらに信頼度に基づいて、穴埋め熟語問題のターゲット回答を高効率かつ高精度で出力することができる。この過程では、手動で回答を探す必要がなく、熟語に関する専門的な知識がなくても、対応するターゲット回答を自動的に出力することができ、回答を探す効率および精度が向上するだけでなく、人件費の削減にもつながる。
【0020】
一実施例では、上述した前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップＳ３の前に、
訓練サンプルを取得するステップＳ０１であって、前記訓練サンプルは、回答が選択された穴埋め熟語問題の複数のコーパステキスト、および熟語ライブラリにおけるすべての熟語の説明テキストを含むステップと、
前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るステップＳ０２であって、前記自然言語ニューラルネットワークは、ネットワーク出力層と畳み込み層を含み、前記畳み込み層は、複数の畳み込みネットワークを順に積み重ねることで形成され、次の前記畳み込みネットワークの入力層は、その前のすべての畳み込みネットワークの出力層に接続され、かつ各前記畳み込みネットワークの出力層は、いずれも前記ｂｅｒｔ言語モデルの出力層に接続され、最後の前記畳み込みネットワークの出力層は、前記ネットワーク出力層に接続されるステップと、を含む。理解されるように、上記のｂｅｒｔ言語モデルの出力層から出力された特徴行列は、前記畳み込みネットワークの各層にそれぞれ出力され、同時に、畳み込みネットワークの各層の出力層は、それに続くすべての畳み込みネットワークの入力層にも接続される。本実施例では、モデル構造に上記の改良を行うことで、ニューラルネットワークの深さを増やし、より大きな抽出能力で特徴を抽出することができる。
訓練サンプルを取得するステップＳ０１であって、前記訓練サンプルは、回答が選択された穴埋め熟語問題の複数のコーパステキスト、および熟語ライブラリにおけるすべての熟語の説明テキストを含むステップと、
前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るステップＳ０２であって、前記自然言語ニューラルネットワークは、ネットワーク出力層と畳み込み層を含み、前記畳み込み層は、複数の畳み込みネットワークを順に積み重ねることで形成され、次の前記畳み込みネットワークの入力層は、その前のすべての畳み込みネットワークの出力層に接続され、かつ各前記畳み込みネットワークの出力層は、いずれも前記ｂｅｒｔ言語モデルの出力層に接続され、最後の前記畳み込みネットワークの出力層は、前記ネットワーク出力層に接続されるステップと、を含む。理解されるように、上記のｂｅｒｔ言語モデルの出力層から出力された特徴行列は、前記畳み込みネットワークの各層にそれぞれ出力され、同時に、畳み込みネットワークの各層の出力層は、それに続くすべての畳み込みネットワークの入力層にも接続される。本実施例では、モデル構造に上記の改良を行うことで、ニューラルネットワークの深さを増やし、より大きな抽出能力で特徴を抽出することができる。
【0021】
本実施例では、上述した前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るステップＳ０２は、具体的には、
ａ、前記訓練サンプルを前記ｂｅｒｔ言語モデルに入力し、前記ｂｅｒｔ言語モデルに基づいて前記訓練サンプルの特徴行列を抽出するステップと、
ｂ、前記特徴行列を前記自然言語ニューラルネットワークに入力して反復訓練し、前記熟語選択穴埋めモデルを得るステップと、を含む。
ａ、前記訓練サンプルを前記ｂｅｒｔ言語モデルに入力し、前記ｂｅｒｔ言語モデルに基づいて前記訓練サンプルの特徴行列を抽出するステップと、
ｂ、前記特徴行列を前記自然言語ニューラルネットワークに入力して反復訓練し、前記熟語選択穴埋めモデルを得るステップと、を含む。
【0022】
一実施例では、上記のｂｅｒｔ言語モデルは、大規模なコーパスに基づいて自己教師あり学習法を実行することにより得られ、これは、単語学習に適した特徴ベクトル表現であり、ここで、上記の自己教師あり学習とは、手動でラベルを付与していないデータで実行される教師あり学習のことである。
【0023】
別の実施例では、上記のｂｅｒｔ言語モデルは、Ｍａｓｋｅｄ ＬＭとＮｅｘｔ Ｓｅｎｔｅｎｃｅ Ｐｒｅｄｉｃｔｉｏｎという２つの教師なし予測タスクを用いて事前訓練する。
【0024】
上記のｂｅｒｔ言語モデルのネットワークアーキテクチャは、多層のＴｒａｎｓｆｏｒｍｅｒ構造を採用しており、その最大の特徴は、従来のＲＮＮおよびＣＮＮを放棄し、Ａｔｔｅｎｔｉｏｎメカニズムにより任意の位置にある２つの単語間の距離を１に変換することであり、ＮＬＰにおける厄介な長期依存性の問題を効果的に解決した。Ｔｒａｎｓｆｏｒｍｅｒの構造は、ＮＬＰの分野で広く応用されているので、ここでは繰り返して説明しない。
【0025】
ＮＬＰ（自然言語認識）タスクでは、ｂｅｒｔ言語モデルから出力された特徴行列のベクトル表現を、ＮＬＰタスクの単語埋め込み特徴として直接使用することができる。ｂｅｒｔ言語モデルは、他のタスクの転移学習のためのモデルを提供し、タスクに合わせて微調整しまたは固定してから特徴抽出器として使用することができる。
【0026】
一実施例では、上述した各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップＳ５の前に、
各回答セットにおいて、前記空欄を埋める信頼度が第１の閾値未満である前記候補熟語が少なくとも１つ存在するか否かをそれぞれ判断するステップＳ５１と、
存在する場合、対応する回答を排除し、かつ排除された前記回答における前記候補熟語の、前記空欄を埋める信頼度の和を計算しないようにするステップＳ５２と、を含む。
各回答セットにおいて、前記空欄を埋める信頼度が第１の閾値未満である前記候補熟語が少なくとも１つ存在するか否かをそれぞれ判断するステップＳ５１と、
存在する場合、対応する回答を排除し、かつ排除された前記回答における前記候補熟語の、前記空欄を埋める信頼度の和を計算しないようにするステップＳ５２と、を含む。
【0027】
本実施例では、上記で構成された回答の数は、ｎ＊（ｎ－１）＊（ｎ－２）＊．．．＊（ｎ－ｍ＋１）であるため、上記のｎとｍが大きい場合、構成された回答数も比較的多く、回答セットごとに信頼度の和をそれぞれ計算すると、計算量が多くなり、計算の効率に影響する。理解されるように、上記のように構成された回答のうち、いくつかの回答が正解であることは自明である。例えば、ある回答セットにおいて、空欄を埋めるある候補熟語が明らかに適合していない場合、当該回答セットは完全に正解ではないと判断できる。したがって、各回答に明らかに適合しない候補熟語があるか否かをそれぞれ判断し、さらに当該回答セットを排除して信頼度の和を計算しなければ、演算量を大幅に削減することができる。本実施例では、各前記空欄を埋める各候補熟語の信頼度が取得された場合、信頼度の値が低すぎる（信頼度が閾値、すなわち第１の閾値よりも小さい）か否かに応じて、ある空欄を埋めるある候補熟語が明らかに間違っているかを判断することができる。
【0028】
一実施例では、上述した信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップＳ６の後、さらに、
前記ターゲット回答を前記穴埋めテキストに埋め、回答テキストを得るステップＳ７と、
前記回答テキストに対するユーザの採点を取得し、かつ前記採点が第２の閾値よりも大きいか否かを判断するステップＳ８であって、前記ユーザは標準回答に基づいて前記回答テキストを採点するステップと、
前記採点が第２の閾値よりも大きい場合には、前記回答テキスト、および前記ターゲット回答におけるすべての候補熟語の説明テキストを訓練セットとして形成し、かつ前記訓練セットを前記熟語選択穴埋めモデルに入力して再訓練するステップＳ９と、
再訓練された前記熟語選択穴埋めモデルをブロックチェーンに保存するステップＳ１０と、を含む。
前記ターゲット回答を前記穴埋めテキストに埋め、回答テキストを得るステップＳ７と、
前記回答テキストに対するユーザの採点を取得し、かつ前記採点が第２の閾値よりも大きいか否かを判断するステップＳ８であって、前記ユーザは標準回答に基づいて前記回答テキストを採点するステップと、
前記採点が第２の閾値よりも大きい場合には、前記回答テキスト、および前記ターゲット回答におけるすべての候補熟語の説明テキストを訓練セットとして形成し、かつ前記訓練セットを前記熟語選択穴埋めモデルに入力して再訓練するステップＳ９と、
再訓練された前記熟語選択穴埋めモデルをブロックチェーンに保存するステップＳ１０と、を含む。
【0029】
本実施例では、上記の穴埋め熟語問題のタイプが変化し、その問題テキストの具体的なテキスト内容も元の訓練サンプルのコーパスと異なるため、その後の他の場面での上記熟語選択穴埋めモデルの計算精度を向上させ、モデルの一般化能力を高めるために、上記の熟語選択穴埋めモデルを引き続き再訓練する必要がある。再訓練の前に、上記のターゲット回答ができる限り正解であることを確認すべきであるため、ユーザ（教師など）は、標準回答に基づいて前記回答テキストを採点することで、前記回答テキストの採点を得て、さらに前記採点が第２の閾値よりも大きいか否かを判断することができ、閾値よりも大きい場合には、上記の熟語選択穴埋めモデルから出力されたターゲット回答の正解率が高いと判断することができ、この時、対応する回答テキストと、前記ターゲット回答におけるすべての候補熟語の説明テキストとを使用して訓練セットを形成し、かつ前記訓練セットを前記熟語選択穴埋めモデルに入力して再訓練することができる。他の実施例では、教師であるユーザから標準回答を取得することが可能であれば、標準回答を用いて熟語選択穴埋めモデルの再訓練を実行することができる。
【0030】
上記の熟語選択穴埋めモデルの安全性を強化するために、上記の再訓練された熟語選択穴埋めモデルをブロックチェーンに保存する。ここで、ブロックチェーンは、分散型データストレージ、ピアツーピア伝送、コンセンサスメカニズム、暗号化アルゴリズムなどのコンピュータ技術の新しい応用モデルである。ブロックチェーン（Ｂｌｏｃｋｃｈａｉｎ）は、実質的には分散型データベースであり、暗号化方法で関連して生成された一連のデータブロックであり、各データブロックには、一回のネットワークトランザクションに関する情報が含まれており、その情報の有効性（偽造防止）を検証し、次のブロックを生成するために使用される。ブロックチェーンは、基礎となるブロックチェーンプラットフォーム、プラットフォーム製品サービス層、およびアプリケーションサービス層を含み得る。
【0031】
一実施例では、前記穴埋め熟語問題は学生をテストするために使用される。
【0032】
上述した信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップＳ６の後、さらに、
学生側端末からアップロードされたテストテキストを取得するステップＳ７ａであって、テストテキストは、前記学生が前記穴埋め熟語問題の穴埋めテキストに学生の回答を埋めたテキストであり、前記学生側端末は、前記テストテキストをアップロードするとき、前記穴埋め熟語問題に埋められた前記学生の回答を順にステッチして第１の熟語の組み合わせを得て、かつブロックチェーンに基づいて、前記第１の熟語の組み合わせに対してハッシュ計算を実行し、対応するハッシュ値を得て、前記ハッシュ値を識別コードとして前記テストテキストに追加するステップと、
前記テストテキストにおけるすべての学生回答を抽出し、かつ順次ステッチして第２の熟語の組み合わせを得るステップＳ８ａと、
ブロックチェーンに基づいて、前記第２の熟語の組み合わせに対してハッシュ計算を実行し、対応する検証用ハッシュ値を得るスステップＳ９ａと、
前記テストテキストにおける識別コードを認識し、かつ前記検証用ハッシュ値と前記識別コードが一致するか否かを検証するステップＳ１０ａと、
一致する場合、前記学生回答と前記ターゲット回答を一つずつ比較し、前記学生回答の精度を得るステップＳ１１ａと、を含む。
学生側端末からアップロードされたテストテキストを取得するステップＳ７ａであって、テストテキストは、前記学生が前記穴埋め熟語問題の穴埋めテキストに学生の回答を埋めたテキストであり、前記学生側端末は、前記テストテキストをアップロードするとき、前記穴埋め熟語問題に埋められた前記学生の回答を順にステッチして第１の熟語の組み合わせを得て、かつブロックチェーンに基づいて、前記第１の熟語の組み合わせに対してハッシュ計算を実行し、対応するハッシュ値を得て、前記ハッシュ値を識別コードとして前記テストテキストに追加するステップと、
前記テストテキストにおけるすべての学生回答を抽出し、かつ順次ステッチして第２の熟語の組み合わせを得るステップＳ８ａと、
ブロックチェーンに基づいて、前記第２の熟語の組み合わせに対してハッシュ計算を実行し、対応する検証用ハッシュ値を得るスステップＳ９ａと、
前記テストテキストにおける識別コードを認識し、かつ前記検証用ハッシュ値と前記識別コードが一致するか否かを検証するステップＳ１０ａと、
一致する場合、前記学生回答と前記ターゲット回答を一つずつ比較し、前記学生回答の精度を得るステップＳ１１ａと、を含む。
【0033】
本実施例では、上記方法は、学生をテストするための場面に応用され、学生の真の熟語を身に付けるレベルをテストするために、学生が提出した回答にはエラーがなく、改ざんされていないことを確保する必要があり、したがって、学生が前記穴埋め熟語問題の穴埋めテキストに学生の回答を埋めた後、学生の回答を記載したテストテキストを端末を介して提出する場合、上記端末は、前記学生が前記穴埋め熟語問題に埋めた学生の回答を順次ステッチして第１の熟語の組み合わせを得て、かつ第１の熟語の組み合わせに対してハッシュ計算を実行し、対応するハッシュ値を得て、ハッシュ値を識別コードとして前記テストテキストに追加する必要があり、また、ハッシュ計算は、上記第１の熟語の組み合わせを固定長のハッシュ値に変換することができ、かつ上記プロセスは不可逆的であるため、ハッシュ値を上記第１の熟語の組み合わせに変換することができず、他のユーザが上記ハッシュ値を取得し、逆に推算して上記学生回答を取得することが避けられる。上記のテストテキストに追加された識別コードは、上記のテストテキストが改ざんされているか否かを検証するための根拠とする。
【0034】
上記学生側端末からアップロードされたテストテキストを取得した場合、学生回答を抽出し、かつそれを同様のプロセスで組み合わせ、ハッシュ計算を実行して検証用ハッシュ値を得て、検証用ハッシュ値と上記の識別コードが一致しているか否かを判断し、一致する場合、学生のテストテキストが改ざんされておらず、その学生回答が有効であることになる。この時、さらに学生回答とターゲット回答を比較して、前記学生回答の精度を取得する。
【0035】
図２を参照すると、本出願の一実施例はさらに、穴埋め熟語問題の回答を選択する装置を提供し、
穴埋め熟語問題の問題テキストを取得するための第１の取得ユニット１０であって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含む第１の取得ユニットと、
すべての前記候補熟語の説明テキストを取得するための第２の取得ユニット２０と、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るための第１の出力ユニット３０と、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するための選択ユニット４０であって、各回答セットにおいて、前記空欄を埋めるための前記候補熟語は、最大で１回しか選択できない選択ユニットと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するための計算ユニット５０と、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するための第２の出力ユニット６０と、を含む。
穴埋め熟語問題の問題テキストを取得するための第１の取得ユニット１０であって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含む第１の取得ユニットと、
すべての前記候補熟語の説明テキストを取得するための第２の取得ユニット２０と、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るための第１の出力ユニット３０と、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するための選択ユニット４０であって、各回答セットにおいて、前記空欄を埋めるための前記候補熟語は、最大で１回しか選択できない選択ユニットと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するための計算ユニット５０と、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するための第２の出力ユニット６０と、を含む。
【0036】
一実施例では、さらに、
訓練サンプルを取得するための第３の取得ユニットであって、前記訓練サンプルは、回答が選択された穴埋め熟語問題の複数のコーパステキスト、および熟語ライブラリにおけるすべての熟語の説明テキストを含む第３の取得ユニットと、
前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るための訓練ユニットであって、前記自然言語ニューラルネットワークは、ネットワーク出力層と畳み込み層を含み、前記畳み込み層は、複数の畳み込みネットワークを順に積み重ねることで形成され、次の前記畳み込みネットワークの入力層は、その前のすべての畳み込みネットワークの出力層に接続され、かつ各前記畳み込みネットワークの出力層は、いずれも前記ｂｅｒｔ言語モデルの出力層に接続され、最後の前記畳み込みネットワークの出力層は、前記ネットワーク出力層に接続される訓練ユニットと、を含む。
訓練サンプルを取得するための第３の取得ユニットであって、前記訓練サンプルは、回答が選択された穴埋め熟語問題の複数のコーパステキスト、および熟語ライブラリにおけるすべての熟語の説明テキストを含む第３の取得ユニットと、
前記訓練サンプルをｂｅｒｔ言語モデルに基づく自然言語ニューラルネットワークに入力して訓練し、前記熟語選択穴埋めモデルを得るための訓練ユニットであって、前記自然言語ニューラルネットワークは、ネットワーク出力層と畳み込み層を含み、前記畳み込み層は、複数の畳み込みネットワークを順に積み重ねることで形成され、次の前記畳み込みネットワークの入力層は、その前のすべての畳み込みネットワークの出力層に接続され、かつ各前記畳み込みネットワークの出力層は、いずれも前記ｂｅｒｔ言語モデルの出力層に接続され、最後の前記畳み込みネットワークの出力層は、前記ネットワーク出力層に接続される訓練ユニットと、を含む。
【0037】
一実施例では、前記訓練ユニットは、具体的には、
前記訓練サンプルを前記ｂｅｒｔ言語モデルに入力し、前記ｂｅｒｔ言語モデルに基づいて前記訓練サンプルの特徴行列を抽出することと、
前記特徴行列を前記自然言語ニューラルネットワークに入力して反復訓練し、前記熟語選択穴埋めモデルを得ることと、のために使用される。
前記訓練サンプルを前記ｂｅｒｔ言語モデルに入力し、前記ｂｅｒｔ言語モデルに基づいて前記訓練サンプルの特徴行列を抽出することと、
前記特徴行列を前記自然言語ニューラルネットワークに入力して反復訓練し、前記熟語選択穴埋めモデルを得ることと、のために使用される。
【0038】
一実施例では、前記装置は、さらに、
各回答セットにおいて、前記空欄を埋める信頼度が第１の閾値未満である前記候補熟語が少なくとも１つ存在するか否かをそれぞれ判断するための第１の判断ユニットと、
存在する場合、対応する回答を排除し、かつ排除された前記回答における前記候補熟語の、前記空欄を埋める信頼度の和を計算しないようにする排除ユニットと、を含む。
各回答セットにおいて、前記空欄を埋める信頼度が第１の閾値未満である前記候補熟語が少なくとも１つ存在するか否かをそれぞれ判断するための第１の判断ユニットと、
存在する場合、対応する回答を排除し、かつ排除された前記回答における前記候補熟語の、前記空欄を埋める信頼度の和を計算しないようにする排除ユニットと、を含む。
【0039】
一実施例では、前記装置は、さらに、
前記ターゲット回答を前記穴埋めテキストに埋め、回答テキストを得るための穴埋めユニットと、
前記回答テキストに対するユーザの採点を取得し、かつ前記採点が第２の閾値よりも大きいか否かを判断するための第２の判断ユニットであって、前記ユーザは標準回答に基づいて前記回答テキストを採点する第２の判断ユニットと、
前記採点が第２の閾値よりも大きい場合には、前記回答テキスト、および前記ターゲット回答におけるすべての候補熟語の説明テキストを訓練セットとして形成し、かつ前記訓練セットを前記熟語選択穴埋めモデルに入力して再訓練するための再訓練ユニットと、
再訓練された前記熟語選択穴埋めモデルをブロックチェーンに保存するための保存ユニットと、を含む。
前記ターゲット回答を前記穴埋めテキストに埋め、回答テキストを得るための穴埋めユニットと、
前記回答テキストに対するユーザの採点を取得し、かつ前記採点が第２の閾値よりも大きいか否かを判断するための第２の判断ユニットであって、前記ユーザは標準回答に基づいて前記回答テキストを採点する第２の判断ユニットと、
前記採点が第２の閾値よりも大きい場合には、前記回答テキスト、および前記ターゲット回答におけるすべての候補熟語の説明テキストを訓練セットとして形成し、かつ前記訓練セットを前記熟語選択穴埋めモデルに入力して再訓練するための再訓練ユニットと、
再訓練された前記熟語選択穴埋めモデルをブロックチェーンに保存するための保存ユニットと、を含む。
【0040】
一実施例では、前記穴埋め熟語問題は学生をテストするために使用される。前記装置は、さらに、
学生側端末からアップロードされたテストテキストを取得するための第４の取得ユニットであって、テストテキストは、前記学生が前記穴埋め熟語問題の穴埋めテキストに学生の回答を埋めたテキストであり、前記学生側端末は、前記テストテキストをアップロードするとき、前記穴埋め熟語問題に埋められた前記学生の回答を順にステッチして第１の熟語の組み合わせを得て、かつ前記第１の熟語の組み合わせに対してハッシュ計算を実行し、対応するハッシュ値を得て、前記ハッシュ値を識別コードとして前記テストテキストに追加する第４の取得ユニットと、
前記テストテキストにおけるすべての学生回答を抽出し、かつ順次ステッチして第２の熟語の組み合わせを得るための抽出ユニットと、
ブロックチェーンに基づいて、前記第２の熟語の組み合わせに対してハッシュ計算を実行し、対応する検証用ハッシュ値を得るためのハッシュ計算ユニットと、
前記テストテキストにおける識別コードを認識し、かつ前記検証用ハッシュ値と前記識別コードが一致するか否かを検証するための検証ユニットと、
一致する場合、前記学生回答と前記ターゲット回答を一つずつ比較し、前記学生回答の精度を得るための比較ユニットと、を含む。
学生側端末からアップロードされたテストテキストを取得するための第４の取得ユニットであって、テストテキストは、前記学生が前記穴埋め熟語問題の穴埋めテキストに学生の回答を埋めたテキストであり、前記学生側端末は、前記テストテキストをアップロードするとき、前記穴埋め熟語問題に埋められた前記学生の回答を順にステッチして第１の熟語の組み合わせを得て、かつ前記第１の熟語の組み合わせに対してハッシュ計算を実行し、対応するハッシュ値を得て、前記ハッシュ値を識別コードとして前記テストテキストに追加する第４の取得ユニットと、
前記テストテキストにおけるすべての学生回答を抽出し、かつ順次ステッチして第２の熟語の組み合わせを得るための抽出ユニットと、
ブロックチェーンに基づいて、前記第２の熟語の組み合わせに対してハッシュ計算を実行し、対応する検証用ハッシュ値を得るためのハッシュ計算ユニットと、
前記テストテキストにおける識別コードを認識し、かつ前記検証用ハッシュ値と前記識別コードが一致するか否かを検証するための検証ユニットと、
一致する場合、前記学生回答と前記ターゲット回答を一つずつ比較し、前記学生回答の精度を得るための比較ユニットと、を含む。
【0041】
本実施例では、上記装置の実施例における各ユニットの具体的な実装方法は、上記方法の実施例で説明したものを参考とし、ここでは繰り返して説明しない。
【0042】
図３を参照すると、本出願の実施例は、コンピュータ機器をさらに提供し、当該コンピュータ機器はサーバであってもよく、その内部構造は図３に示すようなものであり得る。当該コンピュータ機器は、システムバスを介して接続されたプロセッサ、メモリ、ネットワークインターフェース、およびデータベースを含む。ここで、当該コンピュータで設計されたプロセッサは、計算と制御の機能を提供するために使用される。当該コンピュータ機器のメモリは、不揮発性記憶媒体と内部メモリを含む。当該不揮発性記憶媒体には、オペレーティングシステム、コンピュータプログラム、およびデータベースが記憶されている。当該内部メモリは、不揮発性記憶媒体におけるオペレーティングシステムおよびコンピュータプログラムを動作させるための環境を提供する。当該コンピュータ機器のデータベースは、穴埋め熟語問題などを記憶するために使用される。当該コンピュータ機器のネットワークインターフェースは、ネットワーク接続によって外部の端末と通信するために使用される。当該コンピュータプログラムがプロセッサによって実行されると、穴埋め熟語問題の回答を選択する方法を実現し、以下のステップ、すなわち、
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
【0043】
図３に示す構造は、本出願の解決手段に関連する一部の構造のブロック図に過ぎず、本出願の解決手段に応用されるコンピュータ機器を限定するものではないことは、当業者であれば理解可能である。
【0044】
本出願の一実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体をさらに提供し、コンピュータプログラムがプロセッサによって実行されると、穴埋め熟語問題の回答を選択する方法が実現され、以下のステップ、すなわち、
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、
すべての前記候補熟語の説明テキストを取得するステップと、
前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、
ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップであって、各回答セットにおいて、前記空欄を埋める前記候補熟語は、最大で１回しか選択できないステップと、
各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、
信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。
【0045】
理解されるように、本実施例におけるコンピュータ可読記憶媒体は、揮発性の可読記憶媒体であってもよいし、不揮発性の可読記憶媒体であってもよい。
【0046】
要約すると、本出願の実施例は、穴埋め熟語問題の回答を選択する方法、装置、コンピュータ機器、および記憶媒体を提供し、前記穴埋め熟語問題の回答を選択する方法は、穴埋め熟語問題の問題テキストを取得するステップであって、前記問題テキストは、穴埋めテキストおよびｎ個の候補熟語を含み、前記穴埋めテキストは、前記候補熟語が埋めるｍ個の空欄を含むステップと、すべての前記候補熟語の説明テキストを取得するステップと、前記穴埋めテキストおよび前記説明テキストを、予め訓練して得られた熟語選択穴埋めモデルに入力して、各前記空欄を埋める各候補熟語の信頼度を得るステップと、ｎ個の前記候補熟語からｍ個の熟語を選択してランダムに配列してｍ個の前記空欄を埋め、複数の回答セットを形成するステップと、各前記空欄を埋める各前記候補熟語の信頼度に応じて、ＫＭアルゴリズムに基づいて、前記空欄を埋める各回答セットにおける前記候補熟語の信頼度の和を計算するステップと、信頼度の和が最も高い回答のセットをターゲット回答として取得し、前記ターゲット回答を前記穴埋め熟語問題の回答として出力するステップと、を含む。本出願は、人工知能を用いて、空欄を埋める各回答セットにおける候補熟語の信頼度の和を得て、信頼度の和が最も高い回答セットをターゲット回答とすることで、熟語が埋める空欄に対する回答を高効率かつ高精度で得る。
【符号の説明】
【0047】
１０ 第１の取得ユニット
２０ 第２の取得ユニット
３０ 第１の出力ユニット
４０ 選択ユニット
５０ 計算ユニット
６０ 第２の出力ユニット
２０ 第２の取得ユニット
３０ 第１の出力ユニット
４０ 選択ユニット
５０ 計算ユニット
６０ 第２の出力ユニット
【図1】
【図2】
【図3】