知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-16
(45)【発行日】2024-07-24
(54)【発明の名称】穴埋め試験問題作成システム、方法、プログラム
(51)【国際特許分類】
G09B 7/02 20060101AFI20240717BHJP
G06Q 50/20 20120101ALI20240717BHJP
【ＦＩ】
G09B7/02
G06Q50/20
【請求項の数】
9
(21)【出願番号】P 2022536073
(86)(22)【出願日】2020-07-16
(86)【国際出願番号】 JP2020027702
(87)【国際公開番号】W WO2022014016
(87)【国際公開日】2022-01-20
【審査請求日】2023-01-13
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100080816
【弁理士】
【氏名又は名称】加藤 朝道
(74)【代理人】
【識別番号】100098648
【弁理士】
【氏名又は名称】内田 潔人
(72)【発明者】
【氏名】永井 久史
(72)【発明者】
【氏名】及川 貴司
(72)【発明者】
【氏名】小林 崇則
(72)【発明者】
【氏名】津田 晃久
【審査官】宇佐田 健二
(56)【参考文献】
【文献】特許第６５７８９４１（ＪＰ，Ｂ２）
【文献】特開２００８－１２９４４９（ＪＰ，Ａ）
【文献】特開平０６－０９５５８３（ＪＰ，Ａ）
【文献】岩田 具治、外4名，“ＮＴＴ Ｒ＆Ｄのオープンイノベーションをリードする大学連携 機械学習に基づく英語穴埋め問題の自動生成，「ＮＴＴ技術ジャーナル」，日本，社団法人電気通信協会，2011年07月01日，第23巻，第7号，pp.16-19，ISSN:0915-2318
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ ５／００－５／１４，７／００－７／１２，１９／００－１９／２６
Ｇ０６Ｑ ５０／２０
(57)【特許請求の範囲】
【請求項1】
文書蓄積部に蓄積された文書の中から、授業内容データを要約する検索クエリ文を含意する穴埋め試験問題対象文書を決定する、穴埋め試験問題対象文書決定部と、１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成する、学習済みモデル生成部と、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、穴埋め箇所予測部と、
前記穴埋め箇所を含む穴埋め試験問題を表示する、穴埋め試験問題表示部と
を含む、穴埋め試験問題作成システムであって、
前記穴埋め試験問題対象文書決定部は、検索クエリ文生成部を含み、
前記検索クエリ文生成部は、
１または複数の授業内容データと前記授業内容データから要約されたクエリ文を第２の訓練データとして、要約モデルの学習を実行して学習済み要約モデルを生成する学習済み要約モデル生成部と、
前記学習済み要約モデルにより、授業内容データ蓄積部に蓄積された穴埋め試験問題を作成する対象の授業の授業内容データから、クエリ文を予測し出力するクエリ文予測部と、
予測されたクエリ文を含む複数のクエリ文から、クエリ文を選択して前記検索クエリ文を出力する、検索クエリ文選択部を含む、穴埋め試験問題作成システム。
【請求項2】
前記学習済みモデル生成部は、所定の教育機関の行う各種試験の難易度毎の複数のグループの訓練データに対して、それぞれ異なる学習済みモデルを生成する、請求項１に記載のシステム。
【請求項3】
前記穴埋め試験問題表示部は、前記穴埋め試験問題対象文書と、前記穴埋め試験問題対象文書の穴埋め箇所を含む穴埋め試験問題を表示する、請求項１または２に記載のシステム。
【請求項4】
前記学習済みモデル生成部は、第１のニューラルネットワークを用いてモデルの学習を実行する、請求項１ないし３のいずれか一項に記載のシステム。
【請求項5】
前記第１のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせである、請求項４に記載のシステム。
【請求項6】
前記学習済み要約モデル生成部は、第２のニューラルネットワークを用いてモデルの学習を実行する、請求項１ないし５のいずれか一項に記載のシステム。
【請求項7】
前記穴埋め試験問題対象文書決定部は、検索クエリ文に含まれる複数の単文ごとに、その単文に意味が類似する単文を、複数の単文を含む文書の中から抽出し、前記検索クエリ文と文書のそれぞれについて、ある接続語の前後の単文の出現順序に基づいて単文間の事象の発生順である談話関係を示す談話関係情報を生成し、前記談話関係情報に基づいて、前記検索クエリ文に含まれる単文間の談話関係と、前記抽出された単文間の位置の交差箇所の数である談話関係距離を算出し、前記談話関係距離を含む値と所定の閾値とに基づいて、文書が検索クエリ文を含意しているか否かを判定する、テキスト含意認識を用いて、蓄積された１または複数の文書の中の検索クエリ文を含意する文を含む文書の中から穴埋め試験問題対象文書を決定する、請求項１ないし６のいずれか一項に記載のシステム。
【請求項8】
文書蓄積部に蓄積された文書の中から、授業内容データを要約する検索クエリ文を含意する穴埋め試験問題対象文書を決定するステップと、１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成するステップと、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、予測ステップと、
前記穴埋め箇所を含む穴埋め試験問題を表示するステップと
を含む、穴埋め試験問題作成方法であって、
前記穴埋め試験問題対象文書を決定するステップは、検索クエリ文生成ステップを含み、
前記検索クエリ文生成ステップは、
１または複数の授業内容データと前記授業内容データから要約されたクエリ文を第２の訓練データとして、要約モデルの学習を実行して学習済み要約モデルを生成する学習済み要約モデル生成ステップと、
前記学習済み要約モデルにより、授業内容データ蓄積部に蓄積された穴埋め試験問題を作成する対象の授業の授業内容データから、クエリ文を予測し出力するクエリ文予測ステップと、
予測されたクエリ文を含む複数のクエリ文から、クエリ文を選択して前記検索クエリ文を出力する、検索クエリ文選択ステップを含む、穴埋め試験問題作成方法。
【請求項9】
プロセッサと記憶装置とを備えるコンピュータに、文書蓄積部に蓄積された文書の中から、授業内容データを要約する検索クエリ文を含意する穴埋め試験問題対象文書を決定する処理と、
１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成する処理と、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、予測処理と、
前記穴埋め箇所を含む穴埋め試験問題を表示する処理と
を実行させる、穴埋め試験問題作成プログラムであって、
前記穴埋め試験問題対象文書を決定する処理は、検索クエリ文生成処理を含み、
前記検索クエリ文生成処理は、
１または複数の授業内容データと前記授業内容データから要約されたクエリ文を第２の訓練データとして、要約モデルの学習を実行して学習済み要約モデルを生成する学習済み要約モデル生成処理と、
前記学習済み要約モデルにより、授業内容データ蓄積部に蓄積された穴埋め試験問題を作成する対象の授業の授業内容データから、クエリ文を予測し出力するクエリ文予測処理と、
予測されたクエリ文を含む複数のクエリ文から、クエリ文を選択して前記検索クエリ文を出力する、検索クエリ文選択処理を含む、穴埋め試験問題作成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、穴埋め試験問題作成システム、方法、プログラムに関する。
【背景技術】
【0002】
特許文献１には、段落００４０に、「したがって、本実施形態によれば、自動生成した問題に難易度を付した問題を容易に生成することができる。」と記載されており、段落００２７に、「データベース１１０は、既知の問題に対して、少なくとも、その特徴量と難易度とを関連付けて格納する。」と記載されており、段落００２８に、「特徴量抽出部１２０は、ある問題に対して、特徴量を抽出する。ここで、特徴量とは、図２に示すように、問題タイプが算数ドリルの場合、・・・、英語穴埋め問題の場合、例えば、問題文の文エントロピー、選択肢の単語の難易度、選択肢の数、選択肢の単語の語長のいずれかまたはその組み合わせである。」と記載されており、段落００３６に、「問題生成部２１０は、自動生成した問題に対して、第１の実施形態に記載の難易度推定装置を用いて、難易度を付与した問題を生成する。ここで、自動生成する問題が、算数ドリルの場合であれば、問題のテンプレートなどに対して、被演算子をランダム発生させるなどして生成する。」と記載されている。さらに、特許文献１には、段落００２９に、「特徴量と難易度との関係の分析には、重回帰分析を用いることが好ましい。つまり、算数ドリルにおける難易度推定の例では、図２に示すように、難易度が既知である既知の算数ドリルｎ問に対して、被演算子の数などからなる５つの特徴量を抽出し、難易度との関係を重回帰分析により学習する。」と記載されている。
【0003】
特許文献２には、段落００５４に、「このように、装置１０によれば、自動的に基準データを作成し、その基準データを使用して適切な出力データを生成することができるから、複雑な文法の穴埋め問題等を手間なく自動で作成することができる。」と記載されており、段落００５８に、「まず、装置１０は、穴埋め問題の問題文と解答の組をトレーニングデータとして、多数の入力を受ける（図１１のステップＳ１０）。・・・、妥当でないことを示すラベル「－１」が付される。」と記載されており、段落００５９に、「続いて、装置１０は、ラベル付きの事例を統計処理して、識別面及びサポートベクターを算出する（ステップＳ１６）。」と記載されており、段落００６０に、「まず、装置１０は、テストデータとして、英文の入力を受け付ける（図１２のステップＳ３０）。・・・、候補事例を生成する（ステップＳ３４）。」と記載されており、段落００６１に、「続いて、装置１０は、学習結果を参照し、各候補事例をラベル付けする（ステップＳ３６）。・・・続いて、装置１０は、出力事例に対応する候補データを出力する（ステップＳ４０）。」と記載されている。
【0004】
特許文献３には、段落０００８に、「ステップ５５：選択した問題モデルに従って行う、文法的に分析した学習データの試験問題への変換による試験問題の作成。」と記載されており、段落００１３に、「図３に示すように、必要を満足させるように作成された試験問題モデルは、空欄への記入、選択、文の再構成、訂正等のような形をとることができる。・・・学習者に形を変えた語の正しい形の語を空欄に記入するように要求することにより作成される。選択問題は、その文の一語を除去し、選択項目を作成し、同時に正しい解答が必ず一意になるように、学習データベース１０から、形、意味または句読点が類似している三つの他の語を発見することにより作成することができる。」と記載されており、段落００１９に、「１．試験問題のソースとして、学習データベース１０から、・・・という文を選択する。」と記載されており、段落００２０に、「２．問題モデル・データベース３０から、選択の試験問題モデルを選択する。」と記載されており、段落００２１に、「４．学習データベース１０内の文は、・・・下記の問題Ｂに形を変えられる。」と記載されている。
【0005】
特許文献４には、仮説文章に含まれる複数の単文ごとに、その単文に意味が類似する単文を、複数の単文を含む対象文章の中から抽出し、前記仮説文章と対象文章のそれぞれについて、ある接続語の前後の単文の出現順序に基づいて単文間の事象の発生順である談話関係を示す談話関係情報を生成し、前記談話関係情報に基づいて、前記仮説文章に含まれる単文間の談話関係と、抽出部に抽出された単文間の位置の交差箇所の数である談話関係距離を算出し、前記談話関係距離を含む値と所定の閾値とに基づいて、対象文章が仮説文章を含意しているか否かを判定することを含む含意判定方法が、記載されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０１６－４０５８０号公報
【文献】特開２００８－１２９４４９号公報
【文献】特開２００１－３０５９４４号公報
【文献】特許第６５７８９４１号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
以下の分析は、本発明によって与えられたものである。教員の業務の中でも、試験問題の作成の負荷を軽減するソフトウェアが開発されている。しかしながら、従来技術では、試験問題を効率よく管理することはできるが、試験問題の作成は人手により行われていた。
【0008】
本発明は、穴埋め試験問題の作成業務の効率化に貢献するシステム、方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
第１の視点によれば、検索クエリ文を含意する穴埋め試験問題対象文書を決定する、穴埋め試験問題対象文書決定部と、
１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成する、学習済みモデル生成部と、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、穴埋め箇所予測部と、
前記穴埋め箇所を含む穴埋め試験問題を表示する、穴埋め試験問題表示部と
を含む、穴埋め試験問題作成システムが提供される。
１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成する、学習済みモデル生成部と、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、穴埋め箇所予測部と、
前記穴埋め箇所を含む穴埋め試験問題を表示する、穴埋め試験問題表示部と
を含む、穴埋め試験問題作成システムが提供される。
【0010】
第２の視点によれば、検索クエリ文を含意する穴埋め試験問題対象文書を決定するステップと、
１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成するステップと、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、予測ステップと、
前記穴埋め箇所を含む穴埋め試験問題を表示するステップと
を含む、穴埋め試験問題作成方法が提供される。本方法は、上記した穴埋め試験問題対象文書を決定し、学習済みモデルを生成し、穴埋め箇所を予測して出力し、穴埋め試験問題を表示する機能を備えたコンピュータという、特定の機械に結びつけられている。
１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成するステップと、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、予測ステップと、
前記穴埋め箇所を含む穴埋め試験問題を表示するステップと
を含む、穴埋め試験問題作成方法が提供される。本方法は、上記した穴埋め試験問題対象文書を決定し、学習済みモデルを生成し、穴埋め箇所を予測して出力し、穴埋め試験問題を表示する機能を備えたコンピュータという、特定の機械に結びつけられている。
【0011】
第３の視点によれば、プロセッサと記憶装置とを備えるコンピュータに、
検索クエリ文を含意する穴埋め試験問題対象文書を決定する処理と、
１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成する処理と、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、予測処理と、
前記穴埋め箇所を含む穴埋め試験問題を表示する処理と
を実行させる、穴埋め試験問題作成プログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
検索クエリ文を含意する穴埋め試験問題対象文書を決定する処理と、
１または複数の文書と前記文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成する処理と、
前記学習済みモデルにより前記穴埋め試験問題対象文書の穴埋め箇所を予測して出力する、予測処理と、
前記穴埋め箇所を含む穴埋め試験問題を表示する処理と
を実行させる、穴埋め試験問題作成プログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジトリーな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【0012】
本発明によれば、穴埋め試験問題の作成業務の効率化に貢献することができる。
【図面の簡単な説明】
【0013】
【図1】本発明の一実施形態の穴埋め試験問題作成システムの構成を示す図である。
【図2】本発明の一実施形態の穴埋め試験問題作成システムの穴埋め試験問題表示部の動作を示す図である。
【図3】本発明の第１の実施形態の穴埋め試験問題作成システムの構成を示す図である。
【図4】本発明の第１の実施形態の穴埋め試験問題作成システムの検索クエリ文生成部の構成を示す図である。
【図5】本発明の第１の実施形態の穴埋め試験問題作成システムのテキスト含意認識部の構成を示す図である。
【図6】本発明の第１の実施形態の穴埋め試験問題作成システムの学習済みモデル生成部の構成を示す図である。
【図7】本発明の第１の実施形態の穴埋め試験問題作成システムの穴埋め処理部の構成を示す図である。
【図8】本発明の第１の実施形態の穴埋め試験問題作成システムの穴埋め箇所抽出部の構成を示す図である。
【図9】本発明の第２の実施形態の穴埋め試験問題作成システムの構成を示す図である。
【図10】本発明の第２の実施形態の穴埋め試験問題作成システムの動作を説明するためのフローチャートを示す図である。
【図11】本発明の第２の実施形態の穴埋め試験問題作成システムの検索クエリ文生成部の動作を説明するためのフローチャートを示す図である。
【図12】本発明の第２の実施形態の穴埋め試験問題作成システムの検索クエリ文生成部の動作を説明するためのフローチャートを示す図である。
【図13】本発明の第２の実施形態の穴埋め試験問題作成システムの動作を説明するためのフローチャートを示す図である。
【図14】本発明の第３の実施形態の穴埋め試験問題作成システムの構成を示す図である。
【図15】本発明の第３の実施形態の穴埋め試験問題作成システムの穴埋め処理部と穴埋め箇所変更・レベル表示・一覧表示受付部の構成を示す図である。
【図16】本発明の第４の実施形態の穴埋め試験問題作成システムの構成を示す図である。
【図17】本発明の第４の実施形態の穴埋め試験問題作成システムの穴埋め処理部と穴埋め箇所変更履歴蓄積部の構成を示す図である。
【図18】本発明の第５の実施形態の穴埋め試験問題作成システムの構成を示す図である。
【図19】本発明の第６の実施形態の穴埋め処理部の構成を示す図である。
【図20】本発明の第６の実施形態の穴埋め試験問題作成システムの穴埋め試験問題のレベル表示の一例を示す図である。
【図21】本発明の第７の実施形態の穴埋め処理部の構成を示す図である。
【図22】本発明の第７の実施形態の穴埋め試験問題作成システムの穴埋め箇所の一覧表示の一例を示す図である。
【図23】本発明の穴埋め試験問題作成システムを構成するコンピュータの構成を示す図である。
【発明を実施するための形態】
【0014】
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。また、以降の説明で参照する図面等のブロック間の接続線は、双方向及び単方向の双方を含む。一方向矢印については、主たる信号（データ）の流れを模式的に示すものであり、双方向性を排除するものではない。
【0015】
本発明は、その一実施形態において、図１に示すように、穴埋め試験問題対象文書決定部１０と、学習済みモデル生成部２０と、穴埋め箇所予測部３０と、穴埋め試験問題表示部４０とを含む穴埋め試験問題作成システム１にて実現できる。
【0016】
より具体的には、穴埋め試験問題作成システム１の穴埋め試験問題対象文書決定部１０は、授業内容データを要約する検索クエリ文を含意する穴埋め試験問題対象文書を決定する。授業内容データは、後述するように、授業内容を表すテキストデータや、授業時の音声を音声認識によりテキストデータに変換したデータ等の、授業内容を反映したデータでもよい。学習済みモデル生成部２０は、１または複数の文書とそれらの文書の中の穴埋め箇所を指定した正解データを訓練データとしてモデルの学習を実行し、学習済みモデルを生成する。なお、モデルの学習においては、訓練データの１または複数の文書を入力してニューラルネットワークにより予測された穴埋め箇所と、各文書に対する穴埋め箇所の正解データとの間の誤差が最小になるようにニューラルネットワークの重みパラメータが調整されて、学習済みモデルが生成される。穴埋め箇所予測部３０は、生成された学習済みモデルを使用して、穴埋め試験問題対象文書決定部１０により決定された穴埋め試験問題対象文書の穴埋め箇所を予測して出力する。穴埋め試験問題表示部４０は、穴埋め試験問題対象文書の予測された穴埋め箇所を含む穴埋め試験問題を表示する。
【0017】
なお、訓練データとしては、これに限られないが、例えば、英語の文章とそれらの文章の中の語句の穴埋め箇所を指定した正解データ、社会科の文章とその穴埋め箇所を指定した正解データ、理科の文章とその穴埋め箇所を指定した正解データ、国語の文章と文挿入箇所を指定した正解データ、英語の文章と文挿入箇所を指定した正解データ等でもよい。
【0018】
また、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような穴埋め試験問題の難易度の異なる複数のグループの訓練データに対して、それぞれモデルの学習を実行して、それぞれの難易度に対応する異なる学習済みモデルを生成することができる。すなわち、モデルの学習を実行する訓練データとして、作成する穴埋め試験問題の難易度に従って、志望大学毎又は学力レベル毎に、１または複数の文書とそれらの文書の中の穴埋め箇所を指定した正解データを含む訓練データを準備してモデルの学習を実行すれば、志望大学毎又は学力レベル毎に異なる穴埋め試験問題の難易度に適応された学習済みモデルが生成され、この学習済みモデルにより志望大学毎又は学力レベル毎に適応された穴埋め箇所を予測して出力し、穴埋め試験問題を表示することも可能である。
【0019】
従って、穴埋め試験問題対象文書に対して、志望大学又は学力レベルに適応した難易度の穴埋め箇所を出力し、穴埋め試験問題を表示して、その推薦を行うことも可能である。
【0020】
また、本一実施形態において、ニューラルネットワークは、ディープニューラルネットワークでもよい。また、本一実施形態において、ニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせでもよい。
【0021】
さらに、穴埋め試験問題対象文書は、テキストを含む文書、または、画像を含む文書でもよく、あるいは、テキストと画像の両者を含む文書でもよい。また、穴埋め試験問題対象文書は、音声認識手段を用いて取得した文書でもよい。
【0022】
図２は、本発明の一実施形態の穴埋め試験問題作成システムの穴埋め試験問題表示部の動作を示す図である。図２は、表示画面５０の一実施形態を示すものであり、穴埋め試験問題作成システム１の穴埋め試験問題対象文書決定部１０で決定した穴埋め試験問題対象文書を左側部に表示し、穴埋め試験問題対象文書上で、穴埋め箇所予測部３０により予測された穴埋め箇所を括弧付き空白部で表示した穴埋め試験問題を、右側部に並列して表示している。
【0023】
左側部に表示された穴埋め試験問題対象文書の中で、「武官」、「北関東」、「瀬戸内海」、「清和」、「桓武」、「九年」、「三年」、「奥州藤原」との文言が、右側部に表示された文書上では、括弧付き空白部で表示されている。
【0024】
上記のように、本発明の一実施形態の穴埋め試験問題作成システムによれば、穴埋め試験問題対象文書に対して、学習済みモデルを使用して穴埋め箇所を出力し、穴埋め箇所を含む穴埋め試験問題を作成し表示することができるので、穴埋め試験問題の作成業務の効率化、省人化を図ることが可能となる。また、所定の教育機関の行う試験の難易度毎、例えば、志望大学毎又は学力レベル毎のような穴埋め試験問題の難易度に適応した穴埋め箇所を含む穴埋め試験問題の推薦を行うことが可能となる。
【0025】
［第１の実施形態］
次に、本発明の第１の実施形態の穴埋め試験問題作成システムについて、図面を参照して説明する。図３は、本発明の第１の実施形態の穴埋め試験問題作成システムの構成を示す図である。図３を参照すると、テキスト含意認識部１１０と、ユーザー端末１１１と、文書蓄積部１１２と、検索クエリ文生成部１１３と、学習済みモデル生成部１２０と、訓練データ蓄積部１２１と、文書データベース１３０と、穴埋め処理部１４０と、穴埋め試験問題表示部１５０と、を備えた構成が示されている。
次に、本発明の第１の実施形態の穴埋め試験問題作成システムについて、図面を参照して説明する。図３は、本発明の第１の実施形態の穴埋め試験問題作成システムの構成を示す図である。図３を参照すると、テキスト含意認識部１１０と、ユーザー端末１１１と、文書蓄積部１１２と、検索クエリ文生成部１１３と、学習済みモデル生成部１２０と、訓練データ蓄積部１２１と、文書データベース１３０と、穴埋め処理部１４０と、穴埋め試験問題表示部１５０と、を備えた構成が示されている。
【0026】
文書蓄積部１１２は、穴埋め試験問題対象文書の候補となる文書を蓄積する。テキスト含意認識部１１０は、検索クエリ文生成部１１３から入力される検索クエリ文に含まれる複数の単文ごとに、その単文に意味が類似する単文を、複数の単文を含む文書の中から抽出し、前記検索クエリ文と文書のそれぞれについて、ある接続語の前後の単文の出現順序に基づいて単文間の事象の発生順である談話関係を示す談話関係情報を生成し、前記談話関係情報に基づいて、前記検索クエリ文に含まれる単文間の談話関係と、前記抽出された単文間の位置の交差箇所の数である談話関係距離を算出し、前記談話関係距離を含む値と所定の閾値とに基づいて、文書が検索クエリ文を含意しているか否かを判定する、テキスト含意認識機能を含む。テキスト含意認識については、特許文献４に記載されている。テキスト含意認識部１１０により、文書蓄積部１１２に蓄積された文書の中から、検索クエリ文生成部１１３から入力された検索クエリ文を含意する文書を穴埋め試験問題対象文書として決定する。決定された穴埋め試験問題対象文書は、文書データベース１３０に格納される。
【0027】
学習済みモデル生成部１２０は、訓練データ蓄積部１２１に蓄積された、１または複数の文書とそれらの文書の中の穴埋め箇所を指定した正解データを含む訓練データを使用して、モデルの学習を実行する。なお、学習済みモデル生成部１２０によるモデルの学習については、上述の一実施形態で説明した、学習済みモデル生成部２０の動作と同一である。学習済みモデル生成部１２０により生成された、学習済みモデルは、文書データベース１３０に格納される。なお、一実施形態で上述したように、所定の教育機関の行う試験の難易度毎、例えば、志望大学毎又は学力レベル毎の穴埋め試験問題の難易度の異なる複数のグループの訓練データを訓練データ蓄積部１２１に蓄積しておき、それぞれのグループの訓練データに対して、それぞれモデルの学習を実行して、それぞれ異なる学習済みモデルを生成し、穴埋め試験問題の難易度の異なる複数の種類の学習済みモデルを、文書データベース１３０に格納することも可能である。
【0028】
穴埋め処理部１４０は、文書データベース１３０に格納された学習済みモデルを使用して、文書データベース１３０に格納された穴埋め試験問題対象文書の穴埋め箇所の予測を行い、穴埋め箇所を決定し、決定された穴埋め箇所を含む穴埋め試験問題文書を出力する。穴埋め処理部１４０は、文書データベース１３０に格納された、所定の教育機関の行う試験の難易度毎、例えば、志望大又は学力レベル毎の穴埋め試験問題の難易度の異なる複数のグループに対するそれぞれ異なる学習済みモデルのうち、穴埋め試験問題対象文書に適用する学習済みモデルを使用して穴埋め箇所の予測を行うことができる。穴埋め試験問題表示部１５０は、穴埋め処理部１４０により出力された穴埋め試験問題文書を受け取り、穴埋め試験問題を表示する。
【0029】
図４は、本発明の第１の実施形態の穴埋め試験問題作成システムの検索クエリ文生成部１１３の構成を示す図である。検索クエリ文生成部１１３は、授業内容データ蓄積部１１３１、クエリ文蓄積部１１３２、訓練データ変換部１１３３、学習済み要約モデル生成部１１３４、授業内容データ変換部１１３５、クエリ文予測部１１３６、検索クエリ文選択部１１３７を含む。授業内容データ蓄積部１１３１は、授業内容を表すテキストデータや、授業の音声を音声認識によりテキストデータに変換したデータ等の、授業内容を反映したデータを蓄積する。検索クエリ文生成部１１３により生成された検索クエリ文は、文書蓄積部１１２に蓄積された文書の中から、穴埋め試験問題対象文書を決定するための、図３に示されたテキスト含意認識部１１０により使用される。ユーザー端末１１１は、授業内容データ蓄積部１１３１に蓄積された授業内容データに基づいて、授業内容を要約したクエリ文を作成し、クエリ文蓄積部１１３２に蓄積する。また、作成されたクエリ文は、そのまま、ユーザー端末１１１による選択により、検索クエリ文選択部１１３７を介して、検索クエリ文生成部１１３から、検索クエリ文として出力されることが可能である。出力された検索クエリ文は、図３に示されたテキスト含意認識部１１０に入力され、テキスト含意認識部１１０により、文書蓄積部１１２に蓄積された文書の中から、入力された検索クエリ文を含意する文書を穴埋め試験問題対象文書として決定する。決定された穴埋め試験問題対象文書は、文書データベース１３０に格納される。
【0030】
さらに、授業内容データ蓄積部１１３１に授業内容データが一定数以上蓄積され、クエリ文蓄積部１１３２においても、蓄積された授業内容データに対応するクエリ文が一定数以上蓄積された場合には、以下に説明するように、授業内容データを要約するクエリ文を予測して、検索クエリ文を自動的に生成することも可能である。
【0031】
図４に示す本発明の第１の実施形態の穴埋め試験問題作成システム１００の検索クエリ文生成部１１３においては、授業内容データ蓄積部１１３１に蓄積された授業内容データと、授業内容データに対応するクエリ文蓄積部１１３２に蓄積されたクエリ文を正解データとして含む訓練データを使用して、要約モデルの学習を実行する。授業内容データ蓄積部１１３１に蓄積された１又は複数の授業内容データと、正解データであるクエリ文蓄積部１１３２に蓄積された１又は複数のクエリ文は、訓練データ変換部１１３３に入力され、各々訓練データに変換される。訓練データ変換部１１３３は、学習済み要約モデル生成部１１３４が、授業内容データと正解データであるクエリ文を、要約モデルの学習を実行する形式に変換する前処理を行う。前処理の内容は、これに限らないが、例えば、授業内容データ内の単語と、正解データであるクエリ文内の単語を、その分散表現へ変換すること等を含む。なお、分散表現については、本発明の第１の実施形態において、後述する。学習済み要約モデル生成部１１３４は、これらの訓練データを使用して、要約モデルの学習を実行する。なお、要約モデルの学習においては、訓練データの１または複数の授業内容データを入力してニューラルネットワークにより予測されたクエリ文と、各授業内容データに対する要約である正解データのクエリ文との間の誤差が最小になるようにニューラルネットワークの重みパラメータが調整されて、学習済み要約モデルが生成される。
【0032】
クエリ文予測部１１３６には、一方で、学習済み要約モデル生成部１１３４で生成された学習済み要約モデルが入力され、他方で、授業内容データ蓄積部１１３１に蓄積された授業内容データのうち、要約する対象のクエリ文の生成されていない授業内容データが、授業内容データ変換部１１３５を介して変換されて、入力される。授業内容データ変換部１１３５は、訓練データ変換部１１３３の実行する変換と同様な変換を実行する。クエリ文予測部１１３６は、学習済み要約モデルを使用して、変換されて入力された授業内容データから、授業内容データの要約であるクエリ文を予測する。
【0033】
予測されたクエリ文は、ユーザー端末１１１へ提示される。ユーザー端末により、予測されたクエリ文を選択すると、検索クエリ文選択部１１３７を介して、検索クエリ文生成部１１３から、検索クエリ文として出力される。
【0034】
なお、学習済み要約モデル生成部１１３４は、ニューラルネットワークを使用して要約モデルの学習を行ってもよく、ディープニューラルネットワークを使用して要約モデルの学習を行ってもよく、ＲＮＮ、又はＬＳＴＭあるいは、それらの任意の組み合わせを使用して要約モデルの学習を行ってもよい。例えば、学習済み要約モデル生成部１１３４は、エンコーダ・デコーダモデルを使用して要約モデルの学習を行ってもよい。エンコーダ・デコーダモデルは、例えば、エンコーダおよびデコーダを、それぞれ、ＲＮＮ又はＬＳＴＭ等により構成し、エンコーダの出力がデコーダの入力に接続される構成である。上述したのと同様に、授業内容データをエンコーダへ入力し、デコーダから出力される予測された要約であるクエリ文と、正解データであるクエリ文との間の誤差が最小になるように、複数の授業内容データと複数のクエリ文（正解データ）を用いて要約エンコーダ・デコーダモデルの学習を実行し、学習済み要約エンコーダ・デコーダモデルが生成されることも可能である。クエリ文予測部１１３６では、学習済み要約エンコーダ・デコーダモデルに、クエリ文を生成したい授業内容データを入力し、デコーダで予測した授業内容データの要約であるクエリ文を出力することも可能である。
【0035】
図５は、本発明の第１の実施形態の穴埋め試験問題作成システムのテキスト含意認識部の構成を示す図である。テキスト含意認識部１１０は、テキスト含意認識処理部１１０１と穴埋め試験問題対象文書抽出・選択部１１０２を含む。テキスト含意認識処理部１１０１は、検索クエリ文生成部１１３から検索クエリ文が入力され、文書蓄積部１１２に蓄積された穴埋め試験問題対象の大量文書の中から検索クエリ文を含意する文書を判定して抽出し、穴埋め試験問題対象文書抽出・選択部１１０２へ送る。穴埋め試験問題対象文書抽出・選択部１１０２は、抽出された文書をユーザー端末へ提示する。これに対して、ユーザー端末から穴埋め試験問題対象文書抽出・選択部１１０２へ、文書の選択が送られ、この選択に従って、穴埋め試験問題対象文書抽出・選択部１１０２は、抽出された文書を穴埋め試験問題対象文書として決定する。決定された穴埋め試験問題対象文書は、文書データベース１３０に格納される。
【0036】
図６は、本発明の第１の実施形態の穴埋め試験問題作成システムの学習済みモデル生成部の構成を示す図である。学習済みモデル生成部１２０は、訓練データ変換部１２０１とモデル学習部１２０２を含む。訓練データ変換部１２０１は、訓練データを、モデル学習部１２０２がモデルの学習を実行する形式に変換する前処理を行う。前処理の内容は、これに限らないが、例えば、穴埋め試験問題対象文書内の単語をその分散表現へ変換すること等を含む。モデル学習部１２０２は、訓練データ変換部１２０１から入力された訓練データを使用して、モデルの学習を実行する。なお、モデル学習部１２０２によるモデルの学習については、上述の一実施形態で説明した、学習済みモデル生成部２０の動作と同一である。
【0037】
なお、単語分散表現とは、単語の意味を高次元の実数ベクトルとして表す手法であり、ｗｏｒｄ２ｖｅｃ、ＧｌｏＶｅ（Ｇｌｏｂａｌ Ｖｅｃｔｏｒｓ ｆｏｒ Ｗｏｒｄ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）、ｆａｓｔＴｅｘｔ及びＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）等の手法が知られている。
【0038】
但し、分散表現の性質は、それを学習する際に使用する文章（コーパス）に依存する。そのため、訓練データ変換部１２０１は、例えば、英語、社会科、理科、国語などの分野毎の、穴埋め試験問題対象文書に関連する文章を使用して学習された分散表現を用いて、穴埋め試験問題対象文書内の単語を変換してもよい。
【0039】
図７は、本発明の第１の実施形態の穴埋め試験問題作成システムの穴埋め処理部の構成を示す図である。穴埋め処理部１４０は、穴埋め箇所抽出部１４１と穴埋め試験問題作成部１４２を含む。穴埋め箇所抽出部１４１は、学習済みモデルを使用して、入力された穴埋め試験問題対象文書に対して、穴埋め試験問題対象文書の穴埋め箇所の予測を行い、穴埋め箇所を決定する。穴埋め試験問題作成部１４２は、決定された穴埋め箇所を含む穴埋め試験問題文書を作成して出力する。
【0040】
図８は、本発明の第１の実施形態の穴埋め試験問題作成システムの穴埋め箇所抽出部の構成を示す図である。穴埋め箇所抽出部１４１は、文書データ変換部１４１１と穴埋め箇所予測部１４１２とを含む。穴埋め箇所予測部１４１２には、学習済みモデルが設定される。文書データ変換部１４１１は、穴埋め試験問題対象文書を、穴埋め箇所予測部１４１２で予測する形式に変換する前処理を実行する。前処理においては、図６に示された訓練データ変換部１２０１で実行した訓練データに対する前処理に対応する処理が、穴埋め試験問題対象文書に対しても実行される。穴埋め箇所予測部１４１２は、文書データ変換部１４１１から入力された穴埋め試験問題対象文書を、学習済みモデルに入力して、穴埋め箇所の予測を行い、穴埋め箇所を決定して、出力する。
【0041】
以上のように、本発明の第１の実施形態によれば、穴埋め試験問題を人手によらず生成できるので、穴埋め試験問題の作成業務の効率化に貢献することができる。また、要約モデルを使用して、テキスト含意認識部１１０で使用する検索クエリ文を、授業内容データから、生成できるので、人手によりユーザー端末から検索クエリ文作成して入力する必要がなく、穴埋め試験問題の作成業務の効率化に一層貢献することができる。さらに、本発明の第１の実施形態では、授業内容を反映した穴埋め試験問題対象文書を決定できるので、授業内容を反映した穴埋め試験問題を生成できる。
【0042】
［第２の実施形態］
次に、本発明の第２の実施形態について、図面を参照して説明する。図９は、本発明の第２の実施形態の穴埋め試験問題作成システムの構成を示す図である。第２の実施形態の穴埋め試験問題作成システム２００は、文書管理ＡＩ検索サーバ２１０と、記憶部２２０と、ユーザー端末２３０とを含む。文書管理ＡＩ検索サーバ２１０は、予測部２１１と、取得部２１２と、訓練データ生成部２１３と、モデル学習部２１４と、穴埋め試験問題対象文書抽出・選択部２１５と、検索クエリ文生成部２１６を含む。穴埋め試験問題対象文書抽出・選択部２１５は、入力テキストを含意する文書を判定するテキスト含意認識機能を含む。テキスト含意認識については、上述したとおりである。
次に、本発明の第２の実施形態について、図面を参照して説明する。図９は、本発明の第２の実施形態の穴埋め試験問題作成システムの構成を示す図である。第２の実施形態の穴埋め試験問題作成システム２００は、文書管理ＡＩ検索サーバ２１０と、記憶部２２０と、ユーザー端末２３０とを含む。文書管理ＡＩ検索サーバ２１０は、予測部２１１と、取得部２１２と、訓練データ生成部２１３と、モデル学習部２１４と、穴埋め試験問題対象文書抽出・選択部２１５と、検索クエリ文生成部２１６を含む。穴埋め試験問題対象文書抽出・選択部２１５は、入力テキストを含意する文書を判定するテキスト含意認識機能を含む。テキスト含意認識については、上述したとおりである。
【0043】
図１０は、本発明の第２の実施形態の穴埋め試験問題作成システムの動作を説明するためのフローチャートを示す図である。ステップＳ１０では、検索クエリ文生成部２１６が、検索クエリ文をユーザー端末２３０から受け付ける。次に、ステップＳ２０で、穴埋め試験問題対象文書抽出・選択部２１５は、テキスト含意認識機能によって検索クエリ文生成部２１６から出力される検索クエリ文を含意する文書を記憶部２２０から抽出する。次に、ステップＳ３０で、穴埋め試験問題対象文書抽出・選択部２１５は、抽出した文書をユーザー端末２３０に提示する。ステップＳ４０では、取得部２１２が、ユーザー端末２３０から穴埋め試験問題作成対象文書の選択を受け付ける。次に、ステップＳ５０で、予測部２１１が、学習済みモデルを用いて穴埋め箇所を予測し、穴埋め試験問題を、ユーザー端末２３０へ提示する。
【0044】
図１１は、本発明の第２の実施形態の穴埋め試験問題作成システムの検索クエリ文生成部２１６の動作を説明するためのフローチャートを示す図である。図１１に示すフローチャートは、図１０に示したフローチャートのステップＳ１０の動作をさらに詳しく説明する図である。ステップＳ１１０では、ユーザー端末から、記憶部２２０に記憶された授業内容データに基づいて要約したクエリ文が入力され、入力されたクエリ文はステップＳ１２０で記憶部２２０に蓄積される。ステップＳ１３０では、記憶部２２０に記憶された授業内容データから、要約モデルを用いて、クエリ文を予測し、ステップ１４０で、予測されたクエリ文がユーザー端末２３０に提示される。ステップＳ１５０で、ユーザー端末２３０が、入力されたクエリ文か予測されたクエリ文の中から検索クエリ文を選択する。
【0045】
図１２は、本発明の第２の実施形態の穴埋め試験問題作成システムの検索クエリ文生成部２１６の動作を説明するためのフローチャートを示す図である。図１２に示すフローチャートは、図１１に示したフローチャートのステップＳ１３０の動作をさらに詳しく説明する図である。ステップＳ１３１０では、記憶部２２０に記憶された授業内容データと蓄積されたクエリ文からなる訓練データを取得し、ステップ１３２０では、これらを変換して、学習済み要約モデル生成部１１３４で学習に使用する訓練データを生成する。ステップ１３３０では、変換された訓練データに基づいて要約モデルの学習を実行して、学習済み要約モデルを生成する。ステップ１３４０では、クエリ文を予測するための授業内容データを記憶部２２０から取得し、ステップ１３５０で、学習済み要約モデルを使用して、授業内容データから要約されたクエリ文を予測し、出力する。
【0046】
図１３は、本発明の第２の実施形態の穴埋め試験問題作成システムの動作を説明するためのフローチャートを示す図である。図１３に示すフローチャートは、図１０に示したフローチャートのステップＳ５０の動作をさらに詳しく説明する図である。ステップＳ５１０では、取得部２１２が、記憶部２２０から文書データと正解データ（穴埋め箇所を指定）を含む訓練データを取得する。次に、ステップＳ５２０で、訓練データ生成部２１３が、モデル学習部２１４で学習に使用する訓練データを生成する。なお、訓練データ生成部２１３は、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎の穴埋め試験問題の難易度の異なる複数のグループのそれぞれに対してそれぞれの訓練データを生成することも可能である。次に、ステップＳ５３０で、モデル学習部２１４が、訓練データに基づいてモデルの学習を実行して学習済みモデルを生成し、学習済みモデルを記憶部２２０に格納する。なお、モデル学習部２１４のモデルの学習においては、訓練データの１または複数の文書を入力してニューラルネットワークにより予測された穴埋め箇所と、各文書に対する穴埋め箇所の正解データとの間の誤差が最小になるようにニューラルネットワークの重みパラメータが調整されて、学習済みモデルが生成される。なお、モデル学習部２１４は、訓練データ生成部２１３が生成した志望大学毎又は学力レベル毎の複数のグループのそれぞれに対する訓練データに基づいてモデルの学習を実行し、志望大学毎又は学力レベル毎の複数のグループに対するそれぞれの学習済みモデルを生成して、記憶部２２０に格納するようにしてもよい。
【0047】
次に、ステップＳ５４０で、図１０のステップＳ４０において選択された予測対象の文書である穴埋め試験問題対象文書を記憶部２２０から予測部２１１へ読み出す。次に、ステップＳ５５０で、取得部２１２が、ユーザー端末２３０から、予測に使用する学習済みモデルの指定を受ける。取得部２１２は、予測部２１１へ使用する学習済みモデルを指定し、予測部２１１が記憶部２２０から予測に使用する学習済みモデルを読み出す。そして、予測部２１１により、読み出した学習済みモデルに基づいて、読み出した穴埋め試験問題対象文書の穴埋め箇所を予測し、穴埋め試験問題をユーザー端末２３０に提示する。
【0048】
［第３の実施形態］
次に、本発明の第３の実施形態について、図面を参照して説明する。図１４は、本発明の第３の実施形態の穴埋め試験問題作成システムの構成を示す図である。図１４において、図３と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第３の実施形態は、図３に記載の本発明の第１の実施形態の穴埋め試験問題作成システムの構成に、穴埋め箇所変更・レベル表示・一覧表示受付部１６０を追加した実施形態である。また、図１５は、本発明の第３の実施形態の穴埋め試験問題作成システムの穴埋め処理部と穴埋め箇所変更・レベル表示・一覧表示受付部の構成を示す図である。図１５において、図７と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第１の実施形態との相違点について、主に説明する。図１５の第３の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２において穴埋め箇所変更・レベル表示・一覧表示受付部１６０から出力される穴埋め箇所変更指示を受け、この指示に従って、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を削除し、又は、別の箇所に穴埋め箇所を設定する等の処理を実行する。本発明の第３の実施形態により、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更することが可能である。
次に、本発明の第３の実施形態について、図面を参照して説明する。図１４は、本発明の第３の実施形態の穴埋め試験問題作成システムの構成を示す図である。図１４において、図３と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第３の実施形態は、図３に記載の本発明の第１の実施形態の穴埋め試験問題作成システムの構成に、穴埋め箇所変更・レベル表示・一覧表示受付部１６０を追加した実施形態である。また、図１５は、本発明の第３の実施形態の穴埋め試験問題作成システムの穴埋め処理部と穴埋め箇所変更・レベル表示・一覧表示受付部の構成を示す図である。図１５において、図７と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第１の実施形態との相違点について、主に説明する。図１５の第３の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２において穴埋め箇所変更・レベル表示・一覧表示受付部１６０から出力される穴埋め箇所変更指示を受け、この指示に従って、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を削除し、又は、別の箇所に穴埋め箇所を設定する等の処理を実行する。本発明の第３の実施形態により、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更することが可能である。
【0049】
［第４の実施形態］
次に、本発明の第４の実施形態について、図面を参照して説明する。図１６は、本発明の第４の実施形態の穴埋め試験問題作成システムの構成を示す図である。図１６において、図１４と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第４の実施形態は、図１４に記載の本発明の第３の実施形態の穴埋め試験問題作成システムの構成に、穴埋め箇所変更履歴蓄積部１７０を追加した実施形態である。また、図１７は、本発明の第４の実施形態の穴埋め試験問題作成システムの穴埋め処理部と穴埋め箇所変更履歴蓄積部の構成を示す図である。図１７において、図１５と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第３の実施形態との相違点について、主に説明する。図１７の第４の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２において穴埋め箇所変更・レベル表示・一覧表示受付部１６０から出力される指示を受け、この指示に従って、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更することが可能である。穴埋め箇所変更履歴蓄積部１７０は、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更した場合に、穴埋め試験問題対象文書とともに、この変更履歴を蓄積する。このように蓄積された穴埋め箇所の変更履歴は、一定の数の変更履歴が蓄積された場合に、学習済みモデル生成部１２０が学習済みモデルを生成する場合の、訓練データとして使用することができる。
次に、本発明の第４の実施形態について、図面を参照して説明する。図１６は、本発明の第４の実施形態の穴埋め試験問題作成システムの構成を示す図である。図１６において、図１４と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第４の実施形態は、図１４に記載の本発明の第３の実施形態の穴埋め試験問題作成システムの構成に、穴埋め箇所変更履歴蓄積部１７０を追加した実施形態である。また、図１７は、本発明の第４の実施形態の穴埋め試験問題作成システムの穴埋め処理部と穴埋め箇所変更履歴蓄積部の構成を示す図である。図１７において、図１５と同一番号を付した構成要素は、同一の構成要素を示すものとする。以下に、第３の実施形態との相違点について、主に説明する。図１７の第４の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２において穴埋め箇所変更・レベル表示・一覧表示受付部１６０から出力される指示を受け、この指示に従って、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更することが可能である。穴埋め箇所変更履歴蓄積部１７０は、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更した場合に、穴埋め試験問題対象文書とともに、この変更履歴を蓄積する。このように蓄積された穴埋め箇所の変更履歴は、一定の数の変更履歴が蓄積された場合に、学習済みモデル生成部１２０が学習済みモデルを生成する場合の、訓練データとして使用することができる。
【0050】
［第５の実施形態］
次に、本発明の第５の実施形態について、図面を参照して説明する。図１８は、本発明の第５の実施形態の穴埋め試験問題作成システムの構成を示す図である。図１８において、図１６と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第５の実施形態は、図１６に記載の本発明の第４の実施形態の穴埋め試験問題作成システムの構成に、穴埋め箇所変更履歴蓄積部１７０から訓練データ蓄積部１２１への接続を追加した実施形態である。以下に、第４の実施形態との相違点について、主に説明する。図１８の第５の実施形態の穴埋め箇所変更履歴蓄積部１７０は、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更した場合に、穴埋め試験問題対象文書とともに、この変更履歴を蓄積する。このように蓄積された穴埋め箇所の変更履歴が一定の数だけ蓄積された場合には、穴埋め箇所変更履歴蓄積部１７０から、訓練データ蓄積部１２１に対して、蓄積された穴埋め試験問題対象文書と、蓄積された穴埋め箇所の変更履歴を送る。訓練データ蓄積部１２１は、送られたこれらの穴埋め試験問題対象文書と、穴埋め箇所の変更履歴を再訓練データとして蓄積し、これらの蓄積した再訓練データを用いて、学習済みモデル生成部１２０が、モデルの学習を再度実行することにより、学習済みモデルを再度生成することができる。
次に、本発明の第５の実施形態について、図面を参照して説明する。図１８は、本発明の第５の実施形態の穴埋め試験問題作成システムの構成を示す図である。図１８において、図１６と同一番号を付した構成要素は、同一の構成要素を示すものとする。本発明の第５の実施形態は、図１６に記載の本発明の第４の実施形態の穴埋め試験問題作成システムの構成に、穴埋め箇所変更履歴蓄積部１７０から訓練データ蓄積部１２１への接続を追加した実施形態である。以下に、第４の実施形態との相違点について、主に説明する。図１８の第５の実施形態の穴埋め箇所変更履歴蓄積部１７０は、穴埋め試験問題作成部１４２が、穴埋め箇所抽出部１４１の決定した穴埋め箇所を変更した場合に、穴埋め試験問題対象文書とともに、この変更履歴を蓄積する。このように蓄積された穴埋め箇所の変更履歴が一定の数だけ蓄積された場合には、穴埋め箇所変更履歴蓄積部１７０から、訓練データ蓄積部１２１に対して、蓄積された穴埋め試験問題対象文書と、蓄積された穴埋め箇所の変更履歴を送る。訓練データ蓄積部１２１は、送られたこれらの穴埋め試験問題対象文書と、穴埋め箇所の変更履歴を再訓練データとして蓄積し、これらの蓄積した再訓練データを用いて、学習済みモデル生成部１２０が、モデルの学習を再度実行することにより、学習済みモデルを再度生成することができる。
【0051】
［第６の実施形態］
次に、本発明の第６の実施形態について、図面を参照して説明する。図１９は、本発明の第６の実施形態の穴埋め処理部の構成を示したものであり、本発明の第３の実施形態の図１５に示す穴埋め処理部の構成に変更を加えたものである。図１９に示す本発明の第６の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２に、穴埋め箇所レベル表示部１４２１を含む。図２０は、本発明の第６の実施形態の穴埋め試験問題作成システムの穴埋め箇所の表示の一例を示す図である。図２０において、図２と同一番号を付した構成要素は、同一の構成要素を示すものとする。なお、穴埋め試験問題対象文書の穴埋め箇所の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎の穴埋め試験問題の難易度の異なる複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、それぞれの穴埋め試験問題の難易度に対応している。穴埋め箇所レベル表示部１４２１は、穴埋め箇所抽出部１４１から、抽出された穴埋め箇所と学習済みモデルを生成したときの訓練データに関連する穴埋め試験問題の難易度に対応する穴埋めレベルを受け取り、保持する。本発明の第６の実施形態では、図２０の表示画面５０上の、右側部に表示された穴埋め試験問題文書上で、穴埋めされる箇所を、例えばマウス等のポインティングデバイスで指定すると、穴埋め箇所変更・レベル表示・一覧表示受付部１６０で穴埋め箇所指定が受け付けられ、穴埋め試験問題作成部１４２へ送られる。穴埋め試験問題作成部１４２では、穴埋め箇所レベル表示部１４２１が保持している各穴埋め箇所に対応する穴埋めレベルを、穴埋め試験問題文書とともに穴埋め試験問題表示部１５０へ送り、穴埋め試験問題表示部１５０が、穴埋めレベル５１を表示画面５０上に表示する。
次に、本発明の第６の実施形態について、図面を参照して説明する。図１９は、本発明の第６の実施形態の穴埋め処理部の構成を示したものであり、本発明の第３の実施形態の図１５に示す穴埋め処理部の構成に変更を加えたものである。図１９に示す本発明の第６の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２に、穴埋め箇所レベル表示部１４２１を含む。図２０は、本発明の第６の実施形態の穴埋め試験問題作成システムの穴埋め箇所の表示の一例を示す図である。図２０において、図２と同一番号を付した構成要素は、同一の構成要素を示すものとする。なお、穴埋め試験問題対象文書の穴埋め箇所の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎の穴埋め試験問題の難易度の異なる複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、それぞれの穴埋め試験問題の難易度に対応している。穴埋め箇所レベル表示部１４２１は、穴埋め箇所抽出部１４１から、抽出された穴埋め箇所と学習済みモデルを生成したときの訓練データに関連する穴埋め試験問題の難易度に対応する穴埋めレベルを受け取り、保持する。本発明の第６の実施形態では、図２０の表示画面５０上の、右側部に表示された穴埋め試験問題文書上で、穴埋めされる箇所を、例えばマウス等のポインティングデバイスで指定すると、穴埋め箇所変更・レベル表示・一覧表示受付部１６０で穴埋め箇所指定が受け付けられ、穴埋め試験問題作成部１４２へ送られる。穴埋め試験問題作成部１４２では、穴埋め箇所レベル表示部１４２１が保持している各穴埋め箇所に対応する穴埋めレベルを、穴埋め試験問題文書とともに穴埋め試験問題表示部１５０へ送り、穴埋め試験問題表示部１５０が、穴埋めレベル５１を表示画面５０上に表示する。
【0052】
［第７の実施形態］
次に、本発明の第７の実施形態について、図面を参照して説明する。図２１は、本発明の７の実施形態の穴埋め処理部の構成を示したものであり、本発明の第３の実施形態の図１５に示す穴埋め処理部の構成に変更を加えたものである。図２１に示す本発明の第７の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２に、穴埋め箇所一覧表示部１４２２を含む。図２２は、本発明の第７の実施形態の穴埋め試験問題作成システムの穴埋め箇所の一覧表示の一例を示す図である。図２２に示す内容に限定されないが、例えば、穴埋め箇所番号、穴埋め箇所の頁・行、志望大学、および、学力レベルのような穴埋め試験問題の難易度を表示してもよい。なお、穴埋め試験問題対象文書の穴埋め箇所の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎の複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、それぞれの穴埋め試験問題の難易度に対応している。穴埋め箇所一覧表示部１４２２は、穴埋め箇所抽出部１４１から、抽出された穴埋め箇所と学習済みモデルを生成したときの訓練データに関連する穴埋め試験問題の難易度に対応する志望大学や、学力レベルを受け取り、一覧表形式で保持してもよい。穴埋め箇所変更・レベル表示・一覧表示受付部１６０に、一覧表示指定が入力されると、穴埋め箇所一覧表示部１４２２へ一覧表示指定を送り、穴埋め箇所一覧表示部１４２２に保持している各穴埋め箇所に対応する穴埋め箇所の一覧表を穴埋め試験問題表示部１５０へ送り、穴埋め箇所の一覧表を表示する。
次に、本発明の第７の実施形態について、図面を参照して説明する。図２１は、本発明の７の実施形態の穴埋め処理部の構成を示したものであり、本発明の第３の実施形態の図１５に示す穴埋め処理部の構成に変更を加えたものである。図２１に示す本発明の第７の実施形態の穴埋め処理部１４０は、穴埋め試験問題作成部１４２に、穴埋め箇所一覧表示部１４２２を含む。図２２は、本発明の第７の実施形態の穴埋め試験問題作成システムの穴埋め箇所の一覧表示の一例を示す図である。図２２に示す内容に限定されないが、例えば、穴埋め箇所番号、穴埋め箇所の頁・行、志望大学、および、学力レベルのような穴埋め試験問題の難易度を表示してもよい。なお、穴埋め試験問題対象文書の穴埋め箇所の予測に使用した学習済みモデルは、所定の教育機関の行う各種試験の難易度毎、例えば、志望大学毎又は学力レベル毎の複数のグループのそれぞれに対してそれぞれの訓練データを使用して生成されているので、各学習済みモデルは、それぞれの穴埋め試験問題の難易度に対応している。穴埋め箇所一覧表示部１４２２は、穴埋め箇所抽出部１４１から、抽出された穴埋め箇所と学習済みモデルを生成したときの訓練データに関連する穴埋め試験問題の難易度に対応する志望大学や、学力レベルを受け取り、一覧表形式で保持してもよい。穴埋め箇所変更・レベル表示・一覧表示受付部１６０に、一覧表示指定が入力されると、穴埋め箇所一覧表示部１４２２へ一覧表示指定を送り、穴埋め箇所一覧表示部１４２２に保持している各穴埋め箇所に対応する穴埋め箇所の一覧表を穴埋め試験問題表示部１５０へ送り、穴埋め箇所の一覧表を表示する。
【0053】
以上、本発明の各実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、各図面に示したネットワーク構成、各要素の構成、メッセージの表現形態は、本発明の理解を助けるための一例であり、これらの図面に示した構成に限定されるものではない。また、以下の説明において、「Ａ及び／又はＢ」は、Ａ又はＢの少なくともいずれかという意味で用いる。
【0054】
また、上記した第１～第７の実施形態に示した手順は、穴埋め試験問題作成システム１、１００、２００として機能するコンピュータ（図２３の９０００）に、穴埋め試験問題作成システム１、１００、２００としての機能を実現させるプログラムにより実現可能である。このようなコンピュータは、図２３のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１０、通信インタフェース９０２０、メモリ９０３０、補助記憶装置９０４０を備える構成に例示される。すなわち、図２３のＣＰＵ９０１０にて、穴埋め試験問題作成プログラムを実行し、その補助記憶装置９０４０等に保持された各計算パラメータの更新処理を実施させればよい。
【0055】
即ち、上記した第１～第７の実施形態に示した穴埋め試験問題作成システムの各部（処理手段、機能）は、上記コンピュータのプロセッサに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することができる。
【0056】
最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点による穴埋め試験問題作成システム参照）
［第２の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書決定部は、１または複数の授業内容データと前記授業内容データから要約されたクエリ文である正解データを訓練データとして、要約モデルの学習を実行して学習済み要約モデルを生成する学習済み要約モデル生成部と、前記学習済み要約モデルにより、穴埋め試験問題を作成する対象の授業の授業内容データから、クエリ文を予測し出力するクエリ文予測部と、予測されたクエリ文を含む複数のクエリ文から、クエリ文を選択して検索クエリ文を出力する、検索クエリ文選択部を含む、検索クエリ文生成部を含むことが好ましい。
［第３の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部は、所定の教育機関の行う各種試験の難易度毎の複数のグループの訓練データに対して、それぞれ異なる学習済みモデルを生成することが好ましい。
［第４の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題表示部は、前記穴埋め試験問題対象文書と、前記穴埋め試験問題対象文書の穴埋め箇所を含む穴埋め試験問題を表示することが好ましい。
［第５の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部は、第１のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第６の形態］
上記した穴埋め試験問題作成システムの第１のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせであることが好ましい。
［第７の形態］
上記した穴埋め試験問題作成システムの学習済み要約モデル生成部は、第２のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第８の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書決定部は、検索クエリ文に含まれる複数の単文ごとに、その単文に意味が類似する単文を、複数の単文を含む文書の中から抽出し、前記検索クエリ文と文書のそれぞれについて、ある接続語の前後の単文の出現順序に基づいて単文間の事象の発生順である談話関係を示す談話関係情報を生成し、前記談話関係情報に基づいて、前記検索クエリ文に含まれる単文間の談話関係と、前記抽出された単文間の位置の交差箇所の数である談話関係距離を算出し、前記談話関係距離を含む値と所定の閾値とに基づいて、文書が検索クエリ文を含意しているか否かを判定する、テキスト含意認識を用いて、蓄積された１または複数の文書の中の検索クエリ文を含意する文を含む文書の中から穴埋め試験問題対象文書を決定することが好ましい。
［第９の形態］
（上記第２の視点による穴埋め試験問題作成方法参照）
［第１０の形態］
（上記第３の視点による穴埋め試験問題作成プログラム参照）
［第１１の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部は、志望大学毎又は学力レベル毎の複数のグループの訓練データに対して、それぞれ異なる学習済みモデルを生成する、ことが好ましい。
［第１２の形態］
上記した穴埋め試験問題作成システムの第１のニューラルネットワークは、ディープニューラルネットワークであることが好ましい。
［第１３の形態］
上記した穴埋め試験問題作成システムの第２のニューラルネットワークは、ディープニューラルネットワークであることが好ましい。
［第１４の形態］
上記した穴埋め試験問題作成システムの第２のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）または、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）あるいは、それらの任意の組み合わせである、ディープニューラルネットワークであることが好ましい。
［第１５の形態］
上記した穴埋め試験問題作成システムの第２のニューラルネットワークは、エンコーダ・デコーダモデルであることが好ましい。
［第１６の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書の穴埋め箇所の変更を受け付ける穴埋め箇所変更受付部をさらに含むことが好ましい。
［第１７の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書は、テキストを含む文書であることが好ましい。
［第１８の形態］
上記した文穴埋め試験問題作成システムの穴埋め試験問題対象文書は、画像を含む文書であることができる。
［第１９の形態］
上記した文穴埋め試験問題作成システムの穴埋め試験問題対象文書は、音声認識手段により取得した文書であることができる。
［第２０の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所変更受付部で受け付けた入力に従って、穴埋め試験問題作成部が、穴埋め箇所抽出部の決定した穴埋め箇所を変更することが好ましい。
［第２１の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所の変更を変更履歴として蓄積する、穴埋め箇所変更履歴蓄積部をさらに含むことができる。
［第２２の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部が、穴埋め箇所変更履歴蓄積部に蓄積された履歴情報を正解データとする再訓練データを用いて、モデルの学習を再度実行する事が好ましい。
［第２３の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所レベル表示受付部は、穴埋め試験問題の穴埋め箇所を指定する入力を受け付けることができる。
［第２４の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所レベル表示部は穴埋め箇所レベル表示受付部により受け付けられた入力に従って、前記穴埋め箇所レベル表示部の保持する穴埋め箇所のレベルを表示することができる。
［第２５の形態］
上記穴埋め試験問題作成システムの穴埋め箇所一覧表示受付部は、穴埋め箇所を一覧表示することを指定する入力を受け付けることができる。
［第２６の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題表示部は、前記穴埋め箇所一覧表示受付部により受け付けられた入力に従って、穴埋め箇所一覧表示部に保持された穴埋め箇所の一覧表を表示することができる。
［第２７の形態］
上記した穴埋め試験問題作成システムの前記穴埋め箇所の一覧表は、穴埋め箇所、穴埋めの登場頁・行、各箇所に紐づいた志望大学、および学力レベルを表示することができる。
［第１の形態］
（上記第１の視点による穴埋め試験問題作成システム参照）
［第２の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書決定部は、１または複数の授業内容データと前記授業内容データから要約されたクエリ文である正解データを訓練データとして、要約モデルの学習を実行して学習済み要約モデルを生成する学習済み要約モデル生成部と、前記学習済み要約モデルにより、穴埋め試験問題を作成する対象の授業の授業内容データから、クエリ文を予測し出力するクエリ文予測部と、予測されたクエリ文を含む複数のクエリ文から、クエリ文を選択して検索クエリ文を出力する、検索クエリ文選択部を含む、検索クエリ文生成部を含むことが好ましい。
［第３の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部は、所定の教育機関の行う各種試験の難易度毎の複数のグループの訓練データに対して、それぞれ異なる学習済みモデルを生成することが好ましい。
［第４の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題表示部は、前記穴埋め試験問題対象文書と、前記穴埋め試験問題対象文書の穴埋め箇所を含む穴埋め試験問題を表示することが好ましい。
［第５の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部は、第１のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第６の形態］
上記した穴埋め試験問題作成システムの第１のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）又は、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、畳み込みニューラルネットワーク）あるいは、それらの任意の組み合わせであることが好ましい。
［第７の形態］
上記した穴埋め試験問題作成システムの学習済み要約モデル生成部は、第２のニューラルネットワークを用いてモデルの学習を実行することが好ましい。
［第８の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書決定部は、検索クエリ文に含まれる複数の単文ごとに、その単文に意味が類似する単文を、複数の単文を含む文書の中から抽出し、前記検索クエリ文と文書のそれぞれについて、ある接続語の前後の単文の出現順序に基づいて単文間の事象の発生順である談話関係を示す談話関係情報を生成し、前記談話関係情報に基づいて、前記検索クエリ文に含まれる単文間の談話関係と、前記抽出された単文間の位置の交差箇所の数である談話関係距離を算出し、前記談話関係距離を含む値と所定の閾値とに基づいて、文書が検索クエリ文を含意しているか否かを判定する、テキスト含意認識を用いて、蓄積された１または複数の文書の中の検索クエリ文を含意する文を含む文書の中から穴埋め試験問題対象文書を決定することが好ましい。
［第９の形態］
（上記第２の視点による穴埋め試験問題作成方法参照）
［第１０の形態］
（上記第３の視点による穴埋め試験問題作成プログラム参照）
［第１１の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部は、志望大学毎又は学力レベル毎の複数のグループの訓練データに対して、それぞれ異なる学習済みモデルを生成する、ことが好ましい。
［第１２の形態］
上記した穴埋め試験問題作成システムの第１のニューラルネットワークは、ディープニューラルネットワークであることが好ましい。
［第１３の形態］
上記した穴埋め試験問題作成システムの第２のニューラルネットワークは、ディープニューラルネットワークであることが好ましい。
［第１４の形態］
上記した穴埋め試験問題作成システムの第２のニューラルネットワークは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、リカレントニューラルネットワーク）または、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）あるいは、それらの任意の組み合わせである、ディープニューラルネットワークであることが好ましい。
［第１５の形態］
上記した穴埋め試験問題作成システムの第２のニューラルネットワークは、エンコーダ・デコーダモデルであることが好ましい。
［第１６の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書の穴埋め箇所の変更を受け付ける穴埋め箇所変更受付部をさらに含むことが好ましい。
［第１７の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題対象文書は、テキストを含む文書であることが好ましい。
［第１８の形態］
上記した文穴埋め試験問題作成システムの穴埋め試験問題対象文書は、画像を含む文書であることができる。
［第１９の形態］
上記した文穴埋め試験問題作成システムの穴埋め試験問題対象文書は、音声認識手段により取得した文書であることができる。
［第２０の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所変更受付部で受け付けた入力に従って、穴埋め試験問題作成部が、穴埋め箇所抽出部の決定した穴埋め箇所を変更することが好ましい。
［第２１の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所の変更を変更履歴として蓄積する、穴埋め箇所変更履歴蓄積部をさらに含むことができる。
［第２２の形態］
上記した穴埋め試験問題作成システムの学習済みモデル生成部が、穴埋め箇所変更履歴蓄積部に蓄積された履歴情報を正解データとする再訓練データを用いて、モデルの学習を再度実行する事が好ましい。
［第２３の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所レベル表示受付部は、穴埋め試験問題の穴埋め箇所を指定する入力を受け付けることができる。
［第２４の形態］
上記した穴埋め試験問題作成システムの穴埋め箇所レベル表示部は穴埋め箇所レベル表示受付部により受け付けられた入力に従って、前記穴埋め箇所レベル表示部の保持する穴埋め箇所のレベルを表示することができる。
［第２５の形態］
上記穴埋め試験問題作成システムの穴埋め箇所一覧表示受付部は、穴埋め箇所を一覧表示することを指定する入力を受け付けることができる。
［第２６の形態］
上記した穴埋め試験問題作成システムの穴埋め試験問題表示部は、前記穴埋め箇所一覧表示受付部により受け付けられた入力に従って、穴埋め箇所一覧表示部に保持された穴埋め箇所の一覧表を表示することができる。
［第２７の形態］
上記した穴埋め試験問題作成システムの前記穴埋め箇所の一覧表は、穴埋め箇所、穴埋めの登場頁・行、各箇所に紐づいた志望大学、および学力レベルを表示することができる。
【0057】
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の開示の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【0058】
１、１００、２００ 穴埋め試験問題作成システム
１０ 穴埋め試験問題対象文書決定部
２０ 学習済みモデル生成部
３０ 穴埋め箇所予測部
４０ 穴埋め試験問題表示部
１１０ テキスト含意認識部
１１１ ユーザー端末
１１２ 文書蓄積部
１１３ 検索クエリ文生成部
１２０ 学習済みモデル生成部
１２１ 訓練データ蓄積部
１３０ 文書データベース
１４０ 穴埋め処理部
１４１ 穴埋め箇所抽出部
１４２ 穴埋め試験問題作成部
１５０ 穴埋め試験問題表示部
１６０ 穴埋め箇所変更・レベル表示・一覧表示受付部
１７０ 穴埋め箇所変更履歴蓄積部
２１０ 文書管理ＡＩ検索サーバ
２１１ 予測部
２１２ 取得部
２１３ 訓練データ生成部
２１４ モデル学習部
２１５ 穴埋め試験問題対象文書抽出・選択部
２１６ 検索クエリ文生成部
２２０ 記憶部
２３０ ユーザー端末
１１０１ テキスト含意認識処理部
１１０２ 穴埋め試験問題対象文書抽出・選択部
１１３１ 授業内容データ蓄積部
１１３２ クエリ文蓄積部
１１３３ 訓練データ変換部
１１３４ 学習済み要約モデル生成部
１１３５ 授業内容データ変換部
１１３６ クエリ文予測部
１１３７ 検索クエリ文選択部
１２０１ 訓練データ変換部
１２０２ モデル学習部
１４１１ 文書データ変換部
１４１２ 穴埋め箇所予測部
１４２１ 穴埋め箇所レベル表示部
１４２２ 穴埋め箇所一覧表示部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置
１０ 穴埋め試験問題対象文書決定部
２０ 学習済みモデル生成部
３０ 穴埋め箇所予測部
４０ 穴埋め試験問題表示部
１１０ テキスト含意認識部
１１１ ユーザー端末
１１２ 文書蓄積部
１１３ 検索クエリ文生成部
１２０ 学習済みモデル生成部
１２１ 訓練データ蓄積部
１３０ 文書データベース
１４０ 穴埋め処理部
１４１ 穴埋め箇所抽出部
１４２ 穴埋め試験問題作成部
１５０ 穴埋め試験問題表示部
１６０ 穴埋め箇所変更・レベル表示・一覧表示受付部
１７０ 穴埋め箇所変更履歴蓄積部
２１０ 文書管理ＡＩ検索サーバ
２１１ 予測部
２１２ 取得部
２１３ 訓練データ生成部
２１４ モデル学習部
２１５ 穴埋め試験問題対象文書抽出・選択部
２１６ 検索クエリ文生成部
２２０ 記憶部
２３０ ユーザー端末
１１０１ テキスト含意認識処理部
１１０２ 穴埋め試験問題対象文書抽出・選択部
１１３１ 授業内容データ蓄積部
１１３２ クエリ文蓄積部
１１３３ 訓練データ変換部
１１３４ 学習済み要約モデル生成部
１１３５ 授業内容データ変換部
１１３６ クエリ文予測部
１１３７ 検索クエリ文選択部
１２０１ 訓練データ変換部
１２０２ モデル学習部
１４１１ 文書データ変換部
１４１２ 穴埋め箇所予測部
１４２１ 穴埋め箇所レベル表示部
１４２２ 穴埋め箇所一覧表示部
９０００ コンピュータ
９０１０ ＣＰＵ
９０２０ 通信インタフェース
９０３０ メモリ
９０４０ 補助記憶装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】