特開 2024-21471 プログラム、情報処理方法、情報処理装置及び学習モデルの生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024021471

(43)【公開日】2024-02-16

(54)【発明の名称】プログラム、情報処理方法、情報処理装置及び学習モデルの生成方法

(51)【国際特許分類】

   G09B 7/02 20060101AFI20240208BHJP

   G06F 40/56 20200101ALI20240208BHJP

   G09B 7/06 20060101ALI20240208BHJP

【ＦＩ】

G09B7/02

G06F40/56

G09B7/06

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022124306

(22)【出願日】2022-08-03

(71)【出願人】

【識別番号】518176378

【氏名又は名称】株式会社スキルアップＮｅＸｔ

(74)【代理人】

【識別番号】100114557

【弁理士】

【氏名又は名称】河野 英仁

(74)【代理人】

【識別番号】100078868

【弁理士】

【氏名又は名称】河野 登夫

(72)【発明者】

【氏名】小縣 信也

【テーマコード（参考）】

2C028

5B091

【Ｆターム（参考）】

2C028BA01

2C028BB04

2C028BC01

2C028BD03

2C028CA13

5B091AA15

5B091CA21

5B091EA01

(57)【要約】

【課題】多様な問題に係る作成作業の効率性を向上できるプログラム等を提供する。
【解決手段】プログラムは、ユーザから試験問題の作成条件を受け付け、受け付けた前記作成条件に基づき、問題文及び解答を生成し、生成した前記問題文及び解答をユーザへ出力する処理をコンピュータに実行させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザから試験問題の作成条件を受け付け、
受け付けた前記作成条件に基づき、問題文及び解答を生成し、
生成した前記問題文及び解答をユーザへ出力する
処理をコンピュータに実行させるためのプログラム。

【請求項2】

前記作成条件として、穴埋め式又は問いかけ式を含む問題作成条件と、選択式又は記述式を含む解答作成条件とを受け付ける
請求項１に記載のプログラム。

【請求項3】

前記解答作成条件として選択式を受け付けた場合、前記解答と、前記解答に類似する誤答とを生成する
請求項２に記載のプログラム。

【請求項4】

候補となる複数の前記問題文及び解答の組み合わせを生成し、
生成した候補となる複数の前記問題文及び解答の組み合わせのうちのいずれかの問題文及び解答の組み合わせの選択を受け付ける
請求項１又は請求項２に記載のプログラム。

【請求項5】

既存の問題文及び解答を入力した場合に新たな問題文及び解答を出力するよう学習された学習モデルに、前記作成条件に応じた既存の問題文及び解答を入力して問題文及び解答を出力する
請求項１又は請求項２に記載のプログラム。

【請求項6】

参照文及び前記参照文に対する問いかけを入力した場合に問題文及び解答を出力するよう学習された学習モデルに、参照文及び前記参照文に対する問いを入力して問題文及び解答を出力する
請求項１又は請求項２に記載のプログラム。

【請求項7】

質問文を入力した場合に前記質問文に対する解答を出力するよう学習された学習モデルに、試験問題の作成対象に応じた文章を質問文形式に変換した質問文を入力して前記解答を出力する
請求項１又は請求項２に記載のプログラム。

【請求項8】

文章を入力した場合に前記文章に対する要約文を出力するよう学習された学習モデルに、試験問題の作成対象に応じた文章を入力して要約文を出力し、
出力した要約文に基づき前記問題文を生成する
請求項１又は請求項２に記載のプログラム。

【請求項9】

既存の問題文又は前記既存の問題文の一部を変更した変更問題文を取得し、
取得した既存の問題文又は変更問題文を、生成した前記問題文とともに出力する
請求項１又は請求項２に記載のプログラム。

【請求項10】

生成した前記問題文及び解答に対する複数のレビューア及びレビュー順序を取得し、
取得したレビュー順序に従い各レビューアへレビュー要求を出力する
請求項１又は請求項２に記載のプログラム。

【請求項11】

生成した前記問題文又は解答に対する修正を受け付けた場合、修正履歴を前記問題文又は解答に対応付けて記憶する
請求項１又は請求項２に記載のプログラム。

【請求項12】

ユーザから試験問題の作成条件を受け付け、
受け付けた前記作成条件に基づき、問題文及び解答を生成し、
生成した前記問題文及び解答をユーザへ出力する
処理をコンピュータが実行する情報処理方法。

【請求項13】

ユーザから試験問題の作成条件を受け付け、
受け付けた前記作成条件に基づき、問題文及び解答を生成し、
生成した前記問題文及び解答をユーザへ出力する
処理を実行する制御部を備える
情報処理装置。

【請求項14】

既存の問題文及び解答と、新たな問題文及び解答とを取得し、
取得した既存の問題文及び解答と、新たな問題文及び解答とに基づき、既存の問題文及び解答を入力した場合に新たな問題文及び解答を出力する学習モデルを生成する
学習モデルの生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理方法、情報処理装置及び学習モデルの生成方法に関する。

【背景技術】

【0002】

入学試験や資格試験などの試験問題の作成には知識や労力を要する。そこで、試験問題の作成を支援するための技術が提案されている。

【0003】

例えば特許文献１には、複雑な文法の穴埋め問題等を手間なく自動で作成することができる問題自動作成装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８－１２９４４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術は、穴埋め問題の自動作成に着目した技術であり、穴埋め問題以外の形式の問題を生成する点について検討されていない。試験問題の出題形式は多岐にわたることから、多様な問題に係る作成作業を支援する技術が望まれる。

【0006】

本開示の目的は、多様な問題に係る作成作業の効率性を向上することのできるプログラム等を提供することである。

【課題を解決するための手段】

【0007】

本開示の一態様に係るプログラムは、ユーザから試験問題の作成条件を受け付け、受け付けた前記作成条件に基づき、問題文及び解答を生成し、生成した前記問題文及び解答をユーザへ出力する処理をコンピュータに実行させる。

【発明の効果】

【0008】

本開示によれば、多様な問題に係る作成作業の効率性を向上できる。

【図面の簡単な説明】

【0009】

【図1】情報処理システムの概要図である。

【図2】情報処理装置の構成例を示すブロック図である。

【図3】ユーザ端末の構成例を示すブロック図である。

【図4】学習モデルの第１例の概要を示す説明図である。

【図5】学習モデルの第２例の概要を示す説明図である。

【図6】学習モデルの第３例の概要を示す説明図である。

【図7】学習モデルの第４例の概要を示す説明図である。

【図8】試験問題の一例を示す説明図である。

【図9】学習モデルの生成処理手順の一例を示すフローチャートである。

【図10】情報処理システムが実行する試験問題の生成処理手順の一例を示すフローチャートである。

【図11】受付用画面の一例を示す模式図である。

【図12】テンプレートの一例を示す模式図である。

【図13】試験問題の生成の詳細な手順の一例を示すフローチャートである。

【図14】試験問題の生成の詳細な手順の他の例を示すフローチャートである。

【図15】試験問題の生成の詳細な手順の他の例を示すフローチャートである。

【図16】試験問題の生成の詳細な手順の他の例を示すフローチャートである。

【図17】確認画面の一例を示す模式図である。

【図18】第２実施形態の情報処理装置が実行するレビュー依頼に関する処理手順の一例を示すフローチャートである。

【図19】情報処理装置が実行する修正の受け付け処理手順の一例を示すフローチャートである。

【図20】修正履歴を含む画面の一例を示す模式図である。

【図21】第３実施形態の情報処理装置が実行する分析情報の生成処理手順の一例を示すフローチャートである。

【図22】分析情報を含む画面の一例を示す模式図である。

【発明を実施するための形態】

【0010】

本開示をその実施の形態を示す図面を参照して具体的に説明する。

【0011】

（第１実施形態）
図１は、情報処理システム１００の概要図である。情報処理システム１００は、情報処理装置１及びユーザ端末２を備える。情報処理装置１及びユーザ端末２は、例えばインターネット等のネットワークＮを介して通信可能に接続されている。ユーザ端末２の数は２以上でもよい。

【0012】

情報処理装置１は、種々の情報処理、情報の送受信が可能な装置であり、例えばサーバコンピュータ、パーソナルコンピュータ、量子コンピュータ等である。ユーザ端末２は、例えばパーソナルコンピュータ、スマートフォン、タブレット端末等の情報端末装置である。

【0013】

情報処理装置１は、ユーザ端末２から受け付けた問題作成要求に応じて試験問題を生成し、生成した試験問題をユーザ端末２へ提供する。情報処理装置１は、ユーザにおける試験問題の作成作業を支援するための問題作成管理サービスを実現する。問題作成サービスを享受するユーザは、ユーザ端末２を用いて情報処理装置１との間で情報を送受信し、情報処理装置１から提供される情報を得ることができる。

【0014】

本明細書において、試験問題とは、例えば入学試験や資格試験等の各種試験用の問題及び各種試験の学習用の問題を含む。試験問題は、問題の内容を示す問題文と、当該問題文に対する正答又は模範解答を示す解答とを含む。例えば、解答形式が選択式の場合、問題文には、問題の本文を示す問題本文と、選択肢とが含まれてもよい。試験問題にはさらに、解答に関する解説が含まれてもよい。

【0015】

図２は、情報処理装置１の構成例を示すブロック図である。情報処理装置１は、制御部１１、記憶部１２及び通信部１３を備える。情報処理装置１は、複数台のコンピュータで構成し分散処理する構成でもよく、１台のサーバ内に設けられた複数の仮想マシンによって実現されていてもよく、クラウドサーバを用いて実現されていてもよい。

【0016】

制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等を用いたプロセッサを備える。制御部１１は、内蔵するＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）等のメモリ、クロック、カウンタ等を用い、各構成部を制御して処理を実行する。

【0017】

記憶部１２は、例えばハードディスク、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを備える。記憶部１２は、情報処理装置１に接続された外部記憶装置であってもよい。記憶部１２は、制御部１１が参照する各種プログラム及びデータを記憶する。本実施形態の記憶部１２は、試験問題の生成に関する処理をコンピュータに実行させるためのプログラム１Ｐと、このプログラム１Ｐの実行に必要な学習モデル１２１とを記憶している。学習モデル１２１は、所定の訓練データを学習済みの機械学習モデルである。学習モデル１２１は、人工知能ソフトウェアの一部を構成するプログラムモジュールとしての利用が想定される。記憶部１２に記憶されるデータには、例えば生成された試験問題、既存の試験問題、後述するテンプレート、キーワード情報、アドバイステーブル等が含まれてもよい。

【0018】

プログラム１Ｐを含むプログラム（プログラム製品）は、当該プログラムを読み取り可能に記録した非一時的な記録媒体１Ａにより提供されてもよい。記憶部１２は、不図示の読出装置によって記録媒体１Ａから読み出されたプログラムを記憶する。記録媒体１Ａは、例えば磁気ディスク、光ディスク、半導体メモリ等である。また、通信ネットワークに接続されている外部サーバからプログラムをダウンロードし、記憶部１２に記憶させてもよい。プログラム１Ｐは、単一のコンピュータプログラムでも複数のコンピュータプログラムにより構成されるものでもよく、また、単一のコンピュータ上で実行されても通信ネットワークによって相互接続された複数のコンピュータ上で実行されてもよい。

【0019】

通信部１３は、ネットワークＮを介して外部装置と通信するための通信モジュールを備える。制御部１１は、通信部１３を介してユーザ端末２との間でデータを送受信する。

【0020】

情報処理装置１の構成は上述の例に限定されず、例えばユーザの操作を受け付けるための操作部、各種情報を表示するための表示部等を備えてもよい。

【0021】

図３は、ユーザ端末２の構成例を示すブロック図である。ユーザ端末２は、制御部２１、記憶部２２、通信部２３、表示部２４及び操作部２５を備える。

【0022】

制御部２１は、一又は複数のＣＰＵ、ＧＰＵ等を用いたプロセッサを備える。制御部２１は、内蔵するＲＯＭ又はＲＡＭ等のメモリ、クロック、カウンタ等を用い、各構成部を制御して処理を実行する。記憶部２２は、例えばハードディスク、フラッシュメモリ、ＳＳＤ等の不揮発性メモリを備える。記憶部２２は、制御部２１が参照する各種プログラム及びデータを記憶する。通信部２３は、通信に関する処理を行うための通信モジュールを備える。制御部２１は通信部２３を介して情報処理装置１との間でデータを送受信する。

【0023】

表示部２４は、例えば液晶ディスプレイ又は有機ＥＬ（electroluminescence）ディスプレイ等のディスプレイ装置を備える。表示部２４は、制御部２１からの指示に従って各種の情報を表示する。操作部２５は、ユーザの操作を受け付けるインタフェースである。操作部２５は、例えばキーボード、ディスプレイ内蔵のタッチパネルデバイス、スピーカ及びマイクロフォン等を備える。操作部２５は、ユーザからの操作入力を受け付け、操作内容に応じた制御信号を制御部２１へ送出する。

【0024】

情報処理装置１は、ユーザ端末２を介してユーザから試験問題に対する作成条件を受け付け、学習モデル１２１を用いて作成条件に応じた試験問題を自動で生成する。上述の通り、試験問題は少なくとも問題文及び解答を含む。

【0025】

作成条件とは、例えば問題作成条件及び解答作成条件を含む。問題作成条件は、問題（設問）形式に関する情報を含み、例えば穴埋め式、問いかけ式等の複数条件に分類される。解答作成条件は、解答形式に関する情報を含み、例えば選択式、記述式等の複数条件に分類される。ユーザは、予め設定される問題作成条件及び解答作成条件の中から、問題作成目的に応じた作成条件を選択することができる。

【0026】

図４は、学習モデル１２１の第１例の概要を示す説明図である。図４に示す学習モデル１２１は、既存の試験問題に係る問題文及び解答（以下、単に既存問題とも記載する）を入力として、新たな試験問題に係る問題文及び解答（以下、単に新規問題とも記載する）を出力する。学習モデル１２１は、例えばニューラルネットワークを用いた自然言語処理モデルである。なお新たな試験問題とは、少なくとも入力要素となる既存問題とは内容の異なる新たな試験問題であることを意味し、全ての既存問題に対して新規な内容である必要はない。

【0027】

本実施形態において学習モデル１２１は、例えばＴｒａｎｓｆｏｒｍｅｒモデルを用いた自然言語処理技術を利用することにより、問題文及び解答を生成する。学習モデル１２１は、例えばＢＥＲＴ（Bidirectional Encoder Representations from Transformers）、ＧＰＴ（Generative Pre-trained Transformer）－３、ＧＰＴ－２等、Ｔｒａｎｓｆｏｒｍｅｒを用いた事前学習モデルであってもよい。

【0028】

学習モデル１２１は、既存問題の入力を受け付ける入力層と、当該既存問題の特徴量を抽出する中間層（隠れ層）と、新規問題を出力する出力層とを有する。既存問題は、例えば、問題文及び解答を含む文章のテキストを形態素解析などにより解析することにより生成されるトークンとして入力層へ入力される。中間層は、入力されたそれぞれの値の特徴量を抽出する複数のノードを有し、各種パラメータを用いて抽出された特徴量を出力層に受け渡す。出力層は、中間層から出力された特徴量に基づいて新規問題を出力するよう構成される。Ｔｒａｎｓｆｏｒｍｅｒモデルでは、中間層にＡｔｔｅｎｔｉｏｎ層を備え、文全体における単語の位置を抽出することができる。なお、Ｔｒａｎｓｆｏｒｍｅｒ及びＢＥＲＴ等の自然言語処理モデルは、公知の技術であるためこれ以上の詳細な説明を省略する。

【0029】

情報処理装置１の記憶部１２に記憶された学習モデル１２１は、予め機械学習処理がなされた学習済モデルである。学習処理は、予め与えられた多数の訓練データを用いて、ニューラルネットワークにおける各種パラメータを最適化する処理である。当該パラメータは、例えばニューロン間の重み（結合係数）等である。

【0030】

情報処理装置１は、事前学習済みの学習モデル１２１を、問題文及び解答の生成用モデルとしてファインチューニングしてもよい。情報処理装置１は、例えば大量の既存問題及び新規問題を収集してファインチューニング用の訓練データを生成する。ファインチューニング用の訓練データは、例えば既存問題に係る問題文及び解答と、新規問題に係る問題文及び解答とを対応付けたデータセットである。訓練データは、第１の既存問題に係る問題文及び解答と、第１の既存問題とは異なる第２の既存問題に係る問題文及び解答とを対応付けたデータセットであってもよい。

【0031】

情報処理装置１は、訓練データに含まれる既存問題及び新規問題を繋げた文章を学習前のニューラルネットワークモデルの入力層に入力し、中間層での演算処理を経て、出力層から出力される新規問題を取得する。情報処理装置１は、出力層から出力された新規問題と、訓練データに含まれる新規問題とを比較し、出力層から出力される新規問題が正解値に近づくように各種パラメータを最適化する。上述の処理により、既存問題に対し新規問題を適切に出力可能に学習された学習モデル１２１を構築することができる。

【0032】

学習モデル１２１の構成は上述の例に限定されるものではない。学習モデル１２１は、既存問題に対し、当該既存問題とは異なる新規問題を生成可能であればよい。学習モデル１２１は、例えばＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等の他の学習アルゴリズムを用いてもよい。

【0033】

情報処理装置１は、大量に収集した既存の試験問題に作成条件を対応付けた問題群データを予め記憶部１２に記憶しておく。例えば情報処理装置１は、作成条件として問いかけ式及び記述式を受け付けた場合、情報処理装置１は、問題群データの中から、問いかけ式及び記述式に対応する既存問題を抽出する。情報処理装置１は、抽出した既存問題を学習モデル１２１に入力データとして与え、出力される新規問題を取得する。これにより、情報処理装置１は、作成条件に応じた新たな問題文及び解答を生成することができる。

【0034】

学習モデル１２１は、既存問題に基づき新規問題を生成するものに限らない。図５は、学習モデル１２１の第２例の概要を示す説明図である。図５に示す学習モデル１２１は、参照文及び当該参照文に対する問いかけ内容を入力として、問題文及び解答を出力するモデルである。学習モデル１２１の出力層は、問題文及び解答を出力するよう構成される。その他、以下に例示する他の学習モデル１２１の構成はいずれも、図４に示す学習モデル１２１と同様であるため詳細な説明を省略する。

【0035】

参照文は、例えば教科書や参考書等から抽出した文章（テキストデータ）を含んでよい。問いかけ内容は、上記参照文に基づき問うべき内容を示す文章を含む。

【0036】

情報処理装置１は、参照文及び問いかけ内容と、問題文及び解答とが対応付けられた訓練データを用いて学習モデル１２１を学習（ファインチューニング）する。これにより、参照文及び問いかけ内容に対し問題文及び解答を適切に出力可能に学習された学習モデル１２１が構築される。

【0037】

図６は、学習モデル１２１の第３例の概要を示す説明図である。図６に示す学習モデル１２１は、問いかけを示す質問文を入力として、前記質問文に対する解答を出力するモデルである。学習モデル１２１の出力層は、質問文に対する解答を出力するよう構成される。

【0038】

学習モデル１２１への入力となる質問文は、例えば上述の参照文、又は教科書や参考書等から抽出したより長い文章等に基づき生成してもよい。情報処理装置１は、教科書や参考書等から設問の対象範囲に該当する文章を抽出し、抽出した文章に基づき質問文を生成する。質問文の生成は、例えば文章に応じて質問文を生成する自然言語処理モデルを用いて行ってもよい。質問文の生成は、外部装置又は人手により行われてもよい。

【0039】

情報処理装置１は、生成された質問文と解答とが対応付けられた訓練データを用いて学習モデル１２１を学習する。これにより、質問文に対し解答を適切に出力可能に学習された学習モデル１２１が構築される。

【0040】

図７は、学習モデル１２１の第４例の概要を示す説明図である。図７に示す学習モデル１２１は、教科書や参考書等から抽出された文章を入力として、前記文章に対する要約文を出力するモデルである。学習モデル１２１の出力層は、要約文を出力するよう構成される。

【0041】

情報処理装置１は、教科書や参考書等から抽出された文章及び要約文を繋げた文章と、要約文とが対応付けられた訓練データを用いて学習モデル１２１を学習する。これにより、教科書等から抽出された文章に対し要約文を適切に出力可能に学習された学習モデル１２１が構築される。

【0042】

情報処理装置１は、学習モデル１２１を用いて生成した要約文に基づき、例えば所定ルールに従い、要約文中の語句をマスク加工した穴埋め式の問題文及び穴埋め箇所に対応する解答を生成することができる。あるいは、学習モデル１２１を用いて生成した要約文に基づき、所定の語句を問う記述式の問題文及び解答を生成してもよい。穴埋め対象とする語句又は所定の語句は、例えば予め記憶部１２に記憶するキーワード情報を用いて、要約文に含まれる語句の中からキーワード情報に格納されているキーワードと一致する語句を特定することにより決定されてもよい。

【0043】

上述の学習処理において、ファインチューニングは、ユーザの問題作成目的毎に、ユーザの問題作成目的に応じた訓練データを用いて行われることが好ましい。訓練データは、例えばユーザの問題作成目的に応じた教科書又は参考書等のデータ、又はユーザの問題作成目的に応じた既存問題等を用いるとよい。これにより、ユーザ毎にカスタマイズされた学習モデル１２１を用いて、ユーザの問題作成目的に応じた問題を好適に生成することができる。

【0044】

また解答形式が選択式の場合、情報処理装置１は、学習モデル１２１を用いて生成した解答に基づき複数の選択肢を生成する。各選択肢は、正答である解答又は前記解答に類似した誤答を含む。誤答の生成手法は限定的ではないが、例えば情報処理装置１は、解答を入力として解答に対する誤答を出力する機械学習モデルを用いて誤答を生成してもよい。情報処理装置１は、語句をベクトル化することにより、解答となる語句のベクトルとの類似度が所定値以上である語句を特定することにより、誤答を生成してもよい。

【0045】

また情報処理装置１は、学習モデル１２１の出力データに基づき、最も優先度（確率）の高い出力データとして特定された解答の次に優先度の高いデータ、又はその次に優先度（確率）の高いデータ等を取得することにより、誤答を生成してもよい。同様に、情報処理装置１は、文章中の単語の尤度に基づき、正答の文章及び誤答の文章も生成することができる。例えば、正答を選択する問題の解答が「Ｔｒａｎｓｆｏｒｍｅｒは、位置エンコーディングを使う。」である場合、情報処理装置１は、「位置エンコーディング」を、「位置エンコーディング」の次の候補である「位置ベクトル」に代えた誤答「Ｔｒａｎｓｆｏｒｍｅｒは、位置ベクトルを使う。」を生成する。情報処理装置１は、その他動詞「使う」を、「使う」の次の候補である「消去する」に代えた誤答「Ｔｒａｎｓｆｏｒｍｅｒは、位置エンコーディングを消去する。」を生成する。

【0046】

また情報処理装置１は、類似する語句同士を分類して記憶するテーブルを用いて、解答に応じた誤答を特定してもよい。解答が数値を含む場合、情報処理装置１は、所定ルールに従い正答の数値を変換することにより、誤答を生成してもよい。情報処理装置１は、肯定表現と否定表現との変換により誤答を生成してもよい。情報処理装置１は、解答を誤答に置き換えた選択肢を所定数生成する。

【0047】

図８は、試験問題の一例を示す説明図である。図８では、作成条件が穴埋め式且つ選択式である場合に生成される試験問題の例を示す。試験問題には、学習モデル１２１を用いて生成した問題文及び解答が含まれる。問題文にはまた、問題の作成条件に応じた設問を示す定型文と、選択肢とが含まれる。自動生成される試験問題にはさらに、解答に応じた解説が含まれていてもよい。

【0048】

図９は、学習モデル１２１の生成処理手順の一例を示すフローチャートである。以下の各フローチャートにおける処理は、情報処理装置１の記憶部１２に記憶するプログラム１Ｐに従って制御部１１により実行されてもよく、制御部１１に備えられた専用のハードウェア回路（例えばＦＰＧＡ又はＡＳＩＣ）により実現されてもよく、それらの組合せによって実現されてもよい。以下、ステップをＳと略す。図９では、上述の第３例の学習モデル１２１を生成する場合を例に挙げて説明する。

【0049】

情報処理装置１の制御部１１は、訓練データを取得する（Ｓ１１）。制御部１１は、ユーザの問題作成目的に応じた教科書又は参考書等から抽出した文章に基づき生成された質問文と、当該質問文に対する解答とを取得する。制御部１１は、説明変数となる質問文及び解答を繋げた文章に対し、目的変数となる解答を示すラベルが付与された訓練データを取得する。

【0050】

制御部１１は、訓練データに基づき、質問文を入力した場合に解答を出力する学習モデル１２１を生成する（Ｓ１２）。具体的には、制御部１１は、訓練データに含まれる質問文及び解答を繋げた文章を入力データとして学習モデル１２１に入力し、学習モデル１２１から出力される解答を取得する。制御部１１は、出力された解答と、訓練データに含まれる解答、即ち正解値である解答との誤差を最適化（最小化又は最大化）するように、例えば誤差逆伝播法を用いて各種パラメータを調整する。学習又はファインチューニングが開始される前の段階では、学習モデル１２１を記述する定義情報には、初期設定値又は事前学習済みの値が与えられているものとする。誤差、学習回数が所定基準を満たすことによって学習が完了すると、最適化されたパラメータが得られる。

【0051】

学習が終了すると、制御部１１は、学習済みの学習モデル１２１として、学習モデル１２１に関する定義情報を記憶部１２に記憶し、一連の処理を終了する。なおユーザの問題作成目的に応じた訓練データを用いて学習モデル１２１のファインチューニングを実行した場合、制御部１１は、生成した学習モデル１２１に、使用した訓練データに関する情報及び学習モデル１２１を適用すべきユーザの識別情報を対応付けて記憶してもよい。制御部１１は、複数種類の学習モデル１２１を生成し、記憶部１２に記憶してもよい。

【0052】

図１０は、情報処理システム１００が実行する試験問題の生成処理手順の一例を示すフローチャートである。

【0053】

ユーザ端末２の制御部２１は、ユーザが操作部２５を操作することによる試験問題の作成条件を受け付ける（Ｓ２１）。Ｓ２１にて制御部２１は、例えばアカウント情報を用いたログイン処理に応じて情報処理装置１から提供される作成条件の受付用画面を表示部２４に表示し、受付用画面を利用してユーザから作成条件の指定を受け付ける。

【0054】

図１１は、受付用画面の一例を示す模式図である。受付用画面は、作成条件の指定を受け付ける受付欄２４１を含む。図１１に示す例にて受付欄２４１は、問題作成条件及び解答作成条件と、問題文の作成パターンとを受け付け可能に構成されている。情報処理装置１は、予め設定される各問題作成条件及び解答作成条件と、問題文の作成パターンとを選択可能な態様にて受付欄２４１に表示させる。問題文の作成パターンとは、例えば問題文の自動生成及び手動生成を含む。

【0055】

受付欄２４１では、問題作成条件が穴埋めである場合の解答数、解答作成条件が選択式である場合の選択肢数等の詳細条件も受け付け可能である。受付欄２４１はさらに、作成パターンが自動生成である場合における既存問題の使用又は新規問題の生成を受け付け可能な構成であってもよい。ユーザは、操作部２５を用いて所望の作成条件の選択を入力する。制御部２１は、操作部２５を通じて作成条件の指定を受け付ける。

【0056】

作成条件の受け付けは、テンプレートを利用して行われてもよい。図１２は、テンプレートの一例を示す模式図である。例えば図１１の受付用画面にて、「テンプレートから選択する」と表示されたチェックボックスの指定を受け付けた場合、情報処理装置１はユーザ端末２を通じて図１２に示す如くテンプレートを含む画面を表示させる。

【0057】

テンプレートは、予め設定される問題作成条件及び解答作成条件の組み合わせに応じて複数準備されている。図１２では、解答数が３の穴埋め式、且つ選択肢数が４の選択式の作成条件に対応するテンプレートを例示する。ユーザは、作成条件に応じたテンプレートを選択することにより、作成条件を指定する。図１２に示すように、テンプレートにより例えば各選択肢における正答及び誤答の配置パターンも予め設定することができる。

【0058】

図１０に戻り説明を続ける。制御部２１は、受け付けた作成条件を情報処理装置１へ送信する（Ｓ２２）。

【0059】

情報処理装置１の制御部１１は、作成条件を受信する（Ｓ２３）。制御部１１は、作成条件に対応付けて、ユーザの問題作成目的に応じた既存問題又は参照文及び問いかけ等を受信してもよい。

【0060】

制御部１１は、受信した作成条件に基づき、学習モデル１２１を用いて問題文及び解答を含む試験問題を生成する（Ｓ２４）。詳細には制御部１１は、作成条件に応じた所定の入力データを学習モデル１２１へ入力し、学習モデル１２１から出力される出力データを取得する。制御部１１は、必要に応じて学習モデル１２１からの出力結果に基づき所定の処理を実行することにより、所定の作成条件に応じた問題文及び解答を生成する。

【0061】

図１３は、試験問題の生成の詳細な手順の一例を示すフローチャートである。図１３から図１６のフローチャートに示す処理手順は、図１０のフローチャートにおけるＳ２４の詳細に対応する。

【0062】

制御部１１は、問題群データを参照し、受信した作成条件に応じた既存問題を取得する（Ｓ２０１）。制御部１１は、ユーザ端末２から送信されるユーザの問題作成目的に応じた既存問題を受信してもよい。制御部１１は、取得した既存問題を第１例の学習モデル１２１へ入力し（Ｓ２０２）、学習モデル１２１から出力される新規問題を取得する（Ｓ２０３）。上述の処理により試験問題が生成される。制御部１１は、図１０のフローチャートにおけるステップＳ２５へ処理を戻す。

【0063】

複数の学習モデル１２１を記憶部１２に記憶する場合、制御部１１は、ログインしたユーザ及び作成条件の少なくとも一方に応じた学習モデル１２１を特定し、特定した学習モデル１２１を用いて問題生成を実行してもよい。

【0064】

また制御部１１は、作成条件に応じて、学習モデル１２１からの出力結果に基づく後処理を実行し、所定の作成条件に応じた問題文及び解答を生成してもよい。制御部１１は、例えば、学習モデル１２１から出力された解答に基づき、一又は複数の解答を誤答へ置き換えた所定数の選択肢を生成することで、問題文を補完する。この場合において、制御部１１は、複数パターンの問題文及び選択肢（解答）の組み合わせを生成してもよい。

【0065】

図１４は、試験問題の生成の詳細な手順の他の例を示すフローチャートである。
制御部１１は、例えばユーザ端末２を通じて、ユーザの問題作成目的に応じた参照文及び問いかけ内容を取得する（Ｓ２１１）。制御部１１は、取得した参照文及び問いかけ内容を第２例の学習モデル１２１へ入力し（Ｓ２１２）、学習モデル１２１から出力される問題文及び解答を取得する（Ｓ２１３）。

【0066】

図１５は、試験問題の生成の詳細な手順の他の例を示すフローチャートである。
制御部１１は、例えばユーザ端末２を通じて、試験問題の作成対象に応じた文章を取得する（Ｓ２２１）。試験問題の作成対象に応じた文章とは、例えばユーザの問題作成目的に応じた参照文、又は教科書や参考書等から抽出された文章である。制御部１１は、例えば所定の自然言語処理モデルを用いて、取得した文章を質問文形式に変換した質問文を生成する（Ｓ２２２）。

【0067】

制御部１１は、生成した質問文を第３例の学習モデル１２１へ入力し（Ｓ２２３）、学習モデル１２１から出力される解答を取得する（Ｓ２２４）。上述の処理により、問題文となる質問文と、当該質問文に対する解答とが生成される。

【0068】

図１６は、試験問題の生成の詳細な手順の他の例を示すフローチャートである。
制御部１１は、例えばユーザ端末２を通じて、試験問題の作成対象に応じた文章を取得する（Ｓ２３１）。試験問題の作成対象に応じた文章とは、例えばユーザの問題作成目的に応じた教科書や参考書等から抽出された一連の文章である。

【0069】

制御部１１は、取得した文章を第４例の学習モデル１２１へ入力し（Ｓ２３２）、学習モデル１２１から出力される要約文を取得する（Ｓ２３３）。制御部１１は、取得した要約文に基づき、問題文及び解答を生成する（Ｓ２３４）。制御部１１は、例えば所定ルールに従い要約文中の一部の語句をマスクした穴埋め式の問題文と、マスク箇所に対応する語句を抽出した解答とを生成する。

【0070】

図１０に戻り説明を続ける。制御部１１は、生成した試験問題をログインしたユーザに対応するユーザ端末２へ送信する（Ｓ２５）。

【0071】

ユーザ端末２の制御部２１は、試験問題を受信し（Ｓ２６）、受信した試験問題を含む確認画面を表示部２４へ表示する（Ｓ２７）。ユーザは、確認画面を通じて試験問題を確認し、出題予定として採用する試験問題を決定することができる。

【0072】

図１７は、確認画面の一例を示す模式図である。図１７に示す例にて確認画面には、生成した問題文及び解答を含む試験問題、選択肢の変更要求を受け付けるリセットボタン２４２、及び生成した試験問題の保存要求を受け付ける保存ボタン２４３が含まれている。

【0073】

情報処理装置１は、確認画面を通じて選択肢を含む問題文及び解答を表示させる。情報処理装置１は、ユーザ端末２を通じてリセットボタン２４２のタップ操作を受け付けた場合、選択肢の内容を変更した新たな選択肢を確認画面に表示させる。変更される選択肢の内容は、例えば選択肢に含まれる誤答の内容、選択肢中における正答及び誤答の組み合わせ又は配置等である。情報処理装置１は、リセットボタン２４２を用いて、複数の問題文及び選択肢の組み合わせ中から、ユーザの所望するいずれかの問題文及び選択肢の組み合わせの選択を受け付ける。情報処理装置１は、確認画面を通じて問題文自体の変更を受け付けてもよい。この場合、情報処理装置１は、例えば異なる入力データを用いて新たな問題文及び解答の組み合わせを生成し、確認画面に表示させる。

【0074】

選択された選択肢パターンが表示されている状態でユーザによる保存ボタン２４３のタップ操作を受け付けた場合、制御部２１は、表示されている問題文及び解答の組み合わせに対する保存要求を受け付ける。保存要求の受け付けにより、試験問題の選択内容が確定される。

【0075】

図１０に戻り説明を続ける。制御部２１は、保存要求、すなわち確定された試験問題の選択を受け付け（Ｓ２８）、受け付けた選択情報を情報処理装置１へ送信する（Ｓ２９）。

【0076】

情報処理装置１の制御部１１は、選択情報を受信する（Ｓ３０）。制御部１１は、選択された問題文及び解答の組み合わせを、出題予定の試験問題の一つとして記憶部１２に記憶する（Ｓ３１）。制御部１１は、確定した試験問題を所定のデータ形式にてユーザ端末２へ送信する（Ｓ３２）。

【0077】

ユーザ端末２の制御部２１は、試験問題を受信し（Ｓ３３）、一連の処理を終了する。情報処理システム１００は、所定の問題数に達するまで、Ｓ２１からＳ３１までの処理を繰り返し実行してもよい。

【0078】

上述の処理において、制御部１１は、ユーザから問題作成要求を受け付けたタイミングで問題を生成するものに限らず、予め学習モデル１２１を用いてユーザの問題作成目的に応じた試験問題を多数生成し、記憶部１２に記憶していてもよい。制御部１１は、ユーザから作成条件を受け付けた場合、生成済みの試験問題の中から受け付けた作成条件に応じた試験問題を抽出する。

【0079】

なお、試験問題はユーザにより一部又は全部を手動で生成可能に構成されてもよい。例えば、ユーザは、図１２に示したテンプレートを利用して、穴埋め式の試験問題に関し、問題本文の生成及び解答となる語句の指定を行う。ユーザは、操作部２５を用いて、テンプレートの所定欄に問題本文に対応する任意の文章を入力するとともに、穴埋め箇所の指定、すなわち解答となる語句の選択処理を行う。情報処理装置１は、ユーザ端末２を通じてユーザによる試験問題の入力内容を取得する。

【0080】

情報処理装置１は、取得した入力内容に基づき、問題本文の一部をマスク処理した問題文を生成する。情報処理装置１は、解答となる語句に基づき、複数の誤答を生成し、解答及び誤答を組み合わせることにより複数の選択肢を生成してもよい。

【0081】

また試験問題は、既存の試験問題の一部を変更することにより生成されてもよい。情報処理装置１は、例えば作成条件に応じた既存の問題文及び解答を問題群データから読み出し、所定ルールに従い、既存の問題文に含まれる選択肢の順序又は選択肢中における正答及び誤答の配置を変更することにより、新たな問題文を生成してもよい。これにより、既存の試験問題を活用して効率よく新たな試験問題を生成できる。

【0082】

本実施形態によれば、学習モデル１２１を用いてユーザから受け付けた多様な作成条件に応じた試験問題を自動生成することができるため、ユーザにおける問題作成作業の効率性を向上し得るとともに、多様なニーズに応じた問題作成が可能となる。学習モデル１２１は、ユーザの問題作成目的に応じたデータを用いた学習により、各試験の特性に沿った試験問題を精度よく生成することができる。ユーザは、作成条件の指定により試験問題を任意にカスタマイズすることができ、利便性が向上する。

【0083】

（第２実施形態）
第２実施形態では、生成した試験問題に対するレビュー及び修正を受け付ける構成について説明する。以下の各実施形態では主に第１実施形態との相違点を説明し、第１実施形態と共通する構成については同一の符号を付してその詳細な説明を省略する。

【0084】

図１８は、第２実施形態の情報処理装置１が実行するレビュー依頼に関する処理手順の一例を示すフローチャートである。

【0085】

情報処理装置１の制御部１１は、試験問題の生成後、例えば問題作成作業を担当したユーザのユーザ端末２を通じて、複数のレビューアに係るレビューア識別情報と、各レビューアに対するレビュー順序とを取得する（Ｓ４１）。レビューア識別情報は、試験問題に対するレビューを依頼するレビューアを識別するための情報であり、例えばレビューア名、レビューアＩＤ等を含む。

【0086】

ユーザ端末２は、例えば、問題作成後に情報処理装置１から提供されるレビュー設定用画面を表示部２４に表示し、レビュー設定用画面を利用してユーザからレビューア識別情報及びレビュー順序の指定を受け付けてもよい。ユーザ端末２は、受け付けたレビューア識別情報及びレビュー順序を情報処理装置１へ送信する。

【0087】

制御部１１は、取得したレビュー順序に従い、取得したレビューア識別情報にて識別されるレビューアのユーザ端末２へレビュー依頼を出力する（Ｓ４２）。レビュー依頼を受けたレビューアは、例えば情報処理装置１から提供されるレビュー画面をユーザ端末２を用いて確認し、生成された試験問題のレビューを行う。ユーザ端末２は、レビューアから受け付けたレビュー結果を情報処理装置１へ送信する。

【0088】

制御部１１は、ユーザ端末２から送信されるレビュー結果を取得する（Ｓ４３）。制御部１１は、取得したレビュー結果に基づき、例えばレビューが終了したレビューアのレビューア識別情報、レビュー日時等を含むレビュー履歴を、レビュー対象となる試験問題に対応付けて記憶部１２に記憶する（Ｓ４４）。

【0089】

制御部１１は、レビュー依頼を終了するか否かを判定する（Ｓ４５）。指定された全てのレビューアへレビュー依頼を出力していないことにより、レビュー依頼を終了しないと判定した場合（Ｓ４５：ＮＯ）、制御部１１は、処理をＳ４２に戻し、レビュー順序に従い、次のレビューアへレビュー依頼を出力する。指定された全てのレビューアへレビュー依頼を出力したことにより、レビュー依頼を終了すると判定した場合（Ｓ４５：ＹＥＳ）、制御部１１は、一連の処理を終了する。

【0090】

上述のレビュー段階において又はレビューとは独立して適宜のタイミングにおいて、情報処理装置１は、各レビューア又は問題作成者から、生成した試験問題に対する修正を受け付けることができる。図１９は、情報処理装置１が実行する修正の受け付け処理手順の一例を示すフローチャートである。

【0091】

情報処理装置１の制御部１１は、ユーザ端末２を通じて、試験問題に対する修正を受け付ける（Ｓ５１）。制御部１１は、受け付けた修正の内容、修正者、修正日時等を含む修正履歴を、修正対象となる試験問題に対応付けて記憶部１２に記憶する（Ｓ５２）。

【0092】

制御部１１は、修正を受け付けた後、例えばユーザ端末２から試験問題の表示要求を受け付け、試験問題に修正履歴を対応付けてユーザ端末２へ出力する（Ｓ５３）。

【0093】

図２０は、修正履歴を含む画面の一例を示す模式図である。情報処理装置１は、試験問題の生成後、任意のタイミングでユーザ端末２から送信される表示要求に応じて、図２０に示す画面を生成し、ユーザ端末２へ出力することができる。

【0094】

図２０に示す例にて修正履歴を含む画面は、各試験問題について、試験問題表示部２４４及び修正履歴表示部２４５を含む。情報処理装置１は、生成した試験問題を試験問題表示部２４４に表示させる。また情報処理装置１は、試験問題に対応付けて記憶する修正履歴を記憶部１２から読み出し、修正単位ごとに時系列順で修正履歴表示部２４５に表示させる。

【0095】

情報処理装置１は、図２０の上部に示すように、記憶部１２に記憶するレビュー履歴に基づき、レビューの進捗状況、レビューアの詳細、レビュー結果等を含むレビュー詳細情報を画面上に表示させてもよい。

【0096】

ユーザは、試験問題に対する修正を希望する場合、操作部２５を用いて修正内容を入力する。情報処理装置１は、ユーザ端末２を介して修正を受け付けた場合、修正後の試験問題を試験問題表示部２４４に表示させるとともに、新たな修正履歴を修正履歴表示部２４５に表示させる。

【0097】

ユーザは、修正履歴表示部２４５におけるいずれかの修正履歴を選択することにより、選択された修正履歴前の状態に戻す（再修正）することができる。情報処理装置１は、ユーザ端末２を介して、特定の修正履歴前の状態への再修正指示を受け付けた場合、当該特定の修正履歴までに行われた修正を全て取り消す再修正を実行する。再修正により、試験問題の内容を特定のバージョンに戻すことができる。ユーザは、画面に表示される情報に基づき、修正履歴を明確に把握できるとともに、新たな修正を容易かつ効率よく実行することができる。

【0098】

修正は複数の問題を含む一連の問題群について、問題毎に実行可能に構成されてもよい。修正履歴は試験問題毎に表示するものに限らず、一連の問題群に対する修正履歴をまとめて表示してもよい。

【0099】

本実施形態によれば、複数のレビューア間において、生成した試験問題に対するレビューを効率的に行うことができる。レビュー及び修正履歴を試験問題に対応付けて表示することで、試験問題の作成作業に関する情報を容易且つ確実に把握できる。試験問題情報処理システムにより、問題作成に加えて問題管理を好適に支援することがでる。

【0100】

（第３実施形態）
第３実施形態では、生成した試験問題に対する分析情報を提供する構成について説明する。図２１は、第３実施形態の情報処理装置１が実行する分析情報の生成処理手順の一例を示すフローチャートである。

【0101】

情報処理装置１の制御部１１は、生成した試験問題に対する試験結果を取得する（Ｓ６１）。制御部１１は、取得した試験結果に基づき、試験問題に対する分析情報を含む分析画面を生成する（Ｓ６２）。分析情報には、例えば試験問題の正答率及び正答率に応じたアドバイス等が含まれる。制御部１１は、生成した分析画面をユーザ端末２へ出力し（Ｓ６３）、一連の処理を終了する。

【0102】

図２２は、分析情報を含む画面の一例を示す模式図である。ユーザ端末２は、情報処理装置１から受信した情報に基づき、図２２に示す分析画面を表示部２４に表示する。

【0103】

分析画面には、例えば試験問題の正答率を表示する正答率表示部２４６と、アドバイスを表示するアドバイス表示部２４７とが含まれる。情報処理装置１は、試験結果に基づき算出した各試験問題の正答率を、例えばグラフ等の態様にて正答率表示部２４６に表示させる。また情報処理装置１は、算出した正答率と、予め設定される目標正答率とを比較することにより、正答率の乖離の原因を特定し、目標正答率に近づけるためのアドバイスを生成する。乖離の原因は、例えば問題文の難易度、問題文の長さ、選択肢数等に基づき特定してもよい。乖離の原因は、同一ユーザに係る過去の試験問題を考慮したユーザの試験問題の傾向に基づき特定してもよい。情報処理装置１は、例えば乖離の原因とアドバイスとを対応付けたアドバイステーブルを予め記憶部１２に記憶しておき、当該アドバイステーブルを参照して、特定した乖離の原因に応じたアドバイスを生成し、アドバイス表示部２４７に表示させる。

【0104】

本実施形態によれば、生成した試験問題に対する分析情報を提供することで、よりユーザのニーズに応じた質の高い試験問題の生成を好適に支援することができる。

【0105】

今回開示した実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。各実施形態に示すシーケンスは限定されるものではなく、矛盾の無い範囲で、各処理手順はその順序を変更して実行されてもよく、また並行して複数の処理が実行されてもよい。各処理の処理主体は限定されるものではなく、矛盾の無い範囲で、各装置の処理を他の装置が実行してもよい。

【0106】

各実施形態に記載した事項は相互に組み合わせることが可能である。また、特許請求の範囲に記載した独立請求項及び従属請求項は、引用形式に関わらず全てのあらゆる組み合わせにおいて、相互に組み合わせることが可能である。さらに、特許請求の範囲には他の２以上のクレームを引用するクレームを記載する形式（マルチクレーム形式）を用いているが、これに限るものではない。マルチクレームを少なくとも一つ引用するマルチクレーム（マルチマルチクレーム）を記載する形式を用いて記載してもよい。

【符号の説明】

【0107】

１００ 情報処理システム
１ 情報処理装置
２ ユーザ端末
１１、２１ 制御部
１２、２２ 記憶部
１３、２３ 通信部
２４ 表示部
２５ 操作部
１Ｐ プログラム
１２１ 学習モデル
１Ａ 記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】