特許 7566195 問題生成装置、問題生成方法および問題生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】問題生成装置、問題生成方法および問題生成プログラム

(51)【国際特許分類】

   G09B 7/06 20060101AFI20241004BHJP

【ＦＩ】

G09B7/06

【請求項の数】 6

(21)【出願番号】P 2024075733

(22)【出願日】2024-05-08

【審査請求日】2024-05-15

【早期審査対象出願】

(73)【特許権者】

【識別番号】504159431

【氏名又は名称】ＧＭＯメディア株式会社

(74)【代理人】

【識別番号】100103872

【弁理士】

【氏名又は名称】粕川 敏夫

(74)【代理人】

【識別番号】100149456

【弁理士】

【氏名又は名称】清水 喜幹

(74)【代理人】

【識別番号】100194238

【弁理士】

【氏名又は名称】狩生 咲

(74)【代理人】

【識別番号】100205648

【弁理士】

【氏名又は名称】森田 真一

(72)【発明者】

【氏名】三品 漢

【審査官】柳 重幸

(56)【参考文献】

【文献】特開２０２４－０３６９４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ７／００－ ７／１２

(57)【特許請求の範囲】

【請求項1】

選択問題を生成する問題生成装置であって、
プロセッサを備え、前記プロセッサが、
入力ステップでは、生成する前記選択問題に関する入力ワードの入力を受け付ける入力画面を表示させ、
関連データ特定ステップでは、所定のデータベースから、前記入力ワードに関連する第１関連データを特定し、
選定指示ステップでは、前記第１関連データから、入力された前記入力ワードに基づいて前記入力ワードに関連する関連キーワードを選定する選定指示を人工知能に対して行い、
生成指示ステップでは、前記データベースから、前記第１関連データとは異なる第２関連データを特定する関数を、呼び出し要求可能な関数として前記人工知能に送信し、
前記生成指示ステップでは、前記関連キーワードに関する前記選択問題を生成する生成指示を前記人工知能に対して行い、前記生成指示では、前記第２関連データに基づいて前記選択問題の誤答となる選択肢を生成する指示を含み、
取得ステップでは、前記人工知能が出力した前記選択問題を取得し、
前記人工知能は、前記入力ワードを入力とし、前記関連キーワードを出力とする第１学習済モデルと、前記関連キーワードを入力とし、前記関連キーワードに関する前記選択問題を出力とする第２学習済モデルと、を有する、
問題生成装置。

【請求項2】

正答取得ステップでは、前記所定のデータベース内を検索して、前記選択問題の正答を取得する正答取得指示を前記人工知能に対して行い、前記プロセッサは、前記正答と前記選択問題とを対応付けて記憶する、
請求項１記載の問題生成装置。

【請求項3】

前記選定指示ステップでは、１の前記入力ワードに関連する前記関連キーワードを複数選定する前記選定指示を前記人工知能に対して行い、
それぞれの前記関連キーワードに対して、前記選択問題を生成する、
請求項１記載の問題生成装置。

【請求項4】

正答取得ステップでは、前記データベースのうち前記第１関連データ内を検索して、前記選択問題の正答を取得する検索指示を前記人工知能に対して行う、
請求項３記載の問題生成装置。

【請求項5】

選択問題を生成する問題生成方法であって、
コンピュータにより、
生成する問題に関する入力ワードの入力を受け付ける入力画面を表示させる入力ステップと、
所定のデータベースから、前記入力ワードに関連する第１関連データを特定する関連データ特定ステップと、
前記第１関連データから、入力された前記入力ワードに基づいて前記入力ワードに関連する関連キーワードを選定する選定指示を人工知能に対して行う選定指示ステップと、
前記データベースから前記第１関連データとは異なる第２関連データを特定する関数を、呼び出し要求可能な関数として前記人工知能に送信するとともに、前記関連キーワードに関する前記選択問題を生成する生成指示を前記人工知能に対して行う生成指示ステップと、
前記人工知能が出力した前記選択問題を取得する取得ステップと、
を実行し、
前記生成指示は、前記第２関連データに基づいて前記選択問題の誤答となる選択肢を生成する指示を含み、
前記人工知能は、前記入力ワードを入力とし、前記関連キーワードを出力とする第１学習済モデルと、前記関連キーワードを入力とし、前記関連キーワードに関する前記選択問題を出力とする第２学習済モデルと、を有する、
問題生成方法。

【請求項6】

選択問題を生成する問題生成プログラムであって、
コンピュータに、
生成する問題に関する入力ワードの入力を受け付ける入力画面を表示させる入力ステップと、
所定のデータベースから、前記入力ワードに関連する第１関連データを特定する関連データ特定ステップと、
前記第１関連データから、入力された前記入力ワードに基づいて前記入力ワードに関連する関連キーワードを選定する選定指示を人工知能に対して行う選定指示ステップと、
前記データベースから前記第１関連データとは異なる第２関連データを特定する関数を、呼び出し要求可能な関数として前記人工知能に送信するとともに、前記関連キーワードに関する前記選択問題を生成する生成指示を前記人工知能に対して行う生成指示ステップと、
前記人工知能が出力した前記選択問題を取得する取得ステップと、
を実行させ、
前記生成指示は、前記第２関連データに基づいて前記選択問題の誤答となる選択肢を生成する指示を含み、
前記人工知能は、前記入力ワードを入力とし、前記関連キーワードを出力とする第１学習済モデルと、前記関連キーワードを入力とし、前記関連キーワードに関する前記選択問題を出力とする第２学習済モデルと、を有する、
問題生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、問題生成装置、問題生成方法および問題生成プログラムに関する。

【背景技術】

【0002】

コンピュータが、ユーザに回答させる問題を生成する技術が知られている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６７３２３４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１は、複数の回答候補から問題に対する回答を選択する選択形式のゲームを提供するシステムが記載されており、誤答に対応する回答候補は、所定のアルゴリズム、いわゆるＡＩと呼ばれる人工知能、或いはそれに準じたものに従って正解の回答候補から適宜生成され、ユーザに提供されること等が記載されていますが開示されている。

【0005】

本発明は、簡易な構成で精度の高い選択問題を生成する問題生成装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一の観点に係る問題生成装置は、選択問題を生成する問題生成装置であって、プロセッサを備え、前記プロセッサが、入力ステップでは、生成する前記選択問題に関する入力ワードの入力を受け付ける入力画面を表示させ、関連データ特定ステップでは、所定のデータベースから、前記入力ワードに関連する第１関連データを特定し、選定指示ステップでは、前記第１関連データから、入力された前記入力ワードに基づいて前記入力ワードに関連する関連キーワードを選定する選定指示を人工知能に対して行い、生成指示ステップでは、前記データベースから、前記第１関連データとは異なる第２関連データを特定する関数を、呼び出し要求可能な関数として前記人工知能に送信し、前記生成指示ステップでは、前記関連キーワードに関する前記選択問題を生成する生成指示を前記人工知能に対して行い、取得ステップでは、前記人工知能が出力した前記選択問題を取得し、前記人工知能は、前記入力ワードを入力とし、前記関連キーワードを出力とする第１学習済モデルと、前記関連キーワードを入力とし、前記関連キーワードに関する前記選択問題を出力とする第２学習済モデルと、を有する。

【0007】

正答取得ステップでは、前記所定のデータベース内を検索して、前記選択問題の正答を取得する正答取得指示を前記人工知能に対して行い、前記プロセッサは、前記正答と前記選択問題とを対応付けて記憶するものとしてもよい。

【0008】

前記選定指示ステップでは、１の前記入力ワードに関連する前記関連キーワードを複数選定する前記選定指示を前記人工知能に対して行い、それぞれの前記関連キーワードに対して、前記選択問題を生成するものとしてもよい。

【0009】

正答取得ステップでは、前記データベースのうち前記第１関連データ内を検索して、前記選択問題の正答を取得する検索指示を前記人工知能に対して行うものとしてもよい。

【0010】

上記目的を達成するため、本発明の別の観点に係る問題生成方法は、選択問題を生成する問題生成方法であって、コンピュータにより、生成する問題に関する入力ワードの入力を受け付ける入力画面を表示させる入力ステップと、所定のデータベースから、前記入力ワードに関連する第１関連データを特定する関連データ特定ステップと、前記第１関連データから、入力された前記入力ワードに基づいて前記入力ワードに関連する関連キーワードを選定する選定指示を人工知能に対して行う選定指示ステップと、前記データベースから前記第１関連データとは異なる第２関連データを特定する関数を、呼び出し要求可能な関数として前記人工知能に送信するとともに、前記関連キーワードに関する前記選択問題を生成する生成指示を前記人工知能に対して行う生成指示ステップと、前記人工知能が出力した前記選択問題を取得する取得ステップと、を実行し、前記人工知能は、前記入力ワードを入力とし、前記関連キーワードを出力とする第１学習済モデルと、前記関連キーワードを入力とし、前記関連キーワードに関する前記選択問題を出力とする第２学習済モデルと、を有する。

【0011】

上記目的を達成するため、本発明のさらに別の観点に係る問題生成プログラムは、選択問題を生成する問題生成プログラムであって、コンピュータに、生成する問題に関する入力ワードの入力を受け付ける入力画面を表示させる入力ステップと、所定のデータベースから、前記入力ワードに関連する第１関連データを特定する関連データ特定ステップと、前記第１関連データから、入力された前記入力ワードに基づいて前記入力ワードに関連する関連キーワードを選定する選定指示を人工知能に対して行う選定指示ステップと、前記データベースから前記第１関連データとは異なる第２関連データを特定する関数を、呼び出し要求可能な関数として前記人工知能に送信するとともに、前記関連キーワードに関する前記選択問題を生成する生成指示を前記人工知能に対して行う生成指示ステップと、前記人工知能が出力した前記選択問題を取得する取得ステップと、を実行させ、前記人工知能は、前記入力ワードを入力とし、前記関連キーワードを出力とする第１学習済モデルと、前記関連キーワードを入力とし、前記関連キーワードに関する前記選択問題を出力とする第２学習済モデルと、を有する。
なお、コンピュータプログラムは、各種のデータ読取可能な記録媒体に格納して提供したり、インターネット等のネットワークを介してダウンロード可能に提供したりすることができる。

【発明の効果】

【0012】

本発明によれば、簡易な構成で精度の高い選択問題を生成できる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１実施形態にかかる問題生成装置に関する処理の流れの第１例を示す概念図である。

【図2】上記問題生成装置に関する処理の流れの第２例を示す概念図である。

【図3】上記問題生成装置の全体構成および機能構成を示す図である。

【図4】上記問題生成装置により実行される処理の流れを示したシーケンス図である。

【図5】上記問題生成装置によりユーザ端末に表示される問題の１例を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明にかかる問題生成装置の実施の形態について、図面を参照しながら説明する。

【0015】

●問題生成システム（１）●
●概要
まず、問題生成システム１に関する処理の流れの概要を説明する。
図１は、本発明の実施形態に係る問題生成システム1における処理の流れを示す概念図である。問題生成システム１は少なくともサーバ装置１０を備える。サーバ装置１０は、問題のテーマとなる入力ワードを基に、入力ワードに関連する選択問題および正答を生成する問題生成装置の例である。ユーザは、図１の例においては、生成された問題を出題するサービスを管理するサービス管理者である。問題は、例えば娯楽のためのいわゆるクイズであってもよいし、学力を測ったり向上させるための学習教材としての問題であってもよい。選択問題は、問題文と、複数の選択肢により構成され、選択肢のうち1又は複数が正答となっている。問題文は、正しい選択肢を選ぶよう指示する文であってもよいし、誤っている選択肢を選ぶように指示する文でもよい。選択肢は、１つ１つが完結する文であり、正しい内容を示す文と、誤っている内容の文があり得る。選択問題は、選択肢の個数に応じて、いわゆる３択クイズ、４択クイズ等とも称される。

【0016】

サーバ装置１０はユーザであるサービス管理者から入力ワードの入力を受け付けると、入力ワードと共に問題生成の指示を人工知能部１５に送信する。人工知能部１５は、教材データベースＤＢを参照し、選択問題および正答を生成する。また、人工知能部１５は、出力された選択問題および正答を、応答としてサーバ装置１０に送信する。サーバ装置１０は、生成された問題を必要に応じて選定し、問題管理データベースとしての記憶装置に登録する。クイズの回答者がユーザ端末３０を介して出題を要求すると、ユーザ端末３０に選択問題が表示される。

【0017】

図２は、問題生成システム１のユーザが、生成された問題に回答する回答者である場合の処理の流れを示す概念図である。この場合、回答者としてのユーザがユーザ端末３０を介して問題を呼び出すと、サーバ装置１０は、問題のテーマとなる入力ワードを人工知能部１５に送信する。人工知能部１５は、教材データベースＤＢを参照し、選択問題および正答を生成する。また、人工知能部１５は、出力された選択問題をユーザ端末３０に送信し、ユーザ端末３０に選択問題が表示される。

【0018】

●機能ブロック
以下、問題生成システム１に関する各装置の機能ブロックについて詳述する。
●サーバ装置１０
図３に示すように、サーバ装置１０は、ユーザが利用するユーザ端末３０と、ネットワークＮＷを介して通信可能に構成されている。サーバ装置１０は、ハードウェア装置により構成されてもよいし、一部又は全部の機能がクラウドコンピュータにより実現されていてもよい。また、サーバ装置１０の各構成は、ＡＰＩ（Application Programming Interface、アプリケーション・プログラミング・インタフェース）により実現されていてもよい。
サーバ装置１０とユーザ端末３０との相互の通信は、本実施形態においては無線であるが、一部または全部の接続が有線であってもよい。
さらに、サーバ装置１０は、複数のハードウェア構成により構成されていてもよい。この場合に、当該複数のハードウェア構成は有線又は無線により接続され、互いに情報の送受信が行われてよい。

【0019】

また、サーバ装置１０は、人工知能部１５と通信可能に構成されている。人工知能部１５は、AI（Artificial Intelligence）の機能を有している。また、人工知能部１５は、後に詳述する所定の教材データベースＤＢを検索し、情報を取得できる。サーバ装置１０は、人工知能部１５に対し適宜の指示を送信し、人工知能部１５から出力される情報を取得する。

【0020】

●ユーザ端末３０
ユーザ端末３０は、ユーザが操作する端末であり、例えばスマートホンやタブレット端末、パーソナルコンピュータである。ユーザ端末３０は、CPU（Central Processing Unit）、CPUが実行するコンピュータプログラム、コンピュータプログラムや所定のデータを記憶するRAM（Random Access Memory）やROM（Read Only Memory）などにより、主として、表示部３１、操作受付部３２、通信処理部３３からなる機能ブロックを構成する。

【0021】

表示部３１は、データを出力するためのディスプレイ等によって実現される。表示部３１には、サーバ装置１０から受信した問題が表示される。

【0022】

操作受付部３２は、データを入力するためのタッチパネル、キーボード、マウス、又はマイク等によって実現される。操作受付部３２は、生成する問題に関する入力ワードを入力可能である。

【0023】

通信処理部３３は、インターネット等のネットワークＮＷを介し、サーバ装置１０と所定のプロトコルに従ったデータの送受信処理を実行可能とする処理部であって、アプリまたは、Ｗｅｂブラウザ等により実現される。

【0024】

●サーバ装置１０
ここで、図１を用いて、サーバ装置１０の構成を説明する。サーバ装置１０は、ネットワークNWを介してユーザ端末３０とデータをやり取りしながら、問題生成処理を実行する情報処理装置である。サーバ装置１０は、問題生成システム１の例である。サーバ装置１０は、人工知能部１５に指示を送信し、人工知能部１５からの出力を取得する。

【0025】

図１に示すように、サーバ装置１０は、CPU（Central Processing Unit、特許請求の範囲におけるプロセッサの例である）、CPUが実行するコンピュータプログラム、コンピュータプログラムや所定のデータを記憶するRAM（Random Access Memory）やROM（Read Only Memory）などにより、主として、表示制御部１１、記憶制御部１２、関連データ特定部１３、ＡＩ制御部１４、通信処理部２０からなる各機能ブロックを構成する。

【0026】

表示制御部１１は、問題生成システムに関するシステム画面をユーザ端末３０に表示させるための処理を実行する。表示制御部１１は、例えば、ＨＴＭＬ（Hyper Text Markup Language）ファイルの生成及び送信等の処理を行い、システム画面を示すウェブページをユーザ端末３０に表示させる。なお、表示制御部１１は、問題生成システムを利用するためのアプリケーションの表示用データの生成及び送信等の処理を行ってもよい。

【0027】

表示制御部１１は、ユーザ端末３０に、生成する問題に関する入力ワードの入力を受け付ける入力画面、および、問題を表示する出題画面を表示させる。
また、表示制御部１１は、人工知能部１５により出力される後述する関連キーワードを表示させてもよい。また、表示制御部１１は、選択問題を生成する関連キーワードの指定をユーザから受け付ける画面をユーザ端末３０に表示させてもよい。

【0028】

記憶制御部１２は、サーバ装置１０が備える適宜の記憶装置を制御し、データの書き込みおよび読み出しを行う機能部である。記憶制御部１２は、例えば入力画面にて入力された入力ワードを記憶装置に記憶させる。また、記憶制御部１２は、適宜のサービス管理者によりあらかじめ登録される入力ワードを記憶装置に記憶してもよい。さらに、記憶制御部１２は、ユーザへ出題した問題の履歴および問題の正答を記憶装置に記憶してもよい。

【0029】

関連データ特定部１３は、教材データベースＤＢに含まれる情報のうち、入力ワードに関連する関連データを特定する。

【0030】

関連データは、例えば教材データベースＤＢにおいて入力ワードに対応付けられているデータであり、例えば入力ワードの説明文である。

【0031】

ここで、教材データベースＤＢは、ユーザを含む適宜の管理者からあらかじめ指定されている。教材データベースＤＢは、例えばインターネット上の所定ドメイン下に紐づいているデータ群であってよく、例えば単語と説明とが対応付けられて提示されている辞書状のウェブサイトであってよい。この場合、適宜の管理者は、ドメインを指定することで教材データベースＤＢを特定できる。このような構成によれば、指定したウェブサイトに記載されている情報に基づいて関連データを抽出できる。この場合、関連データ特定部１３は例えば、入力ワードが説明対象の単語となっているウェブサイトのURLを特定する。

【0032】

また、教材データベースＤＢは、所定の利用者のみがアクセス可能な、いわゆるクローズドに管理されたデータ群であってもよい。教材データベースＤＢは、適宜の構造で構築されていてよい。教材データベースＤＢは、例えば所定の専門分野に関する情報に特化したデータ群であってもよい。なお、図１の例においては、教材データベースＤＢはサーバ装置１０とネットワークＮＷを介して接続されているものとして記載したが、サーバ装置１０とネットワークＮＷを介さずに直接接続されていてもよいし、ネットワークＮＷとは異なる通信網を介して接続されていてもよい。このような構成によれば、当該専門分野に関する関連データを適切に抽出できる。ひいては、指定した教材データベースＤＢの内容を学んだ学習者に対し、当該教材データベースＤＢの内容を試験範囲とする問題を精度良く生成することができる。

【0033】

ＡＩ制御部１４は、人工知能部１５への入力を制御する機能部である。ＡＩ制御部１４によって生成される各種指示は、例えばプロンプトであるが、人工知能部１５が解釈可能な指示であればこれに限られない。

【0034】

ＡＩ制御部１４は、例えば、教材データベースＤＢから、入力ワードに関連する関連キーワードを選定する選定指示を生成する。ＡＩ制御部１４は、関連データ特定部１３により抽出された関連データから関連キーワードを選定する選定指示を生成してもよい。

【0035】

ＡＩ制御部１４は、関連データを、RAG（Retrieval-Augmented Generation)により検索される添付文書として指定した選定指示を生成する。RAGは、所定の添付文書から情報を検索し、その情報を基に回答や文章を生成する技術である。すなわち、添付文書として指定されたデータは、人工知能部１５により機械学習されるのではなく、適宜の検索対象として扱われる。このような構成によれば、人工知能部１５が学習していない詳細情報や最新情報を確実に参照し、関連キーワードを選定できる。また、教材データベースＤＢに含まれるデータを検索して関連キーワードを選定するので、学習済モデルを用いる構成に比べて、ハルシネーションを起こす可能性を低くすることができる。さらに、教材データベースＤＢの内容を工夫することで、従来の検索エンジンや一般的な学習済モデルでは困難な専門性の高いキーワード選定が可能になる。

【0036】

１個の選定指示により選定される関連キーワードは、１個でもよいし、複数であってもよい。選定指示には、選定する関連キーワードの個数が含まれている。

【0037】

なお、ＡＩ制御部１４は、人工知能部１５においてRAGにより関連データを検索させるにあたり、関連データを教材データベースＤＢから特定する情報、例えばURLや適宜の特定情報を選定指示に含める。しかしながら本発明の技術的範囲はこれに限られず、関連データの内容そのものを選定指示に含める構成であってもよい。この場合、選定指示を受けた人工知能部１５は、選定処理において教材データベースDBを参照せず、選定指示に含まれる関連データを検索すればよい。

【0038】

また、ＡＩ制御部１４は、先に出力された関連キーワードに基づいて、当該関連キーワードに関する選択問題を生成する生成指示を生成する。この生成指示により、入力ワードに関する多様な選択問題が生成される。

【0039】

さらに、ＡＩ制御部１４は、教材データベースＤＢ内を検索して関連データを特定する関数を、呼び出し要求可能な関数として人工知能部１５に送信する。この関数により、人工知能部１５は、入力ワードの関連データとは異なる第２関連データを教材データベースＤＢから取得する。また、ＡＩ制御部１４は、選択問題の生成において、入力ワードに基づいて特定された関連データ（「第１関連データ」ともいう。）に加えて、上記関数により得られた第２関連データを参照する許可を人工知能部１５に送信してもよい。なお、許可を明示的に送信する態様に代えて、不許可を送信せず暗黙のうちに許可を与える態様であってもよい。このような構成により、人工知能部１５は、第１関連データおよび第２関連データを参照して、選択問題を生成可能となる。

【0040】

なお、選択問題の生成に際し、人工知能部１５が第２関連データを参照するタイミングは任意としてよい。また、例えば、ＡＩ制御部１４は、選択問題の選択肢のうち、誤りの選択肢の生成において上記関数を呼び出す指示を人工知能部１５に行ってもよい。また、ＡＩ制御部１４は、誤りの選択肢の生成において第２関連データを参照する旨の指示を人工知能部１５に行ってもよい。

【0041】

さらにまた、ＡＩ制御部１４は、生成された選択肢の正誤を、教材データベースＤＢ内を検索することで取得する検索指示を生成する。ＡＩ制御部１４は、教材データベースＤＢを、人工知能部１５においてRAGにより検索される添付文書として指定した、検索指示を生成する。検索指示は、教材データベースＤＢを包括的に添付文書として指定する構成に代えて、関連データ特定部１３により抽出された関連データを添付文書として指定する構成であってもよい。

【0042】

●人工知能部１５
人工知能部１５は、ＢＡＲＴ（Bidirectional and Auto－regressive Transformer）、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）、又はＧＰＴ（Generative Pretrained Transformer、ＧＰＴ－１、ＧＰＴ－２、ＧＰＴ－３を含む）等を含むトランスフォーマ等の言語モデル、特に大規模言語モデル（ＬＬＭ、Large Language Models）等の学習モデルを備える人工知能（ＡＩ）である。学習モデル（機械学習モデルとも言う）とは、機械学習アルゴリズムによる学習モデルをいう。機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木及びサポートベクターマシン等が挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。人工知能部１５は、上記のアルゴリズムを適宜適用することができる。

【0043】

人工知能部１５は、適宜に機械学習した学習済モデルを有している。学習データは管理者等から与えられるものであってもよいし、インターネット上等から収集される情報を含んでいてもよい。人工知能部１５は例えば、入力ワードを入力とし、関連キーワードを出力とする第１学習済モデルと、関連キーワードを入力とし、関連キーワードに関する選択問題を出力とする第２学習済モデルと、を有する。
学習済モデルは、事前に適切な学習データを得ている他、適宜追加の学習を行うこともできる。

【0044】

人工知能部１５は、ＡＩ制御部１４により生成された選定指示に基づいて、入力ワードを入力として、あらかじめ指定された関連データから、入力ワードに関連する関連キーワードを出力する。人工知能部１５は、関連データ内をRAG（Retrieval-Augmented Generation)により検索し、関連キーワードを出力する。

【0045】

人工知能部１５は、ＡＩ制御部１４により生成された生成指示に基づいて、第２学習済モデルにより、１個の関連キーワードを入力として、当該関連キーワードに関する選択問題を生成する。人工知能部１５は例えば、１個の関連キーワードに対して１個又は複数の選択問題を生成する。このような構成によれば、抽出された複数の関連キーワードそれぞれに沿って選択問題が生成されるので、様々な観点の選択問題をバランスよく作成できる。

【0046】

人工知能部１５は、いわゆるfunction callingにより、教材データベースＤＢ内を検索して関連データを特定する関数を呼び出し要求することで、入力ワードの関連データとは異なる第２関連データを教材データベースＤＢから取得する。人工知能部１５は例えば、第１関連データに含まれる語の関連データを、第２関連データとして取得する。

【0047】

人工知能部１５は、第２関連データから、主に、正解が誤となる選択肢を取得する。問題文および正解が正となる選択肢の内容は、第１関連データに含まれるためである。例えば、人工知能部１５は、「アイザック・ニュートン」を入力ワードとして、第１関連データに基づいて「リンゴが落ちたことで重力を発見した科学者は誰でしょう？」という問題文を生成する。また、人工知能部１５は、第１関連データに基づいて、正答の選択肢として「アイザック・ニュートン」を生成する。そして例えば、人工知能部１５は、第１関連データから「科学者」の語を抽出した上で、「科学者」に関連する第２関連データを教材データベースＤＢから取得する。第２関連データには、多様な科学者の氏名が含まれており、人工知能部１５はこの情報を参照し、誤答となる選択肢として「アルベルト・アインシュタイン」「ガリレオ・ガリレイ」および「ニコラ・テスラ」といった選択肢を生成する。

【0048】

仮に第２関連データを参照せずに選択肢を生成する場合、正答の人物と職業や生存時期等が著しく異なる人物や、正答の人物と知名度が大きく異なる人物等、正答の人物と全く異なる人物の名前が、誤答の選択肢として抽出される恐れがある。この場合、回答者としては、消去法により比較的簡単に正答に至れるため、選択問題の難易度が低くなってしまう恐れがある。

【0049】

これに対し、ＡＩ制御部１４により第２関連データを取得させる関数を人工知能部１５に送信し、人工知能部１５が第２関連データを参照して選択肢を生成する態様によれば、問題文の内容に関連が強い選択肢を生成できる。すなわち、先の例でいえば、正答の選択肢である「アイザック・ニュートン」と同程度の知名度の科学者の人名を誤答の選択肢に羅列することもできるので、問題の難易度を担保し、質の良い選択問題の生成が可能になる。

【0050】

また、選択問題の選択肢は、正解が正である文章と、正解が誤である文章を含んでいる。すなわち、人工知能部１５は、正解が正である選択肢と、正解が誤である選択肢の双方を生成する。ただし、人工知能は学習の誤りにより事実とは異なる内容を出力する、いわゆるハルシネーションが発生することが知られている。ハルシネーションは、例えば学習に用いたデータとは異なる内容を事実として出力したり、学習に用いたデータには存在しない内容を事実として出力する現象を含む。ハルシネーションが発生する原因としては、学習に用いたデータの問題、学習済モデルの構造上の問題、又は学習プロセスの問題等がある。したがって、ハルシネーションが発生する以上、人工知能部１５が生成する選択肢には、人工知能部１５が正解を正とする選択肢として出力したにも関わらず、実際の正解は誤である選択肢や、人工知能部１５が正解を誤とする選択肢として出力したにも関わらず、実際の正解は正である選択肢を含む。

【0051】

この点、本願発明にかかる人工知能部１５は、一度選択肢を生成した後に、教材データベースＤＢ又は関連データを検索して、生成された選択肢の正答を取得する。このような構成によれば、選択肢の正誤はRAGにより教材データベースから検索されるため、学習済モデルを用いて正答を導き出す処理に比べて正答を精度良く取得できる。また、人工知能による文章生成においては、正しい文章を意図して生成した文章においてもハルシネーションが起こり得るところ、本願の構成によれば、ハルシネーションにより発生した誤りの文章を、正答が誤となる選択肢として採用することができる。すなわち、本発明は、ハルシネーションが発生している文章を、誤った文章であるものと判定しつつも、判定した情報と共に正答が誤となる選択肢として活用し、ユーザ端末３０に表示する。

【0052】

なお、人工知能部１５により正答が誤となるものとして生成された選択肢においてハルシネーションが発生し、正答が正である場合も起こり得る。このような場合であっても、ハルシネーションが発生している文章を、選択問題の選択肢として活用してよい。

【0053】

上述のような、ハルシネーションを利用して選択肢を生成する構成によれば、幅広いバリエーションの選択肢が生成できる。また、選択肢の正答をRAGにより検索するため、適切な正答とともに選択問題を生成できる。

【0054】

なお、選択肢にハルシネーションが発生し、正答数が問題文で示した数と異なっている場合、人工知能部１５は、選択肢の文を変更してよい。

【0055】

記憶制御部１２は、当該取得処理により取得された正誤を正答として、選択問題と対応付けて記憶する。
選択問題の正答は、選択問題と共にユーザ端末３０に表示されてもよい。例えば、ユーザがサービス管理者であるか、選択問題の回答者であるかの情報に基づいて回答の表示有無を変更してよく、ユーザがサービス管理者である場合には選択問題の正答を表示し、選択問題の回答者である場合には選択問題のみを表示する。また、選択問題のみが表示されている表示画面において回答者からの回答の入力を受け付け、回答の入力を受け付けると正答を表示してもよい。

【0056】

通信処理部２０は、インターネット等のネットワークＮＷを介し、ユーザ端末３０と所定のプロトコルに従ったデータの送受信処理を実行可能とする処理部である。通信処理部２０は、ユーザ端末３０から入力ワードを受信する。また、通信処理部２０は、人工知能部１５により生成された問題をユーザ端末３０に送信する。

【0057】

●問題が生成される処理フロー
図４に示すように、まず、ユーザ端末３０は例えば、生成する選択問題に関する入力ワードの入力を受け付ける入力画面を表示させるとともに、入力ワードの入力を受け付け（ステップＳ１０１）、これをサーバ装置１０に送信する。なお、入力ワードは、サーバ装置１０があらかじめ保有しているデータを用いてもよい。

【0058】

関連データ特定部１３は、教材データベースＤＢから入力ワードに関連する関連データを特定する（ステップＳ１０２）。次いで、ＡＩ制御部１４は、関連データを添付文書として、人工知能部１５に対しステップＳ１０１で受領した入力ワードに関する関連キーワードを検索し、選定する選定指示を行う（ステップＳ１０３）。このとき、人工知能部１５は、適宜教材データベースＤＢにアクセスし、関連データの内容を参照する。

【0059】

次いで、サーバ装置１０は、人工知能部１５に対し、第２関連データを検索する関数を伝えるとともに、関連キーワードに基づく選択問題を生成する生成指示を行う（ステップＳ１０4）。なお、このとき、ユーザ端末３０から、選択問題を生成する関連キーワードの指定を受け付けてもよい。

【0060】

次いで、ＡＩ制御部１４は、人工知能部１５に対し、関連データを添付文書として、選択問題の選択肢の正誤を取得する取得指示を行う(ステップＳ１０５)。このとき、人工知能部１５は、適宜教材データベースＤＢにアクセスし、関連データの内容を参照する。

【0061】

次いで、記憶制御部１２は、選択問題を正答とともに取得し、記憶する（ステップＳ１０６）。そして処理は、ステップＳ１０７に移行し、生成された問題がユーザ端末３０に送信される。

【0062】

●表示例
図５は、ユーザ端末３０に表示される選択問題の例である。図５に示すように、指定した数の複数の問題がユーザ端末３０に表示される。同図の番号１の例は、入力ワードとして「テトリス」と入力した例である。「テトリス」との入力ワードに対して、複数の関連キーワードが抽出され、各関連キーワードに基づいて、選択問題が生成され、ユーザ端末３０に表示される。また、誤答には、正答となる選択肢と同様のカテゴリの語句であって、知名度等が互いに同等の、回答者にとって紛らわしい語句が羅列されている。なお、同図の例では、ユーザ端末３０をサービス管理者が使用する場合の例を示しており、選択肢ごとに正答と誤答の別が表示されている。

【0063】

上述の通り、本発明に係る問題生成装置によれば、簡易な構成で精度の高い選択問題を生成できる。

【符号の説明】

【0064】

１ 問題生成システム
１０ サーバ装置（問題生成装置）
１１ 表示制御部
１２ 記憶制御部
１３ 関連データ特定部
１４ ＡＩ制御部
１５ 人工知能部
２０ 通信処理部
ＤＢ 教材データベース
３０ ユーザ端末

【要約】      （修正有）

【課題】簡易な構成で精度の高い選択問題を生成する。
【解決手段】問題生成システムにおいて、サーバ装置（問題生成装置）のプロセッサは、生成する選択問題に関する入力ワードの入力を受け付ける入力画面を表示させ、データベースから、入力ワードに関連する第１関連データを特定し、第１関連データから、入力された入力ワードに基づいて入力ワードに関連する関連キーワードを選定する選定指示を人工知能部に行い、データベースから、第１関連データとは異なる第２関連データを特定する関数を、呼び出し要求可能な関数として人工知能部に送信し、関連キーワードに関する選択問題を生成する生成指示を人工知能部に行い、人工知能部が出力した選択問題を取得する。人工知能部は、入力ワードを入力として関連キーワードを出力とする第１学習済モデルと、関連キーワードを入力として関連キーワードに関する選択問題を出力とする第２学習済モデルと、を有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】