ホーム > 特許ランキング > ＳｕｒｐａｓｓＯｎｅ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-08-13
(45)【発行日】2024-08-21
(54)【発明の名称】学習材評価システム、方法及びプログラム
(51)【国際特許分類】
G06F 16/38 20190101AFI20240814BHJP
G06F 40/56 20200101ALI20240814BHJP
【ＦＩ】
G06F16/38
G06F40/56
【請求項の数】
8
(21)【出願番号】P 2024027588
(22)【出願日】2024-02-27
【審査請求日】2024-02-27
【早期審査対象出願】
(73)【特許権者】
【識別番号】522493285
【氏名又は名称】ＳｕｒｐａｓｓＯｎｅ株式会社
(74)【代理人】
【識別番号】100120868
【弁理士】
【氏名又は名称】安彦 元
(72)【発明者】
【氏名】宇野 礼於
(72)【発明者】
【氏名】渡邉 洋平
【審査官】松尾 真人
(56)【参考文献】
【文献】米国特許出願公開第２０２２／０２２２５５３（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１２８１８１０６（ＣＮ，Ａ）
【文献】森脇 恵太，ニューラル生成文に含まれる事実不整合の検出と修正，一般社団法人 人工知能学会 第３６回（２０２２） ［ｏｎｌｉｎｅ］，一般社団法人人工知能学会，2022年06月14日，2L1-GS-2-04, Internet<URL:https://www.jstage.jst.go.jp/article/pjsai/JSAI2022/0/JSAI2022_2L1GS204/_pdf/-char/ja>
【文献】市川 拓茉，ＶＲ講義システムにおける自動質問応答および質問生成機能の実装とその評価 ，第８５回（２０２３年）全国大会講演論文集（４） インタフェース コンピュータと人間社会，一般社団法人情報処理学会，2023年02月16日，4-761～4-762
【文献】瀬井 雄太，対話型学習のための質問応答を用いた高品質な質問文の自動生成，第１５回データ工学と情報マネジメントに関するフォーラム （第２１回日本データベース学会年次大会） ［Ｏｎｌｉｎｅ］ ，一般社団法人 日本データベース学会、一般社団法人 電子情報通信学会、一般社団法人 情報処理学会，2023年03月09日，DEIM Forum 2023 1b-4-2，Internet<URL:https://proceedings-of-deim.github.io/DEIM2023/1b-4-2.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｆ ４０／２０－４０／５８
(57)【特許請求の範囲】
【請求項1】
学習材を示すテキスト情報を取得する取得手段と、前記取得手段により取得されたテキスト情報を基盤モデルに入力し、前記学習材の誤りを示す評価情報を出力する出力手段と、
前記取得手段により取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出手段とを備え、
前記出力手段は、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された基盤モデルに、前記抽出手段により抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力すること
を特徴とする学習材評価システム。
【請求項2】
キーワード情報と関連情報とを紐づけて記憶するデータベースを参照し、前記抽出手段により抽出されたキーワード情報に基づいて、前記データベースに記憶された関連情報を検索する検索手段と、前記出力手段は、前記抽出手段により抽出されたキーワード情報及び関連情報を前記基盤モデルに入力し、前記検索手段により検索された関連情報に基づいて、前記評価情報を出力すること
を特徴とする請求項１に記載の学習材評価システム。
【請求項3】
前記出力手段は、前記取得手段により取得されたテキスト情報を、キーワード情報及び関連情報を入力とし、誤りの根拠を示す根拠情報を含む評価情報を出力とする学習データを用いて学習された基盤モデルに入力し、前記誤りの根拠を示す根拠情報を含む評価情報を出力することを特徴とする請求項１に記載の学習材評価システム。
【請求項4】
前記出力手段は、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された大規模言語モデル（ＬａｒｇｅＬａｎｇｕａｇｅＭｏｄｅｌ）に、前記抽出手段により抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力することを特徴とする請求項１に記載の学習材評価システム。
【請求項5】
テキスト情報と評価情報とを入力とし、評価情報が示すテキスト情報の誤りを修正した修正テキスト情報を出力とする学習データを用いて学習された修正モデルに、前記取得手段により取得されたテキスト情報と前記出力手段により出力された評価情報とを入力し、前記テキスト情報を修正した修正テキスト情報を生成する修正手段をさらに備えることを特徴とする請求項１に記載の学習材評価システム。
【請求項6】
前記修正手段により修正された修正テキスト情報及び前記出力手段により出力された評価情報を含む学習データにより学習された生成モデルを参照し、学習材の生成テーマに基づいてテキスト情報を生成する生成手段をさらに備えることを特徴とする請求項５に記載の学習材評価システム。
【請求項7】
学習材を示すテキスト情報を取得する取得ステップと、前記取得ステップにより取得されたテキスト情報を基盤モデルに入力し、前記学習材の誤りを示す評価情報を出力する出力ステップとをコンピュータに実行させ、
前記取得ステップにより取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出ステップをさらに備え、
前記出力ステップは、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された基盤モデルに、前記抽出ステップにより抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力すること
を特徴とする学習材評価方法。
【請求項8】
学習材を示すテキスト情報を取得する取得ステップと、前記取得ステップにより取得されたテキスト情報を基盤モデルに入力し、前記学習材の誤りを示す評価情報を出力する出力ステップとをコンピュータに実行させ、
前記取得ステップにより取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出ステップをさらに備え、
前記出力ステップは、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された基盤モデルに、前記抽出ステップにより抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力すること
を特徴とする学習材評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、教育用の学習材を評価する学習材評価システム、方法及びプログラムに関する。
【背景技術】
【0002】
現在、ＡＩ（人工知能）を活用したテキストの自動生成について研究されている。特に、大量のテキストデータを学習した自然言語処理モデルを用いることで、例えば入力されたテキストを分類したり、入力されたテキストから感情を分析したり、入力されたテキストを要約したり、入力された質問に対する応答内容を生成したりすることができる。
【0003】
特許文献１には、自然言語処理モデルを用いて自然言語の質問とその質問に対する回答（ＱＡ）を生成するシステムが開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２３－２４７５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１に開示された生成システムによれば、自然言語処理モデルを用いて、原因又は結果を表す第１句を使用した自然言語の質問を生成するとともに、候補テキストから候補第２句を抽出し、最も高い確率を有する候補第２句を、第１句との因果関係を持つものとして選択することで、質問と回答との組合せを生成することができる。
【0006】
しかしながら、特許文献１に開示された生成システムでは、例えば生成した学習材を自動的に評価することについては開示されていない。このため、特許文献１に開示された生成システムでは、生成された学習材に誤りがあった場合に、自動的に校正することができない。
【0007】
そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、学習材を自動的に評価することができる学習材評価システム、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0008】
第１発明に係る学習材評価システムは、学習材を示すテキスト情報を取得する取得手段と、前記取得手段により取得されたテキスト情報を基盤モデルに入力し、前記学習材の評価を示す評価情報を出力する出力手段と、前記取得手段により取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出手段とを備え、前記出力手段は、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された基盤モデルに、前記抽出手段により抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力することを特徴とする。
【0011】
第２発明に係る学習材評価システムは、第１発明において、キーワード情報と関連情報とを紐づけて記憶するデータベースを参照し、前記抽出手段により抽出されたキーワード情報に基づいて、前記データベースに記憶された関連情報を検索する検索手段と、前記出力手段は、前記抽出手段により抽出されたキーワード情報及び関連情報を前記基盤モデルに入力し、前記検索手段により検索された関連情報に基づいて、前記評価情報を出力することを特徴とする。
【0012】
第３発明に係る学習材評価システムは、第１発明において、前記出力手段は、前記取得手段により取得されたテキスト情報を、キーワード情報及び関連情報を入力とし、誤りの根拠を示す根拠情報を含む評価情報を出力とする学習データを用いて学習された基盤モデルに入力し、前記誤りの根拠を示す根拠情報を含む評価情報を出力することを特徴とする。
【0013】
第４発明に係る学習材評価システムは、第１発明において、前記出力手段は、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された大規模言語モデル（ＬａｒｇｅＬａｎｇｕａｇｅＭｏｄｅｌ）に、前記抽出手段により抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力することを特徴とする。
【0014】
第５発明に係る学習材評価システムは、第１発明において、テキスト情報と評価情報とを入力とし、評価情報が示すテキスト情報の誤りを修正した修正テキスト情報を出力とする学習データを用いて学習された修正モデルに、前記取得手段により取得されたテキスト情報と前記出力手段により出力された評価情報とを入力し、前記テキスト情報を修正した修正テキスト情報を生成する修正手段をさらに備えることを特徴とする。
【0015】
第６発明に係る学習材評価システムは、第５発明において、前記修正手段により修正された修正テキスト情報及び前記出力手段により出力された評価情報を含む学習データにより学習された生成モデルを参照し、学習材の生成テーマに基づいてテキスト情報を生成する生成手段をさらに備えることを特徴とする。
【0016】
第７発明に係る学習材評価方法は、学習材を示すテキスト情報を取得する取得ステップと、前記取得ステップにより取得されたテキスト情報を基盤モデルに入力し、前記学習材の誤りを示す評価情報を出力する出力ステップとをコンピュータに実行させ、前記取得ステップにより取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出ステップをさらに備え、前記出力ステップは、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された基盤モデルに、前記抽出ステップにより抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力することを特徴とする。
【0017】
第８発明に係る学習材評価プログラムは、学習材を示すテキスト情報を取得する取得ステップと、前記取得ステップにより取得されたテキスト情報を基盤モデルに入力し、前記学習材の誤りを示す評価情報を出力する出力ステップとをコンピュータに実行させ、前記取得ステップにより取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出ステップをさらに備え、前記出力ステップは、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された基盤モデルに、前記抽出ステップにより抽出されたキーワード情報及び関連情報を入力し、前記評価情報を出力することを特徴とする。
【発明の効果】
【0018】
第１発明から第８発明によれば、本発明の学習材評価システム、方法及びプログラムは、テキスト情報を基盤モデルに入力し、評価情報を出力する。これにより、自動的に学習材を評価することが可能となる。また、本発明の学習材評価システムは、キーワード情報及び関連情報を基盤モデルに入力し、評価情報を出力する。これにより、学習材に含まれる単語と関連情報との整合性を考慮することができる。このため、より高精度に学習材を評価することが可能となる。また、本発明の学習材評価システムは、キーワード情報及び関連情報を入力とし、評価情報を出力とする学習データを用いて学習された基盤モデルに、キーワード情報及び関連情報を入力し、評価情報を出力する。これにより、キーワード情報及び関連情報と評価情報との連関性を考慮することが可能となる。このため、より高精度に学習材を評価することが可能となる。
【0021】
特に、第２発明によれば、本発明の学習材評価システムは、キーワード情報及び関連情報を基盤モデルに入力し、検索手段により検索された関連情報に基づいて、評価情報を出力する。これにより、例えば検索手段により検索された関連情報に含まれる単語間の生成確率を高く設定した基盤モデルを用いることにより、より高精度に学習材を評価することが可能となる。
【0022】
特に、第３発明によれば、本発明の学習材評価システムは、テキスト情報を基盤モデルに入力し、根拠情報を含む評価情報を出力する。これにより、学習材の評価の根拠も出力することが可能となる。
【0023】
特に、第４発明によれば、本発明の学習材評価システムは、大規模言語モデルを用いる。これにより、膨大なデータからモデルを学習することが可能となる。このため、より柔軟に質問に対して回答することが可能となる。
【0024】
特に、第５発明によれば、本発明の学習材評価システムは、テキスト情報と評価情報とに基づいて、修正テキスト情報を生成する。これにより、評価情報を考慮して、自動的に学習材を修正することが可能となる。
【0025】
特に、第６発明によれば、本発明の学習材評価システムは、修正テキスト情報及び評価情報を含む学習データにより学習された生成モデルを参照し、学習材の生成テーマに基づいてテキスト情報を生成する。これにより、学習材の修正を反映して新たに学習材を生成することが可能となる。
【図面の簡単な説明】
【0026】
【図5】図５（ａ）は、本実施形態における学習材評価システムの学習材を生成する動作の一例を示す模式図であり、図５（ｂ）は、本実施形態における学習材評価システムの学習材を生成する動作の変形例を示す模式図である。
【発明を実施するための形態】
【0027】
以下、図面を参照しながら、本発明の実施形態としての学習材評価システム１００、学習材評価方法、及び学習材評価プログラムの一例について詳細に説明をする。なお、各図における構成は、説明のため模式的に記載されており、例えば各構成の大きさや、構成毎における大きさの対比等については、図とは異なってもよい。
【0028】
【0029】
学習材評価システム１００は、例えば図１に示すように、ユーザ端末１と、サーバ２と、通信網９と、を備える。学習材評価システム１００は、ユーザ端末１を介してユーザＵの入力を受け付けることにより、予め記憶された大規模言語モデル等のモデルを記憶するデータベースに対して実行するクエリを取得する。その後、学習材評価システム１００は、取得したクエリを実行することで、大規模言語モデル等のモデルに基づき、学習材を自動生成及び評価することができる。
【0030】
ユーザＵとは、例えば学習材評価システム１００を用いて生成及び評価した学習材を、教育の対象である回答ユーザに出題するユーザを指す。ユーザＵは、回答ユーザに対して自動生成した学習材を提供することで、回答ユーザに対する教育活動の効率化を図ることができる。また、ユーザＵは、例えば回答ユーザであってもよい。すなわち、ユーザＵは、学習材評価システム１００を用いて生成した学習材を自身で回答することで、自習の効率化を図ることができる。
【0031】
学習材とは、設問及び解答の何れかを含む、回答ユーザの知識を問うテストを指し、記述式問題、択一式問題、組合せ問題等の出題形式を含む。また、学習材は、教科書等の説明を示すテキストであってもよい。また、学習材は、人物名や地名、事象等の単語を示すキーワード及び当該キーワードに関する説明を含むテキストであってもよい。また、学習材は、回答ユーザに対して視覚情報又は聴覚情報として出力されるあらゆる教材を含む。学習材の一例としては、学習材評価システム１００により生成された学習材データ、当該学習材データに基づいてディスプレイに表示される画像及び映像、当該学習材データに基づいてホログラムディスプレイを介して表示される３次元画像及び３次元映像、当該学習材データに基づいて印刷される印刷物、当該学習材データに基づいて音響機器を介して再生される音声等を含む。
【0032】
なお、本実施形態では、大規模言語モデル等のモデルを記憶するデータベースがサーバ２に保存され、学習材評価システム１００がサーバ２において学習材を生成及び評価する構成を例にとり説明するが、これに限定されない。学習材評価システム１００は、ユーザ端末１に大規模言語モデルを記憶するデータベースが保存され、ユーザ端末１において学習材を生成してもよく、この場合サーバ２を備えなくてもよい。
【0033】
＜ユーザ端末１＞
ユーザ端末１は、学習材の自動生成を制御する端末である。ユーザ端末１は、ユーザＵが操作する端末である。ユーザ端末１は、通信網９を介してサーバ２と通信接続される。
ユーザ端末１は、学習材の自動生成を制御する端末である。ユーザ端末１は、ユーザＵが操作する端末である。ユーザ端末１は、通信網９を介してサーバ２と通信接続される。
【0034】
ユーザ端末１は、例えば図２（ａ）に示すように、筐体１０と、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３と、保存部１０４と、Ｉ／Ｆ１０５～１０７とを備える。各構成１０１～１０７は、内部バス１１０により接続される。ユーザ端末１として、例えばラップトップ（ノート）ＰＣ、デスクトップＰＣ、タブレット型端末、スマートフォン等の公知の電子機器が用いられる。
【0035】
ＣＰＵ１０１は、ユーザ端末１全体を制御する。ＲＯＭ１０２は、ＣＰＵ１０１の動作コードを格納する。ＲＡＭ１０３は、ＣＰＵ１０１の動作時に使用される作業領域である。保存部１０４は、ＲＯＭが格納するデータのバックアップ、データベースや学習対象データ等の各種情報が記憶される。保存部１０４として、例えばＨＤＤ（Hard Disk Drive）のほか、ＳＳＤ（Solid State Drive）等のデータ保存装置が用いられる。なお、例えばユーザ端末１は、図示しないＧＰＵ（Graphics Processing Unit）を有してもよい。
【0036】
Ｉ／Ｆ１０５は、通信網９を介して、必要に応じてサーバ２との各種情報の送受信を行うためのインターフェースである。Ｉ／Ｆ１０６は、入力部１０８との情報の送受信を行うためのインターフェースである。入力部１０８として、例えばキーボードやマウス等が用いられ、ユーザＵは、入力部１０８を介して、各種情報を入力する。Ｉ／Ｆ１０７は、表示部１０９との各種情報の送受信を行うためのインターフェースである。表示部１０９は、保存部１０４に保存された各種情報、又は評価結果等を表示する。表示部１０９として、ディスプレイが用いられ、例えばタッチパネル式の場合、入力部１０８と一体に設けられる。表示部１０９は、学習材評価システム１００の各構成により生成された学習材を表示する。表示部１０９は、例えばサーバ２が有する後述の生成部１２において生成された学習材を表示する。
【0037】
表示部１０９は、例えばモニタ等に学習材を表示してもよい。表示部１０９は、例えば保存部１０４等に予め記憶された表示用のフォーマットを用いて、学習材の特徴をユーザＵが理解できる形式に変換した学習材を表示してもよい。
【0038】
ユーザ端末１は、例えば図３に示すように、取得部１１と、取得部１１に接続される生成部１２と評価部１３と、評価部１３に接続される修正部１４と、取得部１１及び生成部１２及び評価部１３に接続される記憶部１５と、を備える。なお、ユーザ端末１の各構成は、ＣＰＵ１０１が、ＲＡＭ１０３を作業領域として、ＲＯＭ１０２や保存部１０４等に記憶されたプログラムを実行することにより実現される。
【0039】
＜取得部１１＞
取得部１１は、各種情報を取得する。取得部１１は、例えばサーバ２に情報を送信する。取得部１１は、例えばユーザ端末１の各構成により取得、生成、評価又は記憶された情報を、通信網９を介してサーバ２に送信する。取得部１１は、例えばサーバ２により取得、生成又は記憶された情報を、通信網９を介して受信する。
取得部１１は、各種情報を取得する。取得部１１は、例えばサーバ２に情報を送信する。取得部１１は、例えばユーザ端末１の各構成により取得、生成、評価又は記憶された情報を、通信網９を介してサーバ２に送信する。取得部１１は、例えばサーバ２により取得、生成又は記憶された情報を、通信網９を介して受信する。
【0040】
また、取得部１１は、大規模言語モデル等のモデルに対して学習材の生成を要求するクエリ（クエリデータ）である生成要求、又は評価を要求するクエリである評価要求を取得する。取得部１１は、例えば入力部１０８を介してユーザＵの入力を受け付ける方法により、大規模言語モデル等のモデルに対して学習材の生成、又は評価を要求するクエリを取得する。
【0041】
＜生成部１２＞
生成部１２は、学習材評価システム１００の各構成により取得又は生成された生成要求を実行する。生成部１２は、例えば学習材を生成するための大規模言語モデル等のモデルが予め記憶されたデータベース７に対して、取得部１１により取得された生成要求を実行する。生成部１２は、生成した学習材を示すテキスト情報Ｄ２２を評価部１３等に出力してもよい。
生成部１２は、学習材評価システム１００の各構成により取得又は生成された生成要求を実行する。生成部１２は、例えば学習材を生成するための大規模言語モデル等のモデルが予め記憶されたデータベース７に対して、取得部１１により取得された生成要求を実行する。生成部１２は、生成した学習材を示すテキスト情報Ｄ２２を評価部１３等に出力してもよい。
【0042】
＜評価部１３＞
評価部１３は、学習材評価システム１００の各構成により取得又は生成された評価要求を実行する。評価部１３は、例えば学習材を評価するための大規模言語モデル等のモデルが予め記憶されたデータベース８に対して、取得部１１により取得された評価要求を実行する。評価部１３は、例えば生成部１２により生成された学習材を示すテキスト情報Ｄ２２を評価する。評価部１３は、学習材の評価を示す評価情報を修正部１４に出力する。
評価部１３は、学習材評価システム１００の各構成により取得又は生成された評価要求を実行する。評価部１３は、例えば学習材を評価するための大規模言語モデル等のモデルが予め記憶されたデータベース８に対して、取得部１１により取得された評価要求を実行する。評価部１３は、例えば生成部１２により生成された学習材を示すテキスト情報Ｄ２２を評価する。評価部１３は、学習材の評価を示す評価情報を修正部１４に出力する。
【0043】
＜修正部１４＞
修正部１４は、例えば評価部１３により評価された評価情報と生成部１２により生成されたテキスト情報Ｄ２２とに基づいて、テキスト情報Ｄ２２を修正した修正テキスト情報を生成する。修正部１４は、生成した修正テキスト情報を記憶部１５に出力する。
修正部１４は、例えば評価部１３により評価された評価情報と生成部１２により生成されたテキスト情報Ｄ２２とに基づいて、テキスト情報Ｄ２２を修正した修正テキスト情報を生成する。修正部１４は、生成した修正テキスト情報を記憶部１５に出力する。
【0044】
＜記憶部１５＞
記憶部１５は、例えばユーザ端末１の各構成により取得又は生成された情報を、必要に応じて保存部１０４に保存されたデータベースに記憶させる。記憶部１５は、例えば保存部１０４に保存されたデータベースに記憶された各種情報を、必要に応じて取出す。
記憶部１５は、例えばユーザ端末１の各構成により取得又は生成された情報を、必要に応じて保存部１０４に保存されたデータベースに記憶させる。記憶部１５は、例えば保存部１０４に保存されたデータベースに記憶された各種情報を、必要に応じて取出す。
【0045】
＜サーバ２＞
サーバ２は、例えば大規模言語モデル等のモデルが予め記憶されたデータベースを記憶する。サーバ２は、例えば通信網９を介してユーザ端末１と通信接続される。サーバ２は、例えばユーザ端末１から通信網９を介して受信した処理要求に応じて、情報の生成、記憶、及び送受信を実行する。
サーバ２は、例えば大規模言語モデル等のモデルが予め記憶されたデータベースを記憶する。サーバ２は、例えば通信網９を介してユーザ端末１と通信接続される。サーバ２は、例えばユーザ端末１から通信網９を介して受信した処理要求に応じて、情報の生成、記憶、及び送受信を実行する。
【0046】
サーバ２は、例えば図２（ｂ）に示すように、筐体２０と、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、保存部２０４と、Ｉ／Ｆ２０５とを備える。各構成２０１～２０５は、内部バス２１０により接続される。サーバ２として、例えばラップトップ（ノート）ＰＣ、デスクトップＰＣ等の公知の電子機器が用いられる。また、サーバ２は、例えばＡｍａｚｏｎＷｅｂＳｅｒｖｉｃｅ（登録商標）（ＡＷＳ）等のクラウドサーバであってもよい。
【0047】
ＣＰＵ２０１は、サーバ２全体を制御する。ＲＯＭ２０２は、ＣＰＵ２０１の動作コードを格納する。ＲＡＭ２０３は、ＣＰＵ２０１の動作時に使用される作業領域である。保存部２０４は、ＲＯＭが格納するデータのバックアップ、データベースや学習対象データ等の各種情報が記憶される。保存部２０４として、例えばＨＤＤのほか、ＳＳＤ等のデータ保存装置が用いられる。なお、例えばサーバ２は、図示しないＧＰＵを有してもよい。Ｉ／Ｆ２０５は、通信網９を介して、必要に応じてユーザ端末１との各種情報の送受信を行うためのインターフェースである。
【0048】
＜通信網９＞
通信網９は、例えばユーザ端末１及びサーバ２が通信回路を介して接続されるインターネット網等である。通信網９は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網９は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。
通信網９は、例えばユーザ端末１及びサーバ２が通信回路を介して接続されるインターネット網等である。通信網９は、いわゆる光ファイバ通信網で構成されてもよい。また、通信網９は、有線通信網のほか、無線通信網等の公知の通信技術で実現してもよい。
【0049】
次に、図４～図５を参照して、本実施形態における学習材評価方法として、学習材評価システム１００の学習材を生成する動作の一例を説明する。学習材評価システム１００は、例えばユーザ端末１及びサーバ２内にインストールされた学習材評価プログラムを介して実行される。
【0050】
学習材評価システム１００の学習材を生成する動作は、例えば図４に示すように、クエリ取得ステップＳ１１と、学習材生成ステップＳ１２と、学習材出力ステップＳ１３と、を含む。なお、学習材評価システム１００の学習材を生成する動作は、クエリ取得ステップＳ１１を複数回実施してもよく、学習材生成ステップＳ１２を複数回実施してもよい。
【0051】
まず、本実施形態における、学習材評価システム１００の学習材を生成する動作に伴う各種情報について説明する。学習材評価システム１００が扱う各種情報には、例えば図５（ａ）に示すように、クエリＤ１と、生成データＤ７１と、が含まれる。学習材評価システム１００は、予めデータベース７が保存される。
【0052】
＜クエリＤ１＞
クエリＤ１は、後述の大規模言語モデル等の生成モデル７１が記憶された後述のデータベース７に対する処理要求を含む情報である。クエリＤ１は、例えば学習材生成要求情報Ｄ１１と、生成テーマ情報Ｄ１２と、を含む。学習材生成要求情報Ｄ１１と生成テーマ情報Ｄ１２とは、例えば相互に紐づけられる。
クエリＤ１は、後述の大規模言語モデル等の生成モデル７１が記憶された後述のデータベース７に対する処理要求を含む情報である。クエリＤ１は、例えば学習材生成要求情報Ｄ１１と、生成テーマ情報Ｄ１２と、を含む。学習材生成要求情報Ｄ１１と生成テーマ情報Ｄ１２とは、例えば相互に紐づけられる。
【0053】
クエリＤ１は、例えば生成モデル７１に対する処理の指示を含むプロンプトであり、ロールを指定するタグと、指示内容を指定する自然言語とで構成される。ロールと指示内容の組み合わせとしては、例えばロール「<system>あなたは優秀な日本史の講師です。」と、指示内容「<user>歴史能力検定の難しい問題を下記のフォーマットで１つ作成してください。［設問］［選択肢］［解答］［解説］」と、の組み合わせを含む文字列である。この組み合わせを含むクエリＤ１を実行することで、例えば日本史に関する設問、選択肢、解答及び解説を含む学習材を生成することができる。
【0054】
また、指示内容については、複数の問題からなる問題集の生成要求を含んでもよく、問題集のタイトル、問題集の各章立て、問題集の各章の目標又は目的、問題集の各章に対するキーワード、各章の問題数、出力形式（ＨＴＭＬ形式など）を含んでもよい。
【0055】
＜学習材生成要求情報Ｄ１１＞
学習材生成要求情報Ｄ１１は、処理要求のうち、学習材の生成要求を特定する情報である。学習材生成要求情報Ｄ１１は、例えばクエリＤ１の文字列の一部を構成する。学習材生成要求情報Ｄ１１は、例えば上述のプロンプト例文における「問題を」「作成してください。」が該当する。
学習材生成要求情報Ｄ１１は、処理要求のうち、学習材の生成要求を特定する情報である。学習材生成要求情報Ｄ１１は、例えばクエリＤ１の文字列の一部を構成する。学習材生成要求情報Ｄ１１は、例えば上述のプロンプト例文における「問題を」「作成してください。」が該当する。
【0056】
＜生成テーマ情報Ｄ１２＞
生成テーマ情報Ｄ１２は、学習材の生成要求に関するテーマを特定する情報である。生成テーマ情報Ｄ１２は、例えば学習材生成要求情報Ｄ１１により生成要求された学習材のテーマを特定する情報である。生成テーマ情報Ｄ１２は、例えばクエリＤ１の文字列の一部を構成する。生成テーマ情報Ｄ１２は、例えば生成する学習材の内容を特定するための、教科、資格や検定の名称、分野、時代、人物、出題形式、解答形式（選択肢の有無、解説の有無等）、問題数、難易度、学習指導要領に対応する学校制度上の初等教育、中等教育、高等教育等の教育分類等を特定する１以上の単語で構成される。生成テーマ情報Ｄ１２は、例えば上述のプロンプト例文における「歴史能力検定」「難しい」「下記のフォーマット」「１つ」「［設問］［選択肢］［解答］［解説］」が該当する。
生成テーマ情報Ｄ１２は、学習材の生成要求に関するテーマを特定する情報である。生成テーマ情報Ｄ１２は、例えば学習材生成要求情報Ｄ１１により生成要求された学習材のテーマを特定する情報である。生成テーマ情報Ｄ１２は、例えばクエリＤ１の文字列の一部を構成する。生成テーマ情報Ｄ１２は、例えば生成する学習材の内容を特定するための、教科、資格や検定の名称、分野、時代、人物、出題形式、解答形式（選択肢の有無、解説の有無等）、問題数、難易度、学習指導要領に対応する学校制度上の初等教育、中等教育、高等教育等の教育分類等を特定する１以上の単語で構成される。生成テーマ情報Ｄ１２は、例えば上述のプロンプト例文における「歴史能力検定」「難しい」「下記のフォーマット」「１つ」「［設問］［選択肢］［解答］［解説］」が該当する。
【0057】
また、生成テーマ情報Ｄ１２は、例えば学習の最終目標（ゴール）を特定する１以上の単語でもよい。この場合において、生成テーマ情報Ｄ１２は、例えば「資格を受験する上での基礎知識を身につける」、「資格試験の頻出問題を網羅できる」、「反復的に学習することで躓きやすい科目の理解を深める」のような文字列である。
【0058】
生成テーマ情報Ｄ１２は、例えば入力部１０８を介してユーザＵから入力される１以上の単語を用いてよい。また、学習材生成要求情報Ｄ１１は、例えばユーザ端末１に予め記憶された構文を用いてよい。すなわち、学習材評価システム１００は、ユーザＵが１以上の単語を入力するだけでクエリＤ１を取得し、学習材を生成することができる。この場合、クエリＤ１に関する専門知識が乏しいユーザＵでも学習材を自動生成することができる。これにより、学習材の作成に関する作業性の向上を図ることができる。
【0059】
＜生成データＤ７１＞
生成データＤ７１は、クエリＤ１に基づいて生成されるデータを示す。生成データＤ７１は、学習材の内容を示す１以上のデータを含み、例えば学習材データＤ７１１を含む。
生成データＤ７１は、クエリＤ１に基づいて生成されるデータを示す。生成データＤ７１は、学習材の内容を示す１以上のデータを含み、例えば学習材データＤ７１１を含む。
【0060】
学習材データＤ７１１は、生成テーマ情報Ｄ１２に含まれる生成テーマに関する学習材の内容を示し、設問及び解答の組合せからなる。なお、学習材データＤ７１１の設問及び解答の文字数は、生成モデル７１が任意に決めてもよい。また、学習材データＤ７１１は、解答に関する解説をさらに含んでもよい。この場合において、解説は、生成モデル７１により解答とともに生成されてよい。
【0061】
生成テーマ情報Ｄ１２に対応する学習材データＤ７１１の一例は、例えば［表１］に示すとおりである。
【0062】
【表1】
【0063】
学習材データＤ７１１は、分類２のとおり、生成テーマが単語「安土桃山時代」を含むとき、すなわち「歴史」の下位概念であるとき、生成テーマ「歴史」に関する設問と同様の設問「太閤検地を実施したのは誰ですか？」と、その設問の解答「豊臣秀吉」との組合せからなる一問一答式の学習材でもよい。
【0064】
学習材データＤ７１１は、分類３のとおり、生成テーマが単語「豊臣秀吉」を含むとき、その生成テーマを解答とした上で生成される、設問「太閤検地を実施したのは誰ですか？」と、その設問の解答「豊臣秀吉」との組合せからなる一問一答式の学習材でもよい。
【0065】
学習材データＤ７１１は、分類４のとおり、生成テーマが単語「中学生社会」を含むとき、学習指導要領等の外部データベースを参照した上で生成される、設問「太閤検地を実施したのは誰ですか？」と、その設問の解答「豊臣秀吉」との組合せからなる一問一答式の学習材でもよい。
【0066】
学習材データＤ７１１は、分類５のとおり、生成テーマが単語「安土桃山時代」と単語「一問一答式問題」とを含むとき、出題形式の前提を一問一答式問題とした上で生成される、生成テーマ「安土桃山時代」に関する設問「太閤検地を実施したのは誰ですか？」と、その設問の解答「豊臣秀吉」との組合せからなる一問一答式の学習材でもよい。
【0067】
学習材データＤ７１１は、分類６のとおり、生成テーマが単語「歴史」と単語「基礎」とを含むとき、学習指導要領等の外部データベースの他、基礎・応用、易しい・難しい等の難易度と生成テーマとが紐づけられたデータベース等を参照した上で生成される、設問「太閤検地を実施したのは誰ですか？」と、その設問の解答「豊臣秀吉」との組合せからなる一問一答式の学習材でもよい。
【0068】
学習材データＤ７１１は、分類７のとおり、生成テーマが単語「歴史」と単語「応用」とを含むとき、分類６の説明と同様のデータベース等を参照した上で生成される、設問「太閤検地で確立した農民支配の原則を何と言いますか？」と、その設問の解答「一地一作人の原則」との組合せからなる一問一答式の学習材でもよい。
【0069】
学習材データＤ７１１は、分類８のとおり、生成テーマが単語「安土桃山時代」と単語「選択式問題」とを含むとき、出題形式の前提を選択式問題とした上で生成される、生成テーマ「安土桃山時代」に関する設問「太閤検地を実施したのは誰ですか？ １．織田信長 ２．豊臣秀吉 ３．徳川家康」と、その設問の解答「２」との組合せからなる選択式の学習材でもよい。
【0070】
学習材データＤ７１１は、分類９のとおり、生成テーマが単語「安土桃山時代」と単語「組合せ問題」とを含むとき、出題形式の前提を組合せ問題とした上で生成される、生成テーマ「安土桃山時代」に関する設問「豊臣秀吉が実施したのはどれですか？ １．太閤検地 ２．刀狩 ３．楽市楽座」と、その設問の解答「１と２」との組合せからなる組合せ式の学習材でもよい。
【0071】
また、学習材データＤ７１１は、教科書等の説明を示す学習材であってもよい。学習材データＤ７１１は、例えば、単語を示すキーワード情報Ｄ２３と単語に関する関連情報Ｄ２４とを含む学習材であってもよい。学習材データＤ７１１は、例えば「安土桃山時代」というキーワード情報Ｄ２３と、「安土桃山時代」に関する「豊臣秀吉」、「太閤検地」等の関連情報Ｄ２４を含む学習材であってもよい。
【0072】
＜データベース７＞
データベース７は、学習材評価システム１００に予め保存されるデータの集合体である。データベース７は、例えばサーバ２が有する保存部２０４に予め保存される。データベース７は、予め学習材を生成するための生成モデル７１が記憶される。
データベース７は、学習材評価システム１００に予め保存されるデータの集合体である。データベース７は、例えばサーバ２が有する保存部２０４に予め保存される。データベース７は、予め学習材を生成するための生成モデル７１が記憶される。
【0073】
＜生成モデル７１＞
生成モデル７１は、学習材評価システム１００が学習材を自動生成するために用いられる自然言語処理モデルの一種である。生成モデル７１は、大量のテキストデータを用いて予め機械学習された公知の大規模言語モデル（ＬＬＭ：Large Language Model）であってもよい。
生成モデル７１は、学習材評価システム１００が学習材を自動生成するために用いられる自然言語処理モデルの一種である。生成モデル７１は、大量のテキストデータを用いて予め機械学習された公知の大規模言語モデル（ＬＬＭ：Large Language Model）であってもよい。
【0074】
生成モデル７１として、具体的には「ＧＰＴ（Generative Pre-trained Transformer）（登録商標）」に関連するＧＰＴ－３、ＧＰＴ－３．５又はＧＰＴ－４、「ＢＥＲＴ(Bidirectional Encoder Representations from Transformers)」、「ＬａＭＤＡ（Language Model for Dialogue Applications）」、「ＰａＬＭ（Scaling Language Modeling with Pathways）」、「ＬＬａＭＡ（Large Language Model Meta AI）」等が用いられてもよい。
【0075】
次に、本実施形態における学習材評価システム１００の学習材を生成する動作の詳細について説明する。
【0076】
＜事前準備＞
ユーザＵは、学習材評価システム１００に、学習材を生成する動作させる前に、生成モデル７１が記憶されたデータベース７がサーバ２に保存されていることを確認する。
ユーザＵは、学習材評価システム１００に、学習材を生成する動作させる前に、生成モデル７１が記憶されたデータベース７がサーバ２に保存されていることを確認する。
【0077】
＜クエリ取得ステップＳ１１＞
クエリ取得ステップＳ１１において、取得部１１は、入力部１０８を介してユーザＵからの入力を受け付けて、学習材生成要求情報Ｄ１１と、生成テーマ情報Ｄ１２と、を含むクエリＤ１を取得する。
クエリ取得ステップＳ１１において、取得部１１は、入力部１０８を介してユーザＵからの入力を受け付けて、学習材生成要求情報Ｄ１１と、生成テーマ情報Ｄ１２と、を含むクエリＤ１を取得する。
【0078】
＜学習材生成ステップＳ１２＞
学習材生成ステップＳ１２において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１（学習材生成要求情報Ｄ１１に基づく生成要求）を、データベース７に対して実行する。生成部１２は、取得部１１がクエリＤ１を取得したときに、取得したクエリＤ１を自動的に実行してもよく、ユーザＵからの入力に従ってクエリＤ１を実行してもよい。生成部１２は、学習材生成ステップＳ１２とは区別されるクエリ実行ステップとして、学習材生成ステップＳ１２の前に別途実施されてもよい。
学習材生成ステップＳ１２において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１（学習材生成要求情報Ｄ１１に基づく生成要求）を、データベース７に対して実行する。生成部１２は、取得部１１がクエリＤ１を取得したときに、取得したクエリＤ１を自動的に実行してもよく、ユーザＵからの入力に従ってクエリＤ１を実行してもよい。生成部１２は、学習材生成ステップＳ１２とは区別されるクエリ実行ステップとして、学習材生成ステップＳ１２の前に別途実施されてもよい。
【0079】
クエリＤ１がデータベース７に対して実行されたとき、生成部１２は、データベース７を参照した上で生成テーマ情報Ｄ１２に含まれる生成テーマに基づいて、学習材データＤ７１１を含む生成データＤ７１を生成する。この場合、生成モデル７１により生成テーマ（生成テーマ情報Ｄ１２）に関する学習材（学習材データＤ７１１）を自動生成することができる。これにより、学習材の作成効率の向上を図ることができる。また、クエリＤ１の取得及び実行さえできれば、ユーザＵは既存の学習材を用意しなくとも学習材評価システム１００に生成データＤ７１を生成させることができる。これにより、学習材の作成に関するユーザＵの作業性向上を図ることができる。
【0080】
＜学習材出力ステップＳ１３＞
学習材出力ステップＳ１３において、表示部１０９は、例えば生成部１２が生成した生成データＤ７１をユーザ端末１が通信網９を介して受信したとき、表示部１０９等を介してユーザＵに対して出力する。
学習材出力ステップＳ１３において、表示部１０９は、例えば生成部１２が生成した生成データＤ７１をユーザ端末１が通信網９を介して受信したとき、表示部１０９等を介してユーザＵに対して出力する。
【0081】
また、学習材出力ステップＳ１３において、生成部１２は、生成した学習材の評価のために学習材を評価部１３に出力してもよい。
【0082】
上述した各ステップを実施し、本実施形態における学習材評価システム１００の学習材を生成する動作は終了する。なお、学習材評価システム１００では、例えば上述した各ステップを繰り返し実施してもよい。
【0083】
（第１実施形態：学習材評価システム１００の学習材を生成する動作の変形例）
＜クエリＤ１＞
クエリＤ１は、例えば図５（ｂ）に示すように、目次情報Ｄ１３をさらに含んでもよい。クエリＤ１は、１以上の目次情報Ｄ１３を含む。
＜クエリＤ１＞
クエリＤ１は、例えば図５（ｂ）に示すように、目次情報Ｄ１３をさらに含んでもよい。クエリＤ１は、１以上の目次情報Ｄ１３を含む。
【0084】
＜目次情報Ｄ１３＞
目次情報Ｄ１３は、生成する学習材に含まれる設問の目次を特定する情報である。ここで、目次とは、学習材評価システム１００が生成する各学習材の問題数、順序、章立て（章、節、項などを含む）、章立てごとの問題数、章立てごとのタイトル等を特定する。
目次情報Ｄ１３は、生成する学習材に含まれる設問の目次を特定する情報である。ここで、目次とは、学習材評価システム１００が生成する各学習材の問題数、順序、章立て（章、節、項などを含む）、章立てごとの問題数、章立てごとのタイトル等を特定する。
【0085】
目次情報Ｄ１３は、例えば一の目次情報Ｄ１３につき一の生成テーマ情報Ｄ１２が紐づけられて、一つのデータセットＤ２を構成する。このとき、各生成テーマ情報Ｄ１２に含まれる生成テーマに基づいて生成された各生成データＤ７１は、各生成テーマ情報Ｄ１２に紐づけられた各目次情報Ｄ１３に応じた目次が割り当てられる。
【0086】
具体的には、目次情報Ｄ１３が学習材の問題数「２」を特定する情報を含むとき、生成データＤ７１は、生成テーマ情報Ｄ１２に含まれる生成テーマに基づいて、目次情報Ｄ１３が特定する問題数「２」に応じて２つ生成される。ここで、クエリＤ１に含まれるデータセットＤ２が一であっても、生成データＤ７１は目次情報Ｄ１３が特定する問題数に応じて複数生成されてもよい。
【0087】
目次情報Ｄ１３が学習材の順序「１」「２」をそれぞれ特定する情報を含むとき、生成データＤ７１は、生成テーマ情報Ｄ１２に含まれる生成テーマに基づいて、目次情報Ｄ１３が特定する順序に応じて配置された上で２つ生成される。例えばクエリＤ１が、順序「１」を特定する目次情報Ｄ１３ａと生成テーマ「テーマＡ」を特定する生成テーマ情報Ｄ１２ａとが紐づけられたデータセットＤ２ａと、順序「２」を特定する目次情報Ｄ１３ａと生成テーマ「テーマＢ」を特定する生成テーマ情報Ｄ１２ａとが紐づけられたデータセットＤ２ｂと、を含むとき、「テーマＡ」に関する「設問１」の設問及び解答の組合せからなる学習材データＤ７１１と、「テーマＢ」に関する「設問２」の設問及び解答の組合せからなる学習材データＤ７１２と、を含む生成データＤ７１が生成される。
【0088】
目次情報Ｄ１３が学習材の章立て「１章」「２章」をそれぞれ特定する情報を含むとき、生成データＤ７１は、上述の順序を特定する情報を含む場合と同様に、生成テーマ情報Ｄ１２に含まれる生成テーマに基づいて、目次情報Ｄ１３が特定する章立てに応じて配置された上で生成される。また、目次情報Ｄ１３が学習材の章立てと問題数との組合せ「１章 ２問」「２章 ３問」をそれぞれ特定する情報を含むとき、生成データＤ７１は、生成テーマ情報Ｄ１２に含まれる生成テーマに基づいて、目次情報Ｄ１３が特定する章立てと問題数との組合せに応じて配置された上で生成される。また、目次情報Ｄ１３が学習材の章立てのタイトルをそれぞれ特定する情報を含むとき、そのタイトルを各学習材データＤ７１２の一部に含め、設問とともに出力してもよい。
【0089】
次に、本実施形態における学習材評価システム１００の学習材を生成する動作の詳細について説明する。
【0090】
＜クエリ取得ステップＳ１１＞
クエリ取得ステップＳ１１において、取得部１１は、例えば入力部１０８を介してユーザＵからの入力を受け付けて、学習材生成要求情報Ｄ１１と、生成テーマ情報Ｄ１２と目次情報Ｄ１３とを一組とする複数のデータセットＤ２を含むクエリＤ１を取得する。
クエリ取得ステップＳ１１において、取得部１１は、例えば入力部１０８を介してユーザＵからの入力を受け付けて、学習材生成要求情報Ｄ１１と、生成テーマ情報Ｄ１２と目次情報Ｄ１３とを一組とする複数のデータセットＤ２を含むクエリＤ１を取得する。
【0091】
取得部１１は、ユーザＵから入力を受け付ける方法に代えて、又はその方法とともに、生成テーマ情報Ｄ１２及び目次情報Ｄ１３のうち少なくとも何れかが既存の学習材データから抽出されたデータセットＤ２を含むクエリＤ１を取得してもよい。
【0092】
取得部１１は、例えばＴＦ－ＩＤＦ（Term Frequency - Inverse Document Frequency）、ＲＡＫＥ（Rapid Automatic Keyword Extractor）、ＹＡＫＥ（Yet Another Keyword Extractor）等を用いたフレーズ抽出が可能な公知のプログラム又はソフトウェアを用いて、既存の学習材データから抽出した情報を、生成テーマ情報Ｄ１２及び目次情報Ｄ１３のうち少なくとも何れかとして取得してもよい。具体的には、既存の学習材データの全部又は一部を文脈として与え、その文脈から名詞や固有の表現（出現頻度の低い表現等）を抽出して生成テーマ情報Ｄ１２として取得してもよい。また、既存の学習材データにおける章立てと問題数との組合せ例「１章 ２問」「２章 ３問」をそれぞれ抽出して目次情報Ｄ１３として取得してもよい。この場合、クエリＤ１の作成に係るユーザＵの作業を省略することができる。これにより、学習材の作成効率のさらなる向上を図ることができる。また、生成する学習材は、教材としての品質が教材とは無関係の文章よりも高い既存の学習材に基づいて生成される。これにより、学習材の品質向上を図ることができる。なお、これらのデータセットＤ２に基づいて生成される学習材データＤ７１１の設問及び解答の文字数は、抽出範囲として与えた既存の学習材データの文脈の文字数に基づいて生成モデル７１が決めてもよい。
【0093】
＜学習材生成ステップＳ１２＞
学習材生成ステップＳ１２において、クエリ取得ステップＳ１１により取得されたクエリＤ１がデータベース７に対して実行されたとき、生成部１２は、データベース７を参照した上で複数のデータセットＤ２に含まれる生成テーマ情報Ｄ１２と目次情報Ｄ１３とに基づいて、目次情報Ｄ１３に対応する複数の学習材データＤ７１１、Ｄ７１２を含む生成データＤ７１を生成する。この場合、生成モデル７１により生成テーマ（生成テーマ情報Ｄ１２）に関する複数の学習材（複数の学習材データＤ７１１、Ｄ７１２）を目次（目次情報Ｄ１３）に応じて自動生成することができる。これにより、複数の学習材を含む問題集の作成効率の向上を図ることができる。
学習材生成ステップＳ１２において、クエリ取得ステップＳ１１により取得されたクエリＤ１がデータベース７に対して実行されたとき、生成部１２は、データベース７を参照した上で複数のデータセットＤ２に含まれる生成テーマ情報Ｄ１２と目次情報Ｄ１３とに基づいて、目次情報Ｄ１３に対応する複数の学習材データＤ７１１、Ｄ７１２を含む生成データＤ７１を生成する。この場合、生成モデル７１により生成テーマ（生成テーマ情報Ｄ１２）に関する複数の学習材（複数の学習材データＤ７１１、Ｄ７１２）を目次（目次情報Ｄ１３）に応じて自動生成することができる。これにより、複数の学習材を含む問題集の作成効率の向上を図ることができる。
【0094】
本実施形態によれば、生成モデル７１が予め記憶されたデータベース７を参照した上で取得されたクエリＤ１に含まれる生成テーマに基づいて学習材を生成する生成部１２を備える。このため、生成モデル７１により生成テーマに関する学習材を自動生成することができる。これにより、学習材の作成効率の向上を図ることができる。
【0095】
本実施形態によれば、取得部１１は、学習材の生成要求と、生成テーマと、目次と、を一組とする複数のデータセットＤ２を含むクエリＤ１を取得し、生成部１２は、取得された複数のデータセットＤ２に基づいて学習材を複数生成する。このため、生成モデル７１により生成テーマに関する学習材を目次に応じて自動生成することができる。これにより、複数の学習材を含む問題集の作成効率の向上を図ることができる。
【0096】
本実施形態によれば、取得部１１は、生成テーマ及び目次のうち少なくとも何れかが既存の学習材データから抽出されたデータセットＤ２を含むクエリＤ１を取得する。このため、クエリＤ１の作成に係る作業を省略することができる。これにより、学習材の作成効率のさらなる向上を図ることができる。また、既存の学習材に基づいた学習材を生成することができる。これにより、学習材の品質向上を図ることができる。
【0097】
本実施形態によれば、生成モデル７１が予め記憶されたデータベース７を参照した上で取得されたクエリＤ１に含まれる生成テーマに基づいて学習材を生成する学習材生成ステップＳ１２を有する。このため、生成モデル７１により生成テーマに関する学習材を自動生成することができる。これにより、学習材の作成効率の向上を図ることができる。
【0098】
本実施形態によれば、生成モデル７１が予め記憶されたデータベース７を参照した上で取得されたクエリＤ１に含まれる生成テーマに基づいて学習材を生成する学習材生成ステップＳ１２をコンピュータに実行させる。このため、生成モデル７１により生成テーマに関する学習材を自動生成することができる。これにより、学習材の作成効率の向上を図ることができる。
【0099】
次に、図６を参照して、本実施形態における学習材評価システム１００の生成テーマ情報を生成する動作の一例を説明する。
【0100】
まず、本実施形態における、学習材評価システム１００の学習材を生成する動作に伴う各種情報について説明する。学習材評価システム１００が扱う各種情報には、例えば図６に示すように、生成テーマ生成要求情報Ｄ１４と、分類テーマ情報Ｄ１５と、中間取得データＤ８と、がさらに含まれる。
【0101】
＜クエリＤ１＞
クエリＤ１は、例えば生成テーマ生成要求情報Ｄ１４と、分類テーマ情報Ｄ１５と、をさらに含んでもよい。生成テーマ生成要求情報Ｄ１４と分類テーマ情報Ｄ１５とは、例えば相互に紐づけられる。
クエリＤ１は、例えば生成テーマ生成要求情報Ｄ１４と、分類テーマ情報Ｄ１５と、をさらに含んでもよい。生成テーマ生成要求情報Ｄ１４と分類テーマ情報Ｄ１５とは、例えば相互に紐づけられる。
【0102】
また、クエリＤ１は、生成テーマ生成要求情報Ｄ１４と分類テーマ情報Ｄ１５とに基づいて新たに取得される中間取得データＤ８をさらに含んでもよい。
【0103】
＜生成テーマ生成要求情報Ｄ１４＞
生成テーマ生成要求情報Ｄ１４は、処理要求のうち、学習材の生成テーマの生成要求を特定する情報である。生成テーマ生成要求情報Ｄ１４は、学習材生成要求情報Ｄ１１と同様に、例えばクエリＤ１の文字列の一部を構成する。
生成テーマ生成要求情報Ｄ１４は、処理要求のうち、学習材の生成テーマの生成要求を特定する情報である。生成テーマ生成要求情報Ｄ１４は、学習材生成要求情報Ｄ１１と同様に、例えばクエリＤ１の文字列の一部を構成する。
【0104】
＜分類テーマ情報Ｄ１５＞
分類テーマ情報Ｄ１５は、学習材の生成テーマの生成要求に関するテーマを特定する情報である。分類テーマ情報Ｄ１５は、生成テーマ情報Ｄ１２と同様の情報を含み、例えば学習材生成要求情報Ｄ１１により生成要求された学習材のテーマを特定する情報である。分類テーマ情報Ｄ１５は、生成テーマ情報Ｄ１２と同様に、例えばクエリＤ１の文字列の一部を構成し、１以上の単語で構成される。
分類テーマ情報Ｄ１５は、学習材の生成テーマの生成要求に関するテーマを特定する情報である。分類テーマ情報Ｄ１５は、生成テーマ情報Ｄ１２と同様の情報を含み、例えば学習材生成要求情報Ｄ１１により生成要求された学習材のテーマを特定する情報である。分類テーマ情報Ｄ１５は、生成テーマ情報Ｄ１２と同様に、例えばクエリＤ１の文字列の一部を構成し、１以上の単語で構成される。
【0105】
分類テーマ情報Ｄ１５に含まれる分類テーマは、例えば生成テーマの上位概念に相当する内容でもよく、下位概念に相当する内容でもよく、同位概念に相当する内容でもよい。
【0106】
分類テーマ情報Ｄ１５は、例えば入力部１０８を介してユーザＵから入力される１以上の単語を用いてよい。また生成テーマ生成要求情報Ｄ１４は、例えばユーザ端末１に予め記憶された構文を用いてよい。すなわち、学習材評価システム１００は、ユーザＵが１以上の単語を入力するだけでクエリＤ１を取得し、学習材の生成テーマとしての中間取得データＤ８を新たに取得することができる。
【0107】
＜中間取得データＤ８＞
中間取得データＤ８は、クエリＤ１に基づいて新たに取得されるデータのうち、生成データＤ７１より前に生成されるデータを示す。また、中間取得データＤ８は、クエリＤ１に基づいて新たに取得される既存のｗｅｂ上の記事文章や記事ＵＲＬを、生成するデータとともに取得してもよく、生成するデータの代わりに取得してもよい。また、取得した記事文章や記事ＵＲＬ等は、少なくともその一部が学習材データＤ７１１に含まれる解説の一部又は全部として用いられてもよい。中間取得データＤ８は、生成テーマ情報Ｄ８１を含む。
中間取得データＤ８は、クエリＤ１に基づいて新たに取得されるデータのうち、生成データＤ７１より前に生成されるデータを示す。また、中間取得データＤ８は、クエリＤ１に基づいて新たに取得される既存のｗｅｂ上の記事文章や記事ＵＲＬを、生成するデータとともに取得してもよく、生成するデータの代わりに取得してもよい。また、取得した記事文章や記事ＵＲＬ等は、少なくともその一部が学習材データＤ７１１に含まれる解説の一部又は全部として用いられてもよい。中間取得データＤ８は、生成テーマ情報Ｄ８１を含む。
【0108】
＜生成テーマ情報Ｄ８１＞
生成テーマ情報Ｄ８１は、学習材の生成要求に関するテーマを特定する情報であり、生成テーマ情報Ｄ１２と同様の情報である。生成テーマ情報Ｄ８１は、例えば学習材生成要求情報Ｄ１１により生成要求された学習材のテーマを特定する情報である。生成テーマ情報Ｄ８１は、例えばクエリＤ１の文字列の一部を構成し、１以上の単語で構成される。
生成テーマ情報Ｄ８１は、学習材の生成要求に関するテーマを特定する情報であり、生成テーマ情報Ｄ１２と同様の情報である。生成テーマ情報Ｄ８１は、例えば学習材生成要求情報Ｄ１１により生成要求された学習材のテーマを特定する情報である。生成テーマ情報Ｄ８１は、例えばクエリＤ１の文字列の一部を構成し、１以上の単語で構成される。
【0109】
生成テーマ情報Ｄ８１は、分類テーマ情報Ｄ１５に含まれる分類テーマに関する学習材の生成テーマを示し、例えば１以上の単語からなる。分類テーマ情報Ｄ１５に対応する生成テーマ情報Ｄ８１の一例は、例えば［表２］に示すとおりである。
【0110】
【表2】
【0111】
生成テーマ情報Ｄ８１は、分類１１のとおり、分類テーマが単語「安土桃山時代」を含むとき、分類テーマの下位概念に相当する生成テーマ「豊臣秀吉」を含んでもよい。
【0112】
生成テーマ情報Ｄ８１は、分類１２のとおり、分類テーマが単語「安土桃山時代」を含むとき、分類テーマの同位概念に相当する生成テーマ「織豊時代」を含んでもよい。
【0113】
生成テーマ情報Ｄ８１は、分類１３のとおり、難易度を含む分類テーマが単語「安土桃山時代 基礎」を含むとき、難易度の部分を変更しない生成テーマ「豊臣秀吉 基礎」を含んでもよい。
【0114】
生成テーマ情報Ｄ８１は、分類１４のとおり、出題形式を含む分類テーマが単語「安土桃山時代 選択式問題」を含むとき、難易度の部分を変更しない生成テーマ「豊臣秀吉 選択式問題」を含んでもよい。
【0115】
＜データベース７ａ＞
データベース７ａは、サーバ２に予め保存される。データベース７ａは、データベース７と同一のデータベースでもよく、データベース７とは異なる同様のデータベースでもよい。データベース７ａは、生成モデル７１ａが予め記憶される。
データベース７ａは、サーバ２に予め保存される。データベース７ａは、データベース７と同一のデータベースでもよく、データベース７とは異なる同様のデータベースでもよい。データベース７ａは、生成モデル７１ａが予め記憶される。
【0116】
＜生成モデル７１ａ＞
生成モデル７１ａは、生成モデル７１と同一の大規模言語モデルでもよく、生成モデル７１とは異なる同様の大規模言語モデルでもよい。
生成モデル７１ａは、生成モデル７１と同一の大規模言語モデルでもよく、生成モデル７１とは異なる同様の大規模言語モデルでもよい。
【0117】
次に、本実施形態における学習材評価システム１００の学習材を生成する動作の詳細について説明する。
【0118】
＜クエリ取得ステップＳ１１＞
クエリ取得ステップＳ１１において、取得部１１は、学習材生成要求情報Ｄ１１と、生成テーマ生成要求情報Ｄ１４と、分類テーマ情報Ｄ１５と、を含むクエリＤ１を取得する。
クエリ取得ステップＳ１１において、取得部１１は、学習材生成要求情報Ｄ１１と、生成テーマ生成要求情報Ｄ１４と、分類テーマ情報Ｄ１５と、を含むクエリＤ１を取得する。
【0119】
＜学習材生成ステップＳ１２＞
学習材生成ステップＳ１２において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１（生成テーマ生成要求情報Ｄ１４に基づく生成要求）を、生成モデル７１ａが予め記憶されたデータベース７ａに対して実行する。
学習材生成ステップＳ１２において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１（生成テーマ生成要求情報Ｄ１４に基づく生成要求）を、生成モデル７１ａが予め記憶されたデータベース７ａに対して実行する。
【0120】
クエリＤ１がデータベース７ａに対して実行されたとき、生成部１２は、データベース７ａを参照した上で分類テーマ情報Ｄ１５に含まれる分類テーマに基づいて、生成テーマ情報Ｄ８１を含む中間取得データＤ８を新たに取得する。ここで、中間取得データＤ８は、生成モデル７１ａが分類テーマに基づいて生成した情報でもよく、生成モデル７１ａが分類テーマに基づいて生成した情報をテーマとして学習材評価システム１００がｗｅｂ検索や外部データベースの検索を実行した結果取得される情報（上述の既存のｗｅｂ上の記事文章や記事ＵＲＬを含む）でもよい。
【0121】
その後、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１（学習材生成要求情報Ｄ１１に基づく生成要求）に応じて、データベース７を参照した上で、新たに取得した生成テーマ情報Ｄ８１に含まれる生成テーマに基づいて、学習材データＤ７１１を含む生成データＤ７１を生成する。この場合、生成モデル７１ａにより分類テーマ（分類テーマ情報Ｄ１５）に関する生成テーマ（生成テーマ情報Ｄ８１）を自動生成することができる。これにより、学習材の作成効率のさらなる向上を図ることができる。また、生成テーマについて学習材ごとに選定する必要がないため、学習材の専門知識が乏しいユーザＵでも学習材を自動生成することができる。これにより、学習材の作成に関する作業性の向上を図ることができる。
【0122】
本実施形態によれば、生成部１２は、生成モデル７１ａが予め記憶されたデータベース７ａを参照した上で分類テーマに基づいて新たに取得した生成テーマに基づいて学習材を生成する。このため、生成モデル７１ａにより分類テーマに関する生成テーマを自動生成することができる。これにより、学習材の作成効率のさらなる向上を図ることができる。また、生成テーマについて学習材毎に選定する必要がないため、学習材の専門知識が乏しいユーザでも学習材を自動生成することができる。これにより、学習材の作成に関する作業性の向上を図ることができる。
【0123】
次に、図７を参照して、本実施形態における学習材評価方法として、学習材評価システム１００の関連生成テーマ情報を生成する動作の一例を説明する。
【0124】
学習材評価システム１００の関連生成テーマ情報を生成する動作は、例えば図４に示すように、クエリ変換ステップＳ１４をさらに含む。クエリ変換ステップＳ１４は、クエリ取得ステップＳ１１の後に実行される。なお、学習材評価システム１００の関連生成テーマ情報を生成する動作は、クエリ変換ステップＳ１４を複数回実施してもよい。
【0125】
まず、本実施形態における、学習材評価システム１００の関連生成テーマ情報を生成する動作に伴う各種情報について説明する。学習材評価システム１００が扱う各種情報には、例えば図７に示すように、関連生成テーマ情報Ｄ８２がさらに含まれる。
【0126】
＜中間取得データＤ８＞
中間取得データＤ８は、関連生成テーマ情報Ｄ８２を含む。
中間取得データＤ８は、関連生成テーマ情報Ｄ８２を含む。
【0127】
＜関連生成テーマ情報Ｄ８２＞
関連生成テーマ情報Ｄ８２は、学習材の生成要求に関するテーマを特定する情報であり、生成テーマ情報Ｄ８１と同様の情報である。関連生成テーマ情報Ｄ８２は、例えば生成テーマ情報Ｄ１２と同様に文字列で構成され、１以上の単語で構成される。
関連生成テーマ情報Ｄ８２は、学習材の生成要求に関するテーマを特定する情報であり、生成テーマ情報Ｄ８１と同様の情報である。関連生成テーマ情報Ｄ８２は、例えば生成テーマ情報Ｄ１２と同様に文字列で構成され、１以上の単語で構成される。
【0128】
生成テーマ情報Ｄ８１が生成モデル７１ａを参照した上で分類テーマ情報Ｄ１５に基づいて新たに生成されるのに対して、関連生成テーマ情報Ｄ８２は、後述の関連語データベース７２を参照した上で関連語データベース７２から取得される点において、生成テーマ情報Ｄ８１とは異なる。
【0129】
＜データベース７ｂ＞
データベース７ｂは、サーバ２に予め保存される。データベース７ｂは、データベース７と同一のデータベースでもよく、データベース７とは異なる同様のデータベースでもよい。データベース７ｂは、関連語データベース７２が予め記憶される。
データベース７ｂは、サーバ２に予め保存される。データベース７ｂは、データベース７と同一のデータベースでもよく、データベース７とは異なる同様のデータベースでもよい。データベース７ｂは、関連語データベース７２が予め記憶される。
【0130】
＜関連語データベース７２＞
関連語データベース７２は、データベース７ｂに予め記憶される。関連語データベース７２は、例えば８に示すように、参照用生成テーマ情報Ｄ７２１と、参照用関連生成テーマ情報Ｄ７２２と、が予め紐づけられて記憶される。関連語データベースは、ユーザＵが予め作成したデータベースでもよく、「ＷоｒｄＮｅｔ」等の公知の概念辞書データを用いてもよい。
関連語データベース７２は、データベース７ｂに予め記憶される。関連語データベース７２は、例えば８に示すように、参照用生成テーマ情報Ｄ７２１と、参照用関連生成テーマ情報Ｄ７２２と、が予め紐づけられて記憶される。関連語データベースは、ユーザＵが予め作成したデータベースでもよく、「ＷоｒｄＮｅｔ」等の公知の概念辞書データを用いてもよい。
【0131】
参照用生成テーマ情報Ｄ７２１は、１以上の生成テーマ情報で構成される。参照用生成テーマ情報Ｄ７２１は、生成テーマ情報Ｄ１２に対応する情報を含み得る。参照用関連生成テーマ情報Ｄ７２２は、１以上の関連生成テーマ情報で構成される。参照用関連生成テーマ情報Ｄ７２２は、関連生成テーマ情報Ｄ８２に対応する情報を含み得る。
【0132】
参照用生成テーマ情報Ｄ７２１は、例えば１以上の関連生成テーマを含む参照用関連生成テーマ情報Ｄ７２２と紐づけられる。参照用生成テーマ情報Ｄ７２１に含まれる生成テーマ「Ｘ」は、参照用関連生成テーマ情報Ｄ７２２に含まれる関連生成テーマＡ「Ｘ１」と、関連生成テーマＢ「Ｘ２」と、に紐づけられてもよい。具体的には、生成テーマ「安土桃山時代」は、関連生成テーマＡ「歴史」と、関連生成テーマＢ「豊臣秀吉」と、に紐づけられてもよい。
【0133】
次に、本実施形態における学習材評価システム１００の関連生成テーマ情報を生成する動作の詳細について説明する。
【0134】
＜クエリ変換ステップＳ１４＞
クエリ変換ステップＳ１４において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１に含まれる生成テーマ情報Ｄ１２を、関連語データベース７２（データベース７ｂ）を参照した上で関連語データベース７２から取得した一の関連生成テーマ情報Ｄ８２と取り換えることで、クエリＤ１を変換する。すなわち、データベース７に対して実行されるクエリＤ１は、学習材生成要求情報Ｄ１１と関連生成テーマ情報Ｄ８２とを含み、関連生成テーマ情報Ｄ８２と取り換えられた生成テーマ情報Ｄ１２を含まない。
クエリ変換ステップＳ１４において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１に含まれる生成テーマ情報Ｄ１２を、関連語データベース７２（データベース７ｂ）を参照した上で関連語データベース７２から取得した一の関連生成テーマ情報Ｄ８２と取り換えることで、クエリＤ１を変換する。すなわち、データベース７に対して実行されるクエリＤ１は、学習材生成要求情報Ｄ１１と関連生成テーマ情報Ｄ８２とを含み、関連生成テーマ情報Ｄ８２と取り換えられた生成テーマ情報Ｄ１２を含まない。
【0135】
なお、生成テーマ情報Ｄ１２と取り換える一の関連生成テーマは、関連語データベース７２を構成する参照用関連生成テーマ情報Ｄ７２２に含まれる１以上の関連生成テーマから、生成部１２が一の関連生成テーマを任意に選択してもよい。図８の例においては、生成部１２は、生成テーマ「Ｘ」を含む生成テーマ情報Ｄ１２を、生成テーマ「Ｘ」に対応する参照用生成テーマ情報Ｄ７２１に紐づけられた参照用関連生成テーマ情報Ｄ７２２に含まれる生成テーマ「Ｘ１」「Ｘ２」の何れかを任意に選択して関連生成テーマ情報Ｄ８２として取得し、生成テーマ情報Ｄ１２と取り換えてもよい。
【0136】
また、生成部１２は、関連生成テーマごとに関連語データベース７２から取得された回数等の実績に基づいて一の関連生成テーマを選択してもよい。例えば、関連語データベース７２からの取得回数実績が多い一の関連生成テーマ「Ｘ１」を、易しい難易度の関連生成テーマとして選択してもよく、関連語データベース７２からの取得回数実績が少ない一の関連生成テーマ「Ｘ２」を、難しい難易度の関連生成テーマとして選択してもよい。
【0137】
＜学習材生成ステップＳ１２＞
学習材生成ステップＳ１２において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１（学習材生成要求情報Ｄ１１に基づく生成要求）に応じて、データベース７を参照した上で、クエリ変換ステップＳ１４により変換されたクエリＤ１に含まれる関連生成テーマに基づいて、学習材データＤ７１１を含む生成データＤ７１を生成する。この場合、生成モデル７１により同一の生成テーマ（生成テーマ情報Ｄ１２）から異なる内容の学習材を自動生成することができる。これにより、作成する学習材の利便性の向上を図ることができる。
学習材生成ステップＳ１２において、生成部１２は、クエリ取得ステップＳ１１により取得されたクエリＤ１（学習材生成要求情報Ｄ１１に基づく生成要求）に応じて、データベース７を参照した上で、クエリ変換ステップＳ１４により変換されたクエリＤ１に含まれる関連生成テーマに基づいて、学習材データＤ７１１を含む生成データＤ７１を生成する。この場合、生成モデル７１により同一の生成テーマ（生成テーマ情報Ｄ１２）から異なる内容の学習材を自動生成することができる。これにより、作成する学習材の利便性の向上を図ることができる。
【0138】
本実施形態によれば、取得されたクエリＤ１に含まれる生成テーマ（生成テーマ情報Ｄ１２）を、一の関連生成テーマ（関連生成テーマ情報Ｄ８２）に変換する。このため、生成モデル７１により同一の生成テーマから異なる内容の学習材を自動生成することができる。これにより、作成する学習材の利便性の向上を図ることができる。
【0139】
次に、図９～図１１を参照して、本実施形態における学習材評価方法として、学習材評価システム１００の学習材を評価する動作の一例を説明する。学習材評価システム１００は、例えばユーザ端末１及びサーバ２内にインストールされた学習材評価プログラムを介して実行される。
【0140】
学習材評価システム１００の学習材を評価する動作は、例えば図９に示すように、学習材取得ステップＳ２１と、学習材抽出ステップＳ２２と、関連情報検索ステップＳ２３と、学習材評価ステップＳ２４と、テキスト情報修正ステップＳ２５と、評価情報記憶ステップＳ２６とを含む。
【0141】
まず、本実施形態における、学習材評価システム１００の学習材を評価する動作に伴う各種情報について説明する。学習材評価システム１００が扱う各種情報には、例えば図１０（ａ）に示すように、クエリＤ２と、生成データＤ７２と、が含まれる。学習材評価システム１００は、予めデータベース８が保存される。
【0142】
＜クエリＤ２＞
クエリＤ２は、後述の大規模言語モデル等の評価モデル８１が記憶された後述のデータベース８に対する処理要求を含む情報である。クエリＤ２は、例えば評価指示情報Ｄ２１と、テキスト情報Ｄ２２と、を含む。評価指示情報Ｄ２１と、テキスト情報Ｄ２２とは、例えば相互に紐づけられる。
クエリＤ２は、後述の大規模言語モデル等の評価モデル８１が記憶された後述のデータベース８に対する処理要求を含む情報である。クエリＤ２は、例えば評価指示情報Ｄ２１と、テキスト情報Ｄ２２と、を含む。評価指示情報Ｄ２１と、テキスト情報Ｄ２２とは、例えば相互に紐づけられる。
【0143】
クエリＤ２は、例えば評価モデル８１に対する処理要求を含むプロンプトである。クエリＤ２は、例えば指示内容を指定する自然言語とで構成される。クエリＤ２を実行することで、例えば日本史に関する設問、選択肢、解答及び解説を含む学習材を評価することができる。
【0144】
＜評価指示情報Ｄ２１＞
評価指示情報Ｄ２１は、処理要求のうち、学習材の評価要求を特定する情報である。評価指示情報Ｄ２１は、例えばクエリＤ２の文字列の一部を構成する。評価指示情報Ｄ２１は、例えば「学習材を」「評価してください。」等が含まれる。
評価指示情報Ｄ２１は、処理要求のうち、学習材の評価要求を特定する情報である。評価指示情報Ｄ２１は、例えばクエリＤ２の文字列の一部を構成する。評価指示情報Ｄ２１は、例えば「学習材を」「評価してください。」等が含まれる。
【0145】
＜テキスト情報Ｄ２２＞
テキスト情報Ｄ２２は、学習材を示す情報である。テキスト情報Ｄ２２は、設問及び解答の何れかを含む、回答ユーザの知識を問うテストを指し、記述式問題、択一式問題、組合せ問題等の出題形式を含む。また、テキスト情報Ｄ２２は、例えば評価する学習材の内容を特定するための、教科、資格や検定の名称、分野、時代、人物、出題形式、解答形式（選択肢の有無、解説の有無等）、問題数、難易度、学習指導要領に対応する学校制度上の初等教育、中等教育、高等教育等の教育分類等を特定する１以上の単語を含んでもよい。テキスト情報Ｄ２２は、学習材に含まれる単語を示すキーワード情報Ｄ２３及び当該キーワードに関する関連情報Ｄ２４が含まれてもよい。テキスト情報Ｄ２２は、例えば「豊臣秀吉」というキーワード情報Ｄ２３と「太閤検地を実施した」等の関連情報Ｄ２４とを含む。
テキスト情報Ｄ２２は、学習材を示す情報である。テキスト情報Ｄ２２は、設問及び解答の何れかを含む、回答ユーザの知識を問うテストを指し、記述式問題、択一式問題、組合せ問題等の出題形式を含む。また、テキスト情報Ｄ２２は、例えば評価する学習材の内容を特定するための、教科、資格や検定の名称、分野、時代、人物、出題形式、解答形式（選択肢の有無、解説の有無等）、問題数、難易度、学習指導要領に対応する学校制度上の初等教育、中等教育、高等教育等の教育分類等を特定する１以上の単語を含んでもよい。テキスト情報Ｄ２２は、学習材に含まれる単語を示すキーワード情報Ｄ２３及び当該キーワードに関する関連情報Ｄ２４が含まれてもよい。テキスト情報Ｄ２２は、例えば「豊臣秀吉」というキーワード情報Ｄ２３と「太閤検地を実施した」等の関連情報Ｄ２４とを含む。
【0146】
テキスト情報Ｄ２２は、例えば入力部１０８を介してユーザＵから入力される１以上の学習材を用いてよい。また、テキスト情報Ｄ２２は、例えばユーザ端末１に予め記憶された学習材を用いてよい。また、テキスト情報Ｄ２２は、学習材出力ステップＳ１３において生成部１２から出力された学習材を用いてもよい。
【0147】
キーワード情報Ｄ２３は、例えば単語を示す情報であるが、単語に限らず、人物、地名及び事象等の任意の言葉を示す情報であってもよい。関連情報Ｄ２４は、キーワード情報Ｄ２３が示す言葉に関連する情報である。関連情報Ｄ２４は、例えばキーワード情報Ｄ２３が示す言葉の解説及び説明、又はキーワード情報Ｄ２３が示す言葉に関する設問及び回答等であってよい。
【0148】
＜生成データＤ７２＞
生成データＤ７２は、クエリＤ２に基づいて生成されるデータを示す。生成データＤ７２は、学習材の評価を示す評価情報を１以上のデータを含み、例えば学習材評価情報Ｄ７３１を含む。
生成データＤ７２は、クエリＤ２に基づいて生成されるデータを示す。生成データＤ７２は、学習材の評価を示す評価情報を１以上のデータを含み、例えば学習材評価情報Ｄ７３１を含む。
【0149】
＜学習材評価情報Ｄ７３１＞
学習材評価情報Ｄ７３１は、学習材の評価を示す評価情報、学習材の評価の根拠を示す根拠情報、及びテキスト情報Ｄ２２を修正した修正テキスト情報のうちの何れか１以上が含まれる。なお、学習材評価情報Ｄ７３１の文字数は、評価モデル８１が任意に決めてもよい。
学習材評価情報Ｄ７３１は、学習材の評価を示す評価情報、学習材の評価の根拠を示す根拠情報、及びテキスト情報Ｄ２２を修正した修正テキスト情報のうちの何れか１以上が含まれる。なお、学習材評価情報Ｄ７３１の文字数は、評価モデル８１が任意に決めてもよい。
【0150】
評価情報は、学習材の評価を示す情報である。評価情報は、例えば学習材に記載されているテキストの妥当性を示す情報であってもよい。評価情報は、例えば学習材に記載されているテキストの間違いや修正内容を示す情報であってもよい。
【0151】
根拠情報は、学習材の評価の根拠を示す情報である。根拠情報は、例えば出版物、示方書、要領、論文、特許公文の記載事項等の情報であってもよい。
【0152】
＜データベース８＞
データベース８は、学習材評価システム１００に予め保存されるデータの集合体である。データベース８は、例えばサーバ２が有する保存部２０４に予め保存される。データベース８は、予め学習材を評価するための評価モデル８１が記憶される。
データベース８は、学習材評価システム１００に予め保存されるデータの集合体である。データベース８は、例えばサーバ２が有する保存部２０４に予め保存される。データベース８は、予め学習材を評価するための評価モデル８１が記憶される。
【0153】
＜評価モデル８１＞
評価モデル８１は、学習材評価システム１００が学習材を自動評価するために用いられる自然言語処理モデルの一種である。評価モデル８１は、大量のテキストデータを用いて予め機械学習された公知の大規模言語モデルであってもよい。
評価モデル８１は、学習材評価システム１００が学習材を自動評価するために用いられる自然言語処理モデルの一種である。評価モデル８１は、大量のテキストデータを用いて予め機械学習された公知の大規模言語モデルであってもよい。
【0154】
評価モデル８１として、具体的には「ＧＰＴ（Generative Pre-trained Transformer）（登録商標）」に関連するＧＰＴ－３、ＧＰＴ－３．５又はＧＰＴ－４、「ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）」、「ＬａＭＤＡ（Language Model for Dialogue Applications）」、「ＰａＬＭ（Scaling Language Modeling with Pathways）」、「ＬＬａＭＡ（Large Language Model Meta AI）」等が用いられてもよい。
【0155】
また、評価モデル８１は、基盤モデルであってもよい。基盤モデルは、自然言語モデルであってもよい。基盤モデルは、教師なし学習により生成されたモデルであってもよい。また、基盤モデルは生成ＡＩであってもよい。自然言語モデルは、指示文の受け付けと、応答文の生成とを交互に行う対話型、いわばチャット型または会話形のモデルであってよい。
【0156】
大規模言語モデルは、人間の話す言葉をその出現確率でモデル化した言語モデルと呼ばれるものを、膨大なデータから事前学習する深層学習モデルである。即ち、大規模言語モデルは、大量のテキストデータを使ってトレーニングされた自然言語処理のモデルのことであり、質問や指示として文章を入力とし、回答として文章を出力する。質疑応答を行うシステムに大規模言語モデルを適用した場合、質問文を大規模言語モデルに入力すると、ＬＬＭから回答文が出力される。
【0157】
大規模言語モデルは、テキストデータ（プロンプト）を受信すると、大規模言語モデルを用いて、受信されたプロンプトに含まれる文章から次の単語の生成確率を統計的に推定し、推定結果に基づく回答を出力する。大規模言語モデルとしては、例えば、インターネットサイトとして、「https://chatgpt-lab.com/n/n418d3aa56f0b」や、「https://agirobots.com/chatgpt-mechanism-and-problem/」等に記載されている公知の技術を採用することができる。また、大規模言語モデルとして、例えば、米国ＯｐｅｎＡＩ社が提供するＧＰＴ－４を用いてもよい。
【0158】
評価モデル８１は、生成モデル７１とは異なるモデルであってもよい。例えば評価モデル８１は、生成モデル７１と異なる学習データにより学習された大規模言語モデルであってもよい。
【0159】
また、評価モデル８１は、例えばニューラルネットワークをモデルとした機械学習を用いて、生成されてもよい。評価モデル８１は、例えばＡＩニューラルネットワークである。評価モデル８１は、例えばＣＮＮ（Convolution Neural Network）等のニューラルネットワークをモデルとした機械学習を用いて学習されるほか、任意のモデルが用いられてもよい。また、評価モデル８１の生成方法として、例えば検索拡張生成（ＲＡＧ：Retrieval-Augmented Generation）、ｓｅｑ２ｓｅｑ（Sequence To Sequence）線形判別、サポートベクターマシン、ｋ－近傍法、ランダムフォレスト、ディープラーニング等を用いて、生成してもよい。
【0160】
かかる場合、評価モデル８１には、例えば図１１のように、入力データであるキーワード情報Ｄ２３及び関連情報Ｄ２４と出力データである評価情報との間における連関度を有する連関性が記憶される。また、テキスト情報Ｄ２２を入力データとしてもよい。かかる場合、テキスト情報Ｄ２２に含まれる形態素又は単語等を入力データとしてもよい。連関度は、入力データと出力データとの繋がりの度合いを示しており、例えば連関度が高いほど各データの繋がりが強いと判断することができる。連関度は、例えば百分率等の３値以上又は３段階以上で示されるほか、２値又は２段階で示されてもよい。また、連関度の学習に用いられるキーワード情報Ｄ２３、関連情報Ｄ２４、及び評価情報は、例えば予め取得した学習データに用いるためのキーワード情報Ｄ２３、関連情報Ｄ２４、及び評価情報であるが、これに限らず、任意のタイミングで取得した情報を用いてもよい。
【0161】
例えば連関性は、複数の入力データ、対、複数の出力データの間における繋がりの度合いにより構築される。連関性は、機械学習の過程で適宜更新され、例えば複数の入力データ、及び複数の出力データに基づいて最適化された関数を用いた分類器を示す。なお、連関性は、例えば各データの間における繋がりの度合いを示す複数の連関度を有してもよい。連関度は、例えばデータベースがニューラルネットワークで構築される場合、重み変数に対応させることができる。連関性は、例えば図１１に示すように、複数の入力データと、複数の出力データとの間における繋がりの度合いを示してもよい。この場合、連関性を用いることで、図１１の「キーワード情報Ａ及び関連情報Ａ」～「キーワード情報Ｃ及び関連情報Ｃ」のそれぞれの入力データに対し、「評価情報Ａ」～「評価情報Ｃ」の複数の出力データとの関係の度合いを紐づけて記憶させることができる。このため、例えば連関性を介して、１つの出力データに対して、複数の入力データを紐づけることができる。これにより、入力データに対して多角的な出力データの選択を実現することができる。また、入力データ及び出力データは、これに限らず、任意の種類の情報がさらに用いられてもよい。また、入力データは、例えばテキスト情報Ｄ２２に含まれる画像情報であってもよい。
【0162】
連関性は、例えば各入力データと、各出力データとをそれぞれ紐づける複数の連関度を有する。連関度は、例えば百分率、１０段階、又は５段階等の３段階以上で示され、例えば線の特徴（例えば太さ等）で示される。例えば、入力データに含まれる「キーワード情報Ａ及び関連情報Ａ」は、出力データに含まれる「評価情報Ａ」との間の連関度ＡＡ「７３％」を示し、出力データに含まれる「評価情報Ｂ」との間の連関度ＡＢ「１２％」を示す。すなわち、「連関度」は、各データ間における繋がりの度合いを示しており、例えば連関度が高いほど、各データの繋がりが強いことを示す。
【0163】
このような図１１に示す３段階以上の連関度を予め取得しておく。つまり実際の解の判別を行う上で、入力データと、出力データとの何れが採用、評価されたか、過去のデータセットを蓄積しておき、これらを分析、解析することで図１１に示す連関度を作り上げておく。
【0164】
例えば、過去において「キーワード情報Ｂ及び関連情報Ｂ」という入力データに対して、「評価情報Ｂ」が最も適合性が高いと判断され、評価されたものとする。このようなデータセットを集めて分析することにより、入力データと出力データとの連関度が強くなる。
【0165】
この分析、解析は人工知能により行うようにしてもよい。かかる場合には、例え「キーワード情報Ｂ及び関連情報Ｂ」という入力データに対して、「評価情報Ｂ」が推定される事例が多い場合には、この「キーワード情報Ｂ及び関連情報Ｂ」と「評価情報Ｂ」とにつながる連関度をより高く設定する。
【0166】
また、この連関度は、人工知能におけるニューラルネットワークのノードで構成されるものであってもよい。即ち、このニューラルネットワークのノードが出力に対する重み付け係数が、上述した連関度に対応することとなる。またニューラルネットワークに限らず、人工知能を構成するあらゆる意思決定因子で構成されるものであってもよい。
【0167】
また、評価モデル８１は、入力データと出力データとの間に少なくとも１以上の隠れ層が設けられ、機械学習させるようにしてもよい。入力データ又は隠れ層データの何れか一方又は両方において上述した連関度が設定され、これが各データの重み付けとなり、これに基づいて出力の選択が行われる。そして、この連関度がある閾値を超えた場合に、その出力を選択するようにしてもよい。
【0168】
このような連関度が、人工知能でいうところの学習データとなる。このような学習データを予め学習し、実際に新たにキーワード情報Ｄ２３及び関連情報Ｄ２４を評価モデル８１に入力し、評価情報の出力を行うこととなる。出力の際には、例えば予め取得した図１１に示す連関度を参照する。例えば、新たに取得したキーワード情報Ｄ２３及び関連情報Ｄ２４が「キーワード情報Ａ及び関連情報Ａ」と同一かこれに類似するものである場合には、連関度を介して「評価情報Ａ」との間の連関度ＡＡ「７３％」、「評価情報Ｂ」との間の連関度ＡＢ「１２％」で関連付けられている。この場合には、連関度の最も高い「キーワード情報Ａ及び関連情報Ａ」を最適解として選択する。但し、最も連関度の高いものを最適解として選択することは必須ではなく、連関度は低いものの連関性そのものは認められる「評価情報Ｂ」を最適解として選択するようにしてもよい。また、これ以外に矢印が繋がっていない出力解を選択してもよいことは勿論であり、連関度に基づくものであれば、その他いかなる優先順位で選択されるものであってもよい。
【0169】
このような連関度を参照することにより、キーワード情報Ｄ２３及び関連情報Ｄ２４が、入力データと同一又は類似である場合のほか、非類似である場合においても、入力データに適した出力データを定量的に選択することができる。
【0170】
次に、本実施形態における学習材評価システム１００の学習材を評価する動作の詳細について説明する。
【0171】
＜学習材取得ステップＳ２１＞
学習材取得ステップＳ２１において、取得部１１は、例えば入力部１０８を介してユーザＵからの入力を受け付けて、評価指示情報Ｄ２１と、テキスト情報Ｄ２２とを一組とする複数のデータセットＤ３を含むクエリＤ２を取得する。
学習材取得ステップＳ２１において、取得部１１は、例えば入力部１０８を介してユーザＵからの入力を受け付けて、評価指示情報Ｄ２１と、テキスト情報Ｄ２２とを一組とする複数のデータセットＤ３を含むクエリＤ２を取得する。
【0172】
取得部１１は、ユーザＵから入力を受け付ける方法に代えて、又はその方法とともに、テキスト情報Ｄ２２が既存の学習材データから抽出されたデータセットＤ３を含むクエリＤ２を取得してもよい。
【0173】
また、取得部１１は、学習材生成ステップＳ１２により生成され、学習材出力ステップＳ１３により出力された学習材を含むテキスト情報Ｄ２２を取得してもよい。かかる場合、学習材出力ステップＳ１３により出力される際に、自動的に生成された評価指示情報Ｄ２１をさらに取得してもよい。これにより、生成された学習材を自動的に評価することが可能となる。
【0174】
＜学習材抽出ステップＳ２２＞
学習材抽出ステップＳ２２において、学習材取得ステップＳ２１により取得されたクエリＤ２が実行されたとき、評価部１３は、テキスト情報Ｄ２２からキーワード情報Ｄ２３及び関連情報Ｄ２４を抽出してもよい。かかる場合、例えばテキスト情報Ｄ２２を形態素解析し、テキスト情報Ｄ２２に含まれる単語を抽出する。かかる場合、抽出する単語は、例えば人物や地名、事象等を示す名詞であるがこれに限らず、例えばテキスト情報Ｄ２２内で重要性の高い、又は頻出する単語を抽出してもよい。評価部１３は、抽出した単語を含むキーワード情報Ｄ２３と当該単語に関わる関連情報Ｄ２４とを抽出する。関連情報Ｄ２４は、例えば単語についての説明等を示すテキスト形式の情報である。関連情報Ｄ２４は、例えば単語について関連性の高い文章の情報である。
学習材抽出ステップＳ２２において、学習材取得ステップＳ２１により取得されたクエリＤ２が実行されたとき、評価部１３は、テキスト情報Ｄ２２からキーワード情報Ｄ２３及び関連情報Ｄ２４を抽出してもよい。かかる場合、例えばテキスト情報Ｄ２２を形態素解析し、テキスト情報Ｄ２２に含まれる単語を抽出する。かかる場合、抽出する単語は、例えば人物や地名、事象等を示す名詞であるがこれに限らず、例えばテキスト情報Ｄ２２内で重要性の高い、又は頻出する単語を抽出してもよい。評価部１３は、抽出した単語を含むキーワード情報Ｄ２３と当該単語に関わる関連情報Ｄ２４とを抽出する。関連情報Ｄ２４は、例えば単語についての説明等を示すテキスト形式の情報である。関連情報Ｄ２４は、例えば単語について関連性の高い文章の情報である。
【0175】
＜関連情報検索ステップＳ２３＞
関連情報検索ステップＳ２３において、評価部１３は、キーワード情報Ｄ２３と関連情報Ｄ２４とを紐づけて記憶するデータベースを参照し、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、データベースに記憶された関連情報Ｄ２４を検索する。かかる場合、評価部１３は、例えば通信網９を介して、サーバ２に記憶されているデータベースを検索してもよい。かかる場合、評価部１３は、例えばサーバ２に記憶されているデータベースから、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、検索を行い、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３と類似するデータベースに記憶されているキーワード情報Ｄ２３を検索し、検索したキーワード情報Ｄ２３に紐づいて記憶されている関連情報Ｄ２４を抽出する。また、評価部１３は、例えばデータベースから、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、検索を行い、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３との類似度が基準値よりも高い、データベースに記憶されているキーワード情報Ｄ２３を２以上検索し、検索した２以上のキーワード情報Ｄ２３に紐づいて記憶されている２以上の関連情報Ｄ２４を取得する。かかる場合、評価部１３は、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３とデータベースに記憶されているキーワード情報Ｄ２３との類似度を示す類似度情報も取得してよい。また、評価部１３は、例えばサーバ２に記憶されているデータベースから、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、検索を行い、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３との類似度が高い上位Ｋ個のキーワード情報Ｄ２３を検索し、検索したＫ個のキーワード情報Ｄ２３に紐づいて記憶されているＫ個の関連情報Ｄ２４を抽出してもよい。また、評価部１３が検索を行うデータベースは、キーワード情報Ｄ２３と関連情報Ｄ２４とが含まれていれば良く、例えばキーワード情報Ｄ２３が含まれるテキストから形態素解析を行い、関連情報Ｄ２４を抽出してもよい。
関連情報検索ステップＳ２３において、評価部１３は、キーワード情報Ｄ２３と関連情報Ｄ２４とを紐づけて記憶するデータベースを参照し、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、データベースに記憶された関連情報Ｄ２４を検索する。かかる場合、評価部１３は、例えば通信網９を介して、サーバ２に記憶されているデータベースを検索してもよい。かかる場合、評価部１３は、例えばサーバ２に記憶されているデータベースから、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、検索を行い、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３と類似するデータベースに記憶されているキーワード情報Ｄ２３を検索し、検索したキーワード情報Ｄ２３に紐づいて記憶されている関連情報Ｄ２４を抽出する。また、評価部１３は、例えばデータベースから、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、検索を行い、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３との類似度が基準値よりも高い、データベースに記憶されているキーワード情報Ｄ２３を２以上検索し、検索した２以上のキーワード情報Ｄ２３に紐づいて記憶されている２以上の関連情報Ｄ２４を取得する。かかる場合、評価部１３は、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３とデータベースに記憶されているキーワード情報Ｄ２３との類似度を示す類似度情報も取得してよい。また、評価部１３は、例えばサーバ２に記憶されているデータベースから、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３に基づいて、検索を行い、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３との類似度が高い上位Ｋ個のキーワード情報Ｄ２３を検索し、検索したＫ個のキーワード情報Ｄ２３に紐づいて記憶されているＫ個の関連情報Ｄ２４を抽出してもよい。また、評価部１３が検索を行うデータベースは、キーワード情報Ｄ２３と関連情報Ｄ２４とが含まれていれば良く、例えばキーワード情報Ｄ２３が含まれるテキストから形態素解析を行い、関連情報Ｄ２４を抽出してもよい。
【0176】
また、関連情報検索ステップＳ２３において、評価部１３は、例えば最大内積検索（ＭＩＰＳ：maximum inner-product search）を用いて、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３と類似するデータベースに記憶されているキーワード情報Ｄ２３を検索し、検索したキーワード情報Ｄ２３に紐づいて記憶されている関連情報Ｄ２４を抽出してもよい。
【0177】
また、関連情報検索ステップＳ２３において、評価部１３は、サーバ２に記憶されているデータベースに限らず、公共通信網を用いることなく、通信可能なメモリ等に記憶されているデータベースを参照し、検索を行ってもよい。また、関連情報検索ステップＳ２３において、評価部１３は、検索した関連情報Ｄ２４に根拠情報が紐づいている場合、紐づいている根拠情報を取得してもよい。
【0178】
また、評価部１３は、学習材抽出ステップＳ２２及び関連情報検索ステップＳ２３を行うことなく、次の学習材評価ステップＳ２４に移行してもよい。
【0179】
＜学習材評価ステップＳ２４＞
学習材評価ステップＳ２４において、評価部１３は、例えば学習材生成ステップＳ１２により生成されたテキスト情報Ｄ２２を評価モデルに入力し、評価情報を出力し、学習材を評価する。評価部１３は、例えばクエリＤ２を、データベース８に対して実行する。評価部１３は、取得部１１がクエリＤ２を取得したときに、取得したクエリＤ２を自動的に実行してもよく、ユーザＵからの入力に従ってクエリＤ２を実行してもよい。
学習材評価ステップＳ２４において、評価部１３は、例えば学習材生成ステップＳ１２により生成されたテキスト情報Ｄ２２を評価モデルに入力し、評価情報を出力し、学習材を評価する。評価部１３は、例えばクエリＤ２を、データベース８に対して実行する。評価部１３は、取得部１１がクエリＤ２を取得したときに、取得したクエリＤ２を自動的に実行してもよく、ユーザＵからの入力に従ってクエリＤ２を実行してもよい。
【0180】
クエリＤ２がデータベース８に対して実行されたとき、評価部１３は、データベース８を参照した上でテキスト情報Ｄ２２に基づいて、学習材評価情報Ｄ７３１を含む生成データＤ７２を生成する。この場合、評価モデル８１により学習材を自動評価することができる。これにより、学習材の作成効率の向上を図ることができる。
【0181】
また、クエリＤ２が図１０（ｂ）に示すように、キーワード情報Ｄ２３と関連情報Ｄ２４とを含む複数のデータセットＤ３を含む場合、クエリＤ２がデータベース８に対して実行されたとき、評価部１３は、データベース８を参照した上でキーワード情報Ｄ２３及び関連情報Ｄ２４とに基づいて、学習材評価情報Ｄ７３１を含む生成データＤ７２を生成する。
【0182】
また、学習材評価ステップＳ２４において、評価部１３は、データベース８に記憶されているシミュレータを利用してもよい。かかる場合、例えばデータベース８に記憶されている自然科学シミュレータを利用してもよい。
【0183】
自然科学シミュレータは、入力されたパラメータに基づいて上述した自然科学に関するシミュレーションを行うツールである。この自然科学シミュレータは既存のいかなるツールを利用してもよい。自然科学シミュレータとしては、例えば有限要素法に基づいて応力場やひずみを解析するＦＥＭシミュレータ、化学反応のシミュレーション、プラントを始めとする化学工学のシミュレーション、電気回路のシミュレーション、流体力学のシミュレーション、量子力学のシミュレーション等、物理現象や化学現象、ひいてはあらゆる自然科学のシミュレーションが可能なツールが用いられる。
【0184】
自然科学シミュレータは、入力されるテキスト情報Ｄ２２に応じたパラメータに基づいて、周知のシミュレーション方法に基づいて自然科学のシミュレーションを行う。そして、この自然科学シミュレータを通じて、テキスト情報Ｄ２２が示す内容が妥当であるのかを判定してもよい。例えば、自然法則に反する万有引力の法則に反するものであればその旨を評価情報に加えるようにしてもよい。
【0185】
自然科学シミュレータから出力されるシミュレーション結果そのものを評価情報として出力する以外に、大規模言語モデルがそのシミュレーション結果に基づいて改めて解探索を行い、評価情報を出力するようにしてもよい。かかる場合には、自然科学シミュレータによるシミュレーションの結果が反映されたプロンプトを大規模言語モデルに入力することで評価情報を出力する。
【0186】
また、学習材評価ステップＳ２４において、評価部１３は、例えば学習材生成ステップＳ１２により生成されたテキスト情報Ｄ２２を、図１１に示す連関性を学習させた評価モデルに入力し、評価情報を出力してもよい。かかる場合、評価モデルはテキスト情報Ｄ２２を入力とし、評価の根拠を示す根拠情報を含む評価情報を出力とする学習データを用いて学習されたものを用いてもよい。
【0187】
また、学習材評価ステップＳ２４において、評価部１３は、例えば学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３と関連情報Ｄ２４とを、図１１に示す連関性を学習させた評価モデルに入力し、評価情報を出力してもよい。
【0188】
また、学習材評価ステップＳ２４において、評価部１３は、上述した方法で十分な精度を有する評価情報を取得できなかった場合、関連情報検索ステップＳ２３により検索された関連情報Ｄ２４をさらに用いて、評価情報を出力してもよい。かかる場合、評価部１３は、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３と関連情報Ｄ２４とを評価モデルに入力し、関連情報検索ステップＳ２３により検索された関連情報Ｄ２４に基づいて、評価情報を出力する。
【0189】
例えば、学習材評価ステップＳ２４において、評価部１３は、学習材抽出ステップＳ２２により抽出されたキーワード情報Ｄ２３と関連情報Ｄ２４と関連情報検索ステップＳ２３により検索された関連情報Ｄ２４とを評価モデルに入力し、評価情報を出力してもよい。かかる場合、評価モデルはキーワード情報Ｄ２３と二つの関連情報Ｄ２４又は二つの関連情報Ｄ２４の差を入力とし、評価情報を出力とする学習データを用いて学習されたものを用いてもよい。また、学習材評価ステップＳ２４において、評価部１３は、関連情報検索ステップＳ２３により根拠情報を取得した場合、当該根拠情報を含む評価情報を出力してもよい。これにより、学習材抽出ステップＳ２２により抽出された関連情報Ｄ２４と関連情報検索ステップＳ２３により検索された関連情報Ｄ２４との差に基づいて、学習材を評価することが可能となるため、より高精度に評価することが可能となる。
【0190】
また、評価モデルとして、大規模言語モデルを扱う場合、関連情報検索ステップＳ２３により検索された関連情報Ｄ２４に基づいて、受信されたプロンプトに含まれる文章から次の単語を生成する生成確率を設定してもよい。かかる場合、学習材評価ステップＳ２４において、評価部１３は、関連情報検索ステップＳ２３により検索された関連情報Ｄ２４に含まれる単語又は類似する単語の評価モデルの生成確率が高くなるように設定してもよい。
【0191】
＜テキスト情報修正ステップＳ２５＞
テキスト情報修正ステップＳ２５において、修正部１４は、学習材取得ステップＳ２１により取得したテキスト情報Ｄ２２と学習材評価ステップＳ２４により出力した評価情報とに基づいて、テキスト情報Ｄ２２を修正した修正テキスト情報を出力する。かかる場合、修正部１４は、例えばテキスト情報Ｄ２２と評価情報とを入力とし、修正テキスト情報を出力とする修正モデルを参照し、学習材取得ステップＳ２１により取得したテキスト情報Ｄ２２と学習材評価ステップＳ２４により出力した評価情報とに基づいて、テキスト情報Ｄ２２を修正した修正テキスト情報を出力してもよい。また、修正部１４は、テキスト情報Ｄ２２に評価情報が示す修正を反映することにより、修正テキスト情報を生成してもよい。これにより、生成した学習材を自動的に評価及び修正することが可能となる。修正部１４は、生成した修正テキスト情報を記憶部１５に記憶する。
テキスト情報修正ステップＳ２５において、修正部１４は、学習材取得ステップＳ２１により取得したテキスト情報Ｄ２２と学習材評価ステップＳ２４により出力した評価情報とに基づいて、テキスト情報Ｄ２２を修正した修正テキスト情報を出力する。かかる場合、修正部１４は、例えばテキスト情報Ｄ２２と評価情報とを入力とし、修正テキスト情報を出力とする修正モデルを参照し、学習材取得ステップＳ２１により取得したテキスト情報Ｄ２２と学習材評価ステップＳ２４により出力した評価情報とに基づいて、テキスト情報Ｄ２２を修正した修正テキスト情報を出力してもよい。また、修正部１４は、テキスト情報Ｄ２２に評価情報が示す修正を反映することにより、修正テキスト情報を生成してもよい。これにより、生成した学習材を自動的に評価及び修正することが可能となる。修正部１４は、生成した修正テキスト情報を記憶部１５に記憶する。
【0192】
＜評価情報記憶ステップＳ２６＞
評価情報記憶ステップＳ２６において、記憶部１５は、学習材評価ステップＳ２４により出力した評価情報とテキスト情報修正ステップＳ２５により生成された修正テキスト情報Ｄ２２をデータベース７に記憶する。これにより、学習材生成ステップＳ１２において、生成部１２がデータベース７を参照することにより、評価情報を反映した学習材を生成することが可能となる。
評価情報記憶ステップＳ２６において、記憶部１５は、学習材評価ステップＳ２４により出力した評価情報とテキスト情報修正ステップＳ２５により生成された修正テキスト情報Ｄ２２をデータベース７に記憶する。これにより、学習材生成ステップＳ１２において、生成部１２がデータベース７を参照することにより、評価情報を反映した学習材を生成することが可能となる。
【0193】
例えば、学習材生成ステップＳ１２において、生成部１２は、学習材評価ステップＳ２４により出力した評価情報とテキスト情報修正ステップＳ２５により生成された修正テキスト情報を含む学習データにより学習された生成モデルを参照し、学習材の生成テーマに基づいてテキスト情報Ｄ２２を生成する。これにより、学習材評価ステップＳ２４により出力した評価情報とテキスト情報修正ステップＳ２５により生成された修正テキスト情報を生成モデルに学習させることにより、評価情報及び修正テキスト情報に含まれる単語間、又は類似する単語の生成確率が高くなり、このため、学習材の修正を反映して新たに学習材を生成することが可能となる。
【0194】
上述した各ステップを実施し、本実施形態における学習材評価システム１００の学習材を評価する動作は終了する。本実施形態における学習材評価システム１００は、テキスト情報Ｄ２２を基盤モデルに入力し、評価情報を出力する。これにより、自動的に学習材を評価することが可能となる。
【0195】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0196】
１００ 学習材評価システム
１ ユーザ端末
１０ 筐体
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 保存部
１０５～１０７ Ｉ／Ｆ
１０８ 入力部
１０９ 表示部
１１０ 内部バス
１１ 取得部
１２ 生成部
１３ 評価部
１４ 修正部
１５ 記憶部
２ サーバ
２０ 筐体
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 保存部
２０５ Ｉ／Ｆ
２１０ 内部バス
７ データベース
７１ 生成モデル
７２ 関連語データベース
８ データベース
８１ 評価モデル
９ 通信網
Ｕ ユーザ
Ｓ１１ クエリ取得ステップ
Ｓ１２ 学習材生成ステップ
Ｓ１３ 学習材出力ステップ
Ｓ１４ クエリ変換ステップ
Ｓ２１ 学習材取得ステップ
Ｓ２２ 学習材抽出ステップ
Ｓ２３ 関連情報検索ステップ
Ｓ２４ 学習材評価ステップ
Ｓ２５ テキスト情報修正ステップ
Ｓ２６ 評価情報記憶ステップ
Ｄ１ クエリ
Ｄ１１ 学習材生成要求情報
Ｄ１２ 生成テーマ情報
Ｄ１３ 目次情報
Ｄ１４ 生成テーマ生成要求情報
Ｄ１５ 分類テーマ情報
Ｄ２ クエリ
Ｄ２１ 評価指示情報
Ｄ２２ テキスト情報
Ｄ２３ キーワード情報
Ｄ２４ 関連情報
Ｄ７１ 生成データ
Ｄ７１１、Ｄ７１２ 学習材データ
Ｄ７２１ 参照用生成テーマ情報
Ｄ７２２ 参照用関連生成テーマ情報
Ｄ７２ 生成データ
Ｄ７３１ 学習材評価情報
Ｄ８ 中間取得データ
Ｄ８１ 生成テーマ情報
Ｄ８２ 関連生成テーマ情報
１ ユーザ端末
１０ 筐体
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 保存部
１０５～１０７ Ｉ／Ｆ
１０８ 入力部
１０９ 表示部
１１０ 内部バス
１１ 取得部
１２ 生成部
１３ 評価部
１４ 修正部
１５ 記憶部
２ サーバ
２０ 筐体
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ 保存部
２０５ Ｉ／Ｆ
２１０ 内部バス
７ データベース
７１ 生成モデル
７２ 関連語データベース
８ データベース
８１ 評価モデル
９ 通信網
Ｕ ユーザ
Ｓ１１ クエリ取得ステップ
Ｓ１２ 学習材生成ステップ
Ｓ１３ 学習材出力ステップ
Ｓ１４ クエリ変換ステップ
Ｓ２１ 学習材取得ステップ
Ｓ２２ 学習材抽出ステップ
Ｓ２３ 関連情報検索ステップ
Ｓ２４ 学習材評価ステップ
Ｓ２５ テキスト情報修正ステップ
Ｓ２６ 評価情報記憶ステップ
Ｄ１ クエリ
Ｄ１１ 学習材生成要求情報
Ｄ１２ 生成テーマ情報
Ｄ１３ 目次情報
Ｄ１４ 生成テーマ生成要求情報
Ｄ１５ 分類テーマ情報
Ｄ２ クエリ
Ｄ２１ 評価指示情報
Ｄ２２ テキスト情報
Ｄ２３ キーワード情報
Ｄ２４ 関連情報
Ｄ７１ 生成データ
Ｄ７１１、Ｄ７１２ 学習材データ
Ｄ７２１ 参照用生成テーマ情報
Ｄ７２２ 参照用関連生成テーマ情報
Ｄ７２ 生成データ
Ｄ７３１ 学習材評価情報
Ｄ８ 中間取得データ
Ｄ８１ 生成テーマ情報
Ｄ８２ 関連生成テーマ情報
【要約】
【課題】学習材を自動的に評価することができる学習材評価システム、方法及びプログラムを提供する。
【解決手段】本発明に係る学習材評価システムは、学習材を示すテキスト情報を取得する取得手段と、前記取得手段により取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出手段と前記抽出手段により抽出されたキーワード情報及び関連情報を基盤モデルに入力し、前記学習材の評価を示す評価情報を出力する出力手段とを備えることを特徴とする。
【選択図】図３
【解決手段】本発明に係る学習材評価システムは、学習材を示すテキスト情報を取得する取得手段と、前記取得手段により取得されたテキスト情報に基づいて、単語を示すキーワード情報と前記単語に関する関連情報とを抽出する抽出手段と前記抽出手段により抽出されたキーワード情報及び関連情報を基盤モデルに入力し、前記学習材の評価を示す評価情報を出力する出力手段とを備えることを特徴とする。
【選択図】図３
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】