知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024067159
(43)【公開日】2024-05-17
(54)【発明の名称】習熟レベル判定装置、習熟レベル判定方法、プログラム
(51)【国際特許分類】
G09B 19/00 20060101AFI20240510BHJP
【ＦＩ】
G09B19/00 H
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2022177007
(22)【出願日】2022-11-04
(11)【特許番号】
(45)【特許公報発行日】2023-09-05
(71)【出願人】
【識別番号】506142716
【氏名又は名称】株式会社Ｚ会
(74)【代理人】
【識別番号】100121706
【弁理士】
【氏名又は名称】中尾 直樹
(74)【代理人】
【識別番号】100128705
【弁理士】
【氏名又は名称】中村 幸雄
(74)【代理人】
【識別番号】100147773
【弁理士】
【氏名又は名称】義村 宗洋
(72)【発明者】
【氏名】渡辺 淳
(72)【発明者】
【氏名】上田 倫也
(57)【要約】
【課題】判定器による習熟レベルの判定結果である判定レベルの精度を知ることができる習熟レベル判定装置を提供する。
【解決手段】習熟レベル判定装置は、習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし各問題に専属して習熟レベルを判定する各判定器を学習する判定器学習部と、各問題に専属する各判定器によりテストデータに基づいて判定された判定レベル毎にラベル分布を生成する問題・判定レベル毎ラベル分布生成部と、ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて専属する判定器により習熟レベルを判定する習熟レベル判定部と、所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行する終了判定部を含む。
【選択図】図１
【解決手段】習熟レベル判定装置は、習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし各問題に専属して習熟レベルを判定する各判定器を学習する判定器学習部と、各問題に専属する各判定器によりテストデータに基づいて判定された判定レベル毎にラベル分布を生成する問題・判定レベル毎ラベル分布生成部と、ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて専属する判定器により習熟レベルを判定する習熟レベル判定部と、所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行する終了判定部を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし、各問題に専属して習熟レベルを判定する各判定器を学習する判定器学習部と、
習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布）を生成する問題・判定レベル毎ラベル分布生成部と、
ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定する習熟レベル判定部と、
所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行する終了判定部を含む
習熟レベル判定装置。
習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布）を生成する問題・判定レベル毎ラベル分布生成部と、
ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定する習熟レベル判定部と、
所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行する終了判定部を含む
習熟レベル判定装置。
【請求項2】
請求項１に記載の習熟レベル判定装置であって、
ラベル分布のばらつき度合いとは、ラベル分布の分散である
習熟レベル判定装置。
ラベル分布のばらつき度合いとは、ラベル分布の分散である
習熟レベル判定装置。
【請求項3】
請求項１に記載の習熟レベル判定装置であって、
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、
終了判定部は、
複数の問題における判定レベルに対応する複数のラベル分布の累積の分散が所定の閾値よりも低い場合に、習熟レベル判定を終了と判定する
習熟レベル判定装置。
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、
終了判定部は、
複数の問題における判定レベルに対応する複数のラベル分布の累積の分散が所定の閾値よりも低い場合に、習熟レベル判定を終了と判定する
習熟レベル判定装置。
【請求項4】
請求項１に記載の習熟レベル判定装置であって、
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、 終了判定部は、
複数の問題における判定レベルに対応する複数のラベル分布から得られる累積の平均値と累積の分散を用いて計算した所定の信頼区間に整数値が１つのみ含まれる場合に、習熟レベル判定を終了と判定する
習熟レベル判定装置。
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、 終了判定部は、
複数の問題における判定レベルに対応する複数のラベル分布から得られる累積の平均値と累積の分散を用いて計算した所定の信頼区間に整数値が１つのみ含まれる場合に、習熟レベル判定を終了と判定する
習熟レベル判定装置。
【請求項5】
請求項１に記載の習熟レベル判定装置であって、
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、 所定の解答者における所定の問題の判定レベルに対応するラベル分布の平均二乗誤差が最も小さい問題、または累積の平均値の値に最も近い判定レベルのラベル分布の平均二乗誤差が最も小さい問題を所定の解答者に対して次に出題する問題と設定する出題順最適化部を含む
習熟レベル判定装置。
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、 所定の解答者における所定の問題の判定レベルに対応するラベル分布の平均二乗誤差が最も小さい問題、または累積の平均値の値に最も近い判定レベルのラベル分布の平均二乗誤差が最も小さい問題を所定の解答者に対して次に出題する問題と設定する出題順最適化部を含む
習熟レベル判定装置。
【請求項6】
請求項１に記載の習熟レベル判定装置であって、
終了判定部は、
所定の問題における最小、または最大の判定レベルに対応するラベル分布の平均値、およびばらつき度合いを示す指標を他の判定レベルに対応するラベル分布と近似するように補正する
習熟レベル判定装置。
終了判定部は、
所定の問題における最小、または最大の判定レベルに対応するラベル分布の平均値、およびばらつき度合いを示す指標を他の判定レベルに対応するラベル分布と近似するように補正する
習熟レベル判定装置。
【請求項7】
習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし、各問題に専属して習熟レベルを判定する各判定器を学習する判定器学習部と、
習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布）を生成する問題・判定レベル毎ラベル分布生成部と、
ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定し、判定レベルに対応するラベル分布の統計指標を生成して出力する習熟レベル判定部を含む
習熟レベル判定装置。
習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布）を生成する問題・判定レベル毎ラベル分布生成部と、
ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定し、判定レベルに対応するラベル分布の統計指標を生成して出力する習熟レベル判定部を含む
習熟レベル判定装置。
【請求項8】
請求項７に記載の習熟レベル判定装置であって、
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、
習熟レベル判定部は、
判定レベルに対応するラベル分布の統計指標として、累積の平均値と累積の分散を生成して出力する
習熟レベル判定装置。
解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとし、
習熟レベル判定部は、
判定レベルに対応するラベル分布の統計指標として、累積の平均値と累積の分散を生成して出力する
習熟レベル判定装置。
【請求項9】
習熟レベル判定装置が実行する習熟レベル判定方法であって、
習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし、各問題に専属して習熟レベルを判定する各判定器を学習するステップと、
習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布）を生成するステップと、
ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定するステップと、
所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行するステップを含む
習熟レベル判定方法。
習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし、各問題に専属して習熟レベルを判定する各判定器を学習するステップと、
習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布）を生成するステップと、
ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定するステップと、
所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行するステップを含む
習熟レベル判定方法。
【請求項10】
コンピュータを請求項１から８の何れかに記載の習熟レベル判定装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、解答者の習熟レベルを判定する習熟レベル判定装置、習熟レベル判定方法、プログラムに関する。
【背景技術】
【0002】
例えば特許文献１に、網羅的な学習データを必要とせず、現在の学力を精度よく推定する学力推定用モデルを生成することができる学力推定用モデル生成装置が開示されている。特許文献１の学力推定用モデル生成装置は、予め定めた複数の問題からなる問題群に解答した複数人の解答者が各問題を正解または不正解したことを示す正誤情報を教師データとして、決定木を生成する決定木生成部と、生成された決定木の末端である葉ノードが示す分類結果のエントロピーが所定値以下である場合に該当する葉ノードを消去する枝刈部と、葉ノード消去後の決定木の新たな末端のそれぞれを何れかの解答者が属するカテゴリとするカテゴリ生成部を含む。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許７０６５９２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来、学力を推定するモデルによる学力推定はどの程度信頼できるか分からないという課題があった。
【0005】
そこで本発明では、判定器による習熟レベルの判定結果である判定レベルの精度を知ることができる習熟レベル判定装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の習熟レベル判定装置は、判定器学習部と、問題・判定レベル毎ラベル分布生成部と、習熟レベル判定部と、終了判定部を含む。
【0007】
判定器学習部は、習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし、各問題に専属して習熟レベルを判定する各判定器を学習する。問題・判定レベル毎ラベル分布生成部は、習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布）を生成する。習熟レベル判定部は、ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定する。終了判定部は、所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行する。
【発明の効果】
【0008】
本発明の習熟レベル判定装置によれば、判定器による習熟レベルの判定結果である判定レベルの精度を知ることができる。
【図面の簡単な説明】
【0009】
【図1】実施例１の習熟レベル判定装置の機能構成を示すブロック図。
【図2】実施例１の習熟レベル判定装置の判定器学習動作を示すフローチャート。
【図3】実施例１の習熟レベル判定装置のラベル分布生成動作を示すフローチャート。
【図4】問題毎、判定レベル毎に生成されたラベル分布の例を示す図。
【図5】実施例１の習熟レベル判定装置の終了判定動作を示すフローチャート。
【図6】終了判定に累積の分散を用いる例について説明する図。
【図7】終了判定に信頼区間を用いる例について説明する図。
【図8】実施例１の習熟レベル判定装置の出題順最適化動作を示すフローチャート。
【図9】出題順決定動作例を示す図。
【図10】コンピュータの機能構成例を示す図。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例0011】
以下、図１を参照して、実施例１の習熟レベル判定装置の機能構成を説明する。同図に示すように、本実施例の習熟レベル判定装置１は、判定器学習部１００と、判定器記憶部１０５と、問題・判定レベル毎ラベル分布生成部１１０と、ラベル分布記憶部１１５と、習熟レベル判定部１２０と、終了判定部１２５と、出題順最適化部１３０を含む。以下、図２を参照して、習熟レベル判定装置１の判定器学習動作を説明する。
【0012】
＜判定器学習動作＞
判定器学習部１００は、習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし、各問題に専属して習熟レベルを判定する各判定器を学習する（Ｓ１００）。判定器記憶部１０５は学習された各判定器を記憶する（Ｓ１０５）。
判定器学習部１００は、習熟レベルをラベルとして付与した複数の解答者による答案データを学習データとし、各問題に専属して習熟レベルを判定する各判定器を学習する（Ｓ１００）。判定器記憶部１０５は学習された各判定器を記憶する（Ｓ１０５）。
【0013】
≪答案データ≫
答案データとして、例えば英作文の問題、英語の読解問題などが考えられる。答案は英語以外の教科であってもよい。例えば、数学、国語、社会、理科の問題に対する答案であってもよい。
答案データとして、例えば英作文の問題、英語の読解問題などが考えられる。答案は英語以外の教科であってもよい。例えば、数学、国語、社会、理科の問題に対する答案であってもよい。
【0014】
≪習熟レベル≫
習熟レベルは、例えばレベル１（低評価）～レベル５（高評価）の５段階とすることができる。この他にも、Ａ＋～Ａ－，Ｂ＋～Ｂ－，Ｃ＋～Ｃ－，Ｄ＋～Ｄ－，Ｆの１３段階としてもよいし、１～１０の１０段階としてもよいし、０～１００点満点の方式としてもよい。以下の実施例においては、レベル１（低評価）～レベル５（高評価）の５段階の例を用いて説明する。
習熟レベルは、例えばレベル１（低評価）～レベル５（高評価）の５段階とすることができる。この他にも、Ａ＋～Ａ－，Ｂ＋～Ｂ－，Ｃ＋～Ｃ－，Ｄ＋～Ｄ－，Ｆの１３段階としてもよいし、１～１０の１０段階としてもよいし、０～１００点満点の方式としてもよい。以下の実施例においては、レベル１（低評価）～レベル５（高評価）の５段階の例を用いて説明する。
【0015】
≪習熟レベルの評価対象≫
習熟レベルの評価対象は、その教科全体に対する評価であってもよいし、その教科の特定の出題分野に対する評価であってもよい。例えば英作文の問題を出題する場合、習熟レベルとして英作文能力全般についてを評価対象としてもよいし、例えば出題範囲が決められている（特定の文法規則等を使用することが決められている）場合には、該当する出題範囲の英作文能力のみを評価対象としてもよい。
習熟レベルの評価対象は、その教科全体に対する評価であってもよいし、その教科の特定の出題分野に対する評価であってもよい。例えば英作文の問題を出題する場合、習熟レベルとして英作文能力全般についてを評価対象としてもよいし、例えば出題範囲が決められている（特定の文法規則等を使用することが決められている）場合には、該当する出題範囲の英作文能力のみを評価対象としてもよい。
【0016】
≪ラベル付与≫
ラベル付与は、例えば教師、添削者が答案データ毎に習熟レベルを判断し、これを付与することにより実行すればよい。
ラベル付与は、例えば教師、添削者が答案データ毎に習熟レベルを判断し、これを付与することにより実行すればよい。
【0017】
≪学習データ≫
習熟レベルをラベルとして付与した複数の解答者による大量の答案データである。後述するテストデータと同じ内容のデータであるが、用途が異なるためテストデータと重複したデータを用いないようにする必要がある。運用上は、ラベルを付与した大量の答案データを所定の割合で分割し、一方を学習データ、他方をテストデータとすればよい。
習熟レベルをラベルとして付与した複数の解答者による大量の答案データである。後述するテストデータと同じ内容のデータであるが、用途が異なるためテストデータと重複したデータを用いないようにする必要がある。運用上は、ラベルを付与した大量の答案データを所定の割合で分割し、一方を学習データ、他方をテストデータとすればよい。
【0018】
≪判定器の学習≫
判定器は、上述のラベル（習熟レベル）付き答案データを学習データとして教師あり学習によって学習されるモデルであり、前述したように各問題に専属する判定器として学習されるものとする。例えば問題１～Ｘの計Ｘ問の英作文の問題が出題されたものとすると、問題１に専属する判定器１、問題２に専属する判定器２、…、問題Ｘに専属する判定器Ｘがそれぞれ学習される。
判定器は、上述のラベル（習熟レベル）付き答案データを学習データとして教師あり学習によって学習されるモデルであり、前述したように各問題に専属する判定器として学習されるものとする。例えば問題１～Ｘの計Ｘ問の英作文の問題が出題されたものとすると、問題１に専属する判定器１、問題２に専属する判定器２、…、問題Ｘに専属する判定器Ｘがそれぞれ学習される。
【0019】
≪判定レベル≫
判定器により判定された習熟レベルを「判定レベル」とも呼称する。
判定器により判定された習熟レベルを「判定レベル」とも呼称する。
【0020】
≪判定器の判定動作の例≫
例えば、Ｎ題の自由英作文の問題が出題された場合、判定器ｎ（ｎ＝１、…、Ｎ）は、英作文問題ｎについての解答者Ｐの答案を入力とし、解答者Ｐの英作文能力全般についての習熟レベルを判定し、判定レベル（例えば５段階評価の３）を出力する。
例えば、Ｎ題の自由英作文の問題が出題された場合、判定器ｎ（ｎ＝１、…、Ｎ）は、英作文問題ｎについての解答者Ｐの答案を入力とし、解答者Ｐの英作文能力全般についての習熟レベルを判定し、判定レベル（例えば５段階評価の３）を出力する。
【0021】
例えば、Ｍ題の分詞構文を使った短い英作文が出題された場合、判定器ｍ（ｍ＝１、…、Ｍ）は、英作文問題ｍについての解答者Ｑの答案を入力とし、解答者Ｑの分詞構文に関する英作文能力の習熟レベルを判定し、判定レベル（例えば５段階評価の４）を出力する。
【0022】
【0023】
＜ラベル分布生成動作＞
問題・判定レベル毎ラベル分布生成部１１０は、習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布とも呼称する）を生成する（Ｓ１１０）。ラベル分布記憶部１１５は、生成されたラベル分布を記憶する（Ｓ１１５）。
問題・判定レベル毎ラベル分布生成部１１０は、習熟レベルをラベルとして付与した複数の解答者による答案データのうち、学習データを含まない答案データをテストデータとし、問題毎に、各問題に専属する各判定器により、テストデータに基づいて判定された習熟レベル（以下、判定レベル）毎に、テストデータに付与されているラベルの分布（以下、ラベル分布とも呼称する）を生成する（Ｓ１１０）。ラベル分布記憶部１１５は、生成されたラベル分布を記憶する（Ｓ１１５）。
【0024】
≪テストデータ≫
習熟レベルをラベルとして付与した複数の解答者による大量の答案データであり、前述した学習データと同じ内容のデータであるが、用途が異なるため学習データと重複したデータを用いないようにする必要がある。学習データを用いて学習した各判定器が出力する判定レベルとテストデータに付与されているラベルとの差分を評価することにより、各判定器の精度を評価することができる。
習熟レベルをラベルとして付与した複数の解答者による大量の答案データであり、前述した学習データと同じ内容のデータであるが、用途が異なるため学習データと重複したデータを用いないようにする必要がある。学習データを用いて学習した各判定器が出力する判定レベルとテストデータに付与されているラベルとの差分を評価することにより、各判定器の精度を評価することができる。
【0025】
≪ラベル分布≫
前述したようにラベル分布は、問題毎、判定レベル毎に生成される。ラベル分布の例を図４に示した。例えばテストデータのうち問題１についての複数の解答者の答案データを判定器１により習熟レベル判定した場合、判定レベル３についてのラベル分布は、レベル１のラベルが付与された答案４件、レベル２のラベルが付与された答案１８件、レベル３のラベルが付与された答案１００件、レベル４のラベルが付与された答案１７件、レベル５のラベルが付与された答案４件という分布になっている。この事例において、判定器１は、レベル１、２のラベルが付与された答案２２件について、過大と考えられる判定をしており、レベル３のラベルが付与された答案１００件（全１４３件）について適正と考えられる判定をしており、レベル４、５のラベル付与された答案２１件について過小と考えられる判定をしていることになる。上述のラベル分布は値がばらついており、このばらつきが少ないほど判定器の性能が高いことを示す。例えば問題２についての判定器２のレベル３についてのラベル分布は、レベル３のラベルが付与された答案が１３５件（全１６０件）あり、判定器１のレベル３についてのラベル分布よりもばらつきが少ない。
前述したようにラベル分布は、問題毎、判定レベル毎に生成される。ラベル分布の例を図４に示した。例えばテストデータのうち問題１についての複数の解答者の答案データを判定器１により習熟レベル判定した場合、判定レベル３についてのラベル分布は、レベル１のラベルが付与された答案４件、レベル２のラベルが付与された答案１８件、レベル３のラベルが付与された答案１００件、レベル４のラベルが付与された答案１７件、レベル５のラベルが付与された答案４件という分布になっている。この事例において、判定器１は、レベル１、２のラベルが付与された答案２２件について、過大と考えられる判定をしており、レベル３のラベルが付与された答案１００件（全１４３件）について適正と考えられる判定をしており、レベル４、５のラベル付与された答案２１件について過小と考えられる判定をしていることになる。上述のラベル分布は値がばらついており、このばらつきが少ないほど判定器の性能が高いことを示す。例えば問題２についての判定器２のレベル３についてのラベル分布は、レベル３のラベルが付与された答案が１３５件（全１６０件）あり、判定器１のレベル３についてのラベル分布よりもばらつきが少ない。
【0026】
【0027】
＜終了判定動作＞
習熟レベル判定部１２０は、ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定する（Ｓ１２０）。
習熟レベル判定部１２０は、ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定する（Ｓ１２０）。
【0028】
終了判定部１２５は、所定の問題における判定レベルに対応するラベル分布のばらつき度合いを示す指標に基づいて所定の解答者における習熟レベル判定の終了判定を実行する（Ｓ１２５）。ラベル分布のばらつき度合いとは、例えばラベル分布の分散である。
【0029】
≪終了判定の事例１≫
例えば、終了判定部１２５は、ラベル分布の分散が所定の閾値よりも低い場合に、習熟レベル判定を終了と判定することができる。
例えば、終了判定部１２５は、ラベル分布の分散が所定の閾値よりも低い場合に、習熟レベル判定を終了と判定することができる。
【0030】
例えば、所定の解答者Ｒにおいて問題１、問題２を順に解いた答案データ（ラベル未付与）について、判定器１、判定器２がそれぞれ解答者Ｒの習熟レベルを判定したところ、問題１の判定レベルが３、問題２の判定レベルが２になったものとする。この場合、これらに対応するラベル分布のばらつき度合いを表す分散の値はそれぞれ、０．４７、０．２８となる（図４の網掛け部を参照）。分散に対して設定する閾値を例えば０．３とすれば、判定器２が条件を満たすことになり、判定器２が出力した判定レベル２を解答者Ｒの習熟レベル判定結果として出力し、習熟レベル判定を終了とする。この場合、解答者Ｒは習熟レベル判定のために問題３を解かなくてよいため、解答者Ｒの負担を軽減することができる。
【0031】
≪終了判定の事例２≫
以下、解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとする。
以下、解答者Ｒが、問題１、…、問題Ｋについて回答し、問題ｋ（ｋ＝１、…、Ｋ）の答案データに対する判定器ｋの判定レベルに対応するラベル分布をＸｋとするとき、Ｘ１、…、ＸＫの平均値（Ｘ１＋…＋ＸＫ）／Ｋの平均値Ｅ（（Ｘ１＋…＋ＸＫ）／Ｋ）および分散Ｖ（（Ｘ１＋…＋ＸＫ）／Ｋ）をそれぞれ、累積の平均値、累積の分散と呼ぶものとする。
【0032】
例えば、終了判定部１２５は、複数の問題における判定レベルに対応する複数のラベル分布の累積の分散が所定の閾値よりも低い場合に、習熟レベル判定を終了と判定することもできる。例えば図６に示すように、解答者Ｒの問題１の答案データに対する判定器１の判定レベルが３（対応するラベル分布Ｘ１の平均値Ｅ（Ｘ１）＝２．９９、分散Ｖ（Ｘ１）＝０．４７）、解答者Ｒの問題２の答案データに対する判定器２の判定レベルが２（対応するラベル分布Ｘ２の平均値Ｅ（Ｘ２）＝２．１６、分散Ｖ（Ｘ２）＝０．２８）、解答者Ｒの問題３の答案データに対する判定器３の判定レベルが３（対応するラベル分布Ｘ３の平均値Ｅ（Ｘ３）＝２．９５、分散Ｖ（Ｘ３）＝０．３９）である場合に、問題２までの累積の分散は、
である。また、問題３までの累積の分散は、
である。従って、閾値＝０．２０と設定すれば、解答者Ｒの習熟レベル判定は問題２で終了と判定される。閾値＝０．１５と設定すれば、解答者Ｒの習熟レベル判定は問題３で終了と判定される。閾値＝０．１０と設定すれば、解答者Ｒの習熟レベル判定は問題３以降も続行される。解答者Ｒの習熟レベル判定結果として累積の平均値を用いることができる。例えば、問題２で習熟レベル判定が終了した場合、
であり、問題３で習熟レベル判定が終了した場合、
である。
【数1】
である。また、問題３までの累積の分散は、
【数2】
である。従って、閾値＝０．２０と設定すれば、解答者Ｒの習熟レベル判定は問題２で終了と判定される。閾値＝０．１５と設定すれば、解答者Ｒの習熟レベル判定は問題３で終了と判定される。閾値＝０．１０と設定すれば、解答者Ｒの習熟レベル判定は問題３以降も続行される。解答者Ｒの習熟レベル判定結果として累積の平均値を用いることができる。例えば、問題２で習熟レベル判定が終了した場合、
【数3】
であり、問題３で習熟レベル判定が終了した場合、
【数4】
である。
【0033】
≪終了判定の事例３≫
また、例えば、終了判定部１２５は、複数の問題における判定レベルに対応する複数のラベル分布から得られる累積の平均値と累積の分散を用いて計算した所定の信頼区間（Ｔ％信頼区間、例えばＴ＝９５）に整数値が１つのみ含まれる場合に、習熟レベル判定を終了と判定することもできる。例えば図７に示すように、問題１の判定レベル３、問題２の判定レベル２にそれぞれ対応するラベル分布から得られる累積の平均値と累積の分散を用いて計算した９５％信頼区間は［１．９８，３．１８］であり、９５％信頼区間に整数値が２つ（レベル２、レベル３）含まれるため、判定レベルが２であるか３であるか未だ定まっていないものと捉えることができる。この場合、終了判定部１２５は習熟レベル判定を終了と判定しない。一方、問題１～３の各判定レベルに対応するラベル分布から得られる累積の平均値と累積の分散を用いて計算した９５％信頼区間は［２．３０，３．１０］であり、９５％信頼区間に整数値が１つ（レベル３）のみ含まれるため、判定レベルが３に定まったと捉えることができる。この場合、終了判定部１２５は習熟レベル判定を終了と判定してよい。
また、例えば、終了判定部１２５は、複数の問題における判定レベルに対応する複数のラベル分布から得られる累積の平均値と累積の分散を用いて計算した所定の信頼区間（Ｔ％信頼区間、例えばＴ＝９５）に整数値が１つのみ含まれる場合に、習熟レベル判定を終了と判定することもできる。例えば図７に示すように、問題１の判定レベル３、問題２の判定レベル２にそれぞれ対応するラベル分布から得られる累積の平均値と累積の分散を用いて計算した９５％信頼区間は［１．９８，３．１８］であり、９５％信頼区間に整数値が２つ（レベル２、レベル３）含まれるため、判定レベルが２であるか３であるか未だ定まっていないものと捉えることができる。この場合、終了判定部１２５は習熟レベル判定を終了と判定しない。一方、問題１～３の各判定レベルに対応するラベル分布から得られる累積の平均値と累積の分散を用いて計算した９５％信頼区間は［２．３０，３．１０］であり、９５％信頼区間に整数値が１つ（レベル３）のみ含まれるため、判定レベルが３に定まったと捉えることができる。この場合、終了判定部１２５は習熟レベル判定を終了と判定してよい。
【0034】
≪終了判定の事例４≫
終了判定部１２５は、所定の問題における最小、または最大の判定レベルに対応するラベル分布の平均値、およびばらつき度合いを示す指標を他の判定レベルに対応するラベル分布と近似するように補正してもよい。最小、または最大の判定レベルとは、例えば判定レベル１～５とした場合の判定レベル１、５のことである。判定レベル１、判定レベル５のラベル分布は、片側にしか分布がなく、いわゆるベルカーブ形状とならない。例えば判定レベル１のラベル分布は、ラベル２、３などにも分布があるがラベル０、ラベル－１などが設定されていないため分布の左側が存在しない。判定レベル５のラベル分布についても同様であり、ラベル６、７などが設定されていないため分布の右側が存在しない。
終了判定部１２５は、所定の問題における最小、または最大の判定レベルに対応するラベル分布の平均値、およびばらつき度合いを示す指標を他の判定レベルに対応するラベル分布と近似するように補正してもよい。最小、または最大の判定レベルとは、例えば判定レベル１～５とした場合の判定レベル１、５のことである。判定レベル１、判定レベル５のラベル分布は、片側にしか分布がなく、いわゆるベルカーブ形状とならない。例えば判定レベル１のラベル分布は、ラベル２、３などにも分布があるがラベル０、ラベル－１などが設定されていないため分布の左側が存在しない。判定レベル５のラベル分布についても同様であり、ラベル６、７などが設定されていないため分布の右側が存在しない。
【0035】
例えば終了判定部１２５は、存在しない片側の分布を擬似的に生成して合成することによって、該当のラベル分布の平均値、およびばらつき度合いを示す指標を、他の判定レベルに対応するラベル分布と近似するように補正してもよい。
【0036】
また、例えば最小の判定レベルよりも小さい整数値のラベル、最大の判定レベルよりも大きい整数値のラベルをダミーラベルとして用意しておき、人手で付与しておいてもよい。
【0037】
【0038】
＜出題順最適化動作＞
出題順最適化部１３０は、所定の解答者における所定の問題の判定レベルに対応するラベル分布の平均二乗誤差が最も小さい問題を所定の解答者に対して次に出題する問題と設定する（Ｓ１３０）。
出題順最適化部１３０は、所定の解答者における所定の問題の判定レベルに対応するラベル分布の平均二乗誤差が最も小さい問題を所定の解答者に対して次に出題する問題と設定する（Ｓ１３０）。
【0039】
例えば解答者Ｒの問題１における判定器１の判定レベルが３であった場合、解答者Ｒの判定レベルは最終的に３と結論される可能性が高い。このとき、例えば図９に示すように、各問題（問題２～４）の判定レベル３におけるラベル分布の最小二乗誤差は、それぞれ０．１９、０．３９、０．５７となっており（同図の網掛け部を参照）、問題２の最小二乗誤差が最小であることから、問題２は、判定レベル３に属する解答者の判定において優れているということができる。
【0040】
従ってこの場合、出題順最適化部１３０は、解答者Ｒにおける問題１の判定器１による判定レベル３に対応するラベル分布の平均二乗誤差が最も小さい問題２を解答者Ｒに対して、問題１に続いて、次に出題する問題と設定すればよい。同図の事例の場合、問題１→問題２→問題３→問題４の順で出題される。
【0041】
２つ目の問題以降、過去に解答してきた問題の累積の平均値の値に最も近い判定レベルのラベル分布の平均二乗誤差が最も小さい問題を、次に出題する問題として設定してもよい。
【0042】
≪変形例１≫
実施例１の終了判定部１２５を省略し、習熟レベル判定部１２０が最終的な出力を行う構成に変形してもよい（この変形例では、習熟レベル判定部１２０Ａと呼称する）。この場合、習熟レベル判定部１２０Ａは、ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定し、判定レベルに対応するラベル分布の統計指標を生成して出力する。
実施例１の終了判定部１２５を省略し、習熟レベル判定部１２０が最終的な出力を行う構成に変形してもよい（この変形例では、習熟レベル判定部１２０Ａと呼称する）。この場合、習熟レベル判定部１２０Ａは、ラベルが付与されていない所定の解答者における所定の問題の答案データに基づいて、専属する判定器により習熟レベルを判定し、判定レベルに対応するラベル分布の統計指標を生成して出力する。
【0043】
ラベル分布の統計指標とは、例えば前述した累積の平均値、累積の分散である。この変形例では終了判定部１２５が省略されているものの、習熟レベル判定部１２０Ａが、ラベル分布の統計指標として例えば累積の平均値、累積の分散を出力するため、評価者は出力された累積の分散の値を参照して、習熟レベル判定の終了／継続の何れかを判断することができる。評価者は、習熟レベル判定を終了すると判断した場合に、累積の平均値に基づいて解答者の習熟レベルを判定することができる。
【0044】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ－ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【0045】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【0046】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【0047】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【0048】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【0049】
上述の各種の処理は、図１０に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、入力部１００３０、出力部１００４０などに動作させることで実施できる。
【0050】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ（Random Access Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ－ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。
【0051】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【0052】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【0053】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】