知財求人 - 知財ポータルサイト「IP Force」
特開2024-74138出題最適化システム、出題最適化方法、及び出題最適化プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024074138
(43)【公開日】2024-05-30
(54)【発明の名称】出題最適化システム、出題最適化方法、及び出題最適化プログラム
(51)【国際特許分類】
G09B 7/02 20060101AFI20240523BHJP
G06Q 50/20 20120101ALI20240523BHJP
【ＦＩ】
G09B7/02
G06Q50/20
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022185234
(22)【出願日】2022-11-18
(11)【特許番号】
(45)【特許公報発行日】2023-12-07
(71)【出願人】
【識別番号】517146046
【氏名又は名称】株式会社シー・ビー・ティ・ソリューションズ
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】池野 亮
【テーマコード（参考）】
2C028
5L049
5L050
【Ｆターム（参考）】
2C028BC01
2C028BD01
5L049CC34
5L050CC34
(57)【要約】
【課題】出題する問題の難易度のばらつきを抑えた問題選択と試験結果の問題選択への反映を可能とする。
【解決手段】出題最適化システムは、試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を格納する記憶部と、前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、を含む。
【選択図】図３
【解決手段】出題最適化システムは、試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を格納する記憶部と、前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、を含む。
【選択図】図３
【特許請求の範囲】
【請求項1】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を格納する記憶部と、
前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、
を含む出題最適化システム。
前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、
を含む出題最適化システム。
【請求項2】
前記問題選択手法として前記所定の平均法による手法を用いる場合には、
前記問題生成部は、取得部と、第１判定部と、ランダム設定部と、計算部と、設問設定部と、第２判定部とを含み、
前記取得部は、前記設問プールと、出題する設問数Ｎとを取得し、
前記第１判定部は、前記設問プールの困難度の平均が許容誤差を満たす所定のランダム選択条件を満たすか否かを判定し、
前記ランダム設定部は、前記ランダム選択条件を満たす場合に、セットを空にして前記設問プールからランダムに設問を選択し、
前記計算部は、前記ランダム選択条件を満たさない場合に、前記セットの現在の設問数と、前記セットの現在の設問の困難度の平均と、目標困難度とに基づく取得ターゲット困難度を計算し、前記取得ターゲット困難度に応じた所定数の設問を前記設問プールから選んで選択候補とし、前記選択候補から設問を選択し、
前記設問設定部は、選択された設問を前記セットに追加し、選択された設問を前記設問プールから除外し、
前記第２判定部は、前記第１判定部、前記ランダム設定部、前記計算部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで処理を繰り返す、
請求項１に記載の出題最適化システム。
前記問題生成部は、取得部と、第１判定部と、ランダム設定部と、計算部と、設問設定部と、第２判定部とを含み、
前記取得部は、前記設問プールと、出題する設問数Ｎとを取得し、
前記第１判定部は、前記設問プールの困難度の平均が許容誤差を満たす所定のランダム選択条件を満たすか否かを判定し、
前記ランダム設定部は、前記ランダム選択条件を満たす場合に、セットを空にして前記設問プールからランダムに設問を選択し、
前記計算部は、前記ランダム選択条件を満たさない場合に、前記セットの現在の設問数と、前記セットの現在の設問の困難度の平均と、目標困難度とに基づく取得ターゲット困難度を計算し、前記取得ターゲット困難度に応じた所定数の設問を前記設問プールから選んで選択候補とし、前記選択候補から設問を選択し、
前記設問設定部は、選択された設問を前記セットに追加し、選択された設問を前記設問プールから除外し、
前記第２判定部は、前記第１判定部、前記ランダム設定部、前記計算部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで処理を繰り返す、
請求項１に記載の出題最適化システム。
【請求項3】
前記計算部は前記取得ターゲット困難度の計算及び前記選択候補を用いた選択の前に、
前記セットの現在の設問数と、前記セットの現在の設問の識別力の平均と、目標識別力とに基づく取得ターゲット識別力を計算し、前記取得ターゲット識別力の値以上となる設問に選択可能な設問を限定した前記設問プールを作成し、
前記取得ターゲット困難度に応じた所定数の設問を前記限定した前記設問プールから選んで前記選択候補とする、請求項２に記載の出題最適化システム。
前記セットの現在の設問数と、前記セットの現在の設問の識別力の平均と、目標識別力とに基づく取得ターゲット識別力を計算し、前記取得ターゲット識別力の値以上となる設問に選択可能な設問を限定した前記設問プールを作成し、
前記取得ターゲット困難度に応じた所定数の設問を前記限定した前記設問プールから選んで前記選択候補とする、請求項２に記載の出題最適化システム。
【請求項4】
前記問題選択手法として前記所定の関数による手法を用いる場合には、
前記問題生成部は、取得部と、分位点算出部と、項目情報量計算部と、分位点選択部と、変換部と、設問設定部と、判定部とを含み、
前記取得部は、出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
前記分位点算出部は、出題に対してあらかじめ設定された所定の確率分布について、分位点リストとして分位点の各々を算出し、
前記項目情報量計算部は、前記分位点の各々について、当該分位点での前記設問プールの各設問についての項目情報量を計算し、
前記分位点選択部は、前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
前記変換部は、選択された前記分位点での各設問の項目情報量に基づく値を、入力の各設問を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
前記設問設定部は、変換された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記判定部は、前記分位点選択部、前記変換部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで繰り返す、
請求項１に記載の出題最適化システム。
前記問題生成部は、取得部と、分位点算出部と、項目情報量計算部と、分位点選択部と、変換部と、設問設定部と、判定部とを含み、
前記取得部は、出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
前記分位点算出部は、出題に対してあらかじめ設定された所定の確率分布について、分位点リストとして分位点の各々を算出し、
前記項目情報量計算部は、前記分位点の各々について、当該分位点での前記設問プールの各設問についての項目情報量を計算し、
前記分位点選択部は、前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
前記変換部は、選択された前記分位点での各設問の項目情報量に基づく値を、入力の各設問を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
前記設問設定部は、変換された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記判定部は、前記分位点選択部、前記変換部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで繰り返す、
請求項１に記載の出題最適化システム。
【請求項5】
前記所定の関数は、ｎ個の実数の組を入力すると、確率となるｎ個の実数の組を出力する関数であり、
前記各設問の項目情報量の大小関係を保ちながら、入力の実数が他の実数と比べて大きいほど、対応する出力となる実数の確率値が大きくなるように、実数の各々を前記確率値に変換する、請求項４に記載の出題最適化システム。
前記各設問の項目情報量の大小関係を保ちながら、入力の実数が他の実数と比べて大きいほど、対応する出力となる実数の確率値が大きくなるように、実数の各々を前記確率値に変換する、請求項４に記載の出題最適化システム。
【請求項6】
前記分位点算出部は、前記確率分布の前記中心に近いほど前記分位点が密になり、前記確率分布の前記中心から離れるほど前記分位点が疎になるように、前記分位点リストとして分位点の各々を算出する、請求項４に記載の出題最適化システム。
【請求項7】
前記取得部は、前記設問プールとともに、前記出題に対する平均及び標準偏差の設定を受け付け、前記確率分布を設定する、請求項４に記載の出題最適化システム。
【請求項8】
前記設問プールから選択される設問には分野ごとの出題数の制約を有し、
前記設問設定部は、分野の各々について、当該分野で選択された設問の数が所定数に達した場合には、以降の繰り返しの選択において当該分野を選択対象から除外する、請求項４に記載の出題最適化システム。
前記設問設定部は、分野の各々について、当該分野で選択された設問の数が所定数に達した場合には、以降の繰り返しの選択において当該分野を選択対象から除外する、請求項４に記載の出題最適化システム。
【請求項9】
前記統計情報は、各設問に関する情報と、前記試験実施履歴における各試験結果に関する情報を含み、
前記各設問に関する情報は、正答率、点双列相関係数、識別指数、項目反応理論における識別力であるａ値、及び困難度であるｂ値の何れかを少なくとも含み、
前記各試験結果に関する情報は、信頼性係数、標準偏差、平均点、及び受験者の得点分布の何れかを少なくとも含む請求項１に記載の出題最適化システム。
前記各設問に関する情報は、正答率、点双列相関係数、識別指数、項目反応理論における識別力であるａ値、及び困難度であるｂ値の何れかを少なくとも含み、
前記各試験結果に関する情報は、信頼性係数、標準偏差、平均点、及び受験者の得点分布の何れかを少なくとも含む請求項１に記載の出題最適化システム。
【請求項10】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成し、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する、
処理をコンピュータに実行させる出題最適化方法。
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する、
処理をコンピュータに実行させる出題最適化方法。
【請求項11】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成し、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する、
処理をコンピュータに実行させる出題最適化プログラム。
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する、
処理をコンピュータに実行させる出題最適化プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、出題最適化システム、出題最適化方法、及び出題最適化プログラムに関する。
【背景技術】
【0002】
従来、学習分野において、ユーザの学習状況を分析する技術や試験問題などを評価するための技術がある。
【0003】
例えば、従来のＭ－ＩＲＴ以上の精度を以って受講者（ユーザ）の理解度または正答確率を推定する技術（特許文献１参照）がある。この技術では、受講者におけるテスト項目に関する正答確率の算定に、項目反応理論による正答確率について重みを用いた重みつき平均を算定して用いている。
【0004】
また、例えば、項目反応理論における被験者（ユーザ）の能力値パラメータ（識別力）の推定値誤差を、より小さくする試験パラメータ推定方法（特許文献２参照）に関する技術がある。この技術では、能力値パラメータの値を正規化することに加え、値の分布が正規分布に近づくように、大小関係を維持しつつ、値を分布関数の変数軸上で移動させることをしている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2016-109981号公報
【特許文献2】特開2011-257676号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ここで、従来技術では、ユーザについての正答確率や能力値パラメータの推定精度を向上させることが目的とされている。一方、昨今の試験においては、ＣＢＴ（Ｃｏｍｐｕｔｅｒ Ｂａｓｅｄ Ｔｅｓｔｉｎｇ）試験と呼ばれるコンピュータを用いた試験が実施されるようになってきている。ＣＢＴ試験は、受験者が任意の日程で受験できる試験形式などを採用できることから、試験の実施頻度が多くなる傾向にある。一方、問題作成には多大なコストを要するため、用意できる問題数には限りがある。
【0007】
このように試験の実施頻度が多くなる一方で、試験ごとに問題の難易度にばらつきが生じてしまうおそれがある。試験ごとに出題の難易度にばらつきが生じてしまうと、受験者の不平等に繋がってしまい、試験の信頼性や品質に影響が生じてくる。そのため、試験において、出題する問題の難易度のばらつきを抑えられるような問題選択の手法が求められている。また、試験運営者にとっては、このような手法で試験問題を生成し、生成した試験問題による試験結果を問題選択に反映できるシステムが求められる。
【0008】
本開示は上記事情を鑑みてなされたものであり、出題する問題の難易度のばらつきを抑えた問題選択と試験結果の問題選択への反映を可能とする出題最適化システム、出題最適化方法、及び出題最適化プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
本開示の出題最適化システムは、試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を格納する記憶部と、前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、を含む。このような構成により、出題する問題の難易度のばらつきを抑えた問題選択と試験結果の問題選択への反映を可能とする。
【0010】
また、出題最適化システムについて、前記問題選択手法として前記所定の平均法による手法を用いる場合には、前記問題生成部は、取得部と、第１判定部と、ランダム設定部と、計算部と、設問設定部と、第２判定部とを含み、前記取得部は、前記設問プールと、出題する設問数Ｎとを取得し、前記第１判定部は、前記設問プールの困難度の平均が許容誤差を満たす所定のランダム選択条件を満たすか否かを判定し、前記ランダム設定部は、前記ランダム選択条件を満たす場合に、セットを空にして前記設問プールからランダムに設問を選択し、前記計算部は、前記ランダム選択条件を満たさない場合に、前記セットの現在の設問数と、前記セットの現在の設問の困難度の平均と、目標困難度とに基づく取得ターゲット困難度を計算し、前記取得ターゲット困難度に応じた所定数の設問を前記設問プールから選んで選択候補とし、前記選択候補から設問を選択し、前記設問設定部は、選択された設問を前記セットに追加し、選択された設問を前記設問プールから除外し、前記第２判定部は、前記第１判定部、前記ランダム設定部、前記計算部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで処理を繰り返す、ようにできる。このような平均法による手法により、出題する問題の難易度のばらつきを抑えた最適な問題選択を実現できる。
【0011】
また、出題最適化システムについて、前記問題選択手法として前記所定の関数による手法を用いる場合には、前記問題生成部は、取得部と、分位点算出部と、項目情報量計算部と、分位点選択部と、変換部と、設問設定部と、判定部とを含み、前記取得部は、出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、前記分位点算出部は、出題に対してあらかじめ設定された所定の確率分布について、分位点リストとして分位点の各々を算出し、前記項目情報量計算部は、前記分位点の各々について、当該分位点での前記設問プールの各設問についての項目情報量を計算し、前記分位点選択部は、前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、前記変換部は、選択された前記分位点での各設問の項目情報量に基づく値を、入力の各設問を確率値として出力が可能な所定の関数に入力し、確率値に変換し、前記設問設定部は、変換された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、前記判定部は、前記分位点選択部、前記変換部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで繰り返す、ようにできる。このような各分位点で項目情報量の高い設問を選択する手法によって、問題選択を行い、試験を実施することで、試験ごとの難易度のばらつきを抑止し、試験の品質を高めることができる。
【0012】
また、本開示の出題最適化方法は、試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成し、生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する、処理をコンピュータに実行させる。
【0013】
また、本開示の出題最適化プログラムは、試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の平均法による手法、及び候補とする各設問を確率値として出力可能な所定の関数による手法を含む問題選択手法の何れか一方を用いて、前記設問プールから設問を選択し、試験問題を生成し、生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する、処理をコンピュータに実行させる。
【発明の効果】
【0014】
本開示の出題最適化システム、出題最適化方法、及び出題最適化プログラムによれば、項目情報量の高い設問を選択し、出題する問題の難易度のばらつきを抑えた問題選択を可能とする、という効果を得られる。
【図面の簡単な説明】
【0015】
【発明を実施するための形態】
【0016】
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【0017】
本開示の各実施形態の概要を説明する（以下、各実施形態の詳細まで説明が共通するため、単に本実施形態と表記する）。本実施形態の手法は、前提として主に試験を実施する出題最適化の手法に関する。出題最適化は、以下、第１実施形態及び第２実施形態に係る問題選択手法、並びに選択した設問により生成した試験問題で実施した試験の試験結果の分析の反映によって実現される。試験は、例えば、ＣＢＴによる試験が主に想定されるが、ＣＢＴ以外にも適用可能である。
【0018】
図１は、出題最適化システムの最適化のサイクルの概要を示す図である。試験運営者が、出題の候補とする各設問（設問候補）を出題最適化システムに登録する。出題最適化システムでは統計情報から所定の問題選択手法で設問を選択し、試験問題を生成する。試験運営者、生成した試験問題により試験を実施する。出題最適化システムでは、受験者の試験結果を分析し、統計情報に反映する。出題最適化システムでは、試験結果の個別の統計情報を反映した最新の統計情報が蓄積され、その後に実施する試験の試験問題の生成に用いられる。このような出題・分析のサイクルにより、出題最適化システムによって生成する試験問題は、問題の難易度のばらつきを抑えるように最適化される。試験運営者は、最適化済みの試験問題で試験を実施できる。
【0019】
各実施形態に共通する本実施形態の出題最適化システム１００のハードウェア構成について説明する。
【0020】
図２は、本実施形態の出題最適化システム１００のハードウェア構成を示す図である。図１に示すように、出題最適化システム１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
【0021】
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、出題最適化プログラムが格納されている。
【0022】
ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
【0023】
入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
【0024】
表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。
【0025】
通信インタフェース１７は、端末等の他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
【0026】
出題最適化システム１００の各機能構成について説明する。図３は、本実施形態の出題最適化システム１００の構成を示すブロック図である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された出題最適化プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
【0027】
図３に示すように、出題最適化システム１００は機能的には、記憶部１０２と、問題生成部１１０と、分析部１１２とを含む。
【0028】
なお、後述する第１実施形態及び第２実施形態で説明するように、問題生成部１１０の内部構成及び処理の詳細がそれぞれ異なる。
【0029】
各実施形態の問題選択手法に共通して、試験問題に選ばれるひとつひとつの問題は、試験を管理する試験運営者によって分野ごとに用意された設問からなる設問プールから選択する。設問プールから選択される対象の問題を「設問」と表記し、処理に関しない一般的な試験に出題する問題を単に「問題」と表記する。各実施形態の問題選択手法によって設問を選択して試験問題を生成することで、試験運営者にとって所望の問題選択が可能な出題最適化が実現される。
【0030】
記憶部１０２には、試験運営者により試験問題の候補として登録された各設問、及び統計情報、及び後述する問題生成部１１０及び分析部１１２の処理に必要な種々の情報が格納されている。統計情報は設問及び各試験結果に関する情報であり、各設問に関する情報、及び各試験結果に関する情報を持つ。各設問については、出題の候補となる所定の設問プールが試験運営者によりあらかじめ定められている。統計情報については、後述する分析部で試験結果の個別の統計情報が算出される。なお、出題最適化システム１００においては、このように記憶部１０２に試験実施履歴に基づく各設問及び各設問の統計情報を持つことで、設問をアイテムとして扱うことができるアイテムバンクとして記憶部１０２が機能する。なお、試験運営者は設問を記憶部１０２に追加して登録することができる。
【0031】
統計情報について説明する。各設問に関する情報は、正答率、点双列相関係数、識別指数、項目反応理論における識別力であるａ値、及び困難度であるｂ値を含む。項目反応理論を利用していない場合には、点双列相関係数、及び識別指数が、識別力（ａ値）に対応し、正答率が困難度（ｂ値）に対応する。このように、各設問には、あらかじめ求められた識別力（ａ値）及び困難度（ｂ値）が設定されている。
【0032】
各試験結果に関する情報は、信頼性係数、標準偏差、平均点、中央値、最高値、最小値、及び受験者の得点分布を含む。なお、これらの統計量は、あくまで一例であり、各設問、各試験結果から取得可能な統計量を用いることができる。
【0033】
問題生成部１１０は、記憶部１０２から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の問題選択手法を用いて、設問プールから設問を選択し、試験問題を生成する。所定の問題選択手法とは、第１実施形態で説明する所定の平均法による手法、及び第２実施形態で説明する所定の関数による手法の何れか一方を用いる手法である。所定の平均法は、ａ値及びｂ値の平均を考慮する手法であり、所定の関数は、候補とする各設問を確率値として出力可能な関数である。何れも詳細は各実施形態にて後述する。
【0034】
分析部１１２は、問題生成部１１０で生成した試験問題の試験結果についての個別の統計情報を算出し、記憶部１０２の統計情報に反映する。統計情報のうち各設問に関する情報については、当該試験結果に含まれる設問に関して、上述した各設問に関する情報の個々の要素を反映すればよい。統計情報のうち試験結果に関する情報については、当該試験結果の情報として、上述した試験結果に関する情報の個々の要素を反映すればよい。
【0035】
なお、試験運営者は、分析部１１２の分析結果について、記憶部１０２の統計情報を参照して、統計情報の各数値を確認することができる。また、出題最適化システム１００では、表示部１６の表示により、統計情報をグラフ表示で確認可能なアプリケーションを導入してもよい。
【0036】
（処理の流れ）
次に、出題最適化システム１００の出題最適化方法としての作用について説明する。図４は、出題最適化システム１００による出題最適化処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から出題最適化プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、出題最適化処理が行なわれる。ＣＰＵ１１が出題最適化システム１００の各部として機能することにより、以下の処理を実行させる。
次に、出題最適化システム１００の出題最適化方法としての作用について説明する。図４は、出題最適化システム１００による出題最適化処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から出題最適化プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、出題最適化処理が行なわれる。ＣＰＵ１１が出題最適化システム１００の各部として機能することにより、以下の処理を実行させる。
【0037】
ステップＳ１００において、ＣＰＵ１１は、記憶部１０２から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、所定の問題選択手法を用いて、設問プールから設問を選択し、試験問題を生成する。
【0038】
ステップＳ１０２において、ＣＰＵ１１は、問題生成部１１０で生成した試験問題の試験結果を取得する。なお、試験問題の生成から試験実施までは数日から数週間等、一定期間あることが想定されるため、ステップＳ１００及びステップＳ１０２の間は一定期間を空けて実行されるステップである。
【0039】
ステップＳ１０４において、ＣＰＵ１１は、試験問題の試験結果についての個別の統計情報を算出し、記憶部１０２の統計情報に反映する。
【0040】
以上のように出題最適化システム１００では、試験結果の統計情報を更新し、更新した統計情報をもって次の試験問題の生成に利用することで出題の最適化を図る。
【0041】
（第１実施形態）
第１実施形態について説明する。第１実施形態は問題生成部１１０の問題選択手法に所定の平均法を用いる手法である。
第１実施形態について説明する。第１実施形態は問題生成部１１０の問題選択手法に所定の平均法を用いる手法である。
【0042】
図５は、第１実施形態の問題生成部１１０の詳細である。第１実施形態の問題生成部１１０は、取得部２１０と、第１判定部２１２と、ランダム設定部２１４と、計算部２１６と、設問設定部２１８と、第２判定部２２０とを含んで構成される。
【0043】
取得部２１０は、記憶部１０２から設問プールと、出題する設問数Ｎとを取得する。設問数Ｎはユーザからの入力を受け付けて取得してもよいし、あらかじめ設定しておいてもよい。
【0044】
ここで第１実施形態の問題生成部１１０の処理で用いる記号は以下のように定義される。なお、セットは、設問が追加されていく参照先であり、開始時及び処理の繰り返しの中でランダム設定部２１４が空にする。
Ｔｂ：目標困難度
Ｔａ：目標識別力
ＳＣ：現在のセット内設問数
ＳＡｂ：現在のセット内設問の困難度平均
ＳＡａ：現在のセット内設問の識別力平均
Ｌ：最大の選択候補の数（設定項目）
ε：ＳＡｂとＴｂの許容誤差（設定項目）
Ｔｂ：目標困難度
Ｔａ：目標識別力
ＳＣ：現在のセット内設問数
ＳＡｂ：現在のセット内設問の困難度平均
ＳＡａ：現在のセット内設問の識別力平均
Ｌ：最大の選択候補の数（設定項目）
ε：ＳＡｂとＴｂの許容誤差（設定項目）
【0045】
第１判定部２１２は、所定のランダム選択条件を満たすか否かを判定する。所定のランダム選択条件は、本実施形態では、「１問目である」又は「最終設問でなく、かつ｜ＳＡｂ－Ｔｂ｜≦εを満たす）」ことを条件とする。つまり、処理においてはセット内の困難度（ｂ値）の平均が許容誤差を満たすこと、がランダム選択条件を満たすこととされる。許容誤差を満たさない場合、計算部２１６の計算により設問の選択が行われる。
【0046】
ランダム設定部２１４は、ランダム選択条件を満たす場合に、セットを空にして設問プールからランダムに設問を選択する。
【0047】
計算部２１６の計算は、ランダム選択条件を満たさない場合に、識別力（ａ値）を用いる計算、及び困難度（ｂ値）を用いる計算を行う。なお、識別力の指定の有無を設定し、識別力の指定をなしに設定することで、識別力（ａ値）を用いる計算を省略するように構成してもよい。困難度（ｂ値）を用いる計算は、取得ターゲット困難度の計算及び選択候補を用いた選択である。
【0048】
まず、識別力（ａ値）を用いた計算について説明する。計算部２１６は、困難度（ｂ値）を用いる計算の前に、セットの現在の設問数と、セットの現在の設問の識別力の平均と、目標識別力とに基づく取得ターゲット識別力を計算する。取得ターゲット識別力は、例えば「取得ターゲット識別力＝（ＳＣ＋１）×Ｔａ－ＳＣ×ＳＡａ」により計算する。
【0049】
次に、計算部２１６は、識別力が取得ターゲット識別力の値以上となる設問に、選択可能な設問を限定した設問プールを作成する。計算部２１６では、次の困難度（ｂ値）を用いた計算では、限定した設問プールを用いる。
【0050】
次に、困難度（ｂ値）を用いた計算について説明する。計算部２１６は、セットの現在の設問数と、セットの現在の設問の困難度の平均と、目標困難度とに基づく取得ターゲット困難度を計算する。取得ターゲット困難度は、例えば「取得ターゲット困難度＝（ＳＣ＋１）×Ｔｂ－ＳＣ×ＳＡｂ」により計算する。
【0051】
計算部２１６は、取得ターゲット困難度に近い困難度の設問を、上記で限定した設問プールから選んで選択候補とし、選択候補から設問を選択する。選択候補は、取得ターゲット困難度に近い順に最大Ｌ問を限定した設問プールから選べばよい。取得ターゲット困難度との近さには閾値を定めてもよい。当該選択候補の選び方が、本開示の取得ターゲット困難度に応じた所定数の設問を選択候補とすることの一例である。選択候補から選択する設問は、識別及び力困難度の条件を定めて自動で選択候補から設問を選択してもよいし、ランダムでもよいし、人手で選択候補から設問を選択してもよい。
【0052】
設問設定部２１８は、選択された設問をセットに追加し、選択された設問を設問プールから除する。
【0053】
第２判定部２２０は、第１判定部２１２、ランダム設定部２１４、計算部２１６、及び設問設定部２１８の処理を設問数Ｎの設問を選択するまで処理を繰り返す。
【0054】
次に、第１実施形態の問題生成処理の作用について説明する。図６は、第１実施形態の問題生成処理の流れを示すフローチャートである。
【0055】
ステップＳ２００において、ＣＰＵ１１は、記憶部１０２から設問プールと、出題する試験問題の設問数Ｎとを取得する。
【0056】
ステップＳ２０２において、ＣＰＵ１１は、所定のランダム選択条件を満たすか否かを判定する。ランダム選択条件を満たす場合にはステップＳ２０４へ移行し、ランダム選択条件を満たさない場合にはステップＳ２８へ移行する。
【0057】
ステップＳ２０４において、ＣＰＵ１１は、セットを空にする。
【0058】
ステップＳ２０６において、ＣＰＵ１１は、設問プールからランダムに設問を選択する。次にステップＳ２２０へ移行する。
【0059】
ステップＳ２０８において、ＣＰＵ１１は、識別力の指定があるか否かを判定する。指定がある場合にはステップＳ２１０へ移行し、識別力の指定がない場合にはステップＳ２１４へ移行する。
【0060】
ステップＳ２１０において、ＣＰＵ１１は、セットの現在の設問数と、セットの現在の設問の識別力の平均と、目標識別力とに基づく取得ターゲット識別力を計算する。
【0061】
ステップＳ２１２において、ＣＰＵ１１は、識別力が取得ターゲット識別力の値以上となる設問に、選択可能な設問を限定した設問プールを作成する。
【0062】
ステップＳ２１４において、ＣＰＵ１１は、セットの現在の設問数と、セットの現在の設問の困難度の平均と、目標困難度とに基づく取得ターゲット困難度を計算する。
【0063】
ステップＳ２１６において、ＣＰＵ１１は、取得ターゲット困難度に近い困難度の設問を、設問プールから最大Ｌ問を選んで選択候補とする。なお、ステップＳ２１２を経ている場合には、限定した設問プールを用いる。
【0064】
ステップＳ２１８において、ＣＰＵ１１は、選択候補から１問の設問を選択する。
【0065】
ステップＳ２２０において、ＣＰＵ１１は、選択された設問をセットに追加する。
【0066】
ステップＳ２２２において、ＣＰＵ１１は、選択された設問を設問プールから除外する。
【0067】
ステップＳ２２４において、ＣＰＵ１１は、選択した設問数が設問数Ｎ以上（選択した設問数≧Ｎ）になったか否かを判定する。Ｎ以上の場合は処理を終了し、Ｎ以上でない場合はステップＳ２０２に戻って次の処理を繰り返す。
【0068】
以上説明したように、第１実施形態に係る出題最適化システム１００は、出題する問題の難易度のばらつきを抑えた問題選択と試験結果の問題選択への反映を可能とする。
【0069】
（第２実施形態）
第２実施形態について説明する。第２実施形態は問題生成部１１０の問題選択手法に所定の関数を用いる手法である。上記課題において説明したように、試験の実施頻度が多くなりつつある昨今では、項目情報量を高くなるような試験の実施により、試験の品質を保つことが求められる。そこで本実施形態では、より項目情報量の高い問題選択を安定して実現するため、問題選択手法として、ｓｏｆｔｍａｘ関数を用いて各設問の項目情報量を確率値に変換して設問を選択する手法を用いる。ｓｏｆｔｍａｘ関数が、本開示の所定の関数の一例である。
第２実施形態について説明する。第２実施形態は問題生成部１１０の問題選択手法に所定の関数を用いる手法である。上記課題において説明したように、試験の実施頻度が多くなりつつある昨今では、項目情報量を高くなるような試験の実施により、試験の品質を保つことが求められる。そこで本実施形態では、より項目情報量の高い問題選択を安定して実現するため、問題選択手法として、ｓｏｆｔｍａｘ関数を用いて各設問の項目情報量を確率値に変換して設問を選択する手法を用いる。ｓｏｆｔｍａｘ関数が、本開示の所定の関数の一例である。
【0070】
本実施形態の手法の処理の流れの概要を説明する。出題する問題の設問数をＮとして、以下、（１）～（６）の手順で処理を行うことで試験問題の設問を選択する。各処理の詳細は後述する。
（１）：事前に設定された正規分布からＮ＋１の分位点を求める。
（２）：設問プール内の各設問について（１）で求めた各分位点での項目情報量を計算する。
（３）：（１）で求めた分位点リストの中心から順に選択していく。
（４）：（３）で選ばれた分位点での各設問の項目情報量をｓｏｆｔｍａｘ関数に入力し、確率値に変換する。
（５）：（４）で求めた確率で設問を選択し、選択された設問を設問プールから排除する。
（６）：（３）から（５）をＮ回繰り返す。
（１）：事前に設定された正規分布からＮ＋１の分位点を求める。
（２）：設問プール内の各設問について（１）で求めた各分位点での項目情報量を計算する。
（３）：（１）で求めた分位点リストの中心から順に選択していく。
（４）：（３）で選ばれた分位点での各設問の項目情報量をｓｏｆｔｍａｘ関数に入力し、確率値に変換する。
（５）：（４）で求めた確率で設問を選択し、選択された設問を設問プールから排除する。
（６）：（３）から（５）をＮ回繰り返す。
【0071】
図７は、第２実施形態の問題生成部１１０の構成の詳細である。第２実施形態の問題生成部１１０は、取得部３１０と、分位点算出部３１２と、項目情報量計算部３１４と、分位点選択部３１６と、変換部３１８と、設問設定部３２０と、判定部３２２とを含んで構成される。
【0072】
取得部３１０は、記憶部１０２から設問プールと、出題する試験問題の設問数Ｎとを取得する。設問数Ｎはユーザからの入力を受け付けて取得してもよいし、あらかじめ設定しておいてもよい。
【0073】
分位点算出部３１２は、所定の正規分布について、分位点リストとして分位点の各々を算出する。分位点算出部３１２の処理は、上記手順の（１）に対応している。正規分布は出題に対してあらかじめ定めた平均と標準偏差により設定され、能力値θの確率分布として表される。分位点は、確率密度関数（ｐｄｆ：ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ）の確率密度の値の累計から算出することができる。分位点算出部３１２は、確率密度の値の累計から分位点の各々を算出する。分位点の各々を算出することで、分位点の各々に対応する能力値θが決まり、分位点の能力値θに対応した困難度及び識別力の設問を、設問プールの各設問から抽出できる。
【0074】
図８に、正規分布を用いて分位点を算出した場合の一例を示す。横軸が能力値θ、縦軸が確率密度の値（ｐｄｆ）を示す。難易度のθが０を平均の起点として、左方向に向かうほど難易度が低い設問に対応し、右方向に向かうほど難易度が高い設問に対応する。分位点算出部３１２では、正規分布の確率密度関数とｘ軸に囲まれた部分の面積（正規分布の下側面積）をＮ＋１等分することで、Ｎ個の分位点を算出できる。正規分布に引かれた縦線が各分位点を示している。確率密度関数から求まる分位点は、正規分布の中心に近いほど密となり、離れるほど疎になる。なお、正規分布が、本開示の「出題に対してあらかじめ設定された所定の確率分布」の一例である。また、確率分布としては確率密度の値から分位点を求められればよく、正規分布の他、一様分布、ベータ分布等を用いてもよい。
【0075】
また、正規分布のパラメータには平均と標準偏差があり、取得部３１０で平均及び標準偏差の設定を受け付けて正規分布の位置及び形状を設定することもできる。平均を変更することで、分位点リストの全体の位置を左右に移動できる。また、標準偏差を変更することで、分位点リストの各分位点間の長さ（密の度合い）を変化させられる。
【0076】
項目情報量計算部３１４は、分位点算出部３１２で算出した分位点の各々について、当該分位点での設問プールの各設問についての項目情報量を計算する。項目情報量計算部３１４の処理は、上記手順の（２）に対応している。設問プールの各設問は項目ｊとして表される。被験者の能力に対する項目ｊへの正答確率ｐｊ（θ）を以下（１）式として、項目情報量Ｉｊ（θ）は以下（２）式に従って計算できる。
・・・（１）
・・・（２）
【数1】
・・・（１）
【数2】
・・・（２）
【0077】
ここで、Ｄは定数（＝１．７）、ａｊは項目ｊの識別力、ｂｊは項目ｊの困難度、θは能力値である。これらの値は、あらかじめ試験の実施結果等からａ値、ｂを推定して設問の統計情報として記憶部１０２に格納しておけばよい。
【0078】
図９は、項目ｊごとの能力値θに対する正答確率ｐｊ（θ）を示すグラフである。横軸が能力値θ、縦軸が正答確率ｐｊ（θ）であり、項目ｊごとの項目特性曲線（ＩＣＣ：ｉｔｅｍ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｃｕｒｖｅ）が表される。図９の例では５つの項目ｊごとに識別力（ａ値）及び困難度（ｂ値）が与えられた場合の能力値θに対する正答確率ｐｊ（θ）の推移を示す項目特性曲線が表されている。
【0079】
項目情報量とは各項目ｊがどの能力値θの被験者に適しているかを表す指標である。項目情報量Ｉｊ（θ）はθ＝ｂｊの時、最大値をとる。図１０は、項目ｊごとの能力値θに対する項目情報量Ｉｊ（θ）を示すグラフである。
【0080】
分位点選択部３１６は、分位点リストの中心を基準として所定の順序に応じて、分位点を選択する。分位点選択部３１６の処理は、上記手順の（３）に対応している。順序に応じた選択は、例えば、正規分布の中心、つまり確率密度の値のピークに近い順に分位点を選択していけばよい。なお、近い順の所定数の分位点の中から任意に選択して、当該所定数の選択を終えてから、次に近い順の所定数の分位点を選択していくように、所定の順序に応じて選択してもよい。
【0081】
変換部３１８は、選択された分位点での各設問の項目情報量を、入力の各設問を確率値として出力が可能なｓｏｆｔｍａｘ関数に入力し、確率値に変換する。変換部３１８の処理は、上記手順の（４）に対応している。ｓｏｆｔｍａｘ関数の出力ｙｉは、ｎ個の実数の組を入力すると、入力値（各設問の項目情報量）の大小関係を保ちながら、確率値に変換し、確率値となるｎ個の実数の組を出力する関数である。ｓｏｆｔｍａｘ関数は、入力の実数が他の実数と比べて大きいほど、対応する出力となる実数の確率値が大きくなるように、確率値に変換する。ｓｏｆｔｍａｘ関数による変換は下記（３）式に従う。
・・・（３）
【数3】
・・・（３）
【0082】
ｙｉは、番号ｉについて出力される出力値（確率値）である。ｅはネイピア数、ｘｉは番号ｉの入力値、ｘｋは番号ｋの入力値である。ｓｏｆｔｍａｘ関数にｎ個の実数の組（ｘ１，…，ｘｎ）を入力すると、ｎ個の実数の組（ｙ１，…，ｙｎ）を出力する。各ｙｉは０～１の間で、ｙ１，…，ｙｎの合計が１となるため、ｙｉは確率値として解釈できる。ｘｉが他のｘと比べ値が大きいほど、ｙｉの値は大きくなる。例えば、入力値に３個の実数の組（１，２，３）を与えた場合、出力は（０．０９００３０５７，０．２４４７２８４７，０．６６５２４０９６）等となる。
【0083】
なお、項目情報量が、本開示の項目情報量に基づく値の一例である。項目情報量に加えて、設問に関する分位点の能力値θと難易度であるｂ値との差等を用いて、項目情報量に対する追加の量を定めることもできる。項目情報量に追加の量を加算、減算、及び重みとする等、適宜、ｓｏｆｔｍａｘ関数への入力とする項目情報量に基づく値を設計できる。なお、所定の関数としては、ｓｏｆｔｍａｘ関数に限らず、各設問の値を入力して確率値として出力が可能な任意の関数を用いることができる。例えば、入力値が低いほど確率を高くするｓｏｆｔｍｉｎ関数を用いて、各設問を確率値として出力できるように設計してもよいし、ｓｏｆｔｍａｘ関数と組み合わせて用いてもよい。
【0084】
設問設定部３２０は、変換部３１８で変換された確率値に応じて設問を選択し、選択された設問を設問プールから除外する。設問設定部３２０の処理は、上記手順の（５）に対応している。設問設定部３２０は各設問の確率値に基づいて、設問を選択すればよい。また、設問プールから選択される設問には分野ごとの出題数の制約を有する。そのため、設問設定部３２０では、分野の各々について、当該分野で選択された設問の数が所定数に達した場合には、以降の繰り返しの選択において当該分野を選択対象から除外する。
【0085】
判定部３２２は、分位点選択部３１６、変換部３１８、及び設問設定部３２０の処理を設問数Ｎの設問を選択するまで繰り返す。判定部３２２の処理は、上記手順の（６）に対応している。
【0086】
次に、第２実施形態の問題生成処理の作用について説明する。図１１は、第２実施形態の問題生成処理の流れを示すフローチャートである。
【0087】
ステップＳ３００において、ＣＰＵ１１は、記憶部１０２から設問プールと、出題する試験問題の設問数Ｎとを取得する。
【0088】
ステップＳ３０２において、ＣＰＵ１１は、所定の正規分布について、分位点リストとして分位点の各々を算出する。
【0089】
ステップＳ３０４において、ＣＰＵ１１は、ステップＳ３０２で算出した分位点の各々について、当該分位点での設問プールの各設問についての項目情報量を上記（２）式に従って計算する。
【0090】
ステップＳ３０６において、ＣＰＵ１１は、分位点リストの中心を基準として所定の順序に応じて、分位点を選択する。
【0091】
ステップＳ３０８において、ＣＰＵ１１は、選択された分位点での各設問の項目情報量を、入力の各設問を確率値として出力が可能なｓｏｆｔｍａｘ関数に入力し、上記（３）式に従って、確率値に変換する。
【0092】
ステップＳ３１０において、ＣＰＵ１１は、ステップＳ３０８で変換された確率値に応じて設問を選択し、選択された設問を設問プールから除外する。
【0093】
ステップＳ３１２において、ＣＰＵ１１は、選択した設問数が設問数Ｎ以上（選択した設問数≧Ｎ）になったか否かを判定する。Ｎ以上の場合は処理を終了し、Ｎ以上でない場合はステップＳ３０６に戻って次の分位点を選択して処理を繰り返す。
【0094】
以上説明したように、第２実施形態に係る出題最適化システム１００は、項目情報量の高い設問を選択し、出題する問題の難易度のばらつきを抑えた問題選択と試験結果の問題選択への反映を可能とする。
【0095】
［検証例］
第１実施形態及び第２実施形態の問題選択手法により問題選択を行った場合の検証を行った。比較検証のための選択手法は、（Ａ）ランダム［ｒａｎｄｏｍ］、（Ｂ）平均［ａｖｇ］、（Ｃ）関数［ｓｏｆｔｍａｘ］とした。（Ｂ）平均は、目標とする平均に近づけるように設問を選択する第１実施形態の手法である。（Ｃ）関数は、ｓｏｆｔｍａｘを用いた第２実施形態の手法である。設定は、全設問数２００、出題設問数５０、シミュレーション回数２００として検証を行った。以下では、主に第２実施形態の（Ｃ）関数の手法による有効性について述べる。
第１実施形態及び第２実施形態の問題選択手法により問題選択を行った場合の検証を行った。比較検証のための選択手法は、（Ａ）ランダム［ｒａｎｄｏｍ］、（Ｂ）平均［ａｖｇ］、（Ｃ）関数［ｓｏｆｔｍａｘ］とした。（Ｂ）平均は、目標とする平均に近づけるように設問を選択する第１実施形態の手法である。（Ｃ）関数は、ｓｏｆｔｍａｘを用いた第２実施形態の手法である。設定は、全設問数２００、出題設問数５０、シミュレーション回数２００として検証を行った。以下では、主に第２実施形態の（Ｃ）関数の手法による有効性について述べる。
【0096】
図１２～図１４は、それぞれの検証手法で問題選択を行った場合のａ値、ｂ値の分布である。いずれの図も上のグラフがａ値、下のグラフがｂ値の分布である。なお、凡例のａｖｇは（Ｂ）の平均の手法であり、グラフの横軸のａｖｇは選択された設問のａ値又はｂ値の平均を指している。標準偏差（ｓｔｄ）、歪度（ｓｋｅｗ）、及び尖度（ｋｕｒｔｏｓｉｓ）をそれぞれ平均（ａｖｇ）と比較している。図１２は平均及び標準偏差の分布を検証したグラフである。図１３は平均及び歪度の分布を検証したグラフである。図１４は平均及び尖度の分布を検証したグラフである。いずれのグラフにおいても、（Ｂ）平均では、ｂ値について平均に集約されていることが確認できた。また、（Ｃ）関数の手法は他の手法に比べて、（Ｂ）平均に集中し過ぎずに平均に寄って適度に集約され、（Ａ）ランダムよりもばらつきが小さく適度に集約されていることが確認できた。
【0097】
図１５は、各設問が選択された頻度を検証したグラフである。グラフは、シミュレーションにおいて各設問が選択された頻度を表している。（Ｃ）関数の手法は他の手法に比べて、適した設問を多く選びつつ、多様な設問が選択できていることが確認できた。
【0098】
図１６は、テスト情報量及びテスト得点期待値を検証したグラフである。テスト情報量は、選択された設問の項目情報量の合計である。Ｔ（θ）は能力値θの被験者のテスト得点の期待値を示す。いずれの検証も曲線が集約されているほど試験の受験者にとって差が生じにくい。（Ｃ）関数の手法は他の手法に比べて、テスト情報量（ｉｎｆｏｒｍａｔｉｏｎ）及び得点情報Ｔ（θ）が集約されていることが確認できた。（Ｂ）平均の手法も、（Ａ）ランダムに比べて集約されていることが確認できた。図１７は、検証において選択され得るすべての設問の能力値θに対する項目情報量を表示したグラフである。
【0099】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0100】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【0101】
１００ 出題最適化システム
１０２ 記憶部
１１０ 問題生成部
１１２ 分析部
２１０、３１０ 取得部
２１２ 第１判定部
２１４ ランダム設定部
２１６ 計算部
２１８ 設問設定部
２２０ 第２判定部
３１２ 分位点算出部
３１４ 項目情報量計算部
３１６ 分位点選択部
３１８ 変換部
３２０ 設問設定部
３２２ 判定部
１０２ 記憶部
１１０ 問題生成部
１１２ 分析部
２１０、３１０ 取得部
２１２ 第１判定部
２１４ ランダム設定部
２１６ 計算部
２１８ 設問設定部
２２０ 第２判定部
３１２ 分位点算出部
３１４ 項目情報量計算部
３１６ 分位点選択部
３１８ 変換部
３２０ 設問設定部
３２２ 判定部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【手続補正書】
【提出日】2023-09-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を格納する記憶部と、
前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、
を含み、
前記問題選択手法を用いた前記試験問題の生成において、
前記問題生成部は、取得部と、分位点算出部と、項目情報量計算部と、分位点選択部と、変換部と、設問設定部と、判定部とを含み、
前記取得部は、出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
前記分位点算出部は、出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記項目情報量計算部は、前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値に基づいて、項目情報量を計算し、
前記分位点選択部は、前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
前記変換部は、選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
前記設問設定部は、選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記判定部は、前記分位点選択部、前記変換部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで繰り返す、
出題最適化システム。
前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、
を含み、
前記問題選択手法を用いた前記試験問題の生成において、
前記問題生成部は、取得部と、分位点算出部と、項目情報量計算部と、分位点選択部と、変換部と、設問設定部と、判定部とを含み、
前記取得部は、出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
前記分位点算出部は、出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記項目情報量計算部は、前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値に基づいて、項目情報量を計算し、
前記分位点選択部は、前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
前記変換部は、選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
前記設問設定部は、選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記判定部は、前記分位点選択部、前記変換部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで繰り返す、
出題最適化システム。
【請求項2】
前記所定の関数は、ｎ個の実数の組を入力すると、確率となるｎ個の実数の組を出力する関数であり、
前記各設問の項目情報量の大小関係を保ちながら、入力の実数が他の実数と比べて大きいほど、対応する出力となる実数の確率値が大きくなるように、実数の各々を前記確率値に変換する、請求項１に記載の出題最適化システム。
前記各設問の項目情報量の大小関係を保ちながら、入力の実数が他の実数と比べて大きいほど、対応する出力となる実数の確率値が大きくなるように、実数の各々を前記確率値に変換する、請求項１に記載の出題最適化システム。
【請求項3】
前記分位点算出部は、前記確率分布の前記中心に近いほど前記分位点が密になり、前記確率分布の前記中心から離れるほど前記分位点が疎になるように、前記分位点リストとして分位点の各々を算出する、請求項１に記載の出題最適化システム。
【請求項4】
前記取得部は、前記設問プールとともに、前記出題に対する平均及び標準偏差の設定を受け付け、前記確率分布を設定する、請求項１に記載の出題最適化システム。
【請求項5】
前記設問プールから選択される設問には分野ごとの出題数の制約を有し、
前記設問設定部は、分野の各々について、当該分野で選択された設問の数が所定数に達した場合には、以降の繰り返しの選択において当該分野を選択対象から除外する、請求項１に記載の出題最適化システム。
前記設問設定部は、分野の各々について、当該分野で選択された設問の数が所定数に達した場合には、以降の繰り返しの選択において当該分野を選択対象から除外する、請求項１に記載の出題最適化システム。
【請求項6】
前記統計情報は、各設問に関する情報と、前記試験実施履歴における各試験結果に関する情報を含み、
前記各設問に関する情報は、正答率、点双列相関係数、識別指数、項目反応理論における識別力であるａ値、及び困難度であるｂ値の何れかを少なくとも含み、
前記各試験結果に関する情報は、信頼性係数、標準偏差、平均点、及び受験者の得点分布の何れかを少なくとも含む請求項１に記載の出題最適化システム。
前記各設問に関する情報は、正答率、点双列相関係数、識別指数、項目反応理論における識別力であるａ値、及び困難度であるｂ値の何れかを少なくとも含み、
前記各試験結果に関する情報は、信頼性係数、標準偏差、平均点、及び受験者の得点分布の何れかを少なくとも含む請求項１に記載の出題最適化システム。
【請求項7】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成し、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化方法。
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化方法。
【請求項8】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成し、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を各設問を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化プログラム。
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を各設問を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化プログラム。
【手続補正書】
【提出日】2023-10-27
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を格納する記憶部と、
前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、
を含み、
前記問題選択手法を用いた前記試験問題の生成において、
前記問題生成部は、取得部と、分位点算出部と、項目情報量計算部と、分位点選択部と、変換部と、設問設定部と、判定部とを含み、
前記取得部は、出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
前記分位点算出部は、出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記項目情報量計算部は、前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値に基づいて、項目情報量を計算し、
前記分位点選択部は、前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
前記変換部は、選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
前記設問設定部は、選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記判定部は、前記分位点選択部、前記変換部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで繰り返す、
出題最適化システム。
前記記憶部から出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成する問題生成部と、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映する分析部と、
を含み、
前記問題選択手法を用いた前記試験問題の生成において、
前記問題生成部は、取得部と、分位点算出部と、項目情報量計算部と、分位点選択部と、変換部と、設問設定部と、判定部とを含み、
前記取得部は、出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
前記分位点算出部は、出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記項目情報量計算部は、前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値に基づいて、項目情報量を計算し、
前記分位点選択部は、前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
前記変換部は、選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
前記設問設定部は、選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記判定部は、前記分位点選択部、前記変換部、及び前記設問設定部の処理を前記設問数Ｎの設問を選択するまで繰り返す、
出題最適化システム。
【請求項2】
前記所定の関数は、ｎ個の実数の組を入力すると、確率となるｎ個の実数の組を出力する関数であり、
前記各設問の項目情報量の大小関係を保ちながら、入力の実数が他の実数と比べて大きいほど、対応する出力となる実数の確率値が大きくなるように、実数の各々を前記確率値に変換する、請求項１に記載の出題最適化システム。
前記各設問の項目情報量の大小関係を保ちながら、入力の実数が他の実数と比べて大きいほど、対応する出力となる実数の確率値が大きくなるように、実数の各々を前記確率値に変換する、請求項１に記載の出題最適化システム。
【請求項3】
前記取得部は、前記設問プールとともに、前記出題に対する平均及び標準偏差の設定を受け付け、前記確率分布を設定する、請求項１に記載の出題最適化システム。
【請求項4】
前記設問プールから選択される設問には分野ごとの出題数の制約を有し、
前記設問設定部は、分野の各々について、当該分野で選択された設問の数が所定数に達した場合には、以降の繰り返しの選択において当該分野を選択対象から除外する、請求項１に記載の出題最適化システム。
前記設問設定部は、分野の各々について、当該分野で選択された設問の数が所定数に達した場合には、以降の繰り返しの選択において当該分野を選択対象から除外する、請求項１に記載の出題最適化システム。
【請求項5】
前記統計情報は、各設問に関する情報と、前記試験実施履歴における各試験結果に関する情報を含み、
前記各設問に関する情報は、正答率、点双列相関係数、識別指数、項目反応理論における識別力であるａ値、及び困難度であるｂ値の何れかを少なくとも含み、
前記各試験結果に関する情報は、信頼性係数、標準偏差、平均点、及び受験者の得点分布の何れかを少なくとも含む請求項１に記載の出題最適化システム。
前記各設問に関する情報は、正答率、点双列相関係数、識別指数、項目反応理論における識別力であるａ値、及び困難度であるｂ値の何れかを少なくとも含み、
前記各試験結果に関する情報は、信頼性係数、標準偏差、平均点、及び受験者の得点分布の何れかを少なくとも含む請求項１に記載の出題最適化システム。
【請求項6】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成し、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化方法。
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化方法。
【請求項7】
試験問題の候補として登録された各設問並びに試験実施履歴に基づく前記設問及び各試験結果の統計情報を含む記憶部から、出題の候補となる各設問を含む設問プールを取得し、試験運営者の指定に応じて、候補とする各設問を確率値として出力可能な所定の関数による手法の問題選択手法を用いて、前記設問プールから設問を選択し、試験問題を生成し、
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を各設問を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化プログラム。
生成した前記試験問題の試験結果についての個別の前記統計情報を算出し、前記記憶部の前記統計情報に反映し、
前記問題選択手法を用いた前記試験問題の生成において、
出題の候補となる各設問を含む設問プールと、出題する設問数Ｎとを取得し、
出題に対してあらかじめ設定された所定の確率分布であって、能力値の確率分布について、当該確率分布と前記設問数Ｎとから分位点リストとして分位点の各々を算出し、
前記分位点の各々には、対応する前記確率分布の横軸を示す能力値が定められ、
前記分位点の各々と前記設問プールの各設問との組み合わせについて、当該設問の項目としての識別力及び困難度と、当該分位点の能力値とに基づいて、項目情報量を計算し、
前記分位点リストの中心を基準として所定の順序に応じて、前記分位点を選択し、
選択した前記分位点について、当該分位点における各設問の項目情報量の値を、入力値を各設問を確率値として出力が可能な所定の関数に入力し、確率値に変換し、
選択した前記分位点における各設問の項目情報量から算出された確率値に応じて設問を選択し、選択された設問を前記設問プールから除外し、
前記分位点の選択、前記変換、並びに前記設問の選択及び除外の処理を前記設問数Ｎの設問を選択するまで繰り返す、
処理をコンピュータに実行させる出題最適化プログラム。