IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人 筑波大学の特許一覧

<>
  • 特開-能力測定方法 図1
  • 特開-能力測定方法 図2
  • 特開-能力測定方法 図3
  • 特開-能力測定方法 図4
  • 特開-能力測定方法 図5
  • 特開-能力測定方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023175235
(43)【公開日】2023-12-12
(54)【発明の名称】能力測定方法
(51)【国際特許分類】
   G09B 7/04 20060101AFI20231205BHJP
   G09B 19/00 20060101ALI20231205BHJP
   G06Q 10/0639 20230101ALI20231205BHJP
【FI】
G09B7/04
G09B19/00 H
G06Q10/06 332
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022087578
(22)【出願日】2022-05-30
(71)【出願人】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】110001737
【氏名又は名称】弁理士法人スズエ国際特許事務所
(72)【発明者】
【氏名】登藤 直弥
(72)【発明者】
【氏名】尾▲碕▼ 幸謙
【テーマコード(参考)】
2C028
5L049
【Fターム(参考)】
2C028BA02
2C028BB04
2C028BC01
2C028BD01
5L049AA06
(57)【要約】
【課題】 能力を測定するためのテストにおいて、特定の項目が頻繁に出題されることを抑制する能力測定方法を提供することにある。
【解決手段】 能力測定装置1は、複数の項目から出題された項目に対する受検者の解答に基づいて、前記受検者の能力値を推定し、推定した前記能力値に基づいて、前記複数の項目の選択確率を決定し、決定した前記選択確率に従って、前記複数の項目から出題する項目を選択し、選択した前記項目を出題し、出題した前記項目に対して、前記受検者から解答を受領する。
【選択図】図1
【特許請求の範囲】
【請求項1】
複数の項目から出題された項目に対する受検者の解答に基づいて、前記受検者の能力値を推定する能力値推定手段と、
前記能力値推定手段により推定された前記能力値に基づいて、前記複数の項目の選択確率を決定する選択確率決定手段と、
前記選択確率決定手段により決定された前記選択確率に従って、前記複数の項目から出題する項目を選択する出題項目選択手段と、
前記出題項目選択手段により選択された前記項目を出題する項目出題手段と、
前記項目出題手段により出題された前記項目に対して、前記受検者から解答を受領する解答受領手段と
を備えることを特徴とする能力測定装置。
【請求項2】
出題された項目のカテゴリに基づいて、次に出題する項目のカテゴリを決定する項目カテゴリ決定手段を備え、
前記出題項目選択手段は、前記項目カテゴリ決定手段により決定された前記カテゴリの項目から出題する項目を選択すること
を特徴とする請求項1に記載の能力測定装置。
【請求項3】
前記項目カテゴリ決定手段は、予め決められた複数のカテゴリから均等に出題されるように、次に出題する項目の前記カテゴリを決定すること
を特徴とする請求項2に記載の能力測定装置。
【請求項4】
前記選択確率決定手段は、
前記能力値推定手段により推定された前記能力値に基づいて、前記複数の項目の項目情報量を演算する項目情報量演算手段と、
前記項目情報量演算手段により演算された前記複数の項目の前記項目情報量が大きい順に所定範囲の順位の複数の項目を抽出する項目抽出手段と、
前記項目抽出手段により抽出された前記複数の項目の前記選択確率が全て同一となるように演算する選択確率演算手段とを備えること
を特徴とする請求項1に記載の能力測定装置。
【請求項5】
前記項目抽出手段の前記所定範囲の順位は、上位5%以上から上位10%以上であること
を特徴とする請求項4に記載の能力測定装置。
【請求項6】
前記選択確率決定手段は、
前記能力値推定手段により推定された前記能力値に基づいて、前記複数の項目の項目情報量を演算する項目情報量演算手段と、
前記項目情報量演算手段により演算された前記複数の項目の前記項目情報量が大きいほど選択され易くなるように、前記複数の項目の前記選択確率を演算する選択確率演算手段とを備えること
を特徴とする請求項1に記載の能力測定装置。
【請求項7】
コンピュータが、複数の項目から出題された項目に対する受検者の解答に基づいて、前記受検者の能力値を推定し、
前記コンピュータが、推定した前記能力値に基づいて、前記複数の項目の選択確率を決定し、
前記コンピュータが、決定した前記選択確率に従って、前記複数の項目から出題する項目を選択し、
前記コンピュータが、選択した前記項目を出題し、
前記コンピュータが、出題した前記項目に対して、前記受検者から解答を受領すること
を含むことを特徴とする能力測定方法。
【請求項8】
コンピュータが、複数の項目から出題された項目に対する受検者の解答に基づいて、前記受検者の能力値を推定し、
前記コンピュータが、推定した前記能力値に基づいて、前記複数の項目の選択確率を決定し、
前記コンピュータが、決定した前記選択確率に従って、前記複数の項目から出題する項目を選択し、
前記コンピュータが、選択した前記項目を出題し、
前記コンピュータが、出題した前記項目に対して、前記受検者から解答を受領すること
を含むように機能させることを特徴とする能力測定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、能力を測定する能力測定方法に関する。
【背景技術】
【0002】
一般に、受検者の能力を測定するためのテストとして、項目反応理論(IRT、item response theory)に基づく適応型テスト(CAT、computerized adaptive testing)が知られている。例えば、項目反応理論に基づくテストに用いるための項目を適切にチェックする項目チェック装置が開示されている(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2020-204704号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、IRTに基づく適応型テストでは、受検者の能力値の推定に最適な項目が、次に出題される項目として選択される。ある能力値を推定するのに最適な項目は、一定の範囲の能力値を推定する場合に最適である場合が多い。したがって、このような能力値の推定に最適な項目は、頻繁に出題されることになる。このように、特定の項目が頻繁に出題されると、その項目は、秘匿できずに、受検者集団に暴露される可能性が高くなる。
【0005】
本発明の実施形態の目的は、能力を測定するためのテストにおいて、特定の項目が頻繁に出題されることを抑制する能力測定方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の観点に従ったテストの項目を選択する能力測定装置は、複数の項目から出題された項目に対する受検者の解答に基づいて、前記受検者の能力値を推定する能力値推定手段と、前記能力値推定手段により推定された前記能力値に基づいて、前記複数の項目の選択確率を決定する選択確率決定手段と、前記選択確率決定手段により決定された前記選択確率に従って、前記複数の項目から出題する項目を選択する出題項目選択手段と、前記出題項目選択手段により選択された前記項目を出題する項目出題手段と、前記項目出題手段により出題された前記項目に対して、前記受検者から解答を受領する解答受領手段とを備える。
【発明の効果】
【0007】
本発明の実施形態によれば、能力を測定するためのテストにおいて、特定の項目が頻繁に出題されることを抑制する能力測定方法を提供することができる。
【図面の簡単な説明】
【0008】
図1】本発明の第1実施形態に係る能力測定装置の構成を示す構成図。
図2】第1実施形態に係る能力測定方法の手順を示す流れ図。
図3】第1実施形態に係る第1の選択確率決定方法の手順を示す流れ図。
図4】第1実施形態に係る第2の選択確率決定方法の手順を示す流れ図。
図5】本発明の第2実施形態に係る能力測定装置の構成を示す構成図。
図6】第2実施形態に係る能力測定方法の手順を示す流れ図。
【発明を実施するための形態】
【0009】
(第1実施形態)
図1は、本発明の第1実施形態に係る能力測定装置1の構成を示す構成図である。なお、図面における同一部分には同一符号を付して、重複する説明を適宜省略する。
【0010】
能力測定装置1は、適応型テストを行う装置である。能力測定装置1は、主にコンピュータで構成される。コンピュータは、記憶部及び演算処理部を備える。コンピュータは、1つに限らず、ネットワークで構成されてもよい。例えば、適応型テストを出題するコンピュータ(例えば、サーバ)と受検者が解答するために使用するコンピュータ(例えば、端末)は、別々のコンピュータでもよい。
【0011】
記憶部は、各種データ又は各種プログラム等を記憶するための部分である。例えば、記憶部は、各種メモリ、ハードディスク、ソリッドステートドライブ(SSD)、又は、各種メディア等である。記憶部は、いくつの機器で構成されてもよいし、どのように構成されてもよい。また、記憶部は、一時的に記憶するタイプでもよいし、長期的に記憶するタイプでもよいし、内蔵タイプでもよいし、外付けタイプでもよい。
【0012】
演算処理部は、プログラム等に従って、各種演算処理を行う。例えば、演算処理部は、演算処理チップ(半導体チップ)である。演算処理部は、いくつの半導体チップで構成されてもよいし、どのようなハードウェア又はソフトウェアが含まれてもよい。
【0013】
適応型テストは、受検者の解答に応じて、項目プールPLに蓄積された複数の項目(問題)から選択した項目を出題し、項目を繰り返し出題することで、受検者の能力値を推定するテストである。例えば、項目は、問題文の問いに対して、複数の選択肢の中から1つを選んで解答するタイプの問題である。適応型テストは、正誤データにより、受検者の能力値をベイズ推定により求める。ベイズ推定の事前分布には、標準正規分布等が使用される。なお、能力値は、適応型テストにより判定する数値であり、学力又は潜在特性等、どのように呼ばれてもよい。
【0014】
例えば、適応型テストは、推定した能力値の精度が高い(標準誤差が十分に小さい)と判断される終了条件を満たせば終了する。終了条件を満たすか否かは、予め設定された基準値との大小の比較により決定される。なお、終了条件は、受検者の能力値が収束して確定されるまででもよいし、予め制限時間が決められていてもよいし、出題する問題数が予め決められていてもよい。
【0015】
能力測定装置1は、入力部11、出題処理部12、能力値推定部13、項目選択部14、出力部15、及び、項目プールPLを備える。出題処理部12、能力値推定部13及び項目選択部14は、演算処理部で実行されるプログラム等により機能が実現される。項目プールPLは、項目がデータとして記憶される記憶部である。なお、入力部11及び出力部15は、能力測定装置1とネットワークで接続された外部の装置でもよい。
【0016】
入力部11は、能力測定装置1に各種データを入力し、能力測定装置1を操作するための部分である。例えば、入力部11は、キーボード、マウス、タッチパネル等の操作入力可能なディスプレイ、又は、各種メディアの読取部等である。入力部11は、いくつの機器で構成されてもよいし、どのように構成されてもよい。
【0017】
出題処理部12は、項目プールPLから選択された項目を受検者に提示し、受検者からその項目に対する解答を受け付ける。受検者は、入力部11により、解答を出題処理部12に入力する。
【0018】
能力値推定部13は、出題処理部12から入力された受検者の解答に基づいて、受検者の能力値を推定する。能力値は、現時点までに出題された全ての項目に対する受検者の解答に基づいて推定される。能力値推定部13は、適応型テストの終了条件を満たしていれば、最後に推定した能力値を判定結果として出力部15に出力する。能力値推定部13は、適応型テストの終了条件を満たしていなければ、推定した能力値を項目選択部14に出力する。
【0019】
項目選択部14は、能力値推定部13により推定された能力値に基づいて、項目プールPLから出題する項目を選択する。項目選択部14は、選択した項目を能力値推定部13に出力する。
【0020】
出力部15は、能力測定装置1から各種データ又は各種演算結果を出力するための部分である。例えば、出力部15は、能力測定装置1により判定された受検者の能力値を出力する。出力部15は、ディスプレイ、プリンタ又は記憶媒体等である。出力部15は、いくつの機器で構成されてもよいし、どのように構成されてもよい。
【0021】
項目プールPLには、適応型テストを実施するために、受検者に出題される多数の項目が蓄積される。各項目には、項目情報量が設定される。項目情報量は、推定した能力値に対する推定精度に関する指標である。項目情報量は、推定する能力値に対応して変化する。項目情報量が大きいほど、その項目が推定された能力値の推定精度を向上させるのに適していることを示している。例えば、項目プールPLにある全ての項目の中で、能力値が0.5に対応する項目情報量が最大である項目は、現時点で能力値が0.5と推定されている受検者に対して、その受検者の能力値が0.5であることを判定するために最も適した項目となる。
【0022】
図2を参照して、能力測定装置1による受検者の能力値を測定する方法について説明する。
【0023】
能力測定装置1は、推定した受検者の能力値に基づいて、各項目が選択される選択確率を決定する(ステップS101)。第1問目がまだ出題されていない場合(受検者の解答をまだ1つも受領していない場合)、能力測定装置1は、各項目の選択確率を決定しなくてもよいし、初期値が予め設定されていてもよい。
【0024】
能力測定装置1は、決定した各項目の選択確率に従って、複数の項目から1つの項目を選択する(ステップS102)。例えば、能力測定装置1は、無作為に(ランダムに)、複数の項目から1つの項目を選択する。なお、能力測定装置1は、各項目の選択確率に従うように選択するのであれば、無作為に選択することに限らず、予め決められた規則(アルゴリズム等)に従って選択してもよい。また、出題が第1問目の場合、能力測定装置1は、出題する項目を選択確率に関係なく、どのように決定してもよい。
【0025】
能力測定装置1は、選択した項目を出題する(ステップS103)。例えば、能力測定装置1は、選択した項目をディスプレイに表示して、受検者に視覚的に提示する。受検者への項目の提示方法は、視覚的な提示に限らず、音声による聴覚的な提示又は点字等による触覚的な提示でもよい。
【0026】
受検者は、出題された項目に対する解答を能力測定装置1に入力する。これにより、能力測定装置1は、受検者から解答を受領する(ステップS104)。受検者による解答の入力は、マウス、キーボード又はタッチパネル等を用いて行われる。例えば、項目が複数の選択肢から1つを選択する択一式の問題の場合、受検者は、解答としてどの選択肢を選んだのかを示す解答情報を能力測定装置1に入力する。能力測定装置1は、解答として入力された解答情報に基づいて、受検者の解答の正否を判定する。
【0027】
能力測定装置1は、現時点までに受検者から得られた解答に基づいて、受検者の能力値を推定する(ステップS105)。能力値の推定は、既知のIRTに基づく適応型テストと同様に行うことができる。
【0028】
能力測定装置1は、受検者の能力値の推定後、終了条件を満たしているか否かを判断する(ステップS106)。例えば、終了条件は、上述したように、直近で推定した能力値の精度が充分に高いと判断される条件である。
【0029】
能力測定装置1は、終了条件を満たしていると判断すると、直近で推定した能力値を受検者の能力値として確定する(ステップS106のyes、ステップS107)。能力測定装置1は、確定した能力値を測定結果として受検者に提示する。能力値の提示は、項目の出題と同様に、どのように行われてもよい。
【0030】
能力測定装置1は、終了条件を満たしていないと判断すると、再度、項目の選択確率を決定する(ステップS106のNo、ステップS101)。能力測定装置1は、終了条件を満たすまで、項目の出題と能力値の推定を繰り返す(ステップS101~S105)。
【0031】
ここで、図2のステップS101で実行される各項目の選択確率を決定する方法の例として、2つの選択確率決定方法について説明する。
【0032】
図3を参照して、第1の選択確率決定方法について説明する。図3は、第1の選択確率決定方法の手順を示す流れ図である。第1の選択確率決定方法は、項目情報量が多い順に上位から所定範囲の順位に位置する項目の中から出題する項目を選択するように、各項目の選択確率を決定する方法である。
【0033】
能力測定装置1は、推定した能力値に基づいて、項目プールPLに蓄積された項目の項目情報量を求める(ステップS201)。項目情報量は、既知のIRTに基づく適応型テストと同様に求めることができるが、どのように求めてもよい。
【0034】
能力測定装置1は、項目プールPLに蓄積された項目から項目情報量が大きい順に所定範囲の順位に位置する項目を抽出する(ステップS202)。例えば、所定の範囲の順位は、上位10%以上の順位である。具体的には、項目プールPLに蓄積された項目が100問の場合、項目情報量の大きさが第1位から第10位に位置する項目が抽出される。
【0035】
ここで、出題される候補となる項目を抽出する所定の範囲の順位について説明する。項目の順位が高過ぎると、特定の項目が頻繁に出題され易くなる。項目の順位が低過ぎると、能力値の推定精度が低下する。これらを考慮して、適切な所定の範囲の順位を決定する必要がある。所定の範囲の順位は、上位10%以上に限らず、上位9%以上でもよいし、上位11%以上でもよい。所定の範囲の順位は、実施する適応型テストに適合するように、任意に変更してよい。所定の範囲の順位の下限は、上位5%から10%以上が望ましい。
【0036】
能力測定装置1は、抽出した項目の選択確率を全て同一となるように決定する(ステップS203)。具体的には、抽出された項目数をnとすると、抽出された項目の選択確率は、1/nとする。例えば、抽出された項目数が10問の場合、抽出された各項目の選択確率は、1/10=0.1に設定される。
【0037】
能力測定装置1は、抽出されなかった項目が出題されないようにする(ステップS204)。例えば、抽出されなかった項目の選択確率を0に設定してもよいし、項目を選択するアルゴリズムにおいて、抽出されなかった項目が出題される項目の候補から除外されるようにしてもよい。
【0038】
第1の選択確率決定方法では、次のように出題される項目が選択される。例えば、項目プールPLに蓄積された項目が100問であり、抽出される項目の所定の範囲の順位が上位10%以上の順位である場合、抽出される項目数は、第1位から第10位までの10問である。この場合、抽出された各項目の選択確率は、1/10(0.1)に設定される。一方、抽出されなかった項目は、次回出題される項目の候補から除外される。したがって、抽出された10問の項目の中から均等の確率で選択された任意の1つの項目が次回出題される項目となる。
【0039】
図4を参照して、第2の選択確率決定方法について説明する。図4は、第2の選択確率決定方法の手順を示す流れ図である。第2の選択確率決定方法は、項目情報量が大きいほど出題する項目として選択され易くなるように、各項目の選択確率を決定する方法である。
【0040】
能力測定装置1は、第1の選択確率決定方法と同様に、推定した能力値に基づいて、項目プールPLに蓄積された項目の項目情報量を求める(ステップS301)。
【0041】
能力測定装置1は、項目情報量が大きいほど選択され易くなるように、項目プールPLに蓄積された項目の選択確率を決定する(ステップS302)。例えば、項目情報量に比例して選択される確率が高くなるように、各項目の選択確率を決定する。具体的には、各項目の選択確率は、自身の項目情報量を項目プールPLに蓄積された全ての項目の項目情報量の総和で割った値にする。
【0042】
なお、項目情報量が大きいほど選択確率が高くなるように、決定されるのであれば、各項目の選択確率は、どのように決定してもよい。例えば、項目情報量の大きさの順位に基づいて、選択確率が求められてもよい。また、一部の複数の項目の選択確率が同一であってもよい。さらに、項目情報量の大きさの上位又は下位に位置する項目は、全く選択されないようにしてもよい。例えば、項目情報量の大きさの順位が上位n%(例えば、上位1%)以上の項目は選択されないようにしてもよいし、項目情報量の大きさの順位が下位n%(例えば、下位1%)以下の項目は選択されないようにしてもよい。
【0043】
ここでは、2つの選択確率決定方法について説明したが、これに限らない。例えば、第1の選択確率決定方法と第2の選択確率決定方法を組合せてもよい。具体的には、第1の選択確率決定方法と同様に、項目情報量が大きい順に所定範囲の順位に位置する項目を抽出する。次に、第2の選択確率決定方法と同様に、抽出された項目の選択確率を項目情報量が大きいほど選択され易くなるように決定する。これにより、次回出題される項目は、抽出された項目から選択され、かつ、項目情報量が大きい項目ほど選択され易くなる。
【0044】
本実施形態によれば、適応型テストにおいて、出題される項目が常に複数の項目から選択されるため、特定の項目が頻繁に出題されることを抑制することができる。
【0045】
(第2実施形態)
図5は、本発明の第2実施形態に係る能力測定装置1Aの構成を示す構成図である。
【0046】
能力測定装置1Aは、図1に示す第1実施形態に係る能力測定装置1において、項目プールPLを項目プールPLAに代え、項目選択部14を項目選択部14Aに代えたものである。その他の点は、第1実施形態に係る能力測定装置1と同様である。
【0047】
項目プールPLAには、カテゴリ毎に分類された項目が蓄積されている。カテゴリは、適応型テストで測定される能力の分野に応じて設けられる。例えば、分野が数学の場合、カテゴリ(科目等)は、代数、幾何、関数、及び、複素数などである。分野が学力の場合、カテゴリは、英語、数学、国語、理科、及び、社会などである。分野とカテゴリは、適応型テストを実施する運営者が任意に決定することができる。その他の点は、第1実施形態に係る項目プールPLと同様である。
【0048】
図6は、本実施形態に係る能力測定装置1Aによる受検者の能力値を測定する方法を示す流れ図である。
【0049】
能力測定装置1Aは、次に出題する項目のカテゴリを決定する(ステップS401)。能力測定装置1Aは、項目プールPLAに蓄積された項目の全てのカテゴリのうち、現時点までに出題された項目数が最も少ないカテゴリを次に出題する項目のカテゴリとして選択する。出題された項目数が最も少ないカテゴリが複数ある場合、全てのカテゴリを選択してもよいし、任意の1つのカテゴリを選択してもよい。このようにカテゴリを選択することで、予め決められた複数のカテゴリから均等に項目が出題される。
【0050】
第1問目がまだ出題されていない場合(受検者の解答をまだ1つも受領していない場合)、能力測定装置1Aは、次に出題するカテゴリをどのように決定してもよいし、次に出題するカテゴリを決定(制限)しなくてもよい。
【0051】
能力測定装置1Aは、推定した受検者の能力値に基づいて、決定したカテゴリの各項目が選択される選択確率を決定する(ステップS402)。各項目の選択確率を決定する方法については、第1実施形態における図2に示すステップS101と同様であり、図3及び図4に示す選択確率決定方法を採用してもよいし、その他の方法により、選択確率を決定してもよい。
【0052】
図6に示すステップS403からステップS408は、第1実施形態における図2に示すステップS102からステップS107と同様に実行されるため、ここでは、重複する説明を適宜省略して簡単に説明する。
【0053】
能力測定装置1Aは、決定したカテゴリの各項目について決定した選択確率に従って、複数の項目から1つの項目を選択する(ステップS403)。
【0054】
能力測定装置1Aは、選択した項目を出題する(ステップS404)。
【0055】
受検者は、出題された項目に対する解答を能力測定装置1Aに入力する。これにより、能力測定装置1Aは、受検者から解答を受領する(ステップS405)。
【0056】
能力測定装置1Aは、現時点までに受検者から得られた解答に基づいて、受検者の能力値を推定する(ステップS406)。
【0057】
能力測定装置1Aは、受検者の能力値の推定後、終了条件を満たしているか否かを判断する(ステップS407)。
【0058】
能力測定装置1Aは、終了条件を満たしていないと判断すると、再度、次に出題する項目のカテゴリを決定する(ステップS407のNo、ステップS401)。能力測定装置1Aは、終了条件を満たすまで、カテゴリの決定、項目の出題、及び、能力値の推定を繰り返す(ステップS401-S406)。
【0059】
本実施形態によれば、第1実施形態による作用効果に加え、出題する項目のカテゴリを任意に選択することができる。これにより、予め決められた複数のカテゴリから均等に項目を出題することができる。例えば、数学の能力を測定する適応型テストの場合、代数、幾何、関数、及び、複素数等の予め準備されたカテゴリ毎に均等に項目を出題することができる。
【0060】
なお、追加の利点及び修正について当業者により容易に生じることがある。したがって、そのより広い態様における本発明は、本明細書に示して説明される特定の詳細で代表的な実施形態に限定されない。したがって、添付の特許請求の範囲及びそれらの均等物により定義される一般的な発明の概念の精神又は範囲から逸脱することなく、様々な修正を行うことができる。
【符号の説明】
【0061】
1…能力測定装置、11…入力部、12…出題処理部、13…能力値推定部、14…項目選択部、15…出力部、PL…項目プール。
図1
図2
図3
図4
図5
図6