特許 6566468 曖昧な理解や軽微な誤解に基づく解答を識別するユーザ適応型のテストプログラム、装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6566468

(24)【登録日】2019年8月9日

(45)【発行日】2019年8月28日

(54)【発明の名称】曖昧な理解や軽微な誤解に基づく解答を識別するユーザ適応型のテストプログラム、装置及び方法

(51)【国際特許分類】

   G09B 7/04 20060101AFI20190819BHJP

   G06N 7/00 20060101ALI20190819BHJP

【ＦＩ】

   G09B7/04

   G06N7/00 150

【請求項の数】5

【全頁数】14

(21)【出願番号】特願2015-96095(P2015-96095)

(22)【出願日】2015年5月8日

(65)【公開番号】特開2016-212271(P2016-212271A)

(43)【公開日】2016年12月15日

【審査請求日】2018年2月12日

(73)【特許権者】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100135068

【弁理士】

【氏名又は名称】早原 茂樹

(72)【発明者】

【氏名】川嶋 裕幸

【審査官】 前地 純一郎

(56)【参考文献】

【文献】 特開２００７−２４８７７３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００３８７０５（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００６／０２３５８１３（ＵＳ，Ａ１）

【文献】 人工知能と教育工学，株式会社オーム社，２００８年 ２月２０日，第１版，ｐ．２３１〜２６４

【文献】 加藤 浩 外１名，ベイズ推定による適応的問題演習システムのための問題選択方式，電子情報通信学会論文誌 （Ｊ８２−Ｄ−ＩＩ） 第１号，日本，社団法人電子情報通信学会，１９９９年 １月２５日，ｐ．１４７〜１５７

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ １／００− ９／５６

Ｇ０９Ｂ１７／００−１９／２６

Ｇ０６Ｎ ５／００− ７／０６

(57)【特許請求の範囲】

【請求項1】

装置に搭載されたコンピュータを機能させるユーザ適応型のテストプログラムであって、
問題及び解答を含む学習単元をノードとして、学習単元同士を事前の理解度確率のアークで結んだ有向グラフを予め蓄積した学習単元記憶手段と、
ユーザ毎に、既出題の学習単元に含まれる問題の正答／誤答に対して、未出題の他の全ての学習単元における事後の理解度確率を算出する理解度確率更新手段と、
ユーザ毎に、未出題の学習単元に含まれる問題を提示する問題提示手段と、
ユーザ毎に、前記問題に対する解答の正答／誤答を判定する解答判定手段と、
事後の理解度確率が判定閾値よりも低い学習単元の問題に対して正答した場合、又は、理解度確率が判定閾値よりも高い学習単元の問題に対して誤答した場合、当該学習単元についての理解／誤解が不明であるとして判定注意と識別する判定注意識別手段と
してコンピュータを機能させ、
前記問題提示手段は、前記理解度確率更新手段によって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する
ようにコンピュータを機能させることを特徴とするテストプログラム。

【請求項2】

前記学習単元記憶手段の前記有向グラフは、複数の学習単元をノードとして、学習時期及び学習内容類似度に応じた親子関係によってアークを結んだものである
ようにコンピュータを機能させることを特徴とする請求項１に記載のテストプログラム。

【請求項3】

前記理解度確率更新手段は、ベイジアンネットワークであって、前記解答判定手段によって判定された学習単元の正答／誤答が出力される毎に、前記問題に対して、正答の場合に当該学習単元の理解度確率＝１とし、誤答の場合に当該学習単元の理解度確率＝０として記憶し、未出題の他の全ての学習単元の理解度確率を再計算する
ようにコンピュータを機能させることを特徴とする請求項１又は２に記載のテストプログラム。

【請求項4】

ユーザ適応型のテストを実行する装置であって、
問題及び解答を含む学習単元をノードとして、学習単元同士を事前の理解度確率のアークで結んだ有向グラフを予め蓄積した学習単元記憶手段と、
ユーザ毎に、既出題の学習単元に含まれる問題の正答／誤答に対して、未出題の他の全ての学習単元における事後の理解度確率を算出する理解度確率更新手段と、
ユーザ毎に、未出題の学習単元に含まれる問題を提示する問題提示手段と、
ユーザ毎に、前記問題に対する解答の正答／誤答を判定する解答判定手段と、
事後の理解度確率が判定閾値よりも低い学習単元の問題に対して正答した場合、又は、理解度確率が判定閾値よりも高い学習単元の問題に対して誤答した場合、当該学習単元についての理解／誤解が不明であるとして判定注意と識別する判定注意識別手段と
を有し、
前記問題提示手段は、前記理解度確率更新手段によって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する
ことを特徴とする装置。

【請求項5】

ユーザ適応型のテストを実行する装置のテスト方法であって、
前記装置は、問題及び解答を含む学習単元をノードとして、学習単元同士を事前の理解度確率のアークで結んだ有向グラフを予め蓄積した学習単元記憶部を有し、
前記装置は、
ユーザ毎に、既出題の学習単元に含まれる問題の正答／誤答に対して、未出題の他の全ての学習単元における事後の理解度確率を算出する第１のステップと、
ユーザ毎に、未出題の学習単元に含まれる問題を提示する第２のステップと、
ユーザ毎に、前記問題に対する解答の正答／誤答を判定する第３のステップと、
事後の理解度確率が判定閾値よりも低い学習単元の問題に対して正答した場合、又は、理解度確率が判定閾値よりも高い学習単元の問題に対して誤答した場合、当該学習単元についての理解／誤解が不明であるとして判定注意と識別する第４のステップと
を実行し、
第２のステップは、第１のステップによって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する
ように実行することを特徴とする装置のテスト方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザ（学習者）の学力を判定するe-Learningシステムの技術に関する。

【背景技術】

【0002】

ユーザ適応型のe-Learningシステムによれば、過去の多数のユーザの解答傾向を履歴として蓄積したデータベースを用いて、ユーザ毎に、出題した解答結果から、当該ユーザの学習理解に適した問題やコンテンツを選択して明示することができる。また、e-Learningシステムをサーバとしてネットワークに配置することによって、ユーザ毎に異なる問題や学習資料を提供する「テスティング」システムもある。

【0003】

ユーザの理解度レベル毎、そのレベルに対応した問題を複数作成することは非常に難しい。特に、毎回の出題でその難易度を一定にし、その理解度レベルを判定することは極めて難しい。これに対して、ユーザの解答結果に応じて、毎回、出題される問題のパラメータを推定して、次の問題を選択するアダプティブテスティング（コンピュータ適応型テスト）の技術がある（例えば非特許文献１参照）。

【0004】

また、テストデータベースとテスト実施結果とから、ユーザの理解度を判定する技術もある（例えば特許文献１、非特許文献２及び３参照）。この技術によれば、ユーザの理解度確率に応じた問題を選定して出題し、少ない問題数であっても高い精度でユーザの学力を判定することができる。特に、非特許文献３に記載の技術によれば、ベイジアンネットワーク(Bayesian network)を用いて、学習モデルに対するネットワーク型情報量を最大化する問題を、次に出題するように制御される。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００４−１７０８４２号公報

【非特許文献】

【0006】

【非特許文献1】植野真臣、「新時代における学習評価」、教育テスト研究センター 第１８回研究会報告書、2010年6月18日、[online]、［平成２７年４月２１日検索］、インターネット＜https://www.cret.or.jp/files/dbd90c4cb469bf94ef5da2256616c7e7.pdf＞

【非特許文献2】植野真臣、大西仁、繁桝算男、「確率ネットワークを組み込んだテスト理論の提案」，信学技報，ET93-64，55-62,1993、[online]、［平成２７年４月２１日検索］、インターネット＜http://ci.nii.ac.jp/naid/110003192386＞

【非特許文献3】植野真臣、河竹千春、大西仁、「ネットワーク型テスト理論における構造最適化法」、信学技報, ET93-ET137, 1994年3月26日、電子情報通信学会、Vol100、P50-P60、[online]、［平成２７年３月８日検索］、インターネット＜URL:http://jglobal.jst.go.jp/public/20090422/200902114032577390＞

【非特許文献4】繁桝算男、植野真臣、本村陽一、「ベイジアンネットワーク概説」、培風館、2006年7月21日初版発行

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、ユーザ自身、理解していない問題であっても偶然に正答となる場合（曖昧な理解）や、完全に理解している問題であってもうっかりミスで誤答となる場合（軽微な誤解）も多い。例えば、ユーザに出題する環境（場所や時間）や、ユーザの心理状態によっても、変化する場合がある。

【0008】

これに対し、従来のテスティングシステムによれば、ユーザに出題する問題数の増加や、問題のバリエーションの多様化によって、そのユーザの学力をできる限り正確に判定しようとしている。ユーザの理解と解答結果が一致しない解答であっても、それを誤差の範疇として、問題数の増加によって解決しようとしている。即ち、偶然の一致や不一致が生じる可能性のある学力測定であっても、ユーザの解答が常にそのユーザの理解に相応することを前提として動作している。

【0009】

これに対し、本願の発明者は、曖昧な理解や軽微な誤解に基づく解答を識別することができないか？と考えた。曖昧な理解や軽微な誤解に基づく解答があった場合の理解度を推定するには、その曖昧な理解や軽微な誤解に基づく解答を「判定注意」として慎重に識別すべきである。このとき、その問題に関連する他の問題を更に出題することによって、本来のユーザの理解度を推定すべきである、と考えた。また、ユーザに対して判定注意とした学習単元のみを慎重に識別することによって、より正確なユーザの理解度を推定することにつながり、結果としてユーザの学力を判定するための出題数を減らすことにもつながるのではないか？と考えた。

【0010】

そこで、本発明は、曖昧な理解や軽微な誤解に基づく解答を識別することができるユーザ適応型のテストプログラム、装置及び方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

本発明によれば、装置に搭載されたコンピュータを機能させるユーザ適応型のテストプログラムであって、
問題及び解答を含む学習単元をノードとして、学習単元同士を事前の理解度確率のアークで結んだ有向グラフを予め蓄積した学習単元記憶手段と、
ユーザ毎に、既出題の学習単元に含まれる問題の正答／誤答に対して、未出題の他の全ての学習単元における事後の理解度確率を算出する理解度確率更新手段と、
ユーザ毎に、未出題の学習単元に含まれる問題を提示する問題提示手段と、
ユーザ毎に、問題に対する解答の正答／誤答を判定する解答判定手段と、
事後の理解度確率が判定閾値よりも低い学習単元の問題に対して正答した場合、又は、理解度確率が判定閾値よりも高い学習単元の問題に対して誤答した場合、当該学習単元についての理解／誤解が不明であるとして判定注意と識別する判定注意識別手段と
してコンピュータを機能させ、
問題提示手段は、理解度確率更新手段によって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する
ようにコンピュータを機能させることを特徴とする。

【0012】

本発明のテストプログラムにおける他の実施形態によれば、
学習単元記憶手段の有向グラフは、複数の学習単元をノードとして、学習時期及び学習内容類似度に応じた親子関係によってアークを結んだものである
ようにコンピュータを機能させることも好ましい。

【0013】

本発明のテストプログラムにおける他の実施形態によれば、
理解度確率更新手段は、ベイジアンネットワークであって、解答判定手段によって判定された学習単元の正答／誤答が出力される毎に、問題に対して、正答の場合に当該学習単元の理解度確率＝１とし、誤答の場合に当該学習単元の理解度確率＝０として記憶し、未出題の他の全ての学習単元の理解度確率を再計算する
ようにコンピュータを機能させることも好ましい。

【0018】

本発明によれば、ユーザ適応型のテストを実行する装置であって、
問題及び解答を含む学習単元をノードとして、学習単元同士を事前の理解度確率のアークで結んだ有向グラフを予め蓄積した学習単元記憶手段と、
ユーザ毎に、既出題の学習単元に含まれる問題の正答／誤答に対して、未出題の他の全ての学習単元における事後の理解度確率を算出する理解度確率更新手段と、
ユーザ毎に、未出題の学習単元に含まれる問題を提示する問題提示手段と、
ユーザ毎に、問題に対する解答の正答／誤答を判定する解答判定手段と、
事後の理解度確率が判定閾値よりも低い学習単元の問題に対して正答した場合、又は、理解度確率が判定閾値よりも高い学習単元の問題に対して誤答した場合、当該学習単元についての理解／誤解が不明であるとして判定注意と識別する判定注意識別手段と
を有し、
問題提示手段は、理解度確率更新手段によって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する
ことを特徴とする。

【0019】

本発明によれば、ユーザ適応型のテストを実行する装置のテスト方法であって、
装置は、問題及び解答を含む学習単元をノードとして、学習単元同士を事前の理解度確率のアークで結んだ有向グラフを予め蓄積した学習単元記憶部を有し、
装置は、
ユーザ毎に、既出題の学習単元に含まれる問題の正答／誤答に対して、未出題の他の全ての学習単元における事後の理解度確率を算出する第１のステップと、
ユーザ毎に、未出題の学習単元に含まれる問題を提示する第２のステップと、
ユーザ毎に、問題に対する解答の正答／誤答を判定する第３のステップと、
事後の理解度確率が判定閾値よりも低い学習単元の問題に対して正答した場合、又は、理解度確率が判定閾値よりも高い学習単元の問題に対して誤答した場合、当該学習単元についての理解／誤解が不明であるとして判定注意と推定する第４のステップと
を実行し、
第２のステップは、第１のステップによって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する
ように実行することを特徴とする。

【発明の効果】

【0020】

本発明のユーザ適応型のテストプログラム、装置及び方法によれば、曖昧な理解や軽微な誤解に基づいた解答を識別することができる。

【図面の簡単な説明】

【0021】

【図1】本発明におけるテスト装置の機能構成図である。

【図2】本発明の基本フローチャートである。

【図3】学習単元記憶部に記憶された有向グラフの例である。

【図4】初期設定時における学習単元の有向グラフ及び理解度確率を表す第１の説明図である。

【図5】学習単元５に正答した場合における学習単元の理解度確率の更新を表す第２の説明図である。

【図6】学習単元８に誤答した場合における学習単元の理解度確率の更新を表す第３の説明図である。

【図7】学習単元４に誤答した場合における学習単元の理解度確率の更新を表す第４の説明図である。

【図8】学習単元１３に正答した場合における学習単元の理解度確率の更新を表す第５の説明図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

【0023】

図１は、本発明におけるテスト装置の機能構成図である。
図２は、本発明のフローチャートである。

【0024】

図１によれば、ユーザ適応型のテスティングを実行するテスト装置１と、学習対象となるユーザによって操作される端末２（例えばタブレット端末）とが、ネットワークを介して接続されている。テスト装置１は、端末２に対してサーバとして機能する。また、テスト装置１の機能構成部が端末２に搭載されて、端末単体でテスト装置と機能するものであってもよい。

【0025】

図１のテスト装置１によれば、学習単元記憶部１０と、理解度確率更新部１１と、問題提示部１２と、解答判定部１３と、判定注意識別部１４とを有する。これらの機能構成部は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、図２のようにユーザ適応型のテスト方法としても理解できる。

【0026】

［学習単元記憶部１０］
学習単元記憶部１０は、学習単元をノードとして、学習単元同士を事前の理解度確率のアークで結んだ有向グラフを予め蓄積したものである。

【0027】

図３は、学習単元記憶部に記憶された有向グラフの例である。

【0028】

図３の一覧表（有向グラフ）は、複数の学習単元をノードとして、学習時期及び学習内容類似度に応じた親子関係によってアークを結んだものである。ここでは、学習内容類似度に応じて、先の学習単元の理解度確率が、後の学習単元の理解度確率に影響を及ぼす。「学習時期」としては、例えば中学１年生の４月->５月のように、学習スケジュールに応じて大まかに、前から後への関係が特定できればよい。また、「学習単元」は、問題及び解答を含むものであって、テキストのみならず画像や映像、音声を用いたものであってもよい。

【0029】

学習単元間の「学習内容類似度」は、各学習単元のテキストを形態素解析によって抽出した単語集合を比較したものであってもよい。形態素解析とは、文法及び単語辞書を情報源として用いて、自然言語で書かれた文を言語として意味を持つ最小単位である形態素(Morpheme)に分割し、それぞれの品詞を判別する処理をいう。ここでは、抽出された全ての単語を用いてもよいし、品詞が名詞の形態素のみを抽出するものであってもよい。

【0030】

尚、学習内容類似度を算出する方法としては、例えばＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency：単語の出現頻度−逆出現頻度）法を用いたものであってもよい。この方法によれば、単語ｗiが、学習単元jの学習内容に出現する回数及び頻度から算出したＴＦi,jと、全ての学習単元j=1〜Nの内、単語ｗiが出現する学習単元の数ｍiを算出したＩＤＦiとを用いて、学習単元jに含まれる単語ｗiに対する重みとする。学習単元同士について、学習内容をBag-of-Wordsで表現し、各ベクトルの成分を、該当するＴＦ×ＩＤＦiの値で重み付けする。Bag-of-Wordsは、学習テキストを１つの単語の頻度により定義される特徴ベクトルで表現し、文章集合に基づいて予め導出されたＩＤＦを単語の重みとして文章間の類似度を導出するものである。そして、２つのベクトル間でコサイン距離を算出し、これを学習内容間の類似度とする。

【0031】

類似度が所定閾値以上となる学習単元同士を、有向グラフのアークによって結ぶ。学習単元の類似度に基づいて、例えばユーザが、先の学習単元における理解度確率に対応して、そのアークによって結ばれた後の学習単元における理解度確率も変化すると考えられる。

【0032】

この有向グラフは、学習指導方針に基づいて、学習単元間の関連性を考えながら、人手によって作成されたものであってもよい。また、各学習単元における学習内容の類似度から、学習開始時期に基づいて自動的に作成されたものであってもよい。例えば同一教科内の各学習単元の係り受けが明確であれば、比較的容易に決定することができる。図３によれば、単一教科「数学」について適用しているが、複数教科に跨るものであってもよいし、専門性が高い資格教育や企業教育に基づくものであってもよい。

【0033】

［理解度確率更新部１１（Ｓ１１）］
理解度確率更新部１１は、ユーザ（学習者）毎に、既出題の学習単元に含まれる問題の正答／誤答に対して、未出題の他の全ての学習単元の理解度確率を算出する。具体的には、ユーザが、出題される問題に順次解答していき、その正答／誤答結果を理解度推定モデル（有向グラフ）に照合する。そして、ユーザ毎に、未出題の問題に対する正答率（理解度確率）が更新される。

【0034】

理解度確率更新部１１は、初期状態として、多数のユーザにおける全ての学習単元について総合的に、学習単元毎に理解度確率を算出したものとする。例えば、初期状態の理解度確率は、多数のユーザの各学習単元における平均正答率であってもよい。勿論、人手によって予め設定したものであってもよいし、機械学習を用いて算出したものであってもよいし。

【0035】

理解度確率更新部１１の理解度推定モデルとしては、例えば「ベイジアンネットワーク」を用いたものである。後述する解答判定部１３によって判定された学習単元の正答／誤答が出力される毎に、未出題の他の全ての学習単元について理解度確率（尤度）を再計算する。

【0036】

具体的には、理解度確率更新部１１は、問題に対して、正答の場合に当該学習単元の理解度確率＝1.00とし、誤答の場合に当該学習単元の理解度確率＝0.00として記憶し、未出題の他の全ての学習単元の理解度確率を再計算する。これによって、既に出題した問題の解答結果を用いて、未出題の問題の理解度確率を更新することができる。

【0037】

ベイジアンネットワークとは、ノード間の因果関係を、確率によって記述するグラフィカルネットワークである（例えば非特許文献４参照）。本発明におけるネットワークとは、学習単元を「ノード」とし、ノード間のアークに付与された類似度を「重み」として付与したグラフ構造をいう。ベイジアンネットワークは、複数ノード間の因果関係の推論を有向非巡回グラフ構造によって表し、個々の変数の関係を条件つき確率で表す確率推論のモデルである。有向非巡回グラフ構造とは、アークに矢印が付与され（有向）、その矢印の経路がノードを巡回することが無いものをいう。ベイジアンネットワークを用いることによって、既に解答された各ノードの正答／誤答から、その後に出題される経路上のノードについて、不確実な事象（正答／誤答）の正答率（理解度確率）を定量的に推定することができる。

【0038】

ベイジアンネットワークについて、例えばノードＡ、Ｂ、Ｃ間の有向グラフとして、親ノードＡ->子ノードＢ、親ノードＡ->子ノードＣの場合を考える。
Ａの理解度確率：Ｐ（Ａ）
Ｂの理解度確率：Ｐ（Ｂ）
Ｃの理解度確率：Ｐ（Ｃ）
Ａが正答した場合におけるＣの理解度確率＝Ｐ（Ｃ｜Ａ）
Ｂが正答した場合におけるＣの理解度確率＝Ｐ（Ｃ｜Ｂ）
Ａが正答し次にＢが正答した場合におけるＣの理解度確率
＝Ｐ（Ｃ｜Ａ）Ｐ（Ｃ｜Ｂ）
出題した問題の解答結果が得られる毎に、未出題の全てのノード（学習単元）の理解度確率が再計算される。これによって、複雑な系であっても、各ノードにおける理解度確率（条件付確率）用いて、次に続いて出題される問題における確率的な依存関係をモデル化することができる。

【0039】

本発明の有向グラフは、学習単元間の親子関係を特定したネットワークである。そのために、任意の学習単元について正答した場合、その学習単元につながる学習単元の理解度確率もその正答した単元に応じて高くなる。一方で、任意の学習単元について誤答した場合、その学習単元につながる学習単元の理解度確率もその誤答した単元に応じて低くなる。

【0040】

［問題提示部１２（Ｓ１２）］
問題提示部１２は、ユーザ毎に、未出題の学習単元に含まれる問題を提示する。次に出題すべき学習単元は、例えば以下の４つの方法のいずれかによって選択される。

【0041】

（第１の学習単元選択方法）
問題提示部１２は、判定閾値に最も近い理解度確率を有する学習単元に含まれる問題を、次に出題する。例えば「理解している」「理解していない」の判定閾値に近い理解度確率を持つ問題ほど、ユーザの学習判定には重要である。即ち、判定閾値に近い問題ほど、全ての問題に対する情報量が最も高いといえる。そのような問題に対して、その解答が理解度確率＝1.00又は0.00へ更新されることによって、未出願の他の学習単元に対する理解度確率の更新に影響を与えることとなる。

【0042】

（第２の学習単元選択方法）
問題提示部１２は、判定注意識別部１４によって判定注意と識別された学習単元に対して親ノードとなる学習単元に含まれる問題を、次に出題する。学習単元は有向グラフによって構成されている。そのために、例えば、教師は、「一次関数」の理解が十分でない生徒に対して、その学習単元の親ノードとなる「文字を用いた式」「空間図形」の学習単元を復習させることができる。生徒は、先の学習単元に戻って復習することによって、学習し直すことができる。これによって、ユーザは、最終的には系統立った理解を積み重ねることができる。

【0043】

（第３の学習単元選択方法）
問題提示部１２は、理解度確率更新部１１によって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する。１つの問題に対するユーザの解答によって、未出題の他の全ての学習単元の理解度確率が更新されることとなるが、その中で理解度確率の変化量が大きいほど、ユーザの解答に曖昧な理解や軽微な誤解を含んでいると考えられる。そのような学習単元ほど、理解度の推定に注意すべきとなる。

【0044】

（第４の学習単元選択方法）
学習単元は、複数の問題及び解答を含んでいる場合、問題提示部１２は、後述する判定注意識別部１４によって判定注意と識別された学習単元について、出題した問題以外の他の問題を、次に出題する。即ち、同一種別の複数の問題を出題し、それら問題の正答率が所定割合以上であれば、その学習単元について理解した（理解度確率＝1.00）として更新することができる。例えば、判定注意となった同一学習単元の問題５問の再テストによって、平均８０点（所定割合）以上を「理解している」と判定することもできる。即ち、５問中４問以上の正答となった場合に、理解度確率＝1.00に更新し、２問に誤答となった時点で、理解度確率＝0.00に更新する。

【0045】

（他の実施形態に基づく学習単元選択方法）
前述した第２〜第４の学習単元選択方法を組合わせて、問題提示部１２が、次に出願する問題を選択することもできる。
理解度確率が第１の所定閾値以下の当該ユーザが正答した場合、「第２の学習単元選択方法」を選択する。具体的には、判定注意識別部１４によって判定注意と識別された学習単元に対して親ノードとなる学習単元に含まれる問題を、次に出題する。
理解度確率が第２の所定閾値（＞第１の所定閾値）以上の当該ユーザが誤答した場合、「第４の学習単元選択方法」を選択する。具体的には、学習単元が複数の問題及び解答を含んでおり、判定注意識別部１４によって判定注意と識別された学習単元について、出題した問題以外の他の問題を、次に出題する。
理解度確率が前述条件以外の当該ユーザに対して、「第３の学習単元選択方法」を選択する。具体的には、理解度確率更新部１１によって未出題の他の全ての学習単元の理解度確率を再計算した前後で、当該理解度確率の変化量が最も大きい学習単元に含まれる問題を、次に出題する。

【0046】

そして、問題提示部１２は、選択した問題をユーザへ明示する。テスト装置１がサーバである場合、問題提示部１２は、ユーザが操作する端末２へ、その問題のコンテンツを送信する。

【0047】

［解答判定部１３（Ｓ１３）］
解答判定部１３は、ユーザ毎に、問題に対する解答の正答／誤答を判定する。学習単元は、問題及び解答を含んでいるために、ユーザの解答と問題の解答とを比較することによって、正答／誤答を判定する。その判定結果は、判定注意識別部１４へ出力される。

【0048】

［判定注意識別部１４（Ｓ１４）］
判定注意識別部１４は、理解度確率が判定閾値よりも低い学習単元の問題に対して正答した場合、又は、理解度確率が判定閾値よりも高い学習単元の問題に対して誤答した場合、当該学習単元についての理解／誤解が不明であるとして「判定注意」と識別する。
理解度確率が低い問題に対して正答した−＞偶然正答
曖昧な理解の可能性あり
（理解度確率が低い（0.0に近い）程、理解できていない可能性が高い）
理解度確率が高い問題に対して誤答した−＞偶然誤答
軽微な誤解の可能性あり
（理解度確率が高い（1.0に近い）程、理解できている可能性が高い）
基本的に、判定注意識別部１４は、理解度推定モデル（理解度更新部１１によって更新される学習単元毎の理解度確率の有向グラフ）から得られる理解度確率と、出題結果としての正答／誤答とを比較することによって、その結果の尤もらしさを評価する。

【0049】

ここで、理解度確率の「判定閾値」は、任意に設定することができる。例えば理解度の判定基準を「理解している」「理解していない」とする場合、判定閾値＝0.5とすることができる。また、ユーザ毎の目標に応じて、又は、テスト問題の難易度に応じて、判定閾値を変更することもできる。

【0050】

図４〜図８は、本発明によって学習単元の理解度確率が更新されている過程を表す。

【0051】

図４は、初期設定時における学習単元の有向グラフ及び理解度確率を表す第１の説明図である。

【0052】

図４によれば、初期設定時の各学習単元の理解度確率は、多数のユーザの過去の正答／誤答の解答結果から得られた平均値であってもよい。有向グラフは、学習単元の一般的な理解の進行と、各学習単元の平均的な理解度確率とを表す。また、判定閾値＝0.5として設定しており、その判定閾値に近い学習単元ほど、「理解している」「理解していない」の判定が比較的難しい。

【0053】

最初に、判定閾値＝0.5に最も近い学習単元５（＝0.52）が選択され、その学習単元に含まれる問題がユーザに出題される。ここで、学習単元５は、理解度確率＝0.52であるために、最初は「理解している」と推定される。

【0054】

図５は、学習単元５に正答した場合における学習単元の理解度確率の更新を表す第２の説明図である。

【0055】

図５によれば、ユーザは、学習単元５に正答している。このとき、「理解している」と推定されていた学習単元５に「正答」したために、ユーザが偶然に正答したとは推定しない。学習単元５の理解度確率＝1.00に更新し、ベイジアンネットワークによって未出題の他の全ての理解度確率が再計算される。

【0056】

次に、判定閾値＝0.5に最も近い学習単元８（＝0.47）が選択され、その学習単元に含まれる問題がユーザに出題される。ここで、学習単元８は、理解度確率＝0.47であるために、最初は「理解していない」と推定される。

【0057】

図６は、学習単元８に誤答した場合における学習単元の理解度確率の更新を表す第３の説明図である。

【0058】

図６によれば、ユーザは、学習単元８に誤答している。このとき、「理解していない」と推定されていた学習単元８に「誤答」したために、ユーザが偶然に誤答したとは推定しない。学習単元８の理解度確率＝0.00に更新し、ベイジアンネットワークによって未出題の他の全ての理解度確率が再計算される。

【0059】

次に、判定閾値＝0.5に最も近い学習単元４（＝0.54）が選択され、その学習単元に含まれる問題がユーザに出題される。ここで、学習単元４は、理解度確率＝0.54であるために、最初は「理解している」と推定される。

【0060】

図７は、学習単元４に誤答した場合における学習単元の理解度確率の更新を表す第４の説明図である。

【0061】

図７によれば、ユーザは、学習単元４に誤答している。このとき、「理解している」と推定されていた学習単元４に「誤答」したために、ユーザが偶然に誤答したとして「判定注意」とする。

【0062】

本来であれば、誤答したために、学習単元４の理解度確率＝0.00に更新される。しかしながら、学習単元４は判定注意と識別されたために、問題提示部１２は、前述した４つの方法のいずれかによって、ユーザの理解度を慎重に判定する。最終的に「理解している」と判定された場合、学習単元４の理解度確率＝1.00に更新され、ベイジアンネットワークによって未出題の他の全ての理解度確率が再計算される。

【0063】

次に、判定閾値＝0.5に最も近い学習単元１３（＝0.45）が選択され、その学習単元に含まれる問題がユーザに出題される。ここで、学習単元１３は、理解度確率＝0.45であるために、最初は「理解していない」と推定される。

【0064】

図８は、学習単元１３に正答した場合における学習単元の理解度確率の更新を表す第５の説明図である。

【0065】

図８によれば、ユーザは、学習単元１３に正答している。このとき、「理解していない」と推定されていた学習単元１３に「正答」したために、ユーザが偶然に正答したとして「判定注意」とする。

【0066】

本来であれば、正答したために、学習単元１３の理解度確率＝1.00に更新される。しかしながら、学習単元１３は判定注意と識別されたために、問題提示部１２は、前述した４つの方法のいずれかによって、ユーザの理解度を慎重に判定する。最終的に「理解していない」と判定された場合、学習単元１３の理解度確率＝0.00に更新し、ベイジアンネットワークによって未出題の他の全ての理解度確率が再計算される。

【0067】

図４〜図８のような過程を繰り返すことによって、曖昧な理解や軽微な誤解をした学習単元を推定し、そのような学習単元については、できる限り慎重に、ユーザの理解度を判定する。

【0068】

以上、詳細に説明したように、本発明のユーザ適応型のテストプログラム、装置及び方法によれば、e-Learningシステムに適用し、曖昧な理解や軽微な誤解に基づく解答を識別することができる。判定注意と識別された学習単元に対してのみ、出題数を増加させることによって、そのユーザの理解度を慎重に判定することができる。結果的に、ユーザに総当たり的に出題する方法や、ユーザの解答が常にそのユーザの理解に相応することを前提とした従来技術と比較して、最終的にユーザの理解度を判定するための出題数を減少し、更には、曖昧な理解や軽微な誤解に起因する理解度の判定誤差を低減することができる。

【0069】

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

【符号の説明】

【0070】

１ テスト装置
１０ 学習単元記憶部
１１ 理解度確率更新部
１２ 問題提示部
１３ 解答判定部
１４ 判定注意識別部
２ 端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】