特許 6832410 学習効果推定装置、学習効果推定方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6832410

(24)【登録日】2021年2月3日

(45)【発行日】2021年2月24日

(54)【発明の名称】学習効果推定装置、学習効果推定方法、プログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20210215BHJP

   G09B 7/04 20060101ALI20210215BHJP

   G06Q 50/20 20120101ALI20210215BHJP

   G06N 3/08 20060101ALI20210215BHJP

【ＦＩ】

   G09B19/00 H

   G09B7/04

   G06Q50/20 300

   G06N3/08

【請求項の数】12

【全頁数】16

(21)【出願番号】特願2019-203782(P2019-203782)

(22)【出願日】2019年11月11日

【審査請求日】2019年11月11日

(73)【特許権者】

【識別番号】506142716

【氏名又は名称】株式会社Ｚ会

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】渡辺 淳

(72)【発明者】

【氏名】上田 倫也

(72)【発明者】

【氏名】桜井 敏之

【審査官】 宇佐田 健二

(56)【参考文献】

【文献】 特開平０３−１２５１７９（ＪＰ，Ａ）

【文献】 特開２００５−２１５０２３（ＪＰ，Ａ）

【文献】 特開２０１８−２０５４４７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０１５１０８４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ ７／００−７／１２，１９／００

Ｇ０６Ｎ ３／０８

Ｇ０６Ｑ ５０／２０

(57)【特許請求の範囲】

【請求項1】

学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データ
を入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成す
るモデルを記憶するモデル記憶部と、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成する正
解確率生成部と、
前記正解確率の時系列データを前記ユーザ毎に蓄積する正解確率データベースと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである
範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解
度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、
前記カテゴリに対応付けて出力する理解度信頼度生成部を含む
学習効果推定装置。

【請求項2】

請求項１に記載の学習効果推定装置であって、
前記理解度と所定の第１の閾値との大小関係、および前記信頼度と所定の第２の閾値と
の大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、
所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出
力するレコメンド生成部を含む
学習効果推定装置。

【請求項3】

請求項１に記載の学習効果推定装置であって、
進捗度を生成して出力するレコメンド生成部を含む
学習効果推定装置。

【請求項4】

請求項１に記載の学習効果推定装置であって、
前記カテゴリは、少なくとも一つの何れかのカテゴリ集合に属しており、前記カテゴリ
集合のそれぞれに目標カテゴリが１つまたは複数存在するものとし、
前記理解度信頼度生成部は、
前記範囲データ内に含まれる前記目標カテゴリの前記正解確率を対応する前記カテゴリ
集合全体の理解度として生成し、前記カテゴリ集合全体の理解度に基づいて前記カテゴリ
集合全体の信頼度を生成する
学習効果推定装置。

【請求項5】

請求項１に記載の学習効果推定装置であって、
前記範囲データは、
前記ユーザが入力した前記カテゴリに基づいて取得されるか、または前記ユーザが入力
したデータを前記カテゴリに変換し、変換した前記カテゴリに基づいて取得される
学習効果推定装置。

【請求項6】

請求項２に記載の学習効果推定装置であって、
前記レコメンド生成部は、
予め定めたカテゴリの推奨学習順序を定義するパラメータである先行後続関係に基づい
て、前記レコメンドを生成する
学習効果推定装置。

【請求項7】

請求項４に記載の学習効果推定装置であって、
前記範囲データ内に複数の前記カテゴリ集合が含まれる場合に、所定の確率で複数の前
記カテゴリ集合のうちの未学習の前記カテゴリ集合を指定し、指定された前記カテゴリ集
合内の何れかのカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報で
あるレコメンドを生成して出力するレコメンド生成部を含む
学習効果推定装置。

【請求項8】

学習効果推定装置が各ステップを実行する学習効果推定方法であって、
学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データ
を入力とし、前記学習データに基づいて前記ユーザの前記カテゴリ毎の正解確率を生成す
るモデルを記憶するステップと、
前記モデルに前記学習データを入力して、前記カテゴリ毎の前記正解確率を生成するス
テップと、
前記正解確率の時系列データを前記ユーザ毎に蓄積するステップと、
所定の前記ユーザの学習効果推定のための前記カテゴリの範囲を指定するデータである
範囲データを取得し、所定の前記ユーザの前記範囲データ内の前記正解確率に基づく理解
度と、前記理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、
前記カテゴリに対応付けて出力するステップを含む
学習効果推定方法。

【請求項9】

請求項８に記載の学習効果推定方法であって、
前記理解度と所定の第１の閾値との大小関係、および前記信頼度と所定の第２の閾値と
の大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、
所定の前記ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出
力するステップを含む
学習効果推定方法。

【請求項10】

請求項８に記載の学習効果推定方法であって、
前記カテゴリは、少なくとも一つの何れかのカテゴリ集合に属しており、前記カテゴリ
集合のそれぞれに目標カテゴリが１つまたは複数存在するものとし、
前記範囲データ内に含まれる前記目標カテゴリの前記正解確率を対応する前記カテゴリ
集合全体の理解度として生成し、前記カテゴリ集合全体の理解度に基づいて前記カテゴリ
集合全体の信頼度を生成する
学習効果推定方法。

【請求項11】

請求項１０に記載の学習効果推定方法であって、
前記範囲データ内に複数の前記カテゴリ集合が含まれる場合に、所定の確率で複数の前
記カテゴリ集合のうちの未学習の前記カテゴリ集合を指定し、指定された前記カテゴリ集
合内の何れかのカテゴリを、所定の前記ユーザの次回学習の推奨ターゲットとする情報で
あるレコメンドを生成して出力するステップを含む
学習効果推定方法。

【請求項12】

コンピュータを請求項１から７の何れかに記載の学習効果推定装置として機能させるプ
ログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの学習効果を推定する学習効果推定装置、学習効果推定方法、プログラムに関する。

【背景技術】

【0002】

学力効果測定に基づく学習計画を自動形成しその学習をオンライン上でできるオンライン学習システム（特許文献１）が知られている。

【0003】

特許文献１のオンライン学習システムは、オンライン学習サーバとインターネットを介して接続された複数の学習者端末を備える。オンライン学習サーバは、各学習者端末からの要求に応じて要求された科目の学習効果測定のための問題を複数の測定項目と各項目ごとの測定分野の単位に分けた問題で要求端末に提供する。問題を提供された端末から学習者が解答した問題の解答がサーバに送信されると、サーバは、測定項目における全ての測定分野ごとに解答を採点すると共に、各測定項目と各項目における全測定分野ごとに、採点結果を複数段階の評価値に変換して評価値を学習者端末に提示する。サーバは、この評価値に基づいて各測定項目における測定分野ごとにオンライン学習サーバから提供される当該科目の学習テキストにおける学習すべき各分野の内容と学習すべき時間を当該学習者端末に提示する。

【0004】

特許文献１のオンライン学習システムによれば、サーバから受験した科目の全範囲を分けた複数の測定項目における複数の測定分野について、ユーザの到達度を評価値で学習者端末に提示することができる。また、評価値に基づいて各測定分野ごとにオンライン学習サーバから端末に提供されるテキスト上で学習すべき単元内容とそれに要する時間とを学習者端末に提示することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１２−２０８１４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１のオンライン学習システムは、学習効果測定のために出題された問題の採点結果を評価値に置き換えているだけであり、人間が物事を理解するメカニズムの様々な側面を反映できていない。

【0007】

そこで本発明では、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。

【課題を解決するための手段】

【0008】

本発明の学習効果推定装置は、モデル記憶部と、正解確率生成部と、正解確率データベースと、理解度信頼度生成部を含む。

【0009】

モデル記憶部は、学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデルを記憶する。正解確率生成部は、モデルに学習データを入力して、カテゴリ毎の正解確率を生成する。正解確率データベースは、正解確率の時系列データをユーザ毎に蓄積する。理解度信頼度生成部は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する。

【発明の効果】

【0010】

本発明の学習効果推定装置によれば、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。

【図面の簡単な説明】

【0011】

【図1】実施例１の学習効果推定装置の構成を示すブロック図。

【図2】実施例１の学習効果推定装置の動作を示すフローチャート。

【図3】学習データの種類について説明する図。

【図4】カテゴリの相関関係の例を示す図。

【図5】相関があるカテゴリの正解確率が同時に変動する例を示す図。

【図6】カテゴリの先行後続関係の例を示す図。

【図7】学習データ（コンテンツ）に指定されるカテゴリの例を示す図。

【図8】正解確率（理解度）の時系列データの例を示し、図８Ａは変動が大きい例、図８Ｂ、図８Ｃは変動が少ない例を示す図。

【図9】カテゴリ集合と目標カテゴリの例を示す図。

【図10】理解度と信頼度に基づく場合分けの例を説明する図。

【図11】コンピュータの機能構成例を示す図。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【実施例1】

【0013】

以下、図１を参照して実施例１の学習効果推定装置の構成を説明する。同図に示すように、本実施例の学習効果推定装置１は、学習データ取得部１１と、正解確率生成部１２と、モデル記憶部１２Ａと、正解確率データベース１２Ｂと、範囲データ取得部１３と、理解度信頼度生成部１４と、レコメンド生成部１５を含む。なお、同図に破線で示すように、レコメンド生成部１５は必須の構成要件ではなく、場合により割愛してもよい。

【0014】

以下、図２以降を参照して、各構成要件の詳細な動作を説明する。

【0015】

＜学習データ取得部１１＞
学習データ取得部１１は、学習データを取得する（Ｓ１１）。学習データとは、ユーザがコンテンツを学習したときの学習結果や学習状況のデータであり、コンテンツ、学習データには、学習目的別のカテゴリ（以下、単にカテゴリという）が予め割り振られている。

【0016】

［コンテンツ、学習データ］
図３に示すように、コンテンツにはカリキュラム、アダプティブの二つの種別を設けてもよい。カリキュラムには、例えばシナリオ、練習問題などを含むことができる。アダプティブには、例えば演習問題などを含むことができる。

【0017】

シナリオとは、読む、聴く、図を参照する、動画を見るなど、問題演習以外の形式によって、知識を習得するタイプのコンテンツ（教材）を示す。シナリオの学習データとは典型的には、シナリオの読了、聴講完了、閲覧完了など学習結果を示すデータ（フラグ）や、学習が行われた日時、場所など学習状況を示すデータである。これ以外にもシナリオの読解、聴講、閲覧の回数や頻度をシナリオの学習データとしてもよい。

【0018】

練習問題とは、典型的には、シナリオとシナリオの間に挿入され、あるいはシナリオの後ろに挿入され、直前のシナリオの理解度を問う基本的な例題などを意味している。練習問題の学習データとは典型的には、練習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。

【0019】

演習問題とは、典型的には、テスト形式で出題される問題群のことなどを意味している。演習問題の学習データとは、典型的には、演習問題の実施、実施の回数、頻度、正誤、正答率、得点、誤答の内容など学習結果を示すデータや、学習が行われた日時、場所など学習状況を示すデータである。また、模試の成績データを演習問題の学習データとして用いてもよい。

【0020】

［カテゴリ］
カテゴリとは、ユーザの学習内容を細分化して定義した学習目的を示す。例えば「１次方程式を解くことができる」をカテゴリ０１、「連立方程式を解くことができる」をカテゴリ０２、などと定義してもよい。また、上記をもっと細分化して、例えば「移項を用いて１次方程式を解くことができる」、「括弧のある１次方程式を解くことができる」、「係数に分数・小数を含む１次方程式を解くことができる」といったカテゴリを定義してもよい。

【0021】

二つのカテゴリの正解確率（または理解度）は場合により密接な関連性を有する場合がある。例えば、三角関数のｓｉｎθ，ｃｏｓθの基本的な性質についての正解確率（または理解度）が高い場合に、同じ三角関数であるｔａｎθの基本的な性質についての正解確率（または理解度）が高くなる傾向があるといえ、これらは密接な関連性を有するといえる。図４にカテゴリの相関関係の例を示す。同図の例では、カテゴリ０１は、カテゴリ０２およびカテゴリ０３に強く相関している。また、カテゴリ０２、０３ほどではないものの、カテゴリ０４は、カテゴリ０１と弱く相関している。また、カテゴリ０５は、カテゴリ０１とは無相関である。例えばユーザがカテゴリ０１を学習中の場合、当然のことながら学習結果に応じて、カテゴリ０１の正解確率（または理解度）は変動する。このとき、カテゴリ０２，０３，０４が未学習であったとしても、カテゴリ０１と相関があるため、カテゴリ０１の学習結果に応じて、カテゴリ０２，０３，０４の正解確率（または理解度）も変動する。このとき、カテゴリ０１とは無相関なカテゴリ０５の正解確率（または理解度）は変動しない。

【0022】

例えば、図５に例示するように、カテゴリ０１を学習したことにより、カテゴリ０１の正解確率が0.20上昇した場合に、カテゴリ０１と強く相関するカテゴリ０２，０３の正解確率は0.10上昇し、カテゴリ０１と弱く相関するカテゴリ０４の正解確率は0.05上昇するといったケースが考えられる。

【0023】

［カテゴリの先行後続関係］
カテゴリ間に先行後続関係を定義してもよい。先行後続関係とはカテゴリの推奨学習順序を定義するパラメータである。より詳細には、先行後続関係とは、あるカテゴリを先行して学習した場合に、後続して学習するカテゴリの学習効果が高くなるように定めた重み付けパラメータである。例えば上述の例において、カテゴリ「sinθ,cosθの基本的な性質」を先行学習した場合、後続するカテゴリとして、カテゴリ「tanθの基本的な性質」を選択すれば、学習効果が高くなると見込まれる。

【0024】

例えば図６の例では、カテゴリ０１が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０２を選択すれば、学習効果が高くなると見込まれる。同様に、カテゴリ０２が先行する場合に、後続するカテゴリとして、重み付けパラメータ＝０．８を有するカテゴリ０３を選択すれば、学習効果が高くなると見込まれる。なお、図６において、すべてのカテゴリにおいて、順序も含めたすべての学習の関係性を表す連続値として、カテゴリ間の関係性を定義してもよい。

【0025】

［コンテンツに指定されるカテゴリの数］
各コンテンツには、少なくとも一つのカテゴリが付与される。コンテンツに２以上のカテゴリを付与してもよい。図７の例では、コンテンツ＿０１０１にカテゴリ０１，０２が、コンテンツ＿０１０２にカテゴリ０１が、コンテンツ＿０２０１にカテゴリ０２，０３，０４が、それぞれ付与されている。

【0026】

＜モデル記憶部１２Ａ＞
モデル記憶部１２Ａは、学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデル（ＤＫＴモデル）を記憶する。

【0027】

［ＤＫＴモデル］
ＤＫＴとは、Deep Knowledge Tracingの略である。Deep Knowledge Tracingとは、学習者（ユーザ）が知識を獲得していくメカニズムをニューラル・ネットワーク（Deep Learning）を用いてモデル化する技術である。

【0028】

ＤＫＴモデルは、大量に収集した訓練データを用いて、教師あり学習により最適化される。一般的に訓練データは、ベクトルとラベルの組を備えるが、本実施例のＤＫＴモデルの場合、ベクトルとして学習データ（カリキュラム、アダプティブの双方のデータを含む）、ラベルとして対応するカテゴリにおける演習問題や模試の問題の正答率、教育関係者が対応するカテゴリについて判断してラベル付けした正答率などを用いることができる。ＤＫＴモデルによりカテゴリ間の相関関係は学習されるため、ＤＫＴモデルにある教科の一部のカテゴリの学習データのみを入力とした場合であっても、当該教科の全てのカテゴリの正解確率が推定されて出力される。

【0029】

＜正解確率生成部１２＞
正解確率生成部１２は、ＤＫＴモデルに学習データを入力して、カテゴリ毎の正解確率を生成する（Ｓ１２）。

【0030】

＜正解確率データベース１２Ｂ＞
正解確率データベース１２Ｂは、ステップＳ１２で生成した正解確率の時系列データをユーザ毎、カテゴリ毎に蓄積する。図８Ａ、図８Ｂ、図８Ｃに正解確率（理解度）の時系列データの例を示す。図８Ａは、変動が大きい例を示す。グラフの横軸は、問題数（問と表記する）でもよいし、日数（ＤＡＹと表記する）でもよい。グラフの縦軸は正解確率（または後述する理解度）である。図８Ａは例えば、問４、またはＤＡＹ４までカリキュラムの学習に取り組み、問４、またはＤＡＹ４までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に上昇したものの、問５、またはＤＡＹ５からアダプティブの学習を開始した結果、演習問題の正答率が芳しくなく、問５、またはＤＡＹ５以降の学習データを逐次ＤＫＴモデルに入力することにより、正解確率が一時的に下降したケースなどに該当する。図８Ｂは例えば、問１〜問８、またはＤＡＹ１〜ＤＡＹ８まで継続して、アダプティブの学習に取り組んでおり、逐次学習データをＤＫＴモデルに入力することにより、正解確率が僅かずつ上昇したケースなどが該当する。図８Ｃは例えば、問２、またはＤＡＹ２までカリキュラムの学習に取り組み、問２、またはＤＡＹ２までの学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇し、問３、またはＤＡＹ３からアダプティブの学習に取り組み、学習データを逐次ＤＫＴモデルに入力することにより、正解確率がゆるやかに上昇したケースなどが該当する。

【0031】

＜範囲データ取得部１３＞
範囲データ取得部１３は、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得する（Ｓ１３）。例えば、所定のユーザが学校の中間、期末テストの出題範囲の学習効果を推定したい場合、当該ユーザは、中間、期末テストで指定されている出題範囲をカテゴリに読み替え、読み替えたカテゴリ全てを範囲データとして指定（入力）する。また、所定のユーザが高校受験の数学に関し学習効果を推定したい場合、当該ユーザは、中学１年生〜中学３年生までに学習する数学のカテゴリ全てを範囲データとして指定（入力）する。

【0032】

範囲データの取得に関しては、所定のユーザが教科書のページ数や単元名などのデータを範囲データ取得部１３に入力し、範囲データ取得部１３が、これらのデータをカテゴリに読み替えて、範囲データを取得してもよい。

【0033】

＜理解度信頼度生成部１４＞
理解度信頼度生成部１４は、ステップＳ１３における範囲データを取得し、所定のユーザの範囲データ内の正解確率（例えば直近のデータ）に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する（Ｓ１４）。例えば、理解度信頼度生成部１４は、範囲データ内の各カテゴリの直近の正解確率を、各カテゴリの理解度として出力してもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値以下であるならば、そのユーザは該当カテゴリを理解していないとみなして、理解度を０としてもよい。また例えば、理解度信頼度生成部１４は、正解確率が一定値を超えていれば、正解確率をα倍してβを差し引いて補正した値を、理解度としてもよい。

【0034】

理解度信頼度生成部１４は、理解度の時系列データの変動を考慮するため、理解度の時系列データのデータ数が所定の閾値未満である場合に、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。また、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合、すなわち理解度が予め設定した閾値（小さな値とするのが望ましい）未満である場合には、理解度が安定していたとしても、信頼度を所定値（小さな値とするのが望ましい）と設定することもできる。

【0035】

理解度を上記と異なる定義に基づいて生成、出力してもよい。例えば、カテゴリが何れかのカテゴリ集合に属しており、カテゴリ集合のそれぞれに目標カテゴリが１つずつ存在するものと定義した場合について考える。

【0036】

例えば、図９に示すように、カテゴリ０１，０２，０３が第１カテゴリ集合５−１に属しており、カテゴリ０４，０５が第２カテゴリ集合５−２に属しているものとし、第１カテゴリ集合５−１の目標カテゴリをカテゴリ０３とし、第２カテゴリ集合５−２の目標カテゴリをカテゴリ０５とする。例えば、定期試験の試験範囲において、複数の単元（例えば、ベクトルと複素数の単元）が出題範囲とされている場合、各単元のカテゴリを各カテゴリ集合に含め、各単元に対応する各カテゴリ集合に対して、目標カテゴリを設定すれば好適である。

【0037】

この場合、理解度信頼度生成部１４は、範囲データ内に含まれる目標カテゴリの正解確率を対応するカテゴリ集合全体の理解度として生成し、カテゴリ集合全体の理解度に基づいてカテゴリ集合全体の信頼度を生成すれば好適である。

【0038】

また、目標カテゴリは１つのカテゴリ集合に２つ以上存在してもよく、その場合は、２つ以上存在する目標カテゴリの正解確率の平均値などをカテゴリ集合全体の理解度としてもよい。

【0039】

＜レコメンド生成部１５＞
レコメンド生成部１５は、理解度と所定の第１の閾値との大小関係、および信頼度と所定の第２の閾値との大小関係に応じた場合分けのうち、少なくとも何れかの場合分けに属するカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力する（Ｓ１５）。

【0040】

例えば図１０に示すように、理解度が第１の閾値Ｔ_１を超えており、信頼度が第２の閾値Ｔ_２を超えている場合（１）、理解度が第１の閾値Ｔ_１を超えており、信頼度が第２の閾値Ｔ_２以下である場合（２）、理解度が第１の閾値Ｔ_１以下であり、信頼度が第２の閾値Ｔ_２を超えている場合（３）、理解度が第１の閾値Ｔ_１以下であり、信頼度が第２の閾値Ｔ_２以下である場合（４）、の４パターンに場合分けすれば好適である。なお、同図において、理解度＞Ｔ_１を理解度≧Ｔ_１、理解度≦Ｔ_１を理解度＜Ｔ_１とし、信頼度＞Ｔ_２を信頼度≧Ｔ_２、信頼度≦Ｔ_２を信頼度＜Ｔ_２としても同様の場合分けができる。

【0041】

同図の例における場合１は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ_１、たとえばＴ_１＝０．９０）を超えており、該当カテゴリにおける信頼度も予め設定した水準（Ｔ_２、たとえばＴ_２＝０．９０）を超えている場合である。理解度が高いことは、該当カテゴリにおけるユーザーの正解確率が高いことを意味し、信頼度が高いことは、図８Ｂに例示したように、理解度の時系列データの変動が小さいことを意味する。従って、ユーザが該当カテゴリにおいて安定して高得点を取ることができる程度に習熟度が高く、ユーザの学習が十分であると判断できる可能性が高い。

【0042】

同図の例における場合２は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ_１）を超えているものの、該当カテゴリにおける信頼度が予め設定した水準（Ｔ_２）以下となっている場合である。典型的には、該当カテゴリにおける直近の学習データで高い正解確率をマークしたものの、該当カテゴリにおける過去の理解度の時系列データをみれば、正解確率が低い時期があり、変動が大きい場合などが考えられる。

【0043】

同図の例における場合３は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ_１）以下となっている一方、該当カテゴリにおける信頼度が予め設定した水準（Ｔ_２）を超えている場合である。典型的には、該当カテゴリに関連する別のカテゴリの学習を進めることにより、該当カテゴリの理解度がある程度上昇し、さらに安定している場合、該当カテゴリの学習を進めることにより、該当カテゴリの理解度が安定している場合などが考えられる。このような場合に、さらに理解度をあげるためには、該当カテゴリの学習を進め、安定して高得点をマークする必要がある。

【0044】

同図の例における場合４は、該当カテゴリにおけるユーザーの理解度が予め設定した水準（Ｔ_１）以下であって、該当カテゴリにおける信頼度もまた予め設定した水準（Ｔ_２）以下となる場合である。典型的には、該当カテゴリおよび関連するカテゴリにおいて学習が始まっていない（未学習）と考えられるほど理解度が低い場合に、信頼度を所定の小さな値と設定している場合が考えられる。また、図８Ａに例示したように、カリキュラム学習などがある程度進んでおり、直近のアダプティブ学習において得点が低くなったことにより、直近の理解度が大きく低下し、理解度の時系列データの変動が大きい（すなわち、信頼度が低い）場合などが考えられる。

【0045】

例えば、レコメンド生成部１５は、場合４に該当するカテゴリを、該当ユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。レコメンド生成部１５は、例えば場合４に該当するカテゴリを最も推奨するターゲット、場合３に該当するカテゴリを二番目に推奨するターゲット、場合２に該当するカテゴリを三番目に推奨するターゲットとして、レコメンドを生成して出力してもよい。

【0046】

上記の例に限らず、レコメンド生成部１５は様々な基準でレコメンドを生成してもよい。例えば、レコメンド生成部１５は、範囲データ内において理解度が０．５に近いカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。また、例えば、レコメンド生成部１５は、直近の学習データにおいてＮ回（Ｎは２以上の任意の整数）連続して誤答となっている設問を有するカテゴリを推奨するターゲットとして、レコメンドを生成して出力してもよい。

【0047】

また、レコメンド生成部１５は、先行するカテゴリの理解度および信頼度が所定の閾値を超える場合（１）に、予め定めた先行後続関係（図６の例参照）に基づく後続のカテゴリを次回学習の推奨ターゲットとし、予め定めた先行後続関係に基づく後続のカテゴリの理解度が所定の閾値以下であって、信頼度が所定の閾値を超える場合（３）に、先行するカテゴリを次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。

【0048】

例えば図９に示したカテゴリ集合において、先行するカテゴリ０１の理解度および信頼度が場合１に該当する場合、後続のカテゴリ０２を次回学習の推奨ターゲットとして、レコメンドを生成し、後続のカテゴリ０２の理解度および信頼度が場合３に該当する場合、先行するカテゴリ０１を次回学習の推奨ターゲットとして、レコメンドを生成して出力してもよい。

【0049】

レコメンド生成部１５が、先行後続関係に基づいて動作することにより、先行して学習したカテゴリと内容的にかけ離れたカテゴリを次回学習の推奨ターゲットとすることを防ぐことができる。

【0050】

また、例えば、図９に示したように、カテゴリ集合と目標カテゴリが設定されており、範囲データ内に複数のカテゴリ集合が含まれる場合、レコメンド生成部１５は、所定の確率で複数のカテゴリ集合のうちの未学習のカテゴリ集合を指定するフラグを発生させ、フラグが指定するカテゴリ集合内の何れかのカテゴリを、所定のユーザの次回学習の推奨ターゲットとする情報であるレコメンドを生成して出力してもよい。

【0051】

レコメンド生成部１５は、上記のレコメンド生成規則を複数組み合わせて使用することにより、レコメンドを生成してもよい。

【0052】

また、レコメンド生成部１５は、範囲データ内の各カテゴリの理解度、信頼度から、学習終了日を予測し、予測された学習終了日が予め設定された期限に間に合うか否かを判定し、判定結果を進捗度として出力してもよい。進捗度は、たとえば、理解度信頼度生成部１４が生成した理解度の時系列データから未来における理解度の変化を推定し、あらかじめ設定された期限までに、理解度があらかじめ設定された閾値を超えると推定されるか否かを表す指標としてもよい。

【0053】

本実施例の学習効果推定装置１によれば、ニューラル・ネットワーク(Deep Learning)を用いたＤＫＴモデルを使用することにより生成した正解確率に基づいて、理解度と信頼度という二つのパラメータを定義したため、当該二つのパラメータに基づいて、人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる。

【0054】

＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な取得部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの取得部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。

【0055】

ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。

【0056】

ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。

【0057】

本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

【0058】

既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。

【0059】

上述の各種の処理は、図１１に示すコンピュータの記録部１００２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部１００１０、取得部１００３０、出力部１００４０などに動作させることで実施できる。

【0060】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electrically Erasable and Programmable-Read Only Memory）等を用いることができる。

【0061】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0062】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0063】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【要約】

【課題】人間が物事を理解するメカニズムの様々な側面を反映して、ユーザの学習効果を推定することができる学習効果推定装置を提供する。
【解決手段】学習目的別のカテゴリが割り振られているユーザの学習結果のデータである学習データを入力とし、学習データに基づいてユーザのカテゴリ毎の正解確率を生成するモデルを記憶するモデル記憶部と、モデルに学習データを入力して、カテゴリ毎の正解確率を生成する正解確率生成部と、正解確率の時系列データをユーザ毎に蓄積する正解確率データベースと、所定のユーザの学習効果推定のためのカテゴリの範囲を指定するデータである範囲データを取得し、所定のユーザの範囲データ内の正解確率に基づく理解度と、理解度の時系列データの変動が大きいほど小さい値となる信頼度を生成して、カテゴリに対応付けて出力する理解度信頼度生成部を含む。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】