特許 7355239 学習装置、学習方法および学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-25

(45)【発行日】2023-10-03

(54)【発明の名称】学習装置、学習方法および学習プログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20230926BHJP

   G09B 7/00 20060101ALI20230926BHJP

【ＦＩ】

G09B19/00 H

G09B7/00

【請求項の数】 10

(21)【出願番号】P 2022527355

(86)(22)【出願日】2020-05-27

(86)【国際出願番号】 JP2020020926

(87)【国際公開番号】W WO2021240684

(87)【国際公開日】2021-12-02

【審査請求日】2022-11-11

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】玉野 浩嗣

(72)【発明者】

【氏名】片岡 俊幸

【審査官】鈴木 崇雅

(56)【参考文献】

【文献】国際公開第２０１８／１６８２２０（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１９／００６６２４３（ＵＳ，Ａ１）

【文献】新谷 一朗, 他，中学生の授業後振り返り文に基づく成績推定，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2017年11月17日，Ｖｏｌ．１１７ Ｎｏ．３２６，第31-36頁

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ ５／００－７／１２

Ｇ０９Ｂ １９／００

Ｇ０６Ｎ ３／００－１２６

(57)【特許請求の範囲】

【請求項1】

学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習手段と、
学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、前記問題を解いた時間を表わす時間情報を説明変数とし、前記スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習手段とを備えた
ことを特徴とする学習装置。

【請求項2】

第一学習手段は、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成する
請求項１記載の学習装置。

【請求項3】

第一学習手段は、スキル状態列として時系列の予測確率のベクトルを生成する
請求項１記載の学習装置。

【請求項4】

第一学習手段は、学習の実績として、学習者の特徴を表わすユーザ特徴に、問題と当該問題の正誤とを対応付けた学習の実績を用いて機械学習を行う
請求項１から請求項３のうちのいずれか１項に記載の学習装置。

【請求項5】

第二学習手段は、モデルとしてリカレントニューラルネットワークを学習する
請求項１から請求項４のうちのいずれか１項に記載の学習装置。

【請求項6】

コンピュータが、学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成し、
前記コンピュータが、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、前記問題を解いた時間を表わす時間情報を説明変数とし、前記スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する
ことを特徴とする学習方法。

【請求項7】

コンピュータが、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成する
請求項６記載の学習方法。

【請求項8】

コンピュータが、スキル状態列として時系列の予測確率のベクトルを生成する
請求項６記載の学習方法。

【請求項9】

コンピュータに、
学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習処理、および、
学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、前記問題を解いた時間を表わす時間情報を説明変数とし、前記スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習処理を実行させる
ための学習プログラム。

【請求項10】

コンピュータに、
第一学習処理で、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成させる
請求項９記載の学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習者のスキルの変化を予測するモデルを学習する学習装置、学習方法および学習プログラムに関する。

【背景技術】

【0002】

教育の効果をより高めるためには、個々の学習者に合わせた教育を提供することが重要である。このような仕組みは、アダプティブラーニングと呼ばれている。このような仕組みを実現するため、個々の学習者に合わせたスキルをコンピュータが自動的に提供することが求められている。具体的には、各学習者の知識の状態を常にトレースし、その知識の状態に合わせて適切な学びを提供する必要がある。このように、学習者の知識の状態をトレースして、適切な情報を提供する技術は、ナレッジトレースとも呼ばれている。

【0003】

ナレッジトレースでは、学習者のスキルを可視化して学習状況をリアルタイムに把握したり、問題を解けるか否か予測して、その学習者に合わせた最適な問題を提供したりすることが行われる。例えば、特許文献１には、生徒本人の学習内容ごとの習熟度を細かく把握して効果的な復習を支援すると共に、生徒本人の学習内容ごとの習熟度等に対して最適化された演習問題集を作成するテスト作成サーバが記載されている。

【0004】

また、学習者のインタラクションに対し、システムがリアルタイムで追従できるようなナレッジトレーシングが各種提案されている。非特許文献１には、リアルタイムでナレッジトレースを行う方法が記載されている。非特許文献１に記載された方法では、リカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Networks ）を使用して学生の学習をモデル化する。

【0005】

また、非特許文献２には、非補償型の項目応答モデルを持つ確率モデルによる、解釈可能なナレッジトレーシングが記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１２－９３６９１号公報

【非特許文献】

【0007】

【文献】Chris Piech, et al., "Deep Knowledge Tracing", Advances in Neural Information Processing Systems 28 (NIPS 2015), 2015.

【文献】玉野浩嗣、持橋大地、“局所的変分法による非補償型時系列IRT”、信学技報、ｖｏｌ．１１９、ｎｏ．３６０、ＩＢＩＳＭＬ２０１９－３１、ｐｐ．９１－９８、２０２０年１月

【発明の概要】

【発明が解決しようとする課題】

【0008】

特許文献１に記載されたテスト作成サーバのように、一般的には、ＡＩ（Artificial Intelligence ）が学習者のスキルを判断して、適切な問題を提示する。このようにＡＩが提示した問題を学習者が一方的に解くような学習方法は、一見すると効率が良いとも考えられる。しかし、一方的に与えられる問題を解くだけの学習方法では、出題される問題を解く力は向上する可能性がある一方で、自身の不得意への対応を主体的に考える力が身につかない可能性もある。

【0009】

そこで、ＡＩと対話しながら何を勉強すべきかを自分で決定できる学習方法、すなわち、学習者が主体的にＡＩを使いこなすような学習方法を提供できることが好ましい。そのためには、学習者が長期的な自身のスキルの推移を把握しながら、学習計画を立案できるような情報をフィードバックすることが必要である。

【0010】

例えば、特許文献１に記載されたテスト作成サーバは、小単元にて出題された問題数に対する正答数の割合に応じて、「○（全問正解を示す丸）」「△（一部不正解を示す三角）」「×（全問不正解を示すバツ）」の三段階で学習達成率を表示する。しかし、特許文献１に記載された表示内容は、正解または不正解の実績を表示するだけのものであるため、出題された問題を解くためのスキルを、自身がどの程度充足しているか把握することはできない。

【0011】

また、非特許文献１や非特許文献２に記載された方法を用いることで、推定される学習者のスキルに基づき、現時点で問題を解ける確率を予測できる。しかし、非特許文献１や非特許文献２に記載された方法では、学習を進めていった場合の将来的なスキルの変化を予測することについては考慮されていない。最終的には、特定の問題を解けるか否かという情報ではなく、どのように学習を進めていけば将来的にどのようにスキルが向上するかという情報を得られることが好ましい。

【0012】

そこで、本発明は、学習者の長期的なスキルの変化を予測するモデルを学習できる学習装置、学習方法および学習プログラムを提供することを目的とする。

【課題を解決するための手段】

【0013】

本発明による学習装置は、学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習手段と、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、問題を解いた時間を表わす時間情報を説明変数とし、スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習手段とを備えたことを特徴とする。

【0014】

本発明による学習方法は、コンピュータが、学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成し、コンピュータが、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、問題を解いた時間を表わす時間情報を説明変数とし、スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習することを特徴とする。

【0015】

本発明による学習プログラムは、コンピュータに、学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習処理、および、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、問題を解いた時間を表わす時間情報を説明変数とし、スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習処理を実行させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、学習者の長期的なスキルの変化を予測するモデルを学習できる。

【図面の簡単な説明】

【0017】

【図1】本発明による学習装置の第一の実施形態の構成例を示すブロック図である。

【図2】学習データの例を示す説明図である。

【図3】問題と必要なスキルとを対応付けた例を示す説明図である。

【図4】学習装置の動作例を示すフローチャートである。

【図5】本発明による可視化システムの一実施形態の構成例を示すブロック図である。

【図6】学習計画を入力する画面の例を示す説明図である。

【図7】スキルの状態を可視化した例を示す説明図である。

【図8】問題を解ける確率を可視化した例を示す説明図である。

【図9】各スキルの状態をグラフで出力した例を示す説明図である。

【図10】正解確率の尤度関数の例を示す説明図である。

【図11】非補償型モデルの情報を模式的に表わす説明図である。

【図12】閾値を算出する処理の例を示す説明図である。

【図13】結果を可視化する処理の例を示す説明図である。

【図14】お勧め問題の出力例を示す説明図である。

【図15】スキルの状態の変化を可視化した他の例を示す説明図である。

【図16】スキルの状態の変化を可視化した更に他の例を示す説明図である。

【図17】可視化装置の動作例を示すフローチャートである。

【図18】本発明による学習装置の概要を示すブロック図である。

【図19】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面を参照して説明する。

【0019】

実施形態１．
図１は、本発明による学習装置の一実施形態の構成例を示すブロック図である。本実施形態の学習装置１００は、記憶部１０と、入力部２０と、学習部３０と、出力部４０とを備えている。

【0020】

記憶部１０は、本実施形態の学習装置１００が処理に用いるパラメータや設定情報、ログデータなど、各種情報を記憶する。具体的には、記憶部１０は、ある問題に対して正解したか否かを示す学習実績（以下、学習正誤ログと記す。）を記憶する。なお、学習正誤ログの内容は後述される。また、記憶部１０は、後述する学習部３０が生成した各モデルを記憶してもよい。

【0021】

なお、学習装置１００が、通信ネットワークを介して、他の装置（例えば、ストレージサーバ）から、各種情報を取得する構成であってもよい。この場合、記憶部１０が上述する情報を記憶していなくてもよい。記憶部１０は、例えば、磁気ディスク等により実現される。

【0022】

入力部２０は、学習部３０が処理に用いる各種情報の入力を受け付ける。入力部２０は、例えば、記憶部１０から各種情報を取得してもよいし、通信ネットワークを介して取得した各種情報の入力を受け付けてもよい。

【0023】

また、本実施形態では、入力部２０は、学習の実績を示す学習データとして、学習者の時系列の学習正誤ログの入力を受け付ける。具体的には、入力部２０は、学習者の特徴を表わす情報（以下、ユーザ特徴と記すこともある。）に、問題とその問題の正誤とを対応付けたデータを含む学習データの入力を受け付ける。

【0024】

図２は、学習データの例を示す説明図である。図２に例示する学習データは、学習者であるユーザ１～ユーザＮについて、各問題についての正誤（○，×）を対応付けたデータであることを示す。なお、各ユーザの特徴を示すユーザ特徴が、学習データとは別に保持されていてもよい。

【0025】

学習部３０は、第一ナレッジモデル学習部３１と、第二ナレッジモデル学習部３２とを含む。

【0026】

第一ナレッジモデル学習部３１は、学習者の学習実績を用いた機械学習により、学習者のスキルの状態の時系列変化（以下、スキル状態列と記す。）を生成する。学習者のスキルの状態は、例えば、学習者のスキルの習熟度である。

【0027】

学習実績からスキル状態列を生成できれば、その学習方法は任意である。第一ナレッジモデル学習部３１は、例えば、非特許文献２に記載された方法を用いて、スキル状態列を生成してもよい。具体的には、第一ナレッジモデル学習部３１は、学習正誤ログが与えられたもとでの事後確率が最大になる状態をスキル状態列として生成してもよい。

【0028】

また、第一ナレッジモデル学習部３１は、学習に用いられた問題の特徴（以下、問題特徴ベクトルと記す。）を生成してもよい。第一ナレッジモデル学習部３１は、スキル状態列の生成と同様、非特許文献２に記載された方法を用いて問題特徴ベクトルを生成してもよい。

【0029】

なお、問題特徴ベクトルは、学習実績に依らずとも生成することが可能である。例えば、非特許文献１に記載されているように、問題ｉについてのベクトルとして、ｉ番目のエントリが１、その他のエントリが０のベクトルとして問題特徴ベクトルを生成できる。この問題特徴ベクトルは、各問題を識別するいわゆるｏｎｅ－ｈｏｔベクトル（［０，…，１，…，０］）である。このように問題特徴ベクトル生成できる場合、第一ナレッジモデル学習部３１は、問題特徴ベクトルを生成しなくてもよい。

【0030】

以下、非特許文献２に記載された方法を用いた場合のスキル状態列、および、問題特徴ベクトルについて、具体的に説明する。

【0031】

本実施形態のスキル状態列は、非特許文献２に記載された非補償型時系列ＩＲＴ（item response theory）の生成モデルにおける状態遷移確率（および初期状態確率）に対応する。そこで、第一ナレッジモデル学習部３１は、以下の式１で定義されるモデルを学習することで、スキル状態列を生成してもよい。なお、式１は、時刻ｔにおけるユーザｊの状態ｚ_ｊ ^（ｔ）が与えられると、線形変換Ｄにより次の状態ｚ_ｊ ^{（ｔ＋１）}に遷移させるモデルである。なお、ｚ_ｊ ^（ｔ）は、確率変数である。

【0032】

【数1】

【0033】

式１において、Ｄ_{ｉ（ｊ，ｔ）}は、ユーザｊが時刻ｔに解いた問題ｉに応じて状態を変化させる線形変換を表わし、Γ_{ｉ（ｊ，ｔ＋１）}はガウスノイズを表わす。また、右辺の第二項はバイアス項であり、状態遷移に影響し得るユーザｊの特徴量を表わす項である。

【0034】

具体的には、ｘ_ｊ，ｋ ^{（ｔ＋１）}は、状態遷移の共変量であり、ユーザ特徴として、学習者に関する任意の特徴が用いられる。ユーザ特徴として、例えば、学習者の属性（例えば、年齢、性別）や、モチベーション（科目への興味の有無）、学習者ｊがスキルｋを含む問題を最後に学習したときからの経過時間から想定される忘却率２＾（－Δ／ｈ）（ここで、Δは経過時間であり、ｈは半減期である）などが挙げられる。

【0035】

また、他にも、ユーザ特徴として、実績系列の集計情報が用いられてもよい。集計情報として、例えば、各スキルについて連続５問正解までの回答数、習得の早さを示す情報、過去のテストの結果、などが挙げられる。

【0036】

また、β_ｋ ^Ｔは、スキルごとの特性を表わす係数であり、例えば、忘れやすいスキルの係数には、大きなマイナス値が設定される。また、μ_０，Ｐ_０は、学習者の初期状態のガウス分布の平均および分散をそれぞれ表わす。

【0037】

また、非特許文献２に記載された出力確率に含まれるａ_ｉおよびｂ_ｉを含むベクトルは、本実施形態の問題特徴ベクトルに対応する。なお、ａ_ｉは、問題ｉにおける各スキルの識別力（ｓｌｏｐｅ）を表すベクトルであり、ｂ_ｉは、問題ｉの難易度である。そこで、第一ナレッジモデル学習部３１は、以下の式２で定義されるモデルを学習することで、問題特徴ベクトルを生成してもよい。式２におけるＱ_{ｉ（ｊ，ｔ），ｋ}は、問題ｉとスキルｋの対応を示し、問題ｉを解くためにスキルｋが必要であれば１になり、不要であれば０になる。

【0038】

【数2】

【0039】

具体的には、第一ナレッジモデル学習部３１は、問題特徴ベクトルを、以下に示す式３のように生成してもよい。例えば、問題１がスキル１およびスキル２を必要とする場合、第一ナレッジモデル学習部３１は、下記の式３で示すベクトルについて、ａ_１，ａ_２，ｂ_１，ｂ_２以外を０にするような特徴ベクトルを生成すればよい。

【0040】

【数3】

【0041】

なお、非特許文献２に記載された方法を用いてスキル状態列および問題特徴ベクトルを生成する場合には、学習に際し、問題と必要なスキルとを対応付けた表（問題スキル対応表）を予め準備しておけばよい。図３は、問題と必要なスキルとを対応付けた例を示す説明図である。図３に示す例では、問題とその問題を解くために必要なスキルとを表形式で対応付けた例を示す。図３に例示するように、各問題で必要とされるスキルは１つであってもよく、２以上であってもよい。問題と必要なスキルの対応付けは、予めユーザ等により設定される。

【0042】

このように、第一ナレッジモデル学習部３１は、問題特徴ベクトルとして、問題の識別力および難易度を含むベクトル（［…，ａ_ｋ，…，…，ｂ_ｋ，…］）を生成してもよい。

【0043】

他にも、第一ナレッジモデル学習部３１は、例えば、非特許文献１に記載された方法を用いて、スキル状態列を生成してもよい。本実施形態のスキル状態列は、非特許文献１に記載された時系列の予測確率のベクトルｙ_ｔに対応する。非特許文献１に記載されたｙ_ｔは、問題の数に等しい長さのベクトルであり、各エントリは、学習者が問題に正解する確率を表わす。このように、第一ナレッジモデル学習部３１は、スキル状態列として時系列の予測確率のベクトルｙ_ｔを生成してもよい。

【0044】

また、上述するように、非特許文献１に記載されたｏｎｅ－ｈｏｔベクトルが、本実施形態の問題特徴ベクトルに対応する。具体的には、問題ｉについてのベクトルとして、ｉ番目のエントリが１、その他のエントリが０のベクトルとして生成できる。このように、問題特徴ベクトルとして、各問題を識別するｏｎｅ－ｈｏｔベクトル（［０，…，１，…，０］）が予め生成されていてもよい。この場合、第一ナレッジモデル学習部３１は、問題特徴ベクトルを生成しなくてよい。

【0045】

以上、非特許文献１および非特許文献２に記載された方法を用いてスキル状態列および問題特徴ベクトルを生成する方法を説明した。ただし、スキル状態列および問題特徴ベクトルを生成する方法は、非特許文献１および非特許文献２に記載された学習方法に限定されない。

【0046】

第二ナレッジモデル学習部３２は、スキル状態列および問題特徴ベクトルを用いた機械学習により、学習者の将来のスキルの状態を予測するモデルを生成する。具体的には、第二ナレッジモデル学習部３２は、問題特徴、ユーザ特徴、および、時間情報を説明変数とし、ユーザのスキル状態を目的変数とするモデルを学習する。

【0047】

スキル状態は、第一ナレッジモデル学習部３１により生成されたスキル状態列から取得できる。また、問題特徴は、第一ナレッジモデル学習部３１により生成された問題特徴ベクトルから取得されてもよく、問題に基づく任意の方法で生成された情報（例えば、ｏｎｅ－ｈｏｔベクトル）から取得されてもよい。ユーザ特徴は、第一ナレッジモデル学習部３１が学習に用いる際のユーザ特徴と同様である。また、時間情報は、学習者が問題を解いた時間を表わす情報である。時間情報の態様は任意であり、例えば、ＹＹＹＹＭＭＤＤＨＨＭＭの形式で表される時刻情報であってもよく、ある時刻ｔ－１からｔまでの経過時間などである。

【0048】

例えば、非特許文献２に記載された方法を用いた場合、第一ナレッジモデル学習部３１は、スキル状態列として事後確率を最大にするスキル状態列を生成してもよい。具体的には、学習正誤ログが示すユーザｊの実績ｙ_ｊ ^（１），…，ｙ_ｊ ^（Ｔｊ）の具体的な値が得られている状態で、第一ナレッジモデル学習部３１は、以下に例示する事後確率を最大にするｚ_ｊ ^（ｔ）の値（状態変数）をｔ＝１，…Ｔまで求めればよい。

【0049】

【数4】

【0050】

第二ナレッジモデル学習部３２が学習するモデルの態様は任意であり、第二ナレッジモデル学習部３２は、例えば、時系列データの予測で多く用いられるＲＮＮを学習してもよい。また、ＲＮＮについて、一般的なＲＮＮが用いられてもよく、ＬＳＴＭ（Long short-term memory）やＧＲＵ（Gated Recurrent Unit）などが用いられてもよい。

【0051】

なお、ナレッジトレースを行うためのモデルの学習は、第一ナレッジモデル学習部３１が行う学習のように、一般に、学習者の正誤データ（学習正誤ログ）を用いて行われる。一方、本実施形態の第二ナレッジモデル学習部３２は、学習者の正誤データを直接用いずにナレッジトレースを行うモデルを学習していることから、第二ナレッジモデル学習部３２が学習するモデルのことを、正誤データなしナレッジトレースモデルと言うことができる。

【0052】

このように学習されたモデルを用いることで、ユーザ特徴で示される特徴を有する学習者が、ある時間において問題を選択した場合（解いた場合）のスキルの状態の変化を予測できる。これにより、例えば、学習者が主体的に作成した将来の学習計画について、その学習計画を実行した場合のスキルの状態の時系列変化を予測することが可能になる。

【0053】

出力部４０は、第二ナレッジモデル学習部３２が生成したモデル（正誤データなしナレッジトレースモデル）を出力する。出力部４０は、生成されたモデルを記憶部１０に記憶させてもよく、通信ネットワークを介して、他の記憶媒体（図示せず）に生成されたモデルを記憶させてもよい。

【0054】

入力部２０と、学習部３０（より詳しくは、第一ナレッジモデル学習部３１と、第二ナレッジモデル学習部３２）と、出力部４０とは、プログラム（学習プログラム）に従って動作するコンピュータのプロセッサ（例えば、ＣＰＵ（Central Processing Unit ）、ＧＰＵ（Graphics Processing Unit））によって実現される。

【0055】

例えば、プログラムは、記憶部１０に記憶され、プロセッサは、そのプログラムを読み込み、プログラムに従って、入力部２０、学習部３０（より詳しくは、第一ナレッジモデル学習部３１と、第二ナレッジモデル学習部３２）および出力部４０として動作してもよい。また入力部２０、学習部３０（より詳しくは、第一ナレッジモデル学習部３１と、第二ナレッジモデル学習部３２）および出力部４０の機能がＳａａＳ（Software as a Service ）形式で提供されてもよい。

【0056】

また、入力部２０と、学習部３０（より詳しくは、第一ナレッジモデル学習部３１と、第二ナレッジモデル学習部３２）と、出力部４０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0057】

また、入力部２０、学習部３０（より詳しくは、第一ナレッジモデル学習部３１と、第二ナレッジモデル学習部３２）および出力部４０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0058】

次に、本実施形態の学習装置１００の動作を説明する。図４は、本実施形態の学習装置１００の動作例を示すフローチャートである。学習部３０（より詳しくは、第一ナレッジモデル学習部３１）は、学習実績を用いた機械学習により、スキル状態列を生成する（ステップＳ１１）。そして、学習部３０（より詳しくは、第二ナレッジモデル学習部３２）は、問題特徴、ユーザ特徴、および、時間情報を説明変数とし、学習者のスキルの状態を目的変数とするモデルを学習する（ステップＳ１２）。

【0059】

以上のように、本実施形態では、第一ナレッジモデル学習部３１が、学習実績を用いた機械学習により、スキル状態列を生成し、第二ナレッジモデル学習部３２が、問題特徴、ユーザ特徴、および、時間情報を説明変数とし、学習者のスキルの状態を目的変数とするモデルを学習する。よって、学習者の長期的なスキルの変化を予測するモデルを学習できる。

【0060】

例えば、非特許文献２に記載されている方法では、学習者の時系列の学習正誤ログに基づいてナレッジトレーシングモデルを学習する。すなわち、非特許文献２に記載されたモデルは、問題を解いた正誤結果が学習データとして必要になるため、長期的予測に適したモデルにはなっていない。

【0061】

一方、本実施形態では、第二ナレッジモデル学習部３２が、問題特徴、ユーザ特徴、および、時間情報を説明変数とし、学習者のスキルの状態を目的変数とするモデルを学習する。そのため、学習者の長期的な予測を行うことが可能になる。

【0062】

実施形態２．
次に、本発明の第二の実施形態を説明する。第二の実施形態では、学習計画に基づく学習者のスキルの状態の変化を可視化する方法を説明する。なお、本実施形態における学習計画とは、学習者が、どの問題をいつどのような順序で解くかを表わす情報であり、学習者が解く予定の問題を時系列に並べた情報である。本実施形態では、どの問題をいつ解いたら、自身のスキルの状態がどのように変化するか可視化する方法について説明する。

【0063】

以下の説明では、第一の実施形態で学習されたモデルを用いて、スキルの状態の変化を推定し、推定結果を可視化する方法を適宜説明する。ただし、スキルの状態の変化を推定する方法は、第一の実施形態で学習されたモデルを用いる方法に限定されない。

【0064】

図５は、本発明による可視化システムの一実施形態の構成例を示すブロック図である。本実施形態の可視化システム１は、学習装置１００と、可視化装置２００とを備えている。本実施形態の学習装置１００の内容は、第一の実施形態の学習装置１００と同様であるため、詳細な説明を省略する。なお、第一の実施形態の学習装置１００に含まれる記憶部１０が、学習装置１００とは別の装置に設けられていてもよい。

【0065】

可視化装置２００は、学習装置１００によって学習されたモデル（すなわち、正誤データなしナレッジトレースモデル）を取得する。なお、可視化装置２００が処理に用いる情報（例えば、上記正誤データなしナレッジトレースモデルなど）が学習装置１００とは別の装置に設けられた記憶装置（例えば記憶部１０）に記憶されている場合、可視化装置２００は、学習装置１００に接続されていなくてもよい。

【0066】

可視化装置２００は、学習計画入力部２１０と、状態推定部２２０と、状態可視化部２３０とを含む。

【0067】

学習計画入力部２１０は、学習計画の入力を受け付ける。学習計画入力部２１０は、例えば、表示装置（図示せず）に学習計画の入力画面を表示させ、学習者からインタラクティブに学習計画の入力を受け付けてもよい。図６は、学習計画を入力する画面の例を示す説明図である。学習計画入力部２１０は、図６に例示するようなカレンダー形式の入力画面２１１を表示し、適切な入力インタフェース（例えば、タッチパネル、ポインティングデバイス、キーボード等）を介して学習者により入力された学習計画を受け付けてもよい。

【0068】

なお、表示装置は、可視化装置２００に設けられていてもよく、通信回線を介して接続された可視化装置２００とは異なる装置で実現されていてもよい。また、他にも、学習計画入力部２１０は、ファイル等に記載された学習計画の入力を受け付けてもよい。

【0069】

状態推定部２２０は、学習計画に基づき、スキルの状態の変化を推定する。具体的には、状態推定部２２０は、学習計画で設定された各問題を時系列に解いた場合における学習者のスキルの状態の変化を推定する。

【0070】

スキルの状態の変化を推定する方法には、様々な方法を利用できる。例えば、問題を解いた場合に向上すると推定される各スキルの習熟度を予め定めておき、状態推定部２２０は、学習計画に従って、解いた問題に対応する習熟度を加味して（例えば、加算する、乗算する、など）スキルの状態の変化を推定してもよい。さらに、状態推定部２２０は、時間の経過に合わせて、スキルの習熟度を一定の関数（忘却曲線）に応じて減少させるようにしてもよい。

【0071】

また、より精度高くスキルの状態の変化を推定するため、状態推定部２２０は、第一の実施形態で学習されたモデル（正誤データなしナレッジトレースモデル）を用いて、スキルの状態の変化を推定してもよい。すなわち、状態推定部２２０は、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、学習者が問題を解いた時間を表わす時間情報を説明変数とし、学習者のスキルの状態を目的変数とする予測モデルを用いて、スキルの状態の変化を推定してもよい。

【0072】

なお、第一の実施形態で示すように、上記予測モデルは、学習者による学習の実績を用いた機械学習により生成された、学習者のスキルの状態の時系列変化を表わすスキル状態列、および、学習者が学習に用いた問題の特徴を表わす問題特徴ベクトルに基づく特徴量を含むデータを用いて学習されたモデルである。

【0073】

状態可視化部２３０は、推定された学習者のスキルの状態を可視化する。図７は、スキルの状態を可視化した例を示す説明図である。図７に例示するように、横軸に時間を設定し、縦軸にスキルの状態（習熟度）を設定した折れ線グラフで、各時点における学習者のスキルの状態を時系列に可視化してもよい。

【0074】

また、状態可視化部２３０は、指定された時点における学習者の正解確率を問題ごとに可視化してもよい。図８は、問題を解ける確率を可視化した例を示す説明図である。図８に示す例では、単元ごとにまとめられた各問題について、正解確率を棒グラフ３１１で可視化した例を示す。

【0075】

状態可視化部２３０は、例えば、正誤データなしナレッジトレースモデルを用いて、ある時点における学習者のスキルの状態を推定し、推定されたスキルに基づいて正解確率を算出してもよい。例えば、非特許文献２に記載された方法を用いる場合、状態可視化部２３０は、上記に示す式２を用いて、各問題の正解確率を算出し、算出結果を可視化してもよい。具体的には、状態可視化部２３０は、式２を用いて算出された正解確率の分布における平均を正解確率として棒グラフ３１１で可視化し、分散を不確定度合いとして線３１２で表わしてもよい。

【0076】

また、状態可視化部２３０は、ある時点における学習者の各スキルの状態を、より詳細に可視化してもよい。状態可視化部２３０は、例えば、指定された時点において想定される学習者のスキルを、対象の問題を解くために必要とされるスキルごとに可視化してもよい。図９は、各スキルの状態をグラフで出力した例を示す説明図である。図９に例示するグラフは、ある問題を解くために必要とされるスキルごとに、学習者のスキルの状態を可視化したグラフである。また、図９に示す例では、例えば問題提供者によって、問題のレベルに応じた２種類のラベル付け（Ａ－ｌｅｖｅｌ，Ｂ－ｌｅｖｅｌ）がされた状況を想定する。ラベル付けの具体例として、ラベル「Ａ－ｌｅｖｅｌ」が付与された問題（以下、Ａ問題と記す。）が標準問題、ラベル「Ｂ－ｌｅｖｅｌ」が付与された問題（以下、Ｂ問題と記す。）が発展問題、などが挙げられる。

【0077】

図９に示す例では、スキルの各レベルの閾値を境界線で示しており、境界線３２１が、Ａ問題が全て解けると想定されるスキルの状態の閾値、境界線３２２が、Ｂ問題が全て解けると想定されるスキルの状態の閾値である。また、図９に示す例では、ある時点における各スキルの状態を棒グラフ３２３で表わし、そのスキルの状態の不確定度を丸付きの線３２４で表わしている。

【0078】

以下、上記非特許文献２に記載された非補償型の項目応答モデルを例に、図９に例示するスキルの状態を可視化する方法を説明する。初めに、図９に例示する境界線（すなわち、閾値）を特定する方法を説明する。

【0079】

スキルをある問題に関連付ける場合、それらのスキルがすべて満たされることで解けるとすることが一般的である。非特許文献２に記載されたこのようなモデルは、多次元項目応答理論において非補償型モデルと呼ばれている。この非補償型モデルを用いた予測理由の説明は、自然であると言える。

【0080】

非補償型モデルでは、正解確率を予測するモデルが各スキルの積で表される。例えば、各スキルｓ_１，ｓ_２の係数をそれぞれｔ_１，ｔ_２とした場合、予測モデルは、シグモイド関数σを用いて、以下のように表すことができる。このような非補償型モデルでは、「分数と方程式の知識がなければ上記問題は解けない」と解釈されるため、説明性は高いと言える。

【0081】

正解確率＝σ（ｔ_１ｓ_１）σ（ｔ_２ｓ_２）

【0082】

また、学習者の状態ｚと問題ｉが与えられたときに、学習者がその問題ｉを解ける確率を表わすモデルは、例えば、上記式２を簡略化した以下に例示する式４で定義できる。すなわち、式４に例示するモデルは、問題ｉの解決に学習者が必要とするスキルｋの組み合わせで表わされ、各スキルの積により問題を解ける確率が算出されるモデルである。学習者の状態ｚは、ある時点において学習者が有する各スキルｋの習熟度を表わす。

【0083】

【数5】

【0084】

式４において、上記式２と同様に、ｂ_ｉ，ｋは、問題ｉで用いられるスキルｋの難易度を表わし、ａ_ｉ，ｋは、問題ｉに関するスキルｋの立ち上がりの程度（スロープ）を表わすパラメータである。すなわち、式４は、ｂ_ｉ，ｋが示す難易度よりもスキルの習熟度ｚ_ｋが高ければ、高い確率で問題が解けることを表わす。

【0085】

図１０は、正解確率の尤度関数の例を示す説明図である。図１０に例示するグラフは、縦方向の軸（ｚ軸）が正解確率を示し、その他の軸（ｘ軸およびｙ軸）が、その問題を解くために必要なスキルの習熟度を表わす。具体的には、図１０に例示する尤度関数は、上記に例示する式４で表される。例えば、図１０に例示するように、ある問題を解くために２つのスキルが必要であったとする。この場合、一方のスキルだけが高くても正解確率は増加しないが、両方のスキルが高くなると正解確率が増加することを示す。

【0086】

例えば、図１０に示す例において、あるレベル（例えば、Ａ－ｌｅｖｅｌ）の問題が全て解けるために管理者が正解確率＝８０％になるようなスキルの習熟度が必要であると想定したとする。この場合、尤度関数の値である正解確率の軸に対して垂直に、正解確率＝０．８の位置で切断したときの断面が、スキルの習熟度の範囲を表わしていると言える。

【0087】

図１１は、非補償型モデルの情報を模式的に表わす説明図である。図１１に例示する情報は、例えば、分析エンジンの内部で非補償型モデルを扱う際の情報であり、対象とする問題に２つのスキル（「整数の減法」、「絶対値」）が必要であることを示す。また、ここでは、問題Ａを解くためには正解確率＝８０％になるようなスキルの習熟度が必要であるとして指定された場合を想定する。

【0088】

グラフの右上に斜線で示す領域１１１は、図１０に例示する尤度関数において、正解確率＝８０％を満たすスキルの習熟度の範囲を示す。なお、「０．８」と記載されている曲線１１２が、正解確率＝８０％を満たすために必要なスキルの習熟度の境界を示す。また、グラフの左下に示す×印１１３が、現時点での学習者のスキルの状態を示す。また、×印１１３を取り囲む楕円１１４は、学習者のスキルの状態の分布がガウス分布に従うとした場合における確率の等高線を示す。この場合、学習者のスキルの状態の位置は、ガウス分布における平均に対応する。

【0089】

この想定に基づいて、状態可視化部２３０は、閾値を算出する。ここで算出される閾値は、図９に例示する境界線３２１が示す閾値に対応する。図１２は、閾値を算出する処理の例を示す説明図である。まず、状態可視化部２３０は、各次元について座標ｚ_ｋ ^＊を算出する。状態可視化部２３０は、例えば、上述する式４に基づき、以下に例示する式５を用いて、ｚ_ｋ ^＊を算出する。

【0090】

【数6】

【0091】

なお、式５におけるｐは正解確率を示し、ａ_ｉおよびｂ_ｉは、式４と同様、それぞれ、スロープおよび難易度を示す。なお、Ａ問題がすべて解ける習熟度を想定することから、問題として、Ａ問題のうち、最も難易度の高い問題ｉが選択されればよい。ここで算出されるｚ_ｋ ^＊は、図１０に例示する尤度関数に、外側から接する面の座標に相当し、図１２における長鎖線１２１および１２２に対応する。

【0092】

次に、状態可視化部２３０は、境界線上の座標を変化させながら、Δ_１＝Δ_２＝…＝Δ_Ｋ（Ｋは、必要なスキルの数）に最も近づく座標ｚ＾（ｚの上付きハット）を探索する。なお、Δは、各次元について算出されたｚ_ｋ ^＊とｚ＾との差分である。ここで算出されるｚ＾は、図１０に例示する尤度関数に内側から接する面の座標に相当し、図１２における点１２３の座標に対応する。

【0093】

具体的には、状態可視化部２３０は、座標ｚ＾を算出するに際し、以下の２つの処理を繰り返す。まず、第１の処理として、状態可視化部２３０は、初期点として、ｚ_ｋ＝｛σ^－１（ｐ^－ｋ）／ａ_ｉ｝＋ｂ_ｉを計算する。そして、状態可視化部２３０は、このｚ_ｋに基づいて、各Δ_ｋの値を算出する。次に、状態可視化部２３０は、第２の処理として、最も大きいΔ_ｋについての次元ｋについて、以下の式６に示す更新を行う。なお、δは、パラメータであり、予め定められる。

【0094】

ｚ_ｋｍａｘ←ｚ_ｋｍａｘ－δ （式６）

【0095】

そして、状態可視化部２３０は、更新後のｚ_ｋｍａｘをｚ´とし、最も小さいΔ_ｋについての次元ｋについて、以下の式７に示す更新を行う。状態可視化部２３０は、この２つの処理を、予め定めた条件（例えば、変化量が閾値未満、予め定めた回数、など）を満たすまで繰り返す。

【0096】

【数7】

【0097】

次に、状態可視化部２３０は、各ｋについて、（ｚ^＾ _ｋ－ｚ_ｋ ^＊）／２を算出することで、領域を長方形近似する。ここで算出される値は、図１２における破線１２４および１２５の座標に対応する。

【0098】

そして、状態可視化部２３０は、学習者のスキルの習熟度と、長方形近似された座標が示す値との比率に基づいて、棒グラフを出力する。具体的には、状態可視化部２３０は、学習者のスキルの状態を示す座標１２６と、破線１２４および破線１２５が示す座標との比率に基づいて棒グラフを出力してもよい。このようにして、状態可視化部２３０は、対象の問題を解くために必要とされるスキルの習熟度（すなわち、閾値）と、学習者が有すると想定されるスキルの習熟度とを対応付けて出力する。問題Ｂの閾値についても同様である。

【0099】

さらに、状態可視化部２３０は、学習者のスキルの状態の不確定度を合わせて出力する。図１３は、結果を可視化する処理の例を示す説明図である。例えば、スキル１（整数の減法）に対する学習者のスキルの状態がｚ_１ ^２と推定されており、ガウス分布におけるスキルの状態の分散±σが、それぞれ、ｚ_１ ^１およびｚ_１ ^３であるとする。そして、図１２における破線１２４の座標がｚ_１ ^４と算出されたとする。このとき、状態可視化部２３０は、学習者のスキル１の習熟度を、σ（ａ_ｉ，１（ｚ_１ ^２－ｂ_ｉ，１））／σ（ａ_ｉ，１（ｚ_１ ^４－ｂ_ｉ，１））で算出する。

【0100】

また、状態可視化部２３０は、ガウス分布で推定された学習者のスキルの状態を示す分布を用いて、そのガウス分布の分散を習熟度の不確定度として出力してもよい。具体的には、状態可視化部２３０は、不確定度の範囲を、σ（ａ_ｉ，１（ｚ_１ ^１－ｂ_ｉ，１））／σ（ａ_ｉ，１（ｚ_１ ^４－ｂ_ｉ，１））およびσ（ａ_ｉ，１（ｚ_１ ^３－ｂ_ｉ，１））／σ（ａ_ｉ，１（ｚ_１ ^４－ｂ_ｉ，１））で算出する。スキル２（絶対値）についても同様である。

【0101】

このように、状態可視化部２３０は、閾値を１とした場合の、相対的なスキルの習熟度および不確定度を算出する。すなわち、状態可視化部２３０は、スキル名と関連付けて、閾値に対する現在の学習者のスキルの習熟度および不確定度を相対値で表現する。よって、学習者のスキルの過不足を、学習者が理解可能なスキル名に基づいて提示できる。さらに、状態可視化部２３０は、各スキルの不確定度を合わせて表現することで、学習者の納得感を向上させることも可能になる。

【0102】

また、一般に、分析アルゴリズムによって出力される問題の難易度には単位がないため、難易度を示す値を見ただけでは、そのスキルの状態の程度を把握することが困難な場合がある。本実施形態では、状態可視化部２３０が、指定された時点において想定される学習者のスキルの習熟度と、対象とするグループ（例えば、ラベル付けされたグループ）に含まれる問題（例えば、Ａ問題，Ｂ問題）を解くために必要とされるスキルの習熟度を示す閾値とを対応付けて可視化する。よって、問題提供者が指定するグループと、推定される難易度とが対応付けされるため、学習者のスキルの状況を把握しやすくなる。なお、グループ内の問題は１つであってもよく、複数であってもよい。

【0103】

さらに、状態可視化部２３０は、指定されたスキルを必要とする問題の候補を、「お勧め問題」として出力してもよい。具体的には、状態可視化部２３０は、指定されたスキルを必要とする問題の候補を、図３に例示するような問題とその問題を解くために必要なスキルとを対応付けた表から特定してもよい。

【0104】

図１４は、お勧め問題の出力例を示す説明図である。図１４に示す例では、状態可視化部２３０が、「通分」のスキルについて、そのスキルを必要とする問題の候補（お勧め問題：Ｑ_１３、Ｑ_１８、Ｑ_３１、Ｑ_３３）を、そのスキルを必要とする程度（すなわち、習熟度、難易度）に応じて順序付けて、想定される学習者のスキルと対応付けて出力していることを示す。

【0105】

また、図１４に例示するように、状態可視化部２３０は、学習者がマウスなどのポインティングデバイスでお勧め問題の番号をマウスオーバーした際、その番号に対応する問題を出力してもよい。

【0106】

他にも、状態可視化部２３０は、不確定度を含むスキルの状態の変化を可視化してもよい。図１５は、スキルの状態の変化を可視化した他の例を示す説明図である。状態可視化部２３０は、図１５に例示するように、横軸に時間を設定し、縦軸にスキルの習熟度を設定した折れ線グラフで、不確定度の範囲３３１と共に、スキルの状態の変化を時系列に可視化してもよい。また、その際、状態可視化部２３０は、上記に示すようなラベル付けされた問題の境界線３３２を合わせて可視化してもよい。

【0107】

また、状態可視化部２３０は、複数のスキルの状態の変化を可視化してもよい。図１６は、スキルの状態の変化を可視化した更に他の例を示す説明図である。図１６に示す例では、折れ線グラフ３４１で、複数のスキルの状態の推移をそれぞれ表わしている。また、学習実績との関係でスキルの推移を把握できるように、状態可視化部２３０は、図１６に例示するように、各時点で解いた問題の正誤を棒グラフ３４２（例えば、正解なら上方向、不正解なら下方向）で可視化してもよい。

【0108】

学習計画入力部２１０と、状態推定部２２０と、状態可視化部２３０とは、プログラム（可視化プログラム）に従って動作するコンピュータのプロセッサによって実現される。例えば、プログラムは、可視化装置２００が備える記憶部（図示せず）に記憶され、ロセッサは、そのプログラムを読み込み、プログラムに従って、学習計画入力部２１０、状態推定部２２０および状態可視化部２３０として動作してもよい。学習計画入力部２１０、状態推定部２２０および状態可視化部２３０の機能がＳａａＳ形式で提供されてもよい。

【0109】

また、学習計画入力部２１０と、状態推定部２２０と、状態可視化部２３０とは、それぞれが専用のハードウェアで実現されていてもよい。また、各装置の各構成要素の一部又は全部は、汎用または専用の回路（circuitry ）、プロセッサ等やこれらの組合せによって実現されてもよい。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組合せによって実現されてもよい。

【0110】

また、学習計画入力部２１０と、状態推定部２２０と、状態可視化部２３０の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0111】

次に、本実施形態の可視化装置２００の動作を説明する。図１７は、本実施形態の可視化装置２００の動作例を示すフローチャートである。学習計画入力部２１０は、学習計画の入力を受け付ける（ステップＳ２１）。状態推定部２２０は、学習計画で設定された各問題を時系列に解いた場合の将来の各時点における学習者のスキルの状態を推定する（ステップＳ２２）。そして、状態可視化部２３０は、推定された各時点における学習者のスキルの状態を可視化する（ステップＳ２３）。なお、可視化の態様は、例えば、図７～図９、図１３～図１６に示す内容などである。

【0112】

以上のように、本実施形態では、学習計画入力部２１０が、学習計画の入力を受け付け、状態推定部２２０が、学習計画で設定された各問題を時系列に解いた場合の将来の各時点における学習者のスキルの状態を推定する。そして、状態可視化部２３０は、推定された各時点における学習者のスキルの状態を可視化する。よって、学習者の長期的なスキルの変化を可視化できる。

【0113】

次に、本発明の概要を説明する。図１８は、本発明による学習装置の概要を示すブロック図である。本発明による学習装置８０（例えば、学習装置１００）は、学習者による学習の実績（学習実績）を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習手段８１（例えば、第一ナレッジモデル学習部３１）と、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、問題を解いた時間を表わす時間情報を説明変数とし、スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習手段８２（例えば、第二ナレッジモデル学習部３２）とを備えている。

【0114】

そのような構成により、長期的なスキルの変化を予測するモデルを学習できる。

【0115】

また、第一学習手段８１は、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成してもよい。

【0116】

他にも、第一学習手段８１は、スキル状態列として時系列の予測確率のベクトルを生成してもよい。

【0117】

また、第一学習手段８１は、学習の実績として、学習者の特徴を表わすユーザ特徴に、問題とその問題の正誤とを対応付けた学習の実績を用いて機械学習を行ってもよい。そのような学習を行うことで、ユーザ特徴が類似するユーザのスキルの変化を、同様に予測できる。

【0118】

また、第二学習手段８２は、モデルとしてリカレントニューラルネットワーク（他にも、ＬＳＴＭ，ＧＲＵなど）を学習してもよい。

【0119】

図１９は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、プロセッサ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。

【0120】

上述の学習装置８０は、コンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（学習プログラム）の形式で補助記憶装置１００３に記憶されている。プロセッサ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

【0121】

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read-only memory ）、ＤＶＤ－ＲＯＭ（Read-only memory）、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。

【0122】

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0123】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0124】

（付記１）学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習手段と、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、前記問題を解いた時間を表わす時間情報を説明変数とし、前記スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習手段とを備えたことを特徴とする学習装置。

【0125】

（付記２）第一学習手段は、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成する付記１記載の学習装置。

【0126】

（付記３）第一学習手段は、スキル状態列として時系列の予測確率のベクトルを生成する付記１記載の学習装置。

【0127】

（付記４）第一学習手段は、学習の実績として、学習者の特徴を表わすユーザ特徴に、問題と当該問題の正誤とを対応付けた学習の実績を用いて機械学習を行う付記１から付記３のうちのいずれか１つに記載の学習装置。

【0128】

（付記５）第二学習手段は、モデルとしてリカレントニューラルネットワークを学習する付記１から付記４のうちのいずれか１つに記載の学習装置。

【0129】

（付記６）コンピュータが、学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成し、前記コンピュータが、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、前記問題を解いた時間を表わす時間情報を説明変数とし、前記スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習することを特徴とする学習方法。

【0130】

（付記７）コンピュータが、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成する付記６記載の学習方法。

【0131】

（付記８）コンピュータが、スキル状態列として時系列の予測確率のベクトルを生成する付記６記載の学習方法。

【0132】

（付記９）コンピュータに、学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習処理、および、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、前記問題を解いた時間を表わす時間情報を説明変数とし、前記スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習処理を実行させるための学習プログラムを記憶するプログラム記憶媒体。

【0133】

（付記１０）コンピュータに、第一学習処理で、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成させるための学習プログラムを記憶する付記９記載のプログラム記憶媒体。

【0134】

（付記１１）コンピュータに、第一学習処理で、スキル状態列として時系列の予測確率のベクトルを生成させるための学習プログラムを記憶する付記９記載のプログラム記憶媒体。

【0135】

（付記１２）コンピュータに、学習者による学習の実績を用いた機械学習により、学習者のスキルの状態の時系列変化を表わすスキル状態列を生成する第一学習処理、および、学習者が学習に用いた問題の特徴を表わす問題特徴、学習者の特徴を表わすユーザ特徴、および、前記問題を解いた時間を表わす時間情報を説明変数とし、前記スキル状態列が表わす学習者のスキルの状態を目的変数とするモデルを学習する第二学習処理を実行させるための学習プログラム。

【0136】

（付記１３）コンピュータに、第一学習処理で、学習の実績が与えられたもとでの事後確率が最大になる状態をスキル状態列として生成させる付記１２記載の学習プログラム。

【0137】

（付記１４）コンピュータに、第一学習処理で、スキル状態列として時系列の予測確率のベクトルを生成させる付記１２記載の学習プログラム。

【0138】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0139】

１ 可視化システム
１０ 記憶部
２０ 入力部
３０ 学習部
３１ 第一ナレッジモデル学習部
３２ 第二ナレッジモデル学習部
４０ 出力部
１００ 学習装置
２００ 可視化装置
２１０ 学習計画入力部
２２０ 状態推定部
２３０ 状態可視化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】