(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-12
(54)【発明の名称】学習者の成長の追跡及び査定のためのシステム及び方法
(51)【国際特許分類】
G09B 5/06 20060101AFI20240305BHJP
G09B 19/00 20060101ALI20240305BHJP
【ＦＩ】
G09B5/06
G09B19/00 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023559742
(86)(22)【出願日】2022-04-08
(85)【翻訳文提出日】2023-11-22
(86)【国際出願番号】 US2022024106
(87)【国際公開番号】W WO2022217113
(87)【国際公開日】2022-10-13
(31)【優先権主張番号】63/172,433
(32)【優先日】2021-04-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523367646
【氏名又は名称】ブレインポップ アイピー エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】ルシュキン，イリア
(72)【発明者】
【氏名】ローゼン，イーガル
【テーマコード（参考）】
2C028
【Ｆターム（参考）】
2C028BB04
2C028BC01
2C028BD03
(57)【要約】
ｅラーニング環境において自動化されたスキル習得査定を実施するためのシステム及び方法は、習得査定を生成するために学習リソースへの学習者のエンゲージメントを査定することと、エンゲージメントを通して導出される履歴的なインタラクションデータを使用して、スキルの衰退、学習の付与、習得の初期レベル、及び／又は習得を獲得する困難度を示すエンゲージメントパターンに基づいて、エンゲージメントの評価結果を予想するように機械学習アルゴリズムをトレーニングすることと、学習リソースとの履歴的なユーザインタラクションに学習アルゴリズムを適用して、予測された評価結果を生成することと、予測された結果と実際の結果との間のいずれかの相違に基づいて、習得査定の算出に使用される習得査定パラメータセットのうちのパラメータを精密化することと、を含み得、パラメータの一部は、学習リソースとスキル階層のうちのスキルとの間の接続の属性に対応する。接続は、学習リソースとスキルとの間に定義された関係の論理的指標によって表され得る。
【選択図】図３Ｂ
【選択図】図３Ｂ
【特許請求の範囲】
【請求項1】
自動化されたスキル習得査定を実施するためのシステムであって、前記システムは、少なくとも１つの不揮発性コンピュータ可読媒体に記憶されたデータアーキテクチャであって、前記データアーキテクチャは、
複数の電子学習リソースと、
複数のスキルファミリーを含むスキル階層に配置された複数のスキルであって、各スキルファミリーは、それぞれの前記ファミリーに属する前記複数のスキルのうちのスキルのセット間の子孫と祖先の関係を含む、複数のスキルと、
複数の関係の論理的指標であって、各関係の論理的指標は、前記複数の電子学習リソースのうちの所与のリソースと前記複数のスキルのうちの所与のスキルとの間の接続を定義する、複数の関係の論理的指標と、を含み、
前記複数の電子学習リソースのうちの各学習リソースは、前記関係の論理的指標を介して、少なくとも１つのスキルに接続され、
前記複数の電子学習リソースのうちの少なくとも一部は各々、前記関係の論理的指標を介して、２つ以上のスキルに接続される、データアーキテクチャと、
処理回路上で実行するためのソフトウェア論理及び／又は動作を実行するように構成されたハードウェア論理と、を含み、前記動作は、
複数の習得査定を生成するために、電子学習プラットフォームを介した、前記複数の電子学習リソースへの複数の学習者のエンゲージメントを査定することであって、
前記複数の習得査定のうちの各習得査定は、前記複数のスキルのうちの少なくとも１つのスキルに対応し、
各習得査定は、習得査定パラメータのセットを少なくとも１つの習得査定アルゴリズムに適用することによって部分的に算出され、
前記習得査定パラメータのうちの少なくとも一部は、前記関係の論理的指標に対応する、査定することと、
前記複数の電子学習リソースへの前記複数の学習者の前記エンゲージメントを通して導出される履歴的なインタラクションデータを使用して、学習リソースのエンゲージメントの評価結果を予想するように、少なくとも１つの機械学習アルゴリズムをトレーニングすることであって、
前記少なくとも１つの機械学習アルゴリズムのうちの第１の機械学習アルゴリズムは、回帰ベースのモデルであり、
前記第１の機械学習アルゴリズムは、スキルの衰え、学習の付与、習得の初期レベル、又は習得を獲得する困難度のうちの１つ以上を示すエンゲージメントパターンに少なくとも部分的に基づいて、評価結果を予想するようにトレーニングされる、トレーニングすることと、
前記少なくとも１つの機械学習アルゴリズムを、前記複数の電子学習リソースのうちの１つ以上の学習リソースとの履歴的なユーザインタラクションに適用して、学習者のインタラクションの予測された評価結果を生成することと、
前記予測された評価結果と、前記履歴的なユーザインタラクションに対応する実際の評価結果との間の１つ以上の相違に基づいて、前記習得査定パラメータのセットのうちの少なくとも１つのパラメータを精密化することと、を含む、システム。
【請求項2】
前記関係の論理的指標のうちの少なくとも一部は、ｉ）前記複数の電子学習リソースのうちの対応する電子学習リソースと、前記スキル階層のうちの対応するスキルとの間の関係の強度、及び／又はｉｉ）前記複数の電子学習リソースのうちの前記対応する電子学習リソースと、前記スキル階層のうちの前記対応するスキルとの間の関係の重み、を含み、前記習得査定パラメータのセットは、前記関係の強度及び／又は前記関係の重みを適用するための少なくとも１つのパラメータを含む、請求項１に記載のシステム。
【請求項3】
前記複数の電子学習リソースは、前記複数の電子学習リソースのうちの少なくとも一部の各学習リソースについて、２つ以上の対応する学習リソース要素を含み、前記エンゲージメントを査定することは、所与の学習リソースのうちの各学習リソース要素に対応するエンゲージメントを個別に査定することを含む、請求項１又は２に記載のシステム。
【請求項4】
前記習得パラメータのセットは、習得パラメータの複数のセットのうちの１つであり、前記複数のセットのうちの各セットは、複数の学習者グループのうちの異なる学習者グループに対応し、前記複数の学習者の前記エンゲージメントを査定することは、所与の学習者に適用可能な前記複数の学習者グループのうちのある学習者グループを決定することを含む、請求項１～３のいずれか一項に記載のシステム。
【請求項5】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数の学習者グループのうちの選択された学習者グループの学習者のセットに対応する履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項４に記載のシステム。
【請求項6】
前記スキル階層は、複数のスキル階層のうちの１つであり、各スキル階層は、複数の学習モデルのうちの異なる学習モデルに対応する、請求項１～５のいずれか一項に記載のシステム。
【請求項7】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数のスキル階層のうちの選択されたスキル階層に関連付けられた学習者のセットに対応する履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項６に記載のシステム。
【請求項8】
前記複数の関係の論理的指標は、データベースのレコード間の複数の論理的リンクを含む、請求項１～７のいずれか一項に記載のシステム。
【請求項9】
前記複数の学習リソースは、複数の質問、複数のビデオ、及び複数のゲームを含む、請求項１～８のいずれか一項に記載のシステム。
【請求項10】
前記エンゲージメントは、テキストエンゲージメント、口頭エンゲージメント、又はジェスチャエンゲージメントのうちの少なくとも１つを含む、請求項１～９のいずれか一項に記載のシステム。
【請求項11】
エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記所与の学習リソースとのエンゲージメントの間に受け取られた学習者の入力を評価して、望ましい／望ましくないインタラクション及び／又は正しい／正しくない応答を識別することを含む、請求項１～１０のいずれか一項に記載のシステム。
【請求項12】
エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、電子学習プラットフォームへの複数の入力を査定して、前記所与の学習リソースのエンゲージメントの完了部分を決定することを含む、請求項１～１１のいずれか一項に記載のシステム。
【請求項13】
エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記所与の学習リソースへの完了していない又は終了していないエンゲージメントに基づいて、前記学習者に適用するべき部分スコア又は部分クレジットを決定することを含む、請求項１～１２のいずれか一項に記載のシステム。
【請求項14】
所与の習得査定を生成することは、前記複数の学習リソースのうちの対応する学習リソースの困難度レベルに関連付けられた重み付けを適用することを含む、請求項１～１３のいずれか一項に記載のシステム。
【請求項15】
前記習得査定パラメータのセットは、前記重み付けを含む、請求項１４に記載のシステム。
【請求項16】
前記習得査定のうちの少なくとも一部の各習得査定は、対象のスキル及び前記対象のスキルのスキルファミリー内の祖先スキルを含む知識の査定を表す、請求項１～１５のいずれか一項に記載のシステム。
【請求項17】
所与の習得査定を生成することは、前記学習者の現在のスキルの習得のレベルを前記習得査定が正確に捕捉していることの相対的な信頼度を表す信頼値を算出することを含む、請求項１～１６のいずれか一項に記載のシステム。
【請求項18】
前記第１の機械学習アルゴリズムは、指数関数的に重み付けされた移動線形回帰である、請求項１～１７のいずれか一項に記載のシステム。
【請求項19】
前記動作は、少なくとも１人の学習者に対応する前記複数の習得査定のうちの習得査定の進展を表すグラフィカルインタフェースを、コンピューティングデバイスにおけるユーザへの提示のために準備することを含む、請求項１～１８のいずれか一項に記載のシステム。
【請求項20】
前記動作は、所与の学習者に対応する習得査定のセットに基づいて、前記複数のスキルのうちの少なくとも１つのスキルの習得を強化するために、前記複数の学習リソースのうちの１つ以上の学習リソースを選択することを含む、請求項１～１９のいずれか一項に記載のシステム。
【請求項21】
自動化されたスキル習得査定を実施するための方法であって、前記方法は、処理回路によって、複数の習得査定を生成するために、電子学習プラットフォームを介した、複数の電子学習リソースへの複数の学習者のエンゲージメントを査定することであって、
前記複数の習得査定のうちの各習得査定が、複数のスキルのうちの少なくとも１つのスキルに対応し、
前記複数のスキルは、複数のスキルファミリーを含むスキル階層に配置され、各スキルファミリーは、それぞれの前記ファミリーに属する前記複数のスキルのうちのスキルのセット間の子孫と祖先の関係を含み、
前記複数のスキルは、複数の関係の論理的指標を介して前記複数の電子学習リソースに接続され、各関係の論理的指標は、前記複数の電子学習リソースのうちの所与のリソースと前記複数のスキルのうちの所与のスキルとの間の接続を定義し、
前記複数の電子学習リソースのうちの各学習リソースは、前記関係の論理的指標を介して、少なくとも１つのスキルに接続され、
前記複数の電子学習リソースのうちの少なくとも一部は各々、前記関係の論理的指標を介して、２つ以上のスキルに接続され、
各習得査定は、習得査定パラメータのセットを少なくとも１つの習得査定アルゴリズムに適用することによって部分的に算出され、前記習得査定パラメータのうちの少なくとも一部は、前記関係の論理的指標に対応する、査定することと、
前記複数の電子学習リソースへの前記複数の学習者の前記エンゲージメントを通して導出される履歴的なインタラクションデータを使用して、前記処理回路によって、学習リソースのエンゲージメントの評価結果を予想するように、少なくとも１つの機械学習アルゴリズムをトレーニングすることであって、
前記少なくとも１つの機械学習アルゴリズムのうちの第１の機械学習アルゴリズムは、回帰ベースのモデルであり、
前記第１の機械学習アルゴリズムは、スキルの衰え、学習の付与、習得の初期レベル、又は習得を獲得する困難度のうちの１つ以上を示すエンゲージメントパターンに少なくとも部分的に基づいて、評価結果を予想するようにトレーニングされる、トレーニングすることと、
前記処理回路によって、前記少なくとも１つの機械学習アルゴリズムを、前記複数の電子学習リソースのうちの１つ以上の学習リソースとの履歴的なユーザインタラクションに適用して、学習者インタラクションの予測された評価結果を生成することと、
前記予測された評価結果と、前記履歴的なユーザインタラクションに対応する実際の評価結果との間の１つ以上の相違に基づいて、前記処理回路によって、前記習得査定パラメータのセットのうちの少なくとも１つのパラメータを精密化することと、を含む、方法。
【請求項22】
前記関係の論理的指標のうちの少なくとも一部は、ｉ）前記複数の電子学習リソースのうちの対応する電子学習リソースと、前記スキル階層のうちの対応するスキルとの間の関係の強度、及び／又はｉｉ）前記複数の電子学習リソースのうちの対応する電子学習リソースと、前記スキル階層のうちの対応するスキルとの間の関係の重み、を含み、前記習得査定パラメータのセットは、前記関係の強度及び／又は前記関係の重みを適用するための少なくとも１つのパラメータを含む、請求項２１記載の方法。
【請求項23】
前記複数の電子学習リソースは、前記複数の電子学習リソースのうちの少なくとも一部の各学習リソースについて、２つ以上の対応する学習リソース要素を含み、前記エンゲージメントを査定することは、所与の学習リソースのうちの各学習リソース要素に対応するエンゲージメントを個別に査定することを含む、請求項２１又は２２に記載の方法。
【請求項24】
前記習得パラメータのセットが、習得パラメータの複数のセットのうちの１つであり、前記複数のセットのうちの各セットは、複数の学習者グループのうちの異なる学習者グループに対応し、前記複数の学習者の前記エンゲージメントを査定することは、所与の学習者に適用可能な前記複数の学習者グループのうちのある学習者グループを決定することを含む、請求項２１～２３のいずれか一項に記載の方法。
【請求項25】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数の学習者グループのうちの選択された学習者グループの学習者セットに対応する履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項２４に記載の方法。
【請求項26】
前記スキル階層は、複数のスキル階層のうちの１つであり、各スキル階層は、複数の学習モデルのうちの異なる学習モデルに対応する、請求項２１～２５のいずれか一項に記載の方法。
【請求項27】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数のスキル階層のうちの選択されたスキル階層に関連付けられた学習者のセットに対応する履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項２６に記載の方法。
【請求項28】
前記複数の関係の論理的指標は、データベースのレコード間の複数の論理的リンクを含む、請求項２１～２７のいずれか一項に記載の方法。
【請求項29】
前記複数の学習リソースは、複数の質問、複数のビデオ、及び複数のゲームを含む、請求項２１～２８のいずれか一項に記載の方法。
【請求項30】
前記エンゲージメントは、テキストエンゲージメント、口頭エンゲージメント、又はジェスチャエンゲージメントのうちの少なくとも１つを含む、請求項２１～２９のいずれか一項に記載の方法。
【請求項31】
エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記所与の学習リソースとのエンゲージメントの間に受け取られた学習者の入力を評価して、望ましい／望ましくないインタラクション及び／又は正しい／正しくない応答を識別することを含む、請求項２１～３０のいずれか一項に記載の方法。
【請求項32】
エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記電子学習プラットフォームへの複数の入力を査定して、前記所与の学習リソースのエンゲージメントの完了部分を決定することを含む、請求項２１～３１のいずれか一項に記載の方法。
【請求項33】
エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記所与の学習リソースへの完了していない又は終了していないエンゲージメントに基づいて、前記学習者に適用するべき部分スコア又は部分クレジットを決定することを含む、請求項２１～３２のいずれか一項に記載の方法。
【請求項34】
所与の習得査定を生成することは、前記複数の学習リソースのうちの対応する学習リソースの困難度レベルに関連付けられた重み付けを適用することを含む、請求項２１～３３のいずれか一項に記載の方法。
【請求項35】
前記習得査定パラメータのセットは、前記重み付けを含む、請求項３４に記載の方法。
【請求項36】
前記習得査定のうちの少なくとも一部の各習得査定は、対象のスキル及び前記対象のスキルのスキルファミリー内の祖先スキルを含む知識の査定を表す、請求項２１～３５のいずれか一項に記載の方法。
【請求項37】
所与の習得査定を生成することは、前記学習者の現在のスキルの習得のレベルを前記習得査定が正確に捕捉していることの相対的な信頼度を表す信頼値を算出することを含む、請求項２１～３６のいずれか一項に記載の方法。
【請求項38】
前記第１の機械学習アルゴリズムは、指数関数的に重み付けされた移動線形回帰である、請求項２１～３７のいずれか一項に記載の方法。
【請求項39】
前記処理回路によって、少なくとも１人の学習者に対応する前記複数の習得査定の習得査定の進展を表すグラフィカルインタフェースを、コンピューティングデバイスにおけるユーザへの提示のために準備することを更に含む、請求項２１～３８のいずれか一項に記載の方法。
【請求項40】
前記処理回路によって、所与の学習者に対応する習得査定のセットに基づいて、前記複数のスキルのうちの少なくとも１つのスキルの習得を強化するために、前記複数の学習リソースのうちの１つ以上の学習リソースを選択することを更に含む、請求項２１～３９のいずれか一項に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
この出願は、２０２１年４月８日に出願された米国仮特許出願第６３／１７２，４３３号のＰＣＴ出願であって、その優先権を主張するものであり、それらの内容全体が参照により本明細書に組み込まれる。
この出願は、２０２１年４月８日に出願された米国仮特許出願第６３／１７２，４３３号のＰＣＴ出願であって、その優先権を主張するものであり、それらの内容全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
デジタル学習システムは、テキスト、ビデオ、オーディオ、及び／又はインタラクティブなコンテンツ等の学習教材を提示するものであり、関心のあるトピックについて学習者に教示することに焦点を当てている。いくつかのデジタル学習システムは、デジタル学習システムとのインタラクションのユーザの個々の記録に基づいて、ユーザへのコンテンツの提示を動的に変更することができ、それによって、デジタル学習システムを用いたユーザのこれまでの履歴に対してコンテンツをカスタマイズする。多くの場合、学習コンテンツは、デジタル学習システムによってユーザに提示され、コンテンツとのユーザインタラクションに基づいて、デジタル学習システムが、インタラクション内でのユーザの正確さ又は応答をスコアリング又はグレード付けする。例としては、デジタル学習システムは、オンラインクイズに対する正答の数をスコアリングしてもよい。しかしながら、このように特定のコンテンツに焦点を当てることは、スキルの習得を追跡する能力を制限する。本発明者らは、デジタル学習コンテンツとのインタラクションを通してスキルの習得に向けた追跡可能な経路の利点を提供する、ｅラーニングプラットフォーム、システム、及び方法の必要性を認識した。
【発明の概要】
【0003】
一態様においては、本開示は、学習リソース毎の複数のスキルとの関係の論理的指標（例えばリンク、タグ）を介して、接続されている電子学習プラットフォームの学習リソースとの学習者のインタラクションに基づいて、学習者のスキルの習得の評価を可能にするためのシステム及び方法を説明する。いくつかの実施形態においては、本明細書で説明される様々なシステム及び方法は、学習者のスキルの組み合わせの習得の評価を可能にする。例えば、本システム及び／又は方法は、学習リソースが接続されているスキル（例えばスキルの祖先）よりも階層構造において上位にあるスキルについての習得が評価され得るように、スキルの階層構造の考慮及び／又は利用を可能にし得る。
【0004】
学習リソースとスキル階層との間の関係の論理的指標は、いくつかの実施形態においては、歴史及び言語学習、又は数学及び科学等、複数のスキルの同時の発達を強化するために使用される多次元学習モデルをサポートする。多次元学習モデルは、例えば、学習分野を横断するスキルを発達させ強化することを通して、スキルの習得及び学習の維持を改善させ得る。多次元学習モデルにおけるスキルの習得の査定は、特定の学習リソースによって発達させられた又は強化されたスキルのうち、その学習リソースの影響を担っている、関係の論理的指標に因子を適用することを含んでもよい。例えば、ｅラーニングのリソースの全体に対するリンクされたスキルの影響を表す関係の論理的指標の一部に、強度因子が適用されてもよい。例としては、歴史スキル及び文法スキルの両方に向けられたコンテンツを有する電子学習リソースは、第１の強度因子を有する、電子学習リソースを歴史スキルに接続する関係（本明細書で使用される場合、リンク又はタグ）の第１の論理的指標と、第２の強度因子を有する、電子学習リソースを文法スキルに接続する関係の第２の論理的指標と、を含んでもよい。
【0005】
いくつかの実施形態においては、１つ以上のスキルエリアにおけるスキルの習得を決定するために、習得査定が実施される。習得査定は、前述した強度属性等の、関係の論理的指標の１つ以上の属性に関連する少なくとも１つのパラメータを含む、習得査定パラメータのセットを使用して算出されてもよい。
【0006】
ｅラーニングプラットフォームにおけるスキルの習得の査定においては、いくつかの実施形態においては、学習リソースのコンテンツへとエンゲージするときに学習者によって実行されるインタラクションに適用されたときに、インタラクションデータに基づいて評価結果を予測するパターンを導出するために、学習リソースへの履歴的な学習者のエンゲージメントの代表的なデータに、回帰型の機械学習アルゴリズムが適用されてもよい。予測は、いくつかの例においては、スキルの衰え、学習の付与、習得の初期レベル、及び／又は習得を獲得する困難度に関連する機械学習によって導出されたパターンを通して強化されてもよい。
【0007】
実際の結果と予測された結果との間の相違は、いくつかの実施形態においては、調節された習得査定パラメータを決定するために分析される。様々な習得査定パラメータ（例えば習得査定アルゴリズムの因子）に関連する影響は、この段階において、機械学習アルゴリズムによって履歴データから導出されるパターンとよりよく整合するように、精密化され得る。
【0008】
例示的な実装の前述の一般的な説明、及び以下のその詳細な説明は、本開示の教示の単なる例示的な態様であり、制限するものではない。
【図面の簡単な説明】
【0009】
本明細書に組み込まれ、本明細書の一部を構成する添付図面は、１つ以上の実施形態を図示し、本記載と合わせてこれらの実施形態を説明するものである。添付図面は、必ずしも定縮尺で描かれたものではない。添付のグラフ及び図に示された値又は寸法は、単に説明の目的のためのものであり、実際の又は好ましい値又は寸法を表すもの又は表さないものであり得る。適用可能な場合には、内在する特徴の説明を補助するために、一部又は全ての特徴が図示されないこととなり得る。
【0010】
【図1A】電子学習環境におけるスキル習得を査定するためのプロセス例のフロー図である。
【図1B】スキル習得査定を提供するシステムアーキテクチャ例のブロック図である。
【図2A】スキル習得査定を提供するための方法例のフロー図である。
【図2B】スキル及びスキルと学習リソースとの間の接続の部分的な階層例のブロック図である。
【図3A】スキル査定をスコアリングするための方法例のフロー図である。
【図3B】習得査定をスコアリングするためのスコアリングパラメータをトレーニングするためのプロセス例のフロー図である。
【図4】履歴的な習得査定に基づいて学習者に新たなコンテンツを提案するために知識追跡を使用するための方法例のフロー図である。
【図5A】習得の証拠を表すグラフ表示例である。
【図5B】習得の証拠を表すグラフ表示例である。
【発明を実施するための形態】
【0011】
添付図面に関連して以下に記載される説明は、開示される主題の様々な例示的な実施形態の説明となることを意図されたものである。具体的な特徴及び機能性は、各例示的な実施形態に関連して説明されるが、開示される実施形態が、それらの具体的な特徴及び機能性の各々なしで行われ得ることは、当業者には明らかであろう。
【0012】
本明細書全体を通して「一実施形態」又は「実施形態」への参照は、一実施形態に関連して説明される特定の特徴、構造、又は特性が、開示される主題の少なくとも１つの実施形態に含まれることを意味する。かくして、本明細書を通して様々な箇所における「一実施形態において」又は「実施形態において」という語句の出現は、必ずしも同じ実施形態を指すものではない。更に、特定の特徴、構造又は特性は、１つ以上の実施形態において任意の適切な態様で組み合わせられ得る。更に、開示される主題の実施形態は、その修正及び変形をカバーすることが意図される。
【0013】
本明細書及び添付の特許請求の範囲で使用される場合、「ａ」、「ａｎ」及び「ｔｈｅ」という単数形は、文脈が明示的に別段の指示をしない限り、複数の参照を含むことは、留意されなければならない。すなわち、本明細書で使用される「ａ」、「ａｎ」及び「ｔｈｅ」等という語は、明示的に別段の規定がされない限り、「１つ以上」の意味を持つ。これに加えて、本明細書で使用され得る「左」、「右」、「上」、「下」、「前」、「後」、「側」、「高さ」、「長さ」、「幅」、「上側」、「下側」、「内部」、「外部」、「内側」、及び「外側」等の用語は、単に基準点を説明するものであり、本開示の実施形態をいずれかの特定の向き又は構成に必ずしも限定するものではないことは、理解されるべきである。更に、「第１」、「第２」、「第３」等の用語は、本明細書で開示されるようないくつかの部分、コンポーネント、ステップ、動作、機能、及び／又は基準点のうちの１つを単に特定するものであり、同様に、本開示の実施形態を特定の構成又は向きに必ずしも限定するものではない。
【0014】
更に、「およそ（ａｐｐｒｏｘｉｍａｔｅｌｙ）」、「約（ａｂｏｕｔ）」、「近似的に（ｐｒｏｘｉｍａｔｅ）」、「わずかな変化（ｍｉｎｏｒ ｖａｒｉａｔｉｏｎ）」、及び同様の用語は、一般的に、特定された値を、特定の実施形態において２０％、１０％、又は好ましくは５％のマージン内に含む範囲、及びその間の任意の値を指す。
【0015】
一実施形態に関連して説明された機能性の全ては、明示的に言及されている場合、又は特徴若しくは機能が追加的な実施形態と互換性がない場合を除き、以下に説明される追加的な実施形態に適用可能であることが意図されている。例えば、所与の特徴又は機能が、一実施形態に関連して明示的に説明されているが、代替の実施形態に関連しては明示的に説明されていない場合でも、その特徴又は機能が代替の実施形態と互換性がない場合を除き、本発明者らは、その特徴又は機能が代替の実施形態に関連して展開、利用又は実装され得ることを意図していると理解されるべきである。
【0016】
図１Ａは、電子学習（ｅラーニング）環境においてスキル習得を査定するためのシステム例１００のブロック図を示す。システム１００は、プラットフォームグラフィカルユーザインタフェースエンジン１０８を通して、ユーザプロファイル１１４によって識別されるユーザのセットうちの１人にインタラクティブな学習リソース１１６を提供する、ｅラーニングプラットフォーム１０２を含む。学習リソース１１６内の要素との識別されたユーザ１２４のユーザインタラクション１２６を通して、１つ以上のスキル評価エンジン１１０及びスキル習得査定エンジン１１２が、学習リソース１１６内の、それぞれがスキル階層１２０内の少なくとも１つのスキルに対応する１つ以上の個々の学習リソース要素１１８へのリンクに基づいて、スキルの学習における進展を査定及び／又は更新してもよい。査定は、例えば、各個々のユーザのプロファイル１１４にリンクされたスキル査定１２２として記憶されてもよい。
【0017】
学習リソース１１６は、いくつかの実装においては、ユーザコンピューティングデバイス１０６ａにおけるスクリーンショット例１３０に示されるように、ウェブサイト又はウェブポータルのｅラーニング環境に配置される。個々の学習リソースは、いくつかの例においては、１つ以上のクイズ、ビデオ、読み物、シミュレーション、データ操作、オンライン描画活動、グラフィカルコーディングモジュール、インタラクティブな学習モジュール、情報又はノートの配置モジュール、及び／又はゲームを含んでもよい。図示されているように、スクリーンショット例１３０は、情報１３４ａ（例えば、題材「ｐｒｏｎｏｕｎｓ ａｎｄ ｂｅ」について学習するための１つ以上の追加的な及び／又は外部のリソース）へのリンク、書き取り活動１３４ｂ（例えば「ｗｒｉｔｅ ｉｔ？」）、データ操作１３４ｃ（例えば「ｗｏｒｄｓ，ｗｏｒｄｓ，ｗｏｒｄｓ！」）、読み物１３４ｄ（例えば「ｒｅａｄ ｉｔ！」）、ゲーム１３４ｅ（例えば「ｐｌａｙ ｉｔ！」）、及びインタラクティブな学習モジュール１３４（例えば「ｈｅａｒ ｉｔ，ｓａｙ ｉｔ！」）を含む、選択のための学習リソース１３４のセットを含む。学習リソース１３４は、例えば、外国語教育、第二言語教育としての英語、又は早期学習教育の一部であってもよい。
【0018】
いくつかの実装においては、コンピューティングデバイス１０６ａにおけるユーザが学習リソース１３４のうちの１つとインタラクトするとき、ｅラーニングプラットフォーム１０２は、選択された学習リソース１３４内の学習リソース要素１１８とのインタラクション１２６を収集し、インタラクション１２６を、コンピューティングデバイス１２６を介してｅラーニングプラットフォーム１０２にログインしているユーザのユーザ識別１２４と関連付ける。学習リソース要素１１８は、例えば、進行中のゲームタイプの学習リソース１１６内の個々の質問、データ入力フィールド、ゲームレベル又はスキルの完了を含んでもよい。換言すれば、学習リソース要素１１８とのインタラクションは、いくつかの例においては、タイプされた応答、発話（例えば口頭インタラクティブ学習モジュール１３４において）、ジェスチャ（例えば、コンピューティングデバイス１０６ａのビデオカメラ又はコンピューティングデバイス１０６ａに接続された入力デバイスの加速度計によって捕捉される）、ユーザインタフェース１３０内のコントロールの選択、ユーザインタフェース１３０内のインタラクティブ要素の移動、又は学習リソース１１６を通した活動（例えば描画、マップ、コードセグメント等）の提出を含んでもよい。更に、インタラクションデータは、質問の提示後に質問に答えるのにどれだけの長さを学習者が要したか、又はインタラクティブな課題において反復的な動きを実行する等の、学習者が問題を解くのに費やした時間の長さ等の、インタラクションのタイミングを含んでもよい。追加的な例においては、インタラクションデータは、学習者に提示された部分、例えば、読み取り中に学習者によってスクロールされた読み物文書の部分、又は再生された教育ビデオの部分を含んでもよい。
【0019】
いくつかの実装においては、１つ以上のスキル評価エンジン１１０は、個々の要素への各インタラクションを、関係の論理的指標を介してスキル階層１２０における学習リソース要素に論理的に接続された少なくとも１つのスキルと照合する。スキル評価エンジン１１０は、例えば、以上に説明されたインタラクション例等の、異なるスタイルのインタラクションに基づいてスキルを評価するように設計されたエンジンを含んでもよい。スキル評価エンジン１１０は、ユーザプロファイル１１４の１つにリンクされたユーザ１２４のスキル査定１２２として、ユーザインタラクション１２６の査定の結果をログに記入してもよい。
【0020】
ｅラーニングプラットフォーム１０２を介したスキルの構築において、いくつかの実装においては、１つ以上のスキル習得査定エンジン１１２が、スキル査定１２２を個別に及び／又は時間とともに分析して、ユーザ識別１２４を有するユーザに関連する進行中の習得査定１２８を導出してもよい。習得査定１２８は、例えば、習得査定グラフィカルユーザインタフェース１３２としての提示のために、コンピューティングデバイス１０６ｂ（例えば、生徒コンピューティングデバイス１０６ａ、教師コンピューティングデバイス、及び／又は親又は他の監督ユーザコンピューティングデバイス）に提供されてもよい。習得査定１２８は、いくつかの例においては、特定のタイプ又は題材（例えばサブ階層）のスキルに取り組むためのｅラーニングプラットフォーム１０２とのインタラクションの関連する時間（例えばタイムスパン、１つ以上のタイムスタンプ等）、インタラクションの直近の学習リソース要素、現在の習得値、経時的な習得の評価（例えば棒グラフ、折れ線グラフ等）、及び／又は習得の信頼区間情報を含んでもよい。習得査定例１２８は、例えば、図５Ａに示されており、以下により詳細に説明される。
【0021】
図１Ｂは、スキル習得査定を提供するためのシステムアーキテクチャ及び環境例１５０のブロック図である。システム１５０は、いくつかの実装においては、電子リソースデータリポジトリ１５８、ユーザデータリポジトリ１６０、及びｅラーニングプラットフォーム１０２のエンジンの集合を含む。生徒１５２（例えば学習者）、インストラクタ１５４、及び／又は生徒１５２の学習監督者１５６（例えば両親、保護者、他の家族メンバー、デイケアセンタ職員、子守等）は、ｅラーニングプラットフォーム１０２にアクセスして、エンジン一式によって提供される機能とインタラクトすることができる。例えば、生徒１５２、インストラクタ１５４、及び／又は学習監督者１５６は、ｅラーニングプラットフォームの機能にアクセスするために、生徒プロファイル１８２、インストラクタプロファイル１８４、及び監督者プロファイル１９２等の関連プロファイルに記憶された情報を使用して、学習リソースＧＵＩエンジン１０８ａ及び／又は査定ＧＵＩエンジン１０８ｂを通してログオンしてもよい。例えば、学習監督者１５６は、査定ＧＵＩエンジン１０８ｂにのみアクセスでき、一方で、インストラクタ１５４は、学習リソースＧＵＩエンジン１０８ａを介して、作業を閲覧し、及び／又はオンラインコメントを提供するためにアクセスでき、更には査定ＧＵＩエンジン１０８ｂにアクセスして生徒の進展状況を追跡することができる。何人かの生徒は、学習リソースＧＵＩエンジン１０８ａにのみアクセスでき、ｅラーニングプラットフォーム１０２によって提供される習得査定を知ることができないようにされてもよい。他の生徒は、学習リソースＧＵＩエンジン１０８ａ及び査定ＧＵＩエンジン１０８ｂの両方にアクセスできてもよい。
【0022】
いくつかの実装においては、生徒は、図１Ａに関連して説明されたように、学習リソースＧＵＩエンジン１０８ａを介して、それぞれが１つ以上の学習リソース要素１７２を含む学習リソース１７０とインタラクトする。
【0023】
いくつかの実装においては、特定の学習リソース１７０とインタラクトする間及び／又はインタラクションの完了の際に、スキル評価エンジン１１０が、学習リソース１７０との生徒インタラクション１９０を受信し、図１Ａに関連して議論されたように、１つ以上のスキルエリアにおける生徒１５２の進展を査定する。スキルエリアは、例えば、学習リソース１７０の学習リソース要素１７２に論理的にリンクされたスキル階層１７４内で識別され得る。スキル評価エンジン１１０は、例えば、学習リソースＧＵＩエンジン１０８ａを介して、生徒１５２に、学習リソースとの生徒のインタラクションのスコアリング又はグレード付けを提示するために使用されてもよい。スコアリング又はグレード付けは、例えば、スキル評価１８６として記憶されてもよい。
【0024】
いくつかの実装においては、スキル習得査定エンジン１１２は、スキル評価エンジン１１０からスコアリング又はグレード付けを取得し、スキルの習得を算出する。更に、生徒が同じスキルに関連する以前の習得査定１８８及び／又はスキル評価１８６を記憶している場合、いくつかの実施形態においては、スキル習得査定エンジン１１２は、スキル評価１８６の特徴及び／又はそこから導出されるメトリクスに対応する習得査定パラメータ１８０に従って、習得査定を算出する。特徴は、いくつかの例においては、以下で更に詳細に議論されるように、スキルの衰え、学習の付与、習得の初期レベル、及び／又は習得を獲得する困難度のうちの１つ以上を示す態様に対応してもよい。
【0025】
いくつかの実施形態においては、スキル習得査定エンジン１１２は、スキル項目重み１７６（例えば、所与のリソース要素１７２と、関係の論理的指標を介してリソース要素１７２にタグ付け又はリンクされた所与のスキルとの間の接続の重み）、及び／又はスキル項目強度１７８（例えば、所与のリソース要素１７２と、リソース要素１７２にタグ付け又はリンクされた所与のスキルとの間の接続の強度）に部分的に基づいて、習得査定を算出する。例えば、スキル要素の強度１７８は、（例えば同じリソース要素１７２にリンクされた他のスキルとは対照的に）個々のリソース要素１７２に対するスキルの関連性を表し得る。スキル項目の重み１７６は、例えば、コンテンツによって提供される学習影響の量（例えば、所与のリソース要素１７２が、所与のスキルに関連する知識の付与及び／又は査定に、どれだけ深く又は強く焦点を当てているか）を表し得る。スキル習得査定エンジン１１２は、例えば、習得査定パラメータ１８０にアクセスして、スキル項目重み１７６及び／又はスキル項目強度１７８をどのように適用するかを含む、習得査定１８８の算出に因子を適用するためのアルゴリズム及び／又は方程式を識別してもよい。
【0026】
履歴的なインタラクションデータ（例えば生徒インタラクションデータ１９０から導出される）は、いくつかの実施形態においては、履歴的なデータ及び現在の習得査定パラメータ１８０に基づいて習得査定を予測するために、評価予測エンジン１６２に提供される。評価予測エンジン１６２は、例えば、統計分析及び／又は機械学習を適用して、履歴的なスキル評価１８６、習得査定１８８、及び／又は生徒インタラクション１９０から導出された、実証されたスキル習得に最もよく適合するように、習得査定パラメータ１８０を調節する。評価予測エンジン１６２は、例えば、習得査定パラメータ１８０に対して１つ以上の調節されたパラメータを生成してもよい。
【0027】
コンテンツ推奨エンジン１６４は、いくつかの実施形態においては、習得査定１８８を分析して、学習者に推奨する将来のコンテンツを決定する。コンテンツ推奨エンジン１６８は、例えば、スキル階層１７４内のスキルにタグ付け又はリンクされた学習リソース１７０及び／又は学習リソース要素１７２であって、学習者にスキルセットの開発の強化を提供するようなものを、識別してもよい。
【0028】
図２Ａは、ｅラーニングプラットフォーム内の学習要素のスキル習得査定をサポートするデータアーキテクチャを編成するための方法例２００のフロー図である。本方法は、所与のシステムにおけるデータアーキテクチャの基礎に部分的に基づいて、手動で、半自動的に、又は自動的に実行され得る。方法２００は、例えば、図１Ａ及び図１Ｂのｅラーニングプラットフォーム１０２によって部分的に実行されてもよい。
【0029】
いくつかの実装においては、方法２００は、学習リソースを取得することから開始される（２０２）。以上に議論されたように、学習リソースは、一例においては、１つ以上の査定質問を含んでもよい。例としては、査定質問は、「ｓｉｎ（ｘ）の導関数は何か？」等の問いを含んでもよい。更に、査定質問は、「ある車が、カーブした道路を２０ｍ／ｓの一定速度で移動している。道路の曲率半径は１３０ｍである。この車の加速度を求めよ」等の、言葉による質問を含んでもよい。学習教材は、ビデオを含んでもよい。例えば、学習リソースは、教師がトピックを提示しているビデオ、又は人物が科学実験を実行しているビデオであってもよい。学習リソースは、１つ以上の読み物を含んでもよい。例えば、読み物は、教科書からの１つ以上の抜粋であってもよい。学習リソースは、固体が気体に変化するシミュレーション等のシミュレーションを含んでもよい。学習リソースは、１つ以上のデータ操作を含んでもよい。例としては、操作は、テニスボールが所与の速度で及び所与のスピンでターゲットに当たるように、ユーザがテニスラケットの位置決め、ストリングの張力、及びラケットスイングの方向を調節する、インタラクティブなオンラインのエクササイズを提供してもよい。学習リソースは、ゲームを含んでもよい。例えば、こうしたゲームの中には、ユーザが正しい回答に対してポイントを受け取り、キャラクター及び潜在的に筋書き又はストーリーラインを含む課題を通して前進するような、数学ゲームを含んでもよい。
【0030】
いくつかの実装においては、所与の学習リソースが複数の学習要素（２０４）を含む場合、学習リソースは個々の学習要素（２０６）に分離される。例えば、クイズは複数の質問を含んでもよく、このとき各質問は後の査定に利用可能な別個の学習要素である。更なる例においては、学習ゲームは、ゲーム内で複数のゲームレベル又は経験タイプに分離されてもよい（例えば数学ゲームにおける自然数対分数）。例えば、図２Ｂの学習リソース構造例２５４に示されるように、学習リソース２５４は、２つの要素２５４ａ、２５４ｂに分離されてもよい。
【0031】
いくつかの実装においては、学習リソース／リソース要素はそれぞれ、学習リソースとのインタラクションを通して導出される習得効果に従って、１つ以上のグループにカテゴライズされる。例えば、それらの性質は十分に異なり、そのため、それらとのインタラクションによる習得効果がかなり異なると予想される。グループの例は、いくつかの例においては、指導的なビデオグループ及び質問のグループ等の、コンテンツタイプのグループ分けを含んでもよい。別の例においては、グループは、困難度レベルによるグループを含んでもよく、より困難な学習リソース要素は、習得査定を決定する際に異なって扱われてもよい。
【0032】
いくつかの実装においては、階層構造を有するスキルのセットが取得される（２１０）。階層構造内のスキルは、「親」スキル及び／又は１つ以上の子スキルを割り当てられてもよく、かくしてスキル間の階層構造をエンコードする。いくつかの実施形態においては、各スキルは１つよりも多い親スキルを有さないが、同じ親スキルが任意の数の他のスキルに割り当てられてもよい。スキルは、その親スキルに対して「子」スキルと呼ばれ得る。より一般的には、階層の中のスキルは、互いの「祖先」又は「子孫」と呼ばれ得る（例えば、親の親は祖先であり、子の子は子孫である）。スキル２５６～２７２を含む部分的なスキル階層例２５２が、図２Ｂに図示されている。スキル６ ２６６は、２つの子スキル、すなわちスキル６．Ａ ２７４ａ及びスキル６．Ｂ ２７４ｂ（例えば兄弟スキル）を有するものとして図示されている。
【0033】
いくつかの実施形態においては、階層スキル構造は、教示基準によって、又は教示基準に基づいて、作成される。例えば、以下の２つのスキルは、階層構造を提供する次世代科学基準（ＮＧＳＳ）から導出される親及び子スキルレベルである。
ＬＳ１．Ｂ：生物の成長及び発達。
ＬＳ１．Ｂ．２：植物は様々な方法で繁殖し、時には動物の行動及び繁殖のための特殊化された機能に依存する。
ＬＳ１．Ｂ：生物の成長及び発達。
ＬＳ１．Ｂ．２：植物は様々な方法で繁殖し、時には動物の行動及び繁殖のための特殊化された機能に依存する。
【0034】
いくつかの実装においては、各学習リソース又はその要素は、階層スキル構造（２１２）のうちの１つ以上のスキルに論理的に接続される。接続は、例えば、一般的に、関係の論理的指標と呼ばれ得る。個々の学習リソース／要素を１つ以上のスキルに接続することは、例えば、データベース又は他のデータネットワーク内で、各学習リソース／要素レコードを１つ以上のスキルレコードにリンクさせることを含んでもよい。例としては、個々の科学的質問要素は、米国の学習基準スキル構造、国際的な学習基準スキル構造、カナダの学習基準スキル構造等内でタグ付けされてもよい。このようにして、同じ学習要素が、多数のスキル習得形式のうちの１つに基づいて習得を決定するために適用されてもよい。例えば、図２Ｂに示されるように、学習リソース要素１ ２５４ａは、スキル６．Ａ ２７４ａとタグ付けされている。更に、学習リソース要素２ ２５４ｂは、スキル６．Ａ ２７４ａ及びスキル６．Ｂ ２７４ｂとタグ付けされている。
【0035】
別の例においては、ＮＧＳＳ等の多次元（分野横断的）学習標準構造において、同じ学習リソース要素が、特定のスキルの学習に適用される２つ以上の分野に対してタグ付けされてもよい。例としては、気候に関連するスキルを発展させるためのコンテンツを提示する多次元学習基準をサポートする学習リソース要素が、数学的スキルタグ、気象科学スキルタグ、及び読み書きスキルタグを含む。例としては、図２Ｂに示されるように、学習リソース要素３ ２８６ｂは、重み４ ２８８でスキル１ ２５６に、また重み５ ２９０でスキル３ ２６０に、リンク又はタグ付けされる。
【0036】
いくつかの実装においては、タグ（２１４）のうちの少なくとも一部に強度が適用される。例えば、強度は、タグ付けされた項目（学習リソース／要素）内のスキルの提示の強度を示してもよい。例としては、特定のスキルに焦点を当てたビデオは、強度の強い指標を受け取ってもよく、異なるスキルの提示のサポートにスキルを織り込んだ別のビデオは、強度の弱い指標を受け取ってもよい。強度は、例えば、０～１、１～１０、又は１～１００の数値であってもよい。図２Ｂに示されるように、例えば、強度Ｓ１ ２９２は、学習リソース要素３ ２８６とスキル１ ２５６との間のタグに対応し、強度Ｓ２ ２９４は、学習リソース要素３ ２８６とスキル３ ２６０との間のタグに対応する。
【0037】
いくつかの実施形態においては、項目（学習リソース又は学習リソース要素）とスキルとの間の強度は、項目とスキルとの間の接続の数によって指定されてもよい。例えば、ニューラルネットワーク又はその他のリンクされたデータネットワークは、連結の数の形で強度を表してもよい。図２Ｂに示されるように、学習リソース要素１ ２５４ａは、単一のリンク２７６を介して、スキル６．Ａ ２７４ａに論理的に接続されている。逆に、学習リソース要素２５４ｂは、３つの論理的リンク２７８ａ～ｃのセットを通して、スキル６．Ａ ２７４ａに論理的に接続されている。
【0038】
いくつかの実装においては、タグ（２１６）のうちの少なくとも一部について重みが決定される。重みは、例えば、それぞれの要素又は学習リソース（例えば項目）とのインタラクションが持つ習得の証拠の相対的な強度を示す数値であってもよい。例えば、知識の深さ（ＤＯＫ）は、重み値として適用され得る学習リソースの一般的な特性である。図２Ｂに示されるように、学習リソース要素２５４ａと２５４ｂとの間の各リンクは、関連する重み２８０、２８２ａ～ｃ、２８４を含む。
【0039】
特定の一連の動作として図示されているが、他の実装においては、方法２００は、より多い又はより少ない動作を含んでもよい。例えば、タグについて強度が決定されなくてもよく（２１４）、及び／又は、各タグについて重みが決定されなくてもよい（２１６）。更に、いくつかの実装においては、１つ以上の動作が、異なる順序で及び／又は並行して実行されてもよい。例えば、各タグに強度を適用すること（２１４）に先立って、重みが決定されてもよい（２１６）。別の例においては、学習リソースは、強度（２１４）及び／又は重み（２１６）を適用した後に、グループ化されてもよい。本開示の範囲及び趣旨に留まりながら、方法２００の他の修正も可能である。
【0040】
図３Ａに目を向けると、フロー図が、例えば図２Ａの方法２００を通して確立されたリンクされた、学習リソース及びスキル階層データアーキテクチャを使用して、スキル階層内のスキルの習得の証拠を決定するための方法例３００を示している。方法３００の一部は、例えば、図１Ｂのスキル評価エンジン１１０及び／又はスキル習得査定エンジン１１２によって実行されてもよい。
【0041】
いくつかの実装においては、方法３００は、１つ以上の学習リソースとの学習者のインタラクションに対応する入力を取得することから開始される（３０２）。入力は、いくつかの例においては、質問に対する回答、タスクの完了、及び／又はゲームのプレイ中に達成されたスコア／レベルを含んでもよい。例えば、入力は、複数選択肢の回答の選択をクリックすること、又はインタラクティブモデルに対する一連の調節を入力すること等の、個々の評価に関連する各ユーザの提出に関連するものであってもよい。入力は、例えば、図１Ｂの学習リソースＧＵＩエンジン１０８ａによって取得されてもよい。
【0042】
いくつかの実装においては、入力は、項目（学習リソース及び／又はその要素）に対する望ましい／望ましくないインタラクション及び／又は正しい／正しくない応答に関連する評価ルールに従って評価される（３０４）。いくつかの入力は、例えば、クイズの質問に対する回答等の、グレード付けされた／スコアリングされたインタラクションを含んでもよい。いくつかの入力は、別の例においては、ビデオを最後まで再生すること、又はコンテンツを読んでいないよりも読んだ見込みが高くなるのに十分に長く読み物要素に留まること等の、グレード付けされていない／スコアリングされていないインタラクション（例えば完了した又は完了していない）を含んでもよい。このようにして、入力の少なくとも一部は、学習要素の目標の一部を達成するための部分クレジットに関する評価ルールに基づいて評価される。他の例においては、部分クレジットは、学習ゲームの一部を完了すること（例えば、ゲームレベルの完了に先立って試行を完遂すること）又は、クイズの一部を完了することに関連付けられ得る。入力を評価することは、例えば、ｅラーニングプラットフォーム内で実行される「グレード付け」活動を含んでもよい。評価は、例えば、図１Ｂのスキル評価エンジン１１０によって実行されてもよい。
【0043】
いくつかの実装においては、インタラクション及び／又は応答（例えば「グレード付けされたコンテンツ」）は、対応するスキルと相関付けられる（３０６）。例えば、項目（学習リソース及び／又はその個々の要素）とスキル階層中のスキルとの間のリンク又はタグが、スキル階層のうちのスキルに関連して進展を査定するために識別される。特定の項目（学習リソース又はその要素）がタグ付けされている１つ以上のスキルの各々について、それぞれのスキルの習得レベルの変化が決定されてもよい。図１Ｂのスキル習得査定エンジン１１２は、例えば、インタラクション及び／又は応答を、対応するスキルと関連付けてもよい。
【0044】
いくつかの実装においては、各項目と１つ以上の対応するスキルとの間のタグ又はリンクが、適用された強度（例えば図２Ａの方法２００の動作２１４に関連して説明されたような）及び／又は重み（例えば方法２００の動作２１６に関連して説明されたような）を有する場合（３０８）、重み及び／又は強度が、調節されたインタラクション／応答を算出するために評価された入力に適用される（３１０）。例えば、各入力の評価を表す数値は、タグの強度及び／又は重みを表す係数によって重み付けされ、乗算され、又はその他の方法で変更されてもよい。図２Ｂに目を向けると、学習リソース要素２ ２５４ｂとスキル６．Ａ ２７４ａとの間の強度は、３つの個別のリンクとして表されるので、この強度を適用することは、入力の評価を３で乗算することを含み得る（例えば、この回答は、スキル６．Ａ ２７４ａの習得を実証する際に、他の回答の値の３倍の価値がある）。更に、強度を表すリンクのうちの１つ又は全てに、重みＷ２ ２８２ａ～ｃが適用されてもよく、それによって、重みが、学習リソース要素２ ２５４ｂに対するスキル６．Ａの相対的な重要度によって、評価値を調節する。
【0045】
いくつかの実施形態においては、重み及び／又は強度の適用は、学習者が正しい回答を入力したか正しくない回答を入力したかに基づいて異なってもよい。例えば、正しい回答のみが強度因子によって拡大され、全ての回答が重み因子によって拡大されてもよい。他の組み合わせも可能である。
【0046】
いくつかの実装においては、各スキルについて、対応する評価された１つ以上の入力が使用されて、学習者のスキルの習得レベルを算出する（３１２）。習得レベルは、例えば、スキル階層内の所与のスキルの主題の相対的な把握度を表す。習得レベルは、いくつかの例においては、それぞれのスキルにおける評価された入力の値の中央値、平均値、又は加重平均を決定することによって、算出されてもよい。習得レベルは、更なる例においては、１つ以上の因子（例えば習得査定パラメータ１８０の一部）について部分的に算出されてもよい因子は、いくつかの例においては、学習リソース要素の困難度（例えば、困難な学習要素に対して正のスコア／値を増幅する）、及び／又は学習者の生徒プロファイル１８２の１つ以上の医学的因子（例えば、学習障害、神経学的障害、身体的障害、又は、同じグループ（例えば年齢、学年等）内の他の学習者との関係において学習者のインタラクションのパターンを変更し得る他の障害）を含んでもよい。
【0047】
いくつかの実装においては、各スキルについて、学習者の現在のスキルの習得のレベルにおける信頼度を表す信頼値が算出される（３１４）。信頼値は、いくつかの例においては、信頼区間（例えば、算出された習得査定の上下の＋／－マージン）、割合の信頼度、又は信頼度の格付け（例えば高信頼度、中信頼度、低信頼度等）を含んでもよい。
【0048】
特定の一連の動作として図示されているが、いくつかの実施形態においては、方法３００の動作は異なる順序で実行され、及び／又は方法３００の動作のうちの１つ以上は並行して実行される。例えば、動作３１０、３１２、及び３１４は、１つ以上のスキルのうちの各スキルについて並行して実行されてもよい。いくつかの実施形態においては、方法３００は、より多い又はより少ない動作を含む。例えば、方法３００は、習得レベルの増加率等の、経時的な習得レベルの変化に基づいて、習得査定メトリクスを算出することを含んでもよい。本開示の範囲及び趣旨に留まりながら、方法３００の他の修正も可能である。
【0049】
いくつかの実装においては、査定レベルは、学習者、監督者、又は教師等のユーザによる閲覧のために提示される。過去の習得査定１８８が利用可能である場合、習得査定は、対象のスキルの習得における学習者の進展を実証するために、経時的に提示されてもよい。
【0050】
一例において、図５Ａに目を向けると、習得査定グラフ例５００のスクリーンショットが、時間５０４にわたる達成度５０２（例えば、ユーザ入力の正確さの割合／実証された習得の割合）に関連して視覚化された、特定のスキルの習得における学習者の進展の概要を示している。図示されたスコアインジケータ（丸）５０６の各々は、受け取られたスコア（例えば０から１までにスケーリングされたもの）を表し、各スコアインジケータ５０６のサイズが、スキルに対するスコアの相対的な関連性（例えば、スコアに対応する学習リソース要素のタグ付けされた強度、及び／又はスコアに対応する学習リソース要素のタグ付けされた重み）を表す。習得レベルのプロット５０８は、グラフ５００上の実線によって表され、時間経過に伴う学習者の達成された習得レベル内の動きを示している。図示されるように、学習者は、比較的低い習得レベル（例えば０．１よりもわずかに低いように見える）でプラットフォームとのインタラクションを開始し、時間とともに（例えば日／時間０から日／時間１００まで）、１に近い習得レベル（例えばほぼ完全な習得）を達成している。習得レベルのプロット５０８の上下のバンド５１０は、習得レベルのプロット５０８に沿った各点における習得レベルについての信頼区間を表す。いくつかの実施形態においては、時間は、１００日、１００時間、又は１００分等の、学習者がｅラーニングプラットフォーム内で特定のスキルに取り組むのに費やした合計時間を表す。
【0051】
いくつかの実装においては、習得レベル決定は、習得査定パラメータを精密化するためにｅラーニングプラットフォームによって収集された履歴的なデータを使用して、最適な性能のためにトレーニングされ、それによってその予測力を最大化する。図３Ｂに目を向けると、フロー図は、履歴的なインタラクションデータ１８８を使用して習得査定パラメータ１８０をトレーニングするためのプロセス例３２０を示す。いくつかの実施形態においては、習得査定パラメータは、生徒の年齢、生徒の地域、生徒の学年レベル、及び／又は、スキル評価から習得査定を算出するための１つ以上のアルゴリズムに考慮される学習基準等の因子を含む。習得査定パラメータ１８０は、いくつかの実施形態においては、習得査定パラメータの複数のセットを含む。習得査定パラメータは、学習者グループのセットのグループ毎のパラメータに分割されてもよい。学習者は、いくつかの例においては、特定の学習基準（例えば、米国の公立学校のスキル階層、カナダの公立学校のスキル階層、学区毎の基準等）、学年レベル、年齢又は年齢範囲（例えば、小学校低学年範囲、小学校高学年範囲、中学校範囲、高校範囲等）、及び／又は地理的地域（例えば、市、郡、郵便番号、エリアコード、州、県等）に基づいて、グループに分けられてもよい。
【0052】
いくつかの実装においては、いくつかの例において、スキル評価１８６、ユーザインタラクション１９０、及び／又はユーザインタラクション１９０のうちの少なくとも一部に対応するタイムスタンプ（例えば、クイズに答えるための開始及び終了／経過時間、質問に対する回答の提出の時間等）を含む、履歴的なインタラクションデータ３２２が、評価予測エンジン１６２の１つ以上の機械学習アルゴリズム３２６に供給される。ユーザインタラクション１９０は、更なる例においては、インタラクションの間に行われたアクションの数（例えば、成功した結果を達成するためにインタラクティブな物理モデルに適用された個々の調節がどれだけあったか、学習ゲームの結論を達成するために使用された「ライフ」の数、ビデオプレゼンテーションが一時停止された回数等）を含んでもよい。履歴的なインタラクションデータ３２２は、別の例においては、いくつかの例において、各スキルに関連する初期習得レベル、各スキルに関連する習得レベルの向上率、習得レベル間の進展に要した時間の長さ、及び／又は習得査定間に経過した時間の長さ等の、履歴的な習得査定メトリクス３２８を含んでもよい。履歴的なインタラクションデータ３２２は、（例えば、図１Ｂに関連して議論されたような、スキル要素重み１７６及び／又はスキル要素強度１７８にアクセスするため）スキル階層１７４内のスキル及び／又はタグ付けされた学習リソース／学習リソース要素３２４に、相関付けられてもよい。
【0053】
いくつかの実装においては、機械学習アルゴリズム３２６に提供されるトレーニングデータ３２２は、スキルファミリー３２２ａ（例えばスキル階層１７４の枝に沿った祖先及び子孫を含む）によってグループ化されたインタラクションデータ、スキル３２２ｂによってグループ化されたインタラクションデータ、及び／又はコンテンツタイプ３２２ｃ（例えばビデオ、クイズ、ゲーム等）によってグループ化されたインタラクションデータを含む。例えば、異なる機械学習アルゴリズム３２６は、異なるタイプの履歴的インタラクションデータ３２２を査定するのにより適したものとなり得る（例えば、外国語学習と比較して数学及び科学の集中、クイズと比較してゲーム、等）。
【0054】
機械学習アルゴリズム３２６は、生徒インタラクションデータ１９０に基づいて評価結果を予想するように設計されている。機械学習アルゴリズム３２６は、いくつかの実施形態においては、Ｋ近傍（ＫＮＮ）回帰モデル又はサポートベクトル回帰（ＳＶＲ）モデル等の、回帰モデルを含む。回帰モデルは、他の例においては、移動線形回帰、加重移動平均、又は指数加重移動線形回帰を適用してもよい。
【0055】
いくつかの実施形態においては、機械学習アルゴリズム３２６を使用して評価結果を予想することは、生徒の行動のパターンに基づいて、学習リソース要素１７２とインタラクトする際の達成度における将来の動きを予測することを含む。生徒の行動のこれらのパターンは、いくつかの例においては、衰え、学習の付与、習得の初期レベル、及び／又は習得を獲得する困難度等の因子による、生徒の達成度に対する影響を考慮に入れてもよい。例えば、機械学習アルゴリズム３２６は、学習者が習得のレベルを通して進展するのに要する時間（例えば、スキルの習得への進展に対する学習効果率）に関連するパターンを検出してもよい。別の例においては、機械学習アルゴリズム３２６は、スキルに対する初期の慣れが、学習者の習得のレベルを通した将来の進展に与える影響に関連するパターンを検出してもよい。初期のスキルの慣れは、いくつかの例においては、機械学習アルゴリズム３２６によって、スキルのファミリー（祖先及び子孫）の特定のスキルに対応する第１のスコア、（例えばスキルの重み付け１７６及び／又はスキルの強度１７８に基づいて）特定のスキルに強い関連性を有するものとしてリンクされた学習リソース要素１７２のうちの１つに対応する第１のスコア、又は特定のスキルに対応する最初のＮ（例えば、２、３、最大で５、等）のスコアを含むことが、見出され得る。更なる例においては、機械学習アルゴリズム３２６は、スキルの学習における困難度を示すものであり得る、学習者が元のインタラクションから特定のスキルの習得まで進展するのに要する時間の量（例えば、スキルの習得への進展に対する学習効果率）に関連するパターンを検出してもよい。更に、特定のスキルの習得を獲得する学習者の困難度に関連して、機械学習アルゴリズム３２６は、学習リソース要素との反復回数に関連するパターンを検出してもよい。別の例においては、機械学習アルゴリズム３２６は、長い間定期的にスキルのエクササイズをしなかったことによる、衰えがスキルの獲得に及ぼす影響に関連するパターンを検出してもよい。例示的な例においては、トレーニングデータ３２２は、スキル階層１７４の特定のスキルファミリーに関連付けられた学習リソース１７０／学習リソース要素１７２へのエンゲージメントの頻度を導出するのに有用なタイムスタンプを含んでもよい。
【0056】
予測された評価アルゴリズム３３０は、いくつかの実装においては、履歴的な生徒インタラクションデータ１９０を取り込み、機械学習アルゴリズム３２６を適用してスキル評価を予測し、予測された結果３３２に帰着する。
【0057】
いくつかの実装においては、予測された結果３３２は、機械学習アルゴリズム３２６によって分析された学習者の実際の達成データとよりよく整合するように、現在の習得査定パラメータ１８０を精密化するために、習得査定パラメータ精密化モジュール３３４によって適用される。学習リソース要素の任意のサブセット上でユーザによって達成された結果を予測するために履歴的なインタラクションデータ３２２を適用し、予測された結果３２２を学習者によって現実に受け取られたスキル評価１８６と比較することによって、評価予測エンジン１６２の習得査定パラメータ精密化モジュール３３４は、習得査定１８８の予測精度を最大化するよう、習得査定パラメータ１８０を再調整してもよい。習得査定パラメータ精密化モジュール３３４は、習得査定パラメータ１８０のパラメータのうちの１つ以上を置き換えるために、１つ以上の調節された習得査定パラメータ３３６を出力してもよい。習得査定パラメータ１８０の調節は、いくつかの例においては、習得査定算出アルゴリズムに特定のパラメータを適用するための調節された重み、習得査定アルゴリズムに特定のパラメータを適用するための調節されたサブアルゴリズム（例えば、特定の査定パラメータ１８０の線形適用ではなく対数適用）、及び／又は習得査定アルゴリズムに特定のパラメータを適用するための調節されたルール（例えば、特定のタイミング因子がＮ日よりも大きい場合等）を含んでもよい。
【0058】
いくつかの実施形態においては、習得査定パラメータ精密化モジュール３３４は、スキル評価１８６の分析を精密化するために、図１Ｂのスキル習得査定エンジン１１２の算出内に含めるための追加的なパラメータを提案してもよい。最初の例においては、生徒インタラクションデータ１９０の特定のタイミングデータ要素を考慮することが、習得査定１８８のよりよい精度に導く場合には、習得査定パラメータ精密化モジュール３３４は、習得査定パラメータ１８０にかかるタイミングデータを含めることを提案してもよい。
【0059】
プロセス３２０は、いくつかの実施形態においては、定期的に実行される。例えば、プロセス３２０は、毎月、隔週、毎週、又は毎日実行されてもよい。いくつかの実施形態においては、プロセス３２０は、習得査定パラメータの各セットに対して実行される。習得査定パラメータの個々のセットは、例えば、電子学習プラットフォームによって査定される個々の学習者グループ（例えば年齢、学年レベル、及び／又は地域等）、及び／又は異なる学習者経験及び／又は異なるインストラクタ又は学習監督者の要望に対して査定をカスタマイズするために電子学習プラットフォーム内で評価目的のために使用される個々のスキル階層（例えば、異なる学習基準に基づく）に対応してもよい。同じ学習者が、複数の学習基準の下で、及び／又は複数の学習者グループの一部として、査定されてもよく、ｅラーニングプラットフォームが、ｅラーニングプラットフォームにエンゲージする学習者の群全体にわたって、エンゲージメントの結果の同一条件での比較を提示する能力を提供する。トレーニングデータ３２２は、いくつかの実装においては、対応する学習者がｅラーニングプラットフォームにエンゲージしている時間の閾値長さ、及び／又は対象のスキル又はスキルファミリーにおいてｅラーニング学習者が獲得した閾値習得査定レベル等の、１つ以上の基準に基づいてフィルタリングされる。それゆえ、同じ内在するタイプの機械学習アルゴリズム３２６は、ｅラーニングプラットフォームの学習者の選択されたサブセットに焦点を当てた精密化された習得査定パラメータを導出するように、トレーニングデータのセットの複数のバリエーションを使用してトレーニングされてもよい。
【0060】
図４は、履歴的な習得査定に基づいて学習者に新たなコンテンツを提案するために知識追跡を使用するための方法例４００のフロー図である。方法４００の少なくとも一部は、例えば、図１Ｂのｅラーニングプラットフォーム１０２のコンテンツ推奨エンジン１６４によって実行されてもよい。方法４００は、例えば、図１Ｂの学習リソースグラフィカルユーザインタフェースエンジン１０８ａを介して学習者に提示される情報に帰着してもよい。
【0061】
いくつかの実装においては、方法４００は、１つ以上のスキルに対応するスキル評価及び／又は習得査定を取得することから開始される（４０２）。例えば、スキル階層１７４のスキルファミリーに関連する（例えば、図２Ｂに関連して説明されたような、特定のスキルの枝の子孫）所与の生徒プロファイル１８２についての履歴的な習得査定１８８及び／又はスキル評価１８６は、図１Ｂのユーザデータ記憶部１６０からアクセスされてもよい。
【0062】
いくつかの実装においては、スキルファミリー階層内で学習者が呈する１つ以上の弱みを識別するために、標的のスキルファミリーについてスキル評価及び／又は習得査定が閲覧される（４０４）。弱みは、例えば、図２Ｂのスキル階層２５２のスキル６．Ａ ２７４ａ等の特定のスキル又は枝（例えばスキル６．Ａ ２７４ａ及びそのいずれかの子孫）を含んでもよい。弱みは、一例においては、不足しているスキル評価（例えば学習者が特定のスキル又はスキルファミリーのスキルに関連する学習リソース１７０／リソース要素１７２をまだ提示されていない場合）を含んでもよい。別の例においては、弱みは、スキルファミリーの１つ以上の特定のスキルを含む学習リソース１７０／リソース要素１７２に関連する低いスキル評価（例えば、閾値基準を下回る値を有する評価、特定の学習者についての典型的な評価値未満の値を有する評価、等）を含んでもよい。更なる例においては、弱みは、スキルファミリーの１つ以上の特定のスキルを含む特定のタイプの学習リソース１７０／リソース要素１７２に関連する低いスキル評価を含んでもよい（例えば学習者が数学のスキルファミリーに関連する単語問題に苦戦しているような場合）。
【0063】
いくつかの実装においては、スキルファミリー内で弱みが発見された場合（４０６）、識別された弱みに基づいてスキルファミリー内で学習コンテンツが特定される（４０８）。学習コンテンツは、例えば、強化が必要であると識別されたスキルにタグ付けされた学習リソース１７０／リソース要素１７２を含むものであってもよい。識別された学習コンテンツは、コンテンツが学習者のスキルの理解を補強する上で価値があるものであることを確実にするために、少なくともＸ閾値重み（例えば図１Ｂのスキル要素重み１７６による）、及び／又はＹ閾値強度（例えば図１Ｂのスキル要素強度１７８による）を有するコンテンツを含むものであってもよい。いくつかの実施形態においては、学習者がスキルに関連する全ての関連コンテンツを閲覧した場合、学習コンテンツは、学習者がしばらくエンゲージしていないコンテンツ、及び／又は学習者がエンゲージメントの間にあまり成功しなかったコンテンツ（例えば閾値スコア未満のスキル評価）であってもよい。
【0064】
いくつかの実装においては、弱みが識別されたか否かにかかわらず（４０６）、この時点において追加的なスキルが考慮されているか否かが決定される（４０２）。追加的なスキルは、例えば、多次元のスキル階層内の関連するスキルであってもよい。別の例においては、追加的なスキルは、現時点で学習者が注目している他のスキルであってもよい。追加的なスキルがある場合、方法４００は、いくつかの実施形態においては、各追加的なスキルについて動作４０４～動作４０８を繰り返す。
【0065】
全てのスキルが評価されると（４１０）、いくつかの実施形態においては、動作４０８において新たなコンテンツが識別された場合（４１２）、識別された新たなコンテンツの少なくとも一部が、ｅラーニングプラットフォームを介した学習者への提示のために編成される（４１８）。識別された新たなコンテンツは、いくつかの例においては、学習者への予期される影響（例えばコンテンツに関連するスキルの強度及び／又は重みに基づく）、学習者にとっての新しさ（例えば学習者によって既にエンゲージされている類似のタイプの学習リソース／リソース要素とは対照的に）、及び／又は学習者による閲覧の最近さ（例えば学習者が特定のスキルに関連する全てのコンテンツに既にエンゲージしている場合）によって、ランク付け及び／又は並べ替えられてもよい。生徒インタラクションデータ１９０は、例えば、インタラクションの最近さ、学習者が過去にエンゲージしたコンテンツのタイプ、及びスキルの習得を向上するためにユーザに提供すべき最適なコンテンツの決定に適用可能な他のメトリクスについて、評価されてもよい。
【0066】
代わりに、学習者が対象のスキルのエリアを既に習得しているために、新たなコンテンツが識別されなかった場合（４１２）、いくつかの実装においては、学習者についての他の履歴的な習得査定がアクセスされ（４１４）、他のスキルエリアにおける弱みに基づいて新たなコンテンツが識別される（４１６）。この分析は、例えば、ステップ４０８に関連して説明された分析と同様のものであってもよい。他のスキルエリアは、いくつかの例においては、学習基準内の次のスキルエリア、対象のスキルに対して高等の若しくは対象スキルの上に構築される１つ以上のスキル、又は多次元のスキル階層内の対象のスキルに関連するスキルを表すものであってもよい。新たなコンテンツは、同様に、学習者への提示のために編成されてもよい（４１８）。
【0067】
特定の一連の動作として図示されているが、いくつかの実施形態においては、方法４００の動作は異なる順序で実行され、及び／又は方法３００の動作のうちの１つ以上が並行して実行される。例えば、動作４０６と動作４０８とが、１つ以上のスキルのうちの各スキルについて並行して実行されてもよい。いくつかの実施形態においては、方法４００は、より多い又はより少ない動作を含む。本開示の範囲及び趣旨に留まりながら、方法３００の他の修正も可能である。
【0068】
いくつかの実施形態においては、査定ＧＵＩエンジン１０８ｂは、学習者の集団に関連するデータを表す習得査定を提示するように構成される。かかる査定は、インストラクタ１５４及び／又は学習監督者１５６に提示されてもよい。いくつかの例においては、特定の教室、特定の学校の学年、特定の学区の学年、早期学習施設の未就学児のグループ、又はその他の集団が、時間の経過に伴う進展について追跡されてもよい。
【0069】
図５Ｂに目を向けると、スキル習熟フローグラフ例５２０のスクリーンショットは、例えば、０％の習得から１００％の習得までのスケール５２２で測定された習得査定を示し、学習者集団の習得査定は、習得の四分位５２４ａ～ｄにグループ化されている。習得１５４の四分位は、図示されるように、「スキル習熟に遠く及ばない」レベル５２４ａ、「スキル習熟に及ばない」レベル５２４ｃ、「スキル習熟に近づいている」レベル５２４ｂ、及び「スキルに習熟している」レベル５２４ａに分けられている。Ｘ軸上の査定点５２６は、「３回のエンゲージメントイベント後」５２６ａ、「５回のエンゲージメントイベント後」５２６ｂ、及び「１０回のエンゲージメントイベント後」５２６ｃとして識別される。エンゲージメントイベントは、例えば、スキル評価１８６に帰着する学習リソース１７０／リソース要素１７２とのインタラクションとしてみなされ得る。
【0070】
グラフ５２０に示されるように、スキルの習得の変化は、母集団の各学習者について追跡され、ここでスキルの習熟は、査定点の各対（点５２６ａと点５２６ｂと、点５２６ｂと点５２６ｃと）の間で、母集団のメンバーの間で、向上している、実質的に同じままである、及び／又は低下しているものとして実証されている。学習者が追加的な学習リソース１７０／リソース要素１７２とインタラクトすると、例えば、困難度レベルが上昇して、スキル全般への追加的な曝露にもかかわらず知覚されるスキルの習熟の低下に導き得る。しかしながら、全体としては、後の各査定点５２６ｂ及び５２６ｃについて、「スキル習熟に遠く及ばない」レベル５２４ｄにある学習者の相対的な割合は低下し、「スキルに習熟している」レベル５２４ａにある学習者の相対的な割合は増大する。
【0071】
いくつかの実装においては、グラフ５２０はインタラクティブなグラフであり、閲覧者がドリルダウンすること又は生徒の動きに関する追加的な情報を取得することを可能にする。例えば、グラフ５２０の閲覧は、グラフ５２０上の点にポインタを重ねることによって、レベル（例えば５２４ａ～ｄ）を維持している生徒、レベルが向上している生徒、又はレベルが低下している生徒の数を閲覧することを可能にされてもよい。
【0072】
本開示の実装による方法及びシステムを表す図に対して、参照がなされてきた。それらの態様は、コンピュータプログラム命令によって実装されてもよい。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊用途コンピュータ、又はその他のプログラマブルデータ処理装置、及び／又は処理回路を有する分散処理システムのプロセッサに提供されてもよく、それにより、コンピュータ又はその他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、図示において規定される機能／動作を実装するための手段を形成するようにする。
【0073】
本明細書で説明される様々な機能及び／又はアルゴリズムを実装するために、１つ以上のプロセッサが利用されてもよい。これに加えて、本明細書で説明される任意の機能及び／又はアルゴリズムは、１つ以上の仮想プロセッサ上で実行されてもよい。仮想プロセッサは、例えば、コンピュータファーム又はクラウドドライブ等の１つ以上の物理的なコンピューティングシステムの一部であってもよい。
【0074】
本開示の態様は、処理回路を介した実行のための機械可読命令又はコマンドを含むソフトウェア論理によって実装されてもよい。ソフトウェア論理は、いくつかの例においては、機械可読コード、ソフトウェアコード、又はプログラミング命令とも呼ばれ得る。ソフトウェア論理は、特定の実施形態においては、ランタイム実行可能コマンドでコード化され、かつ／又は機械実行可能プログラム又はファイルとしてコンパイルされてもよい。ソフトウェア論理は、様々なコーディング言語又はフォーマットでプログラムされてもよく、かつ／又は様々なコード化言語又はフォーマットにコンパイルされてもよい。
【0075】
本開示の態様は、ハードウェア論理によって実装されてもよく（ここでハードウェア論理は当然に、任意の必要な信号配線及びメモリ要素等も含む）、かかるハードウェア論理は、初期のシステム構成及び任意の後続するシステム再構成（例えば異なるオブジェクトスキーマ次元についてのもの）以降は、積極的なソフトウェアの関与なしで動作することが可能である。ハードウェア論理は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の再プログラム可能なコンピューティングチップ又はその他の再構成可能な論理デバイス上で合成されてもよい。これに加えて、ハードウェア論理は、特定用途向け集積回路（ＡＳＩＣ）等のカスタムマイクロチップ上にハードコード化されてもよい。他の実施形態においては、メモリデバイス、オンチップ集積メモリユニット、又はその他の非一時的なコンピュータ可読記憶装置等の非一時的なコンピュータ可読媒体への命令として記憶されたソフトウェアが、本明細書で説明された機能の少なくとも一部を実行するために使用されてもよい。
【0076】
本明細書に開示される実施形態の様々な態様は、ラップトップコンピュータ、タブレットコンピュータ、携帯電話若しくはその他のハンドヘルドコンピューティングデバイス、又は１つ以上のサーバ等の、１つ以上のコンピューティングデバイス上で実行される。かかるコンピューティングデバイスは、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又はプログラマブル論理デバイス（ＰＬＤ）等の、１つ以上のプロセッサ又は論理チップ上に実施化された処理回路を含む。更に、処理回路は、以上に説明された本発明のプロセスの命令を実行するために同時に（例えば並列に）協働して動作する、複数のプロセッサとして実装されてもよい。
【0077】
本明細書で導出された様々な方法及びアルゴリズムを実行するために使用されるプロセスデータ及び命令は、非一時的（すなわち不揮発性）コンピュータ可読媒体又はメモリに記憶されてもよい。特許請求される進展は、本発明のプロセスの命令が記憶されるコンピュータ可読媒体の形態によって制限されるものではない。例えば、命令は、ＣＤ、ＤＶＤ、ＦＬＡＳＨメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、又はコンピューティングデバイスが通信するサーバ若しくはコンピュータ等の他の情報処理デバイスに記憶されてもよい。処理回路及び記憶された命令は、いくつかの例においては、コンピューティングデバイスが、図２Ａの方法２００、図３Ａの方法３００、図３Ｂのプロセス３２０、及び／又は図４の方法４００を実行することを可能にしてもよい。
【0078】
これらのコンピュータプログラム命令は、コンピュータ可読媒体に記憶された命令が、図示されたプロセスフローにおいて規定された機能／動作を実装する命令手段を含む製品をもたらすように、コンピューティングデバイス又はその他のプログラム可能なデータ処理装置が特定の態様で機能するように指示してもよい。
【0079】
本明細書の実施形態は、ネットワーク通信に依存する。理解され得るように、ネットワークは、インターネット等のパブリックネットワーク、又はローカルエリアネットワーク（ＬＡＮ）若しくはワイドエリアネットワーク（ＷＡＮ）のネットワーク等のプライベートネットワーク、又はそれらの任意の組み合わせであってもよく、ＰＳＴＮ又はＩＳＤＮサブネットワークを含んでもよい。ネットワークはまた、Ｅｔｈｅｒｎｅｔネットワーク等のように有線であってもよく、及び／又は、ＥＤＧＥ、３Ｇ、４Ｇ、及び５Ｇ無線セルラシステムを含むセルラネットワーク等のように無線であってもよい。無線ネットワークは、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、又はその他の無線形態の通信を含んでもよい。ネットワークは、例えば、図１Ａに示されるように、電子学習プラットフォーム１０２とコンピューティングデバイス１０６ａとの間、及び／又は、図１Ｂに示されるように、生徒１５２、インストラクタ１５４、及び／又は学習監督者１５６と電子学習プラットフォーム１０２との間の通信をサポートしてもよい。
【0080】
コンピューティングデバイスは、いくつかの実施形態においては、内蔵ディスプレイ又はＬＣＤモニタ等のディスプレイとインタフェース接続するためのディスプレイコントローラを更に含む。コンピューティングデバイスの汎用Ｉ／Ｏインタフェースは、キーボード、手動操作型の動き追跡されるＩ／Ｏデバイス（例えばマウス、バーチャルリアリティグラブ、トラックボール、ジョイスティック等）、及び／又はディスプレイ上の又はディスプレイとは別のタッチスクリーンパネル又はタッチパッドと、インタフェース接続してもよい。ディスプレイコントローラ及びディスプレイは、いくつかの例においては、図５Ａ及び図５Ｂに示されるスクリーンショットの提示を可能にしてもよい。
【0081】
更に、本開示は、本明細書で説明される特定の回路要素に限定されるものではなく、また本開示は、これらの要素の特定のサイズ決定及び分類に限定されるものでもない。例えば、当業者は、本明細書で説明される回路が、電池のサイズ決定及び化学的性質の変更に基づいて、又は電力供給される意図されたバックアップ負荷の要件に基づいて、適合されてもよいことを理解するであろう。
【0082】
本明細書で説明される機能及び特徴は、システムの様々な分散させられたコンポーネントによって実行されてもよい。例えば、１つ以上のプロセッサが、これらのシステム機能を実行してもよく、このときプロセッサは、ネットワークで通信する複数のコンポーネントに分散させられる。分散させられるコンポーネントは、様々なヒューマンインタフェース及び通信デバイス（例えばディスプレイモニタ、スマートフォン、タブレット、パーソナルデジタルアシスタント（ＰＤＡ））に加えて、処理を共有し得る１つ以上のクライアント及びサーバマシンを含んでもよい。ネットワークは、ＬＡＮ又はＷＡＮ等のプライベートネットワークであってもよいし、又はインターネット等のパブリックネットワークであってもよい。システムに対する入力は、いくつかの例においては、直接ユーザ入力を介して受信されてもよく、及び／又はリアルタイムで又はバッチプロセスとしてリモートに受信されてもよい。
【0083】
本明細書で説明される方法及び論理フローは、文脈のために提供されたが、他の実装形態においては、説明されるものと同一ではないモジュール又はハードウェア上で実行されてもよい。したがって、他の実装も特許請求され得る範囲内のものである。
【0084】
いくつかの実装形態においては、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍ（商標）又はＡｍａｚｏｎ（商標）ウェブサービス（ＡＷＳ（商標））等のクラウドコンピューティング環境を使用して、以上に詳述された方法又はアルゴリズムの少なくとも一部を実行してもよい。本明細書で説明される方法に関連付けられたプロセスは、データセンタの計算プロセッサ上で実行されてもよい。データセンタはまた、例えば、データを受信し、対応する情報を出力するために、本明細書で説明されるシステムとのインタフェースとして使用され得る、アプリケーションプロセッサを含んでもよい。クラウドコンピューティング環境は、１つ以上のデータベース又はクラウドストレージ及びクエリデータベース等の他のデータストレージを含んでもよい。いくつかの実装形態においては、Ｇｏｏｇｌｅ（商標）クラウドストレージ又はＡｍａｚｏｎ（商標）Ｅｌａｓｔｉｃ Ｆｉｌｅ Ｓｙｓｔｅｍ（ＥＦＳ（商標））等のクラウドストレージデータベースは、本明細書で説明されるシステムによって供給される処理済みデータ及び未処理のデータを記憶してもよい。例えば、図１Ａのデータ記憶部１０４のコンテンツ、図１Ｂのｅリソースデータ記憶部１５８及び／又はユーザデータ記憶部１６０のコンテンツ、及び／又は図３Ｂの履歴的なインタラクションデータ３２２、スキル階層１７４、タグ付けされた学習リソース要素３２４、及び／又は習得査定パラメータ１８０のコンテンツが、データベース構造において維持されてもよい。
【0085】
本明細書で説明されるシステムは、セキュアなゲートウェイを通してクラウドコンピューティング環境と通信してもよい。いくつかの実装においては、セキュアなゲートウェイは、Ｇｏｏｇｌｅ ＢｉｇＱｕｅｒｙ（商標）プラットフォーム又はＡｍａｚｏｎ ＲＤＳ（商標）等のデータベースクエリインターフェースを含む。データクエリインタフェースは、例えば、ｅリソースデータ１５８及び／又はユーザデータ１６０への、ｅラーニングプラットフォーム１０２によるアクセスをサポートしてもよい。別の例においては、データクエリインタフェースは、図３Ｂに示されるような、履歴的なインタラクションデータ３２２、タグ付けされた学習リソース要素３２４、スキル階層１７４、生徒インタラクションデータ１９０、及び／又は習得査定パラメータ１８０への、評価予測エンジン１６２によるアクセスをサポートしてもよい。
【0086】
特定の実施形態が説明されたが、これらの実施形態は、単に例として提示されたものであり、本開示の範囲を限定することを意図されたものではない。実際、本明細書で説明される新規な方法、装置、及びシステムは、他の様々な形態で実施化され得るものであり、更に、本開示の趣旨から逸脱することなく、本明細書で説明された方法、装置及びシステムの形態における様々な省略、置換及び変更がなされ得る。添付の特許請求の範囲及びその均等物は、本開示の範囲及び趣旨に含まれるような形態又は修正をカバーすることを意図されている。
【図1A】
【図1B】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【手続補正書】
【提出日】2023-11-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
自動化されたスキル習得査定を実施するためのシステムであって、前記システムは、少なくとも１つの不揮発性コンピュータ可読媒体に記憶されたデータアーキテクチャであって、前記データアーキテクチャは、
複数の電子学習リソースと、
複数のスキルファミリーを含むスキル階層に配置された複数のスキルであって、各スキルファミリーは、それぞれの前記スキルファミリーに属する前記複数のスキルのうちのスキルのそれぞれのセット間の子孫と祖先の関係を含む、複数のスキルと、
スキル‐リソース関係の複数の論理的指標であって、前記複数の論理的指標の各論理的指標は、前記複数の電子学習リソースのうちの所与のリソースと前記複数のスキルのうちの所与のスキルとの間の接続を定義する、スキル‐リソース関係の複数の論理的指標と、を含み、
前記複数の電子学習リソースのうちのそれぞれの電子学習リソースは、前記複数の論理的指標のうちの少なくとも１つを介して、前記複数のスキルのうちの少なくとも１つのスキルに接続され、前記複数の論理的指標のうちの少なくとも一部の各論理的指標は、それぞれの前記電子学習リソースとのインタラクションが持つそれぞれの前記スキルにおける習得の証拠の相対的な強度を表す重みを示し、
前記複数の電子学習リソースのうちの少なくとも一部は各々、前記複数の論理的指標のうちの２つ以上の論理的指標のそれぞれを介して、２つ以上のスキルに接続され、前記２つ以上の論理的指標のそれぞれの各論理的指標は、それぞれの前記電子学習リソース内のそれぞれの前記スキルのプレゼンテーションの相対的な強度を表す強度を示す、データアーキテクチャと、
処理回路上で実行するためのソフトウェア論理及び／又は動作を実行するように構成されたハードウェア論理と、を含み、前記動作は、
複数の習得査定を生成するために、電子学習プラットフォームを介した、前記複数の電子学習リソースへの複数の学習者のエンゲージメントを査定することであって、
前記複数の習得査定のうちの各習得査定は、前記複数の学習者のそれぞれの学習者と、前記複数のスキルファミリーのうちの所与のスキルファミリーの１つ以上のスキルとに対応し、
各習得査定を生成することは、習得査定パラメータのセットを少なくとも１つの習得査定アルゴリズムに適用することを含み、前記少なくとも１つの習得査定アルゴリズムは、前記複数の論理的指標のうちの論理的指標のセットによってそれぞれの前記１つ以上のスキルにリンクされた学習リソースのセットとのそれぞれの前記学習者のインタラクションに基づいて、スキルレベルを算出するように構成され、
前記習得査定パラメータのうちの少なくとも一部は、それぞれの前記習得査定を算出する際に、前記論理指標のそれぞれのセットの前記強度及び／又は重みを適用することに対応する、査定することと、
前記複数の電子学習リソースへの前記複数の学習者の前記エンゲージメントを通して導出される履歴的なインタラクションデータと、前記複数の電子学習リソースへの前記複数の学習者の前記エンゲージメントの一部を通して導出された履歴的な評価メトリクスとを使用して、前記複数のスキルファミリーのうちの所与のスキルファミリーに関連した学習リソースの集合との前記複数の学習者の各学習者のインタラクションの時系列を分析することにより、学習リソースのエンゲージメントの評価結果を予想するように、少なくとも１つの機械学習アルゴリズムをトレーニングすることであって、
前記少なくとも１つの機械学習アルゴリズムのうちの第１の機械学習アルゴリズムは、回帰ベースのモデルであり、
前記第１の機械学習アルゴリズムは、スキルの衰え、学習の付与、習得の初期レベル、又は習得を獲得する困難度のうちの１つ以上を示すエンゲージメントパターン及びエンゲージメントタイミングに少なくとも部分的に基づいて、前記評価結果を予想するようにトレーニングされる、トレーニングすることと、
前記少なくとも１つの機械学習アルゴリズムを、前記複数の電子学習リソースのうちの１つ以上の学習リソースとの学習者のセットのユーザインタラクションの履歴的な時系列のセットに適用して、前記履歴的な学習者のインタラクションに対応する予測された評価結果を生成することと、
前記予測された評価結果を前記学習者のセットに関する実際の評価結果と比較することと、
前記予測された評価結果と、前記実際の評価結果との間の１つ以上の相違に基づいて、前記習得査定パラメータのセットのうちの少なくとも１つのパラメータを精密化することと、を含む、システム。
【請求項2】
前記複数の電子学習リソースは、前記複数の電子学習リソースのうちの少なくとも一部の各電子学習リソースについて、２つ以上の対応する学習リソース要素を含み、前記エンゲージメントを査定することは、所与の学習リソースのうちの各学習リソース要素に対応する前記エンゲージメントを個別に査定することを含む、請求項１に記載のシステム。
【請求項3】
前記習得査定パラメータのセットは、習得査定パラメータの複数のセットのうちの１つであり、前記習得査定パラメータの複数のセットのうちの各セットは、複数の学習者グループのうちの異なる学習者グループに対応し、前記複数の学習者の前記エンゲージメントを査定することは、所与の学習者に適用可能な前記複数の学習者グループのうちのある学習者グループを決定することを含む、請求項１に記載のシステム。
【請求項4】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数の学習者グループのうちの選択された学習者グループの学習者のセットに対応する前記履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項３に記載のシステム。
【請求項5】
前記スキル階層は、複数のスキル階層のうちの１つであり、各スキル階層は、複数の学習モデルのうちの異なる学習モデルに対応する、請求項４に記載のシステム。
【請求項6】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数のスキル階層のうちの選択されたスキル階層に関連付けられた前記複数の学習者のうちの学習者グループに対応する前記履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項５に記載のシステム。
【請求項7】
前記複数の論理的指標は、データベースのレコード間の複数の論理的リンクを含む、請求項１に記載のシステム。
【請求項8】
前記複数の電子学習リソースは、複数の質問、複数のビデオ、及び複数のゲームを含む、請求項１に記載のシステム。
【請求項9】
前記エンゲージメントは、テキストエンゲージメント、口頭エンゲージメント、又はジェスチャエンゲージメントのうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項10】
前記エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記所与の学習リソースとのエンゲージメントの間に受け取られた学習者の入力を評価して、望ましい／望ましくないインタラクション及び／又は正しい／正しくない応答を識別することを含む、請求項１に記載のシステム。
【請求項11】
前記エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記電子学習プラットフォームへの複数の入力を査定して、前記所与の学習リソースのエンゲージメントの完了部分を決定することを含む、請求項１に記載のシステム。
【請求項12】
前記エンゲージメントを査定することは、所与の学習者及び所与の学習リソースについて、前記所与の学習リソースへの完了していない又は終了していないエンゲージメントに基づいて、前記所与の学習者に適用するべき部分スコア又は部分クレジットを決定することを含む、請求項１に記載のシステム。
【請求項13】
所与の習得査定を生成することは、前記複数の電子学習リソースのうちの対応する電子学習リソースの困難度レベルに関連付けられた重み付けを適用することを含む、請求項１に記載のシステム。
【請求項14】
前記習得査定パラメータのセットは、前記重み付けを含む、請求項１３に記載のシステム。
【請求項15】
前記習得査定のうちの少なくとも一部の各習得査定は、対象のスキル及び前記対象のスキルのスキルファミリー内の祖先スキルを含む知識の査定を表す、請求項１に記載のシステム。
【請求項16】
所与の習得査定を生成することは、前記学習者の現在のスキルの習得のレベルを前記習得査定が正確に捕捉していることの相対的な信頼度を表す信頼値を算出することを含む、請求項１に記載のシステム。
【請求項17】
前記第１の機械学習アルゴリズムは、指数関数的に重み付けされた移動線形回帰である、請求項１に記載のシステム。
【請求項18】
前記動作は、少なくとも１人の学習者に対応する前記複数の習得査定のうちの習得査定の進展を表すグラフィカルインタフェースを、コンピューティングデバイスにおけるユーザへの提示のために準備することを含む、請求項１に記載のシステム。
【請求項19】
前記動作は、所与の学習者に対応する習得査定のセットに基づいて、前記複数のスキルのうちの前記少なくとも１つのスキルの習得を強化するために、前記複数の電子学習リソースのうちの前記１つ以上の電子学習リソースを選択することを含む、請求項１に記載のシステム。
【請求項20】
自動化されたスキル習得査定を実施するための方法であって、前記方法は、処理回路によって、複数の習得査定を生成するために、電子学習プラットフォームを介した、複数の電子学習リソースへの複数の学習者のエンゲージメントを査定することであって、
前記複数の電子学習リソースが、複数のスキルファミリーを含むスキル階層に論理的に配置された複数のスキルに関連したコンテンツを提示するように構成され、
前記複数の習得査定のうちの各習得査定が、前記複数の学習者のそれぞれの学習者と、複数のスキルファミリーのうちの所与のスキルファミリーの１つ以上のスキルとに対応し、
それぞれのスキルファミリーは、それぞれの前記ファミリーに属する前記複数のスキルのうちのスキルのセット間の子孫と祖先の関係を含み、
前記複数のスキルは、スキル‐リソース関係の複数の論理的指標を介して前記複数の電子学習リソースに接続され、前記複数の論理的指標の各論理的指標は、前記複数の電子学習リソースのうちの所与のリソースと前記複数のスキルのうちの所与のスキルとの間の接続を定義し、
前記複数の電子学習リソースのうちのそれぞれの電子学習リソースは、前記複数の論理的指標のうちの少なくとも１つを介して、前記複数のスキルのうちの少なくとも１つのスキルに接続され、前記複数の論理的指標のうちの少なくとも一部の各論理的指標は、それぞれの前記電子学習リソースとのインタラクションが持つそれぞれの前記スキルにおける習得の証拠の相対的な強度を表す重みを示し、
前記複数の電子学習リソースのうちの少なくとも一部は各々、前記複数の論理的指標の２つ以上論理的指標のそれぞれを介して、２つ以上のスキルに接続され、前記２つ以上の論理的指標のそれぞれの各論理的指標は、それぞれの前記電子学習リソース内のそれぞれの前記スキルのプレゼンテーションの相対的な強度を表す強度を示し、
各習得査定を生成することは、習得査定パラメータのセットを少なくとも１つの習得査定アルゴリズムに適用することを含み、前記少なくとも１つの習得査定アルゴリズムは、前記複数の論理的指標のうちの論理的指標のセットによってそれぞれの前記１つ以上のスキルにリンクされた学習リソースのセットとのそれぞれの前記学習者のインタラクションに基づいて、スキルレベルを算出するように構成され、
前記習得査定パラメータのうちの少なくとも一部は、それぞれの前記習得査定を算出する際に、前記論理指標のそれぞれのセットの強度及び／又は重みを適用することに対応する、査定することと、
前記複数の電子学習リソースへの前記複数の学習者の前記エンゲージメントを通して導出される履歴的なインタラクションデータと、前記複数の電子学習リソースへの前記複数の学習者の前記エンゲージメントの一部を通して導出された履歴的な評価メトリクスとを使用して、前記処理回路によって、前記複数のスキルファミリーのうちの所与のスキルファミリーに関連した学習リソースの集合との前記複数の学習者の各学習者のインタラクションの時系列を分析することにより、学習リソースのエンゲージメントの評価結果を予想するように、少なくとも１つの機械学習アルゴリズムをトレーニングすることであって、
前記少なくとも１つの機械学習アルゴリズムのうちの第１の機械学習アルゴリズムは、回帰ベースのモデルであり、
前記第１の機械学習アルゴリズムは、スキルの衰え、学習の付与、習得の初期レベル、又は習得を獲得する困難度のうちの１つ以上を示すエンゲージメントパターン及びエンゲージメントタイミングに少なくとも部分的に基づいて、前記評価結果を予想するようにトレーニングされる、トレーニングすることと、
前記処理回路によって、前記少なくとも１つの機械学習アルゴリズムを、前記複数の電子学習リソースのうちの１つ以上の電子学習リソースとの学習者のセットの履歴的なユーザインタラクションのセットに適用して、前記履歴的な学習者インタラクションに対応する予測された評価結果を生成することと、
前記処理回路によって、前記予測された評価結果を前記学習者のセットに関する実際の評価結果と比較することと、
前記予測された評価結果と、前記実際の評価結果との間の１つ以上の相違に基づいて、前記処理回路によって、前記習得査定パラメータのセットのうちの少なくとも１つのパラメータを精密化することと、を含む、方法。
【請求項21】
前記複数の電子学習リソースは、前記複数の電子学習リソースのうちの少なくとも一部の各電子学習リソースについて、２つ以上の対応する学習リソース要素を含み、前記エンゲージメントを査定することは、所与の学習リソースのうちの各学習リソース要素に対応する前記エンゲージメントを個別に査定することを含む、請求項２０に記載の方法。
【請求項22】
前記習得査定パラメータのセットが、習得査定パラメータの複数のセットのうちの１つであり、前記習得査定パラメータ複数のセットのうちの各セットは、複数の学習者グループのうちの異なる学習者グループに対応し、前記複数の学習者の前記エンゲージメントを査定することは、所与の学習者に適用可能な前記複数の学習者グループのうちのある学習者グループを決定することを含む、請求項２０に記載の方法。
【請求項23】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数の学習者グループのうちの選択された学習者グループの学習者セットに対応する前記履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項２２に記載の方法。
【請求項24】
前記スキル階層は、複数のスキル階層のうちの１つであり、各スキル階層は、複数の学習モデルのうちの異なる学習モデルに対応する、請求項２０に記載の方法。
【請求項25】
前記少なくとも１つの機械学習アルゴリズムをトレーニングすることは、前記複数のスキル階層のうちの選択されたスキル階層に関連付けられた前記複数の学習者のうちの学習者グループに対応する前記履歴的なインタラクションデータを使用して、前記第１の機械学習アルゴリズムをトレーニングすることを含む、請求項２４に記載の方法。
【請求項26】
前記複数の関係の論理的指標は、データベースのレコード間の複数の論理的リンクを含む、請求項２０に記載の方法。
【請求項27】
前記複数の電子学習リソースは、複数の質問、複数のビデオ、及び複数のゲームを含む、請求項２０に記載の方法。
【請求項28】
前記エンゲージメントは、テキストエンゲージメント、口頭エンゲージメント、又はジェスチャエンゲージメントのうちの少なくとも１つを含む、請求項２０に記載の方法。
【国際調査報告】