特許 6016883 認知的教育結果要素及び関連するインタラクティブ報告書概要の正規化及び累積解析

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6016883

(24)【登録日】2016年10月7日

(45)【発行日】2016年10月26日

(54)【発明の名称】認知的教育結果要素及び関連するインタラクティブ報告書概要の正規化及び累積解析

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20161013BHJP

【ＦＩ】

   G06Q50/20

【請求項の数】26

【全頁数】49

(21)【出願番号】特願2014-501228(P2014-501228)

(86)(22)【出願日】2012年3月22日

(65)【公表番号】特表2014-512040(P2014-512040A)

(43)【公表日】2014年5月19日

(86)【国際出願番号】US2012030037

(87)【国際公開番号】WO2012129361

(87)【国際公開日】20120927

【審査請求日】2015年3月20日

(31)【優先権主張番号】61/466,207

(32)【優先日】2011年3月22日

(33)【優先権主張国】US

(31)【優先権主張番号】13/425,627

(32)【優先日】2012年3月21日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】505134268

【氏名又は名称】イースト カロライナ ユニバーシティ

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100096769

【弁理士】

【氏名又は名称】有原 幸一

(74)【代理人】

【識別番号】100107319

【弁理士】

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100114591

【弁理士】

【氏名又は名称】河村 英文

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100154298

【弁理士】

【氏名又は名称】角田 恭子

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100170379

【弁理士】

【氏名又は名称】徳本 浩一

(74)【代理人】

【識別番号】100161001

【弁理士】

【氏名又は名称】渡辺 篤司

(74)【代理人】

【識別番号】100179154

【弁理士】

【氏名又は名称】児玉 真衣

(74)【代理人】

【識別番号】100180231

【弁理士】

【氏名又は名称】水島 亜希子

(74)【代理人】

【識別番号】100184424

【弁理士】

【氏名又は名称】増屋 徹

(72)【発明者】

【氏名】ワトキンズ，ロバート・トッド，ジュニア

【審査官】 貝塚 涼

(56)【参考文献】

【文献】 特開平１１−２９６０６１（ＪＰ，Ａ）

【文献】 特開２００５−１５７６２１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０３１６９８６（ＵＳ，Ａ１）

【文献】 特開２００８−３１０７８７（ＪＰ，Ａ）

【文献】 特開２００５−２４１８８９（ＪＰ，Ａ）

【文献】 特開平０３−２９６０８６（ＪＰ，Ａ）

【文献】 特開２００５−２２１８９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

生徒のコンピテンシを評価するためのデータを提供する方法であって、
少なくとも１つのコンピュータプロセッサを使用して、少なくとも１人の生徒に関し、複数の異なるマイクロコンピテンシと、該複数の異なるマイクロコンピテンシのうちの対応するマイクロコンピテンシに関連付けられ、少なくとも１つの教授イベント、少なくとも１つの経験イベント、及び少なくとも１つの議論イベントに対応する複数のスコアと、を含む評価グリッドを生成するステップと、
各生徒に相関付けられた異なる教授イベント、経験イベント、及び議論イベントの相対教育値ユニット（ＲＶＵ）スコアを時間の経過に伴って累積するステップと、
該累積されたＲＶＵスコアに基づいて前記評価グリッドを更新するステップと、
を含む、方法。

【請求項2】

前記複数の異なるマイクロコンピテンシのうちの対応するマイクロコンピテンシの、前記複数のスコアのうちのスコアは、相対教育値ユニット（ＲＶＵ）スコアであり、
各スコアの生成に使用される前記少なくとも１つの教授イベント、前記少なくとも１つの経験イベント、及び前記少なくとも１つの議論イベントのそれぞれは、前記複数の異なるマイクロコンピテンシのうちのマイクロコンピテンシとＲＶＵスコアとに対応するトピックコードを識別するメタデータコードが関連付けられ、
前記評価グリッドを生成するステップは、前記メタデータコードを使用して実行される、請求項１に記載の方法。

【請求項3】

前記グリッドは、実質的に一定周期の間隔で自動的に電子的に更新される、請求項１に記載の方法。

【請求項4】

前記実質的に一定周期の間隔は、少なくとも週間隔であり、前記複数の異なるマイクロコンピテンシのうちのマイクロコンピテンシに対応する生徒スコアの変更を反映する、請求項３に記載の方法。

【請求項5】

各イベントからの前記ＲＶＵスコアは時間正規化スコアであり、
教授ＲＶＵスコア及び経験ＲＶＵスコアは、テストイベント及び経験イベントの二値特徴付けに基づく、請求項２に記載の方法。

【請求項6】

経験ＲＶＵスコアは、各経験タスクを完了するための推定時間及び困難さの事前規定される評価に基づいており、
前記経験タスクには、前記複数の異なるマイクロコンピテンシのうちのマイクロコンピテンシに対応する２つ以上のトピックコードが関連付けられる、請求項２に記載の方法。

【請求項7】

議論ＲＶＵスコアは、生徒オンライン議論を評価した後に割り当てられる、生徒のユーザ定義されるＲＶＵスコアに基づく、請求項２に記載の方法。

【請求項8】

前記グリッドはインタラクティブグリッドであり、前記方法は、ユーザが前記グリッド内のセルを選択して、各マイクロコンピテンシ及び／又は生徒の基礎サポートデータを明らかにすることができるようにするステップを更に含む、請求項１に記載の方法。

【請求項9】

定められたステータスに関連付けられた色を有する、各マイクロコンピテンシにおけるセルを有する前記グリッドを表示するステップを更に含む、請求項１に記載の方法。

【請求項10】

前記定められたステータスは、複数の他の生徒の間での生徒の、該生徒を含む複数の生徒の中での相対成績に対応する、請求項９に記載の方法。

【請求項11】

前記相対成績は、前記複数の生徒のＲＶＵスコアの標準偏差に基づいており、各マイクロコンピテンシにおける前記グリッド内のセルは、統計的に定められる最小値未満として識別されるスコアに対応する第１の色、統計的に定められる最小値を超え、かつ統計的に定められる優秀閾値未満のスコアに対応する第２の色、及び統計的に定められる優秀閾値を超えるスコアに対応する第３の色を使用して表示される、請求項１０に記載の方法。

【請求項12】

各マイクロコンピテンシにおける前記グリッド内のセルは、前記統計的に定められる最小値を除く非統計的に定められる最小値未満として識別されるスコアに対応する前記第１の色を使用して表示される、請求項１１に記載の方法。

【請求項13】

各マイクロコンピテンシにおける前記グリッド内のセルは、前記統計的に定められる優秀閾値を除く非統計的に定められる優秀閾値を超えるスコアに対応する前記第３の色を使用して表示される、請求項１１に記載の方法。

【請求項14】

トピックでの生徒のコンピテンシを評価するためのデータを提供する方法であって、
時間の経過に伴う、教授環境、経験環境、及び議論環境からの生徒識別子に相関付けられる複数の異なるマイクロコンピテンシの複数のメタデータコードのうちの関連付けられたメタデータコードを電子的に識別することにより、規定される異なるマイクロコンピテンシの相対教育値ユニット（ＲＶＵ）スコアを取得するステップと、
該取得されたＲＶＵスコアをサポート報告書に関連付けて記憶するステップと、
を含み、
前記ＲＶＵスコアを取得するステップ及び前記ＲＶＵスコアを記憶するステップのうちの少なくとも一方は、少なくとも１つのプロセッサを使用して実行される、方法。

【請求項15】

前記ＲＶＵスコアに基づいて累積解析グリッドを生成するステップを更に含む、請求項１４に記載の方法。

【請求項16】

前記累積解析グリッドを生成するステップは、
前記複数の異なるマイクロコンピテンシのうちのそれぞれについて、前記教授環境、前記経験環境、及び前記議論環境のそれぞれからのＲＶＵスコアを数学的に合算するステップと、
続けて取得される各生徒の累積データに基づいて前記累積解析グリッドを更新するステップと、
を含む、請求項１５に記載の方法。

【請求項17】

教授ＲＶＵスコアは、テストイベントの二値特徴付けに基づいており、
経験ＲＶＵスコアは、経験イベントの二値特徴付けに基づく、請求項１４に記載の方法。

【請求項18】

前記相対教育値ユニット（ＲＶＵ）スコアを取得するステップは、
各教授イベントに対応する試験データファイルを受信するステップを含み、該試験データファイルは、一意の生徒識別子、テスト項目識別子、テスト項目に対応するマイクロコンピテンシコード、及び二値回答選択値を含む、請求項１４に記載の方法。

【請求項19】

プログラム識別子、試験日、及びコース識別子のうちの少なくとも１つを含むように、受信された試験データファイルを変更するステップと、
該変更された試験データファイルを記憶するステップと、
を更に含む、請求項１８に記載の方法。

【請求項20】

前記変更された試験データファイルのコンテンツを前記試験データファイルのコンテンツと比較することにより、前記変更された試験データファイルをプログラム的に確認するステップを更に含む、請求項１９に記載の方法。

【請求項21】

ユーザによる確認のために、前記試験データファイルのコンテンツを表示するステップを更に含む、請求項１９に記載の方法。

【請求項22】

コミットメント入力を受信するステップと、
前記コミットメント入力の受信に応答して、前記変更された試験データファイルからのデータを、マイクロコンピテンシによって相関付けられた概要データに変換するステップであって、トピックに関連付けられた結果を提供する、変換するステップと、
を更に含む、請求項１９に記載の方法。

【請求項23】

マイクロコンピテンシに相関付けられた前記概要データが承認されることを示す確認入力を受信するステップと、
前記確認入力の受信に応答して、前記概要データに対応するＲＶＵスコアを対応する生徒に関連付ける集計データを生成するステップと、
を更に含む、請求項２２に記載の方法。

【請求項24】

前記集計データが承認されることを示すコミットメント入力を受信するステップと、
前記集計データ、前記概要データ、及び／又は前記変更された試験データに対応するファイルをコミットメント済みとしてタグ付けするステップと、
前記集計データ内のＲＶＵスコアに基づいて累積解析グリッドを更新するステップと、
を更に含む、請求項２３に記載の方法。

【請求項25】

コンピテンシに基づく生徒評価を提供するコンピュータプログラムであって、
持続性コンピュータ可読記憶媒体を含み、該持続性コンピュータ可読記憶媒体は、該媒体に具現されるコンピュータ可読プログラムコードを有し、該コンピュータ可読プログラムコードは、
規定される関連付けられたマイクロコンピテンシトピックコードに関連付けられた教授テストイベントの評価及び相対教育値ユニットに基づいて、総括格付け出力を生成するコンピュータ可読プログラムコードと、
規定される関連付けられたマイクロコンピテンシトピックコードに関連付けられた経験的な個人の経験要素の評価及び相対教育値ユニットに基づいて、総括格付け出力を生成するコンピュータ可読プログラムコードと、
規定される関連付けられたマイクロコンピテンシトピックコードに関連付けられた個人の議論イベントの評価及び相対教育値ユニットに基づいて、総括格付け出力を生成するコンピュータ可読プログラムコードと、
前記総括格付け出力を使用して、累積解析生徒評価グリッドを生成するコンピュータ可読プログラムコードと、
を含み、
前記総括格付け出力を使用する前記累積解析生徒評価グリッドは、定められたステータスに関連付けられた色を有する、各マイクロコンピテンシに表示される前記グリッド内のセルを含む、コンピュータプログラム。

【請求項26】

前記定められたステータスは、複数の他の生徒の間での生徒の、該生徒を含む複数の生徒の中での相対成績に対応し、該相対成績は、前記複数の生徒の前記相対教育値ユニットの標準偏差、前記複数の他の生徒から独立して規定される非統計的に定められる最小値、及び前記複数の他の生徒から独立して規定される非統計的に定められる優秀閾値に基づく、請求項２５に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願）
この非仮特許出願は、２０１１年３月２２日に出願された「NORMALIZATION AND CUMULATIVE ANALYSIS OF COGNITIVE EDUCATIONAL OUTCOME ELEMENTS AND RELATED INTERACTIVE REPORT SUMMARIES」という名称の米国仮特許出願第６１／４６６，２０７号の優先権を主張するものであり、この仮特許出願の内容は、その全体を参照することにより本明細書の一部をなすものとする。

【0002】

（著作権保護資料）
本特許文書の開示の一部は、著作権保護対象の資料を含む。著作権所有者であるノースカロライナ州グリーンビルに所在のEast Carolina Universityは、特許商標局の特許出願又は記録に見られる通りの、いかなる人物による本特許文書又は本特許開示の複製にも異議を唱えないが、それ以外の点では何であれ、すべての著作権を留保する。

【0003】

（発明の分野）
本発明は、教育的トピック、概念、若しくは分野に関連する異なるサブトピックでの生徒のコンピテンシを評価し、及び／又は正解若しくは不正解認知的テスト結果に関連付けられたコホート要因を評価することができる教育評価システムに関する。

【背景技術】

【0004】

従来、教育及びテストシステムは、主に教授に基づくテストに基づいて生徒を評価するように設計されていた。そのような評価を自動化するために、教授トピックのカリキュラムマッピングにマイクロコンピテンシコードを使用することが提案されてきた。他は、医学部カリキュラムの或る特定の種類の教育評価にはＭｅＳＨ（医学問題表題集）コードが使用されてきた。しかし、これらのコードは、特に他の種類の入力を考慮することができるように生徒を評価する、実用的な方法をもたらさなかった。実際には、そのような従来の手法は、教授環境において提示されるトピックについて生徒を評価することができるだけである。

【0005】

多くの教育的プログラムは、知識、技能（スキル）、及び多学科にまたがる問題解決の裏付けを必要とすべきである。しかし、これらの異なる教育的結果を長期的に評価することは難しい。例えば、歯学及び医学教育、並びに他の教育分野では、高度の生徒コンピテンシが他の要因に基づくべきであり、例えば、６０％を超える生徒コンピテンシが臨床環境において測定されるべきであると考えられている。

【0006】

改良されたコンピテンシベースの評価を提供することができる代替の評価システムが未だ必要とされている。

【発明の概要】

【0007】

本発明の幾つかの実施形態は、生徒のコンピテンシを評価するためのデータを提供する方法を対象とする。このような方法は、少なくとも１人の生徒の評価グリッドを生成するステップを含むことができる。該グリッドは、複数の異なるマイクロコンピテンシと、該複数の異なるマイクロコンピテンシのうちの対応するマイクロコンピテンシに関連付けられた複数のスコアとを含むことができ、該複数のスコアは、少なくとも１つの教授イベント、少なくとも１つの経験イベント、及び少なくとも１つの議論イベントに対応する。幾つかの実施形態は、前記評価グリッドを生成するステップが、少なくとも１つのコンピュータプロセッサを使用して実行されることを提供する。

【0008】

幾つかの実施形態において、前記異なるマイクロコンピテンシのうちの対応するマイクロコンピテンシのスコアのうちのスコアは、相対教育値（ＲＶＵ）スコアであり、各スコアの生成に使用される前記少なくとも１つの教授イベント、前記少なくとも１つの経験イベント、及び前記少なくとも１つの議論イベントのそれぞれには、前記の異なるマイクロコンピテンシのうちのマイクロコンピテンシ及びＲＶＵスコアに対応するトピックコードを識別するメタデータコードが関連付けられる。幾つかの実施形態において、前記評価グリッドを生成するステップは、前記メタデータコードを使用して実行される。

【0009】

幾つかの実施形態は、各生徒に相関付けられる異なる教授イベント、経験イベント、及び議論イベントのＲＶＵスコアを時間の経過に伴って累積するステップと、該累積ＲＶＵスコアに基づいて前記評価グリッドを更新するステップと、を更に含む。幾つかの実施形態において、前記グリッドは、実質的に一定周期の間隔で更新される。幾つかの実施形態は、前記実質的に一定周期の間隔が、少なくとも週間隔であり、前記複数の異なるマイクロコンピテンシのうちのマイクロコンピテンシに対応する生徒スコアの変更を反映することを提供する。

【0010】

幾つかの実施形態において、各イベント（event：事象）からの前記ＲＶＵスコアは時間正規化スコアであり、教授ＲＶＵスコア及び経験ＲＶＵスコアは、テストイベント及び経験イベントの二値特徴付けに基づく。幾つかの実施形態は、経験環境ＲＶＵスコアが、各経験タスクを完了するための推定時間及び困難さの事前決定される評価に基づいており、前記経験タスクには、前記複数の異なるマイクロコンピテンシのうちのマイクロコンピテンシに対応する２つ以上のトピックコードが関連付けられることを提供する。

【0011】

幾つかの実施形態は、議論環境ＲＶＵスコアが、生徒オンライン議論を評価した後に割り当てられる、生徒のユーザ定義されるＲＶＵスコアに基づくことを提供する。

【0012】

幾つかの実施形態において、前記グリッドはインタラクティブグリッドである。幾つかの実施形態は、ユーザが前記グリッド内のセルを選択して、各マイクロコンピテンシ及び／又は生徒の基礎サポートデータを明らかにすることができるようにするステップを更に含む。

【0013】

幾つかの実施形態は、定められたステータスに関連付けられた色を有する、各マイクロコンピテンシにおけるセルを有する前記グリッドを表示するステップを含む。幾つかの実施形態において、前記定められたステータスは、複数の他の生徒の間での前記生徒の該生徒を含む複数の生徒の中での相対成績に対応する。幾つかの実施形態は、前記相対成績が、前記複数の生徒の前記ＲＶＵスコアの標準偏差に基づき、各マイクロコンピテンシにおける前記グリッド内のセルが、統計的に定められる最小値未満として識別されるスコアに対応する第１の色、統計的に定められる最小値を超え、かつ統計的に定められる優秀閾値未満のスコアに対応する第２の色、及び統計的に定められる優秀閾値を超えるスコアに対応する第３の色を使用して表示されることを提供する。幾つかの実施形態において、各マイクロコンピテンシにおける前記グリッド内のセルは、前記統計的に定められる最小値を除く非統計的に定められる最小値未満として識別されるスコアに対応する前記第１の色を使用して表示される。幾つかの実施形態は、各マイクロコンピテンシにおける前記グリッド内のセルが、前記統計的に定められる優秀閾値を除く非統計的に定められる優秀閾値を超えるスコアに対応する前記第３の色を使用して表示されることを提供する。

【0014】

本発明の幾つかの実施形態は、トピックでの生徒のコンピテンシを評価するためのデータを提供する方法を含む。このような方法は、時間の経過に伴う、教授環境、経験環境、及び議論環境からの生徒識別子に相関付けられる複数の異なるマイクロコンピテンシの複数のメタデータコードのうちの関連付けられたメタデータコードを電子的に識別することにより、規定される異なるマイクロコンピテンシの相対教育値ユニット（ＲＶＵ）スコアを取得するステップを含むことができる。方法はまた、該取得されたＲＶＵスコアをサポート報告書に関連付けて記憶するステップを含むことができる。

【0015】

幾つかの実施形態は、前記ＲＶＵスコアに基づいて累積解析グリッドを生成するステップを含む。幾つかの実施形態において、前記累積解析グリッドを生成するステップは、前記複数の異なるマイクロコンピテンシのうちのそれぞれについて、前記教授環境、前記経験環境、及び前記議論環境のそれぞれからのＲＶＵスコアを数学的に合算するステップと、続けて取得される各生徒の累積データに基づいて前記累積解析グリッドを更新するステップと、を含む。

【0016】

幾つかの実施形態において、教授ＲＶＵスコアは、テストイベントの二値特徴付けに基づき、経験ＲＶＵスコアは、経験イベントの二値特徴付けに基づく。

【0017】

幾つかの実施形態は、相対教育値ユニット（ＲＶＵ）スコアを取得するステップが、
各教授イベントに対応する試験データファイルを受信するステップを含み、該試験データファイルが、一意の生徒識別子、テスト項目識別子、テスト項目に対応するマイクロコンピテンシコード、及び二値回答選択値を含むことを提供する。幾つかの実施形態は、プログラム識別子、試験データ、及びコース識別子のうちの少なくとも１つを含むように、該受信された試験データファイルを変更するステップと、該変更された試験データファイルを記憶するステップと、を含む。

【0018】

幾つかの実施形態は、前記変更された試験データファイルのコンテンツを前記試験データファイルのコンテンツと比較することにより、前記変更された試験データファイルをプログラム的に確認するステップを更に含む。幾つかの実施形態は、ユーザによる確認のために、前記試験データファイルのコンテンツを表示するステップを更に含む。

【0019】

幾つかの実施形態は、コミットメント入力を受信するステップと、前記コミットメント入力の受信に応答して、前記変更された試験データファイルからのデータを、マイクロコンピテンシによって相関付けられた概要データに変換するステップであって、トピックに関連付けられた結果を提供する、変換するステップと、を更に含む。幾つかの実施形態は、マイクロコンピテンシに相関付けられた前記概要データが承認されることを示す確認入力を受信するステップと、前記確認入力の受信に応答して、前記概要データに対応するＲＶＵスコアを対応する生徒に関連付ける集計データを生成するステップと、を更に含む。幾つかの実施形態は、前記集計データが承認されることを示すコミットメント入力を受信するステップと、前記集計データ、前記概要データ、及び／又は前記変更された試験データに対応するファイルをコミットメント済みとしてタグ付けするステップと、前記集計データ内のＲＶＵスコアに基づいて累積解析グリッドを更新するステップと、を含む。

【0020】

本発明の幾つかの実施形態は、生徒の認知的コンピテンシに関連付けられた、複数の規定される教育的トピックのインタラクティブ累積グリッドを生成するように構成される１つ又は複数の回路を含む。

【0021】

本発明の幾つかの実施形態は、コンピテンシに基づく生徒評価を提供するコンピュータプログラム製品を含む。このようなコンピュータプログラム製品は持続性コンピュータ可読記憶媒体を含むことができ、該持続性コンピュータ可読記憶媒体は、該媒体に具現されるコンピュータ可読プログラムコードを有する。幾つかの実施形態において、前記コンピュータ可読プログラムコードは、規定される関連付けられたマイクロコンピテンシトピックコードに関連付けられた教授テストイベントの評価及び相対教育値ユニットに基づいて、総括格付け出力を生成するコンピュータ可読プログラムコードを含む。実施形態は、規定される関連付けられたマイクロコンピテンシトピックコードに関連付けられた経験的な個人の経験要素の評価及び相対教育値ユニットに基づいて、総括格付け出力を生成するコンピュータ可読プログラムコードと、規定される関連付けられたマイクロコンピテンシトピックコードに関連付けられた個人の議論イベントの評価及び相対教育値ユニットに基づいて、総括格付け出力を生成するコンピュータ可読プログラムコードと、を含むことができる。実施形態は、前記総括格付け出力を使用して、累積解析生徒評価グリッドを生成するコンピュータ可読プログラムコードを更に含むことができる。

【0022】

幾つかの実施形態において、前記総括格付け出力を使用する前記累積解析生徒評価グリッドは、定められたステータスに関連付けられた色を有する各マイクロコンピテンシに表示される前記グリッド内のセルを含む。幾つかの実施形態は、前記定められたステータスが複数の他の生徒の間での前記生徒の、該生徒を含む複数の生徒の中での相対成績に対応することを提供し、該相対成績は、前記複数の生徒の前記相対教育値ユニットの標準偏差、前記複数の他の生徒から独立して規定される非統計的に定められる最小値、及び前記複数の他の生徒から独立して規定される非統計的に定められる優秀閾値に基づく。

【0023】

本発明の幾つかの実施形態は、教育解析システムであって、少なくとも１つのサーバを有する少なくとも１つのウェブベースのサービスを備え、前記少なくとも１つのサーバは、教授／教師及び生徒から電子入力を受け入れて、前記ウェブベースのサービスと通信し、生徒及び生徒グループとの時限議論イベントにインタラクティブに参加するように構成され、該システムは、入力ウィンドウを提供して、教授／教師が、前記議論イベントに参加している各生徒及び各生徒グループの各議論イベントのマイクロコンピテンシコード及び相対教育値ユニットスコアを入力可能にするように構成される、教育解析システムを含む。

【0024】

幾つかの実施形態において、前記少なくとも１つのウェブベースのサービスは、メタデータコードを使用して、規定された個々の経験イベントに、前記マイクロコンピテンシコードのうちの関連付けられた１つ及び前記相対教育値ユニットのうちの少なくとも１つを関連付けるように更に構成される。

【0025】

上記考察に鑑みて当業者には理解されるように、本発明は、方法、システム、及び／又はコンピュータプログラム製品、又はこれらの組み合わせとして具現することができる。加えて、一実施形態に関して説明される本発明の態様を、異なる実施形態に関して特に説明されていない場合でも、異なる実施形態に組み込むことができることに留意する。すなわち、全ての実施形態及び／又は任意の実施形態の特徴は、任意の方法及び／又は組み合わせで組み合わせることができる。出願人は、元々はそのように請求されていないが、任意の他の請求項の任意の特徴に従属し、及び／又はそれを組み込むように、元々出願された任意の特許請求項を補正することができる権利を含め、任意の元々出願された請求項を変更し、又はそれに従って任意の新しい請求項を出願する権利を留保する。本発明のこれら及び他の目的及び／又は態様について、後述する本明細書において詳細に説明する。

【0026】

本特許又は本願は、カラーで実行される少なくとも１つの図面を含む。カラー図面を有する本特許又は本特許出願公開のコピーは、要求があり、必要な料金が支払われた上で特許商標局により提供される。

【図面の簡単な説明】

【0027】

【図1】本発明の幾つかの実施形態による評価システム／方法の概略図である。

【図2】本発明の幾つかの実施形態による、追加の解析プラットフォームを有する図１に示されるものと同様のシステム／方法の概略図である。

【図3】本発明の幾つかの実施形態による、例示的な議論イベント入力のグラフィカルユーザインタフェース内の表示画面を示すブロック図である。

【図4】本発明の幾つかの実施形態による、例示的な議論イベント入力の表示画面を示すブロック図である。

【図5】本発明の幾つかの実施形態による、議論スレッド及び関連付けられたＣＳＶファイルの一例のスクリーンショットを示す図である。

【図6】本発明の幾つかの実施形態による、例示的なインタラクティブ（色分け）評価グリッドの部分スクリーンショットを示す図である。

【図7A】本発明の幾つかの実施形態による、関連付けられたマイクロコンピテンシの２つそれぞれの集合のコンピテンシグリッドリストを示す図である。

【図7B】本発明の幾つかの実施形態による、関連付けられたマイクロコンピテンシの２つそれぞれの集合のコンピテンシグリッドリストを示す図である。

【図8】本発明の幾つかの実施形態による、ユーザプロファイル/タイプに基づく制限ビューを有するダッシュボードの概略図である。

【図9】本発明の幾つかの実施形態により実行することができる例示的な動作のフローチャートである。

【図10】本発明の幾つかの実施形態による、ウェブベースのシステムの一例の概略図である。

【図11】本発明の幾つかの実施形態によるデータ処理システムのブロック図である。

【図12】本発明の幾つかの実施形態による、サブコホートマネージャのグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図13】本発明の幾つかの実施形態による、格付け後の総括報告書のグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図14】本発明の幾つかの実施形態による、データがグリッドに提出される前の掲示検証報告書のグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図15】本発明の幾つかの実施形態による、提出報告書を管理するグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図16】本発明の幾つかの実施形態による、単一の解剖学系を表示するようにパースされる例示的なインタラクティブ評価グリッドの部分スクリーンショットを示す図である。

【図17】本発明の幾つかの実施形態による、複数のグリッドが編集のために提示される、インタラクティブ評価グリッドを管理するグラフィカルユーザインタフェースの部分スクリーンショットを示す図である。

【図18】本発明の幾つかの実施形態による、単一の学科によりデータを解析するためにパースされる例示的なインタラクティブ評価グリッドの部分スクリーンショットを示す図である。

【図19】本発明の幾つかの実施形態による、１つ又は複数の様相の選択的閲覧及び解析日範囲の規定を可能にするインタラクティブ評価グリッドの構成要素を含むグラフィカルユーザインタフェースの部分スクリーンショットを示す図である。

【図20】本発明の幾つかの実施形態による、どの生徒及びどの教師が特定のコホートに含まれるかを決定するコホートマネージャのグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図21】本発明の幾つかの実施形態による、コンピテンシがマイクロコンピテンシコードを含むインタラクティブ評価グリッドを管理するためのグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図22】本発明の幾つかの実施形態による、項目解析が実行された後の、１人の生徒の未処理のインポート試験データを示すグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図23】本発明の幾つかの実施形態による、確認の準備において未処理データ報告書を検証するためのグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図24】本発明の幾つかの実施形態による、データがコミットされる前のＲＶＵコミット概要画面を示すグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図25】本発明の幾つかの実施形態による、異なる生徒のマイクロコンピテンシコードにより収集され統合されたデータを示すグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図26】本発明の幾つかの実施形態による、マイクロコンピテンシコードにより収集され統合され、全ての生徒に正確なスコアを提供するように検証されるデータを示すグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【図27】本発明の幾つかの実施形態による、グリッドについて１つ又は複数のデータベースをコミットする準備ができたＲＶＵスコアを含むＲＶＵコミット概要画面を示すグラフィカルユーザインタフェースのスクリーンショットを示す図である。

【発明を実施するための形態】

【0028】

（詳細な説明）
本発明について、本発明の好ましい実施形態が示される添付図を参照してより十分に以下においてこれより説明する。しかし、本発明は多くの異なる形態で具現することができ、本明細書に記載される実施形態に限定されるものとして解釈されるべきではない。

【0029】

同様の符号が、全体を通して同様の要素を指す。図面において、層、領域又は構成要素は、明確性のために誇張されている場合がある。破線は、別段の指定がない限り、任意選択の特徴又は動作を示す。

【0030】

本明細書において用いられる用語は、特定の実施形態を説明することだけを目的とし、本発明の限定を意図するものではない。本明細書において用いられる場合、文脈により別段の指定がない限り、数量が特定されていないものは、単数及び複数を包含することを意図される。本明細書において用いられる場合、「備える、含む（comprise）」及び／又は「備えている、含んでいる（comprising）」という用語は、述べられている特徴、完全体（integer）、ステップ、動作、要素、及び／又は構成要素の存在を特定するが、１つ又は複数の他の特徴、完全体、ステップ、動作、要素、構成要素、及び／又はそれらの群の存在又は追加を除外しないことが更に理解されよう。本明細書において用いられる場合、「及び／又は」という用語は、関連付けられて列挙された項目のうちの１つ又は複数の任意及び全ての組み合わせを含む。本明細書において用いられる場合、「Ｘ〜Ｙ」及び「約Ｘ〜Ｙ」等の句は、Ｘ及びＹを含むと解釈されるべきである。本明細書において用いられる場合、「約Ｘ〜Ｙ」等の句は、「約Ｘ〜約Ｙ」を意味する。本明細書において用いられる場合、「約ＸからＹ」等の句は、「約Ｘから約Ｙ」を意味する。

【0031】

別段の定めのない限り、本明細書において用いられる全ての用語（技術用語及び科学用語を含む）は、本発明が属する技術分野の当業者により一般に理解される意味と同じ意味を有する。一般に用いられる辞書において定義される用語等の用語が、本明細書の文脈及び関連する技術分野での意味と一致する意味を有するものとして解釈されるべきであり、本明細書において、理想化された、又は過度に形式張った意味で明確に定義される場合を除き、そのような意味で解釈されるべきではないことが更に理解されよう。既知の機能又は構造については、簡潔及び／又は明確にするために詳細に説明しない場合がある。

【0032】

要素が、別の要素「の上に（on）」、別の要素に「取付けられる（attached）」、別の要素に「接続される（connected）」、別の要素に「結合される（coupled）」、別の要素に「接触する（contacting）」等であるとして参照されるとき、その要素は、他の要素の直上にあることができるか、他の要素に直接取付けることができるか、他の要素に直接接続することができるか、他の要素に直接結合することができるか、若しくは、他の要素に直接接触することができ、又は、介在要素も存在することができることが理解されるであろう。対照的に、或る要素が、例えば、別の要素「の直上にある（directly on）」、別の要素に「直接取付けられる（directly attached）」、別の要素に「直接接続される（directly connected）」、別の要素に「直接結合される（directly coupled）」、又は、別の要素に「直接接触する（directly contacting）」として参照されるとき、介在要素は全く存在しない。別の特徴部に「隣接して（adjacent）」配設される構造又は特徴部に対する参照は、隣接する特徴部にオーバラップするか又はその下にある部分を有する場合があることも当業者によって認識されるであろう。

【0033】

本明細書において、様々な要素、構成要素、領域、特徴、ステップ、層、及び／又はセクションを説明するために、第１、第２等の用語を使用する場合があるが、これらの要素、構成要素、特徴、ステップ、領域、層、及び／又はセクションをこれらの用語により制限すべきではないことが理解されよう。これらの用語は、或る要素、構成要素、特徴、ステップ、領域、層、又はセクションを別の要素、構成要素、特徴、ステップ、領域、層、又はセクションから区別するためだけに使用される。したがって、後述される第１の要素、構成要素、領域、層、特徴、ステップ、又はセクションは、本発明の教示から逸脱せずに、第２の要素、構成要素、領域、層、特徴、ステップ、又はセクションと呼ぶことができる。動作（又はステップ）の順序は、特に別段の指示がない限り、特許請求の範囲又は図に提示される順序に限定されない。

【0034】

「生徒」という用語は、評価されている個人（複数の場合もある）を指す。本明細書において使用される場合、「準リアルタイム（substantially real time）」という用語は、わずかな遅延が生じ得るように転送を妨げる可能性がある、利用されるルーティング、トラフィック、伝送ルート、及び／又はシステム通信リンクの結果、約数秒以下又は潜在的に数分の長さとなる場合があるサイト間の遠隔伝送でのシステム遅延を考慮した、議論又はテスト中のサイト間でのデータの受信及び／又は送信を含む。

【0035】

「自動的」という用語は、そのように説明される動作の実質的に全て又は全てを、人間オペレータの支援及び／又は手動入力を必要とせずに実行可能なことを意味する。「電子的」という用語は、システム、動作、又は装置が任意の適した電子媒体を使用して通信することができ、通常、コンピュータネットワークを使用する参加者間の通信をプログラム的に制御することを利用することを意味する。

【0036】

「プログラム的に」という用語は、動作がコンピュータプログラムコードを介して指示されることを意味する。

【0037】

「ハブ」という用語は、コンピュータネットワークを使用して異なるユーザサイト間でのデータ交換を制御及び／又はホストするノード及び／又は制御サイト（複数の場合もある）を意味する。「ＦＥＲＰＡ」という用語は、米国法に基づくFamily Educational Rights and Privacy Act(FERPA)を指す。

【0038】

「形成的評価」という用語は、個人に成績を向上させる指針が提供されるクロスセクションイベントを指す。評点又はポイントに関し、形成的評価を提出する必要はない。

【0039】

「総括的評価」という用語は、個人に、ポイント又は評点の形態で成績の評価が与えられるクロスセクションイベントを指す。

【0040】

「結果要素（outcome element）」という用語は、総括的評価の一部として定義される教育結果の１単位である。結果要素は以下のデータ、すなわち、一意の識別子、生徒の一意の識別子、総括的評価識別子、評価タイプ、及び／又は成功（success）／失敗（fail）を含むことができる。幾つかの実施形態は、成功／失敗が二進値であることができることを提供する。正規化される場合、結果要素は、マイクロコンピテンシコード（複数の場合もある）及び相対教育値ユニット（複数の場合もある）を含むことができる。正規化要素は、失敗した項目を無視するとともに、成功した項目のみにクレジット（credit）を付与することができる。

【0041】

「累積評価（cumulative evaluation）」という用語は、プログラム、カリキュラム、及び／又はコンピテンシでの生徒成績の完全でないとしてもバランスのとれた解析を提供するための、多くの、通常は全ての総括的評価のパースされた（parsed）集まりを指す。

【0042】

「累積解析エンジン」という用語は、異なる教育評価環境のうちの少なくとも１つ、通常は３つ以上の教育評価環境（例えば、特に教授、経験、及び議論）からの時間の経過に伴う生徒総括的評価データ入力を電子的に解析して、コンピテンシ定義に対するコホート成績表現を生成することができる電子回路を指す。

【0043】

成績の教育的評価は、１組のカリキュラム基準に相対する形成的評価及び総括的評価を使用することができる。幾つかの実施形態は、平均化されて評点を付与する試験の基本スコアを用いてこれを行うことができることを提供する。複雑な結果環境では、単純な評点は、特定の成績不良（deficiency）を正すために十分な情報を提供しないことがある。「コンピテンシ」という用語は、特に薬剤、工学、及び／又は法律に対応するタスク等の統合的なタスクを実行するために必要な技能及び知識のより正確な定義を付与するために使用されてきた。幾つかの実施形態は、教授格付け、経験格付け、及び議論環境格付けに関連付けられた正規化入力を使用する生徒のコンピテンシ評価に特に適することができる。本発明の幾つかの実施形態は、生徒のコンピテンシスコアに基づいて複雑なカリキュラムの効率性を評価するために使用することができる。ステートメント及び／又は定義を用いて任意のコンピテンシを表すことができ、及び／又は複数の下位構成要素により表すことができる。本明細書において使用される場合、コンピテンシに対応するサブトピックは、「マイクロコンピテンシ」と呼ぶことができ、後の項において詳述する。

【0044】

幾つかの実施形態では、システム／方法は、相対的技能間の客観的差を定義するように構成されない。生徒エンカウンタは一般に、かつ通常は、完全に二値であることができる。したがって、教授環境は、正しく回答した報告要素に限定することができる（しかし、既知の偽陰性を破棄することができるか、又は既知の偽陰性に対しクレジットを付与することができる）。経験（例えば、臨床）環境は、首尾良く完了した技能を報告することができる。議論環境は、その環境でなされた掲示を報告することができる。これらの報告書は、認知的評価として定義され、個人測定の相対品質が使用されないことがあることを意味する。非認知的主観値を他の技法を用いて評価することができる。

【0045】

コンピテンシに基づくカリキュラムでは、指導を提供する３つの異なる様相が存在することができ、したがって、３つの異なる評価環境が存在することができる。幾つかの実施形態によれば、３つの異なる評価環境は、拡張可能コンピテンシ電子評価プラットフォームに統合することができる。評価環境は、教授様相、経験様相、及び議論様相であることができる。それぞれについては本文書の別個の項において詳述する。全ての教育分野が全ての評価様相を使用するわけではない。

【0046】

「正規化」及び「正規化された」という用語は、異なる要因を測定する定義された相関基準を指す。例えば、個々のテスト又はテスト質問に割り当てられるポイント値、臨床又は経験タスクに費やされた時間、批判的思考エクササイズに割り当てられた値等である。幾つかの実施形態によれば、多くの異なる環境からの総括報告書が利用可能な場合、それをダイジェスト化することができる。個々のダイジェスト総括報告書内の結果は共通フォーマットに正規化することができる。全ての総括報告書を共通データセットに結合することができ、データのグラフィック表現を累積解析グリッドで提供することができる。幾つかの実施形態は、正規化が、費やされた教育時間に基づいてポイントの相対値を定義すること、教示される可能なトピック（マイクロコンピテンシ）を分類すること、並びに累積評価可能な個人、個人のサブコホート、及び個人のコホートを定義することを含むことができることを提供する。

【0047】

「相対値の最小時間」（Ｔ）という用語は、クレジットを任意の結果イベントに割り当てる基本単位を指すことができる。Ｔは基本時間であり、他の係数を更に乗算して、イベントクレジットを割り当てることができる。異なる入力は、相対値の最小時間（Ｔ）を使用して正規化することができる。例えば、テスト質問は、典型的な生徒が質問を評価して回答するために必要であり得ると予測される時間に基づいて、数値出力「１」又は「２」を有することができる。数値は、１５分相当には「１」（したがって、「３０分」予測応答時間のレートの質問には「２」を割り当てることができる）等の、特定の機関により定義される時間相当で、及び／又は基準に基づいて割り当てることができる。生徒が質問に正しく回答する場合、その回答は定められた（正規化スコア）を受け取る。薬剤又は歯科の臨床実施のような経験の場合、タスクの実行にかかる実際の時間及びタスクの相対複雑性に、１５分に相対する正規化値を付与することができる。例えば、抜歯の平均時間は１５分であり得るため、１値単位が付与される。これは、正規化ベースで、教授試験での１質問を、臨床での１抜歯に等しくする。同様に、議論に基づく環境では、問題に基づく学習議論への個人の応答に部分点を付与することが可能である。

【0048】

「相対教育値ユニット」（ＲＶＵ）という用語は、時間及び複雑性に相対する技能評価に可能なクレジット表現である。例えば、教授テスト項目が１ＲＶＵに等しいと仮定すると、経験手順又は議論経験を追加の時間又は複雑性にマッピングすることができる。ＲＶＵは、２つ以上の時間間隔がタスク又は議論に関連付けられる場合、基本時間間隔（Ｔ）にＴの増分を乗算したものに等しいものとして表現することができる。さらに、ＲＶＵは複雑性に関して調整することができる：Ｔ×ｎ（Ｔの倍数）×Ｃ（複雑性乗数）。ＲＶＵは、時間単位（Ｔ）に正規化された、異なる教育係数、例えば、テストスコア、テスト回答、臨床若しくは他の経験タスク若しくは時間に関連付けられた相対値スコア、議論に基づく問題解決技能スコア等を提供することができる。したがって、ＲＶＵを使用しての格付けは、時間均等正規化であり、異なるカテゴリのテスト／評価の総括的結果評価に使用することができる。

【0049】

「マイクロコンピテンシコード」という用語は、マイクロコンピテンシに対応し、コンピテンシに基づく教育カリキュラム中に生徒が経験することが可能な異なるトピックの階層表現を指す。例えば、複数のマイクロコンピテンシには、特定のカリキュラムの全体コンピテンシが関連付けられる。全てのコードが必ずしもカリキュラムで表現される必要があるわけではなく、マイクロコンピテンシは直面することが可能なもののスーパーセットである。

【0050】

「トピック」という用語は、定められた教育方針、分野、又は主題を指す。「トピックコード」という用語は、定められたトピックに相関付けられた識別子を指す。「識別子」という用語は、文字、通常は数値及び／又は英数字文字の一意のセットを指す。識別子は、複数の電子評価プラットフォームにわたる定められた標準化フォーマットであることができる。マイクロコンピテンシは、１つ又は複数の定められたトピックコードのうちのサブトピックに対応する個々のマイクロコンピテンシの規定された階層セットとして表現される。すなわち、１つのマイクロコンピテンシに２つ以上のトピックコードを関連付けることができる。トピックコードは通常、関連付けられた複数のマイクロコンピテンシを含み、幾つかのコンピテンシトピックでは約１０〜１００を含むことができるが、そのような範囲は限定ではない。例えば、本明細書における幾つかの実施形態は、より多数又はより少数のマイクロコンピテンシを異なるトピックに関連付けることができ、異なるトピックが異なる数のマイクロコンピテンシを有することができることを提供する。マイクロコンピテンシには、特定のトピック内の異なる下位概念の粒度評価を可能にするのに十分な数を提供することができる。マイクロコンピテンシ自体は、複数のマイクロコンピテンシコードに関連することができる。特定の教育評価システムは、数百のトピックコード及び数千のマイクロコンピテンシを有することができる。マイクロコンピテンシは、例えば、数値コードを用いて一意に符号化することができるが、他のコードタイプを使用することもできる。コードは、階層内のトピックの関係及び／又は位置を識別することができる。「コンピテンシ」は、異なるマイクロコンピテンシコードの組み合わせとして規定することができる。さらに、同じマイクロコンピテンシが、複数の異なるコンピテンシ評価に現れることができる。

【0051】

「コホート」という用語は、識別された同じ構成要素、要素若しくは要因、及び／又はコンピテンシ、及び／又はマイクロコンピテンシを使用して評価されている生徒グループを指す。コホートの幾つかの例としては、特に、クラス、教授、関連機関（例えば、大学又は大学院）、及び／又はクラスの割り当てられた教育リソース（例えば、メタコード付き書籍）によりグループ化された生徒を挙げることができる。さらに、議論様相は、サブコホートを規定することにより対応することができる別のグループ化要因を保証することができる。例えば、生徒のサブセットを、直面している議論の小さなグループに割り当てることができる。さらに、幾つかの実施形態は、コホート内の各個人がそれら自体のサブコホートのメンバーでもあることを提供する。このプロセスの詳細については、議論様相項において説明する。

【0052】

「教授様相」という用語は、教室講義、教科書、及び宿題に基づく生徒学習の評価を指す。

【0053】

「質問要素」（ＱＥ）という用語は、ステム、１つ又は複数の不正解回答、１つの正しい回答、又は選択肢の組み合わせを含み、Ｔに等しい相対値を有する単一の教授様相質問を指す。例えば、質問要素は単純な試験質問を含むことができる。

【0054】

「質問群」（ｑ群）という用語は、共通のマイクロコンピテンシ下の個々の教授質問の集まりの表現である。教授様相質問は、テストイベント報告書の作成時及び／又はテストイベント報告書としてのシステムへの提出時にマイクロコンピテンシにマッピングすることができる。

【0055】

「テストイベント」（ＴＥ）という用語は、コホート又はサブコホートの形成的評価を作成するための質問要素の組み合わせである。サブコホートの教授評価が累積解析において非代表結果をもたらすことができることに留意する。

【0056】

「テストイベント報告書」（ＴＥＲ）という用語は、テストイベントでのコホート成績を表す。

【0057】

「項目解析」という用語は、粗悪な質問構成又は悪い生徒成績により除去すべきＴＥを識別するＴＥＲの数学的評価を含む。これらのツールは、機関及び／又はテストメカニズムに応じて広く変更することができる。幾つかの実施形態では、項目解析は、コホートに相対して個人を評価することを含む。

【0058】

「教授様相総括報告書」（ＤＭＳＲ）という用語は、項目解析が達成され、特定のＴＥがＴＥＲから除去された後の、コホート内の各ＴＥでの各個人の成績のリストである。

【0059】

「教授様相正規化総括報告書」という用語は、ＲＶＵにより、マイクロコンピテンシにより集計されたＤＭＳＲからの各個人の成績のリストである。この報告書は、ＤＭＳＲと突き合わせて検証することができ、次に、様々な解析グリッドによる解析のために累積データ記憶装置に提出することができる。

【0060】

「経験様相」という用語は、臨床及び／又は他のマイクロコンピテンシコードに関連する「実践」型経験を指す。

【0061】

「手順アンカーコード」（ＰＡＣ）という用語は、臨床設定において技能評価で競合することができる符号化手順の表現である。健康科学の場合、手順アンカーコードは、医療手順ではＩＣＤ−１０コードであり、歯科手順ではＣＤＴコードである。実際には、幾つかの実施形態は、手順アンカーコードが表現され、後にマイクロコンピテンシサブセットにマッピングすることができることを提供する。

【0062】

「経験要素」（ＥＥ）という用語は、実際の技能関連タスクを実行する個人を指す。

【0063】

「経験グループ」（Ｅグループ）という用語は、共通のマイクロコンピテンシ下の手順／経験の集まりの表現である。経験様相手順は、経験イベント報告書の作成時及び／又は経験イベント報告書としてのシステムへの提出時に、１つ又は複数のマイクロコンピテンシにマッピングすることができる。「経験イベント報告書」（ＥＥＲ）は、特定範囲の時間及び／又は事前決定される時間間隔中のテストイベントでのコホート成績を表す。例えば、幾つかの実施形態は、経験イベント報告書が１つ又は複数の他のシステムからの日ごとの報告書を含むことができることを提供する。

【0064】

「経験様相正規化総括報告書」（ＥＭＳＲ）という用語は、ＲＶＵにより、マイクロコンピテンシにより集計されたＥＭＳＲからの各個人の成績のリストである。ＰＡＣは、マイクロコンピテンシ及びその関連ＲＶＵで置換することができる。この報告書は、ＥＭＳＲと突き合わせて検証し、次に、様々な解析グリッドによる解析のために累積データ記憶装置に提出することができる。

【0065】

「議論様相」という用語は、マイクロコンピテンシコードに関連する問題解決又は議論フォーラムを指し、この問題解決又は議論フォーラムにおいて、規定された問題を解決し、及び／又は熟練及び／又は理解及び批判的思考を示す、規定された議論要素の詳細な議論を提供する生徒の能力に評点を付与することができる。議論様相は、オンライン環境、紙に基づく環境とすることができ、及び／又は教室環境とすることができる。幾つかの実施形態は、議論様相が、ユーザ応答を受け入れるオンラインフォーマットで提供され、教師、教授、教師アシスタント、及び／又は他の教育評価者による監視及び／又は評価を（インタラクティブに）行うことができることを提供する。テスト完全性を推進するために、カメラモード及び／又はバイオメトリック入力を使用して、応答者が生徒であることを確認することができる。他の実施形態では、専用のテストサイトを使用することができ、サイトへのアクセス時に生徒の身元情報を確認することができる。

【0066】

「個人議論イベント」（ＩＤＥ）は、議論環境でコメントする個人である。多くの異なるタイプのＩＤＥがあり、それらの値は、コメントのタイプ及び／又は内容によって異なることができる。

【0067】

本明細書において使用される場合、「議論サブコホート」は、議論教育経験を促進する合計コホートのサブセットである。幾つかの実施形態では、全体コホートは議論サブコホートとすることができ、及び／又は個人が議論サブコホートであることができる。幾つかの実施形態例は、典型的な議論サブコホートが５人〜１０人の個人であることを提供するが、そのような例は、サブコホートが５人未満の個人又は１０人を超える個人であることもできるという点で非限定的である。

【0068】

「議論サブコホート総括報告書」（ＤＳＳＲ）は、特定範囲の時間及び／又は時間間隔中の議論イベントに対する議論サブコホート成績を表す。幾つかの実施形態では、ＤＳＳＲは、１つ又は複数のシステムからの週間報告書を含むことができる。ＤＳＳＲは、マイクロコンピテンシ及びＲＶＵを割り当てるシステムに直接送信することができる。その他の２つの環境とは異なり、議論されるトピックは、発生後のタグ付けに限定することができる。

【0069】

「議論サブコホート正規化総括報告書」は、ＲＶＵにより、マイクロコンピテンシにより集計されたＤＳＳＲからの各個人の成績のリストである。この報告書内で、議論でクレジットを受け取ることになるサブコホートのメンバーについて判断することができる。グループ全体にチームとして等しいクレジットを付与することができるか、又は個人に個々にクレジットを付与することができる。正規化データは、様々な解析グリッドによる解析のために、累積データ記憶装置に提出することができる。

【0070】

本明細書において使用される場合、「累積グリッド」（「グリッド」とも呼ばれる）という用語は、１人又は複数の生徒の（例えば、マイクロコンピテンシ、マイクロコンピテンシグループ、及び／又はＯＥ）のコンピテンシ関連スコアの概要を指す。グリッドを色分けして、生徒が異なるマイクロコンピテンシ及び／又はサブマイクロコンピテンシでの規定されたコンピテンシ閾値レベルを満たすか否か等のコンピテンシの程度を示すことができる。グリッドは、インタラクティブ及び／又はパース可能であることができ、それにより、ユーザは、異なるクラス、生徒、及び生徒グループ、並びに異なる生徒で共通する要因に関連付けられた正及び負のトレンドを解析する様々な方法で生徒データを電子的に編成することができる、報告されたスコアに関連付けられたサポートデータにアクセスすることができる。

【0071】

「インタラクティブグリッド」という用語は、ユーザにより選択され（ＧＵＩ等のＵＩを介して）、次に、その要素をサポートする基礎データを電子的に明らかにすることができる要素を含むグリッドを指す。したがって、幾人かの生徒が、規定されたコンピテンシ（例えば、トピックの１つのマイクロコンピテンシ、マイクロコンピテンシグループ、１つ又は複数のサブマイクロコンピテンシ、及び／又はサブマイクロコンピテンシグループ）に関して最小値未満として識別される場合、本明細書に開示される幾つかの実施形態では、ユーザはグリッドにアクセスし、及び／又はグリッドに問い合わせて（例えば、ブロックをポイント・アンド・クリックして）、様々なサブコンピテンシでの個人の格付け、並びに、特に教授、学校、クラス時間、教科書、（臨床）経験若しくはタスク、及び／又はタスクが実行された場所等の共通要因を識別することができる。このコホート又は関連付けられたデータにより、教育者又は学校は、例えば、成績不良が識別される生徒のニーズに対応するようにカリキュラムを調整することができる。

【0072】

「登録済み」という用語は、ユーザが、通常、パスワード及びログイン及び／又は公認ポータルを使用して認識されたシステムのオンライン参加者であることを意味する。「管理ユーザ」という用語は、生徒記録へのアクセス許可を有しないユーザを指す。異なるタイプの管理ユーザは、システムへの異なるアクセスレベルを有することができる。幾人かの参加者／ユーザは、いかなる生徒識別子もなしで、生徒の成功に相関付けられたコホートデータにアクセスすることができる。「ウェブベース」という用語は、サービスが少なくとも１つのサーバを使用し、例えば、特にハイパーテキスト転送プロトコル（ＨＴＴＰ）を使用して、例えば、ワールドワイドウェブ（例えば、インターネット）を含む１つ又は複数のネットワークを介して異なるユーザと通信することを意味する。

【0073】

本発明の実施形態又は態様は、任意のソーシャルネットワークサービス、通常、適したセキュリティ又はプライベート（又はセミプライベート）通信を提供することができるソーシャルネットワークサービスを使用して実行することができる。「Ｙａｍｍｅｒ（商標）」という用語は、カリフォルニア州サンフランシスコのYammer, Inc.により２００８年に９月に開始された企業ソーシャルネットワークサービスを指す。メッセージを公衆にブロードキャストすることが知られているＴｗｉｔｔｅｒ（商標）とは異なり、Ｙａｍｍｅｒ（商標）は、組織内での又は組織メンバーと事前に指定されるグループとの間でのプライベート通信に使用され、これは企業ソーシャルソフトウェアの一例となっている。本発明の態様を実行するために、他の適した企業ソーシャルソフトウェア／システム／サービスを使用することができることが意図される。

【0074】

図１及び図２に示されるように、本発明の実施形態は、１つ、２つ、又は３つ全ての異なる環境：教授様相２０、経験様相４０、及び議論要素８０からのデータを含む解析システム及び方法１０を含む。各様相２０、４０、及び８０は、各総括的評価２８、４８、８８を生成することができ、各総括的評価２８、４８、８８には、マイクロコンピテンシトピックコード１６、ＲＶＵ１７、個人（生徒固有）コード、及びコホート（例えば、クラス、教授、書籍、学習機関等）コード１８を含むメタデータコード１５が関連付けられる。成績の証拠としての将来の検索を容易にするため、及び／又はカリキュラム若しくは他の評価のために、各報告書の基礎データ及び／又は結果要素を電子的に記憶することができる。

【0075】

本明細書に記載される幾つかの実施形態を、特に弁護士の州司法試験及び／又は医師若しくは獣医の免許試験等のライセンシングシステムと併せて使用することもできることが意図されるが、これらに限定されない。

【0076】

本明細書に開示される幾つかの実施形態が、豊富な基礎コホートデータとともに累積結果データを評価し、複数の生徒にわたる複数の州での合格率、様々なマイクロコンピテンシのトピック固有の達成率等に基づいて、教育機関、書籍出版者等にフィードバックを提供可能なことも意図される。このデータ解析により、そのような機関又は他の組織は、学校をランク付け、教授及び／又はクラスをランク付け、教科書を評価し（特定のトピックについて最良の生徒結果を提供する教科書及び／又は不良な結果をもたらす教科書を指摘し）、１つ又は複数のトピックについて最良結果の教育者に報酬を与え、及び／又はそのようなデータ及び認知的成果結果に基づいてクラス若しくはカリキュラムに対して他の変更を行うことができる。

【0077】

システム／方法を使用して連続性を評価することができ、教育ＣＬＥ評価が、３つの環境のうちの１つ又はサブセットしか評価できないことも意図される。第１に、教授環境はコンテンツを直接届け、質疑応答を使用して比較的単純な評価を提供する。第２に、臨床環境は、技能成績及び技能成績の比較的単純な評価を提供する。第３に、考察環境は、リサーチ及び統合を必要とする、定められたシナリオを届け、問題解決挙動及び技能の比較的複雑な評価を提供する。

【0078】

教授様相
なお図１を参照すると、教授様相２０は、関連付けられたマイクロコンピテンシ及びＲＶＵが電子的に（事前に）タグ付けされ（ブロック２２）、次に、各個人テスト要素の総括的評価の検査のためにグループ化される（ブロック２３）個人テスト要素（ブロック２１）に基づく結果要素２８を含むことができる。グループ化は、総括的評価×Ｎ（ブロック２４）のために、スコア（ＲＶＵを使用して正規化される）を用いて個人テスト要素２１のセットをグループ化する（ブロック２３）ことができる。したがって、項目解析後総括報告書（ブロック２６）が提出される前、及び／又は結果要素総括格付け２８及びデータ記憶９０、並びに電子累積解析１００に使用される前に、項目解析後総括報告書を用いて、二値評価としての拡張可能結果要素項目解析（ブロック２５）を通して、試験との生徒エンカウンタをフィルタリングすることができる。

【0079】

教授様相２０は、１つ又は複数の関連付けられたマイクロコンピテンシ及び対応するＲＶＵが電子的に事前にタグ付けされる個人テスト要素に基づいて、総括的評価２８を提供することができる。言い換えれば、試験の質問はトピック及びポイントを関連付けられ、次に、生徒の試験にまとめられ、生徒の知識をテストする。

【0080】

多くの教育環境では、個人は、単一の正解応答を有する単純な質問に基づいて、知識に関して評価される。これらの質問は通常、テスト及び試験として集まりで付与される。成績は、正解応答の相対割合に基づくことができる。総括解析（summative analysis）の閾値は比較的単純であることができる。この評価に関連付けられたステップの例について以下に説明する。

【0081】

ステップ１．質問ステムに応答が関連付けられ、応答は正解又は不正解としてタグ付けされる。これらは質問要素である。各質問要素には一意の識別子が関連付けられる。各質問要素にはＲＶＵ１が付与される。仮定は、資料を理解して、１項目で正しい回答を得るためにかかる時間量が、相対値の最小時間（Ｔ）に等しいというものである。正解回答の説明を、後で使用するために提供することができる。幾つかの実施形態は、ステムが画像を含むことができることを提供する。

【0082】

幾つかの実施形態では、質問ステムには応答が関連付けられ、応答は正解又は不正解としてタグ付けられる。これらは質問要素である。各質問要素には一意の識別子を関連付けることができる。

【0083】

ステップ２．質問要素に、１つ又は複数のマイクロコンピテンシコード（マイクロコンピテンシ）がタグ付けされる。これは２つの方法で達成することができる。幾つかの実施形態では、各質問要素は、コードを関連付けることができるメタタグを含むことができる。幾つかの実施形態では、質問群（Ｑ群）が生成され、次に、質問要素が適切なＱグループ下に配置される。

【0084】

ステップ３．質問要素がテストイベント内に並べられる。各テストイベントに総括解析コードを関連付けることができる。大半の場合、これはコースに関連することができる。テストイベントは、１つ又は複数のマイクロコンピテンシ及びＲＶＵが関連付けられた質問要素を含むことができる。したがって、形成報告書を生成して、個人の成績を合格／不合格閾値に相対して、コホート内のその他の個人に相対して、及び／又は主題により関連付けることができる。

【0085】

学習管理システムを使用して、個人のコホートはテストイベントに直面し、各質問要素での個人の達成に関するデータが記録される。非調整テストイベント報告書を生成することができる。

【0086】

ステップ５．全ての個人がテストイベントを完了した後、項目の品質について各項目を解析することができる。コホートの影響は、プロセスでのこの時点で重要であることができる。あらゆる生徒が総括的評価に直面しなければならないため、評価後項目解析を未処理結果に対して実行することができる。幾つかの実施形態では、機関は、項目解析を実行して正規化総括報告書を生成しないと決定することができるが、わかりにくい（poorly written）質問又はコホートが推測した質問を除外することが好ましい。

【0087】

項目解析が、多項選択又は真／偽項目（質問）の品質及び正確性の向上に有用な情報を提供することができる多くの統計を含むことができることに留意する。これらの統計の幾つかは項目の難しさを含み、項目の難しさは、項目に正しく回答した生徒の割合として特定することができる。このプロセスは、学習管理システム内で、及び／又は本明細書において開示される動作及び方法を通して実行することができる。項目解析の一機能は、コホート全体による実行が不良であった構築不良の１つ又は複数の質問を除去することである。機関はこのプロセスに複数の方法を考案することができる。本開示は、項目解析の特定のメカニズムを提供しないが、総括報告書が解析のために送信される前に、この動作が実行されることを提供する。

【0088】

ステップ６．質問要素項目解析に基づいて、個々の質問要素を報告からなくすことができる。幾つかの実施形態では、質問要素が削除される場合、より高い試験信頼性係数を提供することができるため、項目は一度に１つずつ削除することができ、項目総合統計報告書が再実行されて、試験の全体優良性を低下させないことを保証する。

【0089】

ステップ７．欠陥のある質問要素の除外に続き、教授様相総括報告書を生成して、特に、個人に調整済みスコア（正解％）、クラス平均、個人のクラスランク、及び／又は不正解だった項目の説明を付与することができる。機関は、これらの報告書をコースにわたって平均して、従来の評点を付与することを選択することができる。そのプロセスは独自ではなく、本明細書において詳述しない。

【0090】

代替のステップ７．上述した動作への代替として、欠陥のある質問要素の除外に続き、教授様相総括報告書を生成して、特に、個人に調整済みスコア（正解％）、クラス平均、個人のクラスランク、及び／又は不正確項目の説明を付与することができる。質問要素には、１つ又は複数のマイクロコンピテンシコード（マイクロコンピテンシ）をタグ付けすることができる。

【0091】

ステップ８．教授様相正規化総括報告書を作成することができる。このデータは、テスト専門家により、完了されたものとして検証することができ、累積解析エンジン（電子回路及びデータベース（複数の場合もある））に送信することができる。このようにして、累積解析グリッドに提出する個人ごとのマイクロコンピテンシにより、個々の質問に関連付けられたＲＶＵをＲＶＵの集計で置換することができる。

【0092】

ステップ９．教授様相正規化総括報告書は、総括的評価報告書と突き合わせて検証して、個人がコホートに相対して同数のポイントを受け取ることを確実にする。これはプロセスにとって重要であることができる。プロセスの全体目標が、個々の生徒がトピックに対して得意な（strong）箇所又は不得意な（weak）箇所を見ることである場合、同じコホート内の異なる生徒は、同じ割合のポイントのスコアを得るが、異なるマイクロコンピテンシエリアで挙げた結果が良好又は不良であることができる。この検証ステップは、同数のポイントが正規化プロセス中に転送されることを保証する。

【0093】

ステップ１０．検証済み正規化総括報告書を累積解析グリッドに提出することができ、適切なコンピテンシに対して生徒が適切な数のポイントを受け取ったことを検証することができる。

【0094】

ステップ１１．検証済み正規化総括報告書は、監査目的で「コミット済み」としてアーカイブすることができる。

【0095】

経験様相
なお図１及び図２を参照すると、経験様相４０も、結果要素のメタデータコード１５に関連付けることができる。経験様相４０は、（事前）タグ付けされた特定の技能（例えば「個人経験要素」すなわち「ＩＥＥ」）を使用して公式化された結果要素を利用することができる。個人経験要素（ブロック４１）には、各マイクロコンピテンシ１６、マイクロコンピテンシ群、及び／又はサブマイクロコンピテンシ及びＲＶＵ１７が電子的に関連付けられる（ブロック４２）。各生徒は、異なる時間に１つ又は複数の個人経験要素（技能）４１に直面することができ、イベント数（Ｎ）は生徒ごとに異なることができる（ブロック４３）。技能の熟練度は、イベント後総括報告書４５が、累積解析１００及び／又は電子コンピテンシ評価プラットフォーム１００ｐのために結果要素４８を提出するために使用する二者択一判断（ブロック４４）を提供する。

【0096】

トピックメタタグ（マイクロコンピテンシコードのように）を特定のコース構成要素に配置することにより、機関は、或る特定のトピックがカリキュラムの講義スケジュールにわたりどこで教えられるかを視覚化することができる。実用面から、時間単位は１５分の増分でマッピングすることができるが、本開示はそのように限定されない。教授環境は最も予測可能なものであり、標準化に最も近い。例えば、１５分のレクチャー又はプレゼンテーション実習経験（献体実習、組織学実習）は、主題に関係なく１５分である。したがって、教授環境は実質的に知ることができ、かつ定量化することができ、大半の教師が報告するために規定に同意する。

【0097】

経験様相４０では、マイクロコンピテンシコードは、特定の教育カリキュラム（例えば、観察又は教師カリキュラムの学校での教育のための健康科学及び実習の臨床、外科、又は研究システム）の経験環境に関連付けられた様々なアクション、セミナー、参加、又は閲覧イベント及び手順に関して事前規定することができる。規定時間ベース、例えば、日ごと、週ごと等で、生徒、ＲＶＵ、提供者識別コード、及び各マイクロコンピテンシを識別する電子報告書を（例えば、ＣＳＶフォーマットで）生成することができる。これらの報告書は日ごとに生成することができ、各生徒の学業生活にわたり（及び学業生活を超えて）累積することができる。データには、生徒識別（又はデータ入力を可能にする変換装置）の規約が提供され、システムは自動化されて、各報告書を作成し、評価し、グリッドデータリポジトリ及び解析回路に提出することができる。

【0098】

健康科学では、実際の臨床処置での成績は、個人の成績を適宜評価するために重要である。個人は、これらのイベントを電子患者記録システムに記録する。あらゆる処置には既存の処置アンカーコード（ＰＡＣ）がタグ付けられ、ＰＡＣには通常、タスクの成功裏の成績の金融報酬が関連付けられる。薬剤では、これらはＩＣＤ−１０コードである。歯科では、これらはＣＤＴコードである。個人の経験要素評価ステップの例について後述する。

【0099】

ステップ１．各ＰＡＣを適切なマイクロコンピテンシコードと照合する。全ての評価報告書はＰＡＣに代えてマイクロコンピテンシを用いる。

【0100】

ステップ２．ＰＡＣで表される各手順がＲＶＵに関して評価される。上述したように、ＲＶＵは各手順の相対教育値を測定する。経験（臨床）及び議論に基づく教育環境の結果評価を正規化するために、ＲＶＵは３つの構成要素に基づくことができる。第１の構成要素は時間であり、この時間は、臨床タスクの実行にかかる物理的時間であることができる。１つの試験質問の正規化価値が１５分の教育投資である実施形態では、１５分は１ＲＶＵに等しい。第２の構成要素は、多くの歯科処置が生徒の実習時間を含むため、実習時間である。生徒が、患者との臨床接触とは別個の実習タスクを実行する時間量を推定することができる。第３の構成要素は高度経験である。例えば、複雑な口腔手術のような幾つかの処置は、生徒によるより高レベルの関心を含むか、又は博士号取得前設定で実行される、より高レベルの専門教育を含む。幾つかの実施形態は、３の倍数を使用するできることを提供するが、他の実施形態では、乗数は３以外の値であることができる。幾つかのコードは、生徒が実際には処置を実行せず、したがって、関わることでのみクレジットを得るという点で「観測」である。

【0101】

以下の経験（例えば、歯科臨床）例では、ＣＤＴコードリストが、各コードのＲＶＵの推定のために、教師メンバーグループに提示された。「Ｔ」は以前に１５分に等しいものとして定義されたため、１５分が「１単位」に等しい。以下の式を使用した：
ＲＶＵ＝（臨床時間＋実習時間）×複雑性乗数 （式１）

【0102】

機関ごとに、全ての歯科に適用されるＣＤＴコードのコアリストがあるとともに、その教育環境に固有の或る特定の処置がある。例えば、あらゆる「ハウスコード」が割り当てられたＲＶＵを有する。或る特定の実習技能は事前臨床コースで教えられ、導出ＣＤＴコードとしてＰＡＣを付与することができる。このようにして、機関は臨床システムを使用して、実証結果を追跡することができる。ＲＶＵ及びＭＣが割り当てられた臨床経験の例は：
ＰＡＣ-Ｄ０４２１−遺伝テスト-口腔疾患−２時間の臨床時間（１２ＲＶＵ）、１時間の実習時間に基づいて、ＨＥ乗数を用いて３６．００。ＭＣ-０１．０２．０９．０１遺伝テスト
ＰＡＣ-Ｄ７２８７−細胞学サンプル収集−３０分の臨床時間に基づいて２．００。ＭＣ-０１．０８．０１．０８−バクテリア培養
ＰＡＣ-Ｄ１３１０−栄養カウンセリング−１時間の臨床時間、１時間の実習時間に基づいて８．００。ＭＣ-０１．０７．０２．０５−栄養評価

【0103】

ステップ３．経験カリキュラムの日ごとに、個人は処置を実行することができる。成功した試みには、適切な権限からクレジットを付与することができる。幾つかの実施形態では、コホート内の全ての個人は、毎日のカリキュラムイベントの一環として処置を実行する。これは経験イベント報告書と呼ばれる。

【0104】

ステップ４．経験様相正規化総括報告書が、経験プラットフォームから生成されて、個人の処置生成及び関連付けられた各マイクロコンピテンシのＲＶＵが付与される。経験様相正規化総括報告書は、教授環境と同様に作成される。このデータは、結果専門家により、完了したものとして検証され、累積解析エンジンに送信される。幾つかの実施形態は、プロセスが、累積解析グリッドへの提出のために、個人の手順に関連付けられたＲＶＵを、個人ごとのマイクロコンピテンシによるＲＶＵの集計で置換することを提供する。

【0105】

ステップ５．経験様相正規化総括報告書は、経験イベント報告書と突き合わせて検証されて、個人がコホートに相対して同数のポイントを受け取ることを確認する。このようにして、同じコホート内の異なる生徒が同じポイント割合のスコアを得ることができる場合であっても、トピックに対する個々の生徒の得意分野及び／又は不得意分野を特定することができる。得意分野及び／又は不得意分野は、生徒が、異なるマイクロコンピテンシ分野で挙げた結果が良好又は不良であることを特定することにより識別することができる。この検証ステップは、正規化プロセス中に同数のポイントを転送することができることを保証する。

【0106】

ステップ６．検証済み経験様相正規化総括報告書は、累積解析グリッドに提出され、生徒が適切なコンピテンシに適切な数のポイントを受け取ったことを検証することができる。

【0107】

ステップ７．検証済み経験様相正規化総括報告書が、監査目的で「コミット済み」として保存される。

【0108】

議論様相
なお図１及び図２を参照すると、議論様相８０は、生徒（又は他のテスト被験者）エンカウンタの後、生徒議論（例えば、テキスト又はマルチメディア）掲示にマイクロコンピテンシ１６及びＲＶＵ１７を電子的にタグ付けすることができる（ブロック８４）。幾つかの実施形態では、議論主題に規定（事前タグ付けされた）マイクロコンピテンシ１６を関連付けることができるが、ＲＶＵは通常、事後、生徒の知識、応答、及び／又は習熟度に基づいて生成することができる。個人議論要素（ＩＤＥ）を定義することができる（ブロック８１）。例えば、図４を参照してより詳細に後述するように、議論イベント入力画面を、個人の議論要素を識別し、提供し、及び／又は定義するために提供することができる。ＩＤＥでは、総括的議論にグループ化することができる（ブロック８２）。幾つかの実施形態は、議論様相８０が、生徒又は他のテスト被験者が所与の問題、質問、又は他のプロンプトに応答することができるインタラクティブ電子（例えば、オンライン）環境フォーラムであることができることを提供する。

【0109】

複雑な教育環境では、事例又は問題の実際の議論から問題を解決する能力は、評価し追跡することが困難である場合がある。認定機関は、知識を適用する能力に大きな価値を置くことができる。議論自体は複数のトピックにまたがることがある可能性があり、異なるレベルの複雑性を含む可能性があるため、議論イベントには通常、イベント自体とは別個の教育値に関してタグ付けすることができる。

【0110】

本明細書において開示される実施形態は、テキストに基づく掲示が、議論フォーラムを提供する実行可能な手段であることを意図するが、オンラインマルチメディア通信を議論様相８０に使用することもできることも意図される。これらのタイプの議論フォーマットの組み合わせを使用することもできる。幾つかの実施形態は、マルチメディアビデオのビデオストリームを、累積解析のために評価概要とともに電子的に記憶することができることを提供する。オンラインマルチメディア通信に関連するサービスは、第三者オンラインマルチメディア通信サービスプロバイダにより提供することができ、第三者オンラインマルチメディア通信サービスプロバイダは、例えば特に、Ｓｋｙｐｅ、Ｍｉｃｒｏｓｏｆｔ Ｌｉｖｅ Ｍｅｓｓｅｎｇｅｒ、Ｙａｈｏｏ！Ｍｅｓｓｅｎｇｅｒ、Ａｍｅｒｉｃａ Ｏｎｌｉｎｅ Ｉｎｓｔａｎｔ Ｍｅｓｓｅｎｇｅｒ、及び／又はＡｐｐｌｅ ｉＣｈａｔ等の消費者テレビ会議サービスプロバイダとすることができる。

【0111】

幾つかの実施形態では、議論様相８０は、時間掲示を用いて生徒によりログ記録されたスレッド議論を使用して、及び／又はそのようなスレッド議論を含んで実行することができる。議論掲示は、基本ブログ技術をＲＳＳ（リアリーシンプルシンジケーション）クライアントを用いて増補することができる。ＲＳＳにより、ブログシステムをセキュア化するようにコンテンツの購読、管理、及び掲示が可能である。このようにして、ユーザは、ブラウザを起動させずにブログに掲示することができる。現在のＲＳＳクライアントは、事例に基づく教育の複雑なニーズを満たすように特に設計された適宜設計アプリケーションを生成するための、バイナリアプリケーションの有用なモデルである。

【0112】

しかし、より大きな学校／専門家の実施により適することができる、事例での書き込み、管理、及び参加のためのコンピュータアプリケーションを書くことができる。事例アプリケーション一式を使用することにより、複数の学校、実務、及びプログラムを伴う一実施態様（中央システムに搭載されるか、又は離散独立システムで使用される）に役立つことができる。

【0113】

本発明の幾つかの実施形態は、批判的思考及び問題解決を教える教育ミッションを満たすように実際にスケーリングすることができる、事例に基づく教育の実施戦略を参加教育者に提供することを目的とする。教育哲学の観点から、教育者は、事例数、事例難易度、講師の役割、及び個人の実施の結果評価に関して同意しないことがある。技術の観点から、システムは、使用を促進するのに十分に単純でありながら、教育ミッションに役立つのに十分に強力であることができる。

【0114】

議論様相８０では、専門家及び／又は教育者が生徒に関連することができる、信頼が置け、リアリズムを促進し、徹底的な学習経験をもたらす事実パターンを提供する事例を含むことが望ましいことがある。「非従来的」事例の採用を超えて、事例構成要素を書き込み、関連するコンテンツを添付し、学習目標を作成する技術は、一貫性を有することができる。教師リソースは、各専門家事例を再フォーマットする学校内の時間を制限する場合があり、それに対する代替は、専門家提出数を制限することである。幾つかの学科（例えば、歯科及び医科）では、コンピテンシを適宜評価するために、生徒が利用可能な数千ではないにしろ数百の議論事例があるべきであると考えられている。好ましい事例書き込みアプリケーションは、構成要素を作成し、構成要素を再編集する単純な処理ツールを提供すべきであり、次に、構成要素を変更することができないように、結果事例をパッケージすべきである。

【0115】

管理事例は書き込みとは別個の経験であることができる。各学校は、事例に対して異なる役割を有することができる。各学校は、生徒及び教師のグループ化に異なる理論を有することができる。各学校は、結果測定に対して異なる見方を有することもできる。幾つかの実施形態では、本明細書に開示されるシステム及び方法は、特に、事例書き込みツールから事例パッケージを受け入れ、コースディレクタが生徒及び教師を割り当てることを可能にし、掲示時刻及び決議日を特定し、及び／又は適切な格付け基準を設計するように構成することができる。実際問題として、このアプリケーション環境は、より大きなカリキュラム目標を満たすように個々の事例を適合させる。事例への参加は比較的単純であるべきである。管理アプリケーションが事例を生徒又は教師に割り当てると、議論環境の参加ツールは、割り当てをユーザに注意喚起し、単純な加入を通して掲示をクライアントに「プッシュ」し、直接掲示を可能にし、時間構成要素及び格付け発行を監視すべきである。

【0116】

参加ツールに多くのユーザが存在し、より少数のユーザが事例書き込みツールに存在し、非常に少数のユーザが事例管理ツールに存在すると考えられる。専門家は、他の専門家がＣＥクレジットにすることができる事例を提案又は提出することができる。生徒は、他の生徒の事例を書き込むことができる。事例数及び教師数等の学校及びプログラムによる事例の使用を現在制限している問題は、なくならないにしても低減することができる。

【0117】

幾つかの実施形態では、議論要素８０に対応する成績の評価は、以下のステップで提供される例示的な動作を含むことができる。

【0118】

ステップ１．１人又は複数の個人を有する議論グループが作成される。このグループは全て、各個人と同じクレジットを受け取る。個人は集合的に参加する。コホートはサブコホートに分割することができ、通常、議論を促進するために、サブコホートに分割される。現在の実施では、典型的なサブコホートは５〜１０人の生徒を有する。議論サブコホート総括報告書を生成することができる（ブロック８３）。個人議論要素８１に、マイクロコンピテンシ１６及びＲＶＵ１７を含むメタデータコードをメタタグ付けすることができる（ブロック８４）。例えば、通常、少なくともＲＶＵが、格付け者により定義され、タグ付けされる（ガイドラインを用いて主観的に）。マイクロコンピテンシをそのときに適用することもできるが、「思考の流れ（stream of thought）」型議論ではなくむしろ規定されたトピックに基づいてより初期に生成することもできる。結果コホートの定義を生成することができる（ブロック８５）とともに、要素解析後総括報告書（ブロック８６）を生成することができる。総括的評価８８の結果要素は、累積結果記憶データ収集１００に提出することができる。

【0119】

ステップ２．議論は、質問又はプロンプトで開始することができる。そのスレッド内で、個人はプロンプト及びグループへの他の生徒の参加に応答することができる。

【0120】

ステップ３．個人議論イベントは特に、一意の項目識別子、一意のスレッド識別子、掲示のタイムスタンプ（日時を含む）、一意のユーザ識別子、及び／又は掲示の本文を含むことができる。

【0121】

ステップ４．議論は時間により制限することができる。適切な報告間隔内のＩＤＥの全ての議論のタイムスタンプに基づいて、議論サブコホート総括報告書を評価のために生成することができる。議論サブコホート総括報告書は、議論評価ツールにより検証され、フォーマットするために送られることができる。このプロセスは、議論を第三者評価のために提示することができる。

【0122】

議論サブコホート総括報告書は、対応するマイクロコンピテンシ及びＲＶＵを各掲示に添える「格付け」のために提出することができる。評価者、格付け者、ホスト、他のプロンプト、及び／又は他の生徒は、テスト生徒（複数の場合もある）と対話して、知識の深さ、問題解決技能等を評価することができる。ＲＶＵは、部分的に主観的基準に基づくとともに、部分的に客観的基準（例えば、キーワード、テキスト長、議論時間等）に基づくことができる。システムは、今後の検索のために、議論格付け概要に議論テキスト自体を添付する議論後総括報告書を受け入れることができる。インタラクティブな人が生徒／テスト被験者又は生徒グループを「格付けする」ことにより、主観的加重値を提供することができ、主観的加重値は通常、１５分ずつの時間増分及び難しさに基づいて事前規定される範囲内にある。幾つかの実施形態では、単純な掲示は少なくとも０．１ＲＶＵの価値であることができる。

【0123】

これより図３を手短に参照し、図３は、掲示が格付けられているユーザインタフェースのスクリーンショット８０ｓである。スクリーンショット８０ｓは、名前（又は生徒識別子）による掲示作者、入力タイプ（例えば、生徒掲示コンテンツ、生徒掲示活動、生徒掲示その他、又は教師アドバイザの場合、教師掲示事例、教師ガイダンス、又は教師その他）、各掲示コンテンツ及び活動に対応するマイクロコンピテンシ等の表形式概要を、関連付けられたＲＶＵ及びコメントとともに含む。生徒概要ウィンドウ８０ｗは、掲示数、各生徒の合計ＲＶＵ、及びＩＤＥ全体の概要を含むことができる。ＩＤＥがＲＶＵ及びマイクロコンピテンシとともに完了すると、評価者「提出」入力を使用して、データを評価回路に提出することができる。

【0124】

これより図５を手短に参照し、図５は、Ｙａｍｍｅｒ（商標）議論からのＣＳＶファイルの一例を示す。議論コンテンツの評価及びタグ付けは、動的サーベイにより促進することができる。報告書（例えば、例えばＹａｍｍｅｒ（商標）から生成される）を使用し、規定されたサーベイツールを使用して、教師メンバー又は他の定められた人物が議論イベントを格付けするための動的「サーベイ」を作成することができることが意図される。上述したように、報告書は掲示本文のワードカウントを提供することができる。

【0125】

これより図４を参照し、図４は、議論様相８０に使用することができ、評価者が生徒及び掲示タイプのＩＤＥ８１（図１）にマイクロコンピテンシ及び関連付けられたＲＶＵを電子的に割り当てることを可能にするユーザインタフェースのスクリーンショット８０ｍを示す。ワードカウントを生成し、表示することができる。例えば、示されるように、ワードカウントは７５／１００である。トピック完了に進む入力（潜在的に残り時間リマインダを有する）及びコメント入力セクションを含むことができる。「次へ」及び／又は「提出する」等のユーザ入力を提供して、評価者又は他のユーザが次のステップに進み、又はデータを提出することができる。ユーザが概観画面に切り替えるために、「概観」ユーザ入力を提供することができる。全ての掲示が格付けられた後、議論サブコホート正規化総括報告書を生成することができる。全てのマイクロコンピテンシコードは有効として検証することができるが、その逆を検証するための未処理データはない。

【0126】

サブコホート情報は、この時点で非常に有用であることができる。コホートの各サブコホートは、ＲＶＵポイント割り当てに複数の機会を提供する。教授環境とは異なり、各サブコホートは一意の議論及び掲示を有する。結果専門家が判断して、各生徒の個人掲示に基づいて各個人に各自の格付けを付与し、及び／又は全員参加に対して全サブコホート参加クレジットを付与することができる。これは、議論環境及びカリキュラムニーズに基づいて行うことができる選択である。全ての掲示（テキスト又はマルチメディア）の終了時には、合格／不合格という「グループ格付け」の場所が存在することができる。生徒／ユーザの名前の他に、合格／不合格という個人の格付けの場所も存在することができる。

【0127】

検証議論サブコホート正規化総括報告書を累積解析グリッドに提出することができ、生徒が適切なコンピテンシに適切な数のポイントを受け取ったことを検証することができる。検証議論サブコホート正規化総括報告書は、次に、監査目的で「コミット済み」として保存することができる。

【0128】

掲示ごとに、格付け者は以下のうちのもう１つを評価することができる。
（１）掲示タイプ：プルダウンから、６つの可能な選択肢として以下に示される幾つかの可能性がある：
「教師掲示事例」、
「教師掲示ガイダンス」、
「教師掲示その他」、
「生徒掲示コンテンツ」、
「生徒掲示活動」、
「生徒掲示その他」。
（２）マイクロコンピテンシコード（複数の場合もある）：この入力は、複数のフィールド、例えば、３つのフィールドを含むことができ、掲示に関連付けられたマイクロコンピテンシを入力することができる（次に、ユーザは３つの最も近いマイクロコンピテンシを選択しなければならず、システムは、掲示のキーワード検索を提供し、適切であり得るマイクロコンピテンシを示唆することができる）。
（３）相対値ユニット：この入力は通常、例えば、数、例えば、１〜５を有するプルダウンを介して実施されるか、又はユーザにより選択されることができるフィールド制限等の０〜１０の範囲により制限される。
（４）コメント：コメントがないと想定されるが、メッセージ／段落を入力することができるフィールド。

【0129】

累積結果記憶
幾つかの実施形態では、システム１０は、生徒の共通の名前付け及び符号化が全ての様相及び／又は環境で使用され、及び／又は適切な変換器が使用されて、様々なシステム及び／又は累積解析エンジン間でデータがインポート及び／又は交換されるように構成することができる。

【0130】

３つ全ての環境が使用される（様相２０、４０、８０）場合、全ての様相２８、４８、８８からの検証された全ての正規化総括報告書（結果要素を有する）は、少なくとも１つのデータリポジトリ９０（例えば、生徒教育履歴アーカイブサーバ）に提出することができる。通常、報告書（例えば、結果要素）は、生成又は完了の際に提供することができるが、時間ベースの入力（アップロード又は他のデータ転送）で提供することもできる。
共通のデータリポジトリに記憶される各結果要素は以下のフィールドを含むことができる：
一意の要素ＩＤ、
一意のプログラムＩＤ、
一意の生徒ＩＤ、
日付、
教授、臨床、議論、
一次、改善、
マイクロコンピテンシ、
ＲＶＵ。
フィールドは、ソースファイルがこれらの要素フィールドにマッピング可能な場合、特定の順序である必要はない。

【0131】

解析グリッド
累積解析モジュール１００（図１、図２）は、時間の経過に伴うか、又は特定の所望時点で各生徒の様相２０、４０、８０に対応する１つ、２つ、又は全ての環境からのデータを解析するように構成することができる。したがって、図６に示されるように、システム／方法は、累積解析又はコンピテンシグリッド（competency grids）としても知られる累積評価グリッド２００を生成することができる。累積解析モジュール１００は、１つのサーバ若しくはホスト内に収容することができ、又は分散させることができる。さらに、累積解析モジュール１００及び／又はデータリポジトリ９０は、例えば、クラウドに基づくデータ記憶及び／又は処理等の分散計算リソースを使用して提供することができる。

【0132】

データ断面は、異なるデータの基本表現である。教育結果からのデータは、表現することが特に難しい場合がある。本明細書に開示される方法及びシステムからの利点は、コンピテンシ自体の概念に基づいて実現することができる。「コンピテンシ」又は「コンピテンシステートメント」は、関連する技能又はトピックの統合集計である。コンピテンシは規定により拡張可能である。任意のプログラムは、各自の概念及び手法に基づいてこれらの拡張可能概念を定める。グリッド２００は、コホート内の全生徒に相対するとともに、コホートのコンピテンシを表す相対トピックに相対する個々の生徒のデータを示す、方法内の全てのソースからのデータの表現である。

【0133】

教育は難しく複雑であり得る。あらゆる生徒は、事前知識及び異なる能力を用いて新しい教育経験を入力する。学科内のあらゆるプログラムは、特定のワークフォースのメンバーになることができるように生徒を訓練するように設計された経験を提供しようとする。それは化学者、作家、歯科医、技術者、又は任意の別の無数の専門家とすることができる。

【0134】

教育プログラムは、生徒に、カリキュラムと呼ばれる一連の経験を提示し、多くの異なる尺度を用いて成績を評価する。本明細書に開示されるシステム及び方法は、カリキュラム評価の様々な出力を「正規化」して、このデータの視覚表現を簡易化する一方法を生み出す。

【0135】

前の考察では、グリッドデータ表現を作成するシステム／方法に取り組んだ。この項では、データは、教育判断のために結果をグラフィックでよりよく表現するように操作される。

【0136】

生徒とコンピテンシとの断面には、「グリッドセル」がある。各グリッドセル２０１は、そのグリッド及びそのコホートに固有である。許されるデータに応じて、グリッドセル２０１は、そのコンピテンシに規定された各マイクロコンピテンシのその生徒の成績を計算する。全てのポイント及び部分ポイントの和が、例えば、小数位１まで表現することができる１つの数で表される。２つの別個のイベントを、個々のグリッドセル２０１に基づいて計算することができる。まず、コホート内の各生徒の合計生徒成績を計算することができる。次に、特定のコンピテンシの生徒データを様々なランキングについて解析することができる。各グリッドセル２０１の詳細は現在、特定のキーの組み合わせを用いて取得することができる。

【0137】

表示するデータを検出しないグリッドセル２０１は０で表すことができ、特に色分けされた背景を用いて、データがないことを示す。例えば、幾つかの実施形態は、グレーの背景が、データがないことを示すことができることを提供する。グリッドセル２０１内にデータを示さないことは、カリキュラムの前半では珍しくないが、訓練の後半段階での穴は、カリキュラムの欠陥を示すことができる。

【0138】

幾つかの実施形態では、全てのグリッドセル２０１の和は、規定された精度まで、例えば、示されるように、別個の列での小数位１まで、数を合算することができる。行は、最大数から最小数まで自動ソートすることができ、その結果、コホート内の生徒がランキングされる。新しいコンテンツが追加されると、行は自動ソートし、新しいランキングを生成することができる。

【0139】

グリッドセル２０１は、次に、コンピテンシごとに垂直に評価することができる。幾つかの実施形態は、全てのグリッドセル２０１からのデータを標準偏差３〜７に数学的にソートすることができることを提供する。幾つかの実施形態は、データが標準偏差５にソートされることを提供する。最高標準偏差値は、関連するグリッドセル２０１に金色の背景を用いて表すことができる。最低標準偏差は、関連するグリッドセル２０１に赤色の背景を用いて表すことができる。２番目、３番目、及び４番目の標準偏差は、例えば、最も明るいものから最も暗いものまでそれぞれの色合の緑色で表すことができる。結果は、管理者が、グリッド２００内の特定のトピックに基づいて生徒がどのようにランクしているかを見ることができるグラフィック表示である。さらに、生徒の特定の不得意分野は、赤色で「照ら」され、特定の得意分野は金色で示される。これにより、プログラムは、特定の弱みの改善及び特定の強みの認識に的を絞ることができる。本明細書に開示される色は、他の色を本発明の範囲及び趣旨内で使用可能であるという点で、非限定的な例である。

【0140】

２つの追加特徴が、標準偏差色分けを変更することができる。これらは「固い床」及び「ガラスの天井」と呼ぶことができる。管理者は、有能であるために必要とされる最小値を表す数値をグリッド２００に配置することができる。この「固い床」は、標準偏差に関わりなく、下回ると数が赤色で表される値を設定する。これは、達成しなければならない手順の数の最小標準値を設定する役割を果たすことができる。ガラスの天井手動指定は、それを上回る全グリッドセル２０１が金色で示される数である。この「ガラスの天井」により、管理者は、標準偏差に関わりなく、優秀性を表す閾値を決定することができる。このようにして、生徒はこの数を上回ることができ、コホート全体がこのレベルの優秀性を獲得することができる。

【0141】

幾つかの実施形態では、管理者により特に入力されない場合、高（金色）切り捨て（Gold Cutoff）及び低（赤色）切り捨て（Red Cutoff）をデフォルトで標準偏差に設定することができる。グリッド２００は自動的に、各マイクロコンピテンシ列の生徒上位（Student High）、生徒下位（Student Low）、及び平均（Average）を計算することができる。

【0142】

グリッド２００は、複数のマイクロコンピテンシが関連付けられるか、又は他のトピック若しくは関心のある分類子に基づく単一のトピックのものとすることができる。グリッドの各セル２０１は、生徒と、特に含まれるマイクロコンピテンシにより、及び含まれる環境によりフィルタリングされた生徒の成績（ＲＶＵ）と、の交点を表す。グリッドセル２０１では、ゼロＲＶＵに等しいものとして値を表すことはできず、グリッドセル２０１を空白のままにすることもできない。統計目的のために、空白値をゼロＲＶＵに等しくすることができる。幾つかの実施形態は、セルの行が、コホート内の各生徒を表すことができ、セルの列が各マイクロコンピテンシを表すことができることを提供するが、そのような構成は非限定的である。

【0143】

グリッド２００は、入力が提供される頻度に伴って変更することができる。例えば、幾つかの実施形態は、入力が毎日提供される場合、グリッド２００が毎日自動的に更新可能なことを提供する。例えば、経験環境からの毎日の報告書は、マイクロコンピテンシに関連付けられたポイントを提供し、ポイントは、時間の経過に伴ってグリッドに蓄積される。同じマイクロコンピテンシを複数のエリアに示すことができる。同様に、教授入力の場合、試験報告書は、教授試験からの正規化ポイントを提供することができ、累積解析のために提供することができる。教授入力及び経験入力の両方で、幾つかの実施形態は、米国オレゴン州のAxium XTS, Inc.のＡＸＩＵＭ（商標）プロジェクト管理ソフトウェアを使用することができることを提供する。ＡＸＩＵＭ（商標）が、翻訳器の使用を回避するようにマイクロコンピテンシコードに適合することができ、潜在的な実施エラーを低減することができる「カテゴリ」と呼ばれる拡張可能なメタタグを有すると考えられる。

【0144】

グリッド２００は、上述したようにインタラクティブであることができる。グリッド２００は、ユーザが、生徒に関連付けられたより多くのデータを明らかにする生徒を選択し、様々なサブトピック及び関連付けられたスコアを電子的に自動的に明らかにするマイクロコンピテンシを選択できるようにする、ＧＵＩ（グラフィックユーザインタフェース）等のＵＩ（ユーザインタフェース）を用いてディスプレイに提示することができる。このようにして、ユーザは、生徒データを用いてトレンドを解析することができ、例えば、落第している生徒、優等範囲内の生徒等の共通要因を探すことができる。したがって、例えば、落第しているとして識別された、より多くの生徒が同じクラスにいる場合、おそらくはそれは、そのクラスに問題があることを示すものである。

【0145】

インタラクティブグリッド２００は、ユーザがテーブルをクリック・アンド・ドラッグしてナビゲートし、セル固有の情報についてセル２０１のｃｔｒｌクリック、選択、及び／又はタッチ（接触又は接触ジェスチャ）を行うことができるように構成することができる。例えば、生徒ＩＤ番号及びコンピテンシスコアセルをクリックして、選択されたセルのコンテンツの作成に使用されたデータポイントを示すことができる。

【0146】

ユーザは掘り下げて、異なる基準、すなわち、プログラムへの参加年数、性別等の生徒グループを示すことができる。グリッド２００は、セル情報ポップアップコメントを含むことができ、ユーザがセルを選択（例えば、ｃｔｒｌクリック）する場合にアクセス可能であり、及び／又は示される情報は、グリッドにアクセスしているユーザのタイプにより決定することができる。

【0147】

評価での累積データは、カリキュラム、教育リソース、及び／又は生徒の先を見越した調整を可能にする他の共通要因を識別することができる。

【0148】

グリッド２００の幾つかの実施形態では、教授環境総括格付け入力は、経験格付け入力又は議論環境格付け入力の両方よりも、累積評価においてはるかに小さな関連性重みを有することができる。例えば、経験格付けの約４０％〜６０％及び議論総括格付けの３０％〜５０％と比較して、特定のマイクロコンピテンシの全体認知的評価スコアの約１０％が、教授総括格付けに基づくことができる。

【0149】

グリッド２００では、マイクロコンピテンシのサブセットとして「コンピテンシ」を拡張可能に規定することができる。データはデータリポジトリに蓄積されるため、グリッドは３つ全ての環境からの成績を動的に計算することができる。上述したように、最小閾値及び成績報酬をタグ付けすることができる。

【0150】

手短に上述したように、マイクロコンピテンシと呼ばれる共通トピック論理を使用するマッピングの要素は、トピックに階層ナンバリングラベルを提供することができる。幾つかの実施形態では、法的ナンバリング期間により隔てられる４レベルのこの階層がある。例は以下である。
０２−身体系を示す
０２．０８−消化器系を示す
０２．０８．０７−臨床歯科学を示す
０２．０８．０７．１３−レジン修復を示す
０１−全身分野を示す
０１．０６−ヒト免疫学を示す
０１．０６．０８−免疫処置を示す
０１．０６．０８．０１−ワクチンを示す

【0151】

幾つかの実施形態は、全てのトピックが４レベルの詳細を有するわけではないことを提供する。例えば、幾つかの結果は、第３のレベルをグループとして適宜テストすることができる。ナンバリング方式では、００を第４レベルのコードに追加することができる。

【0152】

カリキュラムプログラム内の異なる教育者は、異なる生徒評価ニーズを有することができ、したがって、結果の全身の異なるビューが必要である。「コンピテンシグリッド」は、同時閲覧のために関連するトピックを規定することができる。例えば、生徒が人体解剖学でどのような成績を挙げるかを見る必要があり得る。グリッドを作成して、解剖学のマイクロコンピテンシの全てを表すことができる。データはシステムにより解剖学によってパースすることができる。この例では、解剖学はグリッドの基礎であり、各システムは拡張可能なコンピテンシを表し、そのシステムの解剖学のマイクロコンピテンシは、グリッド２００のグリッドセル２０１で提示される生徒成績を規定する。

【0153】

グリッド２００では、各コンピテンシの定義は、管理者が何を表示すべきかを定めるために考慮するコードの単純なリストとすることができる。心臓血管系の解剖学の一例は以下である。
ＣＶＡＳ−正常な発達及び構造
０２．０６．０１．００
０２．０６．０１．０１
０２．０６．０１．０２
０２．０６．０１．０３
０２．０６．０２．００
０２．０６．０２．０１
０２．０６．０２．０２
０２．０６．０２．０３
０２．０６．０２．０４
０２．０６．０３．００
０２．０６．０３．０１
０２．０６．０３．０２
０２．０６．０３．０３
０２．０６．０３．０４
０２．０６．０３．０５
０２．０６．０３．０６
０２．０６．０３．０７
０２．０６．０３．０８
０２．０６．０３．０９
０２．０６．０３．１０
０２．０６．０３．１１
０２．０６．０３．１２
０２．０６．０３．１３
０２．０６．０３．１４
０２．０６．０３．１５

【0154】

コードが定義されると、グリッドセル２０１内の表現をフィルタリングする第２の要因はデータソースである。上述したように、議論環境、教授環境、及び臨床環境からのデータがある。任意のグリッド２００は、データソースの任意の１つ又は組み合わせから、指定されたマイクロコンピテンシからのデータをグリッドセル２０１に表示することができる。グリッドは、全てのデータ又は教授試験からのデータのみを示すようにすることができる。

【0155】

実際には、幾人かの生徒は、臨床講義中よりも試験を受けているときのほうがよい。これは、フィルタリングされたグリッド２００の表現で示される。上述したように、異なる管理者及び教育関係者は、カリキュラムからの異なる報告書を必要とする場合がある。特定のグリッドの作成により、これらのカスタマイズビューが可能である。

【0156】

データソースと同様に、フィルタリングは、改善要素の包含である。各データソース要素は、一次又は改善として指定することもできる。一次データは、あらゆる生徒が経験する結果要素を表すことができる。改善データは、特定の成績不良について或る特定の生徒を再テストするように的を絞られた結果要素を表すことができる。このようにして、管理者は、コホート全体の評価に一次のみを使用するグリッドを作成することができる。これにより、特定のグリッドを、或る特定の生徒に与えられる追加の仕事を示すようにすることができる。これは、改善の表現が可能なグリッドが、グリッドに「固い床」指定を含み、生徒が定義されたレベルのコンピテンシをいつ達成したかを示すことができることを提供する。

【0157】

或る特定のグリッドは、完了したカリキュラムの非常に広い解析を与えるようにされる。実際には、これは乗算誤差を生じさせるおそれがある。例えば、管理者が注意深くない場合、同じマイクロコンピテンシを同じグリッド内の複数のコンピテンシにおいて表現するおそれがある。最も良い実際例は、システム及び学科の両方が表されるグリッドである。同じマイクロコンピテンシが複数のコンピテンシにあり、マイクロコンピテンシが幾つかの結果を有する場合、生徒のランキングに誤って影響する乗算効果誤差がある。特定のマイクロコンピテンシの成績到達又は成績不良は、単一のマイクロコンピテンシに対して混ぜ合わせられる。幾つかの実施形態では、それが望ましい場合があるが、データ表現のスキューが予期されることがある。

【0158】

図７Ａ及び図７Ｂを手短に参照し、図７Ａ及び図７Ｂは、２つの階層コンピテンシリスト（コンピテンシグリッドに使用することができる）を、例示的な関連付けられたマイクロコンピテンシコードリストとともに示す。００．０１以下参照リストは「定量的方法」のものであり、その一方で、００．０２以下参照リストは「遺伝学及び胚形成の基礎」のものである。このようにして、コンピテンシ定義を担うカリキュラムの品質を評価する拡張可能メカニズムを提供することができる。さらに、３つ全てのタイプの教育技法を同時に評価することができる。正規化プロセスにより、あらゆる採用者は、所望に応じて解析をカスタマイズすることができる。さらに、各機関は評価ツールをカスタマイズすることができ、例えば、１５分時間正規化の代わりに、より短い又はより長い標準、例えば、５分又は３０分を使用することができる。次に、各機関は、機関間で比較する場合に更に正規化することができる異なるマイクロコンピテンシを生成することができる。

【0159】

これより図８を手短に参照し、図８は、異なるユーザに示すことができるデータのタイプを制限するダッシュボード３００の概略図である。システム１０の幾つかの実施形態は、誰がダッシュボード３００にログインするかに基づいて情報／機能を制限することができる。まず、ダッシュボードにアクセスすることになる３つのタイプのユーザのうちの１つとして、ユーザを特徴付けることができる。ダッシュボード（又はポータル）は、追加のダッシュボード要素が作成される場合、より具体的なアクセス権を規定することができる（Ｙａｍｍｅｒ（商標）格付け及びマイクロコンピテンシ管理）。幾つかの実施形態によるユーザタイプの例は以下を含む。
ユーザ：（教師、教授３０１）
・全ての情報及び機能にアクセスする。
教育（大学）管理者３０２
・コンピテンシグリッドのみを閲覧することができる（マイクロコンピテンシ管理又はｙａｍｍｅｒエリアにはアクセスできない）。
ＦＥＲＰＡ：ＦＥＲＰＡに準拠するために、生徒ＩＤ列を必要に応じて省くことができる。
生徒３０３
・コンピテンシグリッド２００内の各自のスコアのみを閲覧することができる。コンピテンシグリッド２００は、生徒データのみを示すようにカスタマイズすることができるが、グリッド２００は生徒上位及びクラス平均を示すこともできる。
他のユーザ３０４は、特に、教育アシスタント、スタッフ、アドバイザ、教育リソースの出版社（よりよい生徒結果をもたらす資料又は改良が必要な資料を識別する）、教師評価機能（報酬又は矯正補助（correctional help）のため）、認証評価サービス、及び／又は免許委員会を含むことができる。ここでも、プライバシー権利、雇用法等に準拠する必要に応じて、異なるユーザに提示されるデータのタイプを制御することができる。

【0160】

本明細書に開示される幾つかの実施形態は、健康科学科生徒、学校、クラス、教育資料（例えば、書籍）、及び／又はカリキュラムの評価に特に適することができる。しかし、他の実施形態を使用して、他の生徒、学校、カリキュラム、教師、クラス、リソース書籍等を評価することができる。「健康科学」という用語は、看護、歯科、薬学、医師、獣医、精神科医、心理学者、理学療法士、他の療法士及び専門家、特に特定の分野での実施に専門委員会の認可が必要とされ得る健康／科学分野の療法士及び専門家を含む医学関連教育分野を指す。

【0161】

多くの教育プログラムは、知識、技能、及び専門分野間問題解決の証明を必要とし得る。幾つかの実施形態は、教授フォーカス環境、技能ベースの環境、及び問題ベースの環境から成績を連続して（時間の経過に伴って）及び任意選択的に略同時に解析するシステム及びプロセスを提供する。教育結果は予測可能であり、先を見越して識別される認知的成功であることができる。

【0162】

図２を参照すると、システム１０は、電子コンピテンシ評価プラットフォーム１００ｐを含むことができる。「コンピテンシ評価プラットフォーム」という用語は、１つ又は複数のコンピテンシ分野に関連する定められた１つ又は複数のマイクロコンピテンシセットに関連するコンピテンシベースの教育環境において認知的結果を解析するために、異なるシステム及び定義された変数からのデータを受け入れ、及び／又はそれらの組み合わせを統合することができるモジュール、回路、及び／又はプロセッサを指す。コンピテンシ評価プラットフォーム１００ｐは、形成的及び総括的評価構成要素により定められるコンピテンシの進行中の略一定（例えば、時間の経過に伴って更新されるが、必ずしもリアルタイムである必要はない）の累積解析を作成することができる。

【0163】

本明細書に開示される幾つかの実施形態は、全てのプラットフォームからの略全ての結果がコンピテンシに向けて構築されることを意図する。したがって、全てのイベントが同じ基準を使用する場合、全ての形成報告書を共通解析に集計することができる。例えば、各個人に、イベントごとのマイクロコンピテンシごとの或る特定数のポイントに対するクレジットを付与することができる。コンピテンシの認知的結果をマイクロコンピテンシの集計として表すことができる場合、無限数の累積解析を同じデータセットから生成することができる。累積解析ステップに使用することができる幾つかのステップの例を以下にまとめる。

【0164】

ステップ１．累積データ記憶装置が、個人のあらゆる結果イベントのうちの１つ又は複数のデータリポジトリとして規定される。ソースプラットフォーム（教授、臨床、又は議論）に関係なく、個人には、各マイクロコンピテンシに関連付けられたポイントに対してクレジットを付与することができる。数千のこれらのイベントを、時間の経過に伴い、プラットフォーム及び評価にわたって蓄積することができる。

【0165】

ステップ２．本明細書に開示される累積解析マッピングは、未処理データを表示及び解析のためにいかに集計するかを規定する能力を機関に提供することができる。コンピテンシは、機関が成績を評価するために使用するコンテンツのサブセットのステートメントである。マッピングにより、機関は、マイクロコンピテンシの異なる組み合わせに関してコンピテンシを規定することができる。幾つかの実施形態は、異なる詳細度の複数のマップが存在可能なことを提供する。各コンピテンシは、各マイクロコンピテンシの成績を結合することにより個人の成績を集計することができる。想定される相互参照は、コホートを構成する個人の集合である。マッピングにより、機関はどの個人がコホートを構成するかを特定することができる。

【0166】

ステップ３．追加のクロスコホートデータを評価し、同じグリッドに配置することができる。例えば、最大成績、最小成績、コホート平均、達成可能な最小レベル、及び関心のある他の項目を評価し、グリッドに配置することができる。

【0167】

ステップ４．１つ又は複数の表示グリッド２００に示すことが望ましいデータを規定することができる。

【0168】

本発明の幾つかの実施形態は、ユーザインタフェース、アプリケーション処理論理、及び／又は基本データベース（複数の場合もある）を論理的に別個のプロセスにカプセル化することができるコンピューティングアーキテクチャを使用することができる。この種のコンピューティングアーキテクチャを利用する任意の所与のアプリケーションでは、階層の数は、特定のアプリケーションの要件に応じて可変であることができ、したがって、そのようなアプリケーションは一般に、ｎ層アーキテクチャを利用するものとして説明される。例えば、Exforsys.com, N-Tier Client-Server Architectureを参照のこと。例えば、本発明の幾つかの実施形態は、一般にクライアント−サーバアーキテクチャと呼ばれる２層アーキテクチャを利用することができ、このアーキテクチャでは、ウェブブラウザ等のクライアントアプリケーションがウェブサーバに要求を行い、ウェブサーバが要求を処理し、所望の応答（この場合、ウェブページ）を返す。本発明の他の実施形態は、ピア・ツー・ピア又は３層若しくは他のより大きな多層アーキテクチャとして構築することができる。３層若しくは他のより大きな多層アーキテクチャの場合、ウェブサーバは、ウェブブラウザにより要求されるウェブページを生成することによりユーザインタフェースを提供し、ウェブブラウザは、動的ＨＴＭＬ（ハイパーテキストマークアップ言語）等の、認識される言語でコードを受信して表示し、アプリケーションサーバで実行されているミドルウェアがビジネス論理を処理し、データベースサーバがデータ機能を管理する。多くの場合、ビジネス論理層を更なる別個の層に精密化して、管理可能性、拡張可能性、及び／又はセキュリティを増強することができる。

【0169】

したがって、幾つかのウェブベースのヒアリングサービスでは、ウェブアプリケ−ションは、プレゼンテーション層、ビジネス論理層、及び生徒記録データ層を有する３層アーキテクチャを使用することができる。ウェブアプリケーション層は、単一のアプリケーションサーバで実施することができ、又は複数のアプリケーションサーバにわたって分散することができる。例えば、プレゼンテーション層は、ユーザが生徒応答を要求し、生徒と教育者（例えば、教師又は教授）とが通信できるようにするウェブページを使用して、議論様相８０を提供することができる。プレゼンテーション層は、他のアプリケーション層のうちの１つ若しくは複数、又は第三者サービスプロバイダにより提供される利用可能な構成要素若しくはウェブサービスにアクセスすることにより、ビジネス論理層及び／又は生徒記録データ層等のアプリケーション内の他の層と通信することができる。プレゼンテーション層は、別の層と通信して、認可ユーザが生徒記録データ及び／又はデータベースに記憶されたマイクロコンピテンシコード、プロシージャ、命令、又はプロトコルにアクセスできるようにすることができる。ビジネス論理層は、コマンドを処理し、ユーザアクセスを制限し、データを評価することによりアプリケーションの機能を調整することができる。ビジネス論理層の機能は、例えば、ウェブサービスの使用により他のアプリケーション層にアクセス可能にすることができる。ビジネス論理層は、ユーザを分け、区別することができる論理、命令、又はセキュリティを提供することもできる。生徒データ記録層がプライベート生徒記録データを保持し、ＦＥＲＰＡ又は他のプライバシー規制に準拠するために、非承認相手からのそのような記録をカプセル化することができる一方、生徒記録データ層は、例えばウェブサービスによりアクセス可能な、例えば記憶されたプロシージャ、論理、命令等を通してデータを利用可能にすることができる。

【0170】

図９は、本発明の実施形態により実行されて、コンピテンシに基づく様式で生徒認知的進度を評価することができる方法ステップの一例である。示されるように、生徒及びマイクロコンピテンシに相関付けられた、教授テストイベントのＲＶＵは、生徒データ記録リポジトリ（例えば、１つ又は複数のサーバ等のメモリを有するデータベース）に送信され収集される（ブロック２０８、２２５）。同様に、生徒及びマイクロコンピテンシに相関付けられた、経験イベントのＲＶＵも、生徒データ記録リポジトリに送信され、収集される（ブロック２１０、２２５）。生徒及びマイクロコンピテンシに相関付けられた、議論イベントのＲＶＵは、生徒データ記録リポジトリに送信され、収集される（ブロック２２０、２２５）。同じ又は異なるリポジトリを使用することができ、例えば、異なる生徒、学校、異なるタイプの生徒記録等に異なるリポジトリを使用することができる。収集されたＲＶＵをマイクロコンピテンシで合算することにより、各生徒の累積解析報告書を生成することができる（ブロック２３０）。報告書は、時間の経過に伴い自動的に（例えば、日ごと、週ごと、月ごと）生成することができ、及び／又は要求時に生成することができる。特定のトピック（例えば、マイクロコンピテンシ）の満足認識を確立する最小閾値は、教育進度を考慮するように、規定されたユーザ（生徒ではない）により時間の経過に伴って変更することができる。報告書は、上述したように、ユーザに基づくアクセス特権に応じて、データを遮断するか、又はデータの規定されたフィールドのみを提示するようにカスタマイズすることができる。報告書（特に、生徒識別子が提示される）は、電子メールアカウントに送信することができるか、又はセキュア（制限付き）ウェブポータルに配置することができる。生徒は、ログイン時又はセットアップ時に、そのような報告書を受信する頻度を規定することができる（又はそのような報告書はデフォルト動作に基づくことができる）か、又は生徒は、ウェブポータルにアクセスすることにより報告書を要求することができる。幾つかのシステムは、累積総括報告書が、１つ又は複数のマイクロコンピテンシスコアがその時点で所望の閾値を下回ることを示す場合、生徒に報告書を自動的に送信することができる。

【0171】

当業者には理解されるように、本発明の実施形態は、方法、システム、データ処理システム、又はコンピュータプログラム製品として具現することができる。したがって、本発明は、全体的にソフトウェア実施形態又はソフトウェア態様とハードウェア態様とを組み合わせた実施形態の形態をとることができ、本明細書では全て一般に「回路」又は「モジュール」と呼ばれる。さらに、本発明は、媒体に具現されるコンピュータ使用可能プログラムコードを有するコンピュータ使用可能記憶媒体上のコンピュータプログラム製品の形態をとることができる。ハードディスク、ＣＤ ＲＯＭ、光学記憶装置、インターネット若しくはイントラネットをサポートするような伝送媒体、又は磁気若しくは他の電子記憶装置を含む任意の適したコンピュータ可読媒体を利用することができる。

【0172】

本発明の動作を実行するコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＃、又はＣ＋＋等のオブジェクト指向プログラミング言語で書くことができる。しかし、本発明の動作を実行するコンピュータプログラムコードは、「Ｃ」プログラミング言語等の従来のプロシージャプログラミング言語又はビジュアルベーシック等のビジュアル指向プログラミング環境で書くこともできる。

【0173】

プログラムコードのうちの幾つかは、ユーザコンピュータのうちの１つ又は複数で全体的に、ユーザのコンピュータで部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータで部分的かつリモートコンピュータで部分的に、又はリモートコンピュータで全体的に実行することができる。リモートコンピュータで全体的に実行される場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を通してユーザコンピュータに接続することができ、又は外部コンピュータに接続することができる（例えば、インターネットサービスプロバイダを使用してインターネットを通して）。通常、幾つかのプログラムコードは、少なくとも１つのウェブ（ハブ）サーバで実行され、幾つかは少なくとも１つのウェブクライアントで実行することができ、インターネットを使用してサーバ（複数の場合もある）とクライアントとの間で通信する。

【0174】

本発明について、本発明の実施形態による方法、システム、コンピュータプログラム製品、並びにデータ及び／又はシステムアーキテクチャ構造のフローチャート図及び／又はブロック図を参照して部分的に後述する。図の各ブロック及び／又はブロックの組み合わせはコンピュータプログラム命令により実施することができることが理解されよう。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサに提供して、コンピュータ又は他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、１つ又は複数のブロックにおいて指定される機能／動作を実施する手段を生成するように、機械を生成することができる。

【0175】

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置に、コンピュータ可読メモリ又は記憶装置に記憶された命令が、１つ又は複数のブロックにおいて指定される機能／動作を実施する命令手段を含む製品を生成するように特定の様式で機能するように命令することができるコンピュータ可読メモリ又は記憶装置に記憶することもできる。

【0176】

コンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置にロードして、一連の動作ステップをコンピュータ又は他のプログラマブル装置で実行させて、コンピュータ又は他のプログラマブル装置で実行される命令が、１つ又は複数のブロックにおいて指定される機能／動作を実施するステップを提供するようなコンピュータ実施プロセスを生成することもできる。無線又はハードワイヤード通信システム（セルラ電話等）、ＰＤＡ、デスクトップ、又はラップコンピュータ若しくはハンドヘルドコンピュータ、ノートブックコンピュータを含むポータブルコンピュータ等を含む、インターネットにアクセスすることができる任意の所望の装置を介してインターネットにアクセスすることができる。

【0177】

図１０を参照すると、幾つかの実施形態では、システム１０は、少なくとも１つのウェブサーバ３１０（Ｙａｍｍｅｒ（商標）等のオンライン通信プロバイダにより提供することができる）及び複数のウェブクライアント３３５１〜３３５２を含む。２つのウェブクライアントとして示されるが、ウェブクライアントの数は実質的に３つ以上とすることができ、機関（参加生徒数、管理者数、及び教師／教授又は他の教育者の数）により可変とすることができ、通常、登録ユーザ数に対応して各機関で１００〜１００００であり、又は更に多数である。ユーザの一部は、例えば、図１０に示されるように、ＰＤＡ及び／又はセルラ電話３３５３を含む、ウェブサイト閲覧能力を有する任意の適した装置を介して、システム１０と通信することができる。したがって、例えば、教授ユーザは、ＰＤＡ（携帯情報端末）、ノートブック、又はウェブ閲覧能力を有するセルラ電話（又はパームコンピュータ、ラップトップコンピュータ、若しくはデスクトップコンピュータ）を使用してインターネット３００を介して議論イベント中に生徒ユーザと通信することができる。

【0178】

少なくとも１つのウェブサーバ３１０は、単一のウェブサーバを制御ノード（ハブ）として含むことができ、又はウェブポータル３１０ｐを提供する複数のサーバ（図示せず）を含むことができる。システム１０はルータ（図示せず）を含むこともできる。例えば、ルータは、データ交換又はアクセスに対してプライバシー規則を調整することができる。２つ以上のサーバが使用される場合、異なるサーバ（及び／又はルータ）は、異なるタスクを実行することができ、又はタスク若しくはタスクの部分を共有することができる。例えば、システム１０は、以下のうちの１つ又は２つ以上の組み合わせを含むことができる：セキュリティ管理サーバ、登録参加者／ユーザディレクトリサーバ、生徒記録管理サーバ等。システム１０は、ファイアウォール及び他のセキュア接続並びに通信プロトコルを含むことができる。インターネットベースのアプリケーションでは、サーバ３１０及び／又は関連付けられたウェブクライアント３５の少なくとも幾つかは、ＳＳＬ（セキュアソケットレイヤ）及び高レベルの暗号化を使用して動作するように構成することができる。さらに、インターネットの偏在性により、ウェブアクセス装置はサイト間で容易に移動させることができる。さらに、追加のセキュリティ機能を提供することもできる。例えば、ＳＳＬ通信又はインターネットプロトコルセキュリティアーキテクチャ（ＩＰＳｅｃ）等の仮想私設ネットワーク（ＶＰＮ）技術をサポートする通信プロトコルスタックをクライアント及びサーバに組み込むことにより、生徒サイトと他のサイトとの間にセキュア通信を提供することができ、それにより、プライバシーが保障される。

【0179】

サーバ３１０は、中央管理及び管理アプリケーションを提供することができる。サーバ３１０は、セッション管理、追跡及びログ記録システム管理、作業負荷管理及びメンバーサービスを提供するように構成することができる。サーバ３１０は、参加者／ユーザプロファイル、セキュリティディレクトリ、ルーティングセキュリティ規則、及び生徒記録を含む複数のデータベースを含むか、又はそれらの複数のデータベースと通信することができる。サーバ３１０は、ＩＢＭ ＷｅｂＳｐｈｅｒｅアプリケーションサーバを含むことができるウェブアプリケーションサーバ（ＷＡＳ）、ＬＤＡＰディレクトリサーバ等のディレクトリサーバ等であるが、これらに限定されないウェブシステムに統合される幾つかのサブサービスを含むことができるとともに、Ａｎｏｎｙｍｏｕｓ Ｇｌｏｂａｌ Ｐａｔｉｅｎｔ Ｉｎｄｅｎｔｉｆｉｅｒ（ＡＧＰＩ）サーバ、ＤＢ２サーバ、及び簡易メール転送プロトコル（ＳＭＴＰ）サーバを含むことができる。本明細書では「サーバ」と記載されるが、他の適したコンピュータ構成を使用可能なことに留意する。サーバ３１０には、ポータルサイトに見られるウェブアプリケーション機能を構成することができる。サーバ３１０は、Ｗｅｂ Ｓｐｈｅｒｅ Ｂｕｓｉｎｅｓｓ Ｉｎｔｅｇｒａｔｉｏｎ（ＷＢＩ）サーバを含むことができ、及び／又はＷＢＩとして構成することができる。ウェブサーバ３１０はウェブベースの管理アプリケーションを含むことができる。ウェブアプリケーションを使用して、ユーザが参加者として登録し、アクセス制御リスト（ＡＣＬ）を管理し、ユニバーサルＩＤ又はパスワードアクセスを使用してログオンし、ログオフし、プロファイルプリファレンスを定義し、検索し、議論イベントに参加する等を実行できるようにすることができる。

【0180】

ウェブクライアント３３５１〜３３５２には、異なるユーザ及び異なるユーザカテゴリ又はタイプを関連付けることができる。各カテゴリ又はタイプは、システム１０に関連付けられた動作又はデータに異なる「特権」又はアクセスレベルを有することができる。例えば、システム１０は、生徒ユーザ、管理ユーザ、及び教師／教授ユーザを含むことができ、各ユーザは、システムにより可能なデータ及び／又は動作に対して異なるアクセスレベル又は制限を有することができる。

【0181】

ウェブクライアント３３５１、３３５２は、異なるタイムゾーン及び異なる州、又は更には異なる国にある異なる地理的場所に分散することができる。他の実施形態では、ウェブクライアント３５は単一の教育センターにあることができる。異なるユーザタイプが異なる地理的場所にあることができる。

【0182】

上述したように、クライアントは、ウェブカム又はカメラを含むことができ、例えば、幾つかの議論又は幾つかの経験イベント中でのマルチメディア通信を可能にする。

【0183】

図１１は、本発明の幾つかの実施形態により動作する装置に含むことができる例示的なデータ処理システム又はデータベース環境を示す。図１１に示されるように、データ処理システム１１６は、ハブ及び／又はウェブアプリケーション（例えば、管理サーバを含む）の動作を実行又は指示するために使用することができ、プロセッサ１３８、メモリ１３６、及び入／出力回路１４６を含む。データ処理システムは、例えば、パーソナルコンピュータ、サーバ、ルータ、又はウェブアクセス／機能を有する他の装置のうちの１つ又は複数に組み込むことができる。プロセッサ１３８は、アドレス／データバス１４８を介してメモリ１３６と通信するとともに、アドレス／データバス１４９を介して入／出力回路１４６と通信する。入／出力回路１４６を使用し、例えば、インターネットプロトコル（ＩＰ）接続を使用して、メモリ（メモリ及び／又は記憶媒体）１３６と別のコンピュータシステム又はネットワークとの間で情報を転送することができる。これらの構成要素は、本明細書に記載のように動作するように構成することができる多くの従来のデータ処理システムで使用されるような従来の構成要素とすることができる。

【0184】

特に、プロセッサ１３８は市販のものであることができ、又はカスタムマイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ等であることができる。メモリ１３６は、本発明の実施形態により使用される機能回路又はモジュールの実施に使用されるソフトウェア及びデータを含む任意のメモリ装置及び／又は記憶媒体を含むことができる。メモリ１３６は、以下のタイプの装置を含むが、これらに限定されない：キャッシュ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＳＲＡＭ、ＤＲＡＭ、及び磁気ディスク。本発明の幾つかの実施形態では、メモリ１３６はコンテンツアドレッサブルメモリ（ＣＡＭ）とすることができる。

【0185】

図１１に更に示されるように、メモリ（及び／又は記憶媒体）１３６は、データ処理システムで使用される幾つかのカテゴリのソフトウェア及びデータ、オペレーティングシステム１５２、アプリケーションプログラム１５４、入／出力装置ドライバ１５８、及びデータ１５６を含むことができる。アプリケーションプログラムは、ユーザレジストリモジュール１２０、マイクロコンピテンシ累積解析モジュール１２４、生徒データ記録モジュール１２５等を含むことができる。データ１５６は、規定されたアクセスレベル１２６を有するユーザプロファイルを有することができる。ユーザプロファイル１２６は、追加又は代替として、アプリケーションプログラムを含むことができる。

【0186】

データ処理システム１１６は、電子的に記憶された生徒テスト記録及び基本コホートデータにアクセスし、テストトレンドのグラフの視覚的出力／表示を生成することができるトレンド解析モジュール（図１１に関して上述したモジュールと同様のアプリケーションプログラムであることができる）を含むことができる。トレンドは、電子的に生成し、クライアント３５（例えば、管理者、教授／教師、又は生徒）に関連付けられたディスプレイに示すことができる。トレンドは、グラフィック形態であることができるとともに、少なくとも部分的に結果に基づいて、落第リスク又はカリキュラムへの介入若しくは調整の必要性を示す。システム１０は、生徒（又は生徒グループ若しくは特定のクラス）が最小未満として識別される場合、報告書頻度を増大させる「フラグ」を生成するように構成することができる。システム１０は、電子メール、郵便を介して、及び／又はテキストメッセージ若しくは他の適した通信プロトコルを使用して、生徒、アドバイザ、教授／教師に注意喚起して、１つ又は複数のマイクロコンピテンシでのマイナストレンド又は「落第」のうちの１つ又は複数を通知するように構成することもできる。

【0187】

当業者には理解されるように、オペレーティングシステム１５２は、Microsoft, Inc.からのもの（Ｗｉｎｄｏｗｓ（登録商標））、Apple Computer, Inc.からのもの（ＭａｃＯＳ）、Wind Riverからのもの（ＶｘＷｏｒｋｓ）、RedHatからのもの（Ｌｉｎｕｘ（登録商標））、LabViewからのもの、又はプロプライエタリオペレーティングシステム等であるが、これらに限定されないデータ処理システムとの併用に適する任意のオペレーティングシステムとすることができる。入／出力装置ドライバ１５８は通常、入／出力回路１４６及び或る特定のメモリ１３６構成要素等の装置と通信するために、アプリケーションプログラム１５４がオペレーティングシステム１５２を通してアクセスするソフトウェアルーチンを含む。アプリケーションプログラム１５４は、本発明の幾つかの実施形態による回路及びモジュールの様々な特徴を実施するプログラムの例である。最後に、データ１５６は、アプリケーションプログラム１５４、オペレーティングシステム１５２、入／出力装置ドライバ１５８、及びメモリ１３６に常駐することができる他のソフトウェアプログラムにより使用される静的及び動的データを表す。

【0188】

本発明は、図１１のアプリケーションプログラム１２０、１２４、１２５を参照して示されるが、当業者に理解されるように、他の構成も本発明の範囲内にある。例えば、アプリケーションプログラム１５４であるよりはむしろ、これらの回路及びモジュールは、オペレーティングシステム１５２又はデータ処理システムの他のそのような論理区画内に組み込むこともできる。さらに、アプリケーションプログラム１２０、１２４、１２５（１２２）は、単一のデータ処理システム内のモジュールとして示されるが、当業者に理解されるように、そのような機能は１つ又は複数のデータ処理システムに分散させることもできる。したがって、本発明は、図１１に示される構成に限定されるものとして解釈されるべきではなく、他の構成及び／又はデータ処理システム間の機能の区画により提供することもできる。例えば、図１１は様々な回路及びモジュールを有するものとして示されるが、これらの回路又はモジュールの１つ又は複数は、本発明の範囲から逸脱せずに組み合わせることができる。

【0189】

通常、「搭載」又は顧客セットアップ中、クライアント３５はネットワーク又はシステム１０に持ち込まれ、法的又は組織制度に基づいて、或る特定のタイプのデータ（及び／又はデータのコンテンツ）を送信及び／又は受信する１つ又は複数のプライバシーレベルが割り当てられる。組織は１つ又は複数のウェブクライアント３５を含むことができ、各ウェブクライアント３５には１つ又は複数の異なるプライバシーレベルが割り当てられる。プライバシーレベルは、エンティティ又はそのエンティティに関連付けられた人物がどのデータを受信、送信、又はアクセスすることができるかを規定することができる。

【0190】

これより図１２を手短に参照し、図１２は、本発明の幾つかの実施形態によるサブコホートマネージャのグラフィカルユーザインタフェースのスクリーンショットである。示されるように、特定の個人を包含又は除外することにより、生徒グループを作成し、及び／又は変更することができる。示されるように、いかなる個人もサブコホート例から除外されるもの（Excluded）として示されていない。幾つかの実施形態では、生徒グループを使用して、インタラクティブ評価グリッド２００のグリッド行（図１６、２０２）を規定することができる。

【0191】

これより図１３を手短に参照し、図１３は、本発明の幾つかの実施形態による格付け後の総括報告書のグラフィカルユーザインタフェースのスクリーンショットである。「掲示作者（Post Author）」列に列挙される特定の掲示作者が、スクリーンショットから編集されることに留意する。報告書内の各ラインは、議論イベントで行われた単一の掲示に対応する。掲示ごとに、掲示のタイプ（例えば、生徒掲示活動（Student Post Logistics）、生徒掲示コンテンツ（Student Post Content）、教師掲示ガイダンス（Faculty Post Guidance）、生徒掲示その他（Student Post Other）等）、該当するマイクロコンピテンシの識別情報、及び対応するＲＶＵを列挙することができる。加えて、コメントフィールドが提供されて、各掲示の任意のコメントを受け取り記録する。

【0192】

これより図１４を参照し、図１４は、本発明の幾つかの実施形態による、データがグリッドに提出される前の掲示検証報告書のグラフィカルユーザインタフェースのスクリーンショットである。掲示検証報告書は、議論イベントでの生徒及び対応するＲＶＵをまとめたＲＶＵコミット概要（RVU Commit Summary）部を提供することができる。さらに、生徒掲示（Student Posts）部は、議論イベント内の各生徒並びにマイクロコンピテンシ及びそこで獲得される対応するＲＶＵの詳細な報告書を提供することができる。さらに、グループ概観（Group Overview）部は、グループ合計マイクロコンピテンシ及び議論イベントで獲得された対応するＲＶＵの詳細な報告書を提供することができる。

【0193】

これより図１５を参照し、図１５は、本発明の幾つかの実施形態による、提出された報告書を管理するグラフィカルユーザインタフェースのスクリーンショットである。ユーザインタフェースは、「コミット済み（committed）」ステータスインジケータ及び各コミット済み議論イベントの日付（Date）、コース（Course）識別子、グループ（Group）識別子、及び格付け概要（Grading Summary）の列を含むことができる。

【0194】

これより図１６を参照し、図１６は、本発明の幾つかの実施形態による、単一のシステムを表示するようにパースされた例示的なインタラクティブ評価グリッド２００の部分スクリーンショットである。上述したように、評価グリッドはインタラクティブであるため、グラフィカルユーザインタフェースと呼ばれることもある。示されるように、パースされたグリッドは、骨格筋系（Musculoskeletal System）に対応するグリッドデータを表す。生徒識別子（Student#）は、画面から編集されるが、異なる生徒に対応する一意の識別子であり、グリッド内の行に対応することが理解される。グリッド内の列は、骨格筋系でのサブトピックに対応し、及び／又は骨格筋系に関連する。骨格筋系内のポイントの総数並びに各サブトピックの上位点、下位点、及び平均点を提供することができる。

【0195】

これより図１７を参照し、図１７は、本発明の幾つかの実施形態による、インタラクティブ評価グリッドを管理するグラフィカルユーザインタフェースの部分スクリーンショットである。グリッドマネージャ（Grid Manager）は、現在定義されている各グリッドを列挙することができる。このようにして、複数のグリッドが編集用に提示される単一のインタフェース画面が、選択及びアクセスを提供することができる。

【0196】

これより図１８を参照し、図１８は、本発明の幾つかの実施形態による、パースされて学科によりデータを解析する例示的なインタラクティブ評価グリッドの部分スクリーンショットである。示されるように、パースされたグリッドは、解剖学学科（Anatomy Discipline）に対応するグリッドデータを表す。生徒識別子（Student#）は、画面から編集されるが、異なる生徒に対応する一意の識別子であり、グリッド内の行に対応することが理解される。グリッド内の列は、解剖学学科でのサブトピックに対応し、及び／又は解剖学学科に関連する。解剖学科内のポイントの総数、並びに各サブトピックに対応する上位点、下位点、及び平均点を提供することができる。

【0197】

図１９を参照し、図１９は、本発明の幾つかの実施形態によるグラフィカルユーザインタフェースの部分スクリーンショットである。ユーザインタフェースの幾つかの実施形態は、１つ又は複数の様相の選択的閲覧を可能にするとともに、解析時間間隔の規定を提供するインタラクティブ評価グリッドの構成要素を含む。例えば、解析時間間隔は、開始時間及び停止時間及び／又は所望の間隔の日付を特定することにより選択することができる。

【0198】

図２０を参照し、図２０は、本発明の幾つかの実施形態による、コホートマネージャのグラフィカルユーザインタフェースのスクリーンショットである。示されるように、コホートマネージャを使用して、どの生徒及び教師がコホートに含まれるかを特定することができる。例えば、生徒名又は教師名を選択し、除外（Excluded）ウィンドウから包含（Included）ウィンドウに移動させて、コホートのメンバーを識別することができる。

【0199】

これより図２１を参照し、図２１は、本発明の幾つかの実施形態による、インタラクティブ評価グリッドを管理するグラフィカルユーザインタフェースの部分スクリーンショットである。示されるように、ここでは、例えば、「０３解剖学学科（03 Anatomy Discipline）」等のコンピテンシが、複数のマイクロコンピテンシにより規定することができるか、又は複数のマイクロコンピテンシに対応することができ、該複数のマイクロコンピテンシは、関連付けられたスクロール可能なウィンドウに列挙し表示することができる。

【0200】

これより図２２を参照し、図２２は、本発明の幾つかの実施形態による、項目解析が実行された後の未処理のインポート試験データを示すグラフィカルユーザインタフェースのスクリーンショットである。教授試験は、二値選択することができるようにテスト被験者に提示される一連の二値イベントである。本明細書に開示される学習管理システムは、特定のコホートの完了した試験の結果とは無関係である。幾つかの実施形態では、試験の結果は、テスト項目ごとに以下のデータを含む単純な区切りファイルである：一意の生徒識別子、テスト項目識別子、マイクロコンピテンシコード、二値選択肢（不正解の場合は０、正解の場合は１）、及び関連する値ユニット。１００の質問を有する１０人の生徒への試験の場合、結果生成されるファイルは、これらの４列のデータに１０００行を有することになる。幾つかの実施形態は、ファイルがインポートされる場合、３つの追加項目、すなわち、プログラム識別子（学校、大学等）、試験日、及びコース識別子を追加することができることを提供する。未処理データがデータソース環境にダイジェスト化されると、未処理データは、未処理インポートファイルとして、確認の最初のチェックとして厳密に列挙される。示されるように、未処理インポート試験データは、各テスト項目識別子の行を含む。幾つかの実施形態では、各行は、生徒の氏名（又は識別子）、テスト項目識別子（すなわち、どの試験の質問か）、関連付けられたマイクロコンピテンシ、及び獲得されたＲＶＵを含むことができる。未処理データがデータソース環境にダイジェスト化されると、未処理データは、未処理インポートファイルとして、確認の最初のチェックとして厳密に列挙される。元の区切りファイルとの比較は手動又はプログラム的に行うことができる。

【0201】

図２３を参照し、図２３は、本発明の幾つかの実施形態による、確認準備の際に未処理データ報告書をチェックするグラフィカルユーザインタフェースの部分スクリーンショットである。いくつの行が未処理インポート表示にあるかを列挙する格付け概要との比較は、試験データに対応するデータの包含不足及び／又は包含過剰を識別する際に有用であることができる。

【0202】

この時点で、管理者は、二値提示からマイクロコンピテンシ提示に変換するために未処理データを「コミット」する。各生徒は、マイクロコンピテンシによるポイントの概要を用いて表現される。一試験の複数の質問は、同じマイクロコンピテンシ指定を有することができる。次に、ポイント（ＲＶＵ）の総数が、学習管理システムが二値提示で計算した元のポイント数と突き合わせて確認される。したがって、このステップは個々のテスト項目をトピック関連結果に変換する。

【0203】

図２４を参照し、図２４は、本発明の幾つかの実施形態による、データがコミットされる前のＲＶＵコミット概要画面を示すグラフィカルユーザインタフェースのスクリーンショットである。ステータス「コミットされていない（Not Committed）」で示されるように、データがコミットされる前、ＲＶＵコミット概要（RVU Commit Summary）内のＲＶＵは０．０として表示されることに留意する。

【0204】

これより図２５を参照し、図２５は、本発明の幾つかの実施形態による、マイクロコンピテンシコードにより収集され統合されたデータを示すグラフィカルユーザインタフェースの部分スクリーンショットである。生徒スコア（Student Scores）が、管理者又は他の評価者がデータをコミットするために表示される。生徒ごとに、合計ＲＶＵが示され、各マイクロコンピテンシのＲＶＵが列挙される。幾つかの実施形態は、例えば、ボタン又はチェックボックス等の承認インタフェースを提供する。別個のステップとして、管理者は手動で、チェックステップを用いてＲＶＵの数が正しいことを確認する。

【0205】

これより図２６を参照し、図２６は、本発明の幾つかの実施形態による、マイクロコンピテンシコードにより収集され統合され、全ての生徒に正しいスコアを提供することが検証されたデータを示すグラフィカルユーザインタフェースのスクリーンショットである。データが検証されたことを示す各生徒のチェックボックスが選択されていることに留意する。さらに、本発明の幾つかの実施形態による、グリッドにコミットされる準備ができたスコアを含むＲＶＵコミット概要（RVU Commit Summary）画面を示すグラフィカルユーザインタフェースの部分スクリーンショットである図２７を参照すると、データは、チェックされた場合、残っている１つのチェックのために、ポイントをコミット概要データページに移す。

【0206】

確認後、各データ要素は、一意の識別子とともに共通データリポジトリに記憶される。データは、特定のグリッドの規則に基づいてグリッド内に表示することができる。例えば、試験データは、試験データが表示されることになっているグリッド内でパースすることができる。

【0207】

確認ステップの重要性を理解しなければならない。結果生成されるグリッドは、試験項目へのマイクロコンピテンシコードの正しい割り当て及び表現のためのこのデータの集計に依存する。生徒の弱み及び強みについての重要な判断をグリッドデータに基づいて行うことができる。集計データページは、生徒ポイントを特定の生徒に関連付ける。管理者が、データが正しいことに満足する場合、評点報告書を表示のためにグリッドに「コミット」する。インポートファイルは「コミット済み」としてタグ付けされ、次のファイルが直面される。

【0208】

上記は、本発明の例示であり、本発明の限定として解釈されるべきではない。本発明の幾つかの例示的な実施形態について説明したが、本発明の新規の教示及び利点から実質的に逸脱せずに、多くの変更が例示的な実施形態において可能なことを当業者であれば容易に理解するであろう。したがって、全てのそのような変更は、特許請求の範囲において規定される本発明の範囲内に含まれることが意図される。特許請求の範囲では、ミーンズプラスファンクション節が使用される場合、ミーンズプラスファンクション節は、記載される機能を実行するものとして本明細書に記載される構造、及び構造的均等物のみならず、均等な構造の包含が意図される。したがって、上記が本発明の例示であり、開示された特定の実施形態に限定されるものとして解釈されるべきではなく、開示された実施形態への変更並びに他の実施形態が、添付の特許請求の範囲内に含まれることが意図されることが理解される。本発明は、特許請求の範囲の均等物が含まれる以下の特許請求の範囲により規定される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】