知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6073815
(24)【登録日】2017年1月13日
(45)【発行日】2017年2月1日
(54)【発明の名称】適応型知識評価及び学習のためのシステム及び方法
(51)【国際特許分類】
G09B 7/08 20060101AFI20170123BHJP
G09B 19/00 20060101ALI20170123BHJP
【ＦＩ】
G09B7/08
G09B19/00 H
【請求項の数】25
【全頁数】45
(21)【出願番号】特願2013-554488(P2013-554488)
(86)(22)【出願日】2012年2月10日
(65)【公表番号】特表2014-507687(P2014-507687A)
(43)【公表日】2014年3月27日
(86)【国際出願番号】US2012024642
(87)【国際公開番号】WO2012112390
(87)【国際公開日】20120823
【審査請求日】2014年11月18日
(31)【優先権主張番号】13/029,045
(32)【優先日】2011年2月16日
(33)【優先権主張国】US
(31)【優先権主張番号】13/216,017
(32)【優先日】2011年8月23日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】513205178
【氏名又は名称】ノウレッジ ファクター，インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】スティーブ アーンスト
(72)【発明者】
【氏名】チャールズ スミス
(72)【発明者】
【氏名】グレゴリー クリンケル
(72)【発明者】
【氏名】ロバート バージン
【審査官】
鈴木 崇雅
(56)【参考文献】
【文献】
米国特許出願公開第２００３／０１９０５９２（ＵＳ，Ａ１）
【文献】
特開２００３−２４８４１９（ＪＰ，Ａ）
【文献】
特開２００５−３３８３２４（ＪＰ，Ａ）
【文献】
特開２００４−３０４６６５（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｇ０９Ｂ ５／００
Ｇ０９Ｂ ７／００
Ｇ０９Ｂ １９／００
(57)【特許請求の範囲】
【請求項1】
知識評価および学習のためのサービス指向システムであって、
クライアント端末において学習者に複数の多肢選択質問および２次元回答を表示する表示装置と、
前記サービス指向システムの一人以上の利用者を管理するのに適合した管理サーバと、
前記一人以上の利用者が学習資源のライブラリを作成し、維持するためのインタフェースを提供するのに適合したコンテンツ管理システムサーバと、
学習教材のデータベースを有する学習システムサーバであって、前記複数の多肢選択質問および前記２次元回答は、前記データベースに記憶されて、前記クライアント端末に選択的に配信される、学習システムサーバと、
前記学習者についての登録情報を作成し、維持するのに適合した登録およびデータ分析サーバと、を備え、
前記表示装置に前記複数の多肢選択質問および前記２次元回答を送信するステップであって、
前記２次元回答は、単一選択回答からなる複数の完全に自信のある回答と、
複数の単一選択回答の１つ以上の組からなる複数のある程度自信のある回答と、
分からない回答と
を含む、ステップと、
前記表示装置を介して、前記学習者に前記複数の多肢選択質問および前記２次元回答を提示することによって、評価を行うステップであって、前記複数の多肢選択質問および前記２次元回答は、陰の質問セットにグループ化され、該陰の質問セットは、コンピテンスの領域により関係した多肢選択質問および前記２次元回答を含む、ステップと、
前記表示装置を介して、前記学習者が自分の実質的な回答および自分の回答の自信のレベルのカテゴリ双方を示した、前記多肢選択質問に対する前記学習者の選択した回答を受け取るステップと、
２つ以上の回答された多肢選択質問がグループ化された陰の質問セットに、知識状態名称を指定することによって前記評価を採点するステップであって、知識状態が、熟達知識状態または精通知識状態であるとき、該陰の質問セットにおける、追加的多肢選択質問は前記学習者に提示されない、ステップと、
前記学習者が特定のトピックについて更に学習教材を要求するのはいつであるか、を決定するステップと、
前記コンテンツ管理システムサーバから、前記学習者が更に学習教材を要求するとの判断がなされると直ちに、ディスプレイ・デバイスを通して、リアルタイムに、１つ以上の学習オブジェクトを前記学習者に提供するステップと、
からなる方法を実行するシステム。
クライアント端末において学習者に複数の多肢選択質問および２次元回答を表示する表示装置と、
前記サービス指向システムの一人以上の利用者を管理するのに適合した管理サーバと、
前記一人以上の利用者が学習資源のライブラリを作成し、維持するためのインタフェースを提供するのに適合したコンテンツ管理システムサーバと、
学習教材のデータベースを有する学習システムサーバであって、前記複数の多肢選択質問および前記２次元回答は、前記データベースに記憶されて、前記クライアント端末に選択的に配信される、学習システムサーバと、
前記学習者についての登録情報を作成し、維持するのに適合した登録およびデータ分析サーバと、を備え、
前記表示装置に前記複数の多肢選択質問および前記２次元回答を送信するステップであって、
前記２次元回答は、単一選択回答からなる複数の完全に自信のある回答と、
複数の単一選択回答の１つ以上の組からなる複数のある程度自信のある回答と、
分からない回答と
を含む、ステップと、
前記表示装置を介して、前記学習者に前記複数の多肢選択質問および前記２次元回答を提示することによって、評価を行うステップであって、前記複数の多肢選択質問および前記２次元回答は、陰の質問セットにグループ化され、該陰の質問セットは、コンピテンスの領域により関係した多肢選択質問および前記２次元回答を含む、ステップと、
前記表示装置を介して、前記学習者が自分の実質的な回答および自分の回答の自信のレベルのカテゴリ双方を示した、前記多肢選択質問に対する前記学習者の選択した回答を受け取るステップと、
２つ以上の回答された多肢選択質問がグループ化された陰の質問セットに、知識状態名称を指定することによって前記評価を採点するステップであって、知識状態が、熟達知識状態または精通知識状態であるとき、該陰の質問セットにおける、追加的多肢選択質問は前記学習者に提示されない、ステップと、
前記学習者が特定のトピックについて更に学習教材を要求するのはいつであるか、を決定するステップと、
前記コンテンツ管理システムサーバから、前記学習者が更に学習教材を要求するとの判断がなされると直ちに、ディスプレイ・デバイスを通して、リアルタイムに、１つ以上の学習オブジェクトを前記学習者に提供するステップと、
からなる方法を実行するシステム。
【請求項2】
前記管理サーバはアカウントデータベースを含み、アカウントサービス機能を提供するのに適合した、請求項１に記載のシステム。
【請求項3】
前記コンテンツ管理システムサーバはオーサリングデータベースを含み、オーサリングおよび発行サービスを提供するのに適合している、請求項１に記載のシステム。
【請求項4】
前記学習システムサーバは学習データベースを含み、学習サービス機能を提供するのに適合している、請求項１に記載のシステム。
【請求項5】
前記登録およびデータ分析サーバは登録およびデータウェアハウスデータベースを含み、登録および報告サービス機能を提供するのに適合している、請求項１に記載のシステム。
【請求項6】
前記陰の質問セットに知識状態名称を指定することによって前記評価を採点するステップは、
前記学習者による、「自信があるかつ正しい」回答に対する前記「熟達したまたは精通した」知識状態、
前記学習者による、「自信がないかつ正しい」回答に対する「知識がある」知識状態、
前記学習者による、「分からない」回答に対する「分からない」知識状態、
前記学習者による、「自信がないかつ誤った」回答に対する「知識がない」知識状態、
前記学習者による、「自信があるかつ誤った」回答に対する「誤解した」知識状態、
の知識状態名称を指定するステップを含む、請求項１に記載のシステム。
前記学習者による、「自信があるかつ正しい」回答に対する前記「熟達したまたは精通した」知識状態、
前記学習者による、「自信がないかつ正しい」回答に対する「知識がある」知識状態、
前記学習者による、「分からない」回答に対する「分からない」知識状態、
前記学習者による、「自信がないかつ誤った」回答に対する「知識がない」知識状態、
前記学習者による、「自信があるかつ誤った」回答に対する「誤解した」知識状態、
の知識状態名称を指定するステップを含む、請求項１に記載のシステム。
【請求項7】
外部情報源からコンテンツを移入するための移行データベースサーバを更に備える請求項１に記載のシステム。
【請求項8】
前記評価を行うステップは、学習および記憶を強化するアルゴリズム的にインプリメントされた機能またはプロセスを含む１つ以上の認知スイッチを含めるステップを更に有する、請求項１に記載のシステム。
【請求項9】
前記認知スイッチは、反復、予備刺激、進捗、フィードバック、コンテキスト、遂行、間隔、確信度、注意、動機およびリスク／報酬に対する認知スイッチからなるグループから選択される、請求項８に記載のシステム。
【請求項10】
前記評価を行うステップは、前記学習者の技能ギャップを特定する学習モジュールを管理するステップを更に有する、請求項１に記載のシステム。
【請求項11】
知識評価の方法を実行するのに適合した多層サービス構造を有するサービス指向計算機構造であって、該方法は、
コンテンツ管理サーバへのインタフェースを介して、知識評価アプリケーションを作成するステップと、
学習サーバを介して学習者に前記知識評価アプリケーションを提供するステップと、
前記学習者が、登録およびデータ分析サーバを介して、前記知識評価アプリケーションを利用できるようにするステップと、
表示装置の前記学習者に、前記コンテンツ管理サーバに記憶された複数の多肢選択質問および２次元回答を表示するステップと、
通信網を介して、前記表示装置に前記複数の多肢選択質問および前記２次元回答を送信するステップであって、前記２次元回答は、単一選択回答からなる複数の完全に自信のある回答と、複数の単一選択回答の１つ以上の組からなる複数のある程度自信のある回答と、分からない回答とを含む、ステップと、
前記表示装置を介して、前記学習者に、前記複数の多肢選択質問および前記２次元回答を提示することによって、評価を行うステップであって、前記複数の多肢選択質問および前記２次元回答は、コンピテンスの領域に関係した多肢選択質問および前記２次元回答を含む陰の質問セットにグループ化される、ステップと、
前記表示装置を介して、前記学習者が自分の実質的な回答および自分の回答の自信のレベルのカテゴリ双方を示した、前記多肢選択質問に対する前記学習者の選択した回答を受け取るステップと、
２つ以上の回答された多肢選択質問がグループ化された陰の質問セットに、知識状態名称を指定することによって前記評価を採点するステップであって、知識状態が、熟達知識状態または精通知識状態であるとき、該陰の質問セットにおける、追加的多肢選択質問は、前記学習者に提示されない、ステップと、
いつ前記学習者が特定の課題について更に学習教材を要求するかを判断するステップと、
前記学習者が更に学習教材を要求しているとの判断がなされるとすぐに、ディスプレイ・デバイスを通して、リアル・タイムに、前記学習者に学習オブジェクトを提供するステップと、
を含む、サービス指向計算機構造。
コンテンツ管理サーバへのインタフェースを介して、知識評価アプリケーションを作成するステップと、
学習サーバを介して学習者に前記知識評価アプリケーションを提供するステップと、
前記学習者が、登録およびデータ分析サーバを介して、前記知識評価アプリケーションを利用できるようにするステップと、
表示装置の前記学習者に、前記コンテンツ管理サーバに記憶された複数の多肢選択質問および２次元回答を表示するステップと、
通信網を介して、前記表示装置に前記複数の多肢選択質問および前記２次元回答を送信するステップであって、前記２次元回答は、単一選択回答からなる複数の完全に自信のある回答と、複数の単一選択回答の１つ以上の組からなる複数のある程度自信のある回答と、分からない回答とを含む、ステップと、
前記表示装置を介して、前記学習者に、前記複数の多肢選択質問および前記２次元回答を提示することによって、評価を行うステップであって、前記複数の多肢選択質問および前記２次元回答は、コンピテンスの領域に関係した多肢選択質問および前記２次元回答を含む陰の質問セットにグループ化される、ステップと、
前記表示装置を介して、前記学習者が自分の実質的な回答および自分の回答の自信のレベルのカテゴリ双方を示した、前記多肢選択質問に対する前記学習者の選択した回答を受け取るステップと、
２つ以上の回答された多肢選択質問がグループ化された陰の質問セットに、知識状態名称を指定することによって前記評価を採点するステップであって、知識状態が、熟達知識状態または精通知識状態であるとき、該陰の質問セットにおける、追加的多肢選択質問は、前記学習者に提示されない、ステップと、
いつ前記学習者が特定の課題について更に学習教材を要求するかを判断するステップと、
前記学習者が更に学習教材を要求しているとの判断がなされるとすぐに、ディスプレイ・デバイスを通して、リアル・タイムに、前記学習者に学習オブジェクトを提供するステップと、
を含む、サービス指向計算機構造。
【請求項12】
前記評価を採点するステップは、
前記学習者による、「自信があるかつ正しい」回答に対する前記「熟達したまたは精通した」知識状態、
前記学習者による、「自信がないかつ正しい」回答に対する「知識がある」知識状態、
前記学習者による、「分からない」回答に対する「分からない」知識状態、
前記学習者による、「自信がないかつ誤った」回答に対する「知識がない」知識状態、
前記学習者による、「自信があるかつ誤った」回答に対する「誤解した」知識状態、
の知識状態名称を指定するステップを含む、請求項１１に記載のサービス指向計算機構造。
前記学習者による、「自信があるかつ正しい」回答に対する前記「熟達したまたは精通した」知識状態、
前記学習者による、「自信がないかつ正しい」回答に対する「知識がある」知識状態、
前記学習者による、「分からない」回答に対する「分からない」知識状態、
前記学習者による、「自信がないかつ誤った」回答に対する「知識がない」知識状態、
前記学習者による、「自信があるかつ誤った」回答に対する「誤解した」知識状態、
の知識状態名称を指定するステップを含む、請求項１１に記載のサービス指向計算機構造。
【請求項13】
コンテンツ管理システムサーバおよびデータ分析アプリケーションを更に備える請求項１１に記載のサービス指向計算機構造。
【請求項14】
コンテンツ管理サーバへのインタフェースを介して、知識評価アプリケーションを作成するステップは、
導入、質問、答え、説明、追加的な学習材料およびメタデータのうちの１つ以上を含む学習オブジェクトを作成するステップと、
前記学習オブジェクトの要素を構築するステップと、
コンテンツおよびメディアを前記学習オブジェクトに組み立てるステップと、
複数の学習オブジェクトから学習モジュールを組み立てるステップと、
を含む、請求項１１に記載のサービス指向計算機構造。
導入、質問、答え、説明、追加的な学習材料およびメタデータのうちの１つ以上を含む学習オブジェクトを作成するステップと、
前記学習オブジェクトの要素を構築するステップと、
コンテンツおよびメディアを前記学習オブジェクトに組み立てるステップと、
複数の学習オブジェクトから学習モジュールを組み立てるステップと、
を含む、請求項１１に記載のサービス指向計算機構造。
【請求項15】
前記学習オブジェクトは、前記学習オブジェクトに対応するメタデータと、前記学習オブジェクトに対応する評価データと、前記学習オブジェクトに対応する学習データと、を含む、請求項１４に記載のサービス指向計算機構造。
【請求項16】
前記メタデータは課題および副課題の規定を含む、請求項１５に記載のサービス指向計算機構造。
【請求項17】
前記学習データは、映像、音響および画像データから選択された関係する学習データを含む、請求項１５に記載のサービス指向計算機構造。
【請求項18】
前記評価を行うステップは、学習および記憶を強化するアルゴリズム的にインプリメントされた機能またはプロセスを含む１つ以上の認知スイッチを含めるステップを更に有する、請求項１１に記載のサービス指向計算機構造。
【請求項19】
前記認知スイッチは、反復、予備刺激、進捗、フィードバック、コンテキスト、遂行、間隔、確信度、注意、動機およびリスク／報酬に対する認知スイッチからなるグループから選択される、請求項１８に記載のサービス指向計算機構造。
【請求項20】
前記評価を行うステップは、前記学習者の技能ギャップを特定する学習モジュールを管理するステップを更に有する、請求項１１に記載のサービス指向計算機構造。
【請求項21】
クライアント端末において学習者に複数の多肢選択質問および２次元回答を配信するように構成された計算機データベースシステム構造であって、
一人以上の利用者が学習資源のライブラリを作成し、維持するためのインタフェースを提供するのに適合したコンテンツ管理システムサーバと、
学習教材のデータベースを記憶する学習システムサーバであって、前記複数の多肢選択質問および前記２次元回答は、前記データベースに記憶されて、前記クライアント端末に選択的に配信される、学習システムサーバと、
モジュールライブラリおよび学習オブジェクトライブラリを含む学習教材の前記データベースであって、前記学習オブジェクトライブラリは複数の学習オブジェクトを含み、
該複数の学習オブジェクトはそれぞれ、
前記学習オブジェクトに対応するメタデータと、
前記学習オブジェクトに対応する評価データと、
前記学習オブジェクトに対応する学習データと、を含むデータベースと、
を備える計算機データベースシステム構造。
一人以上の利用者が学習資源のライブラリを作成し、維持するためのインタフェースを提供するのに適合したコンテンツ管理システムサーバと、
学習教材のデータベースを記憶する学習システムサーバであって、前記複数の多肢選択質問および前記２次元回答は、前記データベースに記憶されて、前記クライアント端末に選択的に配信される、学習システムサーバと、
モジュールライブラリおよび学習オブジェクトライブラリを含む学習教材の前記データベースであって、前記学習オブジェクトライブラリは複数の学習オブジェクトを含み、
該複数の学習オブジェクトはそれぞれ、
前記学習オブジェクトに対応するメタデータと、
前記学習オブジェクトに対応する評価データと、
前記学習オブジェクトに対応する学習データと、を含むデータベースと、
を備える計算機データベースシステム構造。
【請求項22】
前記メタデータの構成要素は、前記学習オブジェクトに関係する少なくとも１つの構成可能項目を有する、請求項２１に記載の計算機データベースシステム構造。
【請求項23】
前記構成可能項目はコンピテンス項目に対応する、請求項２２に記載の計算機データベースシステム構造。
【請求項24】
前記構成可能項目は課題項目に対応する、請求項２２に記載の計算機データベースシステム構造。
【請求項25】
前記モジュールライブラリは、前記学習者による前記２次元回答の少なくとも１つに知識状態名称を指定することによって知識評価を行い、採点するための適応型学習アルゴリズムを記憶する構造を有し、前記適応型学習アルゴリズムは、
前記学習者による、「自信があるかつ正しい」回答に対する「熟達したまたは精通した」知識状態、
前記学習者による、「自信がないかつ正しい」回答に対する「知識がある」知識状態、
前記学習者による，「分からない」回答に対する「分からない」知識状態、
前記学習者による、「自信がないかつ誤った」回答に対する「知識がない」知識状態、
前記学習者による、「自信があるかつ誤った」回答に対する「誤解した」知識状態、
の知識状態名称のうち少なくとも１つを指定する、請求項２１に記載の計算機データベースシステム構造。
前記学習者による、「自信があるかつ正しい」回答に対する「熟達したまたは精通した」知識状態、
前記学習者による、「自信がないかつ正しい」回答に対する「知識がある」知識状態、
前記学習者による，「分からない」回答に対する「分からない」知識状態、
前記学習者による、「自信がないかつ誤った」回答に対する「知識がない」知識状態、
前記学習者による、「自信があるかつ誤った」回答に対する「誤解した」知識状態、
の知識状態名称のうち少なくとも１つを指定する、請求項２１に記載の計算機データベースシステム構造。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の態様は，知識評価及び学習並びにマイクロプロセッサ及びネットワークベースの試験及び学習システムに関する。本発明の態様はまた，知識試験及び学習方法，より詳細に言えば，自信ベース評価（ＣＢＡ）及び自信ベース学習（ＣＢＬ）のための方法及びシステムにも関する。ＣＢＡ及びＣＢＬにおいては，学習者の一つの回答から，当該個人の，自身の応答における自信及び正確さに関する二つの計量（ｍｅｔｒｉｃ）が生成される。
【0002】
本願は，２０１１年２月１６日出願の米国特許出願第１３／０２９，０４５号及び２０１１年８月２３日出願の米国特許出願第１３／１６，０１７号の優先権を主張する。本願はまた，２０１０年１０月２０日出願の米国特許出願第１２／９０８，３０３号と，２００３年９月２３日出願の米国特許出願第１０／３９８，６２５号と，２００５年７月２３日出願の米国特許出願第１１／１８７，６０６号と，２００５年６月２６日発行の米国特許第６，９２１，２６８号と，にも関係する。ここで，すべての適切な目的のために，上に列挙した各出願の詳細を本願に参照によって組み込むものとする。
【背景技術】
【0003】
主題における人の知識の程度を評価するための従来の多肢選択試験技法は，種々の数の１次元又は正誤（ＲＷ）の回答によって選択可能な選択肢を含む。典型的な多肢選択試験は三つの選択可能な回答を有する質問を含み，一般にこれらの回答のうち一つは，学習者が第一印象で間違いとして削除することができる。これによって，残りの回答についての推測が，正しいかも知れないし，正しくないかも知れないが，正しいと記された回答となる高い確率をもたらす。このような状況下では，成功裏の推測が，学習者が知識がある（すなわち，回答が正しいという自信がある），誤解している（すなわち，実際には正しくない回答を確信している），又は知識がない（すなわち，学習者が，自分が正しい回答を知らないと明示的に述べ，そのように回答することが許されている）かどうかについて，学習者の真の知識程度又は状態を隠すことになる。したがって，従来の多肢選択１次元試験技法は，学習者の真の知識程度を測定する手段としては極めて無力である。この著しい欠点にもかかわらず，従来の多肢選択１次元試験技法は，銀行，保険，公益事業，教育機関及び政府機関のような情報集約的かつ情報依存の機関によって広く用いられている。
【0004】
従来の多肢選択１次元（正誤）試験技法は，強制選択試験である。この形式は，個人が正答を知っているかどうかにかかわらず，一つの回答を選択することを要求する。三つの選択可能な回答があるとき，無作為選択は３３％の見込みで正答となる。１次元得点アルゴリズムは通常推測に報いる。通常，誤った回答は０点となり，まったく回答しなかったときと，推測がうまく行かなかったときとで得点に差がない。推測は正答になることがあるため，推測を行わないよりは常によい結果となる。少数の従来の試験方法は間違った回答に負の得点を与えることが知られているが，通常，そのアルゴリズムは，少なくとも一つの回答を削除することによって確率を推測に有利なようにシフトさせるように設計されている。したがって，実際上，推測は依然として報われる。
【0005】
さらに，１次元試験技法は，個人が予想される間違った回答を除き，正答に最良の推測決定をすることに熟練することを助長する。個人が一つの選択可能な回答を間違いとして除くことができると，正答を選ぶ確率は５０％になる。７０％が合格する場合，よい推測技術を有する個人は，ほとんど何も知らないときでも，合格得点から２０％しか離れていない。したがって，１次元試験形式及びその得点アルゴリズムは，個人の目的，動機を自己評価及び正確なフィードバックを受けることから，しきい値を超えるために試験得点を膨らませる方へシフトする。
【発明の概要】
【課題を解決するための手段】
【0006】
本発明の態様は，学習者の知識の真の程度を正確に評価し，特定された不足領域に従って被験者に学習教材又は教育教材を改善として提供する，知識評価及び学習のための方法及びシステムを提供する。本発明は，自信ベースの評価及び学習技法の利用を組み込み，マイクロプロセッサベースの計算装置又はネットワーク通信クライアントサーバシステムに展開可能である。
【0007】
本発明による装置及び方法のほかの態様は，各学習者が特定の質問にどのように回答したかに応じて，学習及び評価システムのコンテンツを個別化して各学習者に配信する個人別，適応型の評価及び学習の機構を提供する。ある実施形態においては，これらの応答は各学習者の知識，技能及び自信の表明（ｍａｎｉｆｅｓｔ）に応じて変わり，システム及びその基になるアルゴリズムは，質問ごとに学習者が与える知識品質に応じて，将来の評価質問及び関係する改善を適応的に与えるであろう。
【0008】
本発明のほかの態様は，詳細な学習結果表明（ｓｔａｔｅｍｅｎｔ）と，学習者が各学習結果表明に関する必要な知識及び／又は技能を取得できるようにする主題と，学習者が各学習結果表明と，知識又は技能における自分の自信に関する知識及び／又は技能とを実際に取得したかどうかを検証するための多次元評価とを継目なく統合する組込み機構を提供する再利用可能学習オブジェクト構造の利用である。これらの学習オブジェクトの再利用可能性は，作者が既存の学習オブジェクトを容易に探索し，特定し，再利用し又は再目的化できるように，本発明に組み込まれたコンテンツ管理システムを通じて可能になる。
【0009】
本発明のほかの態様は，管理者，作者，登録者（ｒｅｇｉｓｔｒａｒ）及び分析者が，各利用者の知識表明の品質及び学習オブジェクト内に表示された学習教材の品質双方を評価できるように，統合された報告機能を含む。報告機能は，利用者応答ごとにデータベースに記憶されたデータに基づいて，高度に個別化可能である。
【0010】
別の態様によれば，知識評価及び学習のためのサービス指向のシステムは，複数の多肢選択質問及び２次元回答を学習者にクライアント端末において表示する表示装置と，システムの１又は複数の利用者を管理するようにした管理サーバと，１又は複数の利用者が学習資源のライブラリを生成し管理するためのインタフェースを提供するようにしたコンテンツ管理システムサーバと，学習教材のデータベースを含む学習システムサーバであって，複数の多肢選択問題及び２次元回答は，クライアント端末に選択的に配信するためにデータベースに記憶される，学習システムサーバと，学習者に関する登録情報を生成し，管理するようにした登録及びデータ分析サーバと，を備える。一つの実施形態においては，知識評価のシステムは，複数の多肢選択問題及びそれに対する２次元回答を表示装置に送信するステップであって，上記の回答は，複数の完全に自信のある回答と，複数の単一選択回答の１又は複数の組からなるある程度自信のある回答と，分からない回答とを含む，ステップと，表示装置を介して，複数の多肢選択質問及び２次元回答を学習者に表示して評価を管理するステップと，表示装置を介して，学習者の多肢選択質問に対する選択した回答を受け入れるステップであって，これによって学習者は自分の実質の回答と，自分の回答の自信カテゴリのレベルと双方を示すステップと，学習者の回答の少なくとも一つに知識状態名称（ｄｅｓｉｇｎａｔｉｏｎ）を割り当てることによって，評価を採点するステップと，を有する方法を実行する。
【0011】
システムの基となる方法は，学習及び記憶に関係する研究の主要な発見及び応用を活用するように意図的に生成され，学習過程の効率性及び有効性を著しく増加させる意図がある。これらの方法は，本システムの種々の実施形態に包含されている。
【図面の簡単な説明】
【0012】
【図1】本発明の態様によって構築された学習システムの種々の態様の相互接続及び相互作用を示す，システムレベルのアーキテクチャを示す図である。
【図2】本発明の態様によって構築された学習システムの種々の態様の相互接続及び相互作用を示す，システムレベル及びデータのアーキテクチャを示す図である。
【図3】本発明の態様による，別のシステムレベル及びデータのアーキテクチャを示す図である。
【図4】本発明の態様による，別のシステムレベル及びデータのアーキテクチャを示す図である。
【図5】本発明の態様に関係して用いられる学習システムのデータ収集及び利用者インタフェースの実施形態を示す図である。
【図6】本発明の態様に関係して用いられる学習システムのデータ収集及び利用者インタフェースの実施形態を示す図である。
【図7A】本発明の態様によって用いられるラウンド選択アルゴリズムを示す図である。
【図7B】本発明の態様によって用いられるラウンド選択アルゴリズムを示す図である。
【図7C】本発明の態様によって用いられるラウンド選択アルゴリズムを示す図である。
【図8A】利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。
【図8B】利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。
【図8C】利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。
【図8D】利用者応答がどのように採点されるか，及びこれらの得点が評価及び改善による進捗をどのように決定するかを概略示す，本発明の態様によって使用される処理アルゴリズムの例を示す図である。
【図9】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図10】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図11】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図12】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図13】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図14】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図15】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図16】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図17】本発明の態様に関係して用いられる，種々の利用者インタフェース及び報告構造を示す図である。
【図18】再利用可能学習オブジェクトの構造と，これらの学習オブジェクトがどのようにモジュールに編成されるかと，これらのモジュールが学習者に表示するためにどのように発行されるかと，を示す図である。
【図19】本発明の態様に関係して用いることができる機械又はほかの構造的実施形態を示す図である。
【発明を実施するための形態】
【0013】
本発明の態様は，米国特許出願第１３／０２９，０４５号と，米国特許出願第１２／９０８，３０３号と，米国特許出願第１０／３９８，６２５号と，米国特許出願第１１／１８７，６０６号と，米国特許第６，９２１，２６８号とに開示されている自信ベース評価（ＣＢＡ）及び自信ベース学習（ＣＢＬ）の上に構築されており，これら先行特許文献すべてがここに参照によって組み込まれ，それらはすべて，コロラド州ボールダーのKnowledge Factor, Inc.が所有している。
【0014】
本明細書は，システムアーキテクチャと，利用者インタフェースと，アルゴリズムと，ほかの修正に属するシステムの実施形態に焦点を当てている。システムのほかの実施形態が，特定の類似性又は差異を強調して説明されることがあるが，これらの説明は，関連の先行特許及びKnowledge Factorが所有する本願に記載されたシステムのすべての実施形態を含むことを意図するものではない。
【0015】
図１に示すように，知識評価方法及び学習システム１００はウェブサービスを介して相互運用されるアプリケーション群１０２として表明され，利用者の対話要求に応える分散型評価及び学習ソリューションを提供する。本システム内の主要な役割（ｒｏｌｅ）は次のとおりである。ａ．管理者１０４：システム全般を管理し，システムを構成するすべてのアプリケーションにアクセスする。システムはウェブサービスを介して相互運用される。
ｂ．作者１０６：学習及び評価コンテンツを開発，管理及び発行する。
ｃ．登録者１０８：新規学習者アカウントの生成及び学習者課題管理を含む学習者登録を管理する。
ｄ．分析者１１０：１又は複数の業務ユニットの報告を管理する。
ｃ．学習者１１２ａ〜１１２ｃ：一般にシステムの究極最終利用者であり，システムが提供する学習及び評価モジュールを利用する。
【0016】
一人の利用者がいくつかの機能を実行し，又は多くの役割をはたすことができる一方，任意の数の利用者は一つの機能を実行し又は一つの役割をはたすことだけができる。例えば，管理者１０４は登録者１０８若しくは分析者１１０（又はほかの役割）を務めることができ，作者１０６もまた分析者１１０を務めることができる。
【0017】
図２は，本発明の態様による知識評価及び学習機能のネットワークベースの配信を行うために用いることができる計算機ネットワークアーキテクチャ２００の一つの実施形態を示す。ＣＢ学習コンテンツは，学習者，管理者及びほかの役割が便利に利用できるように遠隔に配置されている計算機，タブレット，スマートホン又は当業において既知のほかの装置のような複数の装置２０２ａ〜２０２ｎを介して個別に各登録機関の学習者に与えられる。各組織の試験を管理するために，１又は複数の管理者端末２５−１，２６−１が提供される。各アクセス装置は，音響，映像，図形，仮想現実，文書及びデータの混成物を伝えるために十分な処理能力を用いることが望ましい。
【0018】
学習者装置及び管理者装置の集合は，インターネット又はほかのネットワーク２０６を介して１又は複数のネットワークサーバ２０４ａ〜２０４ｃに接続されている。サーバ及び（データベースを含む）関係するソフトウェア２０８ａ〜２０８ｃは，利用者の記録及び結果のレポジトリとして働く記憶設備２１０ａ〜２１０ｃを備えている。情報は，送信制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）のような業界標準を用いて，インターネットを介して転送される。
【0019】
一つの実施形態においては，システム２００は業界標準の分散学習モデルに適合する。航空産業ＣＢＴ委員会（ＡＩＣＣ），学習ツール相互運用性（ＬＴＩ）及び個別化ウェブサービスのような統合プロトコルがシステム横断のコースウェアオブジェクト共有のために用いられる。
【0020】
本発明の実施形態及び態様は，知識評価及び学習を行う方法及びシステムを提供する。種々の実施形態は，マイクロプロセッサベースのシステム又はネットワーク通信クライアントサーバシステムに展開可能な自信ベースの評価及び学習技法の利用を組み込む。この技法は，学習者から知識ベース及び自信ベースの情報を収集して利用し，学習者ごとに適応型の個別化した学習計画を作成する。一般的な意味で，評価は非１次元試験技法を組み込んでいる。
【0021】
別の態様によれば，本発明は自信ベース評価（ＣＢＡ）及び自信ベース学習（ＣＢＬ）のための堅固な方法及びシステムであって，一つの回答が，当該個人の応答における自分の自信及び正確さに関する二つの計量を生成し，直ちに改善を行う方法を有する。これは，限定ではないが次を含む種々のツールによって達成される。１．回答を推測する必要をなくす試験及び採点形式。これによって「実際の」情報品質のより正確な評価が可能になる。
２．人が，（１）正確に知っていること，（２）ある程度知っていること，（３）知らないこと，（４）確かに知っているが実際には正しくないこと，をより正確に明らかにする採点方法。
３．真に教育的又は再教育的注意を必要とする領域にだけ焦点を合わせた，適応型かつ個別化された知識プロファイル。これによって注意が本当に必要ない領域の訓練における無駄な時間及び労力をなくす。
【0022】
学習モジュールにおいて，前述の方法及びツールは次のような方法，すなわち「学習サイクル」によって実現される。１．学習者は形成的評価を完了するように求められる。これは，標準の３択〜５択の試験を，質問ごとに三つの精神状態，自信，自信がない及び無知を包含する，選択可能な回答を有する構造化ＣＢＡ形式に編集し，これによって受験者の精神状態とより緊密に対応付けるステップから始まる。
２．正しい応答に対する，初期評価への学習者の応答の要約である，個別化された知識プロファイルを検討する。推測は罰せられ，自信がある振りをするよりも，自信がないこと及び無知を認める方が良いことを学習者に教えるように，自信ベースの（ＣＢ）採点アルゴリズムが実現される。次に，回答を意味のある知識領域により正確に分割し，誤り（誤った情報），不明，自信がない，精通の範囲及び程度に関して個人及び組織に豊富なフィードバックを与えるために，ＣＢ回答の組が集められ，知識プロファイルとして表示される。個別化された知識プロファイルは，成績及び適性のよりよい計量である。例えば，企業の訓練環境において，個別の学習環境は，より高い情報品質を有する従業員を奨励し，したがって損失の大きい知識及び情報誤りを減少させ，生産性を向上させる。
３．学習教材に関して，質問，応答，正答及び説明を検討する。理想的には正答及び誤答双方についての説明が提供される（作者の裁量による）。
４．主題のより詳細な理解（広さ及び深さ）を得るために，（いくつかの実施例において「知識を広げよう」と記された）追加の学習教材を検討する。
５．反復。上記の過程は，個々の学習者が主題を適切に理解し，自信があることを示すために必要なだけ繰り返してもよい。いくつかの実施形態においては，この反復モデルの一部として，自信があるかつ正しいと採点された回答（どのアルゴリズムが用いられたかに依存する）は，学習者が自分の特定の技能ギャップに集中できるように，学習者に提示される質問のリストから削除してもよい。各反復の際，学習者に提示される質問の数は，モジュール内のすべての質問のサブセットによって表してもよい。これはモジュールの作者によって設定可能である。さらに，質問及び質問に対する回答が，システムを構成するソフトウェアコード内に呼び出された乱数発生器を使用して，各反復の際に無作為順に提示される。
【0023】
一つの態様によれば，本発明は個別化した知識プロファイルを生成する。個別化知識プロファイルは学習者の形成的かつ総括的評価を含み，種々の知識品質レベルを特定する。このような情報に基づいて，システムは，１又は複数のアルゴリズムによって，利用者の知識プロファイルと，学習教材のデータベースとを関係付け，次に，主題の応答についての検討及び／又は再教育のために，結果がシステム利用者，すなわち学習者に伝送される。
【0024】
本発明の態様は，スタンドアロンのパーソナル計算機システム上に展開できるように変更可能である。さらに，本発明の態様は，ワールドワイドウェブのような計算機ネットワーク環境又はイントラネット若しくは移動体ネットワークのクライアントサーバシステム上にも展開できる。ここで，「クライアント」は一般に，ほかの計算装置，すなわちサーバによって提供される共有ネットワーク資源を利用できるようにした計算装置を表す。例えば，図２に関係して示したネットワーク環境を参照されたい。種々の利用者許可レベルによる対話を可能にするために，種々のデータベース構造及び応用層が組み込まれる。これについてはそれぞれ，以降より詳細に説明する。
【0025】
図３を参照すると，本発明の態様によって構築されたシステム３００の別の実施形態は次のアプリケーションのうち１又は複数を有し，各アプリケーションは別個に，しかしウェブサービスによって全体として相互運用可能である。ａ．システム管理３０２：このアプリケーションはシステム全般のすべての態様を管理するために用いられ，管理者によって管理される。
ｂ．コンテンツ管理システム（又はオーサリング）３０４：このアプリケーションはすべてのコンテンツのオーサリング，及びすべてのコンテンツの発行及び撤収，並びにシステム内のすべてのコンテンツの管理のために用いられる。これらの機能は作者及びコンテンツ管理者によって管理される。
ｃ．学習３０６：このアプリケーションはすべての学習及び／又は評価のために用いられ，学習者がシステムにログインする場所である。
ｄ．登録及びデータ分析（ＲＤＡ）アプリケーション３０８：このアプリケーションは，登録者が管理する学習者登録，及び分析者が管理するすべての報告を管理するために用いられる。さらに，指導者のようなほかの役割がここにログインして，当該役割のために特に設計された報告を見ることができる。
【0026】
知識評価及び学習システムの種々のタスクは，ウェブサービスベースのネットワークアーキテクチャ及びソフトウェアソリューションによってサポートされる。図３はシステム３００を構築する個々の統合アプリケーション，すなわち管理３０２，コンテンツ管理システム［オーサリング）３０４，学習（評価も含む）３０６並びに登録及びデータ分析３０８を示す。
【0027】
システム管理モジュール３０２は，ログイン機能３１０，シングルサインオン機能３１２，システム管理アプリケーション３１４，アカウントサービスモジュール３１６及びアカウントデータベース構造体３１８のような構成要素を含む。システム管理モジュール３０２は，当該アプリケーションに存在する種々の顧客アカウントを管理する機能を有する。
【0028】
ＣＭＳモジュール３０４は，作者にコンテンツオーサリング機能を提供し，学習要素及びカリキュラムを構築するオーサリングアプリケーション３２２と，モジュール検討機能３２４と，ｘｍｌ又は別のフォームベースデータ入力を可能にするインポート／エクスポート機能３２０と，オーサリングサービス３２６と，発行済みコンテンツサービス３２８と，オーサリングデータベース３３０と，発行済みコンテンツデータベース３３２と，を含む。ＣＭＳモジュール３０４は，カリキュラム機能がカリキュラムを構築する種々の要素を管理することを可能にし，発行機能が学習コンテンツが最終利用者に利用可能なように正式に発行することを可能にする。
【0029】
学習モジュール３０６は，学習者ポータル３３６と，学習者アプリケーション機能３３４と，学習サービス機能３３８とを含む。学習データベース３４０も含まれる。学習及び評価機能は，ここに説明した種々の残りの態様及び特徴を利用する。
【0030】
登録及びデータ分析（ＲＤＡ）３０８は，登録アプリケーション３４２と，指導者ダッシュボード３４４と，報告アプリケーション３４６と，登録サービス３４８と，報告サービス３５０と，登録データベース３５２と，データウェアハウスデータベース３５４と，を含む。登録及びデータ分析３０８は，特定アプリケーションにおける種々の最終利用者タイプの登録を管理する機能と，利用者の役割に基づいて，文脈依存で最終利用者に関係する報告を表示する機能と，を含む。
【0031】
動作中，任意の遠隔にいる利用者は装置を介してシステムと通信することができる（例えば，図２又は３参照）。本システム及びそのソフトウェアの態様は，各役割に関係する機能によって，迅速かつ容易なナビゲーションを可能にする利用者とシステムとの間の通信インタフェースの一部として，いくつかのウェブベースのページ及びフォームを提供する。例えば，学習アプリケーションのウェブベースのブラウザにサポートされた表示を学習者に提示し，これは利用者がシステムのウェブサイト及び関係コンテンツを利用するためのゲートウェイを務める。学習者は，学習アプリケーションを用いて直接システムを利用してもよいし，業界標準プロトコル（例えば，ＡＩＣＣ，ＬＴＩ，ウェブサービス）によってシステムと統合されたある組織の学習管理システム（ＬＭＳ）を介して利用してもよい。
【0032】
図４は，本発明の一つの態様によって実現されるシステムアーキテクチャ図４５０を示す。ウェブアプリケーションアーキテクチャ４５０は，本発明によって構築される装置及びシステムの種々の機械指向態様を実現するのに役立つ一つの構造実施形態である。アーキテクチャ４５０は，三つの一般的な階層，すなわち，表現層と，業務論理層と，データ抽象化及び永続性層とからなる。図４に示すように，クライアントワークステーション４５２は，クライアント側表現層４５６を含むブラウザ４５４又はほかの利用者インタフェースアプリケーションを動作させる。クライアントワークステーション４５２は，サーバ側表現層４６０と，業務層４６２と，データ層４６４とを含むアプリケーションサーバ４５８に接続されている。アプリケーションサーバ４５８は，データベース４６８を含むデータベースサーバ４６６に接続されている。
【0033】
各アプリケーションは，システム利用及び利用者認証に必要なセキュリティ処理を組み込んだ利用者ログイン機能を含む。ログイン処理は，当業において一般に行われるように，利用者の身元及び承認された利用レベルの認証をシステムが実行するように促す。
【0034】
再度図３を参照すると，オーサリングアプリケーション３２２はコンテンツ開発者又は指導設計者のような作者に，学習オブジェクトと，関係する学習又は評価モジュールと，カリキュラムとを構築することを可能にする。オーサリングアプリケーション３２２にログインするとオーサリング（コンテンツ開発）画面に導かれる。オーサリング主画面は，学習及び評価古典津の主要態様を利用するためのナビゲーションボタン又はほかの手段を組み込んでいる。オーサリング画面は，（部分的に）学習オブジェクトの作成，編集及びアップロード，校閲者のフィードバックの検討，学習及び／又は評価モジュールの作成若しくは管理，又はモジュールの発行若しくは撤収モジュールのような機能をサポートするいくつかのソフトウェア機能を含む。ここでは説明のために，オーサリングアプリケーションを「コンテンツ管理システム」又は“ＣＭＳ”とも呼ぶ。
【0035】
オーサリングはさらに，システムが種々のタイプの利用者に表示する，ハイパテキストマーク付け言語（“ＨＴＭＬ”）及びほかのブラウザ／ソフトウェア言語を作成する「見たままが得られる」（ＷＹＳＩＷＹＧ）編集ウィンドウにおいて，編集及び書式化サポート機能を提供する。さらに，オーサリングはハイパリンクサポートも提供し，この機能はウェブベースのアプリケーションで普通に使われる複数タイプのメディアを含め，管理する。
【0036】
オーサリングはまた，利用者が大容量（ｂｕｌｋ）アップロード機能を用いて，コンテンツの全ブロック又は一部をインポートするときに用いるために，ｘｍｌ又はｃｓｖのようなテキスト形式ファイルをアップロードできるようにもなっている。さらに，オーサリングは，＊．ＧＩＦ，＊．ＪＰＥＧ，＊．ＭＰＧ，＊．ＦＬＶ及び＊．ＰＤＦのような種々の普通に用いられる形式（これはサポートされるファイルタイプの部分的なリストである）のメディアファイルを受信し，利用するようになっている。この機能は，学習又は評価が音響，映像及び／又はマルチメディアの合図を必要とする場合に有利である。
【0037】
オーサリングアプリケーション３２２は，作者が既存の学習教材を利用し，又は適切な形式の新規学習教材を作成できるようにする。オーサリングは，オーサリングアプリケーションにおいて学習オブジェクトを作成するか，又は大容量アップロード機能によって新規学習オブジェクトをアップロードし，次に選択した学習オブジェクトを学習又は評価モジュールと組み合わせることによって達成される。システム内の学習オブジェクトは，次の要素からなる。ａ．導入
ｂ．質問
ｃ．回答（一つの正答，２〜４個の誤答（ｄｉｓｔｒａｃｔｏｒ））
ｄ．説明
ｅ．追加学習：追加説明教材及びより深い又は関連する学習の機会
ｆ．メタデータ／分類：学習オブジェクトの探索及び報告の支援に用いることができるデータ。このメタデータは階層的であってもよいし，カテゴリ別であってもよい。
【0038】
各質問は正しい選択として指定された回答を有していなければならず，ほかの２〜４個の回答は誤り又は誤解した応答として特定され，一般にもっともらしい誤答又はよくある誤解として構成される。図５に示した学習例において，問題は４個の取り得る回答選択肢を有する。
【0039】
学習オブジェクトはモジュールに編成され，学習者にはこのモジュールが与えられる。次に，各モジュール内の学習オブジェクトは，得点及び学習アプリケーション内の表示アルゴリズムに基づいて学習者に表示される。
【0040】
学習又は評価モジュールがオーサリングアプリケーションを用いて作成されると，モジュールは学習アプリケーションを介して学習者に提示することに備えて発行される。次に学習アプリケーションは１次元正誤回答を非１次元回答形式に構成する。このようにして，問題が複数の取り得る回答を有する本発明の一つの実施形態においては，２次元ｎ応答の形態の非１次元試験が，所定の自信カテゴリ又はレベルに従って構成される。
【0041】
１００％確信（学習者は唯一の回答を選択し，応答は「確信している」と分類される。図５参照。），ある程度確信（学習者は回答を最もよく表す選択対を選択し，応答は「ある程度確信している」と分類される），不明（「未だ知らない」を選択したと分類される），と指定された３レベルの自信カテゴリが学習者に提供される。次に，問題と，自信カテゴリと，選択可能な回答の関係する選択肢とが，学習者の装置に表示できるように編成及び書式化される。回答の選択可能な各選択肢はさらに，応答の指示としての学習者から入力を受け入れるためのポイントアンドクリック（ｐｏｉｎｔ−ａｎｄ−ｃｌｉｃｋ）ボタン及び／又はドラッグアンドドロップのような入力手段と関係付けられる。一実施形態においては，試験問題と，自信カテゴリと，回答との提示は，普通に用いられるインターネットベースのブラウザによってサポートされる。入力手段は，回答の選択可能な各選択肢と関係する別個のポイントアンドクリックボタンとして示してもよく，学習者は回答を適切な応答カテゴリにドラッグアンドドロップしてもよいし，特定の応答カテゴリを指示（ｐｏｐｕｌａｔｅ）するように回答をシングルクリックしてもよい。
【0042】
上の説明から分かるように，システムは，非１次元問題の作成又は従来の１次元問題の多次元問題への変換を極めて容易にする。本発明のオーサリング機能は，学習オブジェクトが作成される教材の性質によらない（ｂｌｉｎｄ）。学習オブジェクトごとに，システムは，試験問題の形態と，学習者が選択した回答の選択肢とに対して作用する。本システムに組み込まれたアルゴリズムは，学習者に提供されるフィードバックの種類を制御し，また，以前の問題に対する学習者の応答に基づいて学習者に提供される後続の学習教材の表示も制御する。
【0043】
ＣＭＳは，利用者が各問題を特定の学習教材又は説明又は追加学習の形態のその問題に属する情報に関係付けできるようにする。学習教材はシステムが記憶しており，既存又は新規の学習オブジェクトにおいて利用するために直ぐにアクセスできるようにする。これらの学習教材は，テキスト，アニメーション，音響，映像，ウェブページ及び訓練教材の類似の出所を含む。これらのコンテンツ要素（例えば，画像，音響，映像，ＰＤＦ文書，等）はシステム内に記憶してもよいし，別のシステムに記憶して，標準のＨＴＭＬ及びウェブサービスプロトコルを用いて，学習オブジェクトと関係付けてもよい。
【0044】
システムは，訓練機関が学習及び／又は評価オブジェクトを配信できるようにする。同一の学習オブジェクトを学習モジュール及び評価モジュールの双方（又はいずれか）に用いてもよい。評価モジュールは，システム内の学習オブジェクトのうち，次の要素を利用する。ａ．導入
ｂ．質問
ｃ．回答（一つの正答，２〜４個の誤答）
ｄ．メタデータ：学習オブジェクトの探索及び報告の支援に用いることができるデータ。このメタデータは階層的であってもよいし，カテゴリ別であってもよい。
【0045】
各学習モジュールは，二つの別個の反復するセグメントとして学習者に表示される。最初に，学習者が表明した関連知識及び自信のギャップを特定するために用いられる形成的評価が学習者に提示される。学習者が形成的評価を完了した後，説明及び追加学習情報を検討することによって知識ギャップを埋める機会が学習者に与えられる。形成的評価のラウンドが引き続き学習者に提示され，学習者がモジュール内の必要な割合の学習オブジェクトに精通（自信があるかつ正しい応答）を示すまで，学習者は検討を続ける。
【0046】
作者（及び本明細書の後段で提示するカリキュラム管理に関係するほかの役割）は，学習モジュールに次の採点選択肢を設定してもよい。ａ．上述のとおり，学習の各ラウンドにおいて学習者に提示されるモジュール内の学習オブジェクトの数（１学習オブジェクトからモジュール内のすべての学習オブジェクトまでの範囲）。この設定は，質問セットにどれだけの学習オブジェクトが存在するかを決定する。
ｂ．学習オブジェクトに精通したと考えられるまで（したがって，当該モジュールにおいて以後表示されない），学習者が当該学習オブジェクトに連続して自身があるかつ正しいと応答しなければならない回数，１回（１回正答）又は２回（２回正答）。
ｃ．モジュールが全体として完了したと考えられるモジュール内の学習オブジェクトの割合（１〜１００％の間の任意の範囲）
ｄ．特定の学習オブジェクトに対する自信があるかつ正しい応答を学習者が提供すると，各質問セットの形成的評価の際に，導入に画像が表示されるかどうか。この選択肢は２回正答採点設定にだけ関係する。
【0047】
学習の各ラウンドにおいて，学習オブジェクトは学習者に無作為順（又は作者が設定した所定の順）に提示され，各質問に対する選択可能な回答もまた，質問が学習者に提示されるごとに，無作為順に提示される。各ラウンド（又は質問セット）においてどの学習オブジェクトが表示されるかは，（ａ）上に列挙した採点選択肢及び（ｂ）学習アプリケーションに組み込まれたアルゴリズムに依存する。アルゴリズムについては，本明細書の後段でより詳細に説明する。評価モジュールは，モジュール内のすべての学習オブジェクトが一つのラウンドで提示されるように構成される。
【0048】
一つの実施形態によれは，作者（及び本明細書の後段で提示するカリキュラム管理に関係するほかの役割）は評価モジュールに次の採点選択肢すなわち，評価モジュール内の質問が学習者に無作為順に提示されるか，又は作者が規定した順に提示されるか，を設定してもよい。
【0049】
学習者に対する学習及び評価モジュールの提示は，オーサリングアプリケーション（又はＣＭＳ）で所望のモジュールを先ず発行することによって開始される。モジュールがＣＭＳ内に発行されると，次に学習アプリケーションはそのモジュールを利用できるようになる。次に，学習者は，システムの一部である登録及びデータ分析アプリケーション，又は顧客が運用し，システムと統合されている学習管理システム又はポータルに，当該モジュールに関して登録されなければならない。
【0050】
一つの実施形態の例として，問題又は質問は三つの回答選択肢及び学習者の応答及び当該選択についての自分の自信カテゴリを含む２次元回答パターンからなる。自信カテゴリは，「自信がある」，「ある程度自信がある」及び「知らない」である。システムの別の実施形態は，何らの応答もない問題は，「未だ知らない」の選択と考えられ，省略時値となるように，作者がシステムを設定できるようにする。別の実施形態においては，「知らない」の選択肢が「分からない」の選択肢で置き換えられる。別の実施形態においては，５個までの回答選択肢を学習者に提供してもよい。
【0051】
学習及び／又は評価モジュールは，学習者を別々の地理的位置及び別々の期間に分離するように行ってもよい。システムの一つの実施形態においては，学習及び／又は評価モジュールに関係する学習オブジェクトの関係する構成要素が実時間，かつアルゴリズムにしたがってサーバと学習者の装置との間で提示され，学習者がモジュールを進むにつれて進捗が学習者に伝えられる。システムの別の実施形態においては，学習及び／又は評価モジュールをまとめて学習者の装置にダウンロードしてもよく，その場合，問題は全体として回答され，説明及び追加学習を検討することができ，応答がシステムに伝送（アップロード）されるまで，実時間の進捗が学習者に提供される。
【0052】
システムは学習又は評価に関係する多くの時間測定値を取得する。例えば，システムは，被験者が提示された試験問題のうちいずれか又はすべてに応答するために要した時間を測定する。システムはまた，説明教材及び追加学習情報を検討するためにどれだけの時間を要したかを追跡する。そのように変更したとき，時間計測スクリプト又はサブルーチンは，時刻マーカとして機能する。本発明のいくつかの実施形態において，電子時刻マーカは，コースウェアサーバが試験問題を学習者に送信するための時間と，学習者が回答の応答をサーバに返却するために要した時間とを特定する。
【0053】
種々の利用者インタフェースの実施形態が考えられ，説明される。例えば，学習者の回答は利用者インタフェース画面上で選択して，「自信がある」，「自信がない」及び「分からない」のような適切な応答領域（例えば，図５参照）にドラッグしてもよい。本発明の別の実施形態においては，学習者は，知識及び自信双方の２次元応答を同時に捕捉する七つの異なる選択肢のうち一つを選択するように指示されるようにしてもよい（例えば，図６参照）。
【0054】
以降の説明において，参照を容易にするため特定の技術用語を用いるが，それは請求項に記載されたものと異なってこれらの用語の範囲を制限するものではない。
【0055】
ａｍｐＯｂｊｅｃｔ：学習者又は評価及び学習システムのほかの利用者に提示される個々の質問／回答（導入教材を含む），学習者に表示される学習情報（説明及び追加学習）及び作者及び分析者が利用できる各ａｍｐＯｂｊｅｃｔに関係するメタデータを指す。このａｍｐＯｂｊｅｃｔ構造体は，本明細書において前に「学習オブジェクト」と呼ばれていたものである。
【0056】
モジュール：任意の所与の学習及び／又は評価状況において学習者に提示されるａｍｐＯｂｊｅｃｔ（システム内の学習オブジェクト）の集合を指す。モジュールは学習者に与えることができる最小のカリキュラム要素である。
【0057】
自信ベース（ＣＢ）学習及び評価教材の編集ＣＢ書式で学習又は評価モジュールを作成，開発又は別様に編集することは，標準評価書式（例えば，多肢選択，正誤，穴埋め，等）を，回答の正しさ（すなわち，知識）及び学習者の当該応答における自信の程度（すなわち，確信度）に関する応答を同時に同時に与えることによって回答可能な質問に変換することを伴う。
【0058】
ＣＢＡ又はＣＢＬ環境の評価部分の利用者インタフェースの二つの異なる実現例を図５及び６に示す。
【0059】
図５はこのような質問回答書式を示す利用者インタフェースの一例であって，学習者の回答は利用者インタフェース画面上で選択して，「自信がある」，「自信がない」及び「分からない」のような適切な応答領域にドラッグするか，又は所望の回答をクリックする（例えば，一つの回答をクリックすると，その回答が「自信がある」の応答フィールドに移動し，第２の回答をクリックすると，双方の回答が「自信がない」の応答フィールドに移動する）ことのいずれかによって選択される。したがって，提示された質問に応答して，学習者は自分の実質的な回答及び当該回答における自信のレベル双方を示す２次元回答を行う必要がある。
【0060】
図６は，七つの応答選択肢を有する代替の質問及び回答書式を示す利用者インタフェースの例である。前の例と同様，学習者は自分の実質的な回答及び当該選択における自信のレベル双方を示す２次元回答を行う必要がある。
【0061】
図６の例において，１次元選択肢は質問の下に掲げられている。しかし，学習者はまた，「自信がある」，「ある程度自信がある」及び「分からない」の見出しで分類されている第２の次元に同時に応答する必要がある。「自信がある」カテゴリは３個の単一選択回答（Ａ〜Ｃ）を含む。「ある程度自信がある」カテゴリは，被験者に任意の二つの単一選択回答の組（Ａ又はＢ，Ｂ又はＣ，Ａ又はＣ）を選択することを許可する。「分からない」カテゴリもあり，これは一つの特定の「分からない」という回答を含む。この３択７回答書式は，３より少ない選択肢は，回答を推測し，それが正答になることが容易になるため，誤りを招くことを示した研究に基づいている。３以上の選択肢は，（ａ）学習者が誤った回答の一致点を特定することによって正答と誤答とを識別する能力を増加させ，同時に（ｂ）試験の真の得点に負の影響（前の選択を思い出す）を与える混同のレベルを生じさせる。
【0062】
図７Ａ〜７Ｃは，本発明の態様において実現された適応型学習フレームワーク構造の高次概要を示している。ここに開示する態様による全方法及びシステムは，学習者の以前の応答に応じて各学習者に評価及び学習プログラムを提供することによって，実時間で適応する。本発明のほかの態様によれば，学習及び評価システムのコンテンツは，各学習者が特定の質問にどのように回答したかに応じて，個別に各学習者に伝えられる。特に，これらの応答は各学習者の知識，技能及び自信の表明に応じて変化し，システム及びその基となるアルゴリズムは，質問ごとに学習者が示した知識品質に応じて適応的に将来の評価質問及び関係する改善を提供する。
【0063】
適応的反復によって記憶を増加させる学習者の自信は，知識の記憶（ｒｅｔｅｎｔｉｏｎ）と強く相関している。上述のとおり，ある態様は学習者の自信のレベルを問い，測定する。本発明の更なる態様は，真の知識に到達するように，被験者に自分の回答を確信させることによって，自信のレベルは更に動き，それによって知識の記憶が増加する。これは，反復ステップ（Adaptive Repetition（商標））によってある程度達成される。上述のとおり，個人が上述のとおりシステム内の教材の結果を検討した後，当該知識に自信があるかつ正しいことによって示される精通に達するまで必要なだけ評価を繰り返し受けることができる。非１次元評価と組み合わせたこの適応的な反復法による学習は，多重の個別化された知識プロファイルとなり，個人が，評価過程における自分の進捗を理解し，測定できるようにする。
【0064】
一つの実施形態においては，個人が評価を再び受けたとき，以前の評価と同一の順序で同一の質問に遭遇しないように質問は無作為化される。質問は，コンピテンス又はコンピテンスの組を包含するように一定の質問の組があるデータベース内で開発される。真の知識取得及び主題に対する自信（精通）を行うために，各回には質問の山ではなく一定数の質問が提示される（間隔を空ける又は一まとめに区切る）。研究によれば，このように間隔を空けることによって長期記憶が著しく改善される。
【0065】
学習者へのａｍｐＯｂｊｅｃｔ（質問）の表示いくつかの実施形態においては，（ａｍｐＯｂｊｅｃｔ内の）質問は全体として（すべての質問が一度にリストで）利用者に表示され，利用者もまた全体として質問に回答する。別の実施形態においては，質問は一つずつ表示される。更なる実施形態によれば，質問を利用者に表示する方法と，ａｍｐＯｂｊｅｃｔを学習者に表示する回数及びタイミングとを全体的に無作為にすることによって学習が強化される。概略として，質問の分類を選択することによって，システムが学習環境を特定のシナリオにより良く合わせられるようになる。上述のとおり，いくつかの実施形態において，質問及び質問の集合はそれぞれ，ａｍｐＯｂｊｅｃｔ及びモジュールと呼ばれる。一つの実施形態においては，作者は，任意の所与の学習ラウンドにおいて，所与のモジュール内の全ａｍｐＯｂｊｅｃｔのうち一部だけが提示されるようにａｍｐＯｂｊｅｃｔを「一かたまり」（ｃｈｕｎｋ）にするか，別様にグループ分けするかを設定してもよい。ａｍｐＯｂｊｅｃｔはまた，学習の各ラウンドすなわち反復において無作為順に利用者に提示してもよい。学習システムの作者は，学習の各ラウンドにおいて，所与のａｍｐＯｂｊｅｃｔ内の回答が常に無作為順に表示されるように選択してもよい。
【0066】
質問提示の無作為化は，学習環境の学習部及び評価部双方に組み込んでもよい。一つの実施形態において，学習の形成的評価部分において，質問及び回答は学習の質問セットごとに無作為順でだけ表示される。学習オブジェクトが利用者に表示される順には，種々のほかの方式を適用してもよい。例えば，ある種の「標準評価」は一つの評価の際にａｍｐＯｂｊｅｃｔが無作為又は順次のいずれかの順で表示されるか，又は順次又は無作為いずれかでだけ表示されるかのいずれかが必要であってよい。以降説明する「スイッチ」の節において，作者が評価の精通レベルを「上げ」たり，「下げ」たりできるようにする更なる詳細が示される。
【0067】
この態様は，ａｍｐＯｂｊｅｃｔが以前どのように回答されたかに基づいて，任意の所与のラウンドにおいて質問が表示される確率を決定するために，加重システムを用いる。一つの実施形態においては，特定の質問が以前のラウンドで誤って回答されたとき（自信があるかつ誤った，又はある程度自信があるかつ誤った），当該質問が表示される確率が高い。
【0068】
続けて図７Ａ〜７Ｃを参照すると，アルゴリズムのフローは概略，特定の学習ラウンドにおいて，質問選択に従って用いられる論理の一実施形態を示している。各ステップの説明はフローチャート内に含まれており，論理ステップは，処理フローを示すためにフローチャート内の種々の決定ノードに示されている。
【0069】
採点及び試験評価アルゴリズム知識評価及び試験システムの実現に関係する態様は，特定の試験環境を評価し，採点する種々の新規なアルゴリズムを呼び出す。図８Ａ〜８Ｄは，本発明の態様に関係して用いられる知識評価及び学習の四つの「目標状態」方式を示すアルゴリズムのフローチャートを示す。図８Ａは初期評価方式を示し，図８Ｂは直接採点方式を示し，図８Ｃは「１回正答」習熟方式を示し，図８Ｄは「２回正答」精通方式を示す。これらの目標状態はそれぞれ，システムの作者又は管理者が特定の試験又は評価期間における学習者に対する適切な目標として決定される。図８Ａ〜８Ｄにおいて，質問に対する任意の特定の応答を記述するために次の専門用語が用いられる。ＣＣ＝自信があるかつ正しい，ＤＣ＝自信がないかつ正しい，ＮＳ＝分からない，ＤＩ＝自信がないかつ誤った，ＣＩ＝自信があるかつ誤った。
【0070】
初めに図８Ａを参照すると，初見の質問（ＵＮＳ）８０２が学習者に提示される評価アルゴリズム８００が示されている。学習者からの応答に応じて，当該特定質問に対する学習者の知識及び自信レベルに関する評価が行われる。学習者が質問に確信し，正しく（ＣＣ）回答したとき，知識状態は「熟達した」８０４と認定される。学習者が自信はないが正しく回答したとき，知識状態は「知識がある」８０６と認定される。学習者が分からないと回答したとき，知識状態は「分からない」３０８と認定される。学習者が自信なく回答し，回答が誤っているとき，知識状態は「知識がない」８１０と認定される。最後に，学習者が確信して回答し，回答が誤っているとき，知識状態は「誤解した」８１２と認定される。
【0071】
図８Ｂを参照すると，直接採点アルゴリズム９００が示されている。直接採点アルゴリズム９００の左側（図８Ｂ）は評価アルゴリズム８００（図８Ａ）と類似であり，初期応当カテゴリが対応する評価状態の名称に対応付けられる。初めに図８Ｂを参照すると，最初に初見の質問（ＵＮＳ）９０２が学習者に提示される評価状態アルゴリズム９００が示されている。学習者からの応答に応じて，当該特定質問に対する学習者の知識レベル状態に関する評価が行われる。学習者が質問に確信し，正しく（ＣＣ）回答したとき，知識状態は「熟達した」９０４と認定される。学習者が自信はないが正しく回答したとき，知識状態は「知識がある」９０６と認定される。学習者が分からないと回答したとき，知識状態は「分からない」９０８と認定される。学習者が自信なく回答し，回答が誤っているとき，知識状態は「知識がない」９１０と認定される。最後に，学習者が確信して回答し，回答が誤っているとき，知識状態は「誤解した」９１２と認定される。図８Ｂに示されたアルゴリズムにおいて，特定の質問に対して同一の応答が２回与えられたとき，評価状態名称は変化せず，学習者は当該特定質問に対して９１４（熟達した），９１６（知識がある），９１８（分からない），９２０（知識がない）及び９２２（誤解した）で表される同一の名称によって反映された同一の知識レベルを有すると判定される。
【0072】
図８Ｃを参照すると，１回正答熟達アルゴリズム１０００が示されている。図８Ｃにおいて，学習者の知識の評価は，同一の質問に続く回答によって判定される。図８Ａ及び図８Ｂに示すように，初期質問１００２が提出され，その質問に対する応答に基づいて，学習者の知識状態を「熟達した」１００４，「知識がある」１００６，「分からない」１００８，「知識がない」１０１０及び「誤解した」１０１２のいずれかに認定される。図８Ｃにおいて，特定の応答ごとの凡例は前のアルゴリズム処理と類似しており，図８Ａにおいて記されたとおりである。最初の応答の分類に基づいて，同一の質問に対する学習者の後続の回答は，図８Ｃに開示したアルゴリズムに従って，学習者の知識レベル状態をシフトさせる。例えば，応答が自信があるかつ正しい（ＣＣ）であり，したがって「熟達した」１００４に分類された最初の質問を参照すると，利用者が同一の質問に後に「自信があるかつ誤った」回答をしたとき，当該特定質問の利用者の知識の評価状態は，「熟達した」１００４から「知識がない」１０２０に遷移する。図８Ｃで述べた方式に従って，当該学習者が「分からない」１０１８と回答したときは，評価状態は「分からない」と分類される。評価状態ステータスの変化は，同一の質問に対する種々の回答を考慮する。図８Ｃは，特定の質問に対する種々の回答の組について取り得る種々の評価状態経路を詳細に示している。図８Ｃに示された別の例として，学習者が最初に「誤解した」１０１２回答をし，続いて「自信があるかつ正しい」回答をしたとき，結果の評価状態は「知識がある」１０１６になる。図８Ｃは「熟達」試験アルゴリズムを設計しているため，「精通した」状態５２４を適用することはできない。
【0073】
図８Ｄを参照すると，２回正答精通アルゴリズム１１００が示されている。図８Ｃに類似して，アルゴリズム１１００は同一の質問に対する複数の回答を考慮する知識評価の過程を示している。前の図のように，初めの質問１１０２が提示され，その質問に対する応答に基づいて，学習者の知識状態が，「熟達した」１１０４，「知識がある」１１０６，「分からない」１１０８，「知識がない」１１１０又は「誤解した」１１１２のいずれかに認定される。図８Ｄにおける特定応答ごとの凡例は前のアルゴリズム過程に類似しており，図８Ａに記されたとおりである。最初の応答の分類に基づいて，同一の質問に対する学習者の後続の回答は，図８Ｄに開示されたアルゴリズムに従って学習者の知識レベル状態をシフトさせる。図８Ｄに関しては，知識評価の追加の「精通した」状態が１１３０及び１１３２に含まれており，図８Ｄのフローに示された種々の質問及び回答シナリオに基づいて，適用することができる。一例として，質問１１０２が学習者に提示される。この質問に「自信があるかつ正しい」回答をすると，評価状態は「熟達した」１１０４と認定される。同一の質問に続いて２回目に「自信があるかつ正しい」回答をすると，評価状態は「精通した」１１３２に移動する。この例において，システムは，学習者が続けて２回「自信があるかつ正しい」回答をすると，学習者は特定の事項に精通したと認識する。学習者が１１０２で提示された質問に最初に「自信がないかつ正しい」回答をし，評価状態が「知識がない」１１０６と分類されたとき，「精通」を達成するためには，その後，当該質問に続けて２回「自信があるかつ正しい」回答をする必要がある。図８Ｄは，特定の質問に対する種々の回答の組について取り得る種々の評価経路を詳細に示している。
【0074】
図８Ｄの例においては，「精通」知識状態に至るいくつかの取り得る経路がある。しかし，これらの潜在的な経路ごとに，特定のａｍｐＯｂｊｅｃｔに続けて２回正しくかつ確信して回答する必要がある。一つのシナリオにおいては，回答者が特定のａｍｐＯｂｊｅｃｔに既に精通の状態にあり，その質問に「自信があるかつ正しい」以外の回答をしたとき，知識状態は所与の特定の回答に応じてほかの状態のうち一つに降格される。任意の所与の質問に対する学習者の応答に応じた精通への複数の経路は，利用者ごとに適応的で個別化された評価及び学習体験を生成する。
【0075】
上述の実施形態それぞれにおいて，次の一般的なステップを実行するアルゴリズムが実現される。１）作者が規定した目標状態構成を特定し，
２）目標状態に対する学習の各ラウンドにおける各質問に対する学習者の進捗を，同一の分類構造を用いて分類し，
３）学習の前のラウンドにおける各ａｍｐＯｂｊｅｃｔ内の質問に対する最後の応答の分類に応じて，学習の次のラウンドにおいて当該ａｍｐＯｂｊｅｃｔを表示する。
【0076】
これらのアルゴリズムの動作の更なる詳細及び実施形態は次のとおりである。
【0077】
目標状態構成の特定：所与の知識評価の作者は，個別化した知識プロファイルに到達し，特定のａｍｐＯｂｊｅｃｔ（例えば質問）が完成したと認定されるかどうかを判定するために，システム内に種々の目標状態を規定してもよい。上述のアルゴリズムフローチャートによって実現され，図８Ａ〜８Ｄに関係するこれらの目標状態の追加の例は次のとおりである。ａ．１回正答（熟達）：ａｍｐＯｂｊｅｃｔが完成したと認定されるまでに，学習者は「自信があるかつ正しい」回答を１回しなければならない。学習者が「自信があるかつ誤った」又は「ある程度自信があるかつ誤った」回答をしたときは，ａｍｐＯｂｊｅｃｔが完成したと認定され，学習者が当該ａｍｐＯｂｊｅｃｔのる熟達状態を達成するまでに，学習者は「自信があるかつ正しい」回答を２回しなければならない。
ｂ．２回正答（精通）：ａｍｐＯｂｊｅｃｔが完成したと認定されるまでに，学習者は「自信があるかつ正しい」回答を２回しなければならない。
ｃ．作者又は管理者が選択した採点構成に基づいて，上述のシナリオの一つについてａｍｐＯｂｊｅｃｔが「完成」と記されたとき，当該ａｍｐＯｂｊｅｃｔを更なる試験ラウンドから除いてもよい。
【0078】
学習者の進捗を分類：システムの一定の態様は，ここで説明したものと類似の分類構造，例えば，「自信があるかつ正しい」，「自信があるかつ誤った」，「自信がないかつ正しい」，「自信がないかつ誤った」及び「分からない」を用いて，目標状態（上述）に対して，学習の各ラウンドにおける各質問（ａｍｐＯｂｊｅｃｔ）に対する学習者の進捗を分類するようになっている。
【0079】
引き続くａｍｐＯｂｊｅｃｔの表示：学習の将来のラウンドにおけるａｍｐＯｂｊｅｃｔの表示は，目標状態に対する当該ａｍｐＯｂｊｅｃｔ内の質問に対する最後の応答の分類に依存する。例えば，「自信があるかつ誤った」応答は，学習の次のラウンドにおいても表示される確率が最も高い。
【0080】
アルゴリズム又は採点エンジンは，正答に対する学習者の応答の比較を作成する。本発明のいくつかの実施形態によれば，採点プロトコルは，学習者の応答又は回答が所定の加重採点方式を用いて集計される。この加重採点プロトコルは，学習者による高い自信レベルの表示と関係した正しい応答について，学習者に所定の得点を与える。このような得点をここでは真の知識点と呼び，試験問題の主題における学習者の真の知識の程度を反映する。逆に，採点プロトコルは，高い自信レベルの表示と関係する誤った応答について，学習者に負の得点又はペナルティーを与える。負の得点又はペナルティーは，同一の試験問題の知識得点よりも著しく大きい所定の値を有する。このようなペナルティーをここでは誤った情報（ｍｉｓｉｎｆｏｒｍａｔｉｏｎ）得点と呼び，学習者が主題を誤解していることを示すことになる。得点は学習者の生得点及び種々のほかの成績インデクスを計算するために用いられる。２００５年７月２６日に発行された米国特許第６，９２１，２６８号は，これらの成績インデクスの詳細な検討を提供しており，そこに含まれる詳細は本願に参照によって組み込まれる。
【0081】
知識プロファイルを文書化する：知識プロファイルの主要目的は，学習者に各モジュールにおける自分の進捗に関する連続的なフィードバックを提供することである。本システムの実施形態は，知識プロファイルの種々の表明（ｍａｎｉｆｅｓｔａｔｉｏｎ）を用いる。しかし，一般に次のタイミングが学習者に知識プロファイルを表示するために用いられる。・学習モジュール
‐モジュールの任意の所与の学習ラウンド内の学習段階に先立つラウンドの任意の形成的評価段階の終わりに学習者の進捗を表示する（例えば，図９参照）。
‐モジュールの任意の所与の学習ラウンドの終わりに学習者の進捗を表示する（すなわち，学習者が任意の所与のラウンド内の形成的評価段階及び学習段階双方を完了した後）（例えば，図１０参照）。
‐学習内の任意の状態において学習者の進捗を表示する（例えば，図１１参照）。
・評価モジュール
‐評価を完了した後，学習者の評価を表示する（例えば，図１２参照）。
【0082】
一つの実施例はまた，学習アプリケーションの上右隅に，当該モジュールについての学習者の進捗の要約を（小さなパイチャートの形態で）提供する（図５参照）。この要約は，モジュールの任意の所与の学習ラウンドの学習段階において利用可能である。さらに，学者がパイチャートをクリックすると，より詳細な進捗要約がパイチャートの形態で提供される（図１１参照）。
【0083】
一つの実施形態はまた，（学習モジュール及び評価モジュール双方の）評価に対する各応答の後で，学習者の回答が，自信がある＋正しい，ある程度自信がある＋正しい，分からない，自信がある＋誤った，又はある程度自信がある＋誤った，であるかどうかを学習者に表示する。しかし，正答はその時点では提供されない。むしろ目標は，学習者が任意の所与のラウンドの学習段階において正答及び説明を熱心に見るように，任意の特定の応答における学習者の期待を高めることである。
【0084】
ほとんどの実施形態において，文書化された知識プロファイルは次の情報のうち１又は複数に基づいている。１）作者又は登録者が設定したモジュールの設定された目標状態（例えば，精通対熟達），２）学習の各ラウンドの学習者の形成的評価又は所与の評価内の結果，３）実現された特定のアルゴリズムによって，学習者の応答がどのように採点されたか。必要又は所望であれば，知識プロファイルは学習者及びほかの利用者が利用できるようにしてもよい。さらに，この機能は作者又はシステムのほかの管理者が選択的に実現してもよいものである。
【0085】
図１３は，学習アプリケーションの別の実施形態から表示された，利用者が完了した形成的評価の結果として生成された知識プロファイル１３００のいくつかの例を示している。図１３において，チャート１３０２及び１３０４は，２０個のａｍｐＯｂｊｅｃｔからなるモジュールにおける応答の分類を示すことによって，学習者に配信される全知識プロファイルを示す。学習者が与えた任意の特定の質問についての即時フィードバックが，１３０６，１３０８，１３１０及び１３１２に示す形態で与えられる。
【0086】
ほかの実施形態は，応答のカテゴリ又は各応答に指定された得点に基づく，すべての応答に渡る累積得点によって分離された応答割合の簡単なリストを表示する。
【0087】
一つの実施形態においては，学習の各ラウンドの評価段階において，次のデータが連続的に表示され，学習者が各質問に応答するにつれて更新される。（ａ）質問セット（作者又は登録者が決定する）内の質問の数であって，現在学習者に表示されている当該質問セットの質問の数（６個のうち１個，６個のうち２個，等），（ｂ）どの質問セットが現在学習者に表示されているか（例えば，「質問セット３」），（ｃ）モジュール内の質問（ａｍｐＯｂｊｅｃｔ）の総数，（ｄ）完了した（１回正答採点法）又は精通した（２回正答採点法）ａｍｐＯｂｊｅｃｔの数。
【0088】
モジュール内の質問の数は次に依存する。（ａ）モジュール内のａｍｐＯｂｊｅｃｔの数，（ｂ）質問セット当たり表示されるａｍｐＯｂｊｅｃｔの数，（ｃ）採点法（１回正答又は２回正答），（ｄ）特定のモジュールに「合格」するために必要な割合（デフォルトは１００％），（ｅ）学習者が各ａｍｐＯｂｊｅｃｔを完了（１回正答）又は精通（２回正答）するまでにａｍｐＯｂｊｅｃｔに応答しなければならない回数。
【0089】
一つの実施例において，各質問セットの学習段階において，学習者がａｍｐＯｂｊｅｃｔごとに質問，回答，説明及び追加学習要素を検討するとき，次を連続的に表示してもよい。（ａ）モジュール内の質問（ａｍｐＯｂｊｅｃｔ）の総数，（ｂ）完了（１回正答）又は精通（２回正答）した質問の数，（ｃ）その時点での自信があるかつ正しい応答の数を示すパイチャートのような進捗要約グラフ，（ｄ）応答がどのように分類されたかに関する実時間の情報を提供する詳細な進捗ウィンドウ。
【0090】
システムの現在の実施形態においては，評価モジュール（すなわち，評価だけが学習者に表示され，学習は表示されない）において，学習者の進捗が次のように学習者に表示される。（ａ）モジュール内の質問の総数，（ｂ）モジュールのどの質問が現在学習者に表示されているか（２５個のうち１個，２５個のうち２個，等）。評価モジュールにおいては，当該モジュール内のすべての質問が，評価の１ラウンドで学習者に提示される。質問セットは評価に関係しないため，ａｍｐＯｂｊｅｃｔを質問セットに分解することはない。
【0091】
評価モジュールを完了すると，学習者に次のうち１又は複数を要約するページが提供される。・評価において受けた全得点。これは，自信がある＋正しい及びある程度自信がある＋正しいの割合の合計である。
・次の図形表示
‐次のように分解される正しい応答
‐自信がある＋正しい回答の割合
‐ある程度自信がある＋正しい回答の割合
‐次のように分解される誤った応答
‐自信がある＋誤った回答の割合
‐ある程度自信がある＋誤った回答の割合
‐知らないと答えた割合
【0092】
システムの役割：更なる実施形態において，上述のシステムの役割（管理者，作者，登録者，分析者及び学習者）に加えて，上記５人全体の役割の詳細なタスク又は機能に従事する追加の役割がある。これらの追加の役割は次を含む。・マネージャ：作者，資源司書及び翻訳者のスタッフを管理する。
・資源司書：学習コンテンツを作成するために用いることができる資源のライブラリを管理する。
・発行者：カリキュラムの編成構造を管理し，公式にモジュールを発行する能力を有する。
・翻訳者：コンテンツを別の言語に翻訳し，適切な地域化のための調整を行う。
・校閲者：コンテンツに関するフィードバックを提供する。
・ＣＭＳ管理者：組織内の使用のためにコンテンツ管理システム（ＣＭＳ）を設定する。
【0093】
ほかの実施形態においては，システム役割は，コンテンツ管理システム（ＣＭＳ）又は登録及びデータ分析（ＲＤＡ）内のように，全システム構成要素ごとにグループ分けしてもよい。
【0094】
機能ステップの例一つの実施形態においては，学習モジュールの実行において次のステップのうち１又は複数が用いられる。下に列挙したステップのうち１又は複数を任意の順で実施してもよい。
ａ．作者がａｍｐＯｂｊｅｃｔを計画し開発する。
ｂ．ａｍｐＯｂｊｅｃｔを集約してモジュールにする。
ｃ．モジュールを高次コンテナに集約する。これらのコンテナは，任意選択でコース又はプログラムとして分類してもよい。
ｄ．開発されたカリキュラムが適切な機能を有するかどうか確かめるために試験する。
ｅ．カリキュラムを発行し，利用に供する。
ｆ．１又は複数の学習者がカリキュラムに登録される。
ｇ．学習者は，カリキュラムに見出された評価及び／又は学習に取り組む。
ｈ．所与のモジュールにおいて学習の各ラウンドで学習者が評価及び学習段階双方を体験するように，学習を一かたまり又は別様にグループ化してもよい。
ｉ．学習のラウンドごとに，個別化され又は別様に適応的な知識プロファイルが開発され，各学習者に対話ベースで表示される。学習の各ラウンドにおいて提供される質問及び関連する改善は，モジュールの構成と，当該構成がどのように基になるアルゴリズムを修正するかと，に基づいて個別化され，適応的に供される。
ｊ．評価段階において，モジュールを完了した後で，熟達又は精通得点が学習者に示される。
ｋ．学習段階において，回答が提出されるごとに即時フィードバックが学習者に与えられる。
ｌ．評価及び学習ラウンド内の各評価段階の完了後に，知識品質（分類）に関するフィードバックが与えられる。
ｍ．これまでに完了したすべてのラウンドに渡る知識品質（分類）及び任意の所与のモジュールにおける熟達又は精通に至る進捗に関するフィードバックが与えられる。
ｎ．次に，各ａｍｐＯｂｊｅｃｔに関係する質問に学習者がどのように回答したかに応じて，学習ラウンドのモジュールのａｍｐＯｂｊｅｃｔの適応型の個別化された組が学習者に提示される。システムの適応特性は，以前の学習ラウンドにおけるａｍｐＯｂｊｅｃｔに対する学習者の応答に基づいて，学習者がこれらのａｍｐＯｂｊｅｃｔをどれだけ頻繁に見るかを判定する計算機実現アルゴリズムによって制御される。同一の知識プロファイルがデータベースに捕捉され，後に報告データベースにコピーされる。
【0095】
類似の機能ステップが評価モジュールの実行において用いられる。しかし評価モジュールに関してはいかなる学習段階も提示されておらず，ａｍｐＯｂｊｅｃｔ（導入，質問，回答に限る）が一つの連続したグループ分けで学習者に提示される（質問セットではない）。
【0096】
コンテンツ管理システム（ＣＭＳ）内学習オブジェクト（ａｍｐＯｂｊｅｃｔ）のオーサリングは，事前計画と，各学習オブジェクトへの分類別データの追加を含んでもよい（例えば，学習結果声明，課題，副課題，等）。さらに，ａｍｐＯｂｊｅｃｔをモジュールに集約し，モジュールを高次コンテナ（例えば，コース，プログラム，レッスン，カリキュラム）に編成してもよい。また，ＣＭＳを，カリキュラムの品質保証検討を行い，学習又は評価のカリキュラムを発行するようにしてもよい。
【0097】
登録及びデータ分析（ＲＤＡ）アプリケーション内学習者をカリキュラムに登録し，学習者がカリキュラムに見出された評価及び／又は学習に取り組むことができるようにする能力。（上述のとおり）学習アプリケーションにおいて学習者に直接提供されるフィードバックに加えて，学習及び／又は評価に関係する報告もまた，特定の役割（例えば，分析者，指導者，管理者）がＲＤＡ内で利用できる。
【0098】
ＲＤＡ内の報告機能別の態様によれば，学習者又は指導者に種々の様相で表示するために，知識プロファイルデータから報告を生成することができる。特にＲＤＡにおいては，図形による報告と，例えば利用者が報告内の特定の要素内の選択した情報にドリルダウンできるようにする分析ツールとの中の簡単な利用者インタフェースによって報告を行うことができる。指導者又は分析者に特に適合させた特別報告ダッシュボードを提供してもよい。報告は，．ｐｄｆ，．ｃｓｖ又は多くのほかの定評のあるデータファイル形式で得られる。
【0099】
図１４〜１７は，特定の課題又は課題群における進捗を誘導するために用いることができる種々の例示報告を示す。図１４は，すべての学生が課題を完了する前の，特定のモジュールが課された学生の集団の進捗を示す。図１５は学生の集団に関するカリキュラム内の各ａｍｐＯｂｊｅｃｔに対する最初の応答を示し，これらの応答は課題ごと及び応答カテゴリ（例えば，自信がある＋誤った，自信がない＋誤った，等）ごとに記憶される。図１６は，（ａ）選択された課題に関するカリキュラムの各ａｍｐＯｂｊｅｃｔに対する学生の集団の最初の応答と，報告を構成した応答数（応答した学習者の数に等しい）との要約，及び（ｂ）誤答＃１又は＃２のいずれかであった応答の割合を示す。図１７は，特定のａｍｐＯｂｊｅｃｔに対する最初の応答の詳細な分析を示す。これらはシステムが生成できる多くの報告のうちのいくらかに過ぎない。
【0100】
ハードウェア，データ構造体及び機械の実現上述のとおり，ここで説明したシステムは，種々のデータベース及び利用者インタフェース構成の利用を含む，広範なスタンドアロン又はネットワーク化されたアーキテクチャで実現することができる。ここで説明した計算機構成は，評価及び学習教材の開発及び配信双方に用いることができ，スタンドアロンシステム及び例えば，ワールドワイドウェブ（インターネット），イントラネット，移動体網又はほかのネットワーク分散アーキテクチャを介したネットワーク分散型を含む広範な様相で動作することができる。さらに，ほかの実施形態は，複数の計算プラットホーム及び計算機装置の利用を含むか，又はシステムのクライアントサーバ構成要素との対話を含む若しくは含まない計算装置上のスタンドアロンアプリケーションとして実現される。
【0101】
一つの特定の利用者インタフェースの実施形態においては，回答を適切な応答領域にドラッグすることによって回答が選択される。これらの領域は，学習者が自分の回答選択に非常に自信があることを示す「自信がある」応答領域と，学習者が自分の回答選択にある程度だけ確信していることを示す「自信がない」応答範囲と，学習者がいかなる確信レベルであっても正答を知っていると表明したくないことを示す「分からない」応答範囲と，からなってもよい。また，自信の程度を示すために種々の用語を用いてもよく，上述の「自信がある」，「自信がない」及び「分からない」は，代表例に過ぎない。例えば，非常に自信があるとき「確信している」，自信がない状態に対して，「ある程度確信している」，そして分からない状態に対して，「未だ知らない」。評価プログラムを表す一つの実施形態においては，ただ一つの「ある程度確信している」応答ボックスを提供してもよい。すなわち，学習者は「ある程度確信している」応答のうちただ一つの回答を選択することができる。
【0102】
一かたまりの学習別の態様によれば，学習モジュールの作者は，所与のモジュールにおける全ａｍｐＵｉｔの一部だけが学習の任意の所与のラウンドにおいて提示されるように，ａｍｐＯｂｊｅｃｔを一かたまりにするか，別様にグループ化するかを設定できる。すべての「一まとめ」又はグループ化は，作者がモジュール構成ステップにおいて決定する。作者は，例えば各モジュールに含まれる学習オブジェクト（ａｍｐＯｂｊｅｃｔ）の数，及び学習イベント内の質問セットごとに表示される学習オブジェクトの数，によって，モジュール内の二つの異なるレベルの学習オブジェクトを一まとめにしてもよい。この実施形態においては，指定された「完了」の定義に基づいて，完了したａｍｐＯｂｊｅｃｔが削除される。例えば，「完了」は，作者又は管理者が与えた目標設定に応じて，１回正答及び２回正答の点で異なってもよい。ある実施形態においては，作者は，学習の任意の所与の質問セットにおいて，所与のモジュール内の全学習オブジェクトの一部だけが提示されるように，学習オブジェクトを「一まとまり」（ｃｈｕｎｋｅｄ）にするかどうかを設定することができる。また，学習の質問セット当たり表示される学習オブジェクトの数を最適化するために，実時間分析を用いてもよい。
【0103】
ａｍｐＯｂｊｅｃｔ構造ここで説明したａｍｐＯｂｊｅｃｔは，次に掲げる全特性のうち１又は複数を表明する「再利用可能学習オブジェクト」として設計されている。すなわち，学習結果表明（又は適性表明若しくは学習目的），当該適性を達成するために必要な学習，及び当該適性の達成を検証する評価。学習オブジェクトに関して前述したとおり，ａｍｐＯｂｊｅｃｔの基本構成要素は，導入，質問，回答（１個の正答，２〜４個の誤答），説明（知る必要がある情報），任意選択の「追加学習」情報（知っているとよい情報），メタデータ（学習結果声明，課題，副課題，キーワード，及び各ａｍｐＯｂｊｅｃｔに関係するほかの階層的又は非階層的情報），及び作者の注釈，を含む。システム内の報告機能によって，作者は特定のメタデータ要素を，各ａｍｐＯｂｊｅｃｔに起因する評価及び学習にリンクさせることができる。これは，後続の分析に著しい恩恵をもたらす。コンテンツ管理システム（ＣＭＳ）を用いて，これらの学習オブジェクト（ａｍｐＯｂｊｅｃｔ）は，学習モジュール及びカリキュラムの開発において，現在の形態又は改訂した形態で迅速に再利用できる。
【0104】
陰の質問セット別の実施形態においては，同一の適性（学習結果，学習目的）と関係する陰の質問を用いてもよい。一つの実施形態において，作者が関係する学習オブジェクトを陰の質問セットに関係付ける。学習者が，陰の質問セットの一部である一つの質問に対して正答得点を受けたとき，当該陰の質問セット内の任意の学習オブジェクトは，正しく回答されたと認定される。システムは，ここで説明する方法の１又は複数によって指示されるとおり，陰の集合内のすべての学習オブジェクトから無作為に（交換なしに）抜き出す。例えば，１回正答アルゴリズムで設定されたモジュールにおいては，次の手続を実現してもよい。
ａ．学習者が陰の質問セットの学習オブジェクトを初めて提示されたとき，学習者が確信して回答し，その応答が「自信があるかつ誤った」であった。
ｂ．学習者が同一の陰の質問セットの学習オブジェクトを次に提示されたとき，当該陰の集合から別の質問が無作為に抜き出され，学習者が確信して回答し，その応答が「自信があるかつ正しい」であった。
ｃ．学習者が同一の陰の質問セットの学習オブジェクトを次に提示されたとき，（当該陰の質問セットから追加の学習オブジェクトがまだ入手できるとき）当該陰の集合から別の質問が無作為に抜き出され，学習者が確信して回答し，その応答が「自信があるかつ正しい」であった。
上記のシナリオにおいては，当該陰の質問セットに精通したと考えられ，当該陰の質問セットからは追加の学習オブジェクトが学習者に表示されない。
【0105】
モジュール構造モジュールは利用者又は学習者に配信されるときのａｍｐＯｂｊｅｃｔの「コンテナ」の役割を果たし，したがって，課題の形態で学習者に提示され，又は学習者が別様に体験するであろうカリキュラムの最小の利用可能な編成単位である。上述のとおり，各モジュールは１又は複数のａｍｐＯｂｊｅｃｔを含むことが望ましい。一実施形態においては，アルゴリズムに従って構成されるのはモジュールである。モジュールは次のように構成することができる。
ａ．目標状態：これは，例えば１回正答又は２回正答，など，一定の正答の数として設定してもよい。
ｂ．精通した（完了した）質問の削除：学習者が特定のａｍｐＯｂｊｅｃｔの目標状態に到達すると，その問題はモジュールから削除され，以降，学習者に提示されない。
ｃ．ａｍｐＯｂｊｅｃｔの表示：作者又は管理者は，質問の各ラウンドにおいてａｍｐＯｂｊｅｃｔの全リストが表示されるか，各ラウンドにおいて部分リストだけが表示されるかを設定できる。
ｄ．完了得点：作者又は管理者は，学習者が，例えば特定の得点を達成することによって，学習のラウンドを完了したと認定される得点を設定することができる。
【0106】
カリキュラム構造一定の実施形態においてはカリキュラム構造は拡張可能（ｏｐｅｎ−ｅｎｄｅｄ）であり，作者又は管理者は，カリキュラムがどのように学習者に配信されるかの構造を制御することができる。例えば，モジュール及びほかの編成ユニット（例えば，プログラム，コース及びレッスン）は，改名又は別様に修正して再構成してもよい。さらに，モジュールは，スタンドアロンの評価（総括的評価）として表示されるように構成してもよいし，又はシステムの形成的評価及び学習双方の機能を組み込んだ学習モジュールとして表示されるように構成してもよい。
【0107】
学習者ダッシュボードここで説明したシステムの構成要素として，利用者が利用及び検討のために種々の態様の情報を表示し編成する学習者ダッシュボードが提供される。例えば，利用者ダッシュボードは次のうち１又は複数を含んでもよい。
【0108】
自分の課題ページこれは，一実施形態においては，次の状態の１又は複数を含む現在の課題のリストを含む（学生又は校閲者による当該モジュールの完了状態の文書化）。すなわち，新規課題，継続課題，検討，新規再履修，継続再履修，検討コンテンツ（校閲者だけ）。自分の課題ページにはまた，現在のプログラムの態様についての一般的な背景情報（例えば，特定モジュールの要約又は概要）のようなカリキュラム情報も含まれる。課題ページはまた，特定の課題又は訓練プログラムの利用が許可される前に履修する必要があるほかのモジュール又はカリキュラムのような，事前及び事後の必須リストも含んでよい。モジュールを完了（精通）したとき，再履修モジュール及び検討モジュールが学習者に提示される。再履修モジュールは，修正した１回正答アルゴリズムを用いて，学習者が当該モジュールを再履修できるようにする。検討モジュールは，学習者が，（学習者が第１に列挙された最大の困難さを体験した）各ａｍｐＯｂｊｅｃｔにどれだけの困難さを体験したかに基づいて記憶された当該モジュール内のａｍｐＯｂｊｅｃｔの表示と共に，所与の評価又は学習モジュールによる特定の学習者の進捗を表示する（前に履修した評価又は学習モジュールの履歴全体像）。検討コンテンツリンクは，校閲者の役割の個人にだけ提示される。
【0109】
学習ページこれは学習段階に表示される進捗ダッシュボードを含んでもよい（表及びグラフデータ双方を含む。例として図９，１０及び１１を参照されたい。）。学習ページはまた，カテゴリ別の学習者の応答割合と，学習の任意の先行ラウンドの結果と，完了したすべてのラウンドに渡る結果と，も含んでよい。
【0111】
報告及び時間測定報告の役割（分析者）は種々の実施形態においてサポートされる。一定の実施形態においては，報告機能は，登録及びデータ分析（ＲＤＡ）アプリケーションを用いるなど，システム内で利用可能なテンプレートに基づいて，種々の報告を生成する専用の利用者インタフェース，すなわちダッシュボードを有してもよい。標準及び／又は個別化した報告テンプレートを管理者が生成し，任意の特定の学習環境で利用可能にしてもよい。このように構成した報告は，学習者が各ａｍｐＯｂｊｅｃｔに回答するために要した時間，及び所与のモジュール内のすべてのａｍｐＯｂｊｅｃｔに回答するために要した時間を捕捉する能力を含む。回答を検討するために費やした時間もまた捕捉される。あり得る表現として，例えば図１４を参照されたい。報告から生成されたパターンが一般化され，追加の情報が報告機能における傾向から収集される。あり得る表現として，図１４〜１７を参照されたい。報告機能は，管理者又は教師が将来の授業において最も時間を掛けるべきところを理解できるようにする。さらに，学習者には必ずしも必要ではない特定の報告及び報告機能を可能にするために，指導者ダッシュボードを組み込んでもよい。
【0112】
その他のシステム機能コンテンツアップロードの自動化：ほかの態様によれば，ここで説明したシステムは，ａｍｐＯｂｊｅｃｔをシステムに追加する種々の自動化した方法を利用するようにしてもよい。学習システム内に，データを読み込み，分析し，適切なデータベースに書き込むコードを実装してもよい。学習システムはまた，以前に書式化されたデータ，例えばｃｓｖ又はｘｍｌから学習システムへのアップロードを自動化するスクリプトの使用を可能にしてもよい。さらに，いくつかの実施形態においては，学習教材を取得してシステムに直接アップロードし，形式及び構造を保存するために，個別に作成されたリッチテキスト形式のテンプレートを使用することができる。
【0113】
いくつかの実施形態においては，学習システムは，ほとんどの計算機アプリケーションにおいて使用される種々の標準タイプの利用者対話，例えばマウスの右クリックで現れるコンテキスト依存メニュー等，をサポートすることが望ましい。システムのいくつかの実施形態はまた，ドラッグアンドドロップ機能並びに検索及び置換機能のようないくつかの追加特徴を有することが望ましい。
【0114】
データセキュリティ：本発明の態様及び種々の実施形態は，専用，個人的及び／又はほかの種類の機密情報を保護する標準の情報技術セキュリティ実務を使用する。これらの実務は，（部分的に）アプリケーションセキュリティ，サーバセキュリティ，データセンタセキュリティ及びデータ分離（ｓｅｇｒｅｇａｔｉｏｎ）を含む。例えば，アプリケーションセキュリティに関しては，各利用者は自分のアカウントを利用するためにパスワードを生成し，管理するように要求される。アプリケーションは，ｈｔｔｐｓを用いて保護される。すべての管理者パスワードは反復可能ベースで変更され，パスワードは強固なパスワードの最小要求条件を満たさなければならない。例えば，サーバセキュリティに関して，すべての管理者パスワードは所定の方法に基づいて，強固なパスワードの最小要求条件を満たす新規な無作為パスワードに変更され，管理者パスワードは暗号化されたパスワードファイルを用いて管理される。データ分離に関しては，本発明及びその種々の実施形態は，データがドメインＩＤを用いて論理的に分離され，個々のログインアカウントは（管理者を含め）唯一つのドメインに属し，データベースへのすべての外部アクセスはアプリケーションを経由し，アプリケーションの問合せは厳密に試験される，複数テナント共有スキーマを用いる。ほかの実施形態においては，アプリケーションは選択された利用者グループのデータは別個のデータベースで（共有テナントモデル以外で）管理されるように区分される。
【0115】
スイッチ本発明の態様によって構築された学習システムは，作者又はほかの管理担当者が，学習者がモジュールを完了するために示さなければならない精通レベルを上げ下げできるようにするために，この実現形態において種々の「スイッチ」を用いる。「スイッチ」は，学習及び／又は記憶を強化（又は低下）させる特定の機能又は処理と定義される。これらスイッチに関係する機能は，実験心理学，神経生物学及びゲームにおける関係する研究に基づいている。各スイッチの実現形態は，本発明の特定の実施形態及び展開構成によって異なる。
【0116】
反復（適応型反復）：アルゴリズムによって駆動される反復スイッチは，精通レベルを達成するために学習者が質問ラウンドを反復できるようにするために用いられる。古典的な考え方では，反復するラウンドを通じて意図的かつ高度に構成可能な学習を与えることによって記憶が強化される。適応型反復スイッチは形成的評価技法を用い，いくつかの実施形態においては強制選択回答を有しない質問の使用と組み合わされる。本発明及び種々の実施形態における反復は，強制の有無にかかわらず，最終利用者に対する評価及び学習教材の反復と，当該反復の頻度と，各反復内のコンテンツのまとめの程度と，によって制御することができる。別の実施形態においては，学習者が各質問セットに関係する知識をより深く理解していることを示すようにシステムが要求する「陰の質問」が利用される。陰の質問セット内のａｍｐＯｂｊｅｃｔはすべて同一の適性と関係しているため，種々の陰の質問を表示することによって，よりわずかであるがより深い形態の適応型反復が可能になる。
【0117】
予備刺激（ｐｒｉｍｉｎｇ）：予備試験の態様は，システム内の基本試験方法として用いられる。予備試験による予備刺激は，いくつかの知識記憶痕跡の態様の発達を開始させ，次いで反復学習を通じて強化される。本発明の態様を用いた学習は，いくつかの関係する課題に関する記憶痕跡を利用可能にし，次に当該経路を強化し，記憶が特定の知識を捕捉する追加の経路を生成する。本発明及びその種々の実施形態においては，例えば，学習の際の形成的評価の標準的使用だけでなく，形成的予備評価の利用によって，予備刺激スイッチはいくつかの方法で制御することができる。
【0118】
進捗：進捗スイッチは，学習者に特定のモジュールにおける自分の進捗を通知し，学習の全段階を通じて図形の形態で利用者に提示される。
【0119】
フィードバック：フィードバックループスイッチは，回答の提出時の即時フィードバック及び当該ラウンドの学習部分における詳細なフィードバック双方を含む。学習者が質問を正しく理解したか，誤って理解したかについて，学習者に即座に反映することは，学習後の評価において示される成績に重大な影響を有する。本発明及び種々の実施形態におけるフィードバックスイッチは，各ａｍｐＯｂｊｅｃｔにおいて提供されるフィードバックの程度（例えば，正誤双方の回答の説明対正答だけの説明とを提供する），又は標準の学習（標準学習モデルは形成的評価を組み込んでいる）と組み合わせた総括的評価の利用の利用，のようないくつかの方法で制御することができる。さらに，学習モジュールにおいて，学習者は自分の応答のカテゴリ（例えば，自信があるかつ正しい，ある程度自信があるかつ誤った，等）に関して即座に通知される。
【0120】
コンテキスト：コンテキストスイッチは，作者又は管理担当者が，特定の知識の応用に必要な条件をシミュレートするように，適切又は所望のコンテキストをシミュレートできるようにする。例えば，２回正答得点法を有するモジュールにおいて，作者は，学習者が自信がある＋正しい応答を行うと，モジュールが特定の質問に重要ではない画像又はほかの情報を削除するように設定できる。画像又はほかのメディアは導入部又は質問自体のいずれかに置いてもよいし，学習段階において，又は再履修の一部として常に，選択的に配置してもよい。本発明又は種々の実施形態のコンテキストスイッチは，作者又は管理者が，学習及び勉強環境が実際の試験又は応用環境をできるだけ忠実に反映するようにすることを可能にする。実際上，学習者が視覚補助の助けなしに情報を思い出す必要があるとき，学習システムは，学習過程の後段で視覚補助なしに質問を学習者に提示するようにしてもよい。精通過程を始めるためにある核知識が必要なとき，画像を学習過程の初期段階で用いてもよい。この原理は，ある期間は，画像又はほかの補助的であるが重要ではない評価及び／又は学習教材から学習者を引き離すことである。コンテキストスイッチの別ではあるが依然関係のある構成において，作者は，特定のａｍｐＯｂｊｅｃｔ又はモジュールにおいてどのくらいの割合のシナリオベース学習が必要かを決定することができる。
【0121】
推敲：このスイッチは種々の設定選択肢を有する。例えば，推敲スイッチは，作者が複数の場所及び形式に渡る一つの応答における知識及び確度度双方の同時評価を行うことを可能にする。推敲は，初期質問と，基礎的種類の質問と，シナリオベースの質問と，シミュレーションベースの質問とからなってもよい。このスイッチは，正答（認識回答タイプ）及び自信の程度の同時選択を提供する。さらに，学習者は応答する前に種々の回答を対照比較しなければならない。このスイッチはまた，正答及び誤答双方の説明の検討を提供する。これは，テキストベースの回答，メディアが強化された回答又はシミュレーションが強化された回答によって提供してもよい。推敲は，核知識を支持する追加知識を提供し，また学習の強化にための単純反復を提供する。このスイッチはまた，学習の１回正答（熟達）レベル又は２回正答（精通）レベルに設定することができる。実際，現在試験している情報は，学習者が既に知っているか既に試験を受けたほかの情報と関係している。自分が既に知っていることについて考えると，学習しようとしている情報を推敲し増強するために，このわずかな情報を連想することができる。別の役割においては，上述の陰の質問の利用を，特定の適性に対する学習のより深い（推敲的）形態として遂行スイッチに実現してもよい。システムはまた，シミュレーション事象に回答の手掛かりの試験を組み込む能力を提供する異なるシミュレーション形式の強化されたサポートを提供してもよい。学習モジュール内のより「アプリのような」利用者インタフェースは，学習者の認知及び感情領域だけでなく運動感覚領域を用いる。運動感覚構成要素（例えば，回答を所望の応答ボックスにドラッグする）は，高次推敲によって長期記憶を更に強化する。
【0122】
間隔：本発明の態様及び種々の実施形態による間隔スイッチは，長期記憶を支持する生物学的過程（例えば，タンパク質合成）を生じさせるように，コンテンツをより小さなサイズの素片に手動で区切ること（ｍａｎｕａｌ ｃｈｕｎｋｉｎｇ）並びに強化された符号化及び記憶を利用する。このシナプス統合は，試験間の一定量の休息に依存し，記憶の統合を生じさせる。本発明の種々の実施形態において，この間隔スイッチは，モジュール内の学習のラウンド当たりａｍｐＯｂｊｅｃｔの数及び／又はモジュール当たりａｍｐＯｂｊｅｃｔの数を設定するなど，複数の方法で構成される。
【0123】
確信度：確信度スイッチは，一つの応答における知識及び確信度双方の同時評価を可能にする。この種の評価は，学習者の知識プロファイル及び学習の全段階を適切に評価するために重要である。知識（認知領域）及び確信度（感情領域）双方の同時評価は，脳内の記憶連想を生成によって長期記憶を強化する。本発明の態様及び種々の実施形態による確信度スイッチは，１回正答（熟達）又は２回正答（精通）の設定に従って書式化してもよい。
【0124】
注意：本発明の態様及び種々の実施形態による注意スイッチは，学習者が自分の知識の確信度を判定することを必要とする（すなわち，学習者の感情的及び相関的双方の判断が必要）。この結果，学習者の注意が高められる。学習者に必要な注意の程度を変更するために，区切り（ｃｈｕｎｋｉｎｇ）を用いてもよい。例えば，ａｍｐＯｂｊｅｃｔを区切ること（モジュール当たりのａｍｐＯｂｊｅｃｔの数，形成的評価及び学習のラウンド当たり表示されるａｍｐＯｂｊｅｃｔの数）は，学習者の注意を特定の主題において精通を達成するために必要なコアコンピテンス及び関連する学習に集中させる。さらに，学習及び／又は評価の所望の段階における顕著かつ興味深いフィードバックの提供は，（学習の事象に関係しない活動に注意をそらすことに対して）学習者が学習の事象に完全に携わることを保証する。
【0125】
動機：本発明の態様及び種々の実施形態による動機スイッチは，任意の所与のモジュール，コース又はカリキュラム内の学習のラウンドのうち１又は複数内の学習者の進捗に関して，明確な指示を提供する学習者インタフェースを可能にする。種々の実施形態におけるこのスイッチはまた，学習者に定性的な進捗の結果（分類）又は定量的な進捗の結果（得点）のいずれかを表示することができる。
【0126】
リスク及び報酬リスク／報酬スイッチは，ドーパミンの放出を起動し，学習者の注意及び好奇心を生じさせる精通ベースの報酬スケジュールに従って報酬を提供する。学習者は応答が自信があるかつ間違った又はある程度自信があるかつ間違ったであるときは罰せられるため，リスクは明白である。学習の全段階において進捗のグラフが利用者に提供されるとき，リスクの感覚が高められる。
【0127】
登録本発明及び種々の実施形態の態様は，組込みの登録機能を含み，それによって，利用者アカウントをシステムに追加し又は削除することができ，利用者を「活性」状態又は「不活性」状態に置くことができ，利用者に（利用者アカウントを介して）システム内の種々の評価及び学習プログラムを与えることができる。本発明の現在の実施形態においては，登録は登録及びデータ分析アプリケーション内で管理される。初期の実施形態においては，登録は３層統合アプリケーションシステム内で管理された。登録はまた，外部システム（学習管理システム又はポータルなど）において管理してもよく，その登録情報は技術的統合によってシステムに伝送される。
【0128】
学習管理システム統合本発明の態様及び種々の実施形態は，スタンドアロンアプリケーションとして動作することができるか，又は第三者の学習管理システム（ＬＭＳ）と技術的に統合してもよい。ＬＭＳ内で管理される種々の評価及び学習課題を有する学習者は，シングルサインオン機能を有するか，有しないシステム内の評価及び／又は学習を開始し参加することができる。この技術的統合は，航空業界ＣＢＴ委員会（ＡＩＣＣ）相互運用性標準と，ｈｔｔｐポートと，ウェブサービスと，ほかのこのような標準技術統合方法とのような種々の業界標準の実務によって可能になる。
【0129】
アバタシステムの種々の実施形態において，簡潔なテキストメッセージを有するアバタを必要なときに学習者を指導するために表示してもよい。メッセージの性質及びアバタをいつどこに表示するかは，システムの管理者が設定できる。アバタは利用者に顕著な指導を提供することが推奨される。例えば，アバタを用いて，（上述の）スイッチが学習者から見て学習にどのように影響を与えるかに関して指導を提供することができる。本発明においては，アバタは学習者にだけ表示され，システム内の作者又はほかの管理担当者には表示されない。
【0130】
ａｍｐＯｂｊｅｃｔライブラリ及び評価の構造図１８は，本発明の態様によって構築されたａｍｐＯｂｊｅｃｔライブラリの全体構造を示している。一実施形態においては，ａｍｐＯｂｊｅｃｔライブラリ１８００は，メタデータ構成要素１８０１ａと，評価構成要素１８０１ｂと，学習構成要素１８０１ｃとを有する。メタデータ構成要素１８０１ａは，コンピテンス，課題及び副課題のような，作者が各ａｍｐＯｂｊｅｃｔに関係させることを望む構成可能項目に関するセクションに分割される。メタデータ構成要素に加えて，評価構成要素は，導入，質問，正答，及び誤答に関係するセクションに分割される。さらに，学習構成要素１８０１ｃは説明セクション及び追加学習セクションに分割される。
【0131】
運用アルゴリズムの設定選択肢，並びにＢｌｏｏｍのレベルと，アプリケーションと，振舞いと，追加のコンピテンスとに関係する情報を含むモジュールライブラリ１８０７もまた含まれる。管理者又は作者は次のようにこれらの構造を利用することができる。初めに，ａｍｐＯｂｊｅｃｔが生成され（１８０２），ａｍｐＯｂｊｅｃｔの主要要素が構築され（１８０３），コンテンツ及びメディアがａｍｐＯｂｊｅｃｔに組み込まれる（１８０４）。ａｍｐＯｂｊｅｃｔライブラリ１８０１が生成されると，モジュールに含める適切なａｍｐＯｂｊｅｃｔを決定してモジュール１８０７が生成される。モジュールが生成された後，学習課題が発行される。
【0132】
サービス指向アーキテクチャ（ＳＯＡ）及びシステム構成要素及び役割図３の例に戻ると，高レベルにおいて，システムアーキテクチャ３００は，各サービスを通じて結合された多層（ｎ層）アーキテクチャを用いたサービス指向アーキテクチャ（ＳＯＡ）である。システムアーキテクチャ３００は，中でも次のうち１又は複数を含むいくつかの顕著なアプリケーション構成要素を含む。システム管理アプリケーション，コンテンツ管理システム（ＣＭＳ）アプリケーション，学習アプリケーション並びに登録及びデータ分析（ＲＤＡ）アプリケーション。
【0133】
コンテンツ管理システムの役割：ＣＭＳは，コンテンツ作者，コンテンツ管理者，資源司書，発行者，翻訳者，校閲者及びＣＭＳ管理者を含む，システム内の一定の役割を可能にする。コンテンツ作者の役割は，学習オブジェクトを作成し，時と共にそれらを維持する機能を提供する。資源司書の役割は，学習者用のコンテンツを作成するために用いることができる資源のライブラリを管理する機能を提供する。翻訳者の役割は，コンテンツを別の言語に翻訳し，別様にシステムが管理されている地域にシステムを適合させる機能を提供する。コンテンツ管理者の役割は，作者，資源司書及び翻訳者のスタッフを管理する機能を提供する。発行者の役割は，カリキュラムの編成構造を管理し，作品をいつ発行するか，また既存の作品の新版をいつ用意するかを決定する機能を提供する。校閲者の役割は，発行に先立ってコンテンツについてフィードバックを提供する機能を提供する。ＣＭＳ管理者の役割は，任意の特定組織内で使用するために知識評価システムを設定する機能を提供する。
【0134】
コンテンツ作者の目標：コンテンツ作者は次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．説得力があり教育的な学習オブジェクト（ａｍｐＯｂｊｅｃｔ）を作成する。
ｂ．学習オブジェクトがサポートするメタデータ／分類を指定する。
ｃ．学習オブジェクトを，例えばモジュールに組み込まれた自分のチームの他者がりようできるようにする。
ｄ．特定のオーサリングチームが学習オブジェクトが最終形態であり，以降変更が予定されないことを知るように，学習オブジェクトを「凍結」に指定する。
ｅ．利用者が学習オブジェクトを後で容易に見つけられるように学習オブジェクトに「タグ付け」する。
ｆ．学習オブジェクトが学習者にどのように見えるかを確認する。
ｇ．誰が学習オブジェクトを作成し，だれが最近作業したかを確認する。
ｈ．学習オブジェクトがどこで用いられるかを確認する。
ｉ．既存のコンテンツを更新する作業を開始するときになったら，凍結された又は発行された学習オブジェクトの新版を作成する。
ｊ．旧版の学習オブジェクト又は学習オブジェクトの特定版が以降（新たに）使用されないように，「退役」と指定する。
ｋ．学習オブジェクトの版履歴を確認する。
ｌ．外部コンテンツをシステムに移入する。
ｍ．システム外で用いる形式のコンテンツを移出する。
ｎ．学習オブジェクトを結合してモジュール（評価及び／又は学習モジュール）にする。
ｏ．モジュールを結合して高次カリキュラム構造（例えば，コース，プログラム，レッスン，等）にする。
【0135】
コンテンツ資源司書の目標：コンテンツ資源司書は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．学習オブジェクト又はカリキュラムを作成している任意の所与のチームの作者が使用するために既存の資源を資源ライブラリにアップロードする。
ｂ．新規資源をアップロード又は作成する。
ｃ．必要なとき既存の資源を更新する。
ｄ．既に発行されている資源の新版を作成する。
ｅ．資源がどこで使用されるかを確認する。
ｆ．外部コンテンツをシステムに移入する。
ｇ．システム利用者が資源を後で容易に見つけられるように「タグ付け」する。
ｈ．誰が（どこで）資源を作成し，誰が（いつ）最近作業したかを確認する。
【0136】
コンテンツ翻訳者の目標：コンテンツ翻訳者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．進行中又は発行済みの作品中の学習オブジェクトの翻訳を作成（及びいくつかの場合，地域化）する。
ｂ．作品が更新されたとき，既存の翻訳（地域化）を更新する。
ｃ．学習オブジェクトにどの翻訳が存在し，どれにまだ翻訳が必要かを確認する。
ｄ．システムが必要な言語を適切にサポートしていることを検証し，そうでなければ，学習アプリケーション及びポータルに入力を提供する。
【0137】
上で用いた「翻訳」とは，既存のコンテンツの別の言語での表現である。「地域化」は特定の地理的（民族的）領域向けの翻訳の微調整である。例として，英語は言語であり，米国及び英国はロケールである。これら二つのロケールでは英語用法にいくつかの差異がある（綴り，語の選択，等）。
【0138】
コンテンツ管理者の目標：コンテンツ管理者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．コンテンツ（学習オブジェクト及び資源）を自分の組織及びチーム構成に適した方法で編成する。
ｂ．チームメンバに役割を与える。
ｃ．チームメンバに（及び潜在的にはほかの人にも）コンテンツの利用許可（読出し／書込み／なし）を与える。
ｄ．特定のコンテンツがサポートするように作成される分類の集合を管理する。
ｅ．作者，資源司書，校閲者及び翻訳者の作業を指示する。
ｆ．発行に先立って校閲過程が正しく実行されていることを確認する。
ｇ．発行されるまでコンテンツを凍結する。
ｈ．コンテンツの作成及び割付に用いられたスタイルの集合を管理する。
ｉ．モジュール（又はコンテンツ集）を内部及び外部利用者によるコメントのために検討できる場所で公表する。
ｊ．モジュールの得点及び提示選択肢を設定する。
【0139】
コンテンツ発行者の目標：コンテンツ発行者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．作品が管理され，発行された方法を反映するカリキュラム編成構造を作成する。
ｂ．作成されたコンテンツを統合したモジュールを作成する。
ｃ．各モジュールがサポートするように設計された分類（又は学習結果）を特定する。
ｄ．既存のコンテンツ及びカリキュラムの要素がどこで用いられているかを確認する。
ｅ．カリキュラムを複数の翻訳で発行する。
ｆ．既存のコンテンツ及びカリキュラムの要素の再利用機会を特定する。
ｇ．（完成した翻訳を含め）作品がいつ発行できるか決定する。
ｈ．発行された作品の新版についていつ作業を開始するか決定する。
ｉ．発行された作品の翻訳（地域化）をいつ発行するか決定する。
【0140】
コンテンツ校閲者の目標：コンテンツ校閲者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．コンテンツの完結性，文法，書式及び機能性について検討する。ここで，機能性とは，画像，映像及び音響が正しく再生又は表示され，利用に適当であるだけでなく，リンクが正しく作動し，起動することを確認することを意味する。
ｂ．コンテンツにフィードバック及び変更提案を行う。
ｃ．ほかの校閲者からのコメントを見る。
ｄ．自分の検討が完了したとき，他者に知らせる。
【0141】
ＣＭＳ管理者の目標：ＣＭＳ管理者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．副アカウントを管理する（トップレベルアカウントの管理者だけ）。
ｂ．（マネージャと共に）利用者の役割，利用及び許可を管理する。
【0142】
学習システムの役割：学習システム又はアプリケーション９５０は一般に，特定の学習者に，課題を完了しコンテンツに精通するための機能を提供する。
【0143】
学習者の目標：学習者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．コースの情報に精通する。
ｂ．知識及び技能における自信を向上させる。
ｃ．学習の際に楽しみ，体験に携わる。
ｄ．できる限り効率的，効果的に学習する能力を有する。
ｅ．ソーシャルネットワーク（ツイッタ−（登録商標），フェースブック（登録商標），チャット，等）と情報を共有する。
ｆ．課題，状態，期日，等を確認する。
ｇ．課題と関係する事前要求条件及び事後要求条件（例えば，追加学習，文書，リンク）を確認する。
ｈ．学習課題を開始，継続又は完了する。
ｉ．完了した学習課題を検討する。
ｊ．以前の学習課題から得た知識を復元（ｒｅｆｒｅｓｈ）する。
ｋ．学習アプリケーションに自己登録し，直接開始する。
ｌ．完了した課題の証明書をダウンロードして印刷する。
ｍ．快適，便利かつ親しみやすい環境で学習体験をする。
ｎ．自分が学習過程のどこにいるか，例えば，モジュール内の質問の総数，特定の質問セットに残っている質問の数，経過時間，精通レベル，得点，を知る。
ｏ．学習者の母国語で学習を体験する。
【0144】
登録及びデータ分析（ＲＤＡ）の役割：ＲＤＡ３０８は，登録者，指導者，分析者及びＲＤＡ管理者の役割を含む，システム内の一定の役割を可能にする。登録者の役割は，システム内の学習者アカウント及び学習者の課題を管理することである。指導者の目標は，全学生，学生の部分集合又は学生の結果に関する情報を見ることである。分析者の目標は，特定の組織又は個人に関して，学習者の成績及び活動を理解することである。ＲＤＡ管理者の目標は，任意の特定の組織内で利用するためにＲＤＡを設定することである。
【0145】
登録者の目標：登録者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．新規学習者の作成及び既存の学習者の不活性化を含み，システム内の学習者を管理する。
ｂ．１又は複数のカリキュラム要素（例えば，モジュール，本，等）に学習者を登録する。
ｃ．既存の登録の削除又は置き換えを含み，既存の登録を修正する。
ｄ．新規登録及び既存のろう得の更新を含み，学習者及びその登録に関する情報のファイルをアップロードする。
ｃ．学習者に関するすべての登録状態を見る。
ｆ．課題又は課題群に関してすべての登録者の状態を見る。
ｇ．特定の活動，例えば，セッション，完了，登録，等を見る。
ｈ．学習者に電子メール又はメッセージを送信する。
ｉ．学習者に送信された電子メール又はほかのメッセージの一覧を見る。
ｊ．学習者の証明書を印刷する。
【0146】
指導者の目標：指導者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．強み及び／又は弱みを見付ける能力を含み，すべての学生，学生の部分集合又は学習者の結果に関する情報を確認する。
ｂ．学生の弱みに対処するようにレッスン計画を適合させる。
【0147】
分析者の目標：分析者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．登録及び課題の状態に関する情報を見る。
ｂ．新規課題，完了した課題又は利用者セッションのような，システム上の活動に関する情報を見る。
ｃ．学習者の詳細レベルの成績，例えば，分類の範囲，質問を完了するための提示数，モジュールを完了する時間長に関する情報を見る。
ｄ．オンライン対話（ドリルダウン）によって情報を調査する選択肢を提供する。
ｅ．オフライン分析（報告，移出，データダウンロード）が完了できるように情報を捕捉する選択肢を提供する。
【0148】
ＲＤＡ管理者の目標：ＲＤＡ管理者は，次のうち１又は複数を含むいくつかの機能を提供するようになっている。ａ．登録中に収集された人口統計データを指定する。
ｂ．自己登録ページを個別化する。
ｃ．特定の利用者にＲＤＡ役割を与え，又は解除する。
【0149】
追加のシステム目標及び役割：知識管理システムはまた，次の機能及び能力のうち１又は複数も含んでよい。ａ．知識取得の速度を上げる。
ｂ．企業レベルのコンテンツ管理機能を提供する。
ｃ．学習アプリケーションの企業レベルの調整能力（ｓｃａｌａｂｉｌｉｔｙ）を提供する。
ｄ．外部学習管理システムと統合する。
ｅ．外部コンテンツ管理システムからコンテンツを移入する。
ｆ．学習者が個人を特定できる情報を提供せずにシステムを利用できるようにする。
ｇ．アカウント又は組織別に発行されたコンテンツの利用を追跡する。
ｈ．各学習者をアカウント又は組織と関係付ける。
ｉ．各アカウント又は組織を課金コードと関係付ける。
ｊ．アカウント又は組織別に学習者の活動，例えば，学習者，活動中の学習者，新規登録，完了及び利用時間，を追跡する。
ｋ．第三者ソフトウェアと統合する。
ｌ．すべての役割，すなわち，マネージャ，発行者，管理者，等ごとにデータ利用を追跡及び報告する。
ｍ．学習オブジェクトレベルでコンテンツ利用を追跡する。
ｎ．すべての顧客種別を積極的にサポートするために内部報告を作成する。
【0150】
図１９は，本発明の態様及び／又は方法のうち任意の１又は複数を装置に実行させる一組の命令を実行することができる計算機システム１９００の形態の機械の一つの実施形態を示すブロック図である。計算機システム１９００は，バス１９１５を介して相互に，及びほかの構成要素と通信するプロセッサ１９０５及びメモリ１９１０を含む。バス１９１５は，限定ではないが，広範なバスアーキテクチャのいずれかを用いる，メモリバスと，メモリコントローラと，周辺バスと，ローカルバスと，それらの任意の組合せとを含むいくつかの種類のバス構造のいずれかを含んでもよい。
【0151】
メモリ１９１０は，限定ではないが，ランダムアクセスメモリ構成要素（例えば，静的ＲＡＭ“ＳＲＡＭ”，動的ＲＡＭ“ＤＲＡＭ”，等）と，リードオンリ−構成要素と，これらの任意の組合せと，を含む種々の構成要素（例えば，機械可読媒体）を含んでもよい。一つの例においては，例えば起動時に計算機システム１９００内の要素間で情報を転送することを補助する基本ルーチンを含む基本入出力システム１９２０（ＢＩＯＳ）をメモリ１９１０に記憶してもよい。メモリ１９１０はまた，本発明の態様及び／又は方法のうち任意の１又は複数を実現する命令（例えばソフトウェア）１９２５も含んでよい（例えば，１又は複数の機械可読媒体に記憶する）。別の例においては，メモリ１９１０は，限定ではないが，オペレーティングシステムと，１又は複数の応用プログラムと，ほかのプログラムモジュールと，プログラムデータと，これらの任意の組合せと，を更に含んでもよい。
【0152】
計算機システム１９００はまた，記憶装置１９３０を含んでもよい。記憶装置（例えば，記憶装置９３０）の例は，限定ではないが，ハードディスクに読み書きするハードディスクドライブと，着脱可能磁気ディスクに読み書きする磁気ディスクドライブと，光学メディア（例えばＣＤ，ＤＶＤ（登録商標），等）に読み書きする光ディスクドライブと，半導体メモリ装置と，これらの任意の組合せと，を含む。記憶装置１９３０は適切なインタフェース（図示せず）によってバス１９１５に接続してもよい。インタフェースの例は，限定ではないが，ＳＣＳＩと，高度技術接続（ＡＴＡ）と，直列ＡＴＡと，はん用直列バス（ＵＳＢ）と，ＩＥＥＥ１３９４（ＦＩＲＥＷＩＲＥ（登録商標））と，これらの任意の組合せと，を含む。一つの例においては，記憶装置１９３０は計算機システム１９００と（例えば，外部ポートコネクタ（図示せず）を介して）着脱可能に接続してもよい。特に，記憶装置１９３０及び関係する機械可読媒体１９３５は，機械可読命令の不揮発性及び／又は揮発性の記憶，データ構造体，プログラムモジュール，及び／又は計算機システム１９００のほかのデータを提供することが好ましい。一つの例においては，ソフトウェア１９２５は機械可読媒体１９３５内に完全に又は部分的に存在してもよい。別の例においては，ソフトウェア１９２５はプロセッサ１９０５内に完全に又は部分的に存在してもよい。計算機システム１９００はまた，入力装置１９４０を含んでもよい。一つの例においては，計算機システム１９００の利用者は入力装置１９４０を介して計算機システム１９００にコマンド及び／又はほかの情報を入力することができる。入力装置１９４０の例は，限定ではないが，英数字入力装置（例えばキーボード）と，ポインティング装置と，ジョイスティックと，ゲームパッドと，音響入力装置（例えば，マイクロホン，音声応答システム，等）と，カーソル制御装置（例えば，マウス）と，タッチパッドと，光学スキャナと，映像キャプチャ装置（例えば，静止カメラ，ビデオカメラ）と，タッチスクリーンと，これらの任意の組合せと，を含む。入力装置１９４０は，限定ではないが直列インタフェースと，並列インタフェースと，ゲームポートと，ＵＳＢインタフェースと，ＦＩＲＥＷＩＲＥ（登録商標）インタフェースと，バス１９１５への直接インタフェースと，これらの任意の組合せと，を含む種々のインタフェース（図示せず）のいずれかを介してバス１９１５に接続してもよい。
【0153】
利用者はまた，記憶装置１９３０（例えば，着脱可能ディスクドライブ，フラッシュドライブ，等）及び／又はネットワークインタフェースドライブ１９４５を介して計算機システム１９００にコマンド及び／又はほかの情報を入力してもよい。ネットワークインタフェース装置１９４５のようなネットワークインタフェース装置は，計算機システム１９００をネットワーク１９５０のような種々のネットワークのうち１又は複数と，ネットワークに接続された１又は複数の遠隔装置１９５５とに接続するために用いてもよい。ネットワークインタフェース装置の例は，限定ではないが，ネットワークインタフェースカードと，モデムと，これらの任意の組合せと，を含む。ネットワーク又はネットワークセグメントの例は，限定ではないが，広域網（例えば，インターネット，企業内網）と，構内網（例えば，オフィス，ビル，キャンパス，又はほかの比較的狭い地理的範囲）と，電話網と，二つの計算装置間の直接接続と，これらの任意の組合せと，を含む。ネットワーク１９５０のようなネットワークは，有線通信モード及び／又は無線通信モードを用いてもよい。一般に，任意のネットワークトポロジを用いてもよい。情報（例えば，データ，ソフトウェア１９２５，等）は，ネットワークインタフェース装置１９４５を介して，計算機システム１９００と通信してもよい。
【0154】
計算機システム１９００は，表示可能な画像を，表示装置１９６５のような表示装置に伝送する映像表示アダプタ１９６０を更に含んでもよい。表示装置は，上述の消費者に起因する汚染影響及び／又は汚染相殺に関する任意の数の，及び／又は種々の指標を表示するために用いてもよい。表示装置の例は，限定ではないが，液晶ディスプレイ（ＬＣＤ）と，陰極線管（ＣＲＴ）と，プラズマディスプレイと，これらの任意の組合せと，を含む。表示装置に加えて，計算機システム１９００は，限定ではないが音響スピーカ，プリンタ，これらの任意の組合せと，を含む１又は複数の別の周辺出力装置を含んでもよい。このような周辺出力装置は周辺インタフェース１９７０を介してバス１９１５に接続してもよい。周辺インタフェースの例は，限定ではないが，直列ポートと，ＵＳＢ接続と，ＦＩＲＥＷＩＲＥ（登録商標）接続と，並列接続と，これらの任意の組合せと，を含む。一つの例においては，音響装置は計算機システ１ム９００のデータ（例えば，消費者に起因する汚染影響及び／又は汚染相殺に関係する指標を表すデータ）に関係する音響を提供してもよい。
【0155】
必要であれば，手描きの入力をデジタル的に捕捉するために，デジタイザ（図示せず）及び付属のスタイラスを含めてもよい。表示装置１９６５の表示範囲と別に，又は同じ範囲にペンデジタイザを備えてもよい。したがって，デジタイザは表示装置１９６５と統合してもよいし，表示装置１９６５の上に重ねた，又は別様に追加した別の装置として存在してもよい。表示装置はまた，タッチスクリーン機能付き又はなしのタブレット装置の形態で実現してもよい。
【0156】
産業応用１．検定
自信ベース評価は，予備試験練習評価及び学習手段（ｉｎｓｔｒｕｍｅｎｔ）双方としての自信ベース検定手段として用いることができる。予備試験評価として，自信ベース検定過程はいかなる改善も提供せず，得点及び／又は知識プロファイルを提供するに過ぎない。自信ベース評価は，提示された検定教材のどれにおいても，個人が誤った情報を確信的に保持しているかどうかを示す。これはまた，検定団体に対して，所与の主題領域内に誤った情報が存在する検定を禁止するという選択肢を提供する。ＣＢＡ法は現在の１次元試験よりも正確であるため，自信ベース検定は検定試験の信頼性及び検定の判定の有効性を増加させる。
【0157】
システムが学習手段として用いられる例においては，学習者が特定の技能ギャップを特定し，これらのギャップを改善的に埋めることを支援するために，システム内の全幅の形成的評価及び学習表明を学習者に提供することができる。
【0158】
２．シナリオベース学習自信ベース評価は，一つの回答が自信及び知識に関する二つの計量を生成する適応型学習方法に適用することができる。適応型学習において，状況を説明する映像又はシナリオの利用は，自分の学習及び理解をサポートする判断過程を通じて，個人の作業を補助する。これらのシナリオベース学習モデルにおいては，個人は自分が所与の状況にどのように対処するかに慣れるまで，何回かこの過程を反復できる。シナリオ又はシミュレーションに関しては，ＣＢＡ及びＣＢＬは，個人が自分の判断過程にどれだけ自信を持っているかを判断することによって新しい次元を追加する。シナリオベース学習法を用いた自信ベース評価を利用することによって，個人は自分に知識がなく，自分の成績及び振舞いに疑いがある点を特定できるようにする。個人が完全に確信するまでシナリオベース学習を反復することによって，個人が訓練によって迅速かつ一貫して行動する可能性が増加する。ＣＢＡ及びＣＢＬはまた，各利用者が自分自身の学習適性に基づいて評価及び学習と対話する点で「適応的」でもある。したがって，学習は各利用者に極めて個別化される。
【0159】
３．調査自信ベース評価は，自信ベース調査手段として適用することができ，個人が課題について自信及び意見を示した三つの可能な回答の選択を組み込んでいる。前と同様に，個人は所与の課題おける自分の自信及び理解又は特定の視点の理解を決定するために，七つの選択肢から回答の応答を選択する。質問書式は，理解及び自信情報が要求された製品又はサービス分野についての属性又は比較分析に関係する。例えば，マーケティング会社は，「次のうちどれが，新しいポテトチップ製品を展示するのに最適な場所か？Ａ）レジ，Ｂ）ほかのスナック製品と共に，Ｃ）通路の端。」と問うかも知れない。販売業者は消費者の選択に興味があるだけではなく，消費者の選択における自信又は自信がないことにも興味がある。自信の次元を追加することによって，人が調査質問に回答する時間（ｅｎｇａｇｅｍｅｎｔ）が増加し，販売業者により豊富かつより正確な調査結果が提供される。
【0160】
本発明による更なる態様は，学習資源が，知識評価プロファイルに反映された学習者の定量化可能な要求に応じて，又はここに開示したほかの成績尺度によって割り当てられる学習支援を提供する。このように，本発明の態様は，学習者が有する真の知識の程度に応じて学習資源を割り当てる手段を提供する。一般に，学習者がコースに落第したとき，学習者が全コースを反復する必要がある従来の訓練に比べて，ここに開示した本発明の態様は，主題が誤解され，又は知識がない主題の領域に，学習，再訓練及び再教育の必要性を振り向けることによって，学習教材，指導者及び勉強時間のような学習資源の割当てを容易にする。
【0161】
本システムによってもたらされる本発明のほかの態様は，利用者に「個別訓練計画」ページを提供又は提示する。このページは，種々の知識領域に従ってソートされ，グループ化された問題を表示する。グループ化された問題はそれぞれ，正答及び学習者が問われたほかの関係する主題の情報及び／又は学習教材へハイパリンクされる。任意選択で，質問もまたオンライン参照情報又はオフサイト施設へハイパリンクしてもよい。試験問題を包含するすべての教材を検討するために時間を浪費する代わりに，学習者又は利用者は，注意又は再教育が必要な領域に属する教材にだけ集中すればよい。誤った情報及び部分的な情報に集中することによって，重要な情報誤りを容易に特定し，避けることができる。
【0162】
このような機能をもたらすために，システム又は組織の構内網（ＬＡＮ）若しくはワールドワイドウェブ内の資源のようなシステム外施設に記憶されている情報データベース及び／又は主題の学習教材に，評価プロファイルが対応付けられ，又は関係付けられる。このリンクは，検討及び／又は再教育のために学習者に提示される。
【0163】
さらに，本発明は，試験問題と，当該試験問題がまとめられた関連教材又は関心事項との自動相互参照も提供する。この能力は，追加訓練又は再教育が真に必要な領域に，訓練及び学習資源を展開することを効果的かつ効率的に容易にする。
【0164】
さらに，本発明によって，再訓練及び／又は再教育に関係するどの進捗も容易に測定することができる。再訓練及び／又は再教育の事象に続いて，（先行する成績結果に基づいて），学習者は試験問題の一部又は全部について再試験を受けることができ，それによって第２の知識プロファイルが作成できる。
【0165】
上述のすべてのアプリケーションにおいて，本方法は知識及び情報のより正確な測定を可能にする。個人は，推測は罰せられ，自信のある振りをするよりも，自信がないこと及び無知を認める方が良いことを学習する。学習者は自分の焦点を受験戦略からシフトして，自分の実際の知識及び自信を正直に自己評価するように得点を増加させるようにする。これは被験者及び組織に，誤り，知識がないこと，自信がないこと，精通の範囲及び程度に関して豊富なフィードバックを提供する。以上，本発明の基となる思想の好適な実施形態及び一定の変形について十分に述べた。当業者であれば，基になる思想をよく知ったとき，種々のほかの実施形態及びここに示し，説明した実施形態の一定の変形及び修正を想起することは明白である。したがって，本発明はここに具体的に述べたものとは別様に実施できることを理解されたい。