知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-05
(54)【発明の名称】コンピュータ支援評価システム
(51)【国際特許分類】
G06Q 50/20 20120101AFI20240227BHJP
G09B 19/00 20060101ALI20240227BHJP
【ＦＩ】
G06Q50/20 300
G09B19/00 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023555207
(86)(22)【出願日】2022-03-09
(85)【翻訳文提出日】2023-11-06
(86)【国際出願番号】 US2022019481
(87)【国際公開番号】W WO2022192348
(87)【国際公開日】2022-09-15
(31)【優先権主張番号】63/158,432
(32)【優先日】2021-03-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523341820
【氏名又は名称】センター フォー カリキュラム リデザイン
(74)【代理人】
【識別番号】110000659
【氏名又は名称】弁理士法人広江アソシエイツ特許事務所
(72)【発明者】
【氏名】ファデル，チャールズ
(72)【発明者】
【氏名】フォーティアー，エマ ディロン
(72)【発明者】
【氏名】クルス，クロード アンソニー
(57)【要約】
コンピュータに実装されたシステム及び方法は、生徒の活動に関するデータを収集し、そのデータを使用して、各々が複数のサブコンピテンシーを有する複数のコンピテンシーに対する生徒の能力を評価する。複数のコンピテンシーに対する生徒の能力の評価に基づいて、生徒の全体的な評価スコアを生成することができる。この評価スコアは、生徒の成長を反映し、生徒の教師のガイドとするために、経時的に更新され得る。
【特許請求の範囲】
【請求項1】
少なくとも１つの非一時的コンピュータ可読媒体に記憶されたコンピュータプログラム命令を実行する少なくとも１つのコンピュータプロセッサによって実行される方法であって、（Ａ）生徒を表す出力を受信するステップと、
（Ｂ）前記生徒出力に複数の評価方法を適用して、複数の対応する個別評価を生成するステップと、
（Ｃ）前記複数の対応する個別評価を処理して、前記生徒のための統合評価を生成するステップと、
（Ｄ）前記統合評価に基づいてガイダンスを生成するステップと、
（Ｅ）前記ガイダンスを表す出力を提供するステップと
を含む、方法。
【請求項2】
（Ｅ）が、前記生徒に前記ガイダンスを表す前記出力を提供することを含む、請求項１に記載の方法。
【請求項3】
（Ｅ）が、前記生徒の教師、前記生徒の親、前記生徒の保護者、及び前記生徒の学校の管理者のうちの少なくとも１人に前記ガイダンスを表す前記出力を提供することを含む、請求項１に記載の方法。
【請求項4】
前記出力が、少なくとも１つのコンピューティングデバイスを介して受信されたデジタル出力を含む、請求項１に記載の方法。
【請求項5】
前記出力が、前記生徒から受信したデジタル出力を含む、請求項４に記載の方法。
【請求項6】
前記複数の評価方法のそれぞれが、対応するコンピテンシーに対して前記生徒を評価し、前記複数の対応する個別評価が、前記対応するコンピテンシーに対する前記生徒の能力を表す、請求項１に記載の方法。
【請求項7】
前記複数の対応する個別評価のそれぞれが、前記対応するコンピテンシーに関する前記生徒の数値スコアからなる、請求項６に記載の方法。
【請求項8】
前記統合評価が、前記複数のコンピテンシーに関する前記生徒の数値スコアを含み、（Ｃ）が、前記複数の対応する個別評価に基づいて前記複数のコンピテンシーに関する前記生徒の前記数値スコアを生成することを含む、請求項７に記載の方法。
【請求項9】
前記複数のコンピテンシーが、少なくともスキル関連のコンピテンシー、性格関連のコンピテンシー、及びメタ学習関連のコンピテンシーを含む、請求項１に記載の方法。
【請求項10】
前記スキル関連のコンピテンシーが、創造性、クリティカルシンキング、コミュニケーション、及び協調性のうちの少なくとも１つを含む、請求項９に記載の方法。
【請求項11】
前記性格関連のコンピテンシーが、マインドフルネス、好奇心、勇気、レジリエンス、倫理、及びリーダーシップのうちの少なくとも１つを含む、請求項９に記載の方法。
【請求項12】
前記メタ学習関連のコンピテンシーが、メタ認知及び成長マインドセットのうちの少なくとも１つを含む、請求項９に記載の方法。
【請求項13】
前記生徒出力が、前記生徒によって少なくとも１つのコンピューティングデバイスに提供された入力を含み、（Ｂ）が、複数のコンピテンシーＣのそれぞれについて、コンピテンシーＣの複数のサブコンピテンシーＣＳのそれぞれについて、
（Ｂ）（１）サブコンピテンシーＣＳの指標となるデジタル活動のセットを特定するステップと、
（Ｂ）（２）前記特定されたセット内の各デジタル活動について、前記生徒出力が、前記生徒が前記活動に関与したことを示す出力を含むかどうかを判定するステップと、
（Ｂ）（３）前記（Ｂ）（２）の判定に基づいてサブコンピテンシーＣＳの評価を作成するステップと
を含む、請求項１に記載の方法。
【請求項14】
（Ａ）が第１の期間中に前記生徒から前記出力を受信するステップを含み、前記複数の対応する個別評価が前記第１の期間に対応し、
前記統合評価が前記第１の期間に対応し、
前記方法が前記第１の期間よりも遅い第２の期間にわたって、（Ａ）～（Ｃ）を繰り返すことを更に含む、
請求項１に記載の方法。
【請求項15】
前記第２の期間が、前記第１の期間より少なくとも１ケ月遅い、請求項１４に記載の方法。
【請求項16】
前記第２の期間が、前記第１の期間より少なくとも６ケ月遅い、請求項１４に記載の方法。
【請求項17】
（Ｂ）が、前記生徒によって行われた活動を特定するステップと、
前記活動が特定のタスクの一例であると判定するステップと、
前記特定のタスクと関連するコンピテンシーとサブコンピテンシーを特定するステップと、
前記デジタル活動、コンピテンシー、サブコンピテンシー、及びタスクと関連付けられた進度レベルを特定するステップと、
前記生徒に前記進度レベルを割り当てるステップと
を含む、請求項１に記載の方法。
【請求項18】
前記活動が、少なくとも１つのコンピューティングデバイスを使用して前記生徒によって実施されたデジタル活動を含む、請求項１７に記載の方法。
【請求項19】
（Ａ）が、前記生徒の生理学的パラメータに基づいて前記生理学的信号を生成する少なくとも１つの生理学的センサから生理学的信号を受信するステップを含む、請求項１に記載の方法。
【請求項20】
（Ｄ）前記複数の生徒のために（Ａ）～（Ｃ）を繰り返すことによって、前記複数の生徒のための複数の統合評価を生成するステップと、（Ｅ）前記複数の生徒のための前記複数の統合評価におけるパターンを特定するステップと
を更に含む、請求項１に記載の方法。
【請求項21】
（Ｆ）前記複数の生徒と関連付けられた追加データが前記特定されたパターンを示すかどうかを判定するステップを更に含む、請求項２０に記載の方法。
【請求項22】
（Ｅ）が、前記複数の生徒に対する前記複数の統合評価に基づいて、少なくとも１つの第２のコンピテンシーを開発するための前駆体である第１のコンピテンシーを特定するステップを含む、請求項２０に記載の方法。
【請求項23】
（Ｅ）が、前記複数の生徒に対する前記複数の統合評価に基づいて、少なくとも１つの後続のサブコンピテンシーを開発するための前駆体である最初のサブコンピテンシーを特定するステップを含む、請求項２０に記載の方法。
【請求項24】
（Ｄ）前記生徒からの前記出力に基づいて前記生徒の内部状態の表現を生成するステップと、（Ｅ）前記生徒からの前記出力に基づいて前記生徒の外部行動の表現を生成するステップと、
（Ｆ）前記生徒の内部状態の表現と前記生徒の外部行動の表現との間の差異を特定するステップと、
（Ｇ）前記差異に基づいて、前記生徒の内部状態が前記生徒の外部行動と整合しているかどうかを判定するステップと
を更に含む、請求項１に記載の方法。
【請求項25】
（Ｆ）が、（Ｆ）（１）第１の習熟度レベルを前記生徒の内面状態に割り当てるステップと、
（Ｆ）（２）第２の習熟度レベルを前記生徒の外部行動に割り当てるステップと、
（Ｆ）（３）前記第１の習熟度レベルが前記第２の習熟度レベルと同じであるか否かを判定するステップと
を含み、
（Ｇ）が、
（Ｇ）（１）前記第１の習熟度レベルが前記第２の習熟度レベルと同じであると判定したことに応答して、前記生徒の内部状態が前記生徒の外部行動と整合していると判定するステップと
（Ｇ）（２）前記第１の習熟度レベルが前記第２の習熟度レベルと同じではないと判定したことに応答して、前記生徒の内部状態が前記生徒の外部行動と整合していないと判定するステップと
を含む、
請求項２４に記載の方法。
【請求項26】
コンピュータプログラム命令が記憶された少なくとも１つの非一時的コンピュータ可読媒体を備えるシステムであって、前記コンピュータプログラム命令が、方法を実施するために少なくとも１つのコンピュータプロセッサによって実行可能であり、前記方法が、（Ａ）生徒を表す出力を受信するステップと、
（Ｂ）前記生徒出力に複数の評価方法を適用して、複数の対応する個別評価を生成するステップと、
（Ｃ）前記複数の対応する個別評価を処理して、前記生徒のための統合評価を生成するステップと、
（Ｄ）前記統合評価に基づいてガイダンスを生成するステップと、
（Ｅ）前記ガイダンスを表す出力を提供するステップと
を含む、システム。
【発明の詳細な説明】
【背景技術】
【0001】
生徒を評価するための既存のツールには、様々な欠点がある。例えば、少数の個別の時点（例えば、各学期末）でのみ生徒を評価し、このような各評価に重きを置きすぎる傾向がある。結果として得られる評価では、生徒の実際の知識、スキル、性格及びメタ学習能力など、特定の時点だけでなく、生徒の教育キャリア全体、更にはその先の社会人になってからも把握することができない。また、生徒の学習を指導できない教師にとっても、現状は、生活を複雑にしている。
【発明の概要】
【0002】
コンピュータ実装のシステム及び方法は、異なる評価方法を使用して実施された生徒の複数の評価を組み合わせることによって、生徒のパフォーマンスレベルをｎ角化する。このような方法の１つは、生徒のデジタル活動に関するデータを収集し、そのデータを使用して、複数のコンピテンシーに対する生徒の能力を評価するものであり、各コンピテンシーには複数のサブコンピテンシーを有する。生徒のデジタル評価スコアは、複数のコンピテンシーに対する生徒の能力の評価に基づいて生成することができる。生徒の総合評価は、生徒のデジタル評価スコアと生徒の他の評価に基づいて生成することができる。生徒の全体的な評価は、経時的に更新することができる。
本発明の様々な態様及び実施形態の他の特徴及び利点は、以下の説明及び特許請求の範囲から明らかになるであろう。
本発明の様々な態様及び実施形態の他の特徴及び利点は、以下の説明及び特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0003】
【図1】本発明の一実施形態による個人の学習者プロファイルの図である。
【図2】本発明の一実施形態による協調性コンピテンシーのサブコンピテンシーマトリックスの図である。
【図3A】本発明の実施形態による、特定のコンピテンシー内の複数のサブコンピテンシーを実証するために、生徒が複数のデジタル活動にどのように関与するかその概要を示す表である。
【図3B】本発明の実施形態による、特定のコンピテンシー内の複数のサブコンピテンシーを実証するために、生徒が複数のデジタル活動にどのように関与するかその概要を示す表である。
【図4A】本発明の一実施形態による生徒の進度レベルに適用され得る曲線の例である。
【図4B】本発明の一実施形態による生徒の進度レベルに適用され得る曲線の例である。
【図4C】本発明の一実施形態による生徒の進度レベルに適用され得る曲線の例である。
【図5】本発明の実施形態による、特定のデジタル活動への生徒の関与が、どのようにして生徒の特定のサブコンピテンシーに関与する能力を実証し得るかを測定するためのデジタル入力の例を示す。
【図7】本発明の実施形態による、特定のデジタル活動に対する生徒のスコアをどのように出すかを示す表である。
【図8】本発明の実施形態による複数の生徒のために生成され得る成績表の一例である。
【図9】本発明の一実施形態による評価管理システムの図である。
【図10】本発明の一実施形態による生徒の評価への入力として使用することができる様々なデータソースを示す図である。
【図11】本発明の一実施形態による、協調性における生徒の熟練度を経時的に示すグラフである。
【図12】本発明の一実施形態による、生徒の統合評価を経時的に生成するためのシステムのデータフロー図である。
【図14】本発明の一実施形態による、２人の異なる生徒に関連する重みのセットを示す図である。
【図15】本発明の一実施形態による、生徒の加重コンピテンシースコアの計算を示す図である。
【発明を実施するための形態】
【0004】
少なくとも、人のパフォーマンスレベルを確認することは時間と状況の両方に依存していること及びこれらの複雑なコンピテンシーを単発のテストでは測定できないことから、クリティカルシンキングや創造性などのスキル、マインドフルネスや好奇心などの性格特性、メタ認知などのメタ学習能力の測定は、従来の心理試験を使用しており擬似科学的である。
【0005】
本発明の実施形態は、図１０に示すように、複数の異なる評価方法（本明細書では「ソース」とも呼ぶ）を組み合わせることによってパフォーマンスレベルを「ｎ角形化」するモデルを実装するコンピュータ実装方法及びシステムを使用して、この問題に対処する。図１０の例では、１２の評価方法（即ち、デジタル信号、状況判断テスト、生徒の評価（自己及びグループ）、生徒のポートフォリオ評価（客観的及び主観的）、教室の視聴覚観察（手動及び自動）、教師の自己評価、生徒の生理学的信号、及び生徒の教師評価（単独及びチーム））が組み込まれているが、この特定の数は一例に過ぎず、本発明の限定を構成するものではない。代わりに、本発明の実施形態は、本明細書に開示される技術を任意のタイプの任意の数（例えば、４を超える又は４未満）の評価方法に、任意の組合せで適用することができる。
【0006】
例えば、より一般的には、図１２は、生徒１２０２を含むシステム１２００を示す。本明細書では、「生徒」や「学習者」などの用語が交換可能に使用されるが、このような用語は、本発明の実施形態を使用して評価され得る任意の人を指すと理解されるべきであり、現在又は過去に学校や大学に入学した人に限定されない。例えば、本明細書で使用される「生徒」という用語は、職務遂行能力が評価される従業員を指す場合がある。更に、本発明の実施形態は、経時的に人を評価するために使用され得るので、「生徒」などの用語は、本明細書では、人がシステム１２００によって評価されるある期間では生徒（例えば、Ｋ－１２生徒）であり、人がシステム１２００によって評価される別の期間ではもはや生徒（例えば、その人が学校を出て従業員になったため）ではない人を指すことができる。
【0007】
生徒１２０２は出力１２０４を生成する。本明細書の説明から明らかになるように、生徒出力１２０４は、様々なタイプの出力のいずれかを含むことができ、様々な方法で、様々な場所で、広範な時間にわたって生成された出力を含むことができる。生徒出力１２０４は、例えば、以下のうちの任意の１つ又は複数を、任意の組合せで、限定なく、含むことができる。
【0008】
・テキストコンテンツ、音声コンテンツ（例えば、生徒１２０２のスピーチ）、及びビデオコンテンツの任意の組合せを含むコンテンツなど、生徒によって作成、修正、及び／又は読み取られるコンテンツ。
・生徒１２０２の物理的な動きは、画像センサ（例えば、カメラ）、モーションセンサ、又は触覚センサなどの任意の種類のセンサを使用して捉えることができ、対応するセンサ出力を生成することができ、静止画像及び／又はビデオの形態などの任意の適切なデジタル形態で記憶することができる。
・適切なセンサを使用して、生徒に対してセンシングオペレーションを行うことで生成され得る信号で、心拍数、血圧、体温、呼吸数、二酸化炭素、及び酸素飽和度など生徒の生理学的パラメータの値を表す信号。
・生徒１２０２がコンテンツ及び／又は物理オブジェクトに関連して実施する動作で、コンテンツの作成、編集、読取り、削除などの動作。
・生徒が教師／インストラクタに対して目に見える形で示す行動。
・生徒１２０２の物理的な動きは、画像センサ（例えば、カメラ）、モーションセンサ、又は触覚センサなどの任意の種類のセンサを使用して捉えることができ、対応するセンサ出力を生成することができ、静止画像及び／又はビデオの形態などの任意の適切なデジタル形態で記憶することができる。
・適切なセンサを使用して、生徒に対してセンシングオペレーションを行うことで生成され得る信号で、心拍数、血圧、体温、呼吸数、二酸化炭素、及び酸素飽和度など生徒の生理学的パラメータの値を表す信号。
・生徒１２０２がコンテンツ及び／又は物理オブジェクトに関連して実施する動作で、コンテンツの作成、編集、読取り、削除などの動作。
・生徒が教師／インストラクタに対して目に見える形で示す行動。
【0009】
生徒出力１２０４の一部又は全部は、デジタル形式であってもよく、１つ又は複数の非一時的コンピュータ可読媒体に記憶されてもよい。しかしながら、生徒出力１２０４の一部は、紙に書かれたテキストの形態などのアナログ形態で記憶されてもよい。しかしながら、本発明の実施形態は、そのようなアナログ出力をデジタル化して、例えば、物質及び／又はエネルギーを感知し、その物質及び／又はエネルギーの対応するデジタル表現を生成し、そのようなデジタル表現を適切なフォーマットで記憶するために、本明細書に開示されている任意のタイプのセンサ（例えば、カメラ、マイクロフォン、及び／又は生理学的センサ）を使用することによって、生徒出力１２０４内にその出力のデジタル化バージョンを作成することができる。
【0010】
生徒１２０２は、任意の適切な入力デバイス（例えば、キーボード、マウス、タッチパッド、タッチスクリーン、マイクロフォン、又はカメラ）を使用してそのような出力１２０４を１つ又は複数のコンピューティングデバイスにタイプ又は入力するなどによって、出力１２０４の一部又は全てをシステム１２００に意図的に提供することができる。このことが意味するように、生徒出力１２０４は、生徒１２０２が１つ又は複数のコンピューティングデバイスに提供する入力を含んでもよく、これはまた、生徒によって出力されるという意味で「出力」でもある。生徒１２０２が１つ又は複数のデジタル機器に意図的に提供するこのような出力は、用語「デジタル活動」の一例であり、この用語は本明細書で使用される。例えば、文書を編集することは、用語「デジタル活動」の一例であり、この用語は本明細書で使用される。
【0011】
しかしながら、生徒出力１２０４の一部又は全ては、生徒１２０２がこのような出力１２０４を意図的に提供するか否かにかかわらず、システム１２００によって自動的に捕捉及び生成され得る。例えば、生徒１２０２は、教師の質問に応答して答えを話すことで、授業に参加することができる。教室に配置された１つ又は複数のカメラ及びマイクロフォンは、生徒１２０２の音声を自動的に捕捉し、そのような音声が捕捉又は記録されることを示す生徒１２０２からの入力を必要とせずに、そのような音声をデジタル形式で生徒出力１２０４内に自動的に記録することができる。これは、システム１２００が、生徒１２０２の学習体験における既存の関与の副次的影響として出力１２０４を生成し得る方法の一例に過ぎない。
【0012】
生徒出力１２０４は、例えば、学校又は他の環境での学習体験中に生徒から受け取った様々な出力１２０４のいずれかを含むことができる。例えば、生徒出力１２０４は、生徒から受け取ったテストの解答、生徒が書いたエッセイ又は他のテキスト、生徒から受け取った宿題、及び生徒から受け取った創造的なプロジェクト（例えば、詩、視覚的アートワーク、スピーチ（テキスト形式、音声形式、又は視聴覚形式）、劇の演技、作曲、及び音楽演奏）を含むことができる。
【0013】
システム１２００は、生徒の出力１２０４を受け取り（図１３、動作１３０２）、生徒の出力１２０４を処理して、生徒１２０２の複数の対応する評価１２０８ａ－ｎを生成する（図１３、動作１３０４）複数の評価方法１２０６ａ－ｎを含むことができる。図１２には、図示を容易にするために、４つの評価方法１２０６ａ－ｎ及び対応する評価１２０８ａ－ｎが示されているが、システム１２００は任意の数の評価方法（即ち、ｎは任意の数であってよい）を含むことができる。生徒出力１２０４は評価方法１２０６ａ－ｎによって入力として受け取られるため、生徒出力１２０４は一般性を失うことなく本明細書では「入力」と呼ばれ得る。
【0014】
例えば、図１０に示す評価方法の一部又は全てを、図１２の評価方法１２０６ａ－ｎの一部又は全てとして使用してもよい。このことが示唆するように、図１０に示す評価方法のそれぞれは、生徒出力１２０４の一部又は全てを入力として受け取り、そのような入力を処理し、対応する評価１２０８ａ－ｎのうちの１つの形式で対応する出力を生成することができる。
【0015】
評価方法１２０６ａ－ｎのそれぞれは、生徒出力１２０４の一部又は全部に対して作用することができる。評価方法１２０６ａ－ｎの異なるものは、生徒出力１２０４の異なるサブセットに対して作用することができる。これらのサブセットは、任意の組合せで互いに重なり合ってもよく、又は互いにばらばらであってもよい。
【0016】
異なる評価方法１２０６ａ－ｎは、生徒出力１２０４を互いに異なる方法で処理することができる。言い換えれば、異なる評価方法１２０６ａ－ｎは、それぞれ異なる方法を使用して、それらの対応する評価１２０８ａ－ｎを生成することができる。その結果、結果として得られる評価１２０８ａ－ｎは、同じ生徒出力１２０４に基づいて生成されたとしても、互いに異なる場合がある。例えば、評価方法１２０６ａは、生徒出力１２０４の特定のサブセットに対して作用して、評価１２０８ａを生成することができる。評価方法１２０６ｂは、生徒出力１２０４の同じサブセットに対して作用して、評価１２０８ａとは異なり得る評価１２０８ｂを生成することができる。
【0017】
本明細書の他の箇所で説明するように、追加の出力を生徒出力１２０４に経時的に追加することができる。例えば、生徒１２０２が追加のテストを受けると、生徒１２０２のテスト結果を生徒出力１２０４に追加することができる。同様に、生徒出力１２０４の内容は経時的に変化し得る。例えば、生徒出力１２０４は、生徒の成績指標値（ＧＰＡ）などの、生徒１２０２に関連するパラメータの値を含むことができる。このようなパラメータ値は、生徒出力１２０４内で経時的に変化し得る。評価方法１２０６ａ－ｎのいずれかは、第１の時（第１の時点又は第１の期間であってもよい）に生徒出力１２０４の一部又は全部に適用されて、第１の時間に対応する対応評価１２０８ａ－ｎを生成することができる。生徒出力１２０４が後の第２の時間に何らかの方法で（例えば、追加の出力が生徒出力１２０４に追加されることによって、及び／又は既存のデータが生徒出力１２０４内で変更されることによって、）変更される場合、評価方法１２０６ａ－ｎの一部又は全てを、生徒出力１２０４内の新しいデータ及び／又は変更されたデータを含む、変更された生徒出力１２０４の一部又は全てに適用して、第２の時間（第２の時点又は第２の期間であってもよい）に対応する追加の及び／又は変更された評価１２０８ａ－ｎを生成することができる。
【0018】
例えば、特定の時点、例えば生徒１２０２が６年生を修了した時点などに存在する生徒の出力１２０４を考えてみよう。評価方法１２０６ａは、その時点の生徒出力１２０４の一部又は全部に適用されて、その時点の生徒の対応する評価１２０８ａを生成することができる。次に、生徒１２０２の７年生の修了時など、生徒出力１２０４が変化したと仮定すると、生徒出力１２０４は、例えば、７年生の間に生徒１２０２によって行われたテストの内容及び結果を含むことができる。評価方法１２０６ａは、その時点で存在する生徒出力１２０４の一部又は全てに適用することができ、例えば、評価方法１２０６ａを生徒出力１２０４の全体（これには、生徒による６年生の修了時に存在した生徒出力１２０４と、生徒１２０２の７年生の修了時に追加された追加の生徒出力１２０４の両方が含まれる）又は生徒出力１２０４の任意のサブセット（例えば、生徒１２０２の７年生の修了時に追加された生徒出力１２０４のサブセットのみ）に適用することで、新しい生徒評価１２０８ａ又は評価１２０８ａの修正バージョンを生成することができる。このようなプロセスは、生徒出力１２０４に対する経時的な任意の修正に関連して、何回でも繰り返すことができる。
【0019】
システム１２００が評価１２０８ａ－ｎを複数回生成することができる状況のほんの一部の例として、このような評価１２０８ａ－ｎは、複数のコース、複数のプロジェクト、複数の学問分野、複数のコンピテンシー（即ち、スキル、性格、及びメタ学習）、複数の成績／年、及び複数の重みの各々について生成することができる。
【0020】
システム１２００は、生徒１２０２の評価１２０８ａ－ｎ及び／又は１２１２のいずれかを生徒１２０２の出力１２０４に追加することができる。結果として、生徒出力１２０４に対して実行されるものとして本明細書で開示される任意の機能は、生徒１２０２の評価１２０６ａ－ｎ及び／又は１２０８に適用可能であると理解されるべきである。
【0021】
システム１２００は、生徒出力１２０４内の任意のデータユニット（例えば、任意のパラメータ値、個々の評価１２０８ａ－ｎ、及び／又は統合評価１２１２）と関連付けて、以下の両方のいずれかを記憶することができる。（１）そのデータユニットに関連付けられた時を表すタイムスタンプ、（２）そのデータユニットに関連付けられた場所を表すロケーションスタンプ。このようなタイムスタンプは、以下の任意の１つ又は複数の様々な情報のいずれかを、任意の組合せで表すことができる。（１）日付、（２）時刻、（３）学年度、（４）学期、（５）学校の時限、（６）学校の授業。このようなロケーションスタンプは、以下のいずれか１つ又は複数の様々な情報のいずれかを、任意の組合せで表すことができる。（１）地理座標（例えば、ＧＰＳ座標又は緯度と経度の組合せ）、（２）国の識別子（例えば、名称）、（３）都市の識別子（例えば、名称）、（４）州の識別子（例えば、名称）、（５）郵便番号、（６）学校又はその他の機関の識別子、（７）学区又はその他の学校地域の識別子、（８）クラス又は教室の識別子。
【0022】
生徒出力１２０４内の任意のデータユニットに関連付けられたタイムスタンプ及びロケーションスタンプは、例えば、生徒１２０２がそのデータユニットによって表される活動を行った時間と場所、及び／又はそのデータユニットが生成、記憶、及び／もしくは修正された時間と場所を表すことができる。
【0023】
評価方法１２０６ａ－ｎの一部又は全ては、任意の種類の１つ又は複数のコンピューティングデバイスを使用することなどによって、部分的又は全体的に自動化されたプロセスを使用して、対応する評価１２０８ａ－ｎを生成することができる。例えば、評価方法１２０６ａは、生徒出力１２０４の一部又は全てに基づいて自動的に、即ち、人間の入力を受け取ることも、それに頼ることもなく、評価１２０８ａを生成することができる。このような自動化された評価の例としては、生徒出力１２０４に対して自動計算を実行すること、生徒出力１２０４に対して自動音声認識を行うこと、生徒出力１２０４に対して自然言語処理を行うこと、生徒出力１２０４に対して画像認識を行うこと、及び生徒出力１２０４に対して機械学習（例えば、自動化ニューラルネットワーク）を用いてトレーニングされたモデルを適用することのうちの任意の１つ又は複数の任意の組合せがある。これらの例が示唆するように、評価方法１２０６ａ－ｎの一部又は全ては、客観的であり、主観的でなくてもよく、即ち、主観的な人間の判断に頼らず、又は主観的な人間の判断を用いなくてもよい。評価方法１２０６ａ－ｎは、その評価を生成するために常に自動化されたプロセスを使用してもよいし、時にその評価を生成するために自動化されたプロセスを使用してもよいし、またある時にはその評価を生成するために半自動化又は手動のプロセスを使用してもよい。評価方法１２０６ａ－ｎのいくつかは、その評価を生成するために自動化されたプロセスを使用することができるが、評価方法１２０６ａ－ｎのうちの他のものは、その評価を生成するために半自動化又は手動プロセスを使用することができる。
【0024】
システム１２００はまた、評価インテグレータ１２１０を含み、評価インテグレータ１２１０は、評価１２０８ａ－ｎの一部又は全てを受け取り、受け取った評価１２０８ａ－ｎに基づいて統合評価１２１２（図１３、動作１３０６）を生成する。評価１２０８ａ－ｎは、評価インテグレータ１２１０によって入力として受け取られ得るので、評価１２０８ａ－ｎは、本明細書では「ソース」と呼んでもよい。評価１２０８ａ－ｎが（本明細書に開示される方法のいずれかなどで）経時的に変化及び／又は成長するにつれて、評価インテグレータ１２１０は、そのような修正された及び／又は新しい評価１２０８ａ－ｎに基づいて、新しい及び／又は修正された統合評価１２１２を生成することができる。例えば、評価インテグレータ１２１０は、最初の時点で、既存の評価１２０８ａ－ｎの一部又は全てに基づいて、統合評価１２１２の第１のバージョンを生成することができる。次に、２回目に、評価１２０８ａ－ｎが、例えば、更新された生徒出力１２０４に基づいて生成された結果として、１回目とは何かしら異なると仮定する。この場合、評価インテグレータ１２１０は、それらの異なる評価１２０８ａ－ｎに基づいて統合評価１２１２を更新することができ、又は、それらの新しい評価１２１２に基づいて統合評価１２１２の第２のバージョンを生成することができる。統合評価１２１２の第２のバージョンは、様々な方法のいずれかにおいて、統合評価１２１２の第１のバージョンとは異なる可能性がある。評価インテグレータ１２１０は、このプロセスを任意の期間にわたって任意の回数繰り返すことができる。
【0025】
本明細書で説明されるように、生徒出力１２０４、評価１２０８ａ－ｎ、及び統合評価１２１２は、経時的に変化する可能性がある。代替的又は追加的に、生徒出力１２０４、評価１２０８ａ－ｎ、及び統合評価の新しいバージョンを経時的に生成することができる。そのような修正又は新しいバージョンは、以前のバージョンを置き換えるか、又は以前のバージョンを補足することができる。システム１２００は、例えば、生徒出力１２０４、評価１２０８ａ－ｎ、及び／又は統合評価１２１２の各修正及び／又は新しいバージョンの記録を記憶することができる。結果として、システム１２００は、生徒出力１２０４、評価方法１２０６ａ－ｎ、及び／又は統合評価１２１２に対する任意の変更及び／又は新しいバージョンの記録（例えば、ログ）を含むことができる。このような記録には、例えば、各記録に関連付けられた生徒１２０２の時間、場所、及び識別情報などのメタデータをタグ付することができる。上述したように、任意のこのようなデータは生徒出力１２０４自体に記憶される可能性はある。
【0026】
システム１２００は、アルゴリズム的に理解可能な方法で、評価１２０８ａ－ｎ及び／又は統合評価１２１２を生成することができ、これにより、システム１２００への（例えば、生徒出力１２０４、評価方法１２０６ａ－ｎ、評価１２０８ａ－ｎ、評価インテグレータ１２１０、及び／又は統合評価１２１２への）覗き見が可能になり、有益には、教師、管理者、及び政策立案者の信頼を得ることができる。（しかしながら、これは、評価方法１２０６ａ－ｎ及び／又は評価インテグレータ１２１０）によって使用されるバックグラウンド分析の一部が、より不透明な機械学習アルゴリズムを使用することを排除するものではない。）評価方法１２０６ａ－ｎによってデータを表示することには、生徒、教師、両親、及び管理者の感性やニーズを考慮に入れることができる。
【0027】
図１０を参照すると、対応する一組の評価を生成するために使用することができる一組の評価方法１０００を含むモデルの一例が示されている。図１０のモデル１０００の評価方法は、図１２の評価方法１２０６ａ－ｎの例である。図１０に示す評価方法１０００のそれぞれは、対応する評価を生成することを理解されたい。例えば、図１０に示す「生理学的信号」評価方法は、生徒出力１２０４の一部又は全てに基づいて、評価の一例である生理学的信号のセットを生成する。特に、図１０に示すモデル１０００は、以下のような生徒又は他の個人の１２タイプの評価の出力を組み込んでいる。
【0028】
・デジタル信号から得られる１つ又は複数の評価（その実施形態については以下でより詳細に説明する）。
・状況判断テストによる１つ又は複数の評価。（状況判断テストに関する情報は、例えば、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｉｔｕａｔｉｏｎａｌ＿ｊｕｄｇｅｍｅｎｔ＿ｔｅｓｔで見つけることができる。）
・生徒の評価に基づく１つ又は複数の評価（例えば、当該の生徒によって、及び／又は生徒のグループによって）。
・１人又は複数の教師による生徒に対する１つ又は複数の評価（個別の教師による生徒の評価又は教師のチームによる生徒の評価など）。
・状況判断テストによる１つ又は複数の評価。（状況判断テストに関する情報は、例えば、ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｉｔｕａｔｉｏｎａｌ＿ｊｕｄｇｅｍｅｎｔ＿ｔｅｓｔで見つけることができる。）
・生徒の評価に基づく１つ又は複数の評価（例えば、当該の生徒によって、及び／又は生徒のグループによって）。
・１人又は複数の教師による生徒に対する１つ又は複数の評価（個別の教師による生徒の評価又は教師のチームによる生徒の評価など）。
【0029】
図１０の例が示すように、評価方法１０００は、１つ又は複数の客観的評価方法（例えば、デジタル信号、状況判断テスト）と、１つ又は複数の主観的評価方法（例えば、自己評価、グループ評価）を、任意の組合せで組み込むことができる。
【0030】
異なる評価方法１２０６ａ－ｎの結果を組み合わせる場合、本発明の実施形態は、評価方法１２０６ａ－ｎ及び対応する評価１２０８ａ－ｎのそれぞれに重みを割り当てることができる。このような重みは、互いに同じであっても異なっていてもよく、その組合せは自由である。例えば、システム１２００は、
・主観的な評価方法を使用して生成された評価に、客観的な評価方法を使用して生成された評価よりも小さい重みを割り当てる、
・生徒に対する教師の主観的評価に、生徒自身の主観的評価よりも大きい重みを割り当てる、
・人文科学に関連する生徒出力１２０４に、科学、技術、工学及び数学（ＳＴＥＭ）の学問分野に関連する生徒出力１２０４よりも大きい重みを割り当てるか、又はその逆も同様である（これは、システム１２００が異なる学問分野に関連する生徒出力１２０４に異なる重みを与える方法の一例に過ぎない）、
・プロジェクトに関連する生徒の生徒出力１２０４に、講義中心の学習に関連する生徒出力１２０４よりも大きい重みを割り当てる、
・特定のコンピテンシー（例えば、数学のクリティカルシンキングのコンピテンシーなど、特定の学問分野において重要であるとラベル付けされたコンピテンシー）に、他のコンピテンシーよりも大きい重みを割り当てる、
・特定の年次／学年に関連付けられた生徒出力１２０４に、他の年次／学年に関連付けられた生徒出力１２０４よりも大きい重みを割り当てる（例えば、低学年に関連する生徒出力１２０４を、高学年に関連する生徒出力１２０４よりも低く評価する）。
・主観的な評価方法を使用して生成された評価に、客観的な評価方法を使用して生成された評価よりも小さい重みを割り当てる、
・生徒に対する教師の主観的評価に、生徒自身の主観的評価よりも大きい重みを割り当てる、
・人文科学に関連する生徒出力１２０４に、科学、技術、工学及び数学（ＳＴＥＭ）の学問分野に関連する生徒出力１２０４よりも大きい重みを割り当てるか、又はその逆も同様である（これは、システム１２００が異なる学問分野に関連する生徒出力１２０４に異なる重みを与える方法の一例に過ぎない）、
・プロジェクトに関連する生徒の生徒出力１２０４に、講義中心の学習に関連する生徒出力１２０４よりも大きい重みを割り当てる、
・特定のコンピテンシー（例えば、数学のクリティカルシンキングのコンピテンシーなど、特定の学問分野において重要であるとラベル付けされたコンピテンシー）に、他のコンピテンシーよりも大きい重みを割り当てる、
・特定の年次／学年に関連付けられた生徒出力１２０４に、他の年次／学年に関連付けられた生徒出力１２０４よりも大きい重みを割り当てる（例えば、低学年に関連する生徒出力１２０４を、高学年に関連する生徒出力１２０４よりも低く評価する）。
【0031】
特定の例として、本発明の実施形態は、デジタル信号に３０％の重みを割り当て、ＳＪＴに２０％の重みを割り当て、生徒の自己評価に２５％の重みを割り当て、生徒グループの評価に重みなし（即ち、重みゼロ）を割り当て、教師の単独評価に１０％の重みを割り当て、教師グループの評価に１５％の重みを割り当てることができる。このような重みのセットは、例えば、特定のプロジェクトに割り当てることができる。異なる重みのセットを異なるプロジェクトに割り当てることもある。
【0032】
別の例として、特定の期間（例えば、１学期）にわたって特定の学問分野（例えば、数学）に重みのセットを割り当ててもよい。例えば、１学期中の数学の学問分野について、デジタル信号に２０％の重み、ＳＪＴに３０％の重み、生徒の自己評価に重みなし（即ち、重みゼロ）、生徒グループの評価に重みなし（即ち、重みゼロ）、教師の単独評価に５０％の重み、及び教師グループの評価に重みなし（即ち、重みゼロ）を割り当てることができる。異なる重みのセットを、異なる期間では同じ学問分野に、対応する期間では他の学問分野に割り当ててもよい。
【0033】
図１４の表１４００に、２人の異なる生徒に関連する重みのセットの一例が示されている。この特定の例では、第１の生徒の場合、第３の列は、３３％の重みが４年生に割り当てられ、第２の生徒の場合、１００％の重みが１２年生に割り当てられていることを示す。４年生に割り当てられた比較的小さい重みと、１２年生に割り当てられた比較的大きい重みとの間のこの差は、生徒のキャリアにおいて、低い（例えば、より前の）学年よりも高い（例えば、より最近の）学年を大幅に重み付けする例である。これは、生徒の過去のパフォーマンスを考慮に入れる１つの方法に過ぎない。別の非限定的な例は、ＡＲＩＭＡを使用することであろう。図１４では、異なる重みが異なる生徒に適用されているように示されているが、これらの同じ重みは、同じ生徒の異なる学年に（又はその代わりに）適用することもできる。
【0034】
更に、図１４の例では、学問分野が異なればそのコンピテンシーに寄与する量も異なることを反映するために、第５列は、特定のコンピテンシー（例えば、チャールズの場合は協調性のコンピテンシー、エマの場合は倫理のコンピテンシー）に関連して、様々な学問分野に対して様々な重み（そのうちのいくつかは互いに異なる）が割り当てられることを示している。
【0035】
上述したように、生徒１２０２について収集されるデータの一部は主観的なものである可能性がある。しかしながら、主観的なデータであっても、リッカート（Ｌｉｋｅｒｔ）尺度、センチメント分析、自然言語処理（ＮＬＰ）、及び／又は他の技術を使用するなどして、本発明の実施形態で使用できるように定量化することができる。
【0036】
本発明の実施形態（例えば、生徒出力１２０４内）によって使用される非常に多くのデータポイント、及びそのようなデータポイントのソースが多数あるため、モデルは測定ノイズに対して非常に堅牢になり、あらゆる一点失敗から保護されることが可能になる。本発明の実施形態は、所与のコンピテンシーにおける生徒１２０２のパフォーマンスを補間することができ、例えば、長年にわたる生徒の進歩を示すグラフである図１１に示すように、生徒１２０２の進歩を経時的に追跡することができる。
【0037】
本発明の実施形態は、様々な次元の有効性を比較することなどによって、生徒出力１２０４、評価１２０８ａ－ｎ、及び統合評価１２１２から相関分析を抽出することができる。これにより、システム１２００を、経時的に手動又は自動で調整して、特定の生徒のニーズを反映することができる。
【0038】
このような分析は、例えば、生徒の自己評価が他のデータソースと相関しているかどうか、及び個別の教師の評価に偏りがあるかどうかを判定するために使用することができる。本発明の実施形態は、分析に基づいて、１つ又は複数の学問分野における生徒１２０２の評価の経時的な変動の原因を判定することができる。例えば、本発明の実施形態は、生徒１２０２の教師がこのような変動に責任があるかどうか、又は生徒１２０２のスキルの経時的な変化がこのような評価に責任があるかどうかを判定することができる。
【0039】
本発明の実施形態は、生徒１２０２の各コンピテンシーが経時的にどのように発達するかを識別し、異なる期間中の生徒１２０２のコンピテンシーの相対的な発達速度を識別するために使用され得る。例えば、本発明の実施形態は、生徒１２０２の出力及び／又は生徒の評価１２０８ａ－ｎ及び／又は１２１のうちの１つ又は複数に基づいて、第１の期間中に、生徒１２０２のコンピテンシーのうちの第１のコンピテンシー（例えば、好奇心）が生徒１２０２のコンピテンシーのうちの第２のコンピテンシー（例えば、勇気）よりも急速に成長すると判定し、第１の期間より後の第２の期間中に、生徒１２０２のコンピテンシーのうちの第２のコンピテンシーが生徒１２０２のコンピテンシーのうちの第１のコンピテンシーよりも速く成長すると判定することができる。
【0040】
更に、本発明の実施形態は、複数の生徒のコンピテンシーが全体として、経時的にどのように発達するかを識別するために使用することができる。本明細書の他の箇所で説明したように、生徒１２０２に関連して本明細書で説明した技術のいずれかを、本発明の実施形態によって複数の生徒（１００人以上、１、０００人以上、１０万人以上、更には１００万人以上など、任意の人数の生徒を含むことができる）に適用することができる。結果として、本発明の実施形態は、複数の生徒のそれぞれについて生徒データ１２０４を生成することができる（本明細書では「生徒数データ」と呼ぶ）。本発明の実施形態は、生徒数データを評価し、生徒数データに基づいて統計を作成し、経時的な生徒数データのパターン及び／又は傾向を特定するために、様々な技術のいずれかを適用することができる。このようなパターン及び／又は傾向は、生徒数データに示されている一部又は全ての生徒に当てはまる可能性がある。ほんの一例として、本発明の実施形態は、生徒数データに基づいて、生徒は通常（例えば、集団内の大多数の生徒において）、好奇心のコンピテンシーが習熟度レベル３に初めて達するまで、勇気のコンピテンシーは習熟度レベル４に達しないと判定することができる。これは、本発明の実施形態が生徒数データに基づいて自動的に識別できる傾向又はパターンの一例－この場合は、発育タイミング－に過ぎない。
【0041】
本発明の一実施形態がこのような傾向又はパターンを特定すると、その傾向又はパターンを、傾向又はパターンを特定するために使用された生徒数データとは異なる生徒数データのセット、又は傾向又はパターンを特定するために使用された生徒数データの後続バージョン（即ち、追加のより新しいデータが生徒数データに追加された後）など、他の生徒数データと比較することができる。次いで、本発明の実施形態は、比較に基づいて、傾向又はパターンが他の生徒数データに当てはまるかどうかを判定することができる。特定された傾向又はパターンは仮説と見なすことができ、本発明の実施形態は、このようにして追加データに対してテストすることができる。
【0042】
一般化すると、これは、任意の角度（複数可）と任意の他の角度（複数可）との相関関数であり、この相関関数から、例えば、以下を抽出することができる。
・因果関係：先生の問題なのか生徒なのか？学問分野の問題かコンピテンシーの問題か？
・簡略化：いくつかのコンピテンシーの強みが、他のコンピテンシーの弱点や強みを示している可能性があり、それによってモデルを簡略化することができる。
・予測：推定すると、所与の生徒は正しい道にいるのだろうか？
システムは、対応するコンピテンシー（図１４の表の５列及び６列を参照）に関連する学問分野に割り当てられた初期重みの形で、初期の「手作業の」仮説を組み込むことができ、その後、経時的に自動的に正規化することで較正することができる。
・因果関係：先生の問題なのか生徒なのか？学問分野の問題かコンピテンシーの問題か？
・簡略化：いくつかのコンピテンシーの強みが、他のコンピテンシーの弱点や強みを示している可能性があり、それによってモデルを簡略化することができる。
・予測：推定すると、所与の生徒は正しい道にいるのだろうか？
システムは、対応するコンピテンシー（図１４の表の５列及び６列を参照）に関連する学問分野に割り当てられた初期重みの形で、初期の「手作業の」仮説を組み込むことができ、その後、経時的に自動的に正規化することで較正することができる。
【0043】
更に、本発明の実施形態は、ユーザが望む任意の重みのセットを使用すること（ローカル制御）を可能にする一方で、システム１２００は、そのデータベースの正規化された評価に対して様々なローカル重みを自動調整することによって、「クリーンな」比較を生成し、記憶することができる。より一般的には、システム１２００は、異なる重みのセットがシステム１２００の異なるユーザによって使用されることを可能にし、それによって異なる評価１２０８ａ－ｎ及び１２１２をもたらし、評価の各セットは別個の重みのセットに対応する。
【0044】
システム１２００は、いくつかのデータポイント（例えば、生徒１２０２が病気であった期間に対応する）を無視することを選択し、必ずしもそのマスターデータベースにデータを集計することなく、それでもサービスを提供することができる。それはまた、非常に多くの入力に基づいて、時間とともにそれ自体のノルムを修正することもできる。
【0045】
本発明の実施形態は、データのアルゴリズム分析（測定値の精密化、主成分分析など）を－人間及び自動の両方で－実行することができる多くの方法を可能にするだけでなく、これは形成的評価の考え方であるため、先制的介入を推奨することも可能にする。
【0046】
更に、ＡＲＩＭＡ（自己回帰和分移動平均）などの方法をデータ全体に適用することによって、本発明の実施形態は、（人生の出来事、特定の授業状況などに起因する）いかなる異常な、又は極端な成功や失敗に対して生徒が過度に罰せられることがないようにすることができる。ＡＲＩＭＡの深さは可変であり、一定である場合もあれば、終生ある年数まで延長される場合もある。ＡＲＩＭＡはそのような方法の一例にすぎない。
【0047】
本発明の実施形態は、個人（例えば、生徒）の「ギザギザのプロファイル」を作成し、そのギザギザのプロファイルを更新して、例えば、生徒としての時代や職業人としてのその後の仕事など、個人の生涯を通じて変更及びシフトするためのコンピュータ実装方法及びシステムを含む。このようなギザギザのプロファイル１００のグラフ表示が図１に示されている。図１に示すギザギザプロファイル１００の特定の特徴は、単なる例示的なユーザインターフェースの例であり、本発明の限定を構成するものではない。
【0048】
図１に示すように、ギザギザプロファイル１００は、例示の目的でいくつかのセクション、即ち、第１のセクション１０２（数学、理科、言語などの学問分野を含む）第２のセクション１０４（技術、エンジニアリング、企業家精神、社会科学などの学問分野を含む）、第３のセクション１０６（創造性、クリティカルシンキング、コミュニケーション、協調性などのスキルを含む）、第４のセクション１０８（マインドフルネス、好奇心、勇気などの性格、レジリエンス、倫理、リーダーシップを含む）、第５のセクション１１０（メタ認知や成長マインドセットなどのメタ学習コンピテンシーを含む）を含む。図１に示す特定のセクション、及び対応する学問分野とコンピテンシーは、単なる例であり、本発明の限定を構成するものではない。
【0049】
プロファイル１００内の特定の個人の測定値１１２は、（線分によって接続された）プロファイル内の複数の点によって表され、各点は、プロファイル内の対応する１つのコンピテンシーに関する個人の測定値を表す。例えば、測定値１１２には、数学の学問分野に対する個人の測定値を表す１点、マインドフルネスのコンピテンシーに対する個人の測定値を表す１点などが含まれる。
【0050】
従来の教育は、一般的にプロファイル１００の左半分（例えば、本明細書では集合的に「知識」又は「学問分野」と総称されるセクション１０２と１０４）をカバーしているが、歴史的に（そして現在も）、右半分、即ち、個人のコンピテンシー（スキル、性格、及びメタ学習）（例えば、セクション１０４、１０６及び１０８）を効果的に評価し測定することに苦心してきた。対照的に、本発明の実施形態は、プロファイル１００内の全ての対象（例えば、セクション１０２、１０４の学問分野、並びにセクション１０６、１０８及び１１０のコンピテンシー）に関連して個人を測定するための技術を含む。
【0051】
本発明の実施形態は、１日に複数回、複数日に複数回、複数週間に複数回、複数学期に複数回、更には複数年に複数回など、このような測定を経時的に繰り返すことができる。このようにして、ギザギザのプロファイル１００内の測定値１１２は、例えば生徒時代から職業人としての仕事まで、生徒の生涯を通じて経時的に変化する可能性がある。
【0052】
より一般的には、本発明の実施形態は、生徒の評価を表すデジタル信号を生成することができる。例えば、評価方法１２０６ａ－ｎ（図１２）のうちの１つは、生徒出力１２０４の一部又は全てに基づいて、生徒１２０２のそのようなデジタル信号を生成する方法であってもよい。例えば、評価方法１２０６ａがこのようなデジタル信号を生成したとする。このような例では、評価１２０８ａは、生徒１２０２の評価を表すデジタル信号である。このようなデジタル信号、したがって評価１２０８ａは、図１に示す種類のギザギザプロファイル１００の形をとることができる。
【0053】
本明細書でより詳細に説明するように、本発明の実施形態によって生成される個人のデジタル信号（例えば、個人のギザギザしたプロファイル１００によって表され得る）は、計量心理学を多用した既存の（総括的な）評価方法よりも、一点失敗に強い個人の形成的評価を表す。個人に関する膨大な（おそらく天文学的な）量のデータポイントを個人の教育的及び職業的なキャリアの過程など経時的に収集することによって、生徒のコンピテンシー、この場合は一例として協調性能力の正確で完全なイメージを描写する、このようなデジタル信号を作成することができる。対照的に、既存の評価方法は非常に「いちかばちか」であるため、その多くは絶対的に完璧であろうとするもので、生徒がシステムを悪用したり、状況をコントロールしたりする心配につながる。本発明の実施形態は、既存の評価技術におけるこれらの問題を大きく回避する。例えば、本発明の一実施形態が５年生から１２年生までの生徒に関するデータを収集する場合、生徒は（１回のテストとは異なり）そのような長期間にわたってシステムを悪用することはできない。更に、本発明の実施形態で使用される「進度バンド」は、悪用行為を抑制する。長期間（例えば、何年もの間）及び多くの状況にわたってデータを収集することによって、本発明の実施形態はまた、「教師のペット」状態や家族の離婚などの任意の１つの状況の影響も回避する。したがって、本発明の実施形態は、生徒が子供、十代の若者、及び若い成人であることを、－反抗したり、宿題をしなかったり、不完全であったりすることを－これらの行動に対して過度に厳しく罰することなく許容する。その代わりに、本発明の実施形態によって生成されるデジタル信号は、個人の経時的な進歩が最も重要であり、教育上の焦点を判決やより悪い罰則ではなく改善に置くことができる、という環境を創り出す。
【0054】
本発明の実施形態は、例えば、図９に示す種類の評価管理システム９００を使用して、特定の生徒のギザギザプロファイル１００を作成し維持することができる。評価管理システム９００は、以下のコンポーネントから成る。
・生徒の評価を生成して保存する評価設計ツール（ＡＤＴ）コンポーネント
・生徒に関するデータを捕捉する評価捕捉ツール（ＡＣＴ）コンポーネント
・評価に関する情報を教師に出力する（例えば、表示する）評価ユーザ体験（ＡＵＸ）コンポーネント
・本明細書に開示される様々な分析を計算する分析エンジンツール（ＡＥＴ）
一例として、本明細書の説明のいくつかは、特定のコンピテンシーのセットとそれに対応するサブコンピテンシーに関連する、このようなデジタル信号の狭いスライスに言及している。この特定のコンピテンシーとサブコンピテンシーのセットは一例にすぎず、本発明の実施形態は、任意のコンピテンシー及び／又はサブコンピテンシーのセットにも、より一般的に適用できることを理解されたい。次に、本発明によるデジタル信号の実現可能性を見つけ、テストするために使用されたプロセスについて説明する。
・生徒の評価を生成して保存する評価設計ツール（ＡＤＴ）コンポーネント
・生徒に関するデータを捕捉する評価捕捉ツール（ＡＣＴ）コンポーネント
・評価に関する情報を教師に出力する（例えば、表示する）評価ユーザ体験（ＡＵＸ）コンポーネント
・本明細書に開示される様々な分析を計算する分析エンジンツール（ＡＥＴ）
一例として、本明細書の説明のいくつかは、特定のコンピテンシーのセットとそれに対応するサブコンピテンシーに関連する、このようなデジタル信号の狭いスライスに言及している。この特定のコンピテンシーとサブコンピテンシーのセットは一例にすぎず、本発明の実施形態は、任意のコンピテンシー及び／又はサブコンピテンシーのセットにも、より一般的に適用できることを理解されたい。次に、本発明によるデジタル信号の実現可能性を見つけ、テストするために使用されたプロセスについて説明する。
【0055】
例えば、本発明のいくつかの実施形態は、以下のコンピテンシーと対応するサブコンピテンシーのセットを使用する。
・創造性：
ｏＣＲＥ１：新しいアイデアを生み出し追求する
ｏＣＲＥ２：個人の嗜好と美意識を開発する
ｏＣＲＥ３：リスク、不確実性、失敗を受け入れる
ｏＣＲＥ４：アイデアをつなぎ合わせ、再編成し、全体としてまとまりのあるものにする
ｏＣＲＥ５：制約を認識しながらアイデアを実現する
ｏＣＲＥ６：プロセスと結果を振り返る
・クリティカルシンキング：
ｏＣＲＩ１：情報を特定し、明確にし、整理する
ｏＣＲＩ２：他の視点を考慮する
ｏＣＲＩ３：意思決定に理に適った推論を適用する
ｏＣＲＩ４：情報の有効性と質を評価する
ｏＣＲＩ５：自分自身の推論や仮定を批判的に振り返る
・コミュニケーション：
ｏＣＯＭ１：質問し能動的に耳を傾ける
ｏＣＯＭ２：アイデアやメッセージを明確かつ簡潔に表現する
ｏＣＯＭ３：非言語的な、及びパラリンガルなコミュニケーションを使用し理解する
ｏＣＯＭ４：複数のモード（例えば、デジタル的に、口頭で）によるコミュニケーション
ｏＣＯＭ５：オーディエンスに共感しそれに応じてメッセージを変化させる
・創造性：
ｏＣＲＥ１：新しいアイデアを生み出し追求する
ｏＣＲＥ２：個人の嗜好と美意識を開発する
ｏＣＲＥ３：リスク、不確実性、失敗を受け入れる
ｏＣＲＥ４：アイデアをつなぎ合わせ、再編成し、全体としてまとまりのあるものにする
ｏＣＲＥ５：制約を認識しながらアイデアを実現する
ｏＣＲＥ６：プロセスと結果を振り返る
・クリティカルシンキング：
ｏＣＲＩ１：情報を特定し、明確にし、整理する
ｏＣＲＩ２：他の視点を考慮する
ｏＣＲＩ３：意思決定に理に適った推論を適用する
ｏＣＲＩ４：情報の有効性と質を評価する
ｏＣＲＩ５：自分自身の推論や仮定を批判的に振り返る
・コミュニケーション：
ｏＣＯＭ１：質問し能動的に耳を傾ける
ｏＣＯＭ２：アイデアやメッセージを明確かつ簡潔に表現する
ｏＣＯＭ３：非言語的な、及びパラリンガルなコミュニケーションを使用し理解する
ｏＣＯＭ４：複数のモード（例えば、デジタル的に、口頭で）によるコミュニケーション
ｏＣＯＭ５：オーディエンスに共感しそれに応じてメッセージを変化させる
【0056】
・協調性：
ｏＣＯＬ１：責任を負い他者と共有する
ｏＣＯＬ２：各個人の独自のスキルと視点を活用する
ｏＣＯＬ３：人間関係の対立を乗り越え解決する
ｏＣＯＬ４：建設的なフィードバックの授受を行う
ｏＣＯＬ５：チームメンバーに共感し、能動的に支援する
・マインドフルネス：
ｏＭＩＮ１：今この瞬間の自分の身体、感情、反応に注意を向ける
ｏＭＩＮ２：自分の感情や反応を説明することによって理解する
ｏＭＩＮ３：内的体験を調整するための効果的なラベルを創る
ｏＭＩＮ４：ポジティブさ、広い心、忍耐、思いやりを養う
ｏＣＯＬ１：責任を負い他者と共有する
ｏＣＯＬ２：各個人の独自のスキルと視点を活用する
ｏＣＯＬ３：人間関係の対立を乗り越え解決する
ｏＣＯＬ４：建設的なフィードバックの授受を行う
ｏＣＯＬ５：チームメンバーに共感し、能動的に支援する
・マインドフルネス：
ｏＭＩＮ１：今この瞬間の自分の身体、感情、反応に注意を向ける
ｏＭＩＮ２：自分の感情や反応を説明することによって理解する
ｏＭＩＮ３：内的体験を調整するための効果的なラベルを創る
ｏＭＩＮ４：ポジティブさ、広い心、忍耐、思いやりを養う
【0057】
・好奇心：
ｏＣＵＲ１：深く理解しようとする
ｏＣＵＲ２：新規性を求め新しいことに挑戦する
ｏＣＵＲ３：異なる視点を求めて理解を広げる
ｏＣＵＲ４：自分の興味や情熱を能動的に追求する
ｏＣＵＲ１：深く理解しようとする
ｏＣＵＲ２：新規性を求め新しいことに挑戦する
ｏＣＵＲ３：異なる視点を求めて理解を広げる
ｏＣＵＲ４：自分の興味や情熱を能動的に追求する
【0058】
・勇気：
ｏＣＵ１：自己に対する社会的、経済的、肉体的、又は精神的なリスクを背負いながらも、意欲的な目標を追求する
ｏＣＵ２：自分の価値観のために立ち上がる
ｏＣＵ３：感情的に弱い方法で他者と関わる
・レジリエンス：
ｏＲＥＳ１：柔軟に適応する
ｏＲＥＳ２：強い社会的ネットワークを構築する
ｏＲＥＳ３：ストレスを管理し感情を適切に表現する
ｏＲＥＳ４：意味や目的を志向する
ｏＲＥＳ５：困難に耐え忍ぶが必要なときには助けを求める
ｏＣＵ１：自己に対する社会的、経済的、肉体的、又は精神的なリスクを背負いながらも、意欲的な目標を追求する
ｏＣＵ２：自分の価値観のために立ち上がる
ｏＣＵ３：感情的に弱い方法で他者と関わる
・レジリエンス：
ｏＲＥＳ１：柔軟に適応する
ｏＲＥＳ２：強い社会的ネットワークを構築する
ｏＲＥＳ３：ストレスを管理し感情を適切に表現する
ｏＲＥＳ４：意味や目的を志向する
ｏＲＥＳ５：困難に耐え忍ぶが必要なときには助けを求める
【0059】
・倫理：
ｏＥＴＨ１：倫理的概念を特定し説明する
ｏＥＴＨ２：倫理的な判断を行い倫理的な行動をとる
ｏＥＴＨ３：他者の倫理的観点を理解する
ｏＥＴＨ４：価値観、（市民としての）権利及び責任を理解し評価する
ｏＥＴＨ１：倫理的概念を特定し説明する
ｏＥＴＨ２：倫理的な判断を行い倫理的な行動をとる
ｏＥＴＨ３：他者の倫理的観点を理解する
ｏＥＴＨ４：価値観、（市民としての）権利及び責任を理解し評価する
【0060】
・リーダーシップ：
ｏＬＥＡ１：課題を決定し目標を設定する
ｏＬＥＡ２：倫理的に権力を管理する
ｏＬＥＡ３：戦略的に考え資源（人と物）を最大限に活用する
ｏＬＥＡ４：チームの成果を評価し、それに応じて適応する
ｏＬＥＡ５：敬意をもって他者と協調する
ｏＬＥＡ６：より広いグループやコミュニティに貢献する
ｏＬＥＡ７：自分のビジョンを共有し、他人を鼓舞する
ｏＬＥＡ１：課題を決定し目標を設定する
ｏＬＥＡ２：倫理的に権力を管理する
ｏＬＥＡ３：戦略的に考え資源（人と物）を最大限に活用する
ｏＬＥＡ４：チームの成果を評価し、それに応じて適応する
ｏＬＥＡ５：敬意をもって他者と協調する
ｏＬＥＡ６：より広いグループやコミュニティに貢献する
ｏＬＥＡ７：自分のビジョンを共有し、他人を鼓舞する
【0061】
・メタ認知：
ｏＭＥＴ１：プロセス、成果、学習、及び／又はアイデンティティを振り返る
ｏＭＥＴ２：目標の決定、目標達成のための計画、進捗状況のモニタリングを行う
ｏＭＥＴ３：理解度のモニタリングとそれに応じた情報管理を行う
ｏＭＥＴ４：自分の行動とその結果を評価する
ｏＭＥＴ５：選択肢や異なる視点を考慮する
ｏＭＥＴ６：内部状態の認識と調整を実践する
ｏＭＥＴ７：柔軟に考え適応する
ｏＭＥＴ１：プロセス、成果、学習、及び／又はアイデンティティを振り返る
ｏＭＥＴ２：目標の決定、目標達成のための計画、進捗状況のモニタリングを行う
ｏＭＥＴ３：理解度のモニタリングとそれに応じた情報管理を行う
ｏＭＥＴ４：自分の行動とその結果を評価する
ｏＭＥＴ５：選択肢や異なる視点を考慮する
ｏＭＥＴ６：内部状態の認識と調整を実践する
ｏＭＥＴ７：柔軟に考え適応する
【0062】
・成長マインドセット：
ｏＧＲＯ１：自分の主体性を信じ、高い自己効力感を持つ
ｏＧＲＯ２：失敗から学び、フィードバックを成長の機会として受け入れる
ｏＧＲＯ３：より深い専門知識と理解のためにやりぬく
ｏＧＲＯ４：現在の自分の強みと弱みを理解する
ｏＧＲＯ５：学ぶことに喜びを見出し生涯学習者になる
ｏＧＲＯ１：自分の主体性を信じ、高い自己効力感を持つ
ｏＧＲＯ２：失敗から学び、フィードバックを成長の機会として受け入れる
ｏＧＲＯ３：より深い専門知識と理解のためにやりぬく
ｏＧＲＯ４：現在の自分の強みと弱みを理解する
ｏＧＲＯ５：学ぶことに喜びを見出し生涯学習者になる
【0063】
以下の議論の一部では、単に例として、また説明を容易にするために、協調性（Ｃｏｌｌａｂｏｒａｔｉｏｎ）のコンピテンシーについて言及する。本明細書の説明は、任意のコンピテンシー（例えば、図１のプロファイル１００におけるコンピテンシーのいずれか）及びコンピテンシーの任意の組合せ（例えば、図１のプロファイル１００におけるコンピテンシーの一部又は全て）に等しく適用可能である。以下の説明では、協調性は、５つのサブコンピテンシーを含むものとして説明されるが、本発明を限定するものではなく、例示のみを目的とする。これら５つのサブコンピテンシーは、５つのレバーと考えることができ、５つ全てのレバーが同時に押し下げられると、協調が起こる。しかしながら、５つの層全てを一度に押し下げる行為は、非常に困難な作業である。説明を容易にするために、協調の５つのサブコンピテンシーは、本明細書ではＣＯＬ１、ＣＯＬ２、ＣＯＬ３、ＣＯＬ４、及びＣＯＬ５と呼ばれる。その他のコンピテンシーのいずれも、１つ又は複数のサブコンピテンシーの独自のセットを有することができる。以下の表は、５つのサブコンピテンシーＣＯＬ１、ＣＯＬ２、ＣＯＬ３、ＣＯＬ４、及びＣＯＬ５についての例示的な説明を提供する。
【0064】
サブコンピテンシーは、指導者、生徒、及び個人が、個々の協調スキルをより効果的かつ効率的に目標とするために使用することができる構造を提供するものであり、個々のスキルが習得されれば、協調はより達成可能なものとなるように設計されている。もちろん、各サブコンピテンシーは次のサブコンピテンシーの上に構築され、次のサブコンピテンシーに反映され、単独で存在しているわけではない。
【0065】
図２は、Ｍｉｃｒｏｓｏｆｔ Ｗｏｒｄ又はＧｏｏｇｌｅ Ｄｏｃなどの文書生成ソフトウェアの使用に関連した協調性コンピテンシーについて、本明細書で「サブコンピテンシーマトリックス」２００と呼ばれるものの例を示している。サブコンピテンシーマトリックス２００は、協調性サブコンピテンシーのそれぞれについて、複数の特徴のうちのどれがそのサブコンピテンシーを表現しているかを示す。より具体的には、サブコンピテンシーマトリックス２００は複数の行２０２を含み、各行２０２は別個のデジタル活動に対応している。図２の特定の例では、デジタル活動は、文書生成ソフトウェアを使用して実施することが可能なデジタル活動、即ち、「ファイルのアップロード」、「ファイルの共有」、「ファイルへのアクセス」、「ファイルの編集」、「ファイルへのコメント」、及び「ファイルへのコメントへの返信」である。この特定のデジタル活動のセットと数は単なる例であり、本発明を限定するものではない。より一般的には、サブコンピテンシーマトリックス２００は、図２に示されていないデジタル活動を含めて、任意の数のデジタル活動の任意の組合せを表す行を含むことができる。
【0066】
サブコンピテンシーマトリックス２００はまた、複数の列２０４を含み、その各列２０４は、協調性コンピテンシーの別個のサブコンピテンシーに対応している。図２の特定の例では、これらのサブコンピテンシーは、上述したように、ＣＯＬ１、ＣＯＬ２、ＣＯＬ３、ＣＯＬ４、及びＣＯＬ５である。この特定のサブコンピテンシーのセットと数は単なる例であり、本発明を限定するものではない。より一般的には、サブコンピテンシーマトリックス２００は、図２に示されていないサブコンピテンシーを含む、任意の数のサブコンピテンシーの任意の組合せを表す列を含むことができる。
【0067】
マトリックス２００内の各セルＣＡＳは、特定の行（特定のデジタル活動Ａを表す）と特定の列（特定のサブコンピテンシーＳを表す）との交点にある。このような各セルＣＡＳは、ある個人がデジタル活動Ａを実施することが、その個人にサブコンピテンシーＳを実践／表現／達成する機会を提供し得るかどうかを示す、２進値を含むことができる。図２において、セルＣＡＳ内の「Ｘ」は、「はい」又は「真」の値（例えば、ある個人がデジタル活動Ａを実施することは、その個人がサブコンピテンシーＳを持っている指標であること）を表し、空のセルＣＡＳは、「いいえ」又は「偽」の値（例えば、ある個人によるデジタル活動Ａの実施は、その個人がサブコンピテンシーＳを持っている指標ではないこと）を表す。
【0068】
図２の例が示すように、任意の特定のサブコンピテンシーは、デジタル活動のいくつかによって示され、他の活動によって（又は、多かれ少なかれデジタル活動のいくつかによって）示されないことがある。この一例は、ＣＯＬ１サブコンピテンシーであり、デジタル活動のうちの４つで示され、デジタル活動のうちの２つでは示されていない。図２の例が更に示すように、異なるサブコンピテンシーは、異なるデジタル活動のセットによって示されることがある。その一例は、ＣＯＬ１サブコンピテンシーが、ＣＯＬ２サブコンピテンシーとは異なるデジタル活動のセットで示されることである。
【0069】
最後に、Ｐ／Ａ／Ｉ列２０６は、対応するデジタル活動が、その協調性の品質と可能性という点で、受動的か、能動的か、又は対話的かどうかを示す。対話型デジタル活動は、協調性を最も深く実践するものである。限定ではなく例示として、「ファイルのアップロード」は受動的、「ファイルの共有」は能動的、「ファイルへのアクセス」は受動的、「ファイルの編集」は能動的、「ファイルへのコメント」は対話的、「ファイルへのコメントへの返信」は対話的として表示される。Ｐ／Ａ／Ｉ列２０６の使用は一例にすぎず、本発明の全ての実施形態において必要とされるわけではない。
【0070】
図２に示す特定のデジタル活動２０２は、文書の共有、ファイルのアップロード、ファイルの編集、及びファイルへのコメントなど、任意のファイル／文書共有プラットフォーム上で発生する一般的なデジタル活動である。図２に示すように、本発明者らは、このような各デジタル活動を、それが示す可能性のあるサブコンピテンシーにマッピングした。例えば、「ファイルのアップロード」は、ＣＯＬ１に最も直接的に関連している。責任を負い他者と共有する（「ファイルのアップロード」と「ＣＯＬ１」の交点のセルの「ｘ」で示される）。
【0071】
上述したように、図２に示すマトリックス２００は、協調性コンピテンシーに対応している。他のコンピテンシーの一部又は全部（例えば、図１に示すコンピテンシーの一部又は全部）についても同様のマトリックスが存在し得る。図２及び協調性コンピテンシーに関連して本明細書で開示された技術のいずれかを、追加的又は代替的に、コンピテンシーの一部又は全てに関連して実施することができる。
【0072】
本発明者らの分析では、楽観的な見方と、より現実的な見方（多くの場合、事例体験や調査によってもたらされる）の２つのアプローチをとった。「ファイルのアップロード」というこの例について、楽観的な見方をすれば、これは責任を効果的に共有するための第一歩であるということであり、より現実的な見方をすれば、この行動は必ずしも責任が分散されていることを意味するものではなく、更に、デジタル的な制限により、一個人が依然としてファイルの「所有者」であることが義務付けられており、これは協調性と直接矛盾する概念である。
【0073】
マトリックス２００のセルに２進値を使用することは単なる例示であり、本発明を限定するものではない。代替的に、例えば、各セルＣＡＳには、デジタル活動Ａは個人がサブコンピテンシーＳを持っている指標である程度を示す非２進値（例えば、整数又はパーセンテージ）が含まれる場合がある。
【0074】
別の例として、本発明の実施形態は、マトリックス２００の行２０２（例えば、デジタル活動）の各々に重みを割り当てることができる。行に割り当てられた重みは、対応するデジタル活動がマトリックス２００によって表されるコンピテンシー（例えば、協調性）の機会を提供する程度を表すことができる。例えば、受動的活動（例えば、Ｐ／Ａ／Ｉ列２０６において「Ｐ」の値を有する行）には、最小の重みが割り当てられ、対話的活動（例えば、Ｐ／Ａ／Ｉ列２０６内の「Ｉ」の値を有する行）には最大の重みが割り当てられ、能動的活動（例えば、Ｐ／Ａ／Ｉ列２０６において「Ａ」の値を有する行）には、受動的活動に割り当てられた重みよりも大きく、対話的活動に割り当てられた重みよりも小さい重みが割り当てられる（この行２０２に対する重みの特定の割り当ては単なる例示であり、本発明の限定を構成するものではない）。このロジックに従えば、ファイルにコメントすることは、単にファイルを共有空間にアップロードすることよりも高い協調性スキルを示すことになる。デジタル空間では、コメント機能が最もインタラクティブであり、したがって最も重みのある活動であることは言うまでもない。コメント欄でのスレッド形式のディスカッションは、ファイル共有プラットフォームが実現できる、真の同期した協調性に最も近いものである。しかしながら、逆のロジックを使うこともでき、ユーザは、他人が関与したがらないことで大きなペナルティを受けるべきではないため、これらの多くの重みは、他の曲線に従ってもよい（収穫逓減型やｎ字型など）。言い換えれば、所与のパラメータは多ければ多いほど良いというわけではなく、本明細書で説明したシステムは、様々な適合曲線を許容するのに十分な柔軟性を有している。
【0075】
本発明の実施形態は、個々の評価１２０８ａ－ｎに対応する重みを割り当て、次いでそれらの評価１２０８ａ－ｎの加重合計を計算することによって、生徒１２０２の統合評価１２１２の例を生成することができる。言い換えれば、評価１２０８ａがＡ１とラベル付けされ、重みＷ１を有する場合、システム１２００は、評価１２０８ａの加重スコアをＡ１Ｗ１として（即ち、Ａ１にＷ１を乗算することによって）計算することができる。システム１２００は、残りの評価１２０８ｂ－ｎ及びそれらに対応する重みについて同じことを行い、次いで、得られた加重スコアの全てを合計して、加重合計を生成し、これを統合評価１２１２として、又は統合評価１２１２内で使用することができる。システム１２００は、このようなプロセスを複数回繰り返してもよく、その間に、個々の評価１２０８ａ－ｎの一部又は全てが変化する可能性があり、その結果、それらの複数回の一部又は全てにおいて、異なる統合評価１２１２が得られる可能性がある。
【0076】
図１５は、本発明の一実施形態に従って実施され得るこのような計算の一部の単なる一例を示す。図１５は、生徒１２０２の単一のコンピテンシー（「コンピテンシー１」として示す）に対して実施される計算を示す。システム１２００は、生徒１２０２の１つ又は複数の追加のコンピテンシーについて同じ計算を実施してもよく、図１５に関連して本明細書で説明した重み及び他の値のいずれかがコンピテンシーごとに異なってもよいこと理解されたい。図１５の特定の例では、
・コンピテンシー１は、ソース１－ソースＭとして示される複数のソース（例えば、図１０に示されるソースの一部又は全てであってもよい）を含み、Ｍは任意の値であり得る。複数のソースのそれぞれは、独自の対応する重みとコンピテンシースコアを有する。システム１２００は、コンピテンシー１内の複数のソースのコンピテンシースコアの加重合計を計算する、即ち、これらのコンピテンシースコアのそれぞれに、対応するソース重みを乗算して加重ソーススコアを生成し、次いで加重ソーススコアを合計する。結果として得られる加重合計は、コンピテンシー１のコンピテンシースコアである。
・コンピテンシー１は、ソース１－ソースＭとして示される複数のソース（例えば、図１０に示されるソースの一部又は全てであってもよい）を含み、Ｍは任意の値であり得る。複数のソースのそれぞれは、独自の対応する重みとコンピテンシースコアを有する。システム１２００は、コンピテンシー１内の複数のソースのコンピテンシースコアの加重合計を計算する、即ち、これらのコンピテンシースコアのそれぞれに、対応するソース重みを乗算して加重ソーススコアを生成し、次いで加重ソーススコアを合計する。結果として得られる加重合計は、コンピテンシー１のコンピテンシースコアである。
【0077】
・ソース１には、サブコンピテンシー１－サブコンピテンシーＬとして示される複数のサブコンピテンシーが含まれており、Ｌは任意の値であり得る。複数のサブコンピテンシーのそれぞれは、独自の対応する重みとサブコンピテンシースコアを有する。システム１２００は、ソース１内の複数のサブコンピテンシーのサブコンピテンシースコアの加重合計を計算する、即ち、これらのサブコンピテンシースコアのそれぞれに、対応するサブコンピテンシー重みを乗算して加重サブコンピテンシースコアを生成し、次いで加重サブコンピテンシースコアを合計する。結果として得られる加重合計は、ソース１のソースコンピテンシースコアである。システム１２００は、ソース２－Ｍのソースコンピテンシースコアを計算するために同じ技術を使用し得る。
【0078】
・サブコンピテンシー１は、活動１－活動Ｋとして示される複数の活動を含み、Ｋは任意の値であり得る。複数の活動のそれぞれは、独自の対応する重みと活動スコアを有する。システム１２００は、サブコンピテンシー１内の複数の活動に対する活動スコアの加重合計を計算する、即ち、これらの活動スコアのそれぞれに、対応する活動重みを乗算して加重活動スコアを生成し、次いで加重活動スコアを合計する。結果として得られる加重合計は、サブコンピテンシー１のサブコンピテンシースコアである。システム１２００は、サブコンピテンシー２－Ｌのソースサブコンピテンシースコアを計算するために同じ技術を使用し得る。
【0079】
・活動１は、信号１－信号Ｊとして示される複数のデジタル信号を含み、Ｊは任意の値であり得る。複数のデジタル信号のそれぞれは、独自の対応する重みと活動スコアを有する。システム１２００は、活動１内の複数のデジタル信号のデジタル信号スコアの加重合計を計算する、即ち、これらのデジタル信号スコアのそれぞれに、対応する活動重みを乗算して加重デジタル信号スコアを生成し、次いで加重デジタル信号スコアを合計する。結果として得られる加重合計は、活動１の活動スコアである。システム１２００は、活動２－Ｋのソース活動スコアを計算するために同じ技術を使用し得る。
【0080】
・信号１には、パラメータ１－パラメータＩとして示される複数のパラメータを含み、Ｉは任意の値であり得る。複数のパラメータのそれぞれは、独自の対応する重みと活動スコアを有する。システム１２００は、信号１内の複数のパラメータのパラメータスコアの加重和を計算する、即ち、それらのパラメータスコアのそれぞれに、対応するパラメータ重みを乗算して加重パラメータスコアを生成し、次いで加重パラメータスコアを合計する。結果として得られる加重合計は、活動１の信号スコアである。システム１２００は、信号２－Ｊのソース信号スコアを計算するために同じ技術を使用し得る。
【0081】
所与のコンピテンシーについて、コンピテンシーの全てのサブコンピテンシーの重み全てを合計して１．０にする必要がある場合があるが、これは、各サブコンピテンシーは、そのサブコンピテンシーがコンピテンシーレベルでのパフォーマンスの指標となる「暗示の強さ」を反映しているためである。任意の所与の重みのセットについて、相対的な寄与度（暗示の強さ）は、０～１０などの任意の幅の範囲で捉えることができる。次いで、正規化スキームを適用して、各重みは正規化された範囲内の値（例えば、０～１０）に自動的に変換される。
【0082】
図１５の最高レベルは、コンピテンシーのものであるが、システム１２００は、同様の技術を使用して、複数の加重コンピテンシースコアを計算して、学問分野スコアを生成し、複数の加重学問分野スコアを計算して、成績スコアを生成し、複数の加重成績スコアを計算して、生徒スコアを生成し、複数の加重生徒スコアを計算して、教育機関スコア、管轄レベルスコア、及び世界レベルスコアを生成することができる。
【0083】
図２のマトリックス２００に対して、品質バンド／進度を作成することができる。一般に、「品質バンド」及び「進度」という用語は、コンピテンシー（又はサブコンピテンシー、又はサブコンピテンシーのセット）とデジタル活動との特定の組合せに対応する順序付けられた一連の評価バンドを指すために、本明細書では互換的に使用される。「評価バンド」、「進度レベル」、「習熟度レベル」、及び「レベル」という用語は、本明細書では、特定の進度に関連して生徒に割り当てられ得るラベル（例えば、評価スコア又は評価スコアの範囲）を同義的に指す。特定の例として、図３Ａ及び図３Ｂに関連して以下でより詳細に説明するように、１つの品質バンドは、ＣＯＬ１サブコンピテンシーと「ファイルのアップロード」デジタル活動との組合せに対応し、以下の順序付けられた一連の評価バンドを含むことができる。「標準未満－積極的」、「標準未満－受動的」、「初級」（１０～２４点の評価スコアに相当）、「中級」（２５～７４点の評価スコアに相当）、「上級」（７５～８９点の評価スコアに相当）、「卓越」（９０～１００点の評価スコアに相当）。評価バンドは、例えば、テキストラベル、数値スコア、又はその両方を含むことができる。
【0084】
デジタル活動とサブコンピテンシーの交点のいくつかは、個人の意図に大きく依存するため、１つの進度に統合された。例えば、「ファイルの共有」は、ＣＯＬ１及び／又はＣＯＬ２の顕在化であり得るが、生徒が「ファイルの共有」活動に関与したという観察に基づくだけでは、生徒の意図がＣＯＬ１及び／又はＣＯＬ２の顕在化であったかどうかを知ることはできない。逆に、生徒は、様々な別個の目的のために「ファイルへのコメント」活動に参加し得るので、「ファイルへのコメント」活動では、ＣＯＬ２、ＣＯＬ３、ＣＯＬ４、ＣＯＬ５の進度は全て関連がない。
【0085】
本発明の実施形態は、例えば、２つの表（例えば、１つは定性的、１つは定量的）を使用して、上記の進度を示すことができる。第１の表は、デジタル活動ＡとサブコンピテンシーＳのペアごとに、生徒がデジタル活動Ａにどのように関与してサブコンピテンシーＳを実証するか、進度の複数のレベルＬのそれぞれについて概要を示している。第２の表は、より詳細な例題に基づいた進度を示し、それにより、各進度の各レベル内で生徒が実施する可能性のあるタスクの具体例が含まれている。実際には、これら２つの表を組み合わせて１つの表としてもよい。
【0086】
例えば、図３Ａ～図３Ｂは、本発明の一実施形態による第１のタイプの表３００の一例を示す。表３００は、あくまでも例示であり、限定するものではないが、協調性コンピテンシー用の一連の１２段階の進度３０２を表す。１２段階の進度３０２のそれぞれは、その中に４つの評価バンド３０４（「習熟度レベル」とも呼ばれる）を有し、図３Ａ～図３Ｂでは「初級」、「中級」、「上級」、及び「卓越」とラベル付けされている。図３Ａ～図３Ｂに示す進度３０２とレベル３０４の特定の数とラベルは単なる例示であり、本発明の限定を構成するものではない。図３Ａ及び図３Ｂのセルの内容は、コンピュータ上で実行されるソフトウェア（例えば、ワープロ）内で生徒１２００によって実施され得るタスクを説明している。
【0087】
表３００の性質を説明するために、「ファイルのアップロード」／ＣＯＬ１のデジタル活動／サブコンピテンシーのペアに対応する進度３０２のうちの最初のものを考えてみる。「ファイルのアップロード」／ＣＯＬ１進度の初級レベルを表す「初級」とラベル付けされた列に示されているように、生徒は、教師から促されたときに共有空間にファイルをアップロードすることで、「ファイルのアップロード」／ＣＯＬ１進度の初級レベルで協調性のコンピテンシーを発揮することになる。同様に、「ファイルのアップロード」／ＣＯＬ１進度の中級レベルを表す「中級」とラベル付けされた列に示されているように、生徒は、「ファイルのアップロード」／ＣＯＬ１進度の中級レベルで、（例えば、教師から促されることなく）独自にファイルを共有空間にアップロードすることで、協調性コンピテンシーを発揮することになる。図３Ａ～図３Ｂの特定の例では、生徒が「ファイルのアップロード」／ＣＯＬ１進度の上級レベル又は卓越レベルで協調性コンピテンシーを発揮していることを示すような生徒の行動はない。
【0088】
一般に、本発明の実施形態は、図３Ａ～図３Ｂの表３００などの表を使用して、生徒のデジタル活動を観察し、このような観察されたデジタル活動に基づいて、１つ又は複数の進度、及びそれらの進度のそれぞれの中の対応する評価バンドを生徒に割り当てることができる。図３Ａ～図３Ｂの表３００内の各セルは、以下のようであると考えよう。
【0089】
・生徒によって実施され得る特定のタスクＴ（例えば、「教師に促されたときに共有空間にファイルをアップロードする」）を表している、
・特定のデジタル活動Ａ（例えば、「ファイルのアップロード」）に対応する、
・特定のサブコンピテンシーＳ（例えば、ＣＯＬ１）に対応する、
・特定の進度レベルＬ（例えば、「初級」）に対応する。
本発明の実施形態は、生徒によって実施された複数のデジタル活動のそれぞれを観察し、表３００の各セルＣについて、そのデジタル活動がセルＣによって定義されたタスクＴの一例であるかどうかを判定することができる。もしそうであれば、本発明の実施形態は、セルＣに関連する進歩レベルＬ、活動Ａ、及びサブコンピテンシーＳを識別し、活動ＡとサブコンピテンシーＳの組合せによって定義される進度の中で、進歩レベルＬをユーザに割り当てることができる。
・特定のデジタル活動Ａ（例えば、「ファイルのアップロード」）に対応する、
・特定のサブコンピテンシーＳ（例えば、ＣＯＬ１）に対応する、
・特定の進度レベルＬ（例えば、「初級」）に対応する。
本発明の実施形態は、生徒によって実施された複数のデジタル活動のそれぞれを観察し、表３００の各セルＣについて、そのデジタル活動がセルＣによって定義されたタスクＴの一例であるかどうかを判定することができる。もしそうであれば、本発明の実施形態は、セルＣに関連する進歩レベルＬ、活動Ａ、及びサブコンピテンシーＳを識別し、活動ＡとサブコンピテンシーＳの組合せによって定義される進度の中で、進歩レベルＬをユーザに割り当てることができる。
【0090】
図３Ａ～図３Ｂに関連して示され説明された技術は、図１２のシステム１２００及び図１３の方法１３００の態様を実装するために使用され得る。例えば、生徒１２０２によって実施されたデジタル活動に基づいて図３Ａ～図３Ｂの進度レベルを生徒１２０２に割り当てることは、図１２～図１３の生徒出力１２０４に基づいて評価１２０８ａ－ｎのうちの１つを生成する一例である。より具体的には、図３Ａ～図３Ｂの生徒１２０２によって実施されたデジタル活動は、図１２の生徒出力１２０４の一例であり、図３Ａ～図３Ｂの生徒１２０２に割り当てられた進度レベルは、図１２の評価１２０８ａ－ｎの一例である。
【0091】
より一般的には、図３Ａ～図３Ｂに関連して開示された技術を使用して、生徒によって実施された１つ又は複数のデジタル活動に基づいて複数の進度、及びこれらの進歩内のレベルを生徒１２０２に割り当てることは、図１２～図１３の生徒出力１２０４に基づいて１つ又は複数の評価１２０８ａ－ｎを生成する一例である。
【0092】
上述したように、本発明の実施形態は、成績を複数のバンドに分割することもできる。このような成績バンドは、生徒の人生のあらゆる期間に適用され得るバンドの単なる一例にすぎず、その結果、「成績」及び「成績バンド」という用語は、成績に関連するか否かにかかわらず、あらゆる期間を指すものとして、より一般的に理解されるべきである。例えば、本発明のいくつかの実施形態では、５～８年生用と９～１２年生用の２つの学年バンドがある。これらの２つの特定のバンドは単なる例示であり、本発明の限定を構成するものではない。より一般的には、本発明の実施形態では、任意の数の成績バンドを使用することができ、その各成績バンドは任意の数の連続した成績を表すことができる。５年生から８年生、及び９年生から１２年生という特定の学年バンドが選ばれたのは、多くの生徒にとって８年生から９年生の間に、多くの認知的発達が起きるからである。同様に、生徒は、通常、５年生になる前では、デジタルプラットフォームを使用して大きく協調して取り組むほどの認知スキルや技術的スキルを有していない。とはいえ、本発明者らは、これらのバンドが、年齢や学年レベルよりも、むしろ生徒の能力と大きく相関していると認識している。多くの場合、生徒の能力は彼らの学年／年齢と一致するが、これは常にそうであるとは限らない。
【0093】
本発明の実施形態は、生徒の学年に基づいて、コンピテンシー（例えば、協調性）及び／又はサブコンピテンシーに関連する生徒の能力を重み付けすることができる。例えば、ある生徒が５年生で協調する度合いは、１２年生で協調する度合いよりも、その生徒の協調的なデジタル信号にあまり影響を及ぼさない可能性がある。換言すれば、本発明の実施形態は、異なる学年に異なる重みを割り当てることができる。
【0094】
本発明のいくつかの実施形態では、７つの進度レベルがあり、４つはポジティブであり、３つは標準未満（例えば、破壊的、積極的、及び受動的）である。ポジティブな進度レベルは、以下の順序で含む。初級、中級、上級、及び卓越。全ての進度レベルが全てのデジタル活動に利用可能である必要はない。例えば、図３Ａ～図３Ｂの表では、「ファイルのアップロード」ＣＯＬ１進度には、上級又は卓越の進度レベルはない。
【0095】
標準未満の進度レベルは、例えば、受動的、能動的、及び破壊的などの攻撃性のレベルによって区別され得る。受動的に積極的なレベル（図３Ａ～図３Ｂに「標準－受動的」として示されている）は、例えば、生徒がファイルを編集しない、ファイルを開かない、ファイルにコメントしないなど、主に生徒の関与の欠如によって特徴付けられる。能動的に積極的なレベル（図３Ａ～図３Ｂに「標準－積極的」として示されている）は、生徒が能動的に参加しているが、例えば、生徒がコメントで別の生徒をからかう場合など、生徒がグループの協調能力を能動的に損ねていることを示す。最終的な破壊的なレベルに達するのは、生徒が意図的にグループの協調を阻止した場合で、例えば、生徒が共有ファイルにウイルスをアップロードした場合などである。
【0096】
標準未満の進度レベルはまた、ある行動がより多く行われたからといって、必ずしもスキルが高いとは限らないので、生徒がシステムを確実に悪用できないようにするのにも役立つ。その代わり、標準未満の進度レベルは、生徒が活動を実施し過ぎること（例えば、ファイルをコメント攻めにすること）も、活動を実施しなさ過ぎる（例えば、１回しかコメントしないこと）も奨励しない。
【0097】
本発明の実施形態は、直線的な進度だけでなく、複数の曲線を進度レベル（ポジティブな、及び標準未満の進度レベルの両方を含む）に適用してもよい。このようなポジティブな進度レベルの曲線４００の一例を図４Ａに示す。このような標準未満の進度レベルの曲線４５０の一例を図４Ｂに示す。図４Ａ及び図４ＢのＸ軸は、生徒が成し遂げている進度バンドとパーセンタイルであり、Ｙ軸は生徒の習熟度レベルを表す。Ｓ曲線は、熟練度レベル（本明細書では「進度レベル」とも呼ぶ）のニュアンスを最もよく表している。Ｓ曲線は、初級から中級、又は上級から卓越への移動よりも、中級から上級への移動の方がどれ程困難であるかを正確に表している。この形状は、急勾配を克服するために生徒を指導するのに費やす時間が、Ｓ曲線の微分、即ち、ベル曲線であるため重要である。
【0098】
同様に、ＡＲＩＭＡ（自己回帰和分移動平均）を含むがこれに限定されない統計的技術をデータ全体（例えば、図１２の生徒出力１２０４、又は生徒出力１２０４のサブセット、例えば特定のコンピテンシー又はサブコンピテンシーに関する生徒出力１２０４のサブセット）に適用することにより、本発明の実施形態は、生徒が（例えば、人生の出来事、特定の授業状況などに起因する）いかなる異常な、又は極端な成功や失敗に対して生徒が過度に罰せられることがないようにすることができる。この例が図４Ｃのグラフ４７０に示されている。ＡＲＩＭＡの深さは可変であり、例えば、一定である場合もあれば、生徒の生涯を通じてある年数まで延長される場合もある。
【0099】
本発明の概念の証明を示すために、協調性コンピテンシーの中の狭いスライスとして「ファイルの編集」を選択した。図２のマトリックス２００に示すように、「ファイルの編集」は、ＣＯＬ１及びＣＯＬ２と交差する。図３Ａ～図３Ｂの表３００に示されている進度は、定性的尺度を表している。我々の次のステップは、これらの定性的な測定基準を定量的な測定値に移すことであった。
【0100】
図５は、生徒のデジタル活動「ファイルの編集」の使用に基づいて、値が測定される可能性のあるパラメータの例を示している。本発明の実施形態では、以下に説明するように、測定されたパラメータ値に基づいて生徒に進度レベルを割り当てることができる。
【0101】
図５において、「速度」とは、生徒がある期間にわたってファイルにアップロードする単語及び／又はコンテンツの量を指すパラメータである。（より一般的には、本発明の実施形態は、生徒が任意のデジタル活動を実施する速度を測定して、そのデジタル活動に関連する速度パラメータの値を生成することができる。）この速度は、生徒の協調性パフォーマンスについていくつかのことを教えてくれる。例えば、生徒が６００語を２１秒で文書にアップロードした場合、その生徒は別の文書から自分らの作品にコピペした可能性が高いことを示す。その結果、生徒は共有ファイル内で自分らの作品を本当の意味で作成しておらず、これにより、協調の機会がなくなってしまう。同様に、生徒が１時間で１０語をアップロードした場合、その生徒は自分らのグループの作品を修正又は編集していることを示している可能性が高い。これは、本当の協調行動が発生している可能性があることの指標である。
【0102】
図５において、「品質」とは、生徒が行った編集の品質を指すパラメータである。（より一般的には、本発明の実施形態は、生徒によって実施された任意のデジタル活動の品質を測定して、そのデジタル活動に関連する品質パラメータの値を生成することができる。）より質の高い編集は、生徒の協調能力を証明してくれる。「ファイルの編集」というレンズを通して、本発明の実施形態では、主に編集と修正とを区別するために品質の測定基準が使用される。編集とは、文法的／スペル的な小さいミスを修正することを指し、後者は、他の人の作品の形を整え、成形する、より関与度の高いプロセスである。
【0103】
本発明の実施形態では、生徒１２０２から受信したテキスト入力に基づいて「品質」パラメータの値を特定するために、様々なコンピュータ自動テキスト分析技術のいずれかを使用することができる。このような技術には、例えば、人工知能（ＡＩ）、及び／又は機械学習（ＭＬ）、及び／又は自然言語処理を含むがこれらに限定されない様々なアルゴリズムのいずれかを、任意の組合せで含めることができる。このような技術は、例えば、生徒１２０２から受け取ったテキスト入力（生徒１２０２が文書内で行ったコメント、及び／又は、生徒１２０２が文書に対して行った追加／編集など）を分析して、「品質」パラメータの値を特定することができる。このような技術は、例えば、生徒１２０２から受け取ったテキスト入力に基づいて、生徒１２０２がどの程度協調しているかを判定し、識別された協調の度合いの関数（例えば、増加関数）である「品質」パラメータの値を割り当てることができる。
【0104】
上記の特定の例として、生徒１２０２が文書内で以下の３つのコメントをそれぞれ１つずつ提供する３つの代替ケースを考えてみよう。
・「あなたの言いたいことはわかるが、正しいかどうかはわからない。でも良さそうだね。」
・「アイデアは正しいと思うが、もっと具体的である必要があるかもしれない。」
・「各活動の長さをどのように決定したのか気になる。どのような基準を用いていたか？」
・「あなたの言いたいことはわかるが、正しいかどうかはわからない。でも良さそうだね。」
・「アイデアは正しいと思うが、もっと具体的である必要があるかもしれない。」
・「各活動の長さをどのように決定したのか気になる。どのような基準を用いていたか？」
【0105】
なお、この例では、３つのコメントは、それぞれ同数の単語を含んでいることに注意されたい。生徒１２０２のＣＯＬ４サブコンピテンシー（即ち、建設的なフィードバックの授受を行う）を評価するために単に単語数に頼った考えの甘いアプローチでは、これらの３つのコメントそれぞれに同じ値が割り当てられることになる。しかしながら、本発明の実施形態は、本明細書で開示する自動テキスト分析の種類のいずれかを使用して、これら３つのコメントをその内容に基づいて評価し、その評価に基づいて値（評価）を割り当てることができる。これは、例えば、第２のコメントの内容が第１のコメントよりも建設的なフィードバックの授受のスキルが高いことを示しているので、結果として第２のコメントの値（評価）が第１のコメントよりも高くなる可能性があり、第３のコメントの内容が第２のコメントよりも建設的なフィードバックの授受のスキルが高いことを示しているので、結果として第３のコメントの値（評価）が第１のコメントよりも高くなる可能性がある。これは、コンピュータによる自動テキスト分析技術を適用することによって、本発明の実施形態が生徒入力１２０４の内容に基づいて生徒１２０２の評価を自動的に生成することができる方法の一例にすぎない。
【0106】
図５では、「配置」は、生徒がファイルを編集する場所を指すパラメータである。（より一般的には、本発明の実施形態は、任意のデジタル活動のパフォーマンスにおいて、生徒による任意の物理的オブジェクト又はデジタルオブジェクトの配置を測定することができる。）生徒がどこでファイルを編集したかで、その生徒の協調能力について多くのことがわかる。例えば、生徒は品質修正を行ったが、文書の最初のページにしか修正を行わなかった場合、その生徒の協調能力は、文書全体に品質修正を行った場合よりも更に制限される。更にまた、生徒の編集や修正の配置からも、生徒が仲間の生徒の作業とどのように相互作用しているかを知ることができる。
【0107】
図５では、「相乗効果」は、グループのより多くのメンバーがファイルの特定の部分を編集、修正、及び相互作用するときに生じる協調能力の向上を指すパラメータである。（より一般的には、本発明の実施形態は、複数の生徒による任意のデジタル活動の実施から生じる相乗効果を測定することができる。）言い換えれば、他の生徒が書いた段落を３人の生徒が読み直した場合、これは、１人の生徒だけが読み直した場合よりも、より協調的であることを示している。
【0108】
一般に、本発明の実施形態は、図５に示す１つ又は複数のパラメータ値に基づいて、生徒の１つ又は複数の評価を生成し、それらの評価に基づいて、生徒に進度及び対応する進度レベルを割り当てるために、本明細書に開示する技術のいずれかを使用することができる。
【0109】
図５に示された信号は、図６の表で示されるように、重み付けされ、更に定量化され得る。図６に示した特定の重み付け及び定量化は単なる例示であり、本発明の限定を構成するものではない。図６に示すように、信号の重みは、課題や指導者に応じて異なる。しかし、相乗効果は、仲間が貢献を拒否した場合に貢献しているグループメンバーを罰することがないように、他の効果よりも重視されない可能性がある。
【0110】
図６の初級、中級、及び上級の進度レベルについて示された具体的な量は、その範囲の知識に基づく推定値であり、例えば、システムが生徒のクラスタから平均を学習するにつれて、及び教師、他の評価方法（総括的又は形成的）、又は他の専門家を使用して行動を相互検証することによって、経時的に修正される可能性がある。
【0111】
本発明の実施形態は、上述の信号、定量化、及び重み付けを使用して、任意の所与の生徒について協調性の総スコアを生成することができる。図７は、「ファイルの編集」という狭いスライス内で、生徒のためにどのようにスコアを生成し得るかを表した表７００である。
【0112】
図７の最初の表７００の生徒のスコア３９を生成するために使用されるプロセスには、生徒が達成可能であったものと比較して生徒がどのように成し遂げたかを示す一連の乗算、重み、及び値が含まれる。最終的には、生徒の協調性スコア－多くの信号、デジタル活動、サブコンピテンシー、重み、及びプロジェクト－の合計は、協調能力のよりよい評価と指導を行うために、指導者にも生徒にも同様に表示され得る。
【0113】
第２の表７５０は、第１の表７００と比較する目的で、生徒が達成することができる最高可能スコアを示す。図７の例では、最高可能スコアは７５点であり、これは生徒の速度が７５点、品質が７５点、配置が７５点、及び相乗効果が７５点の場合に達成される。
【0114】
本発明の実施形態は、図８に示すように、１人又は複数の生徒の「成績表」８００を生成し、表示することができる。例えば、各生徒について示されるスコアは、その生徒の以前のスコアに対する相対的なもので、即ち、生徒の協調性スキルがどれだけ向上したかの指標である。代替的に、教師は何を教示する必要があるかをよりよく理解するのを助けるために、スコアをサブコンピテンシー別に分類してもよい。例えば、クラス全体がＣＯＬ３に苦しんでいる場合、これは、指導者に、自分のクラスが人間関係の対立の管理方法の学習を支援する必要があることを示している可能性がある。
【0115】
図８に示すような成績表は、時間指定（例えば、特定の日、週、月、学期、又は年）が可能である。このような時間別成績表は、以下のいずれか１つ又は複数を提供することができ、その各々が「ガイダンス」の一例であり、本明細書でこの用語が使用される。
・過去のパフォーマンスに関するフィードバックであり、複数の期間（例えば、数週間／数ヶ月）のそれぞれのスコアを含むことができる、
・生徒への即時又は当日のフィードバックなど、現在のパフォーマンスに関するリアルタイムのフィードバック、及び／又は
・生徒が自分の軌道を修正するのを助けるために、予測的な（将来の）「フィードバック」。
両親、教師、及び生徒など異なるオーディエンスに対して異なる成績表を生成してもよい。
・過去のパフォーマンスに関するフィードバックであり、複数の期間（例えば、数週間／数ヶ月）のそれぞれのスコアを含むことができる、
・生徒への即時又は当日のフィードバックなど、現在のパフォーマンスに関するリアルタイムのフィードバック、及び／又は
・生徒が自分の軌道を修正するのを助けるために、予測的な（将来の）「フィードバック」。
両親、教師、及び生徒など異なるオーディエンスに対して異なる成績表を生成してもよい。
【0116】
本発明の実施形態は、経時的に生徒のパフォーマンスを表す出力を提供することに加えて、これら生徒のパフォーマンスを向上させるための１つ又は複数の推奨事項（これは、本明細書で使用される用語「ガイダンス」の一例である）を表す出力を自動的に生成し、それを表す出力を生成することができる。例えば、本発明の実施形態は、生徒データ１２０４（これは、例えば、評価１２０８ａ－ｎ及び１２１２のいずれかを含むことができる）に基づいて、生徒の習熟度レベルが所望の値未満であると判定することなどによって、生徒１２０２のパフォーマンスが所望のレベルを下回ると判定することができる。このような判定に応答して、本発明の実施形態は、生徒のパフォーマンスを改善するための推奨事項を自動的に生成し、それを表す出力を生成することができる。
【0117】
このような推奨事項は、様々な方法のいずれかで生成することができる。例えば、複数のタイプのパフォーマンス不足のそれぞれについて、本発明の実施形態は、１つ又は複数の対応する推奨事項を記憶することができる。本発明の一実施形態が、生徒１２０２のパフォーマンスに不足があると判定した場合、生徒のパフォーマンス不足のタイプを特定し、特定されたパフォーマンス不足のタイプに対応する１つ又は複数の記憶された推奨事項を特定することができる。次いで、特定された推奨事項を表す出力が、例えば生徒の教師に提供され得る。パフォーマンス不足のタイプの例には、習熟度レベルの不足、学問分野の不足、コンピテンシーの不足、サブコンピテンシーの不足などがある。例えば、生徒１２０２の数学の習熟度が少なくともある所定の時間（例えば、生徒１２０２のクラスもしくは他の集団において、ある所定の値を下回ることによって、又は特定のパーセンタイルを下回ることによって、）不足していたと判定されたことに応答して、本発明の実施形態は、数学の不足に関連する１つ又は複数の記憶されている推奨事項を特定し、特定された推奨事項を表す出力を生成することができる。
【0118】
生徒の内部状態（例えば、知識、信念、価値観、意見、感情、動機、態度、及びスキル）は、生徒の外部行動と整合している場合もあれば、整合していない場合もある。例えば、生徒が協調性を重んじ、他の生徒と協調して関与する場合、生徒の内部状態と外部行動は整合している可能性がある。しかしながら、生徒の内部状態と外部行動は、整合していないことがあり、生徒が協調的な行動を示すが、それは教師を満足させるためにそうするだけである。逆に、生徒は、協調性に強い価値を置きながらも、協調性のスキルが不足していたり、恐怖心や社会的交流がなかったりするため、協調的に行動することができない場合がある。
【0119】
本発明の実施形態は、生徒出力１２０４（評価１２０８ａ－ｎ及び／又は評価１２１２を含む場合がある）を分析することによって、生徒１２０２の内部状態と外部行動が整合しているかどうかを自動的に判定することができる。一般に、本発明の実施形態は、以下のようにしてこの判定を行うことができる。（１）生徒出力１２０４に基づいて、生徒１２０２の内部状態の表現を生成する、（２）生徒出力１２０４に基づいて、生徒１２０２の外部行動の表現を生成する、（３）生徒１２０２の内部状態の表現と生徒１２０２の外部行動との間の差異を特定する、（４）特定された差異に基づいて、生徒１２０２の内部状態と外部行動とが整合しているかどうかを判定する。例えば、その差異に基づいて測定基準を計算することができ、生徒１２０２の内部状態と外部行動が、ある所定の閾値以上に異なる場合には整合していないと判定され、所定の閾値未満異になる場合には整合していると判定され得る。
【0120】
特定の例として、本発明の実施形態は、生徒１２０２の内面状態に習熟度レベルを割り当てることができ、生徒１２０２の外部行動に習熟度レベルを割り当てることができ、例えば、本明細書で開示された習熟度レベルのいずれかを割り当てることができる。生徒１２０２の内部状態に割り当てられた習熟度レベルが、生徒１２０２の外部行動に割り当てられた習熟度レベルと同じである場合、生徒１２０２の内部状態と外部行動は、整合していると判定される可能性があり、そうでない場合、生徒１２０２の内部状態と外部行動は、整合していないと判定される可能性がある。
【0121】
戦略又はスキル（コンピテンシー及びサブコンピテンシーはスキルの一例である）に関連して、生徒１２０２の内部状態と外部行動にこのような習熟度レベルを割り当てるために使用され得る技術の単なる一例として、本発明の実施形態は、
・生徒１２０２がその戦略やスキルを実行又は使用する必要性や動機付けを感じていないと判定された場合、及び／又は生徒１２０２がその戦略やスキルの必要性又は理由を理解していないと判定された場合、生徒１２０２の内面状態に第１の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの個別的又は部分的な態様を実行できる場合、生徒１２０２が標準未満の戦略を不完全に使用する場合、及び／又は生徒が慣れ親しんだ単純な状況でしか戦略又はスキルを発揮することができない場合、生徒の外部行動に第１の習熟度レベルを割り当てる。
・生徒１２０２が、戦略やスキルに多少関心があり、それを使用するように動機付けられていると感じており、及び／又は、生徒が、戦略又はスキルが役に立つことを認識しているが、その戦略やスキルを使用するときや理由を必ずしも認識していない場合、生徒１２０２の内部状態に第２の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの２つ以上の別個の態様を実行する能力を有し、標準未満の戦略を実行することができ、及び／又は慣れ親しんだ少し複雑な状況で戦略又はスキルを実行することができる場合、生徒１２０２の外部行動に第２の習熟度レベルを割り当てる。
・生徒１２０２がその戦略又はスキルに関心があり、戦略又はスキルを実行又は使用する意欲がある場合、及び／又は生徒１２０２がその戦略又はスキルが達成することができる特定の条件又は必要性のいくつかを理解している場合、生徒１２０２の内面状態に第３の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの複数の重要な態様を実施する能力を有し、戦略又はスキルを実行するときに、成功の度合いを変えるために良好事例を使用し、かつ／又は類似しているがより複雑な状況で戦略又はスキルを実施できる場合、生徒１２０２の外部行動に第３の習熟度レベルを割り当てる。
・生徒１２０２は非常にやる気を出し、無意識に戦略やスキルを実施し、かつ／又は戦略又はスキルの理由と条件を深く理解している場合、生徒１２０２の内面状態に第４の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの態様を修正して使用したり、又は他のスキルと組み合わせたりする能力を有し、良好事例を効果的に使用し、かつ／又は複雑で新規な状況で戦略又はスキルを柔軟に適用することができる場合、生徒１２０２の外部行動に第４の習熟度レベルを割り当てる。
・生徒１２０２がその戦略やスキルを実行又は使用する必要性や動機付けを感じていないと判定された場合、及び／又は生徒１２０２がその戦略やスキルの必要性又は理由を理解していないと判定された場合、生徒１２０２の内面状態に第１の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの個別的又は部分的な態様を実行できる場合、生徒１２０２が標準未満の戦略を不完全に使用する場合、及び／又は生徒が慣れ親しんだ単純な状況でしか戦略又はスキルを発揮することができない場合、生徒の外部行動に第１の習熟度レベルを割り当てる。
・生徒１２０２が、戦略やスキルに多少関心があり、それを使用するように動機付けられていると感じており、及び／又は、生徒が、戦略又はスキルが役に立つことを認識しているが、その戦略やスキルを使用するときや理由を必ずしも認識していない場合、生徒１２０２の内部状態に第２の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの２つ以上の別個の態様を実行する能力を有し、標準未満の戦略を実行することができ、及び／又は慣れ親しんだ少し複雑な状況で戦略又はスキルを実行することができる場合、生徒１２０２の外部行動に第２の習熟度レベルを割り当てる。
・生徒１２０２がその戦略又はスキルに関心があり、戦略又はスキルを実行又は使用する意欲がある場合、及び／又は生徒１２０２がその戦略又はスキルが達成することができる特定の条件又は必要性のいくつかを理解している場合、生徒１２０２の内面状態に第３の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの複数の重要な態様を実施する能力を有し、戦略又はスキルを実行するときに、成功の度合いを変えるために良好事例を使用し、かつ／又は類似しているがより複雑な状況で戦略又はスキルを実施できる場合、生徒１２０２の外部行動に第３の習熟度レベルを割り当てる。
・生徒１２０２は非常にやる気を出し、無意識に戦略やスキルを実施し、かつ／又は戦略又はスキルの理由と条件を深く理解している場合、生徒１２０２の内面状態に第４の習熟度レベルを割り当てる。
・生徒１２０２が戦略又はスキルの態様を修正して使用したり、又は他のスキルと組み合わせたりする能力を有し、良好事例を効果的に使用し、かつ／又は複雑で新規な状況で戦略又はスキルを柔軟に適用することができる場合、生徒１２０２の外部行動に第４の習熟度レベルを割り当てる。
【0122】
特定のタスク、活動、プロジェクト、又はアプリケーションに関連して実施されるものとして本明細書に開示された技術のいずれかを、複数の信号、タスク、活動、プロジェクト、学年レベル、重み、学問分野、コンピテンシー、社会環境、生徒の個人化、文化的適応、アプリケーションなどに対して経時的に繰り返し実施することができ、本明細書に開示される技術を使用して生成された結果データを、任意の期間及び信号、タスク、活動、プロジェクト、学年レベル、重み、学問分野、コンピテンシー、社会環境、生徒の個人化、文化的適応、アプリケーションなどの任意の範囲にわたって生徒の評価を更新するために、様々な方法のいずれかで記憶及び集約することができる。
【0123】
本発明の一態様は、少なくとも１つの非一時的コンピュータ可読媒体に記憶されたコンピュータプログラム命令を実行する少なくとも１つのコンピュータプロセッサによって実行される方法に関する。本方法は、（Ａ）生徒を表す出力を受信することと、（Ｂ）生徒出力に複数の評価方法を適用して、複数の対応する個別評価を生成することと、（Ｃ）複数の対応する個別評価を処理して、生徒の統合評価を生成することと、（Ｄ）統合評価に基づくガイダンスを生成することと、（Ｅ）ガイダンスを表す出力を提供することとを含む方法。１つ又は複数の評価（例えば、評価１２０８ａ－ｎ及び／又は評価１２１２のうちの任意の１つ又は複数）に基づいて生成される本明細書に開示される任意のデータは、「ガイダンス」という用語がそのデータに関連して明示的に使用されるか否かにかかわらず、本明細書で使用される「ガイダンス」の一例である。
【0124】
動作（Ｅ）において、ガイダンスを表す出力は、生徒、生徒の教師、生徒の親、生徒の保護者、及び生徒の学校の管理者のうちの任意の１つ又は複数に提供され得る。
ガイダンスを表す出力は、例えば、少なくとも１つのコンピューティングデバイスを介して（例えば、生徒から）受信されたデジタル出力を含むことができる。
ガイダンスを表す出力は、例えば、少なくとも１つのコンピューティングデバイスを介して（例えば、生徒から）受信されたデジタル出力を含むことができる。
【0125】
複数の評価方法のそれぞれは、対応するコンピテンシーに対して生徒を評価することができ、複数の対応する個別評価は、対応するコンピテンシーに対する生徒の能力を表すことができる。対応する複数の個別評価のそれぞれは、対応するコンピテンシーに関する生徒の数値スコア構成されることがある。統合評価は、複数のコンピテンシーに関する生徒の数値スコアを含んでもよく、（Ｃ）は、複数の対応する個別評価に基づいて、複数のコンピテンシーに関する生徒の数値スコアを生成することを含んでもよい。
【0126】
複数のコンピテンシーには、少なくともスキル関連コンピテンシー、性格関連コンピテンシー、及びメタ学習関連コンピテンシーが含まれる。スキル関連のコンピテンシーには、創造性、クリティカルシンキング、コミュニケーション、及び協調性のうちの少なくとも１つが含まれ、性格関連のコンピテンシーには、マインドフルネス、好奇心、勇気、レジリエンス、倫理、及びリーダーシップのうちの少なくとも１つが含まれる。メタ学習関連のコンピテンシーには、メタ認知と成長マインドセットのうちの少なくとも１つが含まれる。
【0127】
生徒出力は、生徒によって少なくとも１つのコンピューティングデバイスに提供した入力を含んでもよく、（Ｂ）は、複数のコンピテンシーＣのそれぞれについて、コンピテンシーＣの複数のサブコンピテンシーＣＳのそれぞれを含んでもよい。（Ｂ）（１）サブコンピテンシーＣＳの指標となるデジタル活動のセットを特定する、（Ｂ）（２）特定されたセット内の各デジタル活動について、生徒が活動に関与したことを示す出力が生徒出力に含まれているかどうかを判定する、（Ｂ）（３）サブコンピテンシーＣＳの評価を（Ｂ）（２）の判定に基づいて作成する。
【0128】
この方法では、（Ａ）は、第１の期間中に生徒からの出力を受信することを含み、複数の対応する個別評価は、第１の期間に対応し、統合評価は、第１の期間に対応し、本方法は、第１の期間よりも後の第２の期間にわたって（Ａ）～（Ｃ）を繰り返すことを更に含んでもよい。第２の期間は、例えば、第１の期間より少なくとも１ヶ月後、又は第１の期間より少なくとも６ヶ月後であってもよい。
【0129】
本方法において、（Ｂ）は、生徒が実施した活動を特定することと、活動が特定のタスクの一例であると判定することと、特定のタスクに関連するコンピテンシーとサブコンピテンシーを特定することと、デジタル活動、コンピテンシー、サブコンピテンシー、及びタスクに関連する進度レベルを特定することと、進度レベルを生徒に割り当てることとを含み得る。活動は、少なくとも１つのコンピューティングデバイスを使用して生徒によって実施されるデジタル活動を含んでもよい。
【0130】
本方法において、（Ａ）は、生徒の生理学的パラメータに基づいて生理学的信号を生成する少なくとも１つの生理学的センサから生理学的信号を受信することを含んでもよい。
本方法は、更に、（Ｄ）複数の生徒に対して（Ａ）～（Ｃ）を繰り返すことによって、複数の生徒のための複数の統合評価を生成することと、（Ｅ）複数の生徒のための複数の統合評価におけるパターンを特定することとを含み得る。本方法は、更に、（Ｆ）複数の生徒と関連付けられた追加データが特定されたパターンを示すかどうかを判定することを含み得る。パターンを特定することは、複数の生徒に対する複数の統合評価に基づいて、少なくとも１つの第２のコンピテンシーを開発するための前駆体である第１のコンピテンシーを特定することを含み得る。パターンを特定することは、複数の生徒に対する複数の統合評価に基づいて、少なくとも１つの後続のサブコンピテンシーを開発するための前駆体である最初のサブコンピテンシーを特定することを含み得る。
本方法は、更に、（Ｄ）複数の生徒に対して（Ａ）～（Ｃ）を繰り返すことによって、複数の生徒のための複数の統合評価を生成することと、（Ｅ）複数の生徒のための複数の統合評価におけるパターンを特定することとを含み得る。本方法は、更に、（Ｆ）複数の生徒と関連付けられた追加データが特定されたパターンを示すかどうかを判定することを含み得る。パターンを特定することは、複数の生徒に対する複数の統合評価に基づいて、少なくとも１つの第２のコンピテンシーを開発するための前駆体である第１のコンピテンシーを特定することを含み得る。パターンを特定することは、複数の生徒に対する複数の統合評価に基づいて、少なくとも１つの後続のサブコンピテンシーを開発するための前駆体である最初のサブコンピテンシーを特定することを含み得る。
【0131】
本方法は、更に、（Ｄ）生徒出力に基づいて生徒の内部状態の表現を生成することと、（Ｅ）生徒からの出力に基づいて生徒の外部行動の表現を生成することと、（Ｆ）生徒の内部状態の表現と生徒の外部行動の表現との間の差異を特定することと、（Ｇ）差異に基づいて、生徒の内部状態が前記生徒の外部行動と整合しているかどうかを判定することとを含む。差異を特定することは、（Ｆ）（１）生徒の内面状態に第１の習熟度レベルを割り当てることと、（Ｆ）（２）生徒の外部行動に第２の習熟度レベルを割り当てることと、（Ｆ）（３）第１の習熟度レベルが第２の習熟度レベルと同じであるか否かを判定することとを含み、生徒の内部状態が生徒の外部行動と整合しているかどうかを判定することは、（Ｇ）（１）第１の習熟度レベルが第２の習熟度レベルと同じであると判定したことに応答して、生徒の内部状態が生徒の外部行動と整合していると判定することと、（Ｇ）（２）第１の習熟度レベルが第２の習熟度レベルと同じでないと判定したことに応答して、生徒の内部状態が生徒の外部行動と整合していないと判定することとを含み得る。
【0132】
本発明の別の態様は、コンピュータプログラム命令が記憶された少なくとも１つの非一時的コンピュータ可読媒体を含むシステムに関する。コンピュータプログラム命令は、方法を実施するために少なくとも１つのコンピュータプロセッサによって実行可能である。本方法は、（Ａ）生徒を表す出力を受信することと、（Ｂ）生徒出力に複数の評価方法を適用して、複数の対応する個別評価を生成することと、（Ｃ）複数の対応する個別評価を処理して、生徒の統合評価を生成することと、（Ｄ）統合評価に基づいてガイダンスを生成することと、（Ｅ）ガイダンスを表す出力を提供することとを含む。
【0133】
本発明を特定の実施形態に関して上述したが、前述の実施形態は例示としてのみ提供されるものであり、本発明の範囲を限定又は定義したりするものではないことを理解されたい。以下を含むがこれらに限定されない、様々な他の実施形態も特許請求の範囲内に含まれる。例えば、本明細書に記載の要素及び構成要素は、追加の構成要素に更に分割されてもよく、又は同じ機能を実行するためのより少ない構成要素を形成するために互いに結合されてもよい。
【0134】
本明細書に開示された機能のいずれも、それらの機能を実施するための手段を使用して実装され得る。このような手段は、以下で説明されるコンピュータ関連構成要素など、本明細書に開示される構成要素のいずれかを含むが、これらに限定されない。
【0135】
上述した技術は、例えば、ハードウェア、１つ又は複数のコンピュータ可読媒体に明白に記憶された１つ又は複数のコンピュータプログラム、ファームウェア、又はそれらの任意の組合せで実装することができる。上述した技術は、以下、即ち、プロセッサ、プロセッサによって読み取り可能及び／又は書き込み可能な記憶媒体（例えば、揮発性及び不揮発性メモリ及び／又は記憶素子を含む）、入力装置、及び出力装置の任意の数の組合せを含むプログラマブルコンピュータ上で実行される（又は実行可能な）１つ又は複数のコンピュータプログラムで実装することができる。プログラムコードは、入力装置を使用して入力された入力に適用されて、説明した機能を実施し、出力装置を使用して出力を生成することができる。
【0136】
本発明の実施形態は、１つ又は複数のコンピュータ、コンピュータプロセッサ、及び／又はコンピュータシステムの他の要素を使用してのみ実施可能及び／又は実現可能な特徴を含む。このような特徴は、精神的に及び／又は手作業で実施することが不可能又は非現実的である。
【0137】
本明細書において、コンピュータ、プロセッサ、メモリ、又は類似のコンピュータ関連要素を肯定的に要求する任意の請求項は、このような要素を要求することを意図しており、このような要素がこのような請求項に存在しないか、又はこのような請求項によって要求されていないかのように解釈されるべきではない。このような請求項は、列挙されたコンピュータ関連要素を欠く方法及び／又はシステムを包含することを意図しておらず、またそのように解釈されるべきではない。例えば、本明細書において、特許請求された方法がコンピュータ、プロセッサ、メモリ、及び／又は同様のコンピュータ関連要素によって実施されることを記載している任意の方法クレームは、記載されたコンピュータ関連要素によって実施される方法を包含することを意図しており、また包含するようにのみ解釈されるべきである。そのような方法クレームは、例えば、精神的に又は手作業で（例えば、鉛筆と紙を使って）実施される方法を包含すると解釈すべきではない。同様に、本明細書において、特許請求された製品がコンピュータ、プロセッサ、メモリ、及び／又は類似のコンピュータ関連要素を含むと記載されている任意の製品クレームは、記載されているコンピュータ関連要素を含む製品を包含することを意図しており、そのようにのみ解釈されるべきである。このような製品クレームは、例えば、列挙されたコンピュータ関連要素を含まない製品を包含すると解釈されるべきではない。
【0138】
以下の特許請求の範囲内の各コンピュータプログラムは、アセンブリ言語、機械語、高レベル手続き型プログラミング言語、又はオブジェクト指向プログラミング言語などの任意のプログラミング言語で実装することができる。プログラミング言語は、例えば、コンパイル型又はインタプリタ型プログラミング言語であり得る。
【0139】
このような各コンピュータプログラムは、コンピュータプロセッサによる実行のために機械可読記憶装置に明白に具現化されたコンピュータプログラム製品に実装することができる。本発明の方法ステップは、コンピュータ可読媒体上で明白に具現化されたプログラムを実行する１つ又は複数のコンピュータプロセッサによって実施され、入力に対して動作し、出力を生成することによって本発明の機能を実施することができる。好適なプロセッサには、例として、汎用及び特殊用途のマイクロプロセッサの両方がある。一般に、プロセッサは、メモリ（読取り専用メモリ及び／又はランダムアクセスメモリなど）から命令及びデータを受け取り（読み取り）、メモリに命令及びデータを書き込む（記憶する）。コンピュータプログラム命令及びデータを明白に具現化するのに適した記憶装置は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイスを含む半導体メモリデバイス、内蔵ハードディスク、リムーバブルディスク等の磁気ディスク、光磁気ディスク、及びＣＤ－ＲＯＭなど、あらゆる形態の不揮発性メモリを含む。上記のいずれかを、特別に設計されたＡＳＩＣ（特定用途向け集積回路）又はＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって補うか、又はこれに組み込むことができる。コンピュータは、一般に、内蔵ディスク（図示せず）又はリムーバブルディスクなどの非一時的なコンピュータ可読記憶媒体からプログラムやデータを受信し（読み取り）、プログラムやデータを書き込む（記憶）こともできる。これらの要素は、従来のデスクトップコンピュータ又はワークステーションコンピュータ、並びに本明細書で説明する方法を実施するコンピュータプログラムを実行するのに適した他のコンピュータにも見られ、紙、フィルム、ディスプレイスクリーン、又は他の出力媒体上にカラー又はグレースケール画素を生成することができる任意のデジタル印刷エンジン又はマーキングエンジン、ディスプレイモニタ、又は他のラスタ出力装置と組み合わせて使用することができる。
【0140】
本明細書で開示される任意のデータは、例えば、非一時的コンピュータ可読媒体に明白に記憶される１つ又は複数のデータ構造で実装することができる。本発明の実施形態は、このようなデータをこのようなデータ構造に記憶し、このようなデータ構造（複数可）からこのようなデータを読み取ることができる。
【0141】
コンピュータ又は他の機械によって実行される、又は実行可能であるとして本明細書に開示されている任意のステップ又は動作は、本明細書でそのように明示的に開示されているか否かにかかわらず、コンピュータ又は他の機械によって自動的に実施されてもよい。自動的に実施されるステップ又は動作は、人間の介入なしに、コンピュータ又は他の機械によってのみ実行される。自動的に実施されるステップ又は動作は、例えば、人間からではなく、コンピュータ又は他の機械から受信した入力のみで動作することができる。自動的に実施されるステップ又は動作は、例えば、人間からではなく、コンピュータ又は他の機械から受信された信号によって開始することができる。自動的に実施されるステップ又は動作は、例えば、人間にではなくコンピュータ又は他の機械に出力を提供することができる。
【0142】
本開示の様々な実施形態で使用される用語「Ａ又はＢ」、「Ａ又は／及びＢのうちの少なくとも１つ」、「Ａ及びＢのうちの少なくとも１つ」、「Ａ又はＢのうちの少なくとも１つ」、又は「Ａ又は／及びＢのうちの１つ以上」は、それと共に列挙される単語のありとあらゆる組合せを含む。例えば、「Ａ又はＢ」、「Ａ及びＢのうちの少なくとも一方」、又は「Ａ又はＢのうちの少なくとも一方」は、（１）少なくとも１つのＡを含む、（２）少なくとも１つのＢを含む、（３）Ａ又はＢのいずれかを含む、又は（４）少なくとも１つのＡと少なくとも１つのＢの両方を含む。
【図1】
【図2】
【図3A-1】
【図3A-2】
【図3A-3】
【図3A-4】
【図3B-1】
【図3B-2】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】