知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162200
(43)【公開日】2023-11-08
(54)【発明の名称】診断検査方法および装置
(51)【国際特許分類】
G09B 19/00 20060101AFI20231031BHJP
G06Q 50/20 20120101ALI20231031BHJP
【ＦＩ】
G09B19/00 G
G06Q50/20
【審査請求】有
【請求項の数】16
【出願形態】ＯＬ
(21)【出願番号】P 2023126400
(22)【出願日】2023-08-02
(62)【分割の表示】P 2019073461の分割
【原出願日】2019-04-08
(31)【優先権主張番号】10-2018-0054280
(32)【優先日】2018-05-11
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0006407
(32)【優先日】2019-01-17
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】519127502
【氏名又は名称】アノト コリア コーポレーション
(74)【代理人】
【識別番号】110001416
【氏名又は名称】弁理士法人信栄事務所
(72)【発明者】
【氏名】ウォン，ジュン ヒ
(72)【発明者】
【氏名】カン，ミン チョル
(57)【要約】 （修正有）
【課題】データ入力装置を利用するユーザの行動パターンを通じてユーザを診断する。
【解決手段】データ入力装置を利用した診断検査方法であって、ユーザが少なくとも一つの問題について上記データ入力装置を通じて入力した情報に基づく、入力データを獲得するステップ；上記獲得された入力データから上記ユーザのテストの行動データを生成するステップ；および上記少なくとも一つの問題に関するメタデータおよび／または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するステップを含む、診断検査方法。
【選択図】図９
【解決手段】データ入力装置を利用した診断検査方法であって、ユーザが少なくとも一つの問題について上記データ入力装置を通じて入力した情報に基づく、入力データを獲得するステップ；上記獲得された入力データから上記ユーザのテストの行動データを生成するステップ；および上記少なくとも一つの問題に関するメタデータおよび／または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するステップを含む、診断検査方法。
【選択図】図９
【特許請求の範囲】
【請求項1】
診断検査方法であって、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得するステップ；
前記獲得された入力データから前記ユーザのテストの行動データを生成するステップ；および
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するステップを含む、診断検査方法。
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得するステップ；
前記獲得された入力データから前記ユーザのテストの行動データを生成するステップ；および
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するステップを含む、診断検査方法。
【請求項2】
診断検査方法であって、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得するステップ；
前記獲得された入力データから前記ユーザのテストの行動データを生成するステップ；および
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供するステップを含む、診断検査方法。
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得するステップ；
前記獲得された入力データから前記ユーザのテストの行動データを生成するステップ；および
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供するステップを含む、診断検査方法。
【請求項3】
前記入力データは、複数のストロークを形成する点の座標値および前記点が入力された時間の情報を含み、
前記テストの行動データは、複数の行動メトリックを含む、請求項１または２に記載の診断検査方法。
前記テストの行動データは、複数の行動メトリックを含む、請求項１または２に記載の診断検査方法。
【請求項4】
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するステップをさらに含み、
前記ユーザにカスタマイズ型スタディプランを提供するステップは、
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定するステップ；
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度（ｓｉｍｉｌａｒｉｔｙ）および前記複数のユーザ間の類似度を計算するステップ；
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を計算するステップ；および
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるステップを含む、請求項２に記載の診断検査方法。
前記ユーザにカスタマイズ型スタディプランを提供するステップは、
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定するステップ；
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度（ｓｉｍｉｌａｒｉｔｙ）および前記複数のユーザ間の類似度を計算するステップ；
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を計算するステップ；および
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるステップを含む、請求項２に記載の診断検査方法。
【請求項5】
前記ユーザに問題を薦めるステップは、
前記ユーザおよび前記少なくとも一つの問題の組み合わせのそれぞれについて、前記計算された認知ギャップメトリックを算出するステップ；
前記計算された認知ギャップメトリックに基づいて一番高い認知ギャップメトリックを有する問題を識別するステップ；および
前記識別された問題をユーザに薦めるステップを含む、請求項４に記載の診断検査方法。
前記ユーザおよび前記少なくとも一つの問題の組み合わせのそれぞれについて、前記計算された認知ギャップメトリックを算出するステップ；
前記計算された認知ギャップメトリックに基づいて一番高い認知ギャップメトリックを有する問題を識別するステップ；および
前記識別された問題をユーザに薦めるステップを含む、請求項４に記載の診断検査方法。
【請求項6】
前記ユーザに関する認知および行動を分析するステップは、
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得するステップ；
少なくとも一つの認知および行動診断（ＣＢＤ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別するステップ；
前記ユーザの前記少なくとも一つの行動メトリックのｚ点数を計算するステップであって、前記ｚ点数は、前記ユーザの前記少なくとも一つの行動メトリックの値（Χ）と、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、前記ｚ点数を計算するステップ；
前記少なくとも一つの行動メトリックの前記ｚ点数を正規化するステップ；
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたｚ点数の加重平均を計算するステップ；および
前記計算された加重平均から前記ユーザの前記ＣＢＤ要素の値を決定するステップを含む、請求項１または４に記載の診断検査方法。
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得するステップ；
少なくとも一つの認知および行動診断（ＣＢＤ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別するステップ；
前記ユーザの前記少なくとも一つの行動メトリックのｚ点数を計算するステップであって、前記ｚ点数は、前記ユーザの前記少なくとも一つの行動メトリックの値（Χ）と、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、前記ｚ点数を計算するステップ；
前記少なくとも一つの行動メトリックの前記ｚ点数を正規化するステップ；
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたｚ点数の加重平均を計算するステップ；および
前記計算された加重平均から前記ユーザの前記ＣＢＤ要素の値を決定するステップを含む、請求項１または４に記載の診断検査方法。
【請求項7】
前記少なくとも一つのＣＢＤ要素は、自信（Ｃｏｎｆｉｄｅｎｃｅ）、根気（Ｇｒｉｔ）、推論力（Ｒｅａｓｏｎｉｎｇ）、暗記力（Ｃｏｎｃｅｐｔ ｍｅｍｏｒｙ）、深層理解力（Ｄｅｅｐ ｕｎｄｅｒｓｔａｎｄｉｎｇ）、計算能力（Ｃａｌｃｕｌａｔｉｏｎ Ａｂｉｌｉｔｙ）、問題理解力（Ａｂｉｌｉｔｙ ｔｏ ｕｎｄｅｒｓｔａｎｄ ｑｕｅｓｔｉｏｎ）、試験戦略（Ｔｅｓｔ－ｔａｋｉｎｇ Ｓｔｒａｔｅｇｙ）を含む群から選択され、
前記ＣＢＤ要素はそれぞれ、異なる少なくとも一つの行動メトリックおよび問題に関するメタデータのうちの少なくとも一つに基づく関数として表現される、請求項６に記載の診断検査方法。
前記ＣＢＤ要素はそれぞれ、異なる少なくとも一つの行動メトリックおよび問題に関するメタデータのうちの少なくとも一つに基づく関数として表現される、請求項６に記載の診断検査方法。
【請求項8】
診断検査装置であって、
メモリおよびプロセッサを含み、
前記プロセッサは、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得し、
前記獲得された入力データから前記ユーザのテストの行動データを生成し、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するように構成される、診断検査装置。
メモリおよびプロセッサを含み、
前記プロセッサは、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得し、
前記獲得された入力データから前記ユーザのテストの行動データを生成し、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するように構成される、診断検査装置。
【請求項9】
診断検査装置であって、
メモリおよびプロセッサを含み、
前記プロセッサは、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得し、
前記獲得された入力データから前記ユーザのテストの行動データを生成し、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供するように構成される、診断検査装置。
メモリおよびプロセッサを含み、
前記プロセッサは、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得し、
前記獲得された入力データから前記ユーザのテストの行動データを生成し、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供するように構成される、診断検査装置。
【請求項10】
前記入力データは、複数のストロークを形成する点の座標値および前記点が入力された時間の情報を含み、
前記テストの行動データは、複数の行動メトリックを含む、請求項８または９に記載の診断検査装置。
前記テストの行動データは、複数の行動メトリックを含む、請求項８または９に記載の診断検査装置。
【請求項11】
前記プロセッサはまた、
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定し、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度（ｓｉｍｉｌａｒｉｔｙ）および前記複数のユーザ間の類似度を計算し、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を計算し、
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるように構成される、請求項９に記載の診断検査装置。
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定し、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度（ｓｉｍｉｌａｒｉｔｙ）および前記複数のユーザ間の類似度を計算し、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を計算し、
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるように構成される、請求項９に記載の診断検査装置。
【請求項12】
前記プロセッサはまた、
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得し、
少なくとも一つの認知および行動診断（ＣＢＤ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別し、
前記ユーザの前記少なくとも一つの行動メトリックのｚ点数を計算するものであって、前記ｚ点数は、前記ユーザの前記少なくとも一つの行動メトリックの値（Ｘ）と、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、前記ｚ点数を計算し、
前記少なくとも一つの行動メトリックの前記ｚ点数を正規化し、
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたｚ点数の加重平均を計算し、
前記計算された加重平均から前記ユーザの前記ＣＢＤ要素の値を決定するように構成される、請求項８または１１に記載の診断検査装置。
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得し、
少なくとも一つの認知および行動診断（ＣＢＤ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別し、
前記ユーザの前記少なくとも一つの行動メトリックのｚ点数を計算するものであって、前記ｚ点数は、前記ユーザの前記少なくとも一つの行動メトリックの値（Ｘ）と、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、前記ｚ点数を計算し、
前記少なくとも一つの行動メトリックの前記ｚ点数を正規化し、
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたｚ点数の加重平均を計算し、
前記計算された加重平均から前記ユーザの前記ＣＢＤ要素の値を決定するように構成される、請求項８または１１に記載の診断検査装置。
【請求項13】
診断検査を遂行するための、媒体に格納されたコンピュータプログラムであって、
前記コンピュータプログラムは、コンピュータまたはプロセッサに、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得させ、
前記獲得された入力データから前記ユーザのテストの行動データを生成させ、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析させ、
前記認知および行動分析に基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供させる命令を含む、媒体に格納されたコンピュータプログラム。
前記コンピュータプログラムは、コンピュータまたはプロセッサに、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得させ、
前記獲得された入力データから前記ユーザのテストの行動データを生成させ、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析させ、
前記認知および行動分析に基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供させる命令を含む、媒体に格納されたコンピュータプログラム。
【請求項14】
前記入力データは、複数のストロークを形成する点の座標値および前記点が入力された時間の情報を含み、
前記テストの行動データは、複数の行動メトリックを含む、請求項１３に記載の媒体に格納されたコンピュータプログラム。
前記テストの行動データは、複数の行動メトリックを含む、請求項１３に記載の媒体に格納されたコンピュータプログラム。
【請求項15】
前記コンピュータプログラムはまた、
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得させ、
少なくとも一つの認知および行動診断（ＣＢＤ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別させ、
前記ユーザの前記少なくとも一つの行動メトリックのｚ点数を計算させるものであって、前記ｚ点数は、前記ユーザの前記少なくとも一つの行動メトリックの値（Ｘ）と、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、前記ｚ点数を計算させ、
前記少なくとも一つの行動メトリックの前記ｚ点数を正規化させ、
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたｚ点数の加重平均を計算させ、
前記計算された加重平均から前記ユーザの前記ＣＢＤ要素の値を決定させる命令を含む、請求項１４に記載の媒体に格納されたコンピュータプログラム。
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得させ、
少なくとも一つの認知および行動診断（ＣＢＤ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別させ、
前記ユーザの前記少なくとも一つの行動メトリックのｚ点数を計算させるものであって、前記ｚ点数は、前記ユーザの前記少なくとも一つの行動メトリックの値（Ｘ）と、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、前記複数のユーザの前記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、前記ｚ点数を計算させ、
前記少なくとも一つの行動メトリックの前記ｚ点数を正規化させ、
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたｚ点数の加重平均を計算させ、
前記計算された加重平均から前記ユーザの前記ＣＢＤ要素の値を決定させる命令を含む、請求項１４に記載の媒体に格納されたコンピュータプログラム。
【請求項16】
前記コンピュータプログラムはまた、
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定させ、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度（ｓｉｍｉｌａｒｉｔｙ）および前記複数のユーザ間の類似度を計算させ、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を計算させ、
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めさせる命令を含む、請求項１３または１５に記載の媒体に格納されたコンピュータプログラム。
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定させ、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度（ｓｉｍｉｌａｒｉｔｙ）および前記複数のユーザ間の類似度を計算させ、
前記少なくとも一つのＣＢＤ要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を計算させ、
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めさせる命令を含む、請求項１３または１５に記載の媒体に格納されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は診断検査に関するものであって、具体的には、スマートペン、スタイラスペンのようなデータ入力装置から獲得されるデータを利用して、データ入力装置のユーザである学習者に関する認知および行動分析を通じてカスタマイズ型スタディプランを提供する診断検査方法、装置およびコンピュータプログラムに関するものである。
【背景技術】
【0002】
一般的に、学習者は診断検査の問題を解き、教育者は学習者の答えを採点して、学習者の成績を通じて学習者について診断することができる。最近、スマートフォンまたはタブレットＰＣのようなスマート機器の活用が増加するに伴い、スマート機器のタッチスクリーン上への入力手段としてスマートペンの活用も増加しており、スマートペンを活用して学習することができる環境が造成されている。これにより、学習者は、スマートペンを利用して特定タイプの印刷物に筆記を行い、印刷物の問題を解いたり、答えを記載することができるようになった。スマートペンは、例えば、アノト社で開発したドットパターンのようなパターン認識に基づいて、学習者が筆記した内容をデジタルデータで生成することができる。
【0003】
学習者に対する従来の診断検査においては、学習者が問題を解く過程に対する検討なしに、学習者の答えが正答であるかどうかにのみ焦点を置いた。学習者がスマートペンを利用する診断検査においても、同様に学習者の答えが正答であるか、または誤答であるかどうかにのみ焦点を置いているため、診断検査は依然として結果中心の成績評価のみから行われていると言える。
【0004】
このような診断検査を通じては、学習者を多様な基準で評価することができないため、単純に学習者の成績結果のみを獲得することができるだけであり、単純に間違えた問題と類似した問題を提供することができるだけである。また、学習者がスマートペンを活用して学習することができる環境においても、依然として学習者の答えが正答であるかどうかにのみ頼って学習者を診断する検査方法は、より進歩した学習道具であるスマートペンから獲得することができる多様なデータを十分に活用しないものであるため、これを活用することができる、より改善された診断検査が要求されている。
【0005】
一方、オンライン公開授業（ＭＯＯＣ；Ｍａｓｓｉｖｅｌｙ Ｏｐｅｎ Ｏｎｌｉｎｅ
Ｃｏｕｒｓｅ）が活発になるにつれて、コンピュータ－基盤教育を個人化するためのデータ分析の使用が広く普及している。しかし、このようなＭＯＯＣは、学生コミュニティの小さな部分でのみ遂行されており、特に、中学校および高校レベルの大多数の学生は、依然としてテストを行うための主要道具である筆記具と紙を使用するオフライン（教室）基盤教育環境において課題を遂行している。これまでこのような環境において実行可能なデータ収集メカニズムがなかったため、データ分析による個人化の利点を得ることができず、テストの成果の評価のために相当な負担があったことから、スマートペンのデータ分析を通じて学習者に個人化した教育を提供する必要がある。
Ｃｏｕｒｓｅ）が活発になるにつれて、コンピュータ－基盤教育を個人化するためのデータ分析の使用が広く普及している。しかし、このようなＭＯＯＣは、学生コミュニティの小さな部分でのみ遂行されており、特に、中学校および高校レベルの大多数の学生は、依然としてテストを行うための主要道具である筆記具と紙を使用するオフライン（教室）基盤教育環境において課題を遂行している。これまでこのような環境において実行可能なデータ収集メカニズムがなかったため、データ分析による個人化の利点を得ることができず、テストの成果の評価のために相当な負担があったことから、スマートペンのデータ分析を通じて学習者に個人化した教育を提供する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、データ入力装置を利用するユーザの行動パターンを通じてユーザを診断することに目的がある。
【0007】
本発明の目的は、学生の成就に影響を与える認知および行動要素の誘導および個人化した点数の改善戦略を出力することができる推薦エンジンを通じて、学生がより高い試験結果を達成するように助けるシステムを提供するものである。このシステムは、テスト遂行の行動と関連した認知および行動要素と、スマートペンのようなデータ入力装置を使用して収集された各学生の特定データ間のデータ基盤、およびアルゴリズム方式で計算された関係を通じて具現され得る。
【0008】
本発明を通じて、既存の結果中心の診断検査から進歩して、学習者が“どの概念または過程において”効率的に問題を解いているのか、何の迷いもなく速やかに解いているのか、あるいは困難を示すのかを決定し、優秀な学生の行動パターンとはどのような差があるのかを比較する過程中心の診断検査を遂行しようとする。
【0009】
本発明を通じて、学習者が特定の該当概念または過程において“なぜ”特定の行動パターンを示すのかを決定するために、学習者に関する認知および行動分析を遂行しようとする。このような認知および行動分析を通じて学習者に個人化したスタディプランを提供しようとする。
【0010】
本発明は、上記のような目的を達成するために導き出されたものであって、データ入力装置を利用した診断検査を用いて、ユーザにカスタマイズ型スタディプランを提供することができる発明を提案している。
【課題を解決するための手段】
【0011】
本発明の一形態においては、データ入力装置を利用した診断検査方法であって、ユーザが少なくとも一つの問題について上記データ入力装置を通じて入力した情報に基づく、入力データを獲得するステップ；上記獲得された入力データから上記ユーザのテストの行動データを生成するステップ；および上記少なくとも一つの問題に関するメタデータおよび／または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するステップを含む、診断検査方法を提示する。
【0012】
上記データ入力装置は、スマートペン、スタイラスペンなどの多様な入力道具が可能である。下記においては、スマートペンを利用した場合を中心に説明するが、これに限定されず、指を利用してモバイルデバイス（例えば、タブレットＰＣ）などにおいて試験を実施する場合にも、同一の方法で診断と処方分析を行うことができる。
【0013】
本発明の一形態によるデータ入力装置を利用した診断検査方法において、上記入力データは、複数のストロークを形成する点の座標値および上記点が入力された時間の情報を含み、上記テストの行動データは、複数の行動メトリックを含むことができる。
【0014】
本発明の一形態によるデータ入力装置を利用した診断検査方法において、上記ユーザに関する認知および行動を分析するステップは、上記少なくとも一つの問題について上記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得するステップ；少なくとも一つの認知および行動診断（ＣＢＤ；Ｃｏｇｎｉｔｉｖｅ ＆ Ｂｅｈａｖｉｏｒａｌ Ｄｉａｇｎｏｓｔｉｃ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別するステップ；上記ユーザの上記少なくとも一つの行動メトリックのｚ点数を計算するステップであって、上記ｚ点数は、上記ユーザの上記少なくとも一つの行動メトリックの値（Ｘ）と、上記複数のユーザの上記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、上記複数のユーザの上記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、上記ｚ点数を計算するステップ；上記少なくとも一つの行動メトリックの上記ｚ点数を正規化するステップ；上記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、上記正規化されたｚ点数の加重平均を計算するステップ；および上記計算された加重平均から上記ユーザの上記ＣＢＤ要素の値を決定するステップを含むことができる。
【0015】
本発明の一形態によるデータ入力装置を利用した診断検査方法において、上記少なくとも一つのＣＢＤ要素は、自信（Ｃｏｎｆｉｄｅｎｃｅ）、根気（Ｇｒｉｔ）、推論力（Ｒｅａｓｏｎｉｎｇ）、暗記力（Ｃｏｎｃｅｐｔ ｍｅｍｏｒｙ）、深層理解力（Ｄｅｅｐ
ｕｎｄｅｒｓｔａｎｄｉｎｇ）、計算能力（Ｃａｌｃｕｌａｔｉｏｎ Ａｂｉｌｉｔｙ）、問題理解力（Ａｂｉｌｉｔｙ ｔｏ ｕｎｄｅｒｓｔａｎｄ ｑｕｅｓｔｉｏｎ）、試験戦略（Ｔｅｓｔ－ｔａｋｉｎｇ Ｓｔｒａｔｅｇｙ）などを含み、上記ＣＢＤ要素はそれぞれ、異なる少なくとも一つの行動メトリックおよび／または問題に関するメタデータに基づく関数として表現され得る。
ｕｎｄｅｒｓｔａｎｄｉｎｇ）、計算能力（Ｃａｌｃｕｌａｔｉｏｎ Ａｂｉｌｉｔｙ）、問題理解力（Ａｂｉｌｉｔｙ ｔｏ ｕｎｄｅｒｓｔａｎｄ ｑｕｅｓｔｉｏｎ）、試験戦略（Ｔｅｓｔ－ｔａｋｉｎｇ Ｓｔｒａｔｅｇｙ）などを含み、上記ＣＢＤ要素はそれぞれ、異なる少なくとも一つの行動メトリックおよび／または問題に関するメタデータに基づく関数として表現され得る。
【0016】
本発明の他の形態においては、データ入力装置を利用した診断検査方法であって、ユーザが少なくとも一つの問題について上記データ入力装置で入力した情報に基づく、上記入力データを獲得するステップ；上記獲得された入力データから上記ユーザのテストの行動データを生成するステップ；上記少なくとも一つの問題に関するメタデータおよび／または上記生成されたテストの行動データに基づいて、上記ユーザに個人化したスタディプランを提供するステップを含む診断検査方法を提示する。
【0017】
本発明の他の形態によるデータ入力装置を利用した診断検査方法において、上記少なくとも一つの問題に関するメタデータおよび／または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するステップをさらに含むことができる。
【0018】
本発明の他の形態によるデータ入力装置を利用した診断検査方法において、上記ユーザに個人化したスタディプランを提供するステップは、上記ユーザを含む複数のユーザについて、上記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定するステップ；上記少なくとも一つのＣＢＤ要素のそれぞれについて、上記少なくとも一つの問題を含む少なくとも二つの問題間の類似度（ｓｉｍｉｌａｒｉｔｙ）および上記複数のユーザ間の類似度を計算するステップ；上記少なくとも一つのＣＢＤ要素のそれぞれについて、上記少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を使用して、認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を計算するステップ；および上記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるステップを含むことができる。
【0019】
本発明の他の形態によるデータ入力装置を利用した診断検査方法において、上記少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を計算するステップは、コサイン類似度（ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙ）関数を適用するステップを含むことができる。
【0020】
本発明の他の形態によるスマートペンを利用した診断検査方法において、上記ユーザに問題を薦めるステップは、上記ユーザおよび上記少なくとも一つの問題の組み合わせのそれぞれについて、上記計算された認知ギャップメトリックを算出するステップ；上記計算された認知ギャップメトリックに基づいて一番高い認知ギャップメトリックを有する問題を識別するステップ；および上記識別された問題をユーザに薦めるステップを含むことができる。
【0021】
本発明の一形態においては、データ入力装置を利用した診断検査装置であって、メモリおよびプロセッサを含み、上記プロセッサは、ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、上記入力データを獲得し、上記獲得された入力データから上記ユーザのテストの行動データを生成し、上記少なくとも一つの問題に関するメタデータおよび／または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するように構成される、診断検査装置を提示する。
【0022】
本発明の一形態による診断検査装置において、上記プロセッサはまた、上記認知および行動分析に基づいて、上記ユーザに個人化したスタディープランを提供するように構成され得る。
【0023】
本発明の一形態による診断検査装置において、上記プロセッサはまた、上記少なくとも一つの問題について上記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得し、少なくとも一つの認知および行動診断（ＣＢＤ）要素とそれぞれ関連した少なくとも一つの行動メトリックを識別し、上記ユーザの上記少なくとも一つの行動メトリックのｚ点数を計算するものであって、上記ｚ点数は、上記ユーザの上記少なくとも一つの行動メトリックの値（Ｘ）と、上記複数のユーザの上記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの平均値（μ）との差を、上記複数のユーザの上記ＣＢＤ要素と関連した少なくとも一つの行動メトリックの標準偏差値（σ）で割った値である、上記ｚ点数を計算し、上記少なくとも一つの行動メトリックの上記ｚ点数を正規化し、上記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、上記正規化されたｚ点数の加重平均を計算し、上記計算された加重平均から上記ユーザの上記ＣＢＤ要素の値を決定するように構成され得る。
【0024】
本発明の一形態による診断検査装置において、上記プロセッサはまた、上記ユーザを含む複数のユーザについて、上記少なくとも一つの問題に対する少なくとも一つの認知および行動診断（ＣＢＤ）要素の値を決定し、上記少なくとも一つのＣＢＤ要素のそれぞれについて、上記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を計算し、上記少なくとも一つのＣＢＤ要素のそれぞれについて、上記少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を使用して、認知ギャップメトリックを計算し、上記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるように構成され得る。
【0025】
本発明のまた他の形態においては、データ入力装置を利用した診断検査方法を遂行するために媒体に格納されたコンピュータプログラムであって、上記コンピュータプログラムは、コンピュータまたはプロセッサに、ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得させ、上記獲得された入力データから上記ユーザのテストの行動データを生成させ、上記少なくとも一つの問題に関するメタデータおよび／または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析させ、上記認知および行動分析に基づいて、上記ユーザに個人化したスタディプランを提供させる命令を含む、媒体に格納されたコンピュータプログラムを提示する。
【0026】
本発明のまた他の形態による媒体に格納されたコンピュータプログラムにおいて、上述したデータ入力装置を利用した診断検査方法の各ステップを遂行するための命令を含むこともできる。
【0027】
本発明の一形態によるスマートペンを利用した診断検査方法において、上記ユーザがスマートペンを利用した総時間を計算するステップは、上記ユーザが上記少なくとも一つの問題について情報を入力する前に準備する時間を計算するステップ；および上記ユーザが上記スマートペンで情報を入力した総時間を計算するステップを含むことができる。
【0028】
本発明の他の形態による診断検査装置において、上記プロセッサはまた、上記ユーザがスマートペンを利用した総時間を計算するために、上記ユーザが上記スマートペンを利用して情報を入力する前に準備する時間を計算し、上記ユーザが上記スマートペンで情報を入力した総時間を計算するように構成され得る。
【発明の効果】
【0029】
本発明を利用して、データ入力装置を使用する学習者に関する認知および行動分析を通じて、学習者に認知および行動分析結果と個人化したスタディプランを提供することができる。
【0030】
また、本発明は、人工知能を利用した機械学習を利用したアルゴリズムを通じて、学習者にカスタマイズ型スタディプランを提供することができる。
【図面の簡単な説明】
【0031】
本願に含まれ、この明細書の一部を構成する添付の図面は、発明の例示的な実施形態を例示し、上記において与えられた一般的な説明および以下において与えられた詳細な説明と共に、発明の特徴を説明するように作用する。
【0032】
【発明を実施するための形態】
【0033】
多様な実施形態は、添付の図面を参照して詳細に説明されるであろう。可能な限りどこでも、同一の参照番号は同一または類似した部分を指称するために図面全般にわたって利用されるであろう。特定例および具現例について行なわれた参照は、例示的な目的のためのものであり、発明または請求項の範囲を制限するように意図されたものではない。
【0034】
発明の説明または請求の範囲において、いずれか一つの構成要素が他の構成要素を“含む”とするとき、これは、特に反対の記載がない限り、当該構成要素のみからなるものに限定されて解釈されてはならず、他の構成要素をさらに含むことができるものと理解されなければならない。
【0035】
以下において、本発明の実施例を、図面を参照してより詳細に説明することとする。
【0036】
図１は、本発明の一実施例と関連した診断検査を遂行するためのシステムの図式である。学習者は、診断検査のために提示される少なくとも一つの問題を解き、答えを導き出すことができる。学習者は、鉛筆やペンのようにスマートペン（１０）を使用して、少なくとも一つの問題を解くために診断検査紙のような印刷物（２０）に筆記することもできる。スマートペン（１０）を使用する学習者を、以下においては、‘ユーザ’と指称することもあり得る。また、以下の説明においては、‘学生’、‘学習者’および‘ユーザ’が混用して記載されることもあり得る。
【0037】
印刷物（２０）は、一般的な紙ではなく、スマートペン（１０）により入力される情報が認識可能なように、例えば、ドットパターン（Ｄｏｔ ｐａｔｔｅｒｎ）のようなパターンが形成されていなければならず、このため、指定されたファイルが指定されたプリンタを通じて製作され得る。
【0038】
印刷物（２０）に提示される診断検査のための問題は、単なる暗記によって解決可能な問題でないことが好ましい。すなわち、問題解決のために戦略を立てなければならず、解答過程を叙述してこそ結論を導き出すことができる問題が好ましい。例えば、演算のように戦略選択の幅が狭い形態の問題のタイプが、学習者の診断のためのデータ分析に容易であり得る。ただし、学習者の水準に比べて非常に易しい問題の場合、学習者がスマートペンを使用せずに、目で見た途端に答えを導き出すこともできるため、好ましくないこともあり得る。また、問題の答えは、客観式である場合よりも、主観式がデータ分析に容易であり得、主観式であっても、叙述式の答えは学生の表現方式によって答えとなり得る範囲が広いため、短答式の主観式がデータ分析に容易であり得る。
【0039】
データ収集装置として、スマートペン（１０）は、印刷物（２０）に入力されるパターンを認識するためにカメラ（未図示）を含むこともでき、診断検査装置（３０）にデータを送信するために近距離通信モジュール（未図示）を含むこともできる。これを通じて、スマートペン（１０）からデータをストリーミング方式でリアルタイムに転送することができる。スマートペン（１０）を通じて診断検査を進める場合、使用前に、正しく十分に（９０％以上）充電されたかを確認し、正常にスマートペン（１０）からデータが送信されるかどうかを確認する必要がある。
【0040】
学習者がスマートペン（１０）を使用して印刷物（２０）の少なくとも一つの問題を解く場合、学習者を診断するための診断検査装置（３０）が、以下においてより詳細に説明される本発明の多様な実施例による診断検査を行うための方法を遂行することもできる。
【0041】
具体的に、診断検査装置（３０）は、メモリ（３１）およびプロセッサ（３２）を含むことができる。プロセッサ（３２）によって本発明による診断検査方法の各ステップが遂行され得、また、例えば、診断検査のためのデータおよび診断検査結果のデータのような複数の情報がプロセッサに連結されているメモリ（３１）に格納され得る。診断検査装置（３０）は、例えば、スマートペン（１０）とペアリングされているモバイルデバイス（例えば、タブレットＰＣ）またはコンピュータであり得、サーバに連結されることもあり得、または、サーバとして利用されることもあり得る。診断検査装置（３０）の構成要素は全て図示されてはおらず、例えば、通信モジュール、ユーザインタフェース、ディスプレイ部などを含むこともできることは当業者に周知されている。
【0042】
一方、本願において説明される診断検査方法は、媒体に格納されたコンピュータプログラムによって、コンピュータまたはプロセッサに遂行されることもあり得る。すなわち、本発明による、媒体に格納されたコンピュータプログラムは、本願に記載された方法をコンピュータまたはプロセッサのようなハードウェアに遂行させる命令を含むこともできる。
【0043】
図２は、本発明の診断検査装置（３０）の構成を示すブロック図である。診断検査装置（３０）は、本願において説明される診断検査方法を遂行するテスト診断モジュール（３５）、認知および行動診断モジュール（３６）およびカスタマイズ型学習モジュール（３７）を含むことができる。
【0044】
テスト診断モジュール（３５）が、スマートペンを利用した診断検査方法（３００）を遂行するための各ステップを行うこともできる。すなわち、以下において説明される診断検査方法（３００）を遂行する診断検査装置は、テスト診断モジュール（３５）であり得る。
【0045】
図３を参照して、スマートペンを利用した診断検査方法（３００）をより詳細に説明すると、次のとおりである。
【0046】
先ず、ユーザは、診断検査のために提示される少なくとも一つの問題について、印刷物にスマートペンで問題の解答のような情報を入力することができる。以後、診断検査装置は、上記スマートペンで入力した情報に基づくスマートペンの入力データを獲得するステップを遂行することができる（Ｓ３０１）。
【0047】
上記スマートペンの入力データを獲得するステップは、ユーザがスマートペンで入力したページを識別するステップを含むことができ、上記ページにおいて入力された複数のストローク、上記複数のストロークのそれぞれのストロークを形成する点の座標値、上記点が入力された時間の情報および上記点の筆圧のうちの少なくとも一つを識別するステップを含むことができる。
【0048】
例示的に、図４を参照すると、上記スマートペンから獲得され得る入力データを示している。ユーザがスマートペンで入力した、特定のページ内の複数のストローク（ストローク１、ストローク２、ストローク３、・・・、ストロークＮ）が識別され得る。例えば、一つのストロークは、スマートペンの記入開始（Ｐｅｎ ｄｏｗｎ）点から記入停止（Ｐｅｎ ｕｐ）点まで連続する軌跡で特定され得、記入開始（Ｐｅｎ ｄｏｗｎ）点から記入停止（Ｐｅｎ ｕｐ）点までの座標が特定の時間（例えば、図４においては、０．０１２ないし０．０１５秒）の間隔で記録され得る。これにより、それぞれのストロークごとに、該当ストロークを形成する点のＸＹ座標値、該当点が入力された時間の情報、該当点の筆圧などを含む入力データが識別され得る。図４に示している一例示として、特定のページの複数個のストロークのうち、ストローク１について、最初の点は（Ｘ，Ｙ）座標が（０５１．９４，０５３．７０）であり、筆圧は０７０であり、該当点が入力された時間は２０１７年１０月２６日１１時１３分５２．６２４秒であることを確認することができる。すなわち、このように、個別ページごとに、総ストロークの個数とそれぞれのストロークの細部的なデータが抽出され得る。
【0049】
次に、診断検査装置は、獲得された入力データから、上記スマートペンのユーザの上記少なくとも一つの問題と関連した分析情報として、ユーザのテストの行動データを生成するステップを遂行することができる（Ｓ３０２）。
【0050】
したがって、ユーザの上記少なくとも一つの問題と関連した分析情報は、ユーザのテストの行動データと指称され得る。テストの行動データ（分析情報）は、上記少なくとも一つの問題と関連してそれぞれの問題について生成され得、名前、年齢、性別などで識別され得る複数のユーザについて生成されることもあり得る。テストの行動データは、複数の行動メトリックを含むことができる。複数の行動メトリックの例として、遅延時間（Ｄｅｌａｙ ｔｉｍｅ）、ストローク長さ（Ｓｔｒｏｋｅ ｌｅｎｇｔｈ）、特定の遅延期間における入力の一時中止回数（Ｃｏｕｎｔ ｏｆ ｐａｕｓｅｓ ｉｎ ｉｎｐｕｔ，ｏｆ ｓｐｅｃｉｆｉｃ ｄｕｒａｔｉｏｎｓ）、入力速度（Ｉｎｐｕｔ ｓｐｅｅｄ ａｔ ｓｐｅｃｉｆｉｃ ｓｔａｇｅｓ ｏｆ ｔｅｓｔｉｎｇ）、入力長さ（Ｌｅｎｇｔｈ ｏｆ ｉｎｐｕｔ）、再作成（Ｒｅｗｏｒｋ）などがあり得、これに限定されるものではない。
【0051】
図５において例示的に図示されるように、診断検査装置は、収集された入力データ（例えば、ストローク位置およびタイムスタンプ）から、ストローク入力を２次元ユークリッド平面の点で考慮し、直交幾何学の公式を適用して入力の距離および速度を計算することにより、行動メトリックを生成することができる。図５に図示された二つのストロークポイント（ｘ１，ｙ１）および（ｘ２，ｙ２）を利用した行動メトリックの例示は、次のように計算され得る。
【0052】
ストロークポイント（ｘ１，ｙ１）および（ｘ２，ｙ２）間の長さは、下記式を使用して計算され得る。
【0053】
二つのストロークポイント間の時間は、下記のように与えられる。
【0054】
入力の速度は、下記のように与えられる。
【0055】
代案として、テストの行動データは、以下においてより具体的に説明される。
遅延時間は、文字の最後のストロークと次の文字の最初のストローク間のタイムスタンプ間の差により決定され得、特定の遅延期間における入力の一時中止回数は、ストロークが記録されない時間の間隔の回数を数えることにより決定され得、入力長さは、ユーザによって入力された全ての文字のストローク長さの合計により決定され得、再作成は、－ｘ軸および／または－ｙ軸への移動時に決定され得る。
遅延時間は、文字の最後のストロークと次の文字の最初のストローク間のタイムスタンプ間の差により決定され得、特定の遅延期間における入力の一時中止回数は、ストロークが記録されない時間の間隔の回数を数えることにより決定され得、入力長さは、ユーザによって入力された全ての文字のストローク長さの合計により決定され得、再作成は、－ｘ軸および／または－ｙ軸への移動時に決定され得る。
【0056】
ユーザのテストの行動データを生成するために、診断検査装置は、入力データから抽出され得るストロークの総個数（Ｔｏｔａｌ ｓｔｒｏｋｅ）を計算することができ、ユーザが上記スマートペンを利用した総時間（Ｔｏｔａｌ ｔｉｍｅ）を計算することができる。ユーザが上記少なくとも一つの問題と関連して上記スマートペンを利用した総時間（Ｔｏｔａｌ ｔｉｍｅ）の意味は、ユーザが上記少なくとも一つの問題が提示された後に問題を読み、悩んだ時間（Ｉｎｔｒｏ ｔｉｍｅ）と、実際にスマートペンで問題を解いた時間（Ｓｏｌｖｉｎｇ ｔｉｍｅ）とを含むことができる。したがって、診断検査装置は、ユーザが問題を読み、悩んだ時間（Ｉｎｔｒｏ ｔｉｍｅ）と、実際に問題を解いた時間（Ｓｏｌｖｉｎｇ ｔｉｍｅ）を計算することもできる。このため、例えば、前の問題の最後のストロークの記入停止（Ｐｅｎ ｕｐ）点と、次の問題の最初のストロークの記入開始（Ｐｅｎ ｄｏｗｎ）点の間の時間が、上記悩んだ時間（Ｉｎｔｒｏ ｔｉｍｅ）と規定され得る。
【0057】
より具体的に、ユーザのテストの行動データを生成するために、診断検査装置は、それぞれのストロークを形成する点の座標を追跡して、上記点の座標値が、あらかじめ決定された時間の間、実質的に一定に維持される場合には、遅延が発生したものと決定することができる。また、診断検査装置は、ユーザについて、上記少なくとも一つの問題と関連して発生した遅延の総時間および遅延の回数（Ｎｕｍｂｅｒ ｏｆ Ｄｅｌａｙｓ）を計算することもできる。上記あらかじめ決定された時間は、例えば、１秒、２秒、３秒、４秒、５秒などとなり得、あらかじめ決定された時間が長いほど、遅延に加重値が異なるように付加されることもあり得る。これにより、例えば、１秒、２秒、３秒、４秒、５秒を基準とする遅延の回数および総時間が計算されることもあり得る。
【0058】
また、診断検査装置は、ユーザの上記少なくとも一つの問題と関連した分析情報として、さらに、ストロークを描く速度（Ｓｔｒｏｋｅ ｖｅｌｏｃｉｔｙ，ｃｍ／ｓｅｃｏｎｄ）、ストロークの初期速度（Ｉｎｉｔｉａｔｉｏｎ ｓｐｅｅｄ）、終了速度（Ｅｎｄｉｎｇ ｓｐｅｅｄ）、平均速度（Ａｖｅｒａｇｅ ｓｐｅｅｄ）、問題別のストロークを問題別の解答時間で割った値である解答速度（Ｓｏｌｖｉｎｇ ｖｅｌｏｃｉｔｙ，ｓｔｒｏｋｅｓ／ｔｉｍｅ）、ストローク長さの合計（Ｉｎｋ ｌｅｎｇｔｈ）、解答進行に使用された領域の広さ（Ａｒｅａ）、解答を進める方向で見た複雑性（Ｅｎｔｒｏｐｙ）、消した痕跡（Ｃｒｏｓｓ ｏｕｔ）、解答の試行回数（Ｐｒｏｂｌｅｍ ａｔｔｅｍｐｔｅｄ）、問題の解答順序が変わった回数（Ｏｕｔ ｏｆ ｏｒｄｅｒ）、問題の解答順序が変わった状況において次の問題を始める前の時間（Ｏｕｔ ｏｆ ｏｒｄｅｒ ｔｉｍｅ）などを決定することができる。
【0059】
例えば、解答進行に使用された領域の広さ（Ａｒｅａ）は、ストロークが存在する領域の広さで計算され得る。解答を進める方向で見た複雑性（Ｅｎｔｒｏｐｙ）に関しては、左側から右側に進めたり、上側から下側に進めるストロークは、エントロピーが低いものと決定し、これとは逆に、右側から左側に進めたり、下側から上側に進めるストロークは、エントロピーが高いものと決定して計算され得る。消した痕跡（Ｃｒｏｓｓ ｏｕｔ）に関しては、数字または単語程度を消した痕跡（ｔｙｐｏ ｃｒｏｓｓ ｏｕｔ）、解答過程の一部を消した痕跡（ｐｒｏｂｌｅｍ ｓｏｌｖｉｎｇ ｃｒｏｓｓ ｏｕｔ）、解答全体またはそれに相応する領域を消した痕跡（ｂｉｇ ｃｒｏｓｓ ｏｕｔ）に区分して追跡され得る。解答の試行回数（Ｐｒｏｂｌｅｍ ａｔｔｅｍｐｔｅｄ）は、一定時間以上、問題を試みた回数で計算され得、問題の解答順序が変わった回数（Ｏｕｔ ｏｆ ｏｒｄｅｒ）は、ユーザがどのような問題をスキップし、どのような番号の問題で進めたかを追跡して決定され得る。
【0060】
このように診断検査装置が複数の行動メトリックを含むテストの行動データを生成すると、診断検査装置は、生成されたテストの行動データに基づいて該当問題に対するユーザの問題の解答水準を評価するステップを遂行することができる（Ｓ３０３）。
【0061】
ユーザの問題の解答水準は、ユーザのテストの行動データに基づいて決定されたユーザの行動パターンとして評価され得るため、上記ステップは、生成されたテストの行動データに基づいてユーザの行動パターンを決定するステップと指称されることもあり得る。例えば、幾何パートのテスト問題を解くユーザの行動データに基づいて、ユーザが“スラスラときちんと解く”という行動パターンを持つものと決定されれば、ユーザの問題の解答水準が“スラスラときちんと解く”と評価され得る。
【0062】
診断検査装置は、少なくとも一つの問題と関連した複数のユーザのテストの行動データを生成することができ、これをメモリに格納することができる。代案として、診断検査装置は、上記少なくとも一つの問題と関連した複数のユーザのテストの行動データのような分析情報を生成することができ、これを別途のサーバに送信したり、またはサーバからこれを受信することもできる。このような送受信はリアルタイムに進められ得、これにより、格納されたテストの行動データのような分析情報が周期的にアップデートされることもあり得る。次いで、診断検査装置は、上記少なくとも一つの問題と関連して既に格納されているテストの行動データと、上記ユーザについて生成されたテストの行動データとを比較することができる。診断検査を遂行しようとする教育者は、上記少なくとも一つの問題をネットワーク上で共有することにより、診断検査の問題と関連した複数のユーザ、すなわち、学生に関するデータを蓄積することもできる。
【0063】
また、診断検査装置は、上記少なくとも一つの問題と関連して既に格納されているテストの行動データと、上記ユーザについて生成されたテストの行動データとを比較する際に、上記少なくとも一つの問題間の相関関係に基づいて生成されたテストの行動データを加工することもできる。例えば、相関度が高い特定の問題について既に格納されたテストの行動データと顕著に差があるテストの行動データを持つユーザに対しては、該当タイプの問題の解答水準にさらに注目することもできる。
【0064】
さらに、診断検査装置は、ユーザの弱みおよび／または強みの領域に対する識別のために、テスト問題に関するメタデータ（ｍｅｔａｄａｔａ）を使用することもできる。問題に関するメタデータは、問題の難易度、問題の主題領域、該当問題のための適切な学生のレベルなどといった情報を含むことができる。具体的に、テスト診断モジュール（３５）がユーザのテストの行動データおよび問題に関するメタデータを組み合わせてユーザの問題の解答水準について評価することができ、これにより、ユーザの強みおよび弱みを判断することができる。テスト診断モジュール（３５）、および以下において後述される認知および行動診断モジュール（３６）およびカスタマイズ型学習モジュール（３７）においても使用され得る全体のデータ構造が、図６において例示的に図示される。図６を参照すると、本発明において利用されるデータ構造は、ユーザのテストの行動データとして記録測定値（ｗｒｉｔｉｎｇ ｍｅａｓｕｒｅｓ）、および問題に関するメタデータとして問題事実情報（ｑｕｅｓｔｉｏｎ ｆａｃｔｓ）だけでなく、基本的な学生識別情報（ｓｔｕｄｅｎｔ ＩＤ）、問題識別情報（ｑｕｅｓｔｉｏｎ ＩＤ）、テスト識別情報（ｔｅｓｔ ＩＤ）といった識別情報を含むことができ、テストの日程および場所のようなテスト事実情報（ｔｅｓｔ ｆａｃｔｓ）、学生の過去の出席および成果のような学生事実情報（ｓｔｕｄｅｎｔ ｆａｃｔｓ）、学生の応答の正答率を示す成果測定値（ｐｅｒｆｏｒｍａｎｃｅ ｍｅａｓｕｒｅｓ）などに関するデータを含むこともできる。
【0065】
一方、特定の問題に関するユーザのテストの行動データに基づいて、ユーザの問題の解答水準を評価した診断検査結果を示す図７は、例えば、成績表の細部領域を示すものである。‘Ｎｏ．’は問題の番号を、‘Ｕｎｉｔ’は出題領域（単元名）を、‘Ｑｕｅｓｔｉｏｎ Ｐｏｉｎｔ’は問題の配点を、‘Ｔｏｔａｌ Ｓｃｏｒｅ’は問題の総得点であって、‘〇×’、‘Ｃｏｎｃｅｐｔ Ｓｃｏｒｅ’、‘Ｐｒｏｃｅｓｓ Ｓｃｏｒｅ’の合算点数を、‘〇×’は正答を当てたものに対する点数を、‘Ｃｏｎｃｅｐｔ Ｓｃｏｒｅ’は概念を正確に分かって適用したものであるかに対する点数を、‘Ｐｒｏｃｅｓｓ Ｓｃｏｒｅ’は解答過程に対する点数、すなわち、戦略を使用してどのくらい効率的に解いたものであるかに対する点数を、‘Ｃｏｒｒｅｃｔ Ｒａｔｅ’は正答率を示すものである。‘Ｕｎｄｅｒｓｔａｎｄｉｎｇ’は、テストの行動データに応じて評価されたユーザの問題と関連した行動パターンが、正答を導き出したユーザの行動パターンと類似するほど、高い数値を示すものである。例えば、正答を当てはしたものの、多くの時間悩んだり、間違えた解答過程で誤答を書いたり、検算を通じて修正したユーザは、‘Ｕｎｄｅｒｓｔａｎｄｉｎｇ’の数値が低い。
【0066】
図７の診断検査結果（Ｄｉａｇｎｏｓｔｉｃ ｉｎｆｏ Ｄａｔａ）に示されるように、例えば、診断検査装置は、第１の問題と関連した複数のユーザの分析情報（テストの行動データ）として、ストロークの総個数（Ｔｏｔａｌ ｓｔｒｏｋｅ ／ Ｎ ｏｆ ｓｔｒｏｋｅｓ）、問題を解いた時間（Ｓｏｌｖｉｎｇ ｔｉｍｅ）、遅延の総時間（Ｄｅｌａｙ ｔｉｍｅ）および遅延の回数（Ｎｕｍｂｅｒ ｏｆ Ｄｅｌａｙｓ ／ Ｎ ｏｆ Ｄｅｌａｙｓ）の複数のユーザの平均値と、第１問題と関連した特定のユーザの生成されたストロークの総個数（Ｔｏｔａｌ ｓｔｒｏｋｅ）、問題を解いた時間（Ｓｏｌｖｉｎｇ ｔｉｍｅ）、遅延の総時間（Ｄｅｌａｙ ｔｉｍｅ）および遅延の回数（Ｎｕｍｂｅｒ ｏｆ Ｄｅｌａｙｓ）とをそれぞれ対比することができる。
【0067】
例示的に、図７の第１の問題（Ｑ１）と関連した、複数のユーザの、問題を解いた時間、遅延時間、ストロークの総個数、遅延の回数の平均値が、それぞれ４４．４、１２４．２、８９．３、１５．３であるのに対し、第１問題（Ｑ１）と関連した、ユーザの、問題を解いた時間、遅延時間、ストロークの総個数、遅延の回数は、４４．０、２１．２、８８．０、７．０であるため、複数のユーザの遅延時間および遅延の回数の平均値に比べて非常に低い数値を示しているという点がユーザの問題の解答水準評価に考慮され得る。
【0068】
すなわち、診断検査装置は、上記対比結果に基づいて、特定のユーザの問題の解答水準を評価することができる。これと関連して、図８においては、例示的に、ストロークの総個数および遅延の回数を含むテストの行動データに基づいて、一つ以上の、ユーザの問題の解答水準を示している。
【0069】
最初に、例えば、あらかじめ決定された基準よりも相対的に、多くのストロークの数と、少ない遅延の数と、短い遅延時間を有するものと分析されたユーザの場合、診断検査装置は、さらにエントロピーを考慮することができ、それにより、高いエントロピーを持つユーザの問題の解答水準に対して、“戦略なしに一生懸命解いた”を、低いエントロピーを持つユーザの問題の解答水準に対しては、“戦略をきちんと立てて、解答過程を几帳面に記録する”と評価することができる。
【0070】
二番目に、平均的なストロークの数と、平均的な遅延の数と、平均的な遅延時間を有するものと分析されたユーザの場合、診断検査装置は、該当情報の詳細数値を考慮して、彼らに対して、“現在のところ、きちんと理解しているが、２～３週間後に再点検が必要である”または“平凡な水準であり、練習が必要である”と評価することができる。
【0071】
三番目に、多くのストロークの数と、多くの遅延の数と、長い遅延時間を有するものと分析されたユーザの問題の解答水準に対して、診断検査装置は、“きちんと分かっていない”と評価することができる。
【0072】
四番目に、少ないストロークの数と、少ない遅延の数と、長い遅延時間を有するものと分析されたユーザに対して、診断検査装置は、“暗算で解いた”と評価することができ、少ないストロークの数と、少ない遅延の数と、短い遅延時間を有するものと分析されたユーザに対して、診断検査装置は、“問題の項目に非常に慣れている”と評価することができる。
【0073】
最後に、少ないストロークの数と、非常に短い遅延を多数有するユーザに対しては、“解答過程中に繰り返し点検を進める”と評価することができる。
【0074】
図８に図示されたように、評価されたユーザの問題の解答水準に対する診断結果は、図７に図示された“行動パターン（Ｂｅｈａｖｉｏｒ Ｐａｔｔｅｒｎ）”の項目に診断結果として表示され得る。これを通じて、単純に問題に対する答えが正答であるか、または誤答であるかにのみ頼ってユーザを評価することから進歩して、ユーザが問題の解答過程において示す行動を多角度から分析し、そのような行動の原因を探すことができるため、より効率的かつ効果的なティーチング（ｔｅａｃｈｉｎｇ）が可能となり得る。例えば、ユーザの問題の解答過程において特定時間以上の非常に長い遅延が発生した場合に、該当ストロークの色を異ならせて表示したり、該当ストロークの領域に遅延時間をタギング（ｔａｇｇｉｎｇ）することによって、ユーザの行動の診断結果をより視覚的に表現することができる。これを通じて、教育者が学習者により効果的な教授法を考案することもできる。
【0075】
また、上述したように、診断検査装置は、問題に関するメタデータを使用することもできる。図７および図８は、特定の問題に関するユーザのテストの行動データに基づいたユーザの問題の解答水準についてのみ図示しているが、これを問題に関するメタデータと組み合わせると、ユーザがどのようなタイプの問題について強みまたは弱みを持っているのかを判断することができる。テスト診断モジュール（３５）は、特にユーザの強みまたは弱みを判断するための特定タイプの問題（例えば、幾何パート）を、問題に関するメタデータを基準として選択することもできる。
【0076】
【0077】
以下において、図２の診断検査装置（３０）に含まれる認知および行動診断モジュール（３６）およびカスタマイズ型学習モジュール（３７）について、より具体的に説明する。
【0078】
認知および行動診断モジュール（３６）およびカスタマイズ型学習モジュール（３７）が、スマートペンを利用した診断検査方法（９００）を遂行するための各ステップを行うこともできる。すなわち、以下において説明される診断検査方法（９００）を遂行する診断検査装置は、認知および行動診断モジュール（３６）および／またはカスタマイズ型学習モジュール（３７）であり得る。代案として、認知および行動診断モジュール（３６）および／またはカスタマイズ型学習モジュール（３７）が、テスト診断モジュール（３５）が行うステップの一部または全てを実質的に遂行することもでき、テスト診断モジュール（３５）の出力を利用することもできる。
【0079】
図９を参照して、スマートペンを利用した診断検査方法（９００）をより詳細に説明すると、次のとおりである。
【0080】
先ず、ユーザは、診断検査のために提示される少なくとも一つの問題について、印刷物にスマートペンで問題の解答のような情報を入力することができる。以後、診断検査装置は、上記スマートペンで入力した情報に基づくスマートペンの入力データを獲得するステップを遂行することができる（Ｓ９０１）。
【0081】
次に、診断検査装置は、獲得された入力データから、上記スマートペンのユーザの上記少なくとも一つの問題と関連した分析情報として、ユーザのテストの行動データを生成するステップを遂行することができる（Ｓ９０２）。図３に図示されたステップＳ３０１およびＳ３０２と関連した具体的な説明は、図９のステップＳ９０１およびＳ９０２にも同一に適用され得る。また、ステップＳ９０１およびＳ９０２は、テスト診断モジュール（３５）および／または認知および行動診断モジュール（３６）により遂行されることもあり得、認知および行動診断モジュール（３６）は、テスト診断モジュール（３５）において遂行されるステップＳ９０１およびＳ９０２の出力データを受信することもできる。
【0082】
次に、診断検査装置は、ユーザのテストの行動データおよび問題に関するメタデータに基づいて、ユーザに関する認知および行動を分析するステップを遂行することができる（Ｓ９０３）。
【0083】
一実施例として、認知的分析エンジンのような認知および行動診断モジュール（３６）により、自信、根気、推論力、暗記力、深層理解力、計算能力、問題理解力、試験戦略、集中力（ｆｏｃｕｓ）、創意力（ｃｒｅａｔｉｖｉｔｙ）、暗算速度（ｍｅｎｔａｌ ｍａｔｈ ｓｐｅｅｄ）、理解速度（ｓｐｅｅｄ ｏｆ ｕｎｄｅｒｓｔａｎｄｉｎｇ）、慎重さ（ｃａｒｅｆｕｌｎｅｓｓ）、柔軟性（ｆｌｅｘｉｂｉｌｉｔｙ）といった認知要素を算出することができる。このような要素は、例えば、次のように定義され得る。根気は、どれくらいの根気を持って問題の解答を進めるかを示す指標であり得、推論力は、論理的な推論をしながら試験を受けているかを示す指標であり得、暗記力は、概念と公式を正確に記憶し、きちんと使用するかを示す指標であり得、計算能力は、数学の基礎的能力のうちの一つである演算能力を測定する指標であり得、問題理解力は、問題の項目の情報を正確に読み、解釈して正しい戦略を立てるかを示す指標であり得、試験戦略は、試験を行う際に戦略的に解答を進めるかを確認する指標であり得る。集中力は、実質的な思考が必要な問題を通じて集中を維持することができる能力（ａｂｉｌｉｔｙ ｔｏ ｍａｉｎｔａｉｎ ｆｏｃｕｓ ｔｈｒｏｕｇｈ ｑｕｅｓｔｉｏｎｓ ｔｈａｔ ｎｅｅｄ ｓｕｂｓｔａｎｔｉａｌ ｔｈｉｎｋｉｎｇ）を示す指標であり得、創意力は、他の学生と比較して相対的に短く／創意工夫のある応答で答えることができる能力（ａｂｉｌｉｔｙ
ｔｏ ａｎｓｗｅｒ ｗｉｔｈ ｓｈｏｒｔ／ｃｒｅａｔｉｖｅ ｒｅｓｐｏｎｓｅｓ
ｒｅｌａｔｉｖｅ ｔｏ ｏｔｈｅｒ ｓｔｕｄｅｎｔｓ）を示す指標であり得、理解速度は、問題を迅速かつ正確に理解し、応答を始めることができる能力（ａｂｉｌｉｔｙ
ｔｏ ｑｕｉｃｋｌｙ ａｎｄ ｃｏｒｒｅｃｔｌｙ ｕｎｄｅｒｓｔａｎｄ ｑｕｅｓｔｉｏｎｓ ａｎｄ ｓｔａｒｔ ａｎｓｗｅｒｉｎｇ）を示す指標であり得、慎重さは、リスクを回避し、答案を再確認すること（ｂｅｉｎｇ ｒｉｓｋ－ａｖｅｒｓｅ ａｎｄ ｄｏｕｂｌｅ－ｃｈｅｃｋｉｎｇ ａｎｓｗｅｒｓ）を示す指標であり得、柔軟性は、問題を答えながら成功的に過程を直すことができる能力（ａｂｉｌｉｔｙ ｔｏ ｓｕｃｃｅｓｓｆｕｌｌｙ ｃｏｕｒｓｅ－ｃｏｒｒｅｃｔ ｗｈｉｌｅ ａｎｓｗｅｒｉｎｇ ａ ｑｕｅｓｔｉｏｎ）を示す指標であり得る。
ｔｏ ａｎｓｗｅｒ ｗｉｔｈ ｓｈｏｒｔ／ｃｒｅａｔｉｖｅ ｒｅｓｐｏｎｓｅｓ
ｒｅｌａｔｉｖｅ ｔｏ ｏｔｈｅｒ ｓｔｕｄｅｎｔｓ）を示す指標であり得、理解速度は、問題を迅速かつ正確に理解し、応答を始めることができる能力（ａｂｉｌｉｔｙ
ｔｏ ｑｕｉｃｋｌｙ ａｎｄ ｃｏｒｒｅｃｔｌｙ ｕｎｄｅｒｓｔａｎｄ ｑｕｅｓｔｉｏｎｓ ａｎｄ ｓｔａｒｔ ａｎｓｗｅｒｉｎｇ）を示す指標であり得、慎重さは、リスクを回避し、答案を再確認すること（ｂｅｉｎｇ ｒｉｓｋ－ａｖｅｒｓｅ ａｎｄ ｄｏｕｂｌｅ－ｃｈｅｃｋｉｎｇ ａｎｓｗｅｒｓ）を示す指標であり得、柔軟性は、問題を答えながら成功的に過程を直すことができる能力（ａｂｉｌｉｔｙ ｔｏ ｓｕｃｃｅｓｓｆｕｌｌｙ ｃｏｕｒｓｅ－ｃｏｒｒｅｃｔ ｗｈｉｌｅ ａｎｓｗｅｒｉｎｇ ａ ｑｕｅｓｔｉｏｎ）を示す指標であり得る。
【0084】
認知および行動診断モジュール（３６）は、ユーザの成果に重大な影響を与える核心的な認知要素（ｋｅｙ ｕｎｄｅｒｌｙｉｎｇ ｃｏｇｎｉｔｉｖｅ ｃｏｍｐｏｎｅｎｔｓ）の評価表（ｓｃｏｒｅ ｃａｒｄ）を示すために、試みた問題に関するメタデータとユーザのテストの行動データの組み合わせにデータアルゴリズムを適用することができる。ユーザの成果に影響を及ぼす根本的な原因を示すことによって、ユーザは、彼らのテストの行動により持続可能な修正を具現するようにすることができる。
【0085】
認知および行動診断モジュール（３６）は、問題に関するユーザのテストの行動データおよびメタデータに基づいて、ユーザの認知と関連した自信、推論力、暗記力などのような“認知要素”を判断することができる。認知および行動診断モジュール（３６）はまた、問題に関するユーザのテストの行動データおよびメタデータに基づいて、問題の解答に対するユーザの“行動要素”を分析することもでき、一実施例として、テストの行動データおよびメタデータに基づいて、ユーザが問題を読んだ時間に対する判断、問題を解釈する行動に対する判断などを遂行することもできる。すなわち、認知および行動診断モジュール（３６）は、スマートペンのようなデータ収集装置を使用して獲得されたデータから計算される行動メトリックの数値的な分析を通じて、各学生の“認知および行動要素”に接近することができ、認知および行動要素は、認知および行動診断要素（ＣＢＤ Ｆａｃｔｏｒ；Ｃｏｇｎｉｔｉｖｅ ＆ Ｂｅｈａｖｉｏｒａｌ Ｄｉａｇｎｏｓｔｉｃｓ Ｆａｃｔｏｒ）と称することもできる。ＣＢＤ要素およびそれに従属的な行動メトリックが、表１において例示的に示される。
【0086】
【表1】
【0087】
従属的なメトリックは、認知および行動要素（ＣＢＤ Ｆａｃｔｏｒ）と関連して、下記のように例示的に考慮され得る。
【0088】
自信（ｃｏｎｆｉｄｅｎｃｅ）
－ ｓｔｒｏｋｅ＿ｇａｐ＿ｔｉｍｅ（ストローク間の間隔の合計であって、筆記が行なわれない時間）：数値が高ければ、問題を解きながら沢山悩んだと見ることができる。
－ Ｃｏｕｎｔ＿ｏｆ＿ｌｏｎｇ＿ｐａｕｓｅｓ（長時間考えた総回数）：長時間悩んだ回数が多ければ高い数値が出て、悩んだ回数が少なければ低い数値が出る。
－ Ｗｒｉｔｉｎｇ＿ｓｐｅｅｄ（問題の解答を進めるときの筆記速度）：学生間の速度の比較だけでなく、試験を行いながら、問題の項目別の解答速度の差も考慮する。相対的に、自信をもって素早く解答が進められれば高い数値が、そうでなければ低い数値が出る。
－ Ｉｎｉｔｉａｔｉｏｎ＿ｓｐｅｅｄ（問題の解答を始めるときの筆記速度）：問題の項目を理解し、解答を始めるときの進行速度を意味し、多くの学生は、自信があり確信のある問題は解答の開始速度が速い方である。
－ ｓｔｒｏｋｅ＿ｇａｐ＿ｔｉｍｅ（ストローク間の間隔の合計であって、筆記が行なわれない時間）：数値が高ければ、問題を解きながら沢山悩んだと見ることができる。
－ Ｃｏｕｎｔ＿ｏｆ＿ｌｏｎｇ＿ｐａｕｓｅｓ（長時間考えた総回数）：長時間悩んだ回数が多ければ高い数値が出て、悩んだ回数が少なければ低い数値が出る。
－ Ｗｒｉｔｉｎｇ＿ｓｐｅｅｄ（問題の解答を進めるときの筆記速度）：学生間の速度の比較だけでなく、試験を行いながら、問題の項目別の解答速度の差も考慮する。相対的に、自信をもって素早く解答が進められれば高い数値が、そうでなければ低い数値が出る。
－ Ｉｎｉｔｉａｔｉｏｎ＿ｓｐｅｅｄ（問題の解答を始めるときの筆記速度）：問題の項目を理解し、解答を始めるときの進行速度を意味し、多くの学生は、自信があり確信のある問題は解答の開始速度が速い方である。
【0089】
根気（Ｇｒｉｔ）
－ Ｓｔｒｏｋｅ＿ｌｅｎｇｔｈ（問題を解く間に発生した筆記の総長さ）：数値が高ければ、相対的に解答の量が多いことを意味する。
－ Ｓｔｒｏｋｅ＿ｔｉｍｅ（筆記が行なわれた総時間の合計）：解答の進行時間が長ければ長いほど、高い数値で表現される。
－ Ｗｒｉｔｉｎｇ＿ｓｐｅｅｄ（問題の解答を進めるときの筆記速度）：相対的に、自信をもって素早く解答が進められれば高い数値が、そうでなければ低い数値が出る。
－ Ｉｎｉｔｉａｔｉｏｎ＿ｓｐｅｅｄ（問題の解答を始めるときの筆記速度）：多くの学生は、自信があり確信のある問題は解答の開始速度が速い方である。
試験戦略
－ Ｓｔｒｏｋｅ＿ｌｅｎｇｔｈ（問題を解く間に発生した筆記の総長さ）：数値が高ければ、相対的に解答の量が多いことを意味する。
－ Ｓｔｒｏｋｅ＿ｔｉｍｅ（筆記が行なわれた総時間の合計）：解答の進行時間が長ければ長いほど、高い数値で表現される。
－ Ｗｒｉｔｉｎｇ＿ｓｐｅｅｄ（問題の解答を進めるときの筆記速度）：相対的に、自信をもって素早く解答が進められれば高い数値が、そうでなければ低い数値が出る。
－ Ｉｎｉｔｉａｔｉｏｎ＿ｓｐｅｅｄ（問題の解答を始めるときの筆記速度）：多くの学生は、自信があり確信のある問題は解答の開始速度が速い方である。
試験戦略
【0090】
図１０は、ｘ軸に、問題を解いた順序に応じて問題番号を羅列し、各問題を解いた時間をｙ軸に示す。例えば、前の半分および後ろの半分の問題について正答率と所要時間をそれぞれ計算し、試験を行う際に、学生本人が解くことができる問題について戦略的に先に解答を進めるのかを確認する指標を算出することができる。
【0091】
従属的なメトリックから認知および行動要素（ＣＢＤ Ｆａｃｔｏｒ）を誘導するための具体的な内容は、下記のとおりである。
【0092】
ステップ１：
各固有の問題に対する一連の応答について、認知および行動診断モジュール（３６）は、学生のレベルにおいて、関連した行動メトリックのｚ点数（ｚ－ｓｃｏｒｅ）を決定することができる。これは、特定のメトリックに対する学生の相対的パフォーマンスを決定するためである。ｚ点数は、次のような式で与えられ得る。
ここで、Ｘは、問題に対する学生の行動メトリック値であり、μは、問題に対する全ての応答における行動メトリックの平均値であり、σは、問題に対する全ての応答における行動メトリックの標準偏差である。
各固有の問題に対する一連の応答について、認知および行動診断モジュール（３６）は、学生のレベルにおいて、関連した行動メトリックのｚ点数（ｚ－ｓｃｏｒｅ）を決定することができる。これは、特定のメトリックに対する学生の相対的パフォーマンスを決定するためである。ｚ点数は、次のような式で与えられ得る。
ここで、Ｘは、問題に対する学生の行動メトリック値であり、μは、問題に対する全ての応答における行動メトリックの平均値であり、σは、問題に対する全ての応答における行動メトリックの標準偏差である。
【0093】
ステップ２：
認知および行動診断モジュール（３６）は、ｚ点数を一定のスケール上に正規化（ｎｏｒｍａｌｉｚｅ）することができる。例えば、認知および行動診断モジュール（３６）は、ｚ点数を１～１０のスケールに正規化することができる。これは、異なるメトリックに対するｚ点数の比較を容易にするためである。正規化されたｚ点数は、次のような式で与えられ得る。
ここで、ｍｉｎ（ｚ）は、応答セットのうち、行動メトリックに対するｚ点数の最小値であり、ｍａｘ（ｚ）は、応答セットのうち、行動メトリックに対するｚ点数の最大値である。
認知および行動診断モジュール（３６）は、ｚ点数を一定のスケール上に正規化（ｎｏｒｍａｌｉｚｅ）することができる。例えば、認知および行動診断モジュール（３６）は、ｚ点数を１～１０のスケールに正規化することができる。これは、異なるメトリックに対するｚ点数の比較を容易にするためである。正規化されたｚ点数は、次のような式で与えられ得る。
【0094】
ステップ３：
認知および行動診断モジュール（３６）は、ＣＢＤ要素の様々なコンポーネントについて正規化されたｚ点数の加重平均（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）を特定のＣＢＤ要素に関する学生の最終スコアとして算出することができる。これにより、このモジュールを使用して、本発明のシステムはユーザの遂行能力を左右する認知要因の深層的理解を提供することができる。したがって、認知および行動診断モジュール（３６）は、単純に表面的な症状を治すためのものではなく、遂行格差の根本原因を直すことを目標とすることができる。
認知および行動診断モジュール（３６）は、ＣＢＤ要素の様々なコンポーネントについて正規化されたｚ点数の加重平均（ｗｅｉｇｈｔｅｄ ａｖｅｒａｇｅ）を特定のＣＢＤ要素に関する学生の最終スコアとして算出することができる。これにより、このモジュールを使用して、本発明のシステムはユーザの遂行能力を左右する認知要因の深層的理解を提供することができる。したがって、認知および行動診断モジュール（３６）は、単純に表面的な症状を治すためのものではなく、遂行格差の根本原因を直すことを目標とすることができる。
【0095】
上記ステップと関連して、図１１を参照して説明すると、次のとおりである。
認知および行動診断モジュール（３６）は、問題に関するメタデータに基づいた特定のタグを持つ固有の問題についてフィルタリングするステップを遂行することができる（Ｓ１００１）。一例として、上記特定のタグを持つ固有の問題について複数のユーザのそれぞれがスマートペンを使用して応答することにより、得られた応答が正答および誤答に分類されることもあり得る。一例として、複数のユーザのそれぞれからテストの行動データを獲得することができる。このような問題に関するメタデータに基づいた特定のタグを持つ固有の問題についてフィルタリングするステップは、省略され得る。
認知および行動診断モジュール（３６）は、問題に関するメタデータに基づいた特定のタグを持つ固有の問題についてフィルタリングするステップを遂行することができる（Ｓ１００１）。一例として、上記特定のタグを持つ固有の問題について複数のユーザのそれぞれがスマートペンを使用して応答することにより、得られた応答が正答および誤答に分類されることもあり得る。一例として、複数のユーザのそれぞれからテストの行動データを獲得することができる。このような問題に関するメタデータに基づいた特定のタグを持つ固有の問題についてフィルタリングするステップは、省略され得る。
【0096】
認知および行動診断モジュール（３６）は、ＣＢＤ要素を誘導するために、ＣＢＤ要素と関連してあらかじめ定義された関数式内に含まれた少なくとも一つのメトリックのそれぞれについて、ｚ点数を計算するステップを遂行することができる（Ｓ１００２）。一例として、特定のユーザの特定の行動メトリックのｚ点数は、上記特定のユーザの特定の行動メトリックの値（Ｘ）と、複数のユーザの特定の行動メトリックの平均値（μ）との差を、上記複数のユーザの特定の行動メトリックの標準偏差値（σ）で割った値として、算出され得る。
【0097】
認知および行動診断モジュール（３６）は、少なくとも一つのメトリックのそれぞれについて計算されたｚ点数を正規化するステップを遂行することができる（Ｓ１００３）。例えば、認知および行動診断モジュール（３６）は、ｚ点数を１～１０のスケールに正規化することができ、また、１０～１のスケールに正規化することもできる。一例として、ＣＢＤ要素と関連してあらかじめ定義された関数式内に含まれた少なくとも一つのメトリックのそれぞれについて計算されたｚ点数が正規化され得る。
【0098】
認知および行動診断モジュール（３６）は、少なくとも一つのメトリックについて正規化されたｚ点数に対して加重平均を付与することにより、正規化されたｚ点数の加重平均を該当ＣＢＤ要素の値と決定することができる（Ｓ１００４）。また、図１１においては図示されてはいないが、加重平均された最終スコアに他の要因による加重値（例えば、年齢による加重値）がさらに付与（例えば、Ａｇｅ－ｗｅｉｇｈｔｉｎｇ）されることもあり得る。
【0099】
図１１に図示されたステップを遂行する一実施例として、図１２は、表１の認知および行動要素のうち、“深層理解力（Ｄｅｅｐ ｕｎｄｅｒｓｔａｎｄｉｎｇ）”を誘導するための計算フローを示している。表１においては、深層理解力を誘導するためのパラメータとして、問題に関するメタデータおよび行動メトリックを含んでいる。具体的に、メタデータとして、ｃｏｎｃｅｐｔ＿ａｐｐｌｉｃａｔｉｏｎ＿ｔａｇが提示され、行動メトリックとしては、ストローク長さ（ｓｔｒｏｋｅ＿ｌｅｎｇｔｈ）、総時間（ｔｏｔａｌ＿ｔｉｍｅ）が考慮され得る。
【0100】
図１２を参照すると、初めに、全ての問題に対する応答のレベルデータにフィルタを適用して、応答のレベルにおいて、特定の問題タグ（Ｑ＿ｔａｇ）（例えば、ｃｏｎｃｅｐｔ＿ａｐｐｌｉｃａｔｉｏｎ＿ｔａｇ）を有する問題をフィルタリングすることができる。次に、各行動メトリックについて、問題のレベルにおいて、ｚ点数を計算することができ、計算されたｚ点数を正規化して、正規化されたｚ点数を獲得することができる。図１２の上段においては、総時間（ｔｏｔａｌ＿ｔｉｍｅ）メトリックに対するｚ点数として、Ｚ＿Ｔｏｔａｌ Ｔｉｍｅ、および正規化されたｚ点数として、Ｚ＿Ｎｏｒｍ＿Ｔｏｔａｌ＿Ｔｉｍｅを示しており、図１２の下段においては、ストローク長さ（ｓｔｒｏｋｅ＿ｌｅｎｇｔｈ）メトリックに対するｚ点数として、Ｚ＿Ｓｔｒｏｋｅ＿Ｌｅｎｇｔｈ、および正規化されたｚ点数として、Ｚ＿Ｎｏｒｍ＿Ｓｔｒｏｋｅ＿Ｌｅｎｇｔｈを示している。その次に、学生のレベルにおいて、該当メトリックの点数を集め（ａｇｇｒｅｇａｔｅ）、該当メトリックに対して加重平均を付与することができる。例えば、図１２においては、総時間メトリックに対して５０％の加重値を付与し、ストローク長さメトリックに対して５０％の加重値を付与して、結果的に、ＣＢＤ要素のうち、“深層理解力”のインデックス（Ｄｅｅｐ＿Ｕｎｄｅｒｓｔａｎｄｉｎｇ＿Ｉｎｄｅｘ）を算出することができる。
【0101】
一方、問題に関しては、間違えた応答について長い総時間が所要され、かつ正しい応答について長い総入力長さが必要な問題であれば、根気と関連した問題であると評価され得る。正しい応答について長い総思考時間が所要され、かつ正しい応答について長い遅延が多く発生した場合であれば、集中が必要な問題であると評価され得る。正しい応答について多くのストローク回数が発生し、正しい応答について長い総時間が所要されれば、創意力が必要な問題であると評価され得る。正しい応答に対して長い初期時間が所要されれば、理解速度と関連した問題であると評価され得る。長い総時間が所要され、計算と関連した問題であれば、暗算速度と関連した問題であると評価され得る。また、試験のレベルにおいて、学生のＣＢＤ要素が評価され得、問題のレベルにおいて、該当問題のＣＢＤ要素が評価されることもあり得る。例えば、試験を通じて該当学生に根気があるのかが評価され得、様々な問題について１０００人が解いたときに、どのような問題が、根気が必要な問題であるのかが評価され得る。
【0102】
再び図９を参照すると、診断検査装置は、ユーザに関する認知および行動分析結果に基づいて、ユーザに対する個人化したスタディプラン（ｓｔｕｄｙ ｐｌａｎ）を提供するステップを遂行することができる（Ｓ９０４）。
【0103】
一実施例として、認知および行動診断モジュール（３６）により分析された結果を利用して、カスタマイズ型学習モジュール（３７）は、ユーザに対する個人化したスタディプランを提供することができる。カスタマイズ型学習モジュール（３７）は、練習を通じてユーザの不足した点を強化させる特定の問題セットを識別することができ、識別された特定の問題セットをユーザに提供することができる。このようなアルゴリズムを通じて、カスタマイズ型学習モジュール（３７）は、ユーザの認知および行動分析について持続的に学習することで、時間が経つにつれて推奨練習問題の品質を向上させるように調整することができる。
【0104】
また、カスタマイズ型学習モジュール（３７）は、人工知能を利用した機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を通じて、ユーザに対する繰り返しの診断および分析を行うことができ、これにより、ユーザにカスタマイズ型スタディプランを提供することができるため、最適化したカスタマイズ型学習モジュールであると言える。
【0105】
具体的に、カスタマイズ型学習モジュール（３７）は、認知および行動診断モジュール（３６）において識別された認知および行動上の弱みを連結することを目的とすることができる。カスタマイズ型学習モジュール（３７）は、ＣＢＤインデックスを使用するマルチレイヤー協調フィルタリング推薦エンジン（ｍｕｌｔｉ－ｌａｙｅｒ ｃｏｌｌａｂｏｒａｔｉｖｅ ｆｉｌｔｅｒｉｎｇ ｒｅｃｏｍｍｅｎｄａｔｉｏｎ ｅｎｇｉｎｅ）のような方式を使用してユーザの水準のスタディプランを出力することができるため、ユーザの認知的弱点領域を強化させる練習問題を正確に導き出すことができる。ここで、ＣＢＤインデックスは、上述したＣＢＤ要素に関する値であり得る。
【0106】
カスタマイズ型学習モジュール（３７）は、認知および行動診断モジュール（３６）から、分析されたＣＢＤインデックスを入力として獲得することができる。例えば、各ユーザ（学生）に対して、各学生および学生が答えた各質問について異なるＣＢＤインデックスの値が入力として提供され得る。例えば、下記のような行列形式でＣＢＤインデックスの値が提供され得る。
【0107】
このような行列は、各ＣＢＤインデックスに対して構成され得る。したがって、認知および行動診断モジュール（３６）から導き出された、自信、根気、推論力、暗記力、深層理解力、計算能力、問題理解力、試験戦略を含む８個のＣＢＤ要素に対して、計８個の行列が提供されることもあり得る。
【0108】
次に、カスタマイズ型学習モジュール（３７）は、i）問題間の類似度およびii）学生間の類似度を決定するために、このような行列に類似度関数、例えば、コサイン類似度（ｃｏｓｉｎｅ ｓｉｍｉｌａｒｉｔｙ）を適用することができる。
【0109】
これにより、下記のように二つの行列が生成され得る。
【0110】
類似度の値は、下記表現式を使用して計算され得る。
【0111】
例えば、計算されたコサイン類似度の値が１に近いほど、二つのベクトルの類似度が高い。カスタマイズ型学習モジュール（３７）は、i）問題間の類似度およびii）学生間の類似度を計算した後、特定の学生についての、特定の問題に対する認知ギャップメトリック（ｃｏｇｎｉｔｉｖｅ ｇａｐ ｍｅｔｒｉｃ）を下記式で計算することができる。
ここで、ｉは、問題識別子といい、ｖは、学生識別子ということができる。
【0112】
このような認知ギャップメトリックは、上述した８個の全てのＣＢＤインデックスについて計算され得、各問題－学生の組み合わせについて総計（ａｇｇｒｅｇａｔｅ）が計算され得る。これは、大きさ順に整列され、各学生に対して一番高い総認知ギャップメトリックを有する問題が、学生のために、彼らの弱みを解消するように最も薦められ得る。
【0113】
また他の実施例としては、このような認知ギャップメトリックは、上述した８個の全てのＣＢＤインデックスについて計算され得、各問題－学生の組み合わせについて大きさ順に整列され、各学生に対して一番高い認知ギャップメトリックを有する問題が、学生のために、彼らの弱みを解消するように最も薦められ得る。例えば、問題間の類似度および学生間の類似度が計算された際に、類似度が最も小さな部分、すなわち、ＣＢＤ要素に最も大きな差が生じる部分を優先的に考慮して、問題が薦められ得る。すなわち、根気が足りないと（学生のレベルにおいて）判断された学生には、根気と関連した（問題の項目のレベルにおいて）問題の項目が薦められ得、根気が足りない他の学生がきちんと解けなかった問題の項目が薦められ得る。
【0114】
また、このような類似度関数を利用して、類似した行動特性を持った学生が多く間違えた問題の項目や、類似した実力（点数）を持った学生が間違えた問題の項目を薦めることができる。
【0115】
このように、カスタマイズ型学習モジュール（３７）は、以前のモジュールであるテスト診断モジュール（３５）、および認知および行動モジュール（３６）において分析された結果を使用して、ユーザに対する繰り返しの分析および判断を通じて機械学習を遂行することができ、これにより、ユーザに最も適した問題を薦めることにより、ユーザ－カスタマイズ型スタディプランを提供することができる。例えば、カスタマイズ型学習モジュール（３７）は、機械学習を通じて、暗記力が不足したユーザおよび／または暗記力を要する問題を識別することもでき、深層理解力が不足したユーザおよび／または深層理解力を要する問題を識別することもできる。カスタマイズ型学習モジュール（３７）は、例えば、暗記力が不足したユーザに暗記力を要する問題として識別された問題セットを提供することにより、または深層理解力が不足したユーザには深層理解力を要する問題として識別された問題セットを提供することにより、ユーザ－カスタマイズ型スタディプランを提供することができる。また、カスタマイズ型学習モジュール（３７）は、認知および行動モジュール（３６）からの分析結果を持続的に学習することで、時間が経つにつれて推奨練習問題の品質を向上させるように調整されることもあり得る。
【0116】
上記方法の説明およびプロセスフローチャートは、単に例示的な例として提供され、様々な実施形態のステップが提示された順序で遂行されなければならないということを要したり、または暗示しようとすることを意図しない。当業者が周知しているとおり、上述した実施形態において、ステップの順序は任意の順序で遂行されることもあり得る。“したがって”、“次に”などのような単語は、ステップの順序を限定しようとすることを意図せず、これらの単語は、方法の説明を通じて読者を案内するために使用される。
【0117】
本願において開示された実施形態と関連して説明した、様々な例示的なロジックブロック、モジュール、回路、およびアルゴリズムのステップは、電子的ハードウェア、コンピュータソフトウェア、または両者の組み合わせを以って具現され得る。このようなハードウェアとソフトウェアの相互交換の可能性を明確に例示するために、以上においては、様々な例示的な構成要素、ブロック、モジュール、回路およびステップをそれらの機能の観点から一般的に説明した。
【0118】
本願において開示された様態と関連して説明した、様々な例示的なロジック、ロジックブロック、モジュール、および回路を具現するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、注文型集積回路（ＡＳＩＣ）、フィールドプログラミング可能ゲートアレイ（ＦＰＧＡ）または他のプログラミング可能ロジックデバイス、離散ゲートまたはトランジスタロジック、離散ハードウェア構成要素、または本願において説明した機能を遂行するように設計されたこれらの任意の組み合わせにより具現されたり、または遂行されることもあり得る。また、一つ以上の例示的な様態において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにより具現されることもあり得る。ソフトウェアにより具現される場合、機能は、一つ以上の命令またはコードを以って、コンピュータ－読み取り可能な媒体上に格納されたり、コンピュータ－読み取り可能な媒体を通じて送信されることもあり得、ハードウェア－基盤プロセッシングユニットによって実行されることもあり得る。コンピュータ－読み取り可能な媒体は、データ格納媒体のようなタイプの媒体に対応するコンピュータ－読み取り可能な格納媒体を含むこともできる。制限がない例として、このようなコンピュータ－読み取り可能な格納媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたは他の光学ディスク格納、磁気ディスク格納、または、他の磁気格納デバイス、フラッシュメモリ、または命令またはデータ構造の形態で所望のプログラムコードを格納するために利用され得、コンピュータによりアクセスされ得る任意の他の媒体を含むことができる。
【0119】
開示された実施形態の上記説明は、任意の当業者が本発明を実施し、利用することができるように提供される。これらの実施形態に対する様々な変更は当業者にとって明白なものであり、本願において定義した一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実施形態に適用されることもあり得る。したがって、本発明は、本願において示した実施形態に限定しようとするものではなく、以下の請求の範囲に符合する最も広義の範囲、および本願において開示された原理および新規の特徴が与えられるようにするものである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】