IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アノト コリア コーポレーションの特許一覧

<>
  • 特開-診断検査方法および装置 図1
  • 特開-診断検査方法および装置 図2
  • 特開-診断検査方法および装置 図3
  • 特開-診断検査方法および装置 図4
  • 特開-診断検査方法および装置 図5
  • 特開-診断検査方法および装置 図6
  • 特開-診断検査方法および装置 図7
  • 特開-診断検査方法および装置 図8
  • 特開-診断検査方法および装置 図9
  • 特開-診断検査方法および装置 図10
  • 特開-診断検査方法および装置 図11
  • 特開-診断検査方法および装置 図12
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162200
(43)【公開日】2023-11-08
(54)【発明の名称】診断検査方法および装置
(51)【国際特許分類】
   G09B 19/00 20060101AFI20231031BHJP
   G06Q 50/20 20120101ALI20231031BHJP
【FI】
G09B19/00 G
G06Q50/20
【審査請求】有
【請求項の数】16
【出願形態】OL
(21)【出願番号】P 2023126400
(22)【出願日】2023-08-02
(62)【分割の表示】P 2019073461の分割
【原出願日】2019-04-08
(31)【優先権主張番号】10-2018-0054280
(32)【優先日】2018-05-11
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0006407
(32)【優先日】2019-01-17
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】519127502
【氏名又は名称】アノト コリア コーポレーション
(74)【代理人】
【識別番号】110001416
【氏名又は名称】弁理士法人信栄事務所
(72)【発明者】
【氏名】ウォン,ジュン ヒ
(72)【発明者】
【氏名】カン,ミン チョル
(57)【要約】      (修正有)
【課題】データ入力装置を利用するユーザの行動パターンを通じてユーザを診断する。
【解決手段】データ入力装置を利用した診断検査方法であって、ユーザが少なくとも一つの問題について上記データ入力装置を通じて入力した情報に基づく、入力データを獲得するステップ;上記獲得された入力データから上記ユーザのテストの行動データを生成するステップ;および上記少なくとも一つの問題に関するメタデータおよび/または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するステップを含む、診断検査方法。
【選択図】図9
【特許請求の範囲】
【請求項1】
診断検査方法であって、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得するステップ;
前記獲得された入力データから前記ユーザのテストの行動データを生成するステップ;および
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するステップを含む、診断検査方法。
【請求項2】
診断検査方法であって、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得するステップ;
前記獲得された入力データから前記ユーザのテストの行動データを生成するステップ;および
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供するステップを含む、診断検査方法。
【請求項3】
前記入力データは、複数のストロークを形成する点の座標値および前記点が入力された時間の情報を含み、
前記テストの行動データは、複数の行動メトリックを含む、請求項1または2に記載の診断検査方法。
【請求項4】
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するステップをさらに含み、
前記ユーザにカスタマイズ型スタディプランを提供するステップは、
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断(CBD)要素の値を決定するステップ;
前記少なくとも一つのCBD要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度(similarity)および前記複数のユーザ間の類似度を計算するステップ;
前記少なくとも一つのCBD要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック(cognitive gap metric)を計算するステップ;および
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるステップを含む、請求項2に記載の診断検査方法。
【請求項5】
前記ユーザに問題を薦めるステップは、
前記ユーザおよび前記少なくとも一つの問題の組み合わせのそれぞれについて、前記計算された認知ギャップメトリックを算出するステップ;
前記計算された認知ギャップメトリックに基づいて一番高い認知ギャップメトリックを有する問題を識別するステップ;および
前記識別された問題をユーザに薦めるステップを含む、請求項4に記載の診断検査方法。
【請求項6】
前記ユーザに関する認知および行動を分析するステップは、
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得するステップ;
少なくとも一つの認知および行動診断(CBD)要素とそれぞれ関連した少なくとも一つの行動メトリックを識別するステップ;
前記ユーザの前記少なくとも一つの行動メトリックのz点数を計算するステップであって、前記z点数は、前記ユーザの前記少なくとも一つの行動メトリックの値(Χ)と、前記複数のユーザの前記CBD要素と関連した少なくとも一つの行動メトリックの平均値(μ)との差を、前記複数のユーザの前記CBD要素と関連した少なくとも一つの行動メトリックの標準偏差値(σ)で割った値である、前記z点数を計算するステップ;
前記少なくとも一つの行動メトリックの前記z点数を正規化するステップ;
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたz点数の加重平均を計算するステップ;および
前記計算された加重平均から前記ユーザの前記CBD要素の値を決定するステップを含む、請求項1または4に記載の診断検査方法。
【請求項7】
前記少なくとも一つのCBD要素は、自信(Confidence)、根気(Grit)、推論力(Reasoning)、暗記力(Concept memory)、深層理解力(Deep understanding)、計算能力(Calculation Ability)、問題理解力(Ability to understand question)、試験戦略(Test-taking Strategy)を含む群から選択され、
前記CBD要素はそれぞれ、異なる少なくとも一つの行動メトリックおよび問題に関するメタデータのうちの少なくとも一つに基づく関数として表現される、請求項6に記載の診断検査方法。
【請求項8】
診断検査装置であって、
メモリおよびプロセッサを含み、
前記プロセッサは、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得し、
前記獲得された入力データから前記ユーザのテストの行動データを生成し、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析するように構成される、診断検査装置。
【請求項9】
診断検査装置であって、
メモリおよびプロセッサを含み、
前記プロセッサは、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得し、
前記獲得された入力データから前記ユーザのテストの行動データを生成し、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供するように構成される、診断検査装置。
【請求項10】
前記入力データは、複数のストロークを形成する点の座標値および前記点が入力された時間の情報を含み、
前記テストの行動データは、複数の行動メトリックを含む、請求項8または9に記載の診断検査装置。
【請求項11】
前記プロセッサはまた、
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断(CBD)要素の値を決定し、
前記少なくとも一つのCBD要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度(similarity)および前記複数のユーザ間の類似度を計算し、
前記少なくとも一つのCBD要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック(cognitive gap metric)を計算し、
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるように構成される、請求項9に記載の診断検査装置。
【請求項12】
前記プロセッサはまた、
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得し、
少なくとも一つの認知および行動診断(CBD)要素とそれぞれ関連した少なくとも一つの行動メトリックを識別し、
前記ユーザの前記少なくとも一つの行動メトリックのz点数を計算するものであって、前記z点数は、前記ユーザの前記少なくとも一つの行動メトリックの値(X)と、前記複数のユーザの前記CBD要素と関連した少なくとも一つの行動メトリックの平均値(μ)との差を、前記複数のユーザの前記CBD要素と関連した少なくとも一つの行動メトリックの標準偏差値(σ)で割った値である、前記z点数を計算し、
前記少なくとも一つの行動メトリックの前記z点数を正規化し、
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたz点数の加重平均を計算し、
前記計算された加重平均から前記ユーザの前記CBD要素の値を決定するように構成される、請求項8または11に記載の診断検査装置。
【請求項13】
診断検査を遂行するための、媒体に格納されたコンピュータプログラムであって、
前記コンピュータプログラムは、コンピュータまたはプロセッサに、
ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得させ、
前記獲得された入力データから前記ユーザのテストの行動データを生成させ、
前記少なくとも一つの問題に関するメタデータおよび前記生成されたテストの行動データのうちの少なくとも一つに基づいて、前記ユーザに関する認知および行動を分析させ、
前記認知および行動分析に基づいた機械学習を通じて、前記ユーザにカスタマイズ型スタディプランを提供させる命令を含む、媒体に格納されたコンピュータプログラム。
【請求項14】
前記入力データは、複数のストロークを形成する点の座標値および前記点が入力された時間の情報を含み、
前記テストの行動データは、複数の行動メトリックを含む、請求項13に記載の媒体に格納されたコンピュータプログラム。
【請求項15】
前記コンピュータプログラムはまた、
前記少なくとも一つの問題について前記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得させ、
少なくとも一つの認知および行動診断(CBD)要素とそれぞれ関連した少なくとも一つの行動メトリックを識別させ、
前記ユーザの前記少なくとも一つの行動メトリックのz点数を計算させるものであって、前記z点数は、前記ユーザの前記少なくとも一つの行動メトリックの値(X)と、前記複数のユーザの前記CBD要素と関連した少なくとも一つの行動メトリックの平均値(μ)との差を、前記複数のユーザの前記CBD要素と関連した少なくとも一つの行動メトリックの標準偏差値(σ)で割った値である、前記z点数を計算させ、
前記少なくとも一つの行動メトリックの前記z点数を正規化させ、
前記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、前記正規化されたz点数の加重平均を計算させ、
前記計算された加重平均から前記ユーザの前記CBD要素の値を決定させる命令を含む、請求項14に記載の媒体に格納されたコンピュータプログラム。
【請求項16】
前記コンピュータプログラムはまた、
前記ユーザを含む複数のユーザについて、前記少なくとも一つの問題に対する少なくとも一つの認知および行動診断(CBD)要素の値を決定させ、
前記少なくとも一つのCBD要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度(similarity)および前記複数のユーザ間の類似度を計算させ、
前記少なくとも一つのCBD要素のそれぞれについて、前記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および前記複数のユーザ間の類似度を使用して、認知ギャップメトリック(cognitive gap metric)を計算させ、
前記計算された認知ギャップメトリックに基づいてユーザに問題を薦めさせる命令を含む、請求項13または15に記載の媒体に格納されたコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は診断検査に関するものであって、具体的には、スマートペン、スタイラスペンのようなデータ入力装置から獲得されるデータを利用して、データ入力装置のユーザである学習者に関する認知および行動分析を通じてカスタマイズ型スタディプランを提供する診断検査方法、装置およびコンピュータプログラムに関するものである。
【背景技術】
【0002】
一般的に、学習者は診断検査の問題を解き、教育者は学習者の答えを採点して、学習者の成績を通じて学習者について診断することができる。最近、スマートフォンまたはタブレットPCのようなスマート機器の活用が増加するに伴い、スマート機器のタッチスクリーン上への入力手段としてスマートペンの活用も増加しており、スマートペンを活用して学習することができる環境が造成されている。これにより、学習者は、スマートペンを利用して特定タイプの印刷物に筆記を行い、印刷物の問題を解いたり、答えを記載することができるようになった。スマートペンは、例えば、アノト社で開発したドットパターンのようなパターン認識に基づいて、学習者が筆記した内容をデジタルデータで生成することができる。
【0003】
学習者に対する従来の診断検査においては、学習者が問題を解く過程に対する検討なしに、学習者の答えが正答であるかどうかにのみ焦点を置いた。学習者がスマートペンを利用する診断検査においても、同様に学習者の答えが正答であるか、または誤答であるかどうかにのみ焦点を置いているため、診断検査は依然として結果中心の成績評価のみから行われていると言える。
【0004】
このような診断検査を通じては、学習者を多様な基準で評価することができないため、単純に学習者の成績結果のみを獲得することができるだけであり、単純に間違えた問題と類似した問題を提供することができるだけである。また、学習者がスマートペンを活用して学習することができる環境においても、依然として学習者の答えが正答であるかどうかにのみ頼って学習者を診断する検査方法は、より進歩した学習道具であるスマートペンから獲得することができる多様なデータを十分に活用しないものであるため、これを活用することができる、より改善された診断検査が要求されている。
【0005】
一方、オンライン公開授業(MOOC;Massively Open Online
Course)が活発になるにつれて、コンピュータ-基盤教育を個人化するためのデータ分析の使用が広く普及している。しかし、このようなMOOCは、学生コミュニティの小さな部分でのみ遂行されており、特に、中学校および高校レベルの大多数の学生は、依然としてテストを行うための主要道具である筆記具と紙を使用するオフライン(教室)基盤教育環境において課題を遂行している。これまでこのような環境において実行可能なデータ収集メカニズムがなかったため、データ分析による個人化の利点を得ることができず、テストの成果の評価のために相当な負担があったことから、スマートペンのデータ分析を通じて学習者に個人化した教育を提供する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、データ入力装置を利用するユーザの行動パターンを通じてユーザを診断することに目的がある。
【0007】
本発明の目的は、学生の成就に影響を与える認知および行動要素の誘導および個人化した点数の改善戦略を出力することができる推薦エンジンを通じて、学生がより高い試験結果を達成するように助けるシステムを提供するものである。このシステムは、テスト遂行の行動と関連した認知および行動要素と、スマートペンのようなデータ入力装置を使用して収集された各学生の特定データ間のデータ基盤、およびアルゴリズム方式で計算された関係を通じて具現され得る。
【0008】
本発明を通じて、既存の結果中心の診断検査から進歩して、学習者が“どの概念または過程において”効率的に問題を解いているのか、何の迷いもなく速やかに解いているのか、あるいは困難を示すのかを決定し、優秀な学生の行動パターンとはどのような差があるのかを比較する過程中心の診断検査を遂行しようとする。
【0009】
本発明を通じて、学習者が特定の該当概念または過程において“なぜ”特定の行動パターンを示すのかを決定するために、学習者に関する認知および行動分析を遂行しようとする。このような認知および行動分析を通じて学習者に個人化したスタディプランを提供しようとする。
【0010】
本発明は、上記のような目的を達成するために導き出されたものであって、データ入力装置を利用した診断検査を用いて、ユーザにカスタマイズ型スタディプランを提供することができる発明を提案している。
【課題を解決するための手段】
【0011】
本発明の一形態においては、データ入力装置を利用した診断検査方法であって、ユーザが少なくとも一つの問題について上記データ入力装置を通じて入力した情報に基づく、入力データを獲得するステップ;上記獲得された入力データから上記ユーザのテストの行動データを生成するステップ;および上記少なくとも一つの問題に関するメタデータおよび/または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するステップを含む、診断検査方法を提示する。
【0012】
上記データ入力装置は、スマートペン、スタイラスペンなどの多様な入力道具が可能である。下記においては、スマートペンを利用した場合を中心に説明するが、これに限定されず、指を利用してモバイルデバイス(例えば、タブレットPC)などにおいて試験を実施する場合にも、同一の方法で診断と処方分析を行うことができる。
【0013】
本発明の一形態によるデータ入力装置を利用した診断検査方法において、上記入力データは、複数のストロークを形成する点の座標値および上記点が入力された時間の情報を含み、上記テストの行動データは、複数の行動メトリックを含むことができる。
【0014】
本発明の一形態によるデータ入力装置を利用した診断検査方法において、上記ユーザに関する認知および行動を分析するステップは、上記少なくとも一つの問題について上記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得するステップ;少なくとも一つの認知および行動診断(CBD;Cognitive & Behavioral Diagnostic)要素とそれぞれ関連した少なくとも一つの行動メトリックを識別するステップ;上記ユーザの上記少なくとも一つの行動メトリックのz点数を計算するステップであって、上記z点数は、上記ユーザの上記少なくとも一つの行動メトリックの値(X)と、上記複数のユーザの上記CBD要素と関連した少なくとも一つの行動メトリックの平均値(μ)との差を、上記複数のユーザの上記CBD要素と関連した少なくとも一つの行動メトリックの標準偏差値(σ)で割った値である、上記z点数を計算するステップ;上記少なくとも一つの行動メトリックの上記z点数を正規化するステップ;上記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、上記正規化されたz点数の加重平均を計算するステップ;および上記計算された加重平均から上記ユーザの上記CBD要素の値を決定するステップを含むことができる。
【0015】
本発明の一形態によるデータ入力装置を利用した診断検査方法において、上記少なくとも一つのCBD要素は、自信(Confidence)、根気(Grit)、推論力(Reasoning)、暗記力(Concept memory)、深層理解力(Deep
understanding)、計算能力(Calculation Ability)、問題理解力(Ability to understand question)、試験戦略(Test-taking Strategy)などを含み、上記CBD要素はそれぞれ、異なる少なくとも一つの行動メトリックおよび/または問題に関するメタデータに基づく関数として表現され得る。
【0016】
本発明の他の形態においては、データ入力装置を利用した診断検査方法であって、ユーザが少なくとも一つの問題について上記データ入力装置で入力した情報に基づく、上記入力データを獲得するステップ;上記獲得された入力データから上記ユーザのテストの行動データを生成するステップ;上記少なくとも一つの問題に関するメタデータおよび/または上記生成されたテストの行動データに基づいて、上記ユーザに個人化したスタディプランを提供するステップを含む診断検査方法を提示する。
【0017】
本発明の他の形態によるデータ入力装置を利用した診断検査方法において、上記少なくとも一つの問題に関するメタデータおよび/または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するステップをさらに含むことができる。
【0018】
本発明の他の形態によるデータ入力装置を利用した診断検査方法において、上記ユーザに個人化したスタディプランを提供するステップは、上記ユーザを含む複数のユーザについて、上記少なくとも一つの問題に対する少なくとも一つの認知および行動診断(CBD)要素の値を決定するステップ;上記少なくとも一つのCBD要素のそれぞれについて、上記少なくとも一つの問題を含む少なくとも二つの問題間の類似度(similarity)および上記複数のユーザ間の類似度を計算するステップ;上記少なくとも一つのCBD要素のそれぞれについて、上記少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を使用して、認知ギャップメトリック(cognitive gap metric)を計算するステップ;および上記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるステップを含むことができる。
【0019】
本発明の他の形態によるデータ入力装置を利用した診断検査方法において、上記少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を計算するステップは、コサイン類似度(cosine similarity)関数を適用するステップを含むことができる。
【0020】
本発明の他の形態によるスマートペンを利用した診断検査方法において、上記ユーザに問題を薦めるステップは、上記ユーザおよび上記少なくとも一つの問題の組み合わせのそれぞれについて、上記計算された認知ギャップメトリックを算出するステップ;上記計算された認知ギャップメトリックに基づいて一番高い認知ギャップメトリックを有する問題を識別するステップ;および上記識別された問題をユーザに薦めるステップを含むことができる。
【0021】
本発明の一形態においては、データ入力装置を利用した診断検査装置であって、メモリおよびプロセッサを含み、上記プロセッサは、ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、上記入力データを獲得し、上記獲得された入力データから上記ユーザのテストの行動データを生成し、上記少なくとも一つの問題に関するメタデータおよび/または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析するように構成される、診断検査装置を提示する。
【0022】
本発明の一形態による診断検査装置において、上記プロセッサはまた、上記認知および行動分析に基づいて、上記ユーザに個人化したスタディープランを提供するように構成され得る。
【0023】
本発明の一形態による診断検査装置において、上記プロセッサはまた、上記少なくとも一つの問題について上記ユーザを含めた複数のユーザのそれぞれからテストの行動データを獲得し、少なくとも一つの認知および行動診断(CBD)要素とそれぞれ関連した少なくとも一つの行動メトリックを識別し、上記ユーザの上記少なくとも一つの行動メトリックのz点数を計算するものであって、上記z点数は、上記ユーザの上記少なくとも一つの行動メトリックの値(X)と、上記複数のユーザの上記CBD要素と関連した少なくとも一つの行動メトリックの平均値(μ)との差を、上記複数のユーザの上記CBD要素と関連した少なくとも一つの行動メトリックの標準偏差値(σ)で割った値である、上記z点数を計算し、上記少なくとも一つの行動メトリックの上記z点数を正規化し、上記少なくとも一つの行動メトリックに対するあらかじめ決定された加重値に基づいて、上記正規化されたz点数の加重平均を計算し、上記計算された加重平均から上記ユーザの上記CBD要素の値を決定するように構成され得る。
【0024】
本発明の一形態による診断検査装置において、上記プロセッサはまた、上記ユーザを含む複数のユーザについて、上記少なくとも一つの問題に対する少なくとも一つの認知および行動診断(CBD)要素の値を決定し、上記少なくとも一つのCBD要素のそれぞれについて、上記少なくとも一つの問題を含む少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を計算し、上記少なくとも一つのCBD要素のそれぞれについて、上記少なくとも二つの問題間の類似度および上記複数のユーザ間の類似度を使用して、認知ギャップメトリックを計算し、上記計算された認知ギャップメトリックに基づいてユーザに問題を薦めるように構成され得る。
【0025】
本発明のまた他の形態においては、データ入力装置を利用した診断検査方法を遂行するために媒体に格納されたコンピュータプログラムであって、上記コンピュータプログラムは、コンピュータまたはプロセッサに、ユーザが少なくとも一つの問題についてデータ入力装置で入力した情報に基づく、入力データを獲得させ、上記獲得された入力データから上記ユーザのテストの行動データを生成させ、上記少なくとも一つの問題に関するメタデータおよび/または上記生成されたテストの行動データに基づいて、上記ユーザに関する認知および行動を分析させ、上記認知および行動分析に基づいて、上記ユーザに個人化したスタディプランを提供させる命令を含む、媒体に格納されたコンピュータプログラムを提示する。
【0026】
本発明のまた他の形態による媒体に格納されたコンピュータプログラムにおいて、上述したデータ入力装置を利用した診断検査方法の各ステップを遂行するための命令を含むこともできる。
【0027】
本発明の一形態によるスマートペンを利用した診断検査方法において、上記ユーザがスマートペンを利用した総時間を計算するステップは、上記ユーザが上記少なくとも一つの問題について情報を入力する前に準備する時間を計算するステップ;および上記ユーザが上記スマートペンで情報を入力した総時間を計算するステップを含むことができる。
【0028】
本発明の他の形態による診断検査装置において、上記プロセッサはまた、上記ユーザがスマートペンを利用した総時間を計算するために、上記ユーザが上記スマートペンを利用して情報を入力する前に準備する時間を計算し、上記ユーザが上記スマートペンで情報を入力した総時間を計算するように構成され得る。
【発明の効果】
【0029】
本発明を利用して、データ入力装置を使用する学習者に関する認知および行動分析を通じて、学習者に認知および行動分析結果と個人化したスタディプランを提供することができる。
【0030】
また、本発明は、人工知能を利用した機械学習を利用したアルゴリズムを通じて、学習者にカスタマイズ型スタディプランを提供することができる。
【図面の簡単な説明】
【0031】
本願に含まれ、この明細書の一部を構成する添付の図面は、発明の例示的な実施形態を例示し、上記において与えられた一般的な説明および以下において与えられた詳細な説明と共に、発明の特徴を説明するように作用する。
【0032】
図1図1は、本発明の多様な実施例によるスマートペンを利用して診断検査を提 供するためのシステムを示す。
図2図2は、本発明の診断検査装置の構成を示すブロック図である。
図3図3は、本発明の多様な実施例による診断検査方法に関するフローチャート である。
図4図4は、本発明の一実施例によるスマートペンから獲得された入力データ( raw data)を示す図面である。
図5図5は、本発明の一実施例によるスマートペンから獲得された入力データか らテストの行動データを生成するための計算の一例示である。
図6図6は、本発明の一実施例による全体のデータ構造を示す。
図7図7は、本発明の一実施例による診断検査結果を示す例示図面である。
図8図8は、本発明の一実施例による診断検査結果を示す例示図面である。
図9図9は、本発明の他の実施例による診断検査方法に関するフローチャートで ある。
図10図10は、本発明の他の実施例による認知および行動診断のための方法を 示す例示的なグラフである。
図11図11は、本発明の他の実施例による認知および行動診断のための計算方 法のフローチャートである。
図12図12は、本発明の他の実施例による認知および行動診断のための例示的 な認知要素の計算を示す。
【発明を実施するための形態】
【0033】
多様な実施形態は、添付の図面を参照して詳細に説明されるであろう。可能な限りどこでも、同一の参照番号は同一または類似した部分を指称するために図面全般にわたって利用されるであろう。特定例および具現例について行なわれた参照は、例示的な目的のためのものであり、発明または請求項の範囲を制限するように意図されたものではない。
【0034】
発明の説明または請求の範囲において、いずれか一つの構成要素が他の構成要素を“含む”とするとき、これは、特に反対の記載がない限り、当該構成要素のみからなるものに限定されて解釈されてはならず、他の構成要素をさらに含むことができるものと理解されなければならない。
【0035】
以下において、本発明の実施例を、図面を参照してより詳細に説明することとする。
【0036】
図1は、本発明の一実施例と関連した診断検査を遂行するためのシステムの図式である。学習者は、診断検査のために提示される少なくとも一つの問題を解き、答えを導き出すことができる。学習者は、鉛筆やペンのようにスマートペン(10)を使用して、少なくとも一つの問題を解くために診断検査紙のような印刷物(20)に筆記することもできる。スマートペン(10)を使用する学習者を、以下においては、‘ユーザ’と指称することもあり得る。また、以下の説明においては、‘学生’、‘学習者’および‘ユーザ’が混用して記載されることもあり得る。
【0037】
印刷物(20)は、一般的な紙ではなく、スマートペン(10)により入力される情報が認識可能なように、例えば、ドットパターン(Dot pattern)のようなパターンが形成されていなければならず、このため、指定されたファイルが指定されたプリンタを通じて製作され得る。
【0038】
印刷物(20)に提示される診断検査のための問題は、単なる暗記によって解決可能な問題でないことが好ましい。すなわち、問題解決のために戦略を立てなければならず、解答過程を叙述してこそ結論を導き出すことができる問題が好ましい。例えば、演算のように戦略選択の幅が狭い形態の問題のタイプが、学習者の診断のためのデータ分析に容易であり得る。ただし、学習者の水準に比べて非常に易しい問題の場合、学習者がスマートペンを使用せずに、目で見た途端に答えを導き出すこともできるため、好ましくないこともあり得る。また、問題の答えは、客観式である場合よりも、主観式がデータ分析に容易であり得、主観式であっても、叙述式の答えは学生の表現方式によって答えとなり得る範囲が広いため、短答式の主観式がデータ分析に容易であり得る。
【0039】
データ収集装置として、スマートペン(10)は、印刷物(20)に入力されるパターンを認識するためにカメラ(未図示)を含むこともでき、診断検査装置(30)にデータを送信するために近距離通信モジュール(未図示)を含むこともできる。これを通じて、スマートペン(10)からデータをストリーミング方式でリアルタイムに転送することができる。スマートペン(10)を通じて診断検査を進める場合、使用前に、正しく十分に(90%以上)充電されたかを確認し、正常にスマートペン(10)からデータが送信されるかどうかを確認する必要がある。
【0040】
学習者がスマートペン(10)を使用して印刷物(20)の少なくとも一つの問題を解く場合、学習者を診断するための診断検査装置(30)が、以下においてより詳細に説明される本発明の多様な実施例による診断検査を行うための方法を遂行することもできる。
【0041】
具体的に、診断検査装置(30)は、メモリ(31)およびプロセッサ(32)を含むことができる。プロセッサ(32)によって本発明による診断検査方法の各ステップが遂行され得、また、例えば、診断検査のためのデータおよび診断検査結果のデータのような複数の情報がプロセッサに連結されているメモリ(31)に格納され得る。診断検査装置(30)は、例えば、スマートペン(10)とペアリングされているモバイルデバイス(例えば、タブレットPC)またはコンピュータであり得、サーバに連結されることもあり得、または、サーバとして利用されることもあり得る。診断検査装置(30)の構成要素は全て図示されてはおらず、例えば、通信モジュール、ユーザインタフェース、ディスプレイ部などを含むこともできることは当業者に周知されている。
【0042】
一方、本願において説明される診断検査方法は、媒体に格納されたコンピュータプログラムによって、コンピュータまたはプロセッサに遂行されることもあり得る。すなわち、本発明による、媒体に格納されたコンピュータプログラムは、本願に記載された方法をコンピュータまたはプロセッサのようなハードウェアに遂行させる命令を含むこともできる。
【0043】
図2は、本発明の診断検査装置(30)の構成を示すブロック図である。診断検査装置(30)は、本願において説明される診断検査方法を遂行するテスト診断モジュール(35)、認知および行動診断モジュール(36)およびカスタマイズ型学習モジュール(37)を含むことができる。
【0044】
テスト診断モジュール(35)が、スマートペンを利用した診断検査方法(300)を遂行するための各ステップを行うこともできる。すなわち、以下において説明される診断検査方法(300)を遂行する診断検査装置は、テスト診断モジュール(35)であり得る。
【0045】
図3を参照して、スマートペンを利用した診断検査方法(300)をより詳細に説明すると、次のとおりである。
【0046】
先ず、ユーザは、診断検査のために提示される少なくとも一つの問題について、印刷物にスマートペンで問題の解答のような情報を入力することができる。以後、診断検査装置は、上記スマートペンで入力した情報に基づくスマートペンの入力データを獲得するステップを遂行することができる(S301)。
【0047】
上記スマートペンの入力データを獲得するステップは、ユーザがスマートペンで入力したページを識別するステップを含むことができ、上記ページにおいて入力された複数のストローク、上記複数のストロークのそれぞれのストロークを形成する点の座標値、上記点が入力された時間の情報および上記点の筆圧のうちの少なくとも一つを識別するステップを含むことができる。
【0048】
例示的に、図4を参照すると、上記スマートペンから獲得され得る入力データを示している。ユーザがスマートペンで入力した、特定のページ内の複数のストローク(ストローク1、ストローク2、ストローク3、・・・、ストロークN)が識別され得る。例えば、一つのストロークは、スマートペンの記入開始(Pen down)点から記入停止(Pen up)点まで連続する軌跡で特定され得、記入開始(Pen down)点から記入停止(Pen up)点までの座標が特定の時間(例えば、図4においては、0.012ないし0.015秒)の間隔で記録され得る。これにより、それぞれのストロークごとに、該当ストロークを形成する点のXY座標値、該当点が入力された時間の情報、該当点の筆圧などを含む入力データが識別され得る。図4に示している一例示として、特定のページの複数個のストロークのうち、ストローク1について、最初の点は(X,Y)座標が(051.94,053.70)であり、筆圧は070であり、該当点が入力された時間は2017年10月26日11時13分52.624秒であることを確認することができる。すなわち、このように、個別ページごとに、総ストロークの個数とそれぞれのストロークの細部的なデータが抽出され得る。
【0049】
次に、診断検査装置は、獲得された入力データから、上記スマートペンのユーザの上記少なくとも一つの問題と関連した分析情報として、ユーザのテストの行動データを生成するステップを遂行することができる(S302)。
【0050】
したがって、ユーザの上記少なくとも一つの問題と関連した分析情報は、ユーザのテストの行動データと指称され得る。テストの行動データ(分析情報)は、上記少なくとも一つの問題と関連してそれぞれの問題について生成され得、名前、年齢、性別などで識別され得る複数のユーザについて生成されることもあり得る。テストの行動データは、複数の行動メトリックを含むことができる。複数の行動メトリックの例として、遅延時間(Delay time)、ストローク長さ(Stroke length)、特定の遅延期間における入力の一時中止回数(Count of pauses in input,of specific durations)、入力速度(Input speed at specific stages of testing)、入力長さ(Length of input)、再作成(Rework)などがあり得、これに限定されるものではない。
【0051】
図5において例示的に図示されるように、診断検査装置は、収集された入力データ(例えば、ストローク位置およびタイムスタンプ)から、ストローク入力を2次元ユークリッド平面の点で考慮し、直交幾何学の公式を適用して入力の距離および速度を計算することにより、行動メトリックを生成することができる。図5に図示された二つのストロークポイント(x1,y1)および(x2,y2)を利用した行動メトリックの例示は、次のように計算され得る。
【0052】
ストロークポイント(x1,y1)および(x2,y2)間の長さは、下記式を使用して計算され得る。
【0053】
二つのストロークポイント間の時間は、下記のように与えられる。
【0054】
入力の速度は、下記のように与えられる。
【0055】
代案として、テストの行動データは、以下においてより具体的に説明される。
遅延時間は、文字の最後のストロークと次の文字の最初のストローク間のタイムスタンプ間の差により決定され得、特定の遅延期間における入力の一時中止回数は、ストロークが記録されない時間の間隔の回数を数えることにより決定され得、入力長さは、ユーザによって入力された全ての文字のストローク長さの合計により決定され得、再作成は、-x軸および/または-y軸への移動時に決定され得る。
【0056】
ユーザのテストの行動データを生成するために、診断検査装置は、入力データから抽出され得るストロークの総個数(Total stroke)を計算することができ、ユーザが上記スマートペンを利用した総時間(Total time)を計算することができる。ユーザが上記少なくとも一つの問題と関連して上記スマートペンを利用した総時間(Total time)の意味は、ユーザが上記少なくとも一つの問題が提示された後に問題を読み、悩んだ時間(Intro time)と、実際にスマートペンで問題を解いた時間(Solving time)とを含むことができる。したがって、診断検査装置は、ユーザが問題を読み、悩んだ時間(Intro time)と、実際に問題を解いた時間(Solving time)を計算することもできる。このため、例えば、前の問題の最後のストロークの記入停止(Pen up)点と、次の問題の最初のストロークの記入開始(Pen down)点の間の時間が、上記悩んだ時間(Intro time)と規定され得る。
【0057】
より具体的に、ユーザのテストの行動データを生成するために、診断検査装置は、それぞれのストロークを形成する点の座標を追跡して、上記点の座標値が、あらかじめ決定された時間の間、実質的に一定に維持される場合には、遅延が発生したものと決定することができる。また、診断検査装置は、ユーザについて、上記少なくとも一つの問題と関連して発生した遅延の総時間および遅延の回数(Number of Delays)を計算することもできる。上記あらかじめ決定された時間は、例えば、1秒、2秒、3秒、4秒、5秒などとなり得、あらかじめ決定された時間が長いほど、遅延に加重値が異なるように付加されることもあり得る。これにより、例えば、1秒、2秒、3秒、4秒、5秒を基準とする遅延の回数および総時間が計算されることもあり得る。
【0058】
また、診断検査装置は、ユーザの上記少なくとも一つの問題と関連した分析情報として、さらに、ストロークを描く速度(Stroke velocity,cm/second)、ストロークの初期速度(Initiation speed)、終了速度(Ending speed)、平均速度(Average speed)、問題別のストロークを問題別の解答時間で割った値である解答速度(Solving velocity,strokes/time)、ストローク長さの合計(Ink length)、解答進行に使用された領域の広さ(Area)、解答を進める方向で見た複雑性(Entropy)、消した痕跡(Cross out)、解答の試行回数(Problem attempted)、問題の解答順序が変わった回数(Out of order)、問題の解答順序が変わった状況において次の問題を始める前の時間(Out of order time)などを決定することができる。
【0059】
例えば、解答進行に使用された領域の広さ(Area)は、ストロークが存在する領域の広さで計算され得る。解答を進める方向で見た複雑性(Entropy)に関しては、左側から右側に進めたり、上側から下側に進めるストロークは、エントロピーが低いものと決定し、これとは逆に、右側から左側に進めたり、下側から上側に進めるストロークは、エントロピーが高いものと決定して計算され得る。消した痕跡(Cross out)に関しては、数字または単語程度を消した痕跡(typo cross out)、解答過程の一部を消した痕跡(problem solving cross out)、解答全体またはそれに相応する領域を消した痕跡(big cross out)に区分して追跡され得る。解答の試行回数(Problem attempted)は、一定時間以上、問題を試みた回数で計算され得、問題の解答順序が変わった回数(Out of order)は、ユーザがどのような問題をスキップし、どのような番号の問題で進めたかを追跡して決定され得る。
【0060】
このように診断検査装置が複数の行動メトリックを含むテストの行動データを生成すると、診断検査装置は、生成されたテストの行動データに基づいて該当問題に対するユーザの問題の解答水準を評価するステップを遂行することができる(S303)。
【0061】
ユーザの問題の解答水準は、ユーザのテストの行動データに基づいて決定されたユーザの行動パターンとして評価され得るため、上記ステップは、生成されたテストの行動データに基づいてユーザの行動パターンを決定するステップと指称されることもあり得る。例えば、幾何パートのテスト問題を解くユーザの行動データに基づいて、ユーザが“スラスラときちんと解く”という行動パターンを持つものと決定されれば、ユーザの問題の解答水準が“スラスラときちんと解く”と評価され得る。
【0062】
診断検査装置は、少なくとも一つの問題と関連した複数のユーザのテストの行動データを生成することができ、これをメモリに格納することができる。代案として、診断検査装置は、上記少なくとも一つの問題と関連した複数のユーザのテストの行動データのような分析情報を生成することができ、これを別途のサーバに送信したり、またはサーバからこれを受信することもできる。このような送受信はリアルタイムに進められ得、これにより、格納されたテストの行動データのような分析情報が周期的にアップデートされることもあり得る。次いで、診断検査装置は、上記少なくとも一つの問題と関連して既に格納されているテストの行動データと、上記ユーザについて生成されたテストの行動データとを比較することができる。診断検査を遂行しようとする教育者は、上記少なくとも一つの問題をネットワーク上で共有することにより、診断検査の問題と関連した複数のユーザ、すなわち、学生に関するデータを蓄積することもできる。
【0063】
また、診断検査装置は、上記少なくとも一つの問題と関連して既に格納されているテストの行動データと、上記ユーザについて生成されたテストの行動データとを比較する際に、上記少なくとも一つの問題間の相関関係に基づいて生成されたテストの行動データを加工することもできる。例えば、相関度が高い特定の問題について既に格納されたテストの行動データと顕著に差があるテストの行動データを持つユーザに対しては、該当タイプの問題の解答水準にさらに注目することもできる。
【0064】
さらに、診断検査装置は、ユーザの弱みおよび/または強みの領域に対する識別のために、テスト問題に関するメタデータ(metadata)を使用することもできる。問題に関するメタデータは、問題の難易度、問題の主題領域、該当問題のための適切な学生のレベルなどといった情報を含むことができる。具体的に、テスト診断モジュール(35)がユーザのテストの行動データおよび問題に関するメタデータを組み合わせてユーザの問題の解答水準について評価することができ、これにより、ユーザの強みおよび弱みを判断することができる。テスト診断モジュール(35)、および以下において後述される認知および行動診断モジュール(36)およびカスタマイズ型学習モジュール(37)においても使用され得る全体のデータ構造が、図6において例示的に図示される。図6を参照すると、本発明において利用されるデータ構造は、ユーザのテストの行動データとして記録測定値(writing measures)、および問題に関するメタデータとして問題事実情報(question facts)だけでなく、基本的な学生識別情報(student ID)、問題識別情報(question ID)、テスト識別情報(test ID)といった識別情報を含むことができ、テストの日程および場所のようなテスト事実情報(test facts)、学生の過去の出席および成果のような学生事実情報(student facts)、学生の応答の正答率を示す成果測定値(performance measures)などに関するデータを含むこともできる。
【0065】
一方、特定の問題に関するユーザのテストの行動データに基づいて、ユーザの問題の解答水準を評価した診断検査結果を示す図7は、例えば、成績表の細部領域を示すものである。‘No.’は問題の番号を、‘Unit’は出題領域(単元名)を、‘Question Point’は問題の配点を、‘Total Score’は問題の総得点であって、‘〇×’、‘Concept Score’、‘Process Score’の合算点数を、‘〇×’は正答を当てたものに対する点数を、‘Concept Score’は概念を正確に分かって適用したものであるかに対する点数を、‘Process Score’は解答過程に対する点数、すなわち、戦略を使用してどのくらい効率的に解いたものであるかに対する点数を、‘Correct Rate’は正答率を示すものである。‘Understanding’は、テストの行動データに応じて評価されたユーザの問題と関連した行動パターンが、正答を導き出したユーザの行動パターンと類似するほど、高い数値を示すものである。例えば、正答を当てはしたものの、多くの時間悩んだり、間違えた解答過程で誤答を書いたり、検算を通じて修正したユーザは、‘Understanding’の数値が低い。
【0066】
図7の診断検査結果(Diagnostic info Data)に示されるように、例えば、診断検査装置は、第1の問題と関連した複数のユーザの分析情報(テストの行動データ)として、ストロークの総個数(Total stroke / N of strokes)、問題を解いた時間(Solving time)、遅延の総時間(Delay time)および遅延の回数(Number of Delays / N of Delays)の複数のユーザの平均値と、第1問題と関連した特定のユーザの生成されたストロークの総個数(Total stroke)、問題を解いた時間(Solving time)、遅延の総時間(Delay time)および遅延の回数(Number of Delays)とをそれぞれ対比することができる。
【0067】
例示的に、図7の第1の問題(Q1)と関連した、複数のユーザの、問題を解いた時間、遅延時間、ストロークの総個数、遅延の回数の平均値が、それぞれ44.4、124.2、89.3、15.3であるのに対し、第1問題(Q1)と関連した、ユーザの、問題を解いた時間、遅延時間、ストロークの総個数、遅延の回数は、44.0、21.2、88.0、7.0であるため、複数のユーザの遅延時間および遅延の回数の平均値に比べて非常に低い数値を示しているという点がユーザの問題の解答水準評価に考慮され得る。
【0068】
すなわち、診断検査装置は、上記対比結果に基づいて、特定のユーザの問題の解答水準を評価することができる。これと関連して、図8においては、例示的に、ストロークの総個数および遅延の回数を含むテストの行動データに基づいて、一つ以上の、ユーザの問題の解答水準を示している。
【0069】
最初に、例えば、あらかじめ決定された基準よりも相対的に、多くのストロークの数と、少ない遅延の数と、短い遅延時間を有するものと分析されたユーザの場合、診断検査装置は、さらにエントロピーを考慮することができ、それにより、高いエントロピーを持つユーザの問題の解答水準に対して、“戦略なしに一生懸命解いた”を、低いエントロピーを持つユーザの問題の解答水準に対しては、“戦略をきちんと立てて、解答過程を几帳面に記録する”と評価することができる。
【0070】
二番目に、平均的なストロークの数と、平均的な遅延の数と、平均的な遅延時間を有するものと分析されたユーザの場合、診断検査装置は、該当情報の詳細数値を考慮して、彼らに対して、“現在のところ、きちんと理解しているが、2~3週間後に再点検が必要である”または“平凡な水準であり、練習が必要である”と評価することができる。
【0071】
三番目に、多くのストロークの数と、多くの遅延の数と、長い遅延時間を有するものと分析されたユーザの問題の解答水準に対して、診断検査装置は、“きちんと分かっていない”と評価することができる。
【0072】
四番目に、少ないストロークの数と、少ない遅延の数と、長い遅延時間を有するものと分析されたユーザに対して、診断検査装置は、“暗算で解いた”と評価することができ、少ないストロークの数と、少ない遅延の数と、短い遅延時間を有するものと分析されたユーザに対して、診断検査装置は、“問題の項目に非常に慣れている”と評価することができる。
【0073】
最後に、少ないストロークの数と、非常に短い遅延を多数有するユーザに対しては、“解答過程中に繰り返し点検を進める”と評価することができる。
【0074】
図8に図示されたように、評価されたユーザの問題の解答水準に対する診断結果は、図7に図示された“行動パターン(Behavior Pattern)”の項目に診断結果として表示され得る。これを通じて、単純に問題に対する答えが正答であるか、または誤答であるかにのみ頼ってユーザを評価することから進歩して、ユーザが問題の解答過程において示す行動を多角度から分析し、そのような行動の原因を探すことができるため、より効率的かつ効果的なティーチング(teaching)が可能となり得る。例えば、ユーザの問題の解答過程において特定時間以上の非常に長い遅延が発生した場合に、該当ストロークの色を異ならせて表示したり、該当ストロークの領域に遅延時間をタギング(tagging)することによって、ユーザの行動の診断結果をより視覚的に表現することができる。これを通じて、教育者が学習者により効果的な教授法を考案することもできる。
【0075】
また、上述したように、診断検査装置は、問題に関するメタデータを使用することもできる。図7および図8は、特定の問題に関するユーザのテストの行動データに基づいたユーザの問題の解答水準についてのみ図示しているが、これを問題に関するメタデータと組み合わせると、ユーザがどのようなタイプの問題について強みまたは弱みを持っているのかを判断することができる。テスト診断モジュール(35)は、特にユーザの強みまたは弱みを判断するための特定タイプの問題(例えば、幾何パート)を、問題に関するメタデータを基準として選択することもできる。
【0076】
一方、図3ないし図8と関連して上述した過程は、テスト診断モジュール(35)により遂行され得、テスト診断モジュール(35)に関する説明が適用され得る。
【0077】
以下において、図2の診断検査装置(30)に含まれる認知および行動診断モジュール(36)およびカスタマイズ型学習モジュール(37)について、より具体的に説明する。
【0078】
認知および行動診断モジュール(36)およびカスタマイズ型学習モジュール(37)が、スマートペンを利用した診断検査方法(900)を遂行するための各ステップを行うこともできる。すなわち、以下において説明される診断検査方法(900)を遂行する診断検査装置は、認知および行動診断モジュール(36)および/またはカスタマイズ型学習モジュール(37)であり得る。代案として、認知および行動診断モジュール(36)および/またはカスタマイズ型学習モジュール(37)が、テスト診断モジュール(35)が行うステップの一部または全てを実質的に遂行することもでき、テスト診断モジュール(35)の出力を利用することもできる。
【0079】
図9を参照して、スマートペンを利用した診断検査方法(900)をより詳細に説明すると、次のとおりである。
【0080】
先ず、ユーザは、診断検査のために提示される少なくとも一つの問題について、印刷物にスマートペンで問題の解答のような情報を入力することができる。以後、診断検査装置は、上記スマートペンで入力した情報に基づくスマートペンの入力データを獲得するステップを遂行することができる(S901)。
【0081】
次に、診断検査装置は、獲得された入力データから、上記スマートペンのユーザの上記少なくとも一つの問題と関連した分析情報として、ユーザのテストの行動データを生成するステップを遂行することができる(S902)。図3に図示されたステップS301およびS302と関連した具体的な説明は、図9のステップS901およびS902にも同一に適用され得る。また、ステップS901およびS902は、テスト診断モジュール(35)および/または認知および行動診断モジュール(36)により遂行されることもあり得、認知および行動診断モジュール(36)は、テスト診断モジュール(35)において遂行されるステップS901およびS902の出力データを受信することもできる。
【0082】
次に、診断検査装置は、ユーザのテストの行動データおよび問題に関するメタデータに基づいて、ユーザに関する認知および行動を分析するステップを遂行することができる(S903)。
【0083】
一実施例として、認知的分析エンジンのような認知および行動診断モジュール(36)により、自信、根気、推論力、暗記力、深層理解力、計算能力、問題理解力、試験戦略、集中力(focus)、創意力(creativity)、暗算速度(mental math speed)、理解速度(speed of understanding)、慎重さ(carefulness)、柔軟性(flexibility)といった認知要素を算出することができる。このような要素は、例えば、次のように定義され得る。根気は、どれくらいの根気を持って問題の解答を進めるかを示す指標であり得、推論力は、論理的な推論をしながら試験を受けているかを示す指標であり得、暗記力は、概念と公式を正確に記憶し、きちんと使用するかを示す指標であり得、計算能力は、数学の基礎的能力のうちの一つである演算能力を測定する指標であり得、問題理解力は、問題の項目の情報を正確に読み、解釈して正しい戦略を立てるかを示す指標であり得、試験戦略は、試験を行う際に戦略的に解答を進めるかを確認する指標であり得る。集中力は、実質的な思考が必要な問題を通じて集中を維持することができる能力(ability to maintain focus through questions that need substantial thinking)を示す指標であり得、創意力は、他の学生と比較して相対的に短く/創意工夫のある応答で答えることができる能力(ability
to answer with short/creative responses
relative to other students)を示す指標であり得、理解速度は、問題を迅速かつ正確に理解し、応答を始めることができる能力(ability
to quickly and correctly understand questions and start answering)を示す指標であり得、慎重さは、リスクを回避し、答案を再確認すること(being risk-averse and double-checking answers)を示す指標であり得、柔軟性は、問題を答えながら成功的に過程を直すことができる能力(ability to successfully course-correct while answering a question)を示す指標であり得る。
【0084】
認知および行動診断モジュール(36)は、ユーザの成果に重大な影響を与える核心的な認知要素(key underlying cognitive components)の評価表(score card)を示すために、試みた問題に関するメタデータとユーザのテストの行動データの組み合わせにデータアルゴリズムを適用することができる。ユーザの成果に影響を及ぼす根本的な原因を示すことによって、ユーザは、彼らのテストの行動により持続可能な修正を具現するようにすることができる。
【0085】
認知および行動診断モジュール(36)は、問題に関するユーザのテストの行動データおよびメタデータに基づいて、ユーザの認知と関連した自信、推論力、暗記力などのような“認知要素”を判断することができる。認知および行動診断モジュール(36)はまた、問題に関するユーザのテストの行動データおよびメタデータに基づいて、問題の解答に対するユーザの“行動要素”を分析することもでき、一実施例として、テストの行動データおよびメタデータに基づいて、ユーザが問題を読んだ時間に対する判断、問題を解釈する行動に対する判断などを遂行することもできる。すなわち、認知および行動診断モジュール(36)は、スマートペンのようなデータ収集装置を使用して獲得されたデータから計算される行動メトリックの数値的な分析を通じて、各学生の“認知および行動要素”に接近することができ、認知および行動要素は、認知および行動診断要素(CBD Factor;Cognitive & Behavioral Diagnostics Factor)と称することもできる。CBD要素およびそれに従属的な行動メトリックが、表1において例示的に示される。
【0086】
【表1】
【0087】
従属的なメトリックは、認知および行動要素(CBD Factor)と関連して、下記のように例示的に考慮され得る。
【0088】
自信(confidence)
- stroke_gap_time(ストローク間の間隔の合計であって、筆記が行なわれない時間):数値が高ければ、問題を解きながら沢山悩んだと見ることができる。
- Count_of_long_pauses(長時間考えた総回数):長時間悩んだ回数が多ければ高い数値が出て、悩んだ回数が少なければ低い数値が出る。
- Writing_speed(問題の解答を進めるときの筆記速度):学生間の速度の比較だけでなく、試験を行いながら、問題の項目別の解答速度の差も考慮する。相対的に、自信をもって素早く解答が進められれば高い数値が、そうでなければ低い数値が出る。
- Initiation_speed(問題の解答を始めるときの筆記速度):問題の項目を理解し、解答を始めるときの進行速度を意味し、多くの学生は、自信があり確信のある問題は解答の開始速度が速い方である。
【0089】
根気(Grit)
- Stroke_length(問題を解く間に発生した筆記の総長さ):数値が高ければ、相対的に解答の量が多いことを意味する。
- Stroke_time(筆記が行なわれた総時間の合計):解答の進行時間が長ければ長いほど、高い数値で表現される。
- Writing_speed(問題の解答を進めるときの筆記速度):相対的に、自信をもって素早く解答が進められれば高い数値が、そうでなければ低い数値が出る。
- Initiation_speed(問題の解答を始めるときの筆記速度):多くの学生は、自信があり確信のある問題は解答の開始速度が速い方である。
試験戦略
【0090】
図10は、x軸に、問題を解いた順序に応じて問題番号を羅列し、各問題を解いた時間をy軸に示す。例えば、前の半分および後ろの半分の問題について正答率と所要時間をそれぞれ計算し、試験を行う際に、学生本人が解くことができる問題について戦略的に先に解答を進めるのかを確認する指標を算出することができる。
【0091】
従属的なメトリックから認知および行動要素(CBD Factor)を誘導するための具体的な内容は、下記のとおりである。
【0092】
ステップ1:
各固有の問題に対する一連の応答について、認知および行動診断モジュール(36)は、学生のレベルにおいて、関連した行動メトリックのz点数(z-score)を決定することができる。これは、特定のメトリックに対する学生の相対的パフォーマンスを決定するためである。z点数は、次のような式で与えられ得る。


ここで、Xは、問題に対する学生の行動メトリック値であり、μは、問題に対する全ての応答における行動メトリックの平均値であり、σは、問題に対する全ての応答における行動メトリックの標準偏差である。
【0093】
ステップ2:
認知および行動診断モジュール(36)は、z点数を一定のスケール上に正規化(normalize)することができる。例えば、認知および行動診断モジュール(36)は、z点数を1~10のスケールに正規化することができる。これは、異なるメトリックに対するz点数の比較を容易にするためである。正規化されたz点数は、次のような式で与えられ得る。
ここで、min(z)は、応答セットのうち、行動メトリックに対するz点数の最小値であり、max(z)は、応答セットのうち、行動メトリックに対するz点数の最大値である。
【0094】
ステップ3:
認知および行動診断モジュール(36)は、CBD要素の様々なコンポーネントについて正規化されたz点数の加重平均(weighted average)を特定のCBD要素に関する学生の最終スコアとして算出することができる。これにより、このモジュールを使用して、本発明のシステムはユーザの遂行能力を左右する認知要因の深層的理解を提供することができる。したがって、認知および行動診断モジュール(36)は、単純に表面的な症状を治すためのものではなく、遂行格差の根本原因を直すことを目標とすることができる。
【0095】
上記ステップと関連して、図11を参照して説明すると、次のとおりである。
認知および行動診断モジュール(36)は、問題に関するメタデータに基づいた特定のタグを持つ固有の問題についてフィルタリングするステップを遂行することができる(S1001)。一例として、上記特定のタグを持つ固有の問題について複数のユーザのそれぞれがスマートペンを使用して応答することにより、得られた応答が正答および誤答に分類されることもあり得る。一例として、複数のユーザのそれぞれからテストの行動データを獲得することができる。このような問題に関するメタデータに基づいた特定のタグを持つ固有の問題についてフィルタリングするステップは、省略され得る。
【0096】
認知および行動診断モジュール(36)は、CBD要素を誘導するために、CBD要素と関連してあらかじめ定義された関数式内に含まれた少なくとも一つのメトリックのそれぞれについて、z点数を計算するステップを遂行することができる(S1002)。一例として、特定のユーザの特定の行動メトリックのz点数は、上記特定のユーザの特定の行動メトリックの値(X)と、複数のユーザの特定の行動メトリックの平均値(μ)との差を、上記複数のユーザの特定の行動メトリックの標準偏差値(σ)で割った値として、算出され得る。
【0097】
認知および行動診断モジュール(36)は、少なくとも一つのメトリックのそれぞれについて計算されたz点数を正規化するステップを遂行することができる(S1003)。例えば、認知および行動診断モジュール(36)は、z点数を1~10のスケールに正規化することができ、また、10~1のスケールに正規化することもできる。一例として、CBD要素と関連してあらかじめ定義された関数式内に含まれた少なくとも一つのメトリックのそれぞれについて計算されたz点数が正規化され得る。
【0098】
認知および行動診断モジュール(36)は、少なくとも一つのメトリックについて正規化されたz点数に対して加重平均を付与することにより、正規化されたz点数の加重平均を該当CBD要素の値と決定することができる(S1004)。また、図11においては図示されてはいないが、加重平均された最終スコアに他の要因による加重値(例えば、年齢による加重値)がさらに付与(例えば、Age-weighting)されることもあり得る。
【0099】
図11に図示されたステップを遂行する一実施例として、図12は、表1の認知および行動要素のうち、“深層理解力(Deep understanding)”を誘導するための計算フローを示している。表1においては、深層理解力を誘導するためのパラメータとして、問題に関するメタデータおよび行動メトリックを含んでいる。具体的に、メタデータとして、concept_application_tagが提示され、行動メトリックとしては、ストローク長さ(stroke_length)、総時間(total_time)が考慮され得る。
【0100】
図12を参照すると、初めに、全ての問題に対する応答のレベルデータにフィルタを適用して、応答のレベルにおいて、特定の問題タグ(Q_tag)(例えば、concept_application_tag)を有する問題をフィルタリングすることができる。次に、各行動メトリックについて、問題のレベルにおいて、z点数を計算することができ、計算されたz点数を正規化して、正規化されたz点数を獲得することができる。図12の上段においては、総時間(total_time)メトリックに対するz点数として、Z_Total Time、および正規化されたz点数として、Z_Norm_Total_Timeを示しており、図12の下段においては、ストローク長さ(stroke_length)メトリックに対するz点数として、Z_Stroke_Length、および正規化されたz点数として、Z_Norm_Stroke_Lengthを示している。その次に、学生のレベルにおいて、該当メトリックの点数を集め(aggregate)、該当メトリックに対して加重平均を付与することができる。例えば、図12においては、総時間メトリックに対して50%の加重値を付与し、ストローク長さメトリックに対して50%の加重値を付与して、結果的に、CBD要素のうち、“深層理解力”のインデックス(Deep_Understanding_Index)を算出することができる。
【0101】
一方、問題に関しては、間違えた応答について長い総時間が所要され、かつ正しい応答について長い総入力長さが必要な問題であれば、根気と関連した問題であると評価され得る。正しい応答について長い総思考時間が所要され、かつ正しい応答について長い遅延が多く発生した場合であれば、集中が必要な問題であると評価され得る。正しい応答について多くのストローク回数が発生し、正しい応答について長い総時間が所要されれば、創意力が必要な問題であると評価され得る。正しい応答に対して長い初期時間が所要されれば、理解速度と関連した問題であると評価され得る。長い総時間が所要され、計算と関連した問題であれば、暗算速度と関連した問題であると評価され得る。また、試験のレベルにおいて、学生のCBD要素が評価され得、問題のレベルにおいて、該当問題のCBD要素が評価されることもあり得る。例えば、試験を通じて該当学生に根気があるのかが評価され得、様々な問題について1000人が解いたときに、どのような問題が、根気が必要な問題であるのかが評価され得る。
【0102】
再び図9を参照すると、診断検査装置は、ユーザに関する認知および行動分析結果に基づいて、ユーザに対する個人化したスタディプラン(study plan)を提供するステップを遂行することができる(S904)。
【0103】
一実施例として、認知および行動診断モジュール(36)により分析された結果を利用して、カスタマイズ型学習モジュール(37)は、ユーザに対する個人化したスタディプランを提供することができる。カスタマイズ型学習モジュール(37)は、練習を通じてユーザの不足した点を強化させる特定の問題セットを識別することができ、識別された特定の問題セットをユーザに提供することができる。このようなアルゴリズムを通じて、カスタマイズ型学習モジュール(37)は、ユーザの認知および行動分析について持続的に学習することで、時間が経つにつれて推奨練習問題の品質を向上させるように調整することができる。
【0104】
また、カスタマイズ型学習モジュール(37)は、人工知能を利用した機械学習(machine learning)を通じて、ユーザに対する繰り返しの診断および分析を行うことができ、これにより、ユーザにカスタマイズ型スタディプランを提供することができるため、最適化したカスタマイズ型学習モジュールであると言える。
【0105】
具体的に、カスタマイズ型学習モジュール(37)は、認知および行動診断モジュール(36)において識別された認知および行動上の弱みを連結することを目的とすることができる。カスタマイズ型学習モジュール(37)は、CBDインデックスを使用するマルチレイヤー協調フィルタリング推薦エンジン(multi-layer collaborative filtering recommendation engine)のような方式を使用してユーザの水準のスタディプランを出力することができるため、ユーザの認知的弱点領域を強化させる練習問題を正確に導き出すことができる。ここで、CBDインデックスは、上述したCBD要素に関する値であり得る。
【0106】
カスタマイズ型学習モジュール(37)は、認知および行動診断モジュール(36)から、分析されたCBDインデックスを入力として獲得することができる。例えば、各ユーザ(学生)に対して、各学生および学生が答えた各質問について異なるCBDインデックスの値が入力として提供され得る。例えば、下記のような行列形式でCBDインデックスの値が提供され得る。
【0107】
このような行列は、各CBDインデックスに対して構成され得る。したがって、認知および行動診断モジュール(36)から導き出された、自信、根気、推論力、暗記力、深層理解力、計算能力、問題理解力、試験戦略を含む8個のCBD要素に対して、計8個の行列が提供されることもあり得る。
【0108】
次に、カスタマイズ型学習モジュール(37)は、i)問題間の類似度およびii)学生間の類似度を決定するために、このような行列に類似度関数、例えば、コサイン類似度(cosine similarity)を適用することができる。
【0109】
これにより、下記のように二つの行列が生成され得る。
【0110】
類似度の値は、下記表現式を使用して計算され得る。
【0111】
例えば、計算されたコサイン類似度の値が1に近いほど、二つのベクトルの類似度が高い。カスタマイズ型学習モジュール(37)は、i)問題間の類似度およびii)学生間の類似度を計算した後、特定の学生についての、特定の問題に対する認知ギャップメトリック(cognitive gap metric)を下記式で計算することができる。
ここで、iは、問題識別子といい、vは、学生識別子ということができる。
【0112】
このような認知ギャップメトリックは、上述した8個の全てのCBDインデックスについて計算され得、各問題-学生の組み合わせについて総計(aggregate)が計算され得る。これは、大きさ順に整列され、各学生に対して一番高い総認知ギャップメトリックを有する問題が、学生のために、彼らの弱みを解消するように最も薦められ得る。
【0113】
また他の実施例としては、このような認知ギャップメトリックは、上述した8個の全てのCBDインデックスについて計算され得、各問題-学生の組み合わせについて大きさ順に整列され、各学生に対して一番高い認知ギャップメトリックを有する問題が、学生のために、彼らの弱みを解消するように最も薦められ得る。例えば、問題間の類似度および学生間の類似度が計算された際に、類似度が最も小さな部分、すなわち、CBD要素に最も大きな差が生じる部分を優先的に考慮して、問題が薦められ得る。すなわち、根気が足りないと(学生のレベルにおいて)判断された学生には、根気と関連した(問題の項目のレベルにおいて)問題の項目が薦められ得、根気が足りない他の学生がきちんと解けなかった問題の項目が薦められ得る。
【0114】
また、このような類似度関数を利用して、類似した行動特性を持った学生が多く間違えた問題の項目や、類似した実力(点数)を持った学生が間違えた問題の項目を薦めることができる。
【0115】
このように、カスタマイズ型学習モジュール(37)は、以前のモジュールであるテスト診断モジュール(35)、および認知および行動モジュール(36)において分析された結果を使用して、ユーザに対する繰り返しの分析および判断を通じて機械学習を遂行することができ、これにより、ユーザに最も適した問題を薦めることにより、ユーザ-カスタマイズ型スタディプランを提供することができる。例えば、カスタマイズ型学習モジュール(37)は、機械学習を通じて、暗記力が不足したユーザおよび/または暗記力を要する問題を識別することもでき、深層理解力が不足したユーザおよび/または深層理解力を要する問題を識別することもできる。カスタマイズ型学習モジュール(37)は、例えば、暗記力が不足したユーザに暗記力を要する問題として識別された問題セットを提供することにより、または深層理解力が不足したユーザには深層理解力を要する問題として識別された問題セットを提供することにより、ユーザ-カスタマイズ型スタディプランを提供することができる。また、カスタマイズ型学習モジュール(37)は、認知および行動モジュール(36)からの分析結果を持続的に学習することで、時間が経つにつれて推奨練習問題の品質を向上させるように調整されることもあり得る。
【0116】
上記方法の説明およびプロセスフローチャートは、単に例示的な例として提供され、様々な実施形態のステップが提示された順序で遂行されなければならないということを要したり、または暗示しようとすることを意図しない。当業者が周知しているとおり、上述した実施形態において、ステップの順序は任意の順序で遂行されることもあり得る。“したがって”、“次に”などのような単語は、ステップの順序を限定しようとすることを意図せず、これらの単語は、方法の説明を通じて読者を案内するために使用される。
【0117】
本願において開示された実施形態と関連して説明した、様々な例示的なロジックブロック、モジュール、回路、およびアルゴリズムのステップは、電子的ハードウェア、コンピュータソフトウェア、または両者の組み合わせを以って具現され得る。このようなハードウェアとソフトウェアの相互交換の可能性を明確に例示するために、以上においては、様々な例示的な構成要素、ブロック、モジュール、回路およびステップをそれらの機能の観点から一般的に説明した。
【0118】
本願において開示された様態と関連して説明した、様々な例示的なロジック、ロジックブロック、モジュール、および回路を具現するために使用されるハードウェアは、汎用プロセッサ、デジタル信号プロセッサ(DSP)、注文型集積回路(ASIC)、フィールドプログラミング可能ゲートアレイ(FPGA)または他のプログラミング可能ロジックデバイス、離散ゲートまたはトランジスタロジック、離散ハードウェア構成要素、または本願において説明した機能を遂行するように設計されたこれらの任意の組み合わせにより具現されたり、または遂行されることもあり得る。また、一つ以上の例示的な様態において、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせにより具現されることもあり得る。ソフトウェアにより具現される場合、機能は、一つ以上の命令またはコードを以って、コンピュータ-読み取り可能な媒体上に格納されたり、コンピュータ-読み取り可能な媒体を通じて送信されることもあり得、ハードウェア-基盤プロセッシングユニットによって実行されることもあり得る。コンピュータ-読み取り可能な媒体は、データ格納媒体のようなタイプの媒体に対応するコンピュータ-読み取り可能な格納媒体を含むこともできる。制限がない例として、このようなコンピュータ-読み取り可能な格納媒体は、RAM、ROM、EEPROM、CD-ROMまたは他の光学ディスク格納、磁気ディスク格納、または、他の磁気格納デバイス、フラッシュメモリ、または命令またはデータ構造の形態で所望のプログラムコードを格納するために利用され得、コンピュータによりアクセスされ得る任意の他の媒体を含むことができる。
【0119】
開示された実施形態の上記説明は、任意の当業者が本発明を実施し、利用することができるように提供される。これらの実施形態に対する様々な変更は当業者にとって明白なものであり、本願において定義した一般的な原理は、本発明の精神または範囲から逸脱することなく、他の実施形態に適用されることもあり得る。したがって、本発明は、本願において示した実施形態に限定しようとするものではなく、以下の請求の範囲に符合する最も広義の範囲、および本願において開示された原理および新規の特徴が与えられるようにするものである。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12