(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118515
(43)【公開日】2024-09-02
(54)【発明の名称】評価装置、評価方法、および評価プログラム
(51)【国際特許分類】
G09B 19/00 20060101AFI20240826BHJP
G09B 7/02 20060101ALI20240826BHJP
G06Q 50/20 20120101ALI20240826BHJP
【ＦＩ】
G09B19/00 H
G09B7/02
G06Q50/20
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023024830
(22)【出願日】2023-02-21
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110000970
【氏名又は名称】弁理士法人 楓国際特許事務所
(72)【発明者】
【氏名】荒木 咲也
(72)【発明者】
【氏名】秋野 悠介
(72)【発明者】
【氏名】平井 義弘
(72)【発明者】
【氏名】太田 紘史
【テーマコード（参考）】
2C028
5L049
5L050
【Ｆターム（参考）】
2C028AA03
2C028BA02
2C028BD01
5L049CC34
5L050CC34
(57)【要約】
【課題】ユーザの理解度の推定精度を向上させる技術を提供する。
【解決手段】第１取得部が、ユーザが提示された問題を解答するのに要した解答時間を取得する。第２取得部が、ユーザが問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する。推定部が、第１取得部によって取得された解答時間、および第２取得部によって取得された文字入力時間を用いて、問題に対するユーザの理解度を推定する。
【選択図】図４
【解決手段】第１取得部が、ユーザが提示された問題を解答するのに要した解答時間を取得する。第２取得部が、ユーザが問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する。推定部が、第１取得部によって取得された解答時間、および第２取得部によって取得された文字入力時間を用いて、問題に対するユーザの理解度を推定する。
【選択図】図４
【特許請求の範囲】
【請求項1】
ユーザが提示された問題を解答するのに要した解答時間を取得する第１取得部と、
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する第２取得部と、
前記第１取得部によって取得された前記解答時間、および前記第２取得部によって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定部と、
を備えた評価装置。
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する第２取得部と、
前記第１取得部によって取得された前記解答時間、および前記第２取得部によって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定部と、
を備えた評価装置。
【請求項2】
前記第１取得部は、
前記問題が表示器の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻とし、且つ、
別の問題を前記表示器の画面に表示させる入力を受け付けた時刻を、ユーザが前記表示器の画面に表示されていた前記問題の解答を完了した時刻として、前記解答時間を取得する、
請求項１に記載の評価装置。
前記問題が表示器の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻とし、且つ、
別の問題を前記表示器の画面に表示させる入力を受け付けた時刻を、ユーザが前記表示器の画面に表示されていた前記問題の解答を完了した時刻として、前記解答時間を取得する、
請求項１に記載の評価装置。
【請求項3】
前記別の問題を前記表示器の画面に表示させる入力の１つは、その時点において表示器の画面に表示されている前記問題の解答完了にかかる入力である、
請求項２に記載の評価装置。
請求項２に記載の評価装置。
【請求項4】
前記推定部は、前記第１取得部によって取得された前記解答時間から、前記第２取得部によって取得された前記文字入力時間を差し引いた思考時間を基に、前記問題に対するユーザの理解度を推定する、請求項１～３のいずれかに記載の評価装置。
【請求項5】
前記推定部は、ユーザに提示した前記問題の基準思考時間と、当該問題におけるユーザの前記思考時間と、を比較して、前記問題に対するユーザの理解度を推定する、請求項４に記載の評価装置。
【請求項6】
前記第２取得部は、前記問題をユーザに提示した後、当該問題の解答にかかる文字列の入力操作を最初に受け付けた時刻を、当該ユーザが当該問題の解答にかかる文字列の入力を開始した時刻として、前記文字入力時間を取得する、
請求項１に記載の評価装置。
請求項１に記載の評価装置。
【請求項7】
前記第２取得部は、前記問題の解答にかかる文字列の入力を受け付けてから、次の文字列の入力操作を受け付けるまでの入力待ち時間が、設定時間を超えていれば、この入力待ち時間を前記文字入力時間としない、
請求項６に記載の評価装置。
請求項６に記載の評価装置。
【請求項8】
前記推定部は、ユーザに提示した前記問題の基準文字入力時間と、前記第２取得部によって取得された当該問題におけるユーザの前記文字入力時間と、を比較して、当該ユーザの文字入力技量を推定する、
請求項１に記載の評価装置。
請求項１に記載の評価装置。
【請求項9】
ユーザが提示された問題を解答するのに要した解答時間を取得する解答時間取得ステップと、
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する文字入力時間取得ステップと、
前記解答時間取得ステップによって取得された前記解答時間、および前記文字入力時間取得ステップによって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定ステップと、
をコンピュータが実行する評価方法。
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する文字入力時間取得ステップと、
前記解答時間取得ステップによって取得された前記解答時間、および前記文字入力時間取得ステップによって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定ステップと、
をコンピュータが実行する評価方法。
【請求項10】
ユーザが提示された問題を解答するのに要した解答時間を取得する解答時間取得ステップと、
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する文字入力時間取得ステップと、
前記解答時間取得ステップによって取得された前記解答時間、および前記文字入力時間取得ステップによって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定ステップと、
をコンピュータに実行させる評価プログラム。
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する文字入力時間取得ステップと、
前記解答時間取得ステップによって取得された前記解答時間、および前記文字入力時間取得ステップによって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定ステップと、
をコンピュータに実行させる評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、ユーザの知識や学力の判断し、評価する技術に関する。
【背景技術】
【0002】
従来、ユーザに情報処理端末を操作させて、学習させたり、受験させたりすることが行われている。例えば、ユーザに情報処理端末を操作させて、ユーザの知識や学力を判断し、評価する試験を行う方式の１つにＣＢＴ（Computer Based Testing）がある。ＣＢＴでは、受験者であるユーザが操作する情報処理端末の表示器の画面に試験の問題が表示される。ユーザは、情報処理端末において、表示器の画面に表示された試験の問題の解答を入力する入力操作を行う。ユーザの知識や学力は、このユーザの解答の採点結果を基に判断される。ＣＢＴで使用される情報処理端末は、例えばパーソナルコンピュータや、タブレット端末である。
【0003】
なお、試験に限らず、学習時においても、ユーザに演習問題を解答させることによって、当該ユーザの知識や学力を判断できる。
【0004】
また、ユーザの知識や学力の判断に、問題の解答時間を用いることが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１１－ １８０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、解答時間は、問題が情報処理端末の表示器に画面に表示された時点から、ユーザが問題に対する解答の入力を完了する時点までの時間である。
【0007】
ユーザは、情報処理端末で提示された問題を解答する場合、提示された問題を読んで思考し（考え）、得られた問題の解答にかかる文字列を入力する。すなわち、解答時間には、問題を読んで解答を思考する思考時間、および、問題の解答にかかる文字列を入力する文字入力時間が含まれている。一般的に、文字入力時間は、手先が器用なユーザほど短くなる傾向にある。
【0008】
したがって、特許文献１に記載されている、解答時間が長くなるにつれて、問題に対するユーザの理解度が低いと判断する構成では、ユーザの理解度が誤って判断される可能性が高くなる。例えば、文字入力時間が短いユーザ（例えば、手先が器用なユーザ）の理解度を誤って実際よりも高く判断してしまう可能性や、反対に、文字入力時間が長いユーザ（例えば、手先が不器用なユーザ）の理解度を誤って実際よりも低く判断してしまう可能性が高くなる。
【0009】
この発明の目的は、ユーザの理解度の推定精度を向上させる技術を提供することにある。
【課題を解決するための手段】
【0010】
この発明の評価装置は、上記目的を達成するため以下に示すように構成している。
【0011】
第１取得部は、ユーザが提示された問題を解答するのに要した解答時間を取得する。第１取得部は、例えば、問題が表示器の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻にすればよい。また、第１取得部は、例えば、別の問題を表示器の画面に表示させる入力を受け付けた時刻を、ユーザが表示器の画面に表示されていた問題の解答を完了した時刻にすればよい。この別の問題を表示器の画面に表示させる入力としては、例えば、その時点で表示されている問題に対する解答完了にかかる入力、次の問題を表示器の画面に表示させる入力を含めればよい。
【0012】
第２取得部は、ユーザが問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する。第２取得部は、例えば、問題をユーザに提示した後、当該問題の解答にかかる文字列の入力操作を最初に受け付けた時刻を、当該ユーザが当該問題の解答にかかる文字列の入力を開始した時刻にすればよい。また、また、第２計測部は、例えば、別の問題を表示器の画面に表示させる入力を受け付けた時刻を、ユーザが表示器の画面に表示されていた問題の解答にかかる文字列の入力を完了した時刻にすればよい。
【0013】
推定部は、第１取得部によって取得された解答時間、および第２取得部によって取得された文字入力時間を用いて、問題に対するユーザの理解度を推定する。例えば、推定部は、第１取得部によって取得された解答時間から、第２取得部によって取得された文字入力時間を差し引いた思考時間を基に、問題に対するユーザの理解度を推定する。思考時間には、ユーザが表示器の画面に表示された問題を読む時間が含まれている。
【0014】
したがって、この構成によれば、ユーザの理解度を、そのユーザの文字入力時間の長さに影響されることなく推定できる（例えば、ユーザの手先の器用さに影響されることなく推定できる。）。すなわち、ユーザの理解度の推定精度を向上させることができる。
【0015】
また、推定部は、例えば、ユーザに提示した問題の基準思考時間と、当該問題におけるユーザの思考時間と、を比較して、問題に対するユーザの理解度を推定する構成にしてもよい。このように構成すれば、問題の難易度に応じて、ユーザの理解度を推定することができる。基準思考時間は、例えば、問題の作成者が、問題の難易度に基づいて設定した時間としてもよいし、その問題に正答したユーザの思考時間の平均値、中央値としてもよいし、その問題に正答したユーザの中で、思考時間が短い上位所定人数のユーザの思考時間の平均値、中央値としてもよいし、これら以外の手法で設定してもよい。
【0016】
また、第２取得部は、例えば、問題の解答にかかる文字列の入力操作を受け付けてから、次の文字列の入力操作を受け付けるまでの入力待ち時間が、設定時間（数秒（例えば、１～３秒））を超えていれば、この入力待ち時間を文字入力時間としない構成にしてもよい。このように構成すれば、第２取得部において取得される文字入力時間に含まれる思考時間（例えば、ユーザが問題の解答にかかる文字列の入力途中に、問題の読み直しに要した時間や、問題の解答の再思考に要した時間）を抑えられる。これにより、ユーザの理解度の推定精度のさらなる向上が図れる。
【0017】
さらに、推定部は、ユーザに提示した問題の基準文字入力時間と、第２取得部によって取得された当該問題におけるユーザの文字入力時間と、を比較して、当該ユーザの文字入力技量を推定してもよい。基準文字入力時間は、例えば、問題の作成者が、問題の正答に基づいて設定した時間としてもよいし、その問題に正答したユーザの文字入力時間の平均値、中央値としてもよいし、その問題に正答したユーザの中で、文字入力時間が短かった上位所定人数のユーザの文字入力時間の平均値、中央値としてもよいし、これら以外の手法で設定してもよい。
【発明の効果】
【0018】
この発明によれば、ユーザの理解度の推定精度を向上させることができる。
【図面の簡単な説明】
【0019】
【図1】ＣＢＴ（Computer Based Testing）方式で試験を実施するネットワークシステムを示す概略図である。
【図2】図２（Ａ）は、ユーザ端末がサーバ装置１から配信されてきた問題を表示した表示器の画面例を示す図であり、図２（Ｂ）は、表示器の画面に表示されている問題に対する解答の入力途中の表示器の画面例を示す図であり、図２（Ｃ）は、表示器の画面に表示されている問題に対する解答の入力完了時の表示器の画面例を示す図である。
【図3】図３（Ａ）は、ユーザ端末がサーバ装置１から配信されてきた問題を表示した表示器の画面例を示す図であり、図３（Ｂ）は、表示器の画面に表示されている問題に対する解答の入力途中の表示器の画面例を示す図であり、図３（Ｃ）は、表示器の画面に表示されている問題に対する解答の入力完了時の表示器の画面例を示す図である。
【図4】サーバ装置の主要部の構成を示すブロック図である。
【図5】ユーザ端末の主要部の構成を示すブロック図である。
【図6】この例のユーザ端末の動作を示すフローチャートである。
【図7】この例のサーバ装置の動作を示すフローチャートである。
【図8】図８（Ａ）は、表示器の画面に問題が表示された直後（ユーザの解答時間が０である時点）の画面例であり、図８（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図８（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
【発明を実施するための形態】
【0020】
以下、この発明の実施形態について説明する。
【0021】
＜１．適用例＞
図１は、ＣＢＴ（Computer Based Testing）方式で試験を実施するネットワークシステムを示す概略図である。この例のネットワークシステムは、図１に示すように、ネットワーク５を介して複数のユーザ端末２をサーバ装置１にデータ通信可能に接続した構成である。この例は、この発明にかかる評価装置をサーバ装置１に適用した例である。
図１は、ＣＢＴ（Computer Based Testing）方式で試験を実施するネットワークシステムを示す概略図である。この例のネットワークシステムは、図１に示すように、ネットワーク５を介して複数のユーザ端末２をサーバ装置１にデータ通信可能に接続した構成である。この例は、この発明にかかる評価装置をサーバ装置１に適用した例である。
【0022】
なお、後述の変形例で記載するように、この発明にかかる評価装置をサーバ装置１ではなく、ユーザ端末２に適用することも可能である。
【0023】
ユーザ端末２は、ＣＢＴ方式で実施される試験を受験するユーザが操作するパーソナルコンピュータや、タブレット端末である。この例のサーバ装置１は、ユーザが操作するユーザ端末２に対して試験の問題を配信（送信）する。また、サーバ装置１は、ユーザ端末２から送信されてきたユーザの解答の採点等を行う。
【0024】
この例では、サーバ装置１は、試験の開始前に、この試験でユーザに解答させる全ての問題をユーザ端末２に配信している。例えば、サーバ装置１は、試験の問題がｎ問（ｎは、自然数）である場合、試験の開始前に、ｎ問の問題（問題１～問題ｎ）をユーザ端末２に配信している。言い換えれば、ユーザ端末２には、試験の開始前に、今回の試験の全ての問題がサーバ装置１から配信されている。
【0025】
例えば、以下に示す問題１、問題２等が、サーバ装置１からユーザ端末２に配信される。
【0026】
・問題１
『以下の英語を日本語に訳しなさい。
「You behave like your mother」』
・問題２
『以下の日本語を英語に訳しなさい。
「ジョンは、世界中に多くの友達がいる。」』
なお、ここでは、問題を２問例示しているだけであり、試験の問題数が２問であるという意味ではない。試験の問題数は、１問以上であれば、何問であってもよい。
『以下の英語を日本語に訳しなさい。
「You behave like your mother」』
・問題２
『以下の日本語を英語に訳しなさい。
「ジョンは、世界中に多くの友達がいる。」』
なお、ここでは、問題を２問例示しているだけであり、試験の問題数が２問であるという意味ではない。試験の問題数は、１問以上であれば、何問であってもよい。
【0027】
この例のユーザ端末２は、サーバ装置１から配信されてきた試験の問題を順番に表示器の画面に表示する。図２（Ａ）は、問題１が表示器の画面に表示された状態を示している。
【0028】
ユーザは、ユーザ端末２が備える入力デバイス（マウス、キーボード、タッチパネル等）を操作して、表示器の画面に表示された問題に解答する（解答欄に解答を入力する。）。図２（Ｂ）は、解答欄に『あなたの振る舞いは、』が入力された状態を示している。図２（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例である。また、図２（Ｃ）は、解答欄に、『あなたの振る舞いは、母のようだ』が入力された状態を示している。図２（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
【0029】
ユーザ端末２は、ユーザによって、表示器の画面に表示している『次の問題』にかかるボタンを押下する操作がなされると、次の問題（この場合、問題２）を表示器の画面に表示する（図３（Ａ）参照）。この『次の問題』にかかるボタンを押下する操作は、その時点において表示器の画面に表示されている問題の解答完了にかかる入力操作の１つである。図３（Ｂ）は、図２（Ｂ）と同様に、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図３（Ｃ）は、図２（Ｃ）と同様に、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
【0030】
ユーザ端末２は、試験の問題がｎ問である場合、表示器の画面にｎ問目の問題を表示しているとき、『次の問題』にかかるボタンを押下する操作がなされると、表示器の画面に１問目の問題を表示する。また、ユーザ端末２は、『次の問題』にかかるボタンを押下する操作がなされた場合、次の問題を表示器の画面に表示したとき、その問題の解答欄が空欄であるとは限らない。具体的には、ユーザ端末２は、表示する問題が、ユーザが解答欄に何らかの文字列をすでに入力した問題である場合、その文字列を解答欄に表示する。例えば、ユーザ端末２は、表示器の画面に表示している『次の問題』にかかるボタンが押下され問題１を表示する場合、ユーザがすでに問題１の解答欄に『あなたの振る舞いは、』を入力済みであった場合、図２（Ｂ）に示す画面を表示器に表示させる。
【0031】
この例のユーザ端末２は、表示器の画面に問題が表示される毎、その問題について、表示器の画面に表示された時刻と、『次の問題』にかかるボタンが押下された時刻とを対にした解答時間情報を記憶する。また、ユーザ端末２は、表示器の画面に表示されている問題について、文字入力にかかる入力操作の文字入力履歴情報を記憶する。文字入力履歴情報は、操作された文字キーと、操作された時刻とを対にして時系列に並べた情報である。
【0032】
サーバ装置１は、問題毎に、ユーザの解答時間を、その問題の解答時間情報を基に取得する。例えば、サーバ装置１は、問題がユーザ端末２の表示器の画面に表示された時刻から、『次の問題』にかかるボタンがユーザによって押下された時刻までの時間を、ユーザの解答時間として取得する。
【0033】
なお、この例は、ユーザが、表示器の画面に表示している『次の問題』にかかるボタンを押下してから、次の問題がユーザ端末２の表示器の画面に表示されるまでの時間（表示遅れ時間）を、ユーザの解答時間に含まれないようにしている。しかし、この表示遅れ時間は、わずかな時間であることから、ユーザ端末２は、表示器の画面に問題が表示される毎、その問題について、表示器の画面に表示される直前に『次の問題』にかかるボタンが押下された時刻と、次に『次の問題』にかかるボタンが押下された時刻とを対にした解答時間情報を記憶する、構成にしてもよい。この場合、ユーザ端末２は、表示器の画面に問題が表示された時刻を検出しなくてもよいので、処理負荷が低減される。
【0034】
また、サーバ装置１は、問題毎に、ユーザが解答にかかる文字列を入力していた時間である文字入力時間を、その問題の文字入力履歴情報を基に取得する。サーバ装置１は、文字入力履歴情報を基に、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最初に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を開始した時刻として取得する。また、サーバ装置１は、文字入力履歴情報を基に、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最後に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を完了した時刻として取得する。サーバ装置１は、問題毎に、その問題について、ユーザが解答にかかる文字列の入力操作を開始した時刻と、解答にかかる文字列の入力操作を完了した時刻との時間差を、当該問題におけるユーザの文字入力時間として取得する。
【0035】
ユーザ端末２は、試験の終了時に、問題毎に、ユーザの解答、解答時間情報、および文字入力履歴情報を対応付けて、サーバ装置１に送信する。
【0036】
サーバ装置１は、問題毎に、ユーザの解答を採点するとともに、理解度を推定する。解答の採点は、例えば、減点法や加点法によって行われてもよいし、他の手法で行われてもよいし、さらには、ＡＩ（Artificial Intelligence）を活用した採点手法であってもよい。
【0037】
理解度は、例えば、その問題におけるユーザの得点率と、その問題に対するユーザの思考時間比率とを用いて推定される。この例では、問題毎に、基準思考時間、および基準文字入力時間が設定される。
【0038】
この例で言うユーザの得点率とは、その問題の配点に対するユーザの得点（ユーザの解答の採点結果）の比率であり、
ユーザの得点率＝（ユーザの得点）／（問題の配点）
によって算出される値である。
ユーザの得点率＝（ユーザの得点）／（問題の配点）
によって算出される値である。
【0039】
また、思考時間は、解答時間から文字入力時間を差し引いた時間（解答時間－文字入力時間）である。基準思考時間は、例えば、問題の作成者が、その問題の難易度等に基づいて設定した時間としてもよい。また、基準思考時間は、その問題に正答したユーザ（例えば、得点率が９０％以上であるユーザ）の思考時間の平均値、または中央値としてもよい。さらには、基準思考時間は、その問題に正答したユーザの中で、思考時間が短かった上位所定人数（例えば、５０人、１００人等）のユーザの思考時間の平均値、または中央値としてもよい。
【0040】
また、基準文字入力時間は、例えば、問題の作成者が、その問題の正答の文字数等に基づいて設定した時間としてもよい。また、基準文字入力時間は、その問題に正答したユーザ（例えば、得点率が９０％以上であるユーザ）の文字入力時間の平均値、または中央値としてもよい。さらには、基準文字入力時間は、その問題に正答したユーザの中で、文字入力時間が短かった上位所定人数（例えば、５０人、１００人等）のユーザの文字入力時間の平均値、または中央値としてもよい。
【0041】
なお、基準思考時間、および基準文字入力時間は、上記以外の方法で定めてもよい。また、基準思考時間、または基準文字入力時間の一方に替えて、基準解答時間を設定してもよい。基準解答時間は、
基準解答時間＝基準思考時間＋基準文字入力時間
である。
基準解答時間＝基準思考時間＋基準文字入力時間
である。
【0042】
この例で言うユーザの思考時間率とは、その問題の基準思考時間に対するユーザの思考時間の比率であり、
ユーザの思考時間率＝（ユーザの思考時間）／（問題の基準思考時間）
によって算出される値である。
ユーザの思考時間率＝（ユーザの思考時間）／（問題の基準思考時間）
によって算出される値である。
【0043】
この例では、推定されるユーザの理解度は、得点率に基づくレベルを、さらに思考時間率で細分類したレベルである。
【0044】
ここでは、得点率に基づく理解度のレベルが、５段階（レベルＡ～レベルＥ）である場合を例にして説明するが、得点率に基づく理解度のレベルは、２段階以上であれば何段階であってもよい。この例では、
サーバ装置１は、得点率が0.9以上であるユーザを、レベルＡの理解度に分類し、
サーバ装置１は、得点率が0.8以上、0.9未満であるユーザを、レベルＢの理解度に分類し、
サーバ装置１は、得点率が0.7以上、0.8未満であるユーザを、レベルＣの理解度に分類し、
サーバ装置１は、得点率が0.6以上、0.7未満であるユーザを、レベルＤの理解度に分類し、
サーバ装置１は、得点率が0.6未満であるユーザを、レベルＥの理解度に分類する。
サーバ装置１は、得点率が0.9以上であるユーザを、レベルＡの理解度に分類し、
サーバ装置１は、得点率が0.8以上、0.9未満であるユーザを、レベルＢの理解度に分類し、
サーバ装置１は、得点率が0.7以上、0.8未満であるユーザを、レベルＣの理解度に分類し、
サーバ装置１は、得点率が0.6以上、0.7未満であるユーザを、レベルＤの理解度に分類し、
サーバ装置１は、得点率が0.6未満であるユーザを、レベルＥの理解度に分類する。
【0045】
また、この例では、サーバ装置１は、思考時間率で、得点率に基づいて分類される理解度の各レベルを細分類する。ここでは、サーバ装置１は、思考時間率に基づいて、得点率に基づいて分類される理解度の各レベルの細分類を３段階で行う場合を例にして説明するが、思考時間率に基づく理解度の各レベルの細分類は、２段階以上であれば何段階であってもよい。この例では、
サーバ装置１は、思考時間率が1.0以下であるユーザを、高に分類し、
サーバ装置１は、思考時間率が1.4以下であり、思考時間率が1.0以下でないユーザを、中に分類し、
サーバ装置１は、思考時間率が1.4以下でないユーザを、低レベルに分類する。
サーバ装置１は、思考時間率が1.0以下であるユーザを、高に分類し、
サーバ装置１は、思考時間率が1.4以下であり、思考時間率が1.0以下でないユーザを、中に分類し、
サーバ装置１は、思考時間率が1.4以下でないユーザを、低レベルに分類する。
【0046】
この例では、サーバ装置１において推定されるユーザの理解度は１５段階であり、高い方から、レベルＡの高→レベルＡの中→レベルＡの低→レベルＢの高→・・・・→レベルＤの低→レベルＥの高→レベルＥの中→レベルＥの低、の順番である。
【0047】
なお、上記したユーザの理解度の推定は、あくまでも一例であり、例えば、基準思考時間、基準文字入力時間、ユーザの解答時間、ユーザの文字入力時間、ユーザの得点、および問題の配点を変数とする関数によって、ユーザの理解度を算出する構成であってもよいし、基準思考時間、基準文字入力時間、ユーザの解答時間、ユーザの文字入力時間、ユーザの得点、および問題の配点を入力とし、ユーザの理解度を推定するＡＩを用いてもよいし、これら以外の手法であってもよい。また、基準思考時間、または基準文字入力時間の一方を、基準解答時間に置き換えてもよい。
【0048】
したがって、この例のネットワークシステムでは、問題毎に、ユーザの理解度を、そのユーザの文字入力時間の長さに影響されることなく（例えば、ユーザの手先の器用さに影響されることなく、）、推定できる。すなわち、ユーザの理解度の推定精度を向上させることができる。
【0049】
＜２．構成例＞
図４は、この例のサーバ装置の主要部の構成を示すブロック図である。サーバ装置１は、制御ユニット１１と、問題データベース１２（問題ＤＢ１２）と、基準時間データベース１３（基準時間ＤＢ１３）と、通信部１４とを備えている。
図４は、この例のサーバ装置の主要部の構成を示すブロック図である。サーバ装置１は、制御ユニット１１と、問題データベース１２（問題ＤＢ１２）と、基準時間データベース１３（基準時間ＤＢ１３）と、通信部１４とを備えている。
【0050】
制御ユニット１１は、サーバ装置１本体各部を制御する。また、制御ユニット１１は、解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅを有している。制御ユニット１１が有する解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅについては後述する。
【0051】
問題ＤＢ１２は、ユーザが操作するユーザ端末２に配信する試験の問題を登録したデータベースである。また、この例では、問題ＤＢ１２には、問題毎に、その問題の正答（模範解答）が対応づけて登録されている。
【0052】
基準時間ＤＢ１３には、問題ＤＢ１２に登録されている問題毎に、その問題の基準解答時間、基準文字入力時間、および基準思考時間が対応付けて登録されている。この例では、問題毎に、基準解答時間、基準文字入力時間、および基準思考時間を対応付けて基準時間ＤＢ１３に登録しているとしたが、上記した通り、
基準解答時間＝基準思考時間＋基準文字入力時間
であることから、基準解答時間、基準文字入力時間、または基準思考時間のいずれか１つを登録していない構成であってもよい（登録されていないいずれかの時間は、登録されている２つの時間から算出できる。）。
基準解答時間＝基準思考時間＋基準文字入力時間
であることから、基準解答時間、基準文字入力時間、または基準思考時間のいずれか１つを登録していない構成であってもよい（登録されていないいずれかの時間は、登録されている２つの時間から算出できる。）。
【0053】
通信部１４は、ネットワーク５を介して、ユーザが操作するユーザ端末２との間でデータ通信を行う。サーバ装置１は、問題をユーザ端末２に配信する。また、サーバ装置１は、問題毎に、その問題の解答、解答時間情報、および文字入力履歴情報をユーザ端末２から受信する。
【0054】
なお、サーバ装置１は、解答時間情報、および文字入力履歴情報を含む、入力履歴情報をユーザ端末２から受信する構成であってもよい。ここで言う入力履歴情報は、ユーザ端末２においてユーザが行った入力操作毎に、その入力操作を特定する入力コードとユーザが入力操作を行った操作時刻とを対応付けたデータを時系列に並べた情報である。
【0055】
次に、制御ユニット１１が有する解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅについて説明する。
【0056】
解答取得部１１ａは、通信部１４においてユーザ端末２から受信した問題の解答を取得する。
【0057】
文字入力時間取得部１１ｂは、通信部１４においてユーザ端末２から受信した文字入力履歴情報を基に、問題毎に、その問題の解答にかかる文字列をユーザが入力していた時間（文字入力時間）を取得する。文字入力時間取得部１１ｂは、この例では、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最初に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を開始した時刻として取得する。また、文字入力時間取得部１１ｂは、文字入力履歴情報を基に、ユーザ端末２の表示器の画面に表示されている問題の解答欄に最後に入力された文字の入力操作を受け付けた時刻を、その問題の解答にかかる文字列の入力操作を完了した時刻として取得する。
【0058】
解答時間取得部１１ｃは、通信部１４においてユーザ端末２から受信した解答時間情報を基に、問題毎に、ユーザがその問題の解答に要した時間を解答時間として取得する。この例では、解答時間取得部１１ｃは、問題がユーザ端末２の表示器の画面に表示された時刻から、『次の問題』にかかるボタンがユーザによって押下された時刻までの時間を、その問題のユーザの解答時間として取得する。
【0059】
なお、解答時間取得部１１ｃは、表示器の画面に問題が表示される毎、その問題について、表示器の画面に表示される直前に『次の問題』にかかるボタンが押下された時刻と、次に『次の問題』にかかるボタンが押下された時刻との時間差をユーザの解答時間として取得する構成であってもよい。
【0060】
採点部１１ｄは、解答取得部１１ａが取得した問題の解答を採点する。採点部１１ｄは、減点法や加点法によって採点してもよいし、他の手法で採点してもよい。
【0061】
推定部１１ｅは、問題毎に、ユーザの解答、解答時間、および文字入力時間（思考時間）を用いて、その問題に対するユーザの理解度を推定する。
【0062】
サーバ装置１の制御ユニット１１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、この発明にかかる評価プログラムを実行したときに、解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅとして動作する。また、メモリは、この発明にかかる評価プログラムを展開する領域や、この評価プログラムの実行時に生じたデータ等を一時記憶する領域を有している。制御ユニット１１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。また、ハードウェアＣＰＵが、この発明にかかる評価方法を実行するコンピュータである。
【0063】
図５は、この例のユーザ端末の主要部の構成を示すブロック図である。ユーザ端末２は、制御ユニット２１と、表示器２２と、操作部２３と、通信部２４とを備えている。
【0064】
制御ユニット２１は、ユーザ端末２本体各部の動作を制御する。また、制御ユニット２１は、解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂを有している。制御ユニット２１が有する解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂについては後述する。
【0065】
表示器２２は、サーバ装置１から配信されてきた問題の表示、ユーザによって入力された問題の解答の表示等を行う。
【0066】
操作部２３は、ユーザの入力操作を検出する。操作部２３は、文字入力をハードウェアキーボードで受け付ける構成であってもよいし、ソフトウェアキーボードで受け付ける構成であってもよい。また、操作部２３は、マウス等のポインティングデバイスを有していてもよい。
【0067】
通信部２４は、ネットワーク５を介して、サーバ装置１との間でデータ通信を行う。
【0068】
次に、制御ユニット２１が有する解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂについて説明する。
【0069】
解答時間情報取得部２１ａは、問題毎に、表示器２２のその画面に問題が表示された時刻、および『次の問題』にかかるボタンが押下された時刻と、を対応付けた解答時間情報を取得する。
【0070】
文字入力履歴情報取得部２１ｂは、問題毎に、その問題の解答欄に対する文字入力にかかる入力操作の履歴を文字入力履歴情報として取得する。文字入力履歴情報は、操作された文字キー（キーコード）、操作時刻等を対応付けた文字入力操作情報を時系列に並べた情報である。
【0071】
ユーザ端末２の制御ユニット２１は、ハードウェアＣＰＵ、メモリ、その他の電子回路によって構成されている。ハードウェアＣＰＵが、解答時間情報取得部２１ａ、および文字入力履歴情報取得部２１ｂとして動作する。また、メモリは、解答時間情報、および文字入力履歴情報を一時的に記憶する領域を有している。制御ユニット２１は、ハードウェアＣＰＵ、メモリ等を一体化したＬＳＩであってもよい。
【0072】
【0073】
この例では、サーバ装置１が、試験の開始前に、問題を各ユーザ端末２に配信している。
【0074】
ユーザ端末２は、試験の開始時刻になると、表示器２２の画面に１問目の問題を表示する（ｓ２１、ｓ２２）。ユーザ端末２は、表示器２２の画面における１問目の問題の表示が完了すると、解答時間情報取得部２１ａにおいて、今回表示器２２の画面に表示させた問題（対象問題）の解答時間情報を取得する（ｓ２３）。ｓ２３では、今回表示器２２の画面に表示させた問題の解答開始時刻にかかる解答時間情報を取得する。
【0075】
なお、ここで言う対象問題は、今回の試験の問題であって、その時点において表示器２２の画面に表示されている問題である。
【0076】
ユーザ端末２は、ユーザによって表示器２２の画面に表示されている問題の解答欄に対する文字入力操作が行われると、文字入力履歴情報取得部２１ｂにおいて、今回の文字入力操作に応じた文字入力履歴情報を取得する（ｓ２４、ｓ２５）。ｓ２５では、文字入力履歴情報として、今回操作された文字キーと、操作された時刻とを対にした情報を取得する。
【0077】
また、ユーザ端末２は、ユーザによって表示器２２の画面に表示されている『次の問題』にかかるボタンが操作されたことを検出するか（ｓ２６）、または試験の終了時刻になるまで（ｓ２７）、ｓ２４～ｓ２７にかかる処理を繰り返す。
【0078】
ユーザ端末２は、ユーザによって表示器２２の画面に表示されている『次の問題』にかかるボタンが操作されると、表示器２２の画面に表示させていた問題（対象問題）の解答時間情報を取得する（ｓ２８）。ユーザ端末２は、次の問題を表示器２２の画面に表示させ（ｓ２９）、ｓ２３に戻る。
【0079】
これにより、ユーザ端末２は、表示器２２の画面に表示させた問題毎に、解答時間情報、および文字入力履歴情報を取得する。
【0080】
また、ユーザ端末２は、表示器２２の画面に複数回表示させた問題については、その問題を表示器２２に表示させていた期間毎に、解答時間情報、および文字入力履歴情報を取得する。すなわち、問題毎に、その問題に対応づけられている解答時間情報、および文字入力履歴情報が１つであるとは限らない。例えば、問題Ａが、時刻ｔ１～時刻ｔ２、および時刻ｔ３～時刻ｔ４（ただし、時刻ｔ２と時刻ｔ３とは異なる時刻であり、時刻ｔ１と、時刻ｔ４とは異なる時刻である。）の期間に、表示器２２の画面に表示されていた場合、この問題Ａには、時刻ｔ１～時刻ｔ２の期間に取得した解答時間情報、および文字入力履歴情報、および時刻ｔ３～時刻ｔ４の期間に取得した解答時間情報、および文字入力履歴情報が対応づけられている。
【0081】
また、ユーザ端末２は、試験の終了時刻になると、問題毎に、ユーザの解答、解答時間情報、および文字入力履歴情報をサーバ装置１に送信し（ｓ３０）、本処理を終了する。
【0082】
次に、図７を参照して、サーバ装置１の動作を説明する。サーバ装置１は、ユーザ端末２から送信されてきた各問題の解答、解答時間情報、および文字入力履歴情報を受信するのを待つ（ｓ１）。サーバ装置１は、ユーザ端末２から送信されてきた各問題の解答、解答時間情報、および文字入力履歴情報を受信すると、解答時間取得部１１ｃにおいて、各問題のユーザの解答時間を取得する（ｓ２）。ｓ２では、解答時間取得部１１ｃが、問題毎に、その問題に対応づけられている解答時間情報を基に、その問題がユーザ端末２の表示器２２に表示された時刻から、その問題がユーザ端末２の表示器２２に表示されているときに『次の問題』にかかるボタンが操作された時刻までの時間を、解答時間として取得する。
【0083】
また、サーバ装置１は、文字入力時間取得部１１ｂにおいて、各問題のユーザの文字入力時間を取得する（ｓ３）。ｓ３では、文字入力時間取得部１１ｂが問題毎に、その問題に対応付けられている文字入力履歴情報を基に、その問題の解答欄に対する最初の文字入力時刻から、最後の文字入力時刻までの時間を、文字入力時間として取得する。
【0084】
なお、サーバ装置１は、解答時間情報、および文字入力履歴情報が複数対応付けられている問題については、対応付けられている解答時間情報毎に取得した解答時間の総和を、その問題の解答時間として取得する。同様に、サーバ装置１は、解答時間情報、および文字入力履歴情報が複数対応付けられている問題については、対応付けられている文字入力履歴情報毎に取得した文字入力時間の総和を、その問題の文字入力時間として取得する。
【0085】
サーバ装置１は、問題毎に、その問題についてｓ２で取得した解答時間から、ｓ３で取得した文字入力時間を差し引いた時間を、ユーザの思考時間として取得する（ｓ４）。
【0086】
サーバ装置１は、各問題の解答を採点する（ｓ５）。ｓ５では、採点部１１ｄが、問題毎に、ユーザの解答を採点する。解答の採点は、例えば、減点法や加点法によって行ってもよいし、他の手法で行ってもよいし、さらには、ＡＩ（Artificial Intelligence）を活用した採点手法で行ってもよい。
【0087】
サーバ装置１は、問題毎に、その問題ついて取得した解答時間、思考時間、採点結果を基にユーザの理解度を推定する（ｓ６）。例えば、ｓ６では、推定部１１ｅが、上記したように、その問題におけるユーザの得点率と、その問題に対するユーザの思考時間比率とを用いて推定する。
【0088】
また、推定部１１ｅは、問題毎に、その問題ついて取得した文字入力時間と、その問題について設定されている基準文字入力時間との比率に基づいて、ユーザの文字入力速度（文字入力技量）を評価してもよい。例えば、推定部１１ｅは、（ユーザの文字入力時間／基準文字入力時間）の大きさによって、ユーザの文字入力速度を評価する。この場合、推定部１１ｅは、（ユーザの文字入力時間／基準文字入力時間）の値が大きいほど、ユーザの文字入力速度が遅いと評価する。
【0089】
このように、この例では、サーバ装置１は、ユーザの理解度を、そのユーザの文字入力時間の長さに影響されることなく（例えば、ユーザの手先の器用さに影響されることなく、）、推定できる。すなわち、ユーザの理解度の推定精度を向上させることができる。
【0090】
また、サーバ装置１は、ユーザの文字入力速度を評価することができる。
【0091】
＜４．変形例＞
・変形例１
上記した例は、ユーザの理解度の推定をサーバ装置１で行う構成であった。しかしながら、ユーザ端末２が、ユーザの理解度を推定する構成であってもよい。すなわち、この発明にかかる評価装置をサーバ装置１ではなく、ユーザ端末２に適用してもよい。
・変形例１
上記した例は、ユーザの理解度の推定をサーバ装置１で行う構成であった。しかしながら、ユーザ端末２が、ユーザの理解度を推定する構成であってもよい。すなわち、この発明にかかる評価装置をサーバ装置１ではなく、ユーザ端末２に適用してもよい。
【0092】
具体的に言えば、ユーザ端末２の制御ユニット２１が、上記した解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅを追加的に有している構成にすればよい。また、ユーザ端末２は、基準時間ＤＢ１３を有する構成であってもよいし、サーバ装置１から各問題の基準解答時間、基準文字入力時間、および基準思考時間を受信し、メモリに記憶する構成であってもよい。
【0093】
そして、ユーザ端末２が、上記したｓ３０にかかる処理を、上記したｓ２～ｓ６にかかる処理に置き換えればよい。
【0094】
また、サーバ装置１の制御ユニット１１が有する解答取得部１１ａ、文字入力時間取得部１１ｂ、解答時間取得部１１ｃ、採点部１１ｄ、および推定部１１ｅの一部の構成を、ユーザ端末２の制御ユニット２１に設けてもよい。例えば、ユーザ端末２の制御ユニット２１に文字入力時間取得部１１ｂ、および解答時間取得部１１ｃを設け、上記したs２～ｓ４にかかる処理を、ユーザ端末２が実行する構成にしてもよい。
【0095】
この場合、サーバ装置１は、ユーザの解答時間、文字入力時間、および思考時間をユーザ端末２から受信すればよい。すなわち、サーバ装置１は、文字入力時間取得部１１ｂ、および解答時間取得部１１ｃを制御ユニット１１に備えなくてもよい。
【0096】
・変形例２
また、問題のユーザの解答時間は、前回『次の問題』にかかるボタンが前回操作された時刻から、今回操作された時刻までの時間を、前回の『次の問題』にかかるボタンの操作に応じてユーザ端末２の表示器２２に表示された問題の解答時間としてもよい。このように構成すれば、ユーザ端末２は、表示器２２における、問題の表示完了を検出する必要がなく、処理負荷の低減を図ることができる。
また、問題のユーザの解答時間は、前回『次の問題』にかかるボタンが前回操作された時刻から、今回操作された時刻までの時間を、前回の『次の問題』にかかるボタンの操作に応じてユーザ端末２の表示器２２に表示された問題の解答時間としてもよい。このように構成すれば、ユーザ端末２は、表示器２２における、問題の表示完了を検出する必要がなく、処理負荷の低減を図ることができる。
【0097】
・変形例３
また、上記の例では、ユーザ端末２の表示器２２に表示されている『次の問題』にかかるボタンが操作された時刻を、その時点で表示器２２に表示されていた問題に対するユーザの解答終了時刻とした。しかし、ユーザ端末２の表示器２２に表示されていた問題に対するユーザの解答の終了時刻を、その問題の解答欄に対して最後に文字入力操作が行われた時刻としてもよい。このように構成すれば、ユーザが解答欄に対して解答を入力する操作を終えてから、次の問題が表示器２２に表示されるまで（または、『次の問題』にかかるボタンがユーザによって操作されるまで）の時間が、解答時間に含まれない。したがって、問題に対するユーザの思考時間を適正に取得し、ユーザの理解度の推定精度の向上を図ることができる。
また、上記の例では、ユーザ端末２の表示器２２に表示されている『次の問題』にかかるボタンが操作された時刻を、その時点で表示器２２に表示されていた問題に対するユーザの解答終了時刻とした。しかし、ユーザ端末２の表示器２２に表示されていた問題に対するユーザの解答の終了時刻を、その問題の解答欄に対して最後に文字入力操作が行われた時刻としてもよい。このように構成すれば、ユーザが解答欄に対して解答を入力する操作を終えてから、次の問題が表示器２２に表示されるまで（または、『次の問題』にかかるボタンがユーザによって操作されるまで）の時間が、解答時間に含まれない。したがって、問題に対するユーザの思考時間を適正に取得し、ユーザの理解度の推定精度の向上を図ることができる。
【0098】
・変形例４
また、上記の例では、文字入力時間取得部１１ｂは、問題の解答欄に対して最初の文字入力にかかる操作が行われた時刻から、この解答欄に対して最後の文字入力にかかる操作が行われた時刻までの時間を、ユーザの文字入力時間として取得するとした。しかし、ユーザは、解答欄に対して解答にかかる文字列を入力している途中に、その問題の解答を再思考することがある。上記の例では、文字入力時間取得部１１ｂによって取得される文字入力時間には、ユーザが問題の解答欄に対して解答にかかる文字入力を開始した後、解答の再思考に要した時間が含まれる。この変形例４では、文字入力時間取得部１１ｂが取得する文字入力時間に含まれる解答の再思考に要した時間を抑制することによって、ユーザの文字入力時間、および思考時間をより正確に取得する。
また、上記の例では、文字入力時間取得部１１ｂは、問題の解答欄に対して最初の文字入力にかかる操作が行われた時刻から、この解答欄に対して最後の文字入力にかかる操作が行われた時刻までの時間を、ユーザの文字入力時間として取得するとした。しかし、ユーザは、解答欄に対して解答にかかる文字列を入力している途中に、その問題の解答を再思考することがある。上記の例では、文字入力時間取得部１１ｂによって取得される文字入力時間には、ユーザが問題の解答欄に対して解答にかかる文字入力を開始した後、解答の再思考に要した時間が含まれる。この変形例４では、文字入力時間取得部１１ｂが取得する文字入力時間に含まれる解答の再思考に要した時間を抑制することによって、ユーザの文字入力時間、および思考時間をより正確に取得する。
【0099】
この変形例４では、文字入力時間取得部１１ｂは、文字入力履歴情報を基に、時間的に連続する文字入力操作毎に、この時間的に連続する文字入力操作間が解答の再思考に要した時間であるかどうかを判定する。具体的には、文字入力時間取得部１１ｂは、解答欄に対する前回の文字入力操作から、今回の文字入力操作を受け付けるまでの入力待ち時間（文字入力操作待ち時間）が設定時間を超えているかどうかを判定する。文字入力時間取得部１１ｂは、文字入力操作待ち時間が設定時間を超えていれば、この文字入力操作待ち時間を再思考時間と判定する。反対に、文字入力時間取得部１１ｂは、文字入力操作待ち時間が設定時間を超えていなければ、この文字入力操作待ち時間を部分文字入力時間と判定する。設定時間は、例えば数秒（例えば、１～３秒）程度の時間にすればよい。
【0100】
文字入力時間取得部１１ｂは、部分文字入力時間の総和を問題の解答の入力に要した文字入力時間として取得する。
【0101】
上記した通り、思考時間は、解答時間から文字入力時間を差し引いた時間であることから、文字入力時間に含まれる解答の再思考に要した時間を抑制することによって、ユーザの文字入力時間、および思考時間をより正確に取得できる。
【0102】
・変形例５
また、ユーザ端末２は、表示器２２の画面に表示している問題（すなわち、この時点で、ユーザが解答している問題）について、基準解答時間と、ユーザの解答時間とを対比した画像を表示してもよい。
また、ユーザ端末２は、表示器２２の画面に表示している問題（すなわち、この時点で、ユーザが解答している問題）について、基準解答時間と、ユーザの解答時間とを対比した画像を表示してもよい。
【0103】
図８（Ａ）は、表示器の画面に問題が表示された直後（ユーザの解答時間が０である時点）の画面例であり、図８（Ｂ）は、表示器の画面に表示されている問題に対して、ユーザが解答を入力している途中の状態（ユーザが解答の入力を完了していない状態）の例であり、図８（Ｃ）は、表示器の画面に表示されている問題に対して、ユーザが解答の入力を完了した状態の例である。
【0104】
図８（Ａ）、（Ｂ）、（Ｃ）では、ユーザ端末２は、表示器２２の画面に、基準解答時間と、ユーザの解答時間とを対比した画像としてバーグラフを用いた例を示している。図８（Ａ）、（Ｂ）、（Ｃ）に示す解答時間のバーグラフに示した基準は、基準解答時間を示している。また、図８（Ｂ）、（Ｃ）において、解答時間のバーグラフ内に示したハッチング部分が、その時点におけるユーザの解答時間を示している。
【0105】
ユーザ端末２は、表示器２２の画面に問題が表示された直後においては、ユーザの解答時間が０であるので、解答時間のバーグラフ内にハッチング部分が描かれていない。ユーザ端末２は、バーグラフ内にハッチング部分を、解答時間の経過に応じて延ばし行く。図８（Ｂ）では、ユーザは、表示器２２の画面に表示されている問題の解答途中であるが、まだ、ユーザの解答時間が基準時間に達していない状態（ハッチング部分が、基準時間よりも右側に表示されていない状態）である。図８（Ｃ）では、ユーザは、表示器２２の画面に表示されている問題に対して解答を完了した状態である。図８（Ｃ）では、ユーザの解答時間が基準時間よりも長かった状態（ハッチング部分が、基準時間よりも右側に延びて表示されている状態）である。
【0106】
また、図８（Ａ）、（Ｂ）、（Ｃ）では、ユーザ端末２は、基準解答時間と、ユーザの解答時間とを対比したバーグラフを表示する例を示したが、図９（Ａ）、（Ｂ）、（Ｃ）に示すように基準文字入力時間と、ユーザの文字入力時間とを対比したバーグラフを表示器２２の画面に表示してもよい。
【0107】
また、図１０（Ａ）、（Ｂ）、（Ｃ）に示すように、ユーザ端末２は、基準思考時間と、ユーザの思考時間とを対比したバーグラフを表示器２２の画面に表示してもよい。図１０（Ｂ）に示したバーグラフと、図１０（Ｃ）に示したバーグラフとは、同じである。例えば、変形例４にかかる構成である場合は、ユーザの再思考時間がなかった例である。
【0108】
さらには、ユーザ端末２は、基準解答時間と、ユーザの解答時間とを対比したバーグラフ、基準文字入力時間と、ユーザの文字入力時間とを対比したバーグラフ、および基準思考時間と、ユーザの思考時間とを対比したバーグラフの２つ以上を表示器２２の画面に表示してもよい。
【0109】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。また、上記した全ての例の説明で示したフローチャートにおける各ステップの順番は、あくまでも一例であり、可能な範囲で適宜入れ替えてもよい。
【0110】
さらに、この発明に係る構成と上述した実施形態に係る構成との対応関係は、以下の付記のように記載できる。
＜付記＞
［請求項１］
ユーザが提示された問題を解答するのに要した解答時間を取得する第１取得部（１１ｃ）と、
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する第２取得部（１１ｂ）と、
前記第１取得部（１１ｃ）によって取得された前記解答時間、および前記第２取得部（１１ｂ）によって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定部（１１ｅ）と、
を備えた評価装置（１）。
＜付記＞
［請求項１］
ユーザが提示された問題を解答するのに要した解答時間を取得する第１取得部（１１ｃ）と、
ユーザが前記問題の解答にかかる文字列を入力するのに要した文字入力時間を取得する第２取得部（１１ｂ）と、
前記第１取得部（１１ｃ）によって取得された前記解答時間、および前記第２取得部（１１ｂ）によって取得された前記文字入力時間を用いて、前記問題に対するユーザの理解度を推定する推定部（１１ｅ）と、
を備えた評価装置（１）。
【0111】
［請求項２］
前記第１取得部（１１ｃ）は、
前記問題が表示器（２２）の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻とし、且つ、
別の問題を前記表示器（２２）の画面に表示させる入力を受け付けた時刻を、ユーザが前記表示器（２２）の画面に表示されていた前記問題の解答を完了した時刻として、前記解答時間を取得する、
請求項１に記載の評価装置（１）。
前記第１取得部（１１ｃ）は、
前記問題が表示器（２２）の画面に表示された時刻を、ユーザが当該問題の解答を開始した時刻とし、且つ、
別の問題を前記表示器（２２）の画面に表示させる入力を受け付けた時刻を、ユーザが前記表示器（２２）の画面に表示されていた前記問題の解答を完了した時刻として、前記解答時間を取得する、
請求項１に記載の評価装置（１）。
【0112】
［請求項３］
前記別の問題を前記表示器（２２）の画面に表示させる入力の１つは、その時点において表示器（２２）の画面に表示されている前記問題の解答完了にかかる入力である、
請求項２に記載の評価装置（１）。
前記別の問題を前記表示器（２２）の画面に表示させる入力の１つは、その時点において表示器（２２）の画面に表示されている前記問題の解答完了にかかる入力である、
請求項２に記載の評価装置（１）。
【0113】
［請求項４］
前記推定部（１１ｅ）は、前記第１取得部（１１ｃ）によって取得された前記解答時間から、前記第２取得部（１１ｂ）によって取得された前記文字入力時間を差し引いた思考時間を基に、前記問題に対するユーザの理解度を推定する、請求項１～３のいずれかに記載の評価装置（１）。
前記推定部（１１ｅ）は、前記第１取得部（１１ｃ）によって取得された前記解答時間から、前記第２取得部（１１ｂ）によって取得された前記文字入力時間を差し引いた思考時間を基に、前記問題に対するユーザの理解度を推定する、請求項１～３のいずれかに記載の評価装置（１）。
【0114】
［請求項５］
前記推定部（１１ｅ）は、ユーザに提示した前記問題の基準思考時間と、当該問題におけるユーザの前記思考時間と、を比較して、前記問題に対するユーザの理解度を推定する、請求項４に記載の評価装置（１）。
前記推定部（１１ｅ）は、ユーザに提示した前記問題の基準思考時間と、当該問題におけるユーザの前記思考時間と、を比較して、前記問題に対するユーザの理解度を推定する、請求項４に記載の評価装置（１）。
【0115】
［請求項６］
前記第２取得部（１１ｂ）は、前記問題をユーザに提示した後、当該問題の解答にかかる文字列の入力操作を最初に受け付けた時刻を、当該ユーザが当該問題の解答にかかる文字列の入力を開始した時刻として、前記文字入力時間を取得する、
請求項１～５のいずれかに記載の評価装置（１）。
前記第２取得部（１１ｂ）は、前記問題をユーザに提示した後、当該問題の解答にかかる文字列の入力操作を最初に受け付けた時刻を、当該ユーザが当該問題の解答にかかる文字列の入力を開始した時刻として、前記文字入力時間を取得する、
請求項１～５のいずれかに記載の評価装置（１）。
【0116】
［請求項７］
前記第２取得部（１１ｂ）は、前記問題の解答にかかる文字列の入力を受け付けてから、次の文字列の入力操作を受け付けるまでの入力待ち時間が、設定時間を超えていれば、この入力待ち時間を前記文字入力時間としない、
請求項６に記載の評価装置（１）。
前記第２取得部（１１ｂ）は、前記問題の解答にかかる文字列の入力を受け付けてから、次の文字列の入力操作を受け付けるまでの入力待ち時間が、設定時間を超えていれば、この入力待ち時間を前記文字入力時間としない、
請求項６に記載の評価装置（１）。
【0117】
［請求項８］
前記推定部（１１ｅ）は、ユーザに提示した前記問題の基準文字入力時間と、前記第２取得部（１１ｂ）によって取得された当該問題におけるユーザの前記文字入力時間と、を比較して、当該ユーザの文字入力技量を推定する、
請求項１～７のいずれかに記載の評価装置（１）。
前記推定部（１１ｅ）は、ユーザに提示した前記問題の基準文字入力時間と、前記第２取得部（１１ｂ）によって取得された当該問題におけるユーザの前記文字入力時間と、を比較して、当該ユーザの文字入力技量を推定する、
請求項１～７のいずれかに記載の評価装置（１）。
【符号の説明】
【0118】
１…サーバ装置
２…ユーザ端末
５…ネットワーク
１１…制御ユニット
１１ａ…解答取得部
１１ｂ…文字入力時間取得部
１１ｃ…解答時間取得部
１１ｄ…採点部
１１ｅ…推定部
１２…問題データベース（問題ＤＢ）
１３…基準時間データベース（基準時間ＤＢ）
１４…通信部
２１…制御ユニット
２１ａ…解答時間情報取得部
２１ｂ…文字入力履歴情報取得部
２２…表示器
２３…操作部
２４…通信部
２…ユーザ端末
５…ネットワーク
１１…制御ユニット
１１ａ…解答取得部
１１ｂ…文字入力時間取得部
１１ｃ…解答時間取得部
１１ｄ…採点部
１１ｅ…推定部
１２…問題データベース（問題ＤＢ）
１３…基準時間データベース（基準時間ＤＢ）
１４…通信部
２１…制御ユニット
２１ａ…解答時間情報取得部
２１ｂ…文字入力履歴情報取得部
２２…表示器
２３…操作部
２４…通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】