特許 7537555 採点支援装置、採点支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】採点支援装置、採点支援方法及びプログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20240814BHJP

   G09B 7/02 20060101ALI20240814BHJP

   G06Q 50/20 20120101ALI20240814BHJP

【ＦＩ】

G09B19/00 H

G09B7/02

G06Q50/20

【請求項の数】 6

(21)【出願番号】P 2023099715

(22)【出願日】2023-06-19

(62)【分割の表示】P 2021078509の分割

【原出願日】2021-05-06

(65)【公開番号】P2023115105

(43)【公開日】2023-08-18

【審査請求日】2023-07-05

(31)【優先権主張番号】P 2020113100

(32)【優先日】2020-06-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(74)【代理人】

【識別番号】100182936

【弁理士】

【氏名又は名称】矢野 直樹

(72)【発明者】

【氏名】大野 真人

【審査官】西村 民男

(56)【参考文献】

【文献】特開２０２０－２７４８４（ＪＰ，Ａ）

【文献】特開２０１９－１８５７５４（ＪＰ，Ａ）

【文献】特開２０１９－１０５７０８（ＪＰ，Ａ）

【文献】特開２０１７－１２９８３０（ＪＰ，Ａ）

【文献】国際公開第２０１８／１１６４５９（ＷＯ，Ａ１）

【文献】［レポート］プログラミング オンライン学習「テクノロジア魔法学校」をやってみた No.2，教育 リサーチＩＣＴブログ［ｏｎｌｉｎｅ］，2018年06月30日，インターネット ＵＲＬ https://blog.ict-in-education.jp/entry/2018/06/30/040000，［２０２０年０６月１０日検索］

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００－ ９／５６，１７／００－１９／２６

Ｇ０６Ｆ ３／０１， ３／０４８－３／０４８９５

Ｇ０６Ｑ ５０／２０

(57)【特許請求の範囲】

【請求項1】

模範解答が設定された出題の解答に対して採点を行う採点支援装置であって、
前記採点における減点ロジックまたは加点ロジックをユーザが記述入力するための第１入力領域と、前記採点に適用する評価項目を予め設定されている複数の評価項目のなかからユーザに選択させるとともに前記ユーザに選択された評価項目に対応付けさせる名称であって前記第１入力領域に記述入力するときに使用する名称をユーザに定義入力させるための第２入力領域と、を有する設定画面を表示させる制御手段を備え、
前記制御手段は、前記名称を前記評価項目の内容に対して肯定的な内容として定義するのか否定的な内容として定義するのかを、前記評価項目に対応付けて表示させたチェックボックスへのチェック入力の有無により、前記評価項目毎にユーザが選択可能なように前記第２入力領域を表示させる、
ことを特徴とする採点支援装置。

【請求項2】

前記出題は、前記模範解答が数式になる出題として設定されている、
ことを特徴とする請求項１に記載の採点支援装置。

【請求項3】

前記複数の評価項目の一つとして内容が前記模範解答と前記出題の解答との間の数学的等価を示す評価項目を含み、
前記制御手段は、ユーザ操作に応じて前記数学的等価の定義を調整可能に構成されている、
ことを特徴とする請求項２に記載の採点支援装置。

【請求項4】

前記出題は、前記模範解答が所定の言語を対象にした単語になる出題として設定されている、
ことを特徴とする請求項１に記載の採点支援装置。

【請求項5】

模範解答が設定された出題の解答に対して採点を行う採点支援装置が実行する採点支援方法であって、
前記採点における減点ロジックまたは加点ロジックをユーザが記述入力するための第１入力領域と、前記採点に適用する評価項目を予め設定されている複数の評価項目のなかからユーザに選択させるとともに前記ユーザに選択された評価項目に対応付けさせる名称であって前記第１入力領域に記述入力するときに使用する名称をユーザに定義入力させるための第２入力領域と、を有する設定画面を表示させる制御処理を含み、
前記制御処理は、前記名称を前記評価項目の内容に対して肯定的な内容として定義するのか否定的な内容として定義するのかを、前記評価項目に対応付けて表示させたチェックボックスへのチェック入力の有無により、前記評価項目毎にユーザが選択可能なように前記第２入力領域を表示させる、
ことを特徴とする採点支援方法。

【請求項6】

模範解答が設定された出題の解答に対して採点を行う採点支援装置のコンピュータを、
前記採点における減点ロジックまたは加点ロジックをユーザが記述入力するための第１入力領域と、前記採点に適用する評価項目を予め設定されている複数の評価項目のなかからユーザに選択させるとともに前記ユーザに選択された評価項目に対応付けさせる名称であって前記第１入力領域に記述入力するときに使用する名称をユーザに定義入力させるための第２入力領域と、を有する設定画面を表示させる制御手段として機能させ、
前記制御手段は、前記名称を前記評価項目の内容に対して肯定的な内容として定義するのか否定的な内容として定義するのかを、前記評価項目に対応付けて表示させたチェックボックスへのチェック入力の有無により、前記評価項目毎にユーザが選択可能なように前記第２入力領域を表示させる、
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、採点支援装置、採点支援方法及びプログラムに関する。

【背景技術】

【0002】

近年、学校教育へのＩＣＴ（Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）機器の導入が進んでいる。これに伴い、出題に対する採点対象となる解答を電子的な情報として取得する機会が大幅に増加するため、コンピュータを用いた自動採点技術の利用が促進され、教師の負担軽減が可能となると期待されている。

【0003】

このような自動採点技術は、例えば、特許文献１に記載されている。特許文献１には、ＣＡＤ実技試験の採点を計算機等のデータ処理手段によって行い、採点に要する工数を削減するＣＡＤ試験採点システムが記載されている。

【0004】

特許文献１に記載のＣＡＤ試験採点システムでは、受験者の解答が予め準備された模範解答と完全一致している場合に、その解答は正解として処理される。また、完全一致しない場合であっても、採点項目毎の採点基準に基づいて部分的な採点が可能であり、採点項目の設定は、採点項目設定装置を操作することで変更可能である。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００６－２５１２０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、学校などの教育機関における採点作業では、教育的観点からどのような項目に対して部分点を与えるかについては、採点者に裁量が与えられることが多い。つまり、同じ採点項目であっても、採点者によって、受験者の解答の正誤やその内容に応じた配点方法が異なる場合がある。例えば、数学の採点においては、教師や学校、国が違えば、数学的に正しい場合でも、異なる数式表現に応じて異なる配点が行われる場合がある。

【0007】

特許文献１に記載のＣＡＤ試験採点システムでも、システムの設定として管理されている採点項目を変更することで、採点者が望む項目を採点対象とすることで部分点を与えることができる。しかしながら、特許文献１に記載のＣＡＤ試験採点システムは、採点項目を変更できるものの、採点プログラムの内容が固定的であるため、採点者が採点項目毎の配点方法を柔軟に変更することはできなかった。

【0008】

以上のような実情を踏まえ、本発明の一側面に係る目的は、配点方法を柔軟に且つ容易に変更することが可能な採点支援装置、採点支援方法及びプログラムを提供することである。

【課題を解決するための手段】

【0009】

本発明に係る採点支援装置は、模範解答が設定された出題の解答に対して採点を行う採点支援装置であって、前記採点における減点ロジックまたは加点ロジックをユーザが記述入力するための第１入力領域と、前記採点に適用する評価項目を予め設定されている複数の評価項目のなかからユーザに選択させるとともに前記ユーザに選択された評価項目に対応付けさせる名称であって前記第１入力領域に記述入力するときに使用する名称をユーザに定義入力させるための第２入力領域と、を有する設定画面を表示させる制御手段を備え、前記制御手段は、前記名称を前記評価項目の内容に対して肯定的な内容として定義するのか否定的な内容として定義するのかを、前記評価項目に対応付けて表示させたチェックボックスへのチェック入力の有無により、前記評価項目毎にユーザが選択可能なように前記第２入力領域を表示させる、ことを特徴とする。

【0010】

本発明に係る採点支援方法は、模範解答が設定された出題の解答に対して採点を行う採点支援装置が実行する採点支援方法であって、前記採点における減点ロジックまたは加点ロジックをユーザが記述入力するための第１入力領域と、前記採点に適用する評価項目を予め設定されている複数の評価項目のなかからユーザに選択させるとともに前記ユーザに選択された評価項目に対応付けさせる名称であって前記第１入力領域に記述入力するときに使用する名称をユーザに定義入力させるための第２入力領域と、を有する設定画面を表示させる制御処理を含み、前記制御処理は、前記名称を前記評価項目の内容に対して肯定的な内容として定義するのか否定的な内容として定義するのかを、前記評価項目に対応付けて表示させたチェックボックスへのチェック入力の有無により、前記評価項目毎にユーザが選択可能なように前記第２入力領域を表示させる、ことを特徴とする。

【0011】

本発明に係るプログラムは、模範解答が設定された出題の解答に対して採点を行う採点支援装置のコンピュータを、前記採点における減点ロジックまたは加点ロジックをユーザが記述入力するための第１入力領域と、前記採点に適用する評価項目を予め設定されている複数の評価項目のなかからユーザに選択させるとともに前記ユーザに選択された評価項目に対応付けさせる名称であって前記第１入力領域に記述入力するときに使用する名称をユーザに定義入力させるための第２入力領域と、を有する設定画面を表示させる制御手段として機能させ、前記制御手段は、前記名称を前記評価項目の内容に対して肯定的な内容として定義するのか否定的な内容として定義するのかを、前記評価項目に対応付けて表示させたチェックボックスへのチェック入力の有無により、前記評価項目毎にユーザが選択可能なように前記第２入力領域を表示させる、ことを特徴とする。

【発明の効果】

【0014】

本発明によれば、配点方法を柔軟に且つ容易に変更することが可能な採点支援装置、採点支援方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】システム１の構成を例示した図である。

【図2】クライアント端末１０の構成を例示したブロック図である。

【図3】サーバ装置２０の構成を例示したブロック図である。

【図4】クライアント端末１０とサーバ装置２０のやり取りを説明するためのシーケンス図である。

【図5】情報入力前の採点画面の一例を示した図である。

【図6】情報入力後の採点画面の一例を示した図である。

【図7】評価項目を例示した図である。

【図8】採点要求ファイルの構造を例示した図である。

【図9】自動採点処理のフローチャートの一例である。

【図10】模範解答と解答と総合評価の関係の一例を説明するための図である。

【図11】採点結果ファイルの構造を例示した図である。

【図12】評価項目の別の例を示した図である。

【図13】採点ロジックの別の例を示した図である。

【図14】数学的等価についてのオプション設定の一例を説明するための図である。

【図15】模範解答と解答と総合評価の関係の別の例を説明するための図である。

【図16】クライアント端末１０とサーバ装置２０のやり取りを説明するためのシーケンス図の別の例である。

【図17】クライアント端末１０とサーバ装置２０のやり取りを説明するためのシーケンス図の更に別の例である。

【図18】クライアント端末１０とサーバ装置２０のやり取りを説明するためのシーケンス図の更に別の例である。

【図19】情報入力後の採点画面の別の例を示した図である。

【図20】単語データベースから抽出された単語データの構成の一例を示した図である。

【図21】模範解答と解答と総合評価の関係の別の例を説明するための図である。

【発明を実施するための形態】

【0016】

図１は、システム１の構成を例示した図である。図２は、クライアント端末１０の物理構成を例示したブロック図である。図３は、サーバ装置２０の物理構成を例示したブロック図である。図１から図３を参照しながら、システム１の構成について説明する。

【0017】

システム１は、解答の評価を要求する評価要求に対して評価結果を出力する自動評価システムであり、より具体的には、例えば、採点要求に対して採点結果を出力する自動採点システムである。評価要求に関する出題の分野（科目）は、特に限定しない。数学、国語、外国語、理科（物理、化学、生物）、社会（歴史、地理、公民）などであってもよく、その他の専門科目からの出題であってもよい。また、出題の形式については、選択式の出題ではなく、記述式の出題であることが望ましい。以降では、出題分野が例えば数学など、数式表現を含む解答を採点する場合を例にして、システム１の構成と作用を説明する。

【0018】

システム１は、図１に示すように、ネットワーク３０を介して接続された、１つ以上のクライアント端末１０と、サーバ装置２０と、を含んでいる。ネットワーク３０は、例えば、インターネットであるが、専用回線などのその他の種類のネットワークであってもよい。システム１は、Ｗｅｂアプリケーションシステムであっても、クライアントサーバシステムであってもよい。

【0019】

クライアント端末１０は、表示装置を備えた端末であり、システム１の利用者によって操作される。システム１の利用者、即ち、クライアント端末１０の利用者は、特に限定しない。利用者である評価者は、典型的には、学校の教師などの採点者であるが、学校の生徒などの解答者自身がシステム１を利用してもよい。クライアント端末１０は、例えば、利用者の入力に応じてサーバ装置２０へ、出題に対する評価対象となる解答の評価を要求する評価要求、例えば、出題に対する採点対象となる解答の採点を要求する採点要求、を送信する。なお、採点要求は、評価要求の一例である。評価要求には、例えば、出題に対する解答者による解答の情報（解答情報）と、出題に対する模範解答の情報（模範解答情報）と、１つ以上の評価項目の情報（評価項目情報）と、解答の総合評価を決定する方法である総合評価方法の情報（総合評価方法情報）が含まれているが、少なくとも、解答情報と、総合評価方法情報とが、含まれていればよい。以下、本明細書では、受験者などの解答者が作成した評価対象となる解答のことを単に「解答」と表し、出題に対する正解である「模範解答」とは区別する。

【0020】

なお、解答情報とは、解答そのものであってもよく、解答を取得するための情報であってもよい。例えば、解答を復元可能に変換したものであってもよく、解答の在りかを示す情報であってもよい。模範解答情報とは、模範解答そのものであってもよく、模範解答を取得するための情報であってもよい。例えば、模範解答を復元可能に変換したものであってもよく、模範解答の在りかを示す情報であってもよい。また、評価項目とは、解答を評価する際の判断要素であり、例えば、採点を加点又は減点するための判断要素であってもよい。評価項目情報とは、評価項目そのものであってもよく、評価項目を取得するための情報であってもよい。例えば、評価項目を復元可能に変換したものであってもよく、評価項目の在りかを示す情報であってもよい。総合評価方法とは、解答の情報により表される解答を評価するための１つ以上の評価項目の各々についての解答に対する評価に基づいて解答の総合評価を決定する方法を特定する情報であり、例えば、採点ロジックである。総合評価方法情報とは、総合評価方法そのものであってもよく、総合評価方法を取得するための情報であってもよい。例えば、総合評価方法を復元可能に変換したものであってもよく、総合評価方法の在りかを示す情報であってもよい。また、採点ロジックとは、解答の１つ以上の評価項目の各々についての解答に対する評価に基づいて解答を採点するロジックである。採点ロジック情報とは、採点ロジックそのものであってもよく、採点ロジックを取得するための情報であってもよい。例えば、採点ロジックを復元可能に変換したものであってもよく、採点ロジックの在りかを示す情報であってもよい。

【0021】

クライアント端末１０は、図１に示すように、ノート型のクライアント端末１０ａであってもよく、タブレット型のクライアント端末１０ｂであってもよく、スマートフォンなどのクライアント端末１０ｃであってもよい。また、クライアント端末１０はモバイル端末に限らず、例えば、据え置き型のコンピュータであってもよい。

【0022】

クライアント端末１０は、特に限定しないが、例えば、図２に示すように、プロセッサ１１と、記憶装置１２と、入力装置１３と、表示装置１４と、通信装置１５を備えている。

【0023】

プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含むハードウェアであり、記憶装置１２に記憶されているプログラム１２ａを実行する。なお、プロセッサ１１には、ＧＰＵ（Ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの任意の電気回路が含まれてもよい。

【0024】

記憶装置１２は、例えば、任意の半導体メモリであり、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの不揮発性メモリを含んでいる。また、記憶装置１２は、磁気記憶装置、光学記憶装置、その他の種類の記憶装置を含んでもよい。記憶装置１２には、プロセッサ１１によって実行されるプログラム１２ａが記憶されている。なお、記憶装置１２に記憶されているプログラム１２ａは、例えば、ネットワーク３０及び通信装置１５を介してサーバ装置２０からダウンロードされたものであってもよい。

【0025】

入力装置１３は、例えば、キーボード、マウス、タッチパネルなどを含んでいるが、マイクなどの音声入力装置を含んでもよく、他の種類の入力装置を含んでもよい。表示装置１４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイなどであるが、マトリクスＬＥＤパネルなどの他の種類の表示装置であってもよい。通信装置１５は、例えば、Ｗｉ－Ｆｉ（登録商標）モジュールなどの無線通信装置であるが、有線通信装置であってもよい。

【0026】

サーバ装置２０は、評価要求を処理して解答の総合評価を表す情報を出力する情報処理装置であり、例えば、採点要求を処理して採点結果を出力する情報処理装置であってもよい。なお、総合評価を表す情報（以降、評価結果と記す）の出力先は、特に限定しない。サーバ装置２０内に出力されてもよく、サーバ装置２０とは異なる装置に出力されてもよい。評価結果の出力は、例えば、評価結果情報を含むファイルの作成、評価結果情報のデータベースへの登録などであってもよい。なお、サーバ装置２０は、評価要求の送信元であるクライアント端末１０へ評価結果を送信してもよく、送信しなくてもよい。

【0027】

サーバ装置２０が出力する評価結果には、少なくとも解答の総合評価が含まれている。また、評価結果には、評価要求に含まれる１つ以上の評価項目の各々についての解答に対する評価を含んでもよい。総合評価と評価は、それぞれ、例えば、０点、１点、２点などの算術演算可能なスコアであってもよい。また、総合評価と評価は、それぞれ、良い、普通、悪いなどの相対評価であってもよい。また、総合評価と評価の一方がスコアで他方が相対評価であってもよい。

【0028】

サーバ装置２０は、単一の装置として構成されてもよく、Ｗｅｂサーバ装置、アプリケーションサーバ装置、データベースサーバ装置などを含む複数の装置の集合であってもよい。また、サーバ装置２０は、分散コンピューティングシステムとして構成されてもよい。

【0029】

サーバ装置２０は、特に限定しないが、例えば、図３に示すように、プロセッサ２１と、記憶装置２２と、入力装置２３と、表示装置２４と、通信装置２５を備えている。

【0030】

プロセッサ２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含むハードウェアであり、記憶装置２２に記憶されているプログラム２２ａ、プログラム２２ｂを実行する。なお、プロセッサ２１には、ＧＰＵ（Ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などの任意の電気回路が含まれてもよい。

【0031】

記憶装置２２は、例えば、任意の半導体メモリであり、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの不揮発性メモリを含んでいる。また、記憶装置２２は、磁気記憶装置、光学記憶装置、その他の種類の記憶装置を含んでもよい。記憶装置２２には、プロセッサ２１によって実行されるプログラム２２ａ、プログラム２２ｂが記憶されている。なお、プログラム２２ａは、例えば、評価要求に対して自動評価処理を実行する自動評価プログラムである。また、プログラム２２ｂは、例えば、自動評価プログラムを含む様々なプログラムから呼び出されるプログラムであり、自動評価処理で利用される後述する関数処理など、様々なプログラムで共通して利用される処理を行うために実行される。また、記憶装置２２には、クライアント端末１０に配布され、クライアント端末１０で実行されるプログラム１２ａが記憶されていてもよい。また、サーバ装置２０は、クライアント端末１０にプログラム２２ａを配布してもよく、クライアント端末１０は、サーバ装置２０から受信したプログラム２２ａを実行することで、後述する自動評価処理を行ってもよい。即ち、サーバ装置２０は、自動評価プログラムを配布するプログラム配布サーバであってもよい。また、サーバ装置２０は、クライアント端末１０にプログラム２２ａに加えてプログラム２２ｂを配布してもよい。

【0032】

入力装置２３は、例えば、キーボード、マウス、タッチパネルなどを含んでいるが、マイクなどの音声入力装置を含んでもよく、他の種類の入力装置を含んでもよい。表示装置２４は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイなどであるが、マトリクスＬＥＤパネルなどの他の種類の表示装置であってもよい。通信装置２５は、無線通信装置であっても有線通信装置であってもよい。

【0033】

以上のように構成されたシステム１では、クライアント端末１０から送信された評価要求に応答して、サーバ装置２０が自動的に評価処理を行い、評価結果を出力する。従って、システム１によれば、採点者などの評価者が手動で解答を採点して評価する必要がなくなるため、解答評価作業（採点作業）の負担を大幅に軽減することができる。

【0034】

また、評価要求には、解答情報（及び模範解答情報）とともに、総合評価方法情報（及び評価項目情報）が含まれているため、たとえシステム１が多くの利用者（採点者、評価者）に共有されている場合であっても、解答の採点に使用される採点ロジックなどの総合評価方法を確実に指定することができる。システム１のこの特徴は、固定的な採点ロジックで動作する従来のシステムとは大きく異なっており、これにより、システム１によれば、評価に対する考え方の異なる評価者の要求に柔軟に対応することができる。また、解答の評価に使用される総合評価方法を確実に指定することができるため、評価要求のタイミングに対して評価処理のタイミングを自由に選択することができる。このため、システム１が共有されている環境下で、例えば、日中に受けた評価要求を夜間にバッチ処理でまとめて採点するといったことも容易になる。

【0035】

システム１では、解答ごとに総合評価方法を異ならせることもできる。このため、同じ評価者が利用する場合であっても、例えば、解答者のレベルに応じて評価基準を異ならせることも可能となる。従って、システム１によれば、評価者の教育方針に応じたきめ細やかな評価が可能となる。

【0036】

図４は、クライアント端末１０とサーバ装置２０のやり取りを説明するためのシーケンス図である。図５は、情報入力前の採点画面の一例を示した図である。図６は、情報入力後の採点画面の一例を示した図である。図７は、評価項目を例示した図である。図８は、採点要求ファイルの構造を例示した図である。図９は、自動採点処理のフローチャートの一例である。図１０は、模範解答と解答と総合評価の関係の一例を説明するための図である。図１１は、採点結果ファイルの構造を例示した図である。以下、図４から図１１を参照しながら、システム１が自動採点方法を実現するＷｅｂアプリケーションシステムである場合を例に、システム１の具体的な動作の一例について説明する。なお、以降で説明する自動採点方法は、解答を評価する解答評価方法の一例である。

【0037】

システム１が提供する自動採点機能を利用する利用者は、まず、クライアント端末１０にインストールされたＷｅｂブラウザを起動し、所定のＵＲＬを入力する。これにより、クライアント端末１０は、採点画面を表示するための表示データの送信をサーバ装置２０へ要求し（図４のステップＳ１）、サーバ装置２０は、クライアント端末１０の要求に応じて、図５に示す採点画面１００を表示するための表示データを送信する（図４のステップＳ２）。

【0038】

採点画面１００は、図５に示すように、解答欄１１０と、模範解答欄１２０と、評価項目欄１３０と、採点ロジック欄１４０と、を含む入力画面、又は、編集画面であり、総合評価方法情報の一例である採点ロジック情報を編集するインターフェースの一例である。即ち、ステップＳ２は、総合評価方法情報を編集するインターフェースを提供するステップの一例である。解答欄１１０と模範解答欄１２０と採点ロジック欄１４０は、それぞれ、解答、模範解答、採点ロジックを入力、編集する領域であり、例えば、テキストボックスで構成されてもよい。評価項目欄１３０は、評価項目を入力、編集する領域であり、例えば、テキストボックス１３１と、チェックボックス１３２と、リストボックス１３３を含んでいる。リストボックス１３３は、予め用意された関数の中から評価項目として利用する関数を指定するために用いられる。テキストボックス１３１は、リストボックス１３３で指定された関数に解答を入力することで得られた出力を格納する変数の名称を定義する。なお、チェックボックス１３２にチェックが入っている場合には、関数の出力に対してＮＯＴ演算した結果がテキストボックス１３１で定義された変数に格納される。つまり、テキストボックス１３１で定義された変数には、解答の評価項目に関する評価が格納される。

【0039】

採点画面がクライアント端末１０に表示されると、利用者は、採点画面に自動採点処理の実行に必要な情報を入力する。これにより、クライアント端末１０は、利用者が入力した情報を取得する（図４のステップＳ３）。

【0040】

図６には、解答欄１１０に解答として“（ｘ＋１／２）＾２”が、模範解答欄１２０に模範解答として“ｘ＾２＋ｘ＋０．２５”が入力された様子が示されている。また、評価項目欄１３０には、解答と模範解答が数学的等価か否かを判定する関数ｍａｔｈＥｑｕｉｖ（）の出力を変数“ｅｑｕｉｖ”として、解答に分数が含まれているか否かを判定する関数ｈａｓＦｒａｃｔｉｏｎ（）の出力を変数“ｈａｓＦｒａｃ”として、解答が展開された形式で記載されているか否かを判定する関数ｉｓＥｘｐａｎｄｅｄ（）の出力を変数“ｉｓＥｘｐ”として、定義した様子が示されている。さらに、採点ロジック欄１４０には、評価項目欄１３０で定義した変数を用いて解答の総合評価であるスコアを算出する採点ロジック１４１が記載された様子が示されている。

【0041】

採点ロジック１４１は、解答と模範解答が数学的に等価である場合には、総合評価を１点以上とし、解答と模範解答が数学的に等価でない場合には、総合評価を０点とするロジックである。より詳細には、採点ロジック１４１では、解答と模範解答が数学的に等価である場合であって、解答に分数が含まれず、且つ、解答が適切に展開されている場合に最高点である５点が与えられる。一方で、解答と模範解答が数学的に等価である場合であっても、解答に分数が含まれている場合には１点が減点され、解答が適切に展開されていない場合には３点が減点される。このように、採点ロジック１４１には、１つ以上の評価項目の各々に割り当てられた配点情報（この例では、５点、－１点、－３点）が含まれている。図６に示すように、解答と模範解答の間に数学的等価な関係がある場合に、これらの関数を用いて解答と模範解答の非類似性を評価し、非類似性の要因に応じて減点して総合評価を調整することで、数学的に正しい解答に対しても部分点を差し引くことが可能となる。

【0042】

なお、採点ロジック欄１４０に入力される採点ロジック１４１は、この例に限らず、採点者が自由に記載することができる。また、上述した３つの関数以外の関数を用いたロジックが採点ロジック欄１４０に記載されてもよい。例えば、図７に示すように、リストボックス１３３から選択可能な関数リスト１３４には、上述した３つの関数の他に、ｉｓＥｑｕａｔｉｏｎＦｏｒｍ（）、Ｆａｃｔｏｒｉｚｅｄ（）、Ｓｉｍｐｌｉｆｉｅｄ（）などの関数が含まれている。これらの関数を利用して採点ロジックを記載してもよい。

【0043】

関数ｉｓＥｑｕａｔｉｏｎＦｏｒｍ（）は、解答とともに指定した書式を解答が満たしているか否かを判定する関数である。関数Ｆａｃｔｏｒｉｚｅｄ（）は、解答が因数分解された形式で記載されているか否かを判定する関数である。関数Ｓｉｍｐｌｉｆｉｅｄ（）は、解答が約分や有理化などが行われた整理された形式で記載されているか否かを判定する関数である。

【0044】

利用者が採点画面に情報を入力し、ボタン１５０を押下すると、クライアント端末１０は、採点画面に入力した情報に基づいて作成された採点要求をサーバ装置２０へ送信する（図４のステップＳ４）。なお、採点画面に情報が入力された状態で、利用者がボタン１６０を押下することで、クライアント端末１０は、送信された又は送信される予定の採点要求をファイル（以降、採点要求ファイルと記す。）に保存してもよい。クライアント端末１０は、採点画面の入力から採点要求を作成する代わりに、採点要求ファイルを読み込むことで採点要求を作成してもよいし、読み込んだ採点要求ファイルをさらに編集することで採点要求を作成してもよい。

【0045】

図８には、ボタン１６０を押下することで出力された採点要求ファイル２００の一例が示されている。図８に示す採点要求ファイル２００には、解答情報２１０、模範解答情報２２０、評価項目情報２３０、採点ロジック情報２４０が、例えば、ＪＳＯＮ形式、ＸＭＬ形式などのテキスト形式のデータフォーマットで含まれている。このため、採点者である利用者は、採点要求ファイル２００の解答情報２１０を解答者に応じた解答に差し替えることで、解答者毎の採点要求ファイルを作成することが可能であり、これにより、採点要求を作成する作業の負担を大幅に軽減することができる。

【0046】

クライアント端末１０から採点要求が送信されると、サーバ装置２０は、図９に示す自動採点処理を行う（図４のステップＳ５）。なお、図９に示す自動採点処理は、例えば、サーバ装置２０のプロセッサ２１が記憶装置２２に格納されたプログラム２２ａを実行することで行われる。

【0047】

自動採点処理が開始されると、プロセッサ２１は、まず、解答情報と、採点ロジック情報とを取得する（ステップＳ１０）。即ち、プロセッサ２１は、解答情報と採点ロジック情報を取得する取得部の一例である。なお、ステップＳ１０では、少なくとも、解答情報と、採点ロジック情報を取得すればよいが、以降では、これらに加えて、模範解答情報と、１つ以上の評価項目情報を取得する例で説明する。

【0048】

ステップＳ１０では、プロセッサ２１は、まず、採点要求を受信する。即ち、プロセッサ２１は、解答情報２１０、模範解答情報２２０、評価項目情報２３０、採点ロジック情報２４０を、ひとまとまりで受信する。これにより、サーバ装置２０（プロセッサ２１）は、解答情報２１０、模範解答情報２２０、評価項目情報２３０、採点ロジック情報２４０が互いに関連付けられた情報であると認識できる。ステップＳ１０では、少なくとも解答情報２１０と採点ロジック情報２４０をひとまとまりで受信すればよい。この処理は、採点画面の表示データを受信したクライアント端末１０においてステップＳ３で採点画面への入力が受け付けられたことに応じて、サーバ装置２０が採点ロジックの情報を取得する処理の一例である。その後、プロセッサ２１は、採点要求を解析して、解答情報、模範解答情報、１つ以上の評価項目情報、採点ロジック情報を抽出する。さらに、プロセッサ２１は、解答情報、模範解答情報、１つ以上の評価項目情報、採点ロジック情報のそれぞれに基づいて、解答、模範解答、１つ以上の評価項目、採点ロジックを特定する。

【0049】

次に、プロセッサ２１は、解答の１つ以上の評価項目の各々について解答に対する評価を取得する（ステップＳ２０）。即ち、プロセッサ２１は、各評価を取得する第２の取得部の一例である。ステップＳ２０では、プロセッサ２１は、ステップＳ１０で採点要求から特定された解答と１つ以上の評価項目とに基づいて、解答の１つ以上の評価項目の各々に関する評価を取得する。なお、プロセッサ２１は、解答と模範解答と１つ以上の評価項目とに基づいて、解答の１つ以上の評価項目の各々に関する評価を取得してもよい。具体的には、プロセッサ２１は、実行中の自動採点プログラム（プログラム２２ａ）から、共通モジュール（プログラム２２ｂ）によって提供されている評価項目に対応する関数を呼び出すことで、共通モジュールから評価項目に関する評価を取得する。より具体的には、プロセッサ２１は、解答と模範解答を引数に指定して関数ｍａｔｈＥｑｕｉｖ（）を呼び出すことで、解答と模範解答が数学的等価か否かについての評価を、ｅｑｕｉｖに格納された形で取得する。また、プロセッサ２１は、解答を引数に指定して関数ｈａｓＦｒａｃｔｉｏｎ（）を呼び出すことで、解答に分数が含まれるか否かの評価を、変数ｈａｓＦｒａｃに格納された形で取得する。さらに、プロセッサ２１は、解答を引数に指定して関数ｉｓＥｘｐａｎｄｅｄ（）を呼び出すことで、解答が展開された形式か否かの評価を、変数ｉｓＥｘｐに格納された形で取得する。

【0050】

自動採点処理の最後に、プロセッサ２１は、解答の総合評価を表す情報（評価結果）である採点結果を出力する（ステップＳ３０）。即ち、プロセッサ２１は、採点結果を出力する出力部の一例である。ステップＳ３０では、プロセッサ２１は、採点ロジックと解答とに基づいて採点結果を出力する。具体的には、ステップＳ１０で取得された採点ロジックと、解答と評価項目とを用いることでステップＳ２０で取得した評価とに基づいて、採点結果を出力する。より具体的には、プロセッサ２１は、変数に格納された評価を用いて採点ロジックを実行することで総合評価であるスコアを算出し、スコアを含む採点結果を出力する。このように、評価項目の各々の評価と採点ロジックを組み合わせてスコアを算出することで、図１０のテーブルＴ１に示されるように、解答に応じた柔軟な採点が可能となる。

【0051】

図１０には、模範解答と解答と総合評価の関係の一例が示されていて、この例では、模範解答と数学的に等価な４つの解答がそれぞれ異なるスコアに採点されている。具体的には、数学的等価な解答に対して基準点５点が割り当てられた上で、分数を含む解答に対しては１点減点し、展開が不十分な解答に対して３点減点し、分数を含み且つ展開が不十分な解答に対して４点（１点＋３点）減点することにより、数学的等価な解答が４つの異なるスコアに採点されている。

【0052】

ステップＳ３０で出力される採点結果は、ファイルに出力されてもよく、データベースに出力され登録されてもよい。図１１には、サーバ装置２０から出力された採点結果を含む採点結果ファイル３００の一例が示されている。採点結果ファイル３００には、図１１に示すように、総合評価（スコア）の情報である総合評価情報３１０に加えて、評価項目毎の評価の情報である評価情報３２０が含まれてもよい。採点結果ファイル３００に評価情報３２０が含まれることで、採点結果を受け取った解答者が総合評価に用いられた評価項目を把握することが可能となるため、解答者の今後の学習に参考とすることができる。また、採点結果ファイル３００は、採点結果を、採点要求ファイル２００と同様に、例えば、ＪＳＯＮ形式、ＸＭＬ形式などのテキスト形式のデータフォーマットで含んでもよい。採点結果がテキスト形式で出力されることで編集や加工を容易に行うことができるというメリットがある。また、採点結果がＪＳＯＮ形式やＸＭＬ形式などの構造化された形式で出力されることで、他のアプリケーションでの採点結果の利用が容易になるというメリットがある。

【0053】

図９に示す自動採点処理が終了すると、サーバ装置２０は、クライアント端末１０へ採点結果を送信することで採点要求に応答する（図４のステップＳ６）。なお、採点要求に対する応答（以降、採点応答と記す。）は、採点結果を含まなくてもよい。また、採点結果を含まない場合には、サーバ装置２０は、採点要求を受信後、自動採点処理実行前又は完了前に、採点応答を送信してもよい。

【0054】

以上のように、本実施形態に記載される自動採点方法、サーバ装置２０で実行される自動採点プログラム、及び、サーバ装置２０によれば、解答情報（及び模範解答情報）に加えて採点ロジック情報（及び評価項目情報）を取得し、これらの情報に基づいて生成した採点結果を出力する。これにより、採点に対する考え方の異なる採点者の要求に柔軟に対応した自動採点を実現することが可能となる。より具体的には、１つ以上の評価項目と１つ以上の評価項目の各々に割り当てられた配点情報を含む採点ロジックとを使用して総合評価をスコアとして算出することで、解答に応じた採点を容易に行うことができる。

【0055】

なお、本実施形態では、採点要求に含まれる１つ以上の評価項目が、解答と模範解答との数学的等価性を満たすか否かを評価項目として定義する第１項目（例えば、関数ｍａｔｈＥｑｕｉｖｅ（））と、解答と模範解答との表現上の同一性を否定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第２項目（例えば、関数ｈａｓＦｒａｃｔｉｏｎ（）、関数ｉｓＥｘｐａｎｄｅｄ（）など）を含み、且つ、採点ロジックが、第１項目に関する評価が肯定的であるときに、１つ以上の第２項目の各々の評価に応じて、総合評価を調整（減点）するロジックを含む例を示した。この例によれば、解答と模範解答が表現上完全に一致していなくても、数学的等価な関係にあれば、一定程度の配点を与えるといった採点を容易に行うことができる。また、模範解答と数学的等価な関係の解答であっても同一性を否定する要因によって異なるスコアに採点することができる。なお、第２項目は、数学的に等価であるが数学的表現が異なるという場合に成立する条件について評価項目として定義する項目と言い換えることができる。

【0056】

ただし、評価項目と採点ロジックの構成は、上述した例に限らない。例えば、採点要求に含まれる１つ以上の評価項目は、上述した第１項目と第２項目に加えて、解答と模範解答との類似性を肯定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第３項目と、を含んでもよい。さらに、採点要求に含まれる採点ロジックは、第１項目に関する評価が否定的であるときに、１つ以上の第３項目の各々の評価に応じて、総合評価を調整（加点）するロジックを含んでもよい。なお、第３項目は、数学的に等価でないが数学的表現の一部が一致する場合に成立する条件について評価項目として定義する項目と言い換えることができる。

【0057】

なお、図１２に示す評価項目欄１３０に設けられたリストボックス１３３から選択可能な関数リストのうち、関数１３５、関数群１３６、関数群１３７は、それぞれ、第１項目、第２項目、第３項目に対応する。また、図１３に示す採点ロジック欄１４０に記載された採点ロジック１４２のうち、領域１４３に記載されているロジックは、１つ以上の第２項目の各々の評価に応じて総合評価を調整するロジックであり、領域１４４に記載されているロジックは、１つ以上の第３項目の各々の評価に応じて総合評価を調整するロジックである。

【0058】

なお、関数群１３７に含まれる関数ｍａｔｈＥｑｕｉｖＷｉｔｈＣｏｏｒｄｉｎａｔｅＣｏｒｒｅｃｔ（）は、解答が１つ以上の座標値からなる座標形式であるときに、模範解答の値と一致する座標値の数を判定する関数である。また、関数ｉｓＩｎｅｑｕａｌｉｔｙＭｉｓｓ（）は、解答と模範解答の間の数学的等価性の欠如の理由が不等式における等号の有無のみであるか否かを判定する関数である。関数ｉｓＳｉｇｎＭｉｓｓ（）は、解答と模範解答の間の数学的等価性の欠如の理由が符号のみであるか否かを判定する関数である。また、関数ｉｓＡｎｇｌｅＭｉｓｓ（）は、解答と模範解答の間の数学的等価性の欠如の理由が“°”や“π”などの角度に関する記号の有無のみであるか否かを判定する関数である。

【0059】

図１２及び図１３に示すように、解答と模範解答の間に数学的等価な関係がない場合に、これらの関数を用いて解答と模範解答の類似性を評価し、類似性の要因に応じて加点して総合評価を調整することで、数学的に間違った解答に対しても部分点を与えることが可能となる。

【0060】

さらに、システム１は、数学的等価か否かを判定する基準を調整する機能を利用者に提供してもよい。例えば、解答と模範解答が数学的等価か否かを判定する関数ｍａｔｈＥｑｕｉｖ（）の動作を、オプション設定を変更することで調整してもよい。

【0061】

図１４には、関数ｍａｔｈＥｑｕｉｖ（）の動作を変更するためのオプションリスト１７０が例示されている。この例では、デフォルトではすべて有効化されているオプション設定のうち“Ｉｇｎｏｒｅ ｏｒｄｅｒ”が無効化されている様子が示されている。“Ｉｇｎｏｒｅ ｏｒｄｅｒ”を無効化することで、関数ｍａｔｈＥｑｕｉｖ（）は、通常は数学的等価である判断されるべき解答を構成する要素間の並び順の違い（例えば、２×３と３×２、ｘ＾２＋ｘとｘ＋ｘ＾２、など）を数学的等価ではないと判断する。このように、関数ｍａｔｈＥｑｕｉｖ（）の動作を調整することで、採点者の裁量でさらに柔軟な採点が可能となる。

【0062】

図１２及び図１３を用いて説明した解答と模範解答との類似性を評価する処理や、図１４を用いて説明した数学的等価の判断基準の調整する処理を行うことで、図１５のテーブルＴ２に示されるように、さらに柔軟な採点が可能となる。図１５には、解答と模範解答が数学的等価な関係であっても採点が０点になるケースがあること、及び、解答と模範解答が数学的等価な関係になくても採点が０点にならないケースがあることを示している。

【0063】

上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではなく、上述の実施形態の各種変形形態および代替形態を包含するものとして理解されるべきである。例えば、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、上述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態が実施され得ることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して、または実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。即ち、解答評価方法、プログラム、プログラム配信サーバ、情報処理装置、解答評価システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。

【0064】

上述した実施形態では、サーバ装置２０が解答情報２１０、模範解答情報２２０、評価項目情報２３０、及び採点ロジック情報２４０を取得する例を示したが、これらのうち、予め決まった情報については、予め情報を用意しておくことで新たに取得しなくてもよい。例えば、模範解答と評価項目については固定でよい場合であれば、サーバ装置２０は、解答情報２１０と、採点ロジック情報２４０と、を取得すればよい。少なくとも解答情報２１０と採点ロジック情報２４０を取得することで、採点ロジックを採点者が自由に変更することができるため、柔軟な採点が可能となる。

【0065】

また、上述した実施形態では、サーバ装置２０が解答情報２１０、模範解答情報２２０、評価項目情報２３０、及び採点ロジック情報２４０をひとまとまりで取得する例を示したが、採点に用いられるこれらの情報は、採点までに取得されればよく、必ずしもひとまとまりに取得する必要はない。例えば、図１６に示すように、複数のクライアント端末１０（クライアント端末１０ａ、クライアント端末１０ｂ）からこれらの情報を取得してもよい。例えば、図１６に示すように、まず、解答情報２１０と、模範解答情報２２０と、１つ以上の評価項目情報２３０と、がクライアント端末１０ａから送信され、サーバ装置２０で受信されてもよく（ステップＳ１００）、次に、採点ロジック情報２４０（総合評価方法情報）と、関連性特定情報とが、クライアント端末１０ｂから送信され、サーバ装置２０で受信されてもよい（ステップＳ１０１）。その後、図９に示す自動採点処理と同様の自動採点処理が行われてもよい（ステップＳ１０２）。なお、関連性特定情報は、少なくとも解答と総合評価方法の互いの関連性を特定できる情報であり、望ましくは、解答と、模範解答と、１つ以上の評価項目と、総合評価情報との互いの関連性を特定できる情報である。関連性特定情報を用いることで、採点に使用すべき解答と、模範解答と、１つ以上の評価項目と、総合評価情報の組み合わせを特定することが可能となるため、解答と、模範解答と、１つ以上の評価項目と、総合評価情報を別々に取得することが可能となる。

【0066】

なお、複数の情報を別々に取得するとは、複数の情報をひとまとまりには受信しないこと、即ち、複数の情報の何れか１つ以上と、他の１つ以上とを、互いに時間間隔をおいて受信することや、複数の情報の何れか１つ以上と、他の１つ以上とを、複数の異なる装置から受信すること、或いは、それらの組合せた方法により取得することを意味する。以下、実例に沿って説明する。図１６では、クライアント端末１０ａとクライアント端末１０ｂから情報を取得する例を示したが、解答情報２１０と、採点ロジック情報２４０（総合評価方法情報）と、解答及び総合評価方法の互いの関連性を特定できる関連性特定情報は、３つ以上のクライアント端末から取得してもよい。即ち、サーバ装置２０は、解答情報２１０と、採点ロジック情報２４０（総合評価方法情報）と、関連性特定情報と、のうちの何れか１つ以上と、他の１つ以上とを、別々に受信して取得してもよい。また、解答情報２１０と、模範解答情報２２０と、評価項目情報２３０と、採点ロジック情報２４０と、関連性特定情報とを受信する場合であれば、サーバ装置２０は、これらの何れか１つ以上と、他の１つ以上を、別々に受信してもよい。

【0067】

図１６では、解答情報２１０と、模範解答情報２２０と、評価項目情報２３０と、採点ロジック情報２４０と、関連性特定情報を、複数のクライアント端末１０から受信することで、別々に受信する例を示したが、これらの情報は、同じクライアント端末１０から、別々に受信してもよい。例えば、図１７に示すように、サーバ装置２０は、解答情報２１０と、模範解答情報２２０と、評価項目情報２３０と、採点ロジック情報２４０と、関連性特定情報を、単一のクライアント端末１０ａから別々に受信してもよい（ステップＳ２００～ステップＳ２０４）。その後、サーバ装置２０において、図９に示す自動採点処理と同様の自動採点処理が行われてもよい（ステップＳ２０５）。また、図１８に示すように、サーバ装置２０は、解答情報２１０と、模範解答情報２２０と、評価項目情報２３０と、採点ロジック情報２４０と、関連性特定情報のうちのいくつかの情報を単一のクライアント端末１０ａから別々に受信し（ステップＳ３００～ステップＳ３０２）、残りの情報を別のクライアント端末１０ｂから受信してもよい（ステップＳ３０３）。そして、必要な情報を受信した後に、サーバ装置２０において、図９に示す自動採点処理と同様の自動採点処理が行われてもよい（ステップＳ３０４）。

【0068】

以上では、数式表現を含む解答を採点する場合を例にして説明したが、出願分野は、数学などに限らず、英単語、漢字、その他科目の採点に応用することができる。図１９は、情報入力後の採点画面の別の例を示した図である。図２０は、単語データベースから抽出された単語データの構成の一例を示した図である。図２１は、模範解答と解答と総合評価の関係の別の例を説明するための図である。以下、出題分野が例えば、英語などの外国語であり、単語または文章表現を含む解答を採点する場合について、図１９から図２１を参照しながら説明する。具体的には、以下の出題に対する解答を採点する場合を例に説明する。

【0069】

＜出題＞
以下の文章のカッコ（）に当てはまる英単語を答えなさい。
日本語：新しい技術を評価する。
英語：Ｉ （） ａ ｎｅｗ ｔｅｃｈｎｏｌｏｇｙ．

【0070】

まず、クライアント端末１０からの要求に応じて、サーバ装置２０が採点画面１００を表示するための表示データを送信する（図４のステップＳ１、ステップＳ２）。その後、採点画面１００がクライアント端末１０に表示されると、利用者は、採点画面１００に自動採点処理の実行に必要な情報を入力し、クライアント端末１０は、利用者が入力した情報を取得する（図４のステップＳ３）。これらの処理は、上述した数学の問題の場合と同様である。

【0071】

図１９には、解答欄１１０に解答として“Ａｓｓｅｓｓ”が、模範解答欄１２０に模範解答として“ａｓｓｅｓｓ”と“ｍｅａｓｕｒｅ”が入力された様子が示されている。また、評価項目欄１３０には、解答と模範解答との意味的類似性を満たすか否かを判定する関数ｍａｔｃｈ（）の出力を変数“ｍａｔｃｈ”として、解答に大文字が含まれているか否かを判定する関数ｈａｓＵｐｐｅｒＣａｓｅ（）の出力を変数“ｈａｓＵｐｐｅｒＣａｓｅ”として、解答の型が引数で指定された型に一致しているか否かを判定する関数ｉｓＳａｍｅＣｏｎｊｕａｔｉｏｎ（）の出力であって、引数に１人称現在形を示す “１”を指定した出力を、変数“ｉｓＦｉｒｓｔＰｒｅｓｅｎｔ”として、解答と模範解答の間の文字の違いが許容される文字数以内か否かを判定する関数ｉｓＦｕｚｚｙ（）の出力であって、引数に許容文字数として１文字を示す“１”を指定した出力を変数“ｉｓＦｕｚｚｙ”として、定義した様子が示されている。さらに、採点ロジック欄１４０には、評価項目欄１３０で定義した変数を用いて解答の総合評価であるスコアを算出する採点ロジック１４５が記載された様子が示されている。

【0072】

採点ロジック１４５は、解答と模範解答が意味的に類似である場合には、総合評価を２点以上とし、解答と模範解答が意味的に類似でない場合には、総合評価を０点又は１点とするロジックである。より詳細には、採点ロジック１４５では、解答と模範解答が意味的に類似である場合であって、解答に大文字が含まれず、且つ、解答の型が１人称現在形の場合に最高点である５点が与えられる。また、解答と模範解答が意味的に類似である場合であっても、解答に大文字が含まれている場合には１点が減点され、解答の型が１人称現在形でない場合には２点が減点される。一方で、解答と模範解答が意味的に類似でない場合には、解答と模範解答の間の文字の違いが１文字以内の場合には１点が与えられ、２文字以上の場合には０点となる。

【0073】

このように、採点ロジック１４５には、１つ以上の評価項目の各々に割り当てられた配点情報（この例では、５点、－１点、－２点）が含まれている。図１９に示すように、解答と模範解答の間に意味的に類似な関係がある場合に、これらの関数を用いて解答と模範解答の表現上の同一性を否定する要因を評価し、その非同一性の要因に応じて減点して総合評価を調整することで、意味的に正しい解答に対しても部分点を差し引くことが可能となる。このようなロジックを採用する理由は、意味的に類似な解答であっても、模範解答とは異なる解答、つまり、模範解答と表現上の同一性がない解答は、文法上の誤りなどを含んでいることが想定されるためである。表現上の非同一性の要因に応じて減点することでこのような誤りを考慮した採点を行うことができる。また、解答と模範解答の間に意味的に類似な関係がない場合であっても、これらの関数を用いて解答と模範解答の表現上の類似性を肯定する要因を評価し、その類似性の要因に応じて加点して総合評価を調整することで、意味的に間違った解答に対しても解答者の理解度を加味して部分点を与えることが可能となる。このようなロジックを採用する理由は、意味的に類似でない解答には、誤記を含む解答が含まれている可能性があり、誤記を含む解答は模範解答と表現上の類似性を有していることが想定されるためである。誤記を含む解答は、解答者が問題の趣旨をある程度把握できていることを示しているため、表現上の類似性の要因に応じて加点することで解答者の理解度を考慮した採点を行うことができる。

【0074】

その後、利用者が採点画面に情報を入力し、ボタン１５０を押下すると、クライアント端末１０は、採点画面に入力した情報に基づいて作成された採点要求をサーバ装置２０へ送信する（図４のステップＳ４）。

【0075】

クライアント端末１０から採点要求が送信されると、サーバ装置２０は、図９に示す自動採点処理を行う（図４のステップＳ５）。以降では、数学の問題に対する自動採点処理との相違点を中心に説明する。

【0076】

自動採点処理が開始されると、プロセッサ２１は、まず、解答情報と、採点ロジック情報とを取得し（ステップＳ１０）、さらに、解答の１つ以上の評価項目の各々について解答に対する評価を取得する（ステップＳ２０）。ステップＳ２０では、プロセッサ２１は、ステップＳ１０で採点要求から特定された解答と１つ以上の評価項目とに基づいて、解答の１つ以上の評価項目の各々に関する評価を取得する。ステップＳ１０の処理は、数学の問題の場合と同様である。また、ステップＳ２０の処理も、使用する関数が異なる点を除き、数学の問題の場合と同様である。

【0077】

ステップＳ２０で使用する関数の一つである関数ｉｓＳａｍｅＣｏｎｊｕａｔｉｏｎ（）は、関数処理に際して、図２０に示す単語データベース２２ｃにアクセスする点が、他の関数とは異なっている。単語データベース２２ｃは、例えば、サーバ装置２０の記憶装置２２に記憶されててもよく、その他の装置に記憶されてもよい。

【0078】

単語データベース２２ｃには、単語のデータが登録されている。具体的には、例えば、単語毎に、単語を識別するｉｄ情報、単語の品詞を識別するｔｙｐｅ情報、その他、単語の品詞毎に予め決められた情報が登録されている。例えば、品詞が動詞の場合、図２０の単語データＤ１、Ｄ２で示すように、型毎のスペリング（１人称現在形、３人称現在形、過去形、現在分詞形、過去分詞形、原型）などの情報が含まれている。

【0079】

関数ｉｓＳａｍｅＣｏｎｊｕａｔｉｏｎ（）の処理では、プロセッサ２１は、単語データベース２２ｃから模範解答の単語に対応する単語データ（例えば、Ｄ１、Ｄ２）を取得し、単語データから特定される引数で指定された型のスペリングと、解答と、を比較する。そして、比較の結果、両者が一致していればＴｒｕｅを返し、一致していなければＦａｌｓｅを返す。

【0080】

自動採点処理の最後に、プロセッサ２１は、解答の総合評価を表す情報（評価結果）である採点結果を出力する（ステップＳ３０）。ここでは、プロセッサ２１は、変数に格納された評価を用いて採点ロジックを実行することで総合評価であるスコアを算出し、スコアを含む採点結果を出力する。このように、評価項目の各々の評価と採点ロジックを組み合わせてスコアを算出することで、図２１のテーブルＴ２に示されるように、解答に応じた柔軟な採点が可能となる。

【0081】

図２１には、模範解答と解答と総合評価の関係の一例が示されていて、この例では、模範解答と意味的に類似な４つの解答と意味的に類似でない１つの解答に１点以上のスコアが与えられている。具体的には、模範解答は５点、本来含まれるべきでない大文字を含む解答は４点、型の異なる解答は３点、誤記を含む解答は１点と採点されている。

【0082】

図９に示す自動採点処理が終了すると、サーバ装置２０は、クライアント端末１０へ採点結果を送信することで採点要求に応答する（図４のステップＳ６）。

【0083】

以上のように、上述した自動採点処理は、数学の問題に限らず、英語などの外国語などの穴埋め問題に対しても適用可能であり、採点に対する考え方の異なる採点者の要求に柔軟に対応することができる。

【0084】

なお、本実施形態では、採点要求に含まれる１つ以上の評価項目が、解答と模範解答との意味的類似性を満たすか否かを評価項目として定義する第４項目（例えば、関数ｍａｔｃｈ（））と、解答と模範解答との表現上の同一性を否定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第５項目（例えば、関数ｈａｓＵｐｐｅｒＣａｓｅ（）、関数ｉｓＳａｍｅＣｏｎｊｕａｔｉｏｎ（）など）を含み、且つ、採点ロジックが、第４項目に関する評価が肯定的であるときに、１つ以上の第５項目の各々の評価に応じて、総合評価を調整（減点）するロジックを含む例を示した。この例によれば、解答と模範解答が表現上完全に一致していなくても、意味的に類似な関係にあれば、一定程度の配点を与えるといった採点を容易に行うことができる。また、模範解答と意味的に類似な関係の解答であっても同一性を否定する要因によって異なるスコアに採点することができる。

【0085】

ただし、評価項目と採点ロジックの構成は、上述した例に限らない。例えば、採点要求に含まれる１つ以上の評価項目は、上述した第４項目と第５項目に加えて、解答と模範解答との表現上の類似性を肯定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第６項目と、を含んでもよい。さらに、採点要求に含まれる採点ロジックは、第４項目に関する評価が否定的であるときに、１つ以上の第６項目の各々の評価に応じて、総合評価を調整（加点）するロジックを含んでもよい。

【0086】

なお、図１９に示す採点ロジック欄１４０に記載された採点ロジック１４５のうち、領域１４６に記載されているロジックは、１つ以上の第５項目の各々の評価に応じて総合評価を調整するロジックであり、領域１４７に記載されているロジックは、１つ以上の第６項目の各々の評価に応じて総合評価を調整するロジックである。

【0087】

また、図１９では、意味的に類似な異なる単語（ａｓｓｅｓｓ、ｍｅａｓｕｒｅ）を模範解答に列挙する例を示したが、意味的に類似な単語は、類義語を検索可能なデータベースから取得してもよい。また、図１９では、意味的に類似な異なる単語に同じ配点を与える例を示したが、例えば、ａｓｓｅｓｓは５点、ｍｅａｓｕｒｅは４点など、語彙素（ｌｅｘｅｍｅ）によって基礎点を異ならせてもよい。

【0088】

上述した実施形態では、システム１がクライアント端末１０とサーバ装置２０を含む例を示したが、システム１は、サーバ装置２０がクライアント端末１０を兼ねてもよい。即ち、サーバ装置２０を用いて採点要求を作成し、作成した採点要求をサーバ装置２０が自身で処理することで、採点結果を出力してもよい。また、システム１は、クライアント端末１０がサーバ装置２０を兼ねてもよい。即ち、クライアント端末１０単体で、採点結果を出力してもよい。

【0089】

また、上述した実施形態では、サーバ装置２０が自動採点プログラム（プログラム２２ａ）から共通モジュール（プログラム２２ｂ）を呼び出すことで、サーバ装置２０自身が関数処理を行う例を示したが、自動採点処理と関数処理の関係は、この例に限らない。関数処理は、例えば、サーバ装置２０とは異なる装置で行われてもよい。また、自動採点処理と関数処理を同じプログラム内に実装してもよい。

【0090】

また、上述した実施形態では、数学的等価であるとの判断された解答に対して一旦最高点を与え、その後、表現上の同一性を否定する原因との関係で減点することで、最終的なスコアを算出する例を示したが、スコアの算出方法は、このような減点方式に限らない。例えば、数学的等価であるとの判断された解答に対して一旦所定の点数を与え、その後、条件に応じて加点する加点方式で最終的なスコアを算出してもよい。

【0091】

また、上述した実施形態では、評価項目と採点ロジックを個別に指定する例を示したが、評価項目と採点ロジックの指定の方法は、この例に限らない。サーバ装置２０は、出題者の属性（例えば、国、学校、担当科目、担当教諭など）に関連付けて、予め評価項目と採点ロジックを記憶してもよく、利用者（例えば、採点者や解答者）が出題者の属性を指定することで、サーバ装置２０が評価項目と採点ロジックが読み出して利用してもよい。

【0092】

また、上述した実施形態では、クライアントに専用のアプリケーション画面を表示して総合評価方法情報を編集させる例を示したが、総合評価方法情報を編集するためのインターフェースは専用のアプリケーション画面に限らない。例えば、コマンドプロンプトやその他のインターフェースにより編集可能としてもよい。

【0093】

以下、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
解答評価システムにより実行される解答評価方法であって、
出題に対応する評価対象とする解答の情報と、前記解答の情報により表される解答を評価するための１つ以上の評価項目の各々についての前記解答に対する評価に基づいて前記解答の総合評価を決定する方法である総合評価方法の情報と、を取得し、
取得した前記解答の情報により表される前記解答と、取得した前記総合評価方法の情報により表される前記総合評価方法とに基づいて取得される、前記解答の総合評価を表す情報を出力する
解答評価方法。
［付記２］
前記総合評価方法の情報を編集するインターフェースを提供し、
前記解答の情報と、前記総合評価方法の情報と、を取得することは、前記インターフェースの提供を受けた端末において前記総合評価方法の情報の前記インターフェースへの入力が受け付けられたことに応じて、前記総合評価方法の情報を取得すること、を含む
付記１記載の解答評価方法。
［付記３］
前記解答の情報と、前記総合評価方法の情報と、を取得することは、前記解答の情報、及び、前記総合評価方法の情報を、ひとまとまりで取得すること、を含む
付記１又は付記２記載の解答評価方法。
［付記４］
前記解答の情報と、前記総合評価方法の情報と、を取得することは、前記解答の情報と、前記総合評価方法の情報と、前記解答及び前記総合評価方法の互いの関連性を特定できる関連性特定情報と、のうちの何れか１つ以上と、他の１つ以上とを、別々に取得すること、を含む
付記１又は付記２記載の解答評価方法。
［付記５］
前記１つ以上の評価項目の情報をさらに取得し、
取得した前記解答の情報により表される前記解答と、取得した前記１つ以上の評価項目の情報により表される前記１つ以上の評価項目とに基づいて、前記１つ以上の評価項目の各々についての前記解答に対する前記評価を取得する
付記１乃至付記４の何れか一つに記載の解答評価方法。
［付記６］
前記１つ以上の評価項目の情報を編集するインターフェースを提供し、
前記１つ以上の評価項目の情報を取得することは、前記インターフェースの提供を受けた端末において前記１つ以上の評価項目の情報の前記インターフェースへの入力が受け付けられたことに応じて、前記１つ以上の評価項目の情報を取得すること、を含む
付記５記載の解答評価方法。
［付記７］
前記出題に対応する模範解答の情報をさらに取得し、
取得した前記解答の情報により表される前記解答と、取得した前記模範解答の情報により表される前記模範解答と、取得した前記１つ以上の評価項目の情報により表される前記１つ以上の評価項目とに基づいて、前記１つ以上の評価項目の各々についての前記解答に対する前記評価を取得する
付記１乃至付記６の何れか一つに記載の解答評価方法。
［付記８］
前記解答の総合評価を表す前記情報は、さらに、前記１つ以上の評価項目の各々についての前記解答に対する前記評価を含む
付記１乃至付記７の何れか一つに記載の解答評価方法。
［付記９］
前記総合評価は、スコアであり、
前記総合評価方法は、前記１つ以上の評価項目の各々に割り当てられた配点情報を含む
付記１乃至付記８の何れか一つに記載の解答評価方法。
［付記１０］
前記１つ以上の評価項目は、
前記解答と模範解答との数学的等価性を満たすか否かを評価項目として定義する第１項目と、
前記解答と前記模範解答との表現上の同一性を否定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第２項目と、を含み、
前記総合評価方法は、前記第１項目に関する評価が肯定的であるときに、前記１つ以上の第２項目の各々の評価に応じて、前記総合評価を調整するロジックを含む
付記１乃至付記９のいずれか一つに記載の解答評価方法。
［付記１１］
前記１つ以上の評価項目は、さらに、
前記解答と前記模範解答との類似性を肯定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第３項目と、を含み、
前記総合評価方法は、前記第１項目に関する評価が否定的であるときに、前記１つ以上の第３項目の各々の評価結果に応じて、前記総合評価を調整するロジックを含む
付記１０に記載の解答評価方法。
［付記１２］
前記１つ以上の評価項目は、
前記解答と模範解答との意味的類似性を満たすか否かを評価項目として定義する第４項目と、
前記解答と前記模範解答との表現上の同一性を否定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第５項目と、を含み、
前記総合評価方法は、前記第４項目に関する評価が肯定的であるときに、前記１つ以上の第５項目の各々の評価に応じて、前記総合評価を調整するロジックを含む
付記１乃至付記９のいずれか一つに記載の解答評価方法。
［付記１３］
前記１つ以上の評価項目は、さらに、
前記解答と前記模範解答との表現上の類似性を肯定する１つ以上の要因の各々を満たすか否かを評価項目として定義する１つ以上の第６項目と、を含み、
前記総合評価方法は、前記第４項目に関する評価が否定的であるときに、前記１つ以上の第６項目の各々の評価結果に応じて、前記総合評価を調整するロジックを含む
付記１０に記載の解答評価方法。
［付記１４］
コンピュータに、
出題に対応する評価対象とする解答の情報と、前記解答の情報により表される解答を評価するための１つ以上の評価項目の各々についての前記解答に対する評価に基づいて前記解答の総合評価を決定する方法である総合評価方法の情報と、を取得し、
取得した前記解答の情報により表される前記解答と、取得した前記総合評価方法の情報により表される前記総合評価方法とに基づいて取得される、前記解答の総合評価を表す情報を出力する
処理を実行させるプログラム。
［付記１５］
付記１４記載のプログラムを配信する、プログラム配信サーバ。
［付記１６］
出題に対応する評価対象とする解答の情報と、前記解答の情報により表される解答を評価するための１つ以上の評価項目の各々についての前記解答に対する評価に基づいて前記解答の総合評価を決定する方法である総合評価方法の情報と、を取得する取得部と、
取得した前記解答の情報により表される前記解答と、取得した前記総合評価方法の情報により表される前記総合評価方法とに基づいて取得される、前記解答の総合評価を表す情報を出力する出力部と、を備える
情報処理装置。
［付記１７］
サーバ及び１以上のクライアントを含む解答評価システムであって、
前記サーバは、
解答の総合評価を決定する方法である総合評価方法の情報を編集するインターフェースを提供し、
前記インターフェースの提供を受けた端末において前記総合評価方法の情報の前記インターフェースへの入力が受け付けられたことに応じて、前記総合評価方法の情報を取得し、
取得した前記総合評価方法の情報に基づいて取得される、前記解答の総合評価を表す情報を出力し、
前記１以上のクライアントは、
前記解答の情報と、前記総合評価方法の情報とを、前記サーバへ送信する
解答評価システム。
［付記１８］
前記端末は、前記１以上のクライアントの何れかであり、
前記端末は、
前記総合評価方法の情報を編集するインターフェースの提供を受け、
前記総合評価方法の情報の前記インターフェースへの入力が受け付けられたことに応じて、前記総合評価方法の情報を、前記サーバへ送信する
付記１７記載の解答評価システム。
［付記１９］
前記サーバは、前記解答の情報、及び、前記総合評価方法の情報を、ひとまとまりで受信する
付記１７又は付記１８記載の解答評価システム。
［付記２０］
前記サーバは、前記解答の情報と、前記総合評価方法の情報と、前記解答及び前記総合評価方法の互いの関連性を特定できる関連性特定情報と、のうちの何れか１つ以上と、他の１つ以上とを、別々に受信する
付記１７又は付記１８記載の解答評価システム。

【符号の説明】

【0094】

１・・・システム
１０、１０ａ～１０ｃ・・・クライアント端末
１１、２１・・・プロセッサ
１２、２２・・・記憶装置
１２ａ、２２ａ、２２ｂ・・・プログラム
２２ｃ・・・単語データベース
１３、２３・・・入力装置
１４、２４・・・表示装置
１５、２５・・・通信装置
２０・・・サーバ装置
３０・・・ネットワーク
１００・・・採点画面
１１０・・・解答欄
１２０・・・模範解答欄
１３０・・・評価項目欄
１４０・・・採点ロジック欄
２００・・・採点要求ファイル
２１０・・・解答情報
２２０・・・模範解答情報
２３０・・・評価項目情報
２４０・・・採点ロジック情報
３００・・・採点結果ファイル
３１０・・・総合評価情報
３２０・・・評価項目毎の評価情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】