特許 6832083 答案分類処理システム、答案分類処理方法、および、答案分類処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6832083

(24)【登録日】2021年2月3日

(45)【発行日】2021年2月24日

(54)【発明の名称】答案分類処理システム、答案分類処理方法、および、答案分類処理プログラム

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20210215BHJP

   G09B 19/00 20060101ALI20210215BHJP

【ＦＩ】

   G06Q50/20 300

   G09B19/00 G

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2016-138298(P2016-138298)

(22)【出願日】2016年7月13日

(65)【公開番号】特開2018-10448(P2018-10448A)

(43)【公開日】2018年1月18日

【審査請求日】2019年6月13日

【前置審査】

(73)【特許権者】

【識別番号】000152228

【氏名又は名称】株式会社内田洋行

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】重久 修平

(72)【発明者】

【氏名】杉山 知之

(72)【発明者】

【氏名】横枕 里美

(72)【発明者】

【氏名】金澤 秀知

(72)【発明者】

【氏名】八重樫 玲

【審査官】 大野 朋也

(56)【参考文献】

【文献】 特開２０１２−０２２１８５（ＪＰ，Ａ）

【文献】 特開２０１１−０４８６１２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１５３１５５（ＵＳ，Ａ１）

【文献】 特許第５２３４５４３（ＪＰ，Ｂ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

Ｇ０９Ｂ １９／００

(57)【特許請求の範囲】

【請求項1】

クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理システムであって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
前記クライテリオンは、前記調査項目に関する第１クライテリオンと、前記第１クライテリオンに関連する判断基準で構成された第２クライテリオンとを含み、
前記答案に関する答案データを記憶する答案記憶部と、
前記クライテリオンを記憶するクライテリオン記憶部と、
前記クライテリオンに対する判断結果を記憶する判断結果記憶部と、
メイン領域に、前記クライテリアとして、前記第１クライテリオンと前記第１クライテリオンに対する判断を選択する第１チェックボックスとを表示させるとともに、前記メイン領域に対するサブ領域に、前記第２クライテリオンと前記第２クライテリオンに対する判断を選択する第２チェックボックスとを表示させ、前記第１チェックボックスおよび前記第２チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる制御部とを備え、
前記サブ領域は、前記第１クライテリオンおよび前記第２クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を備え、
前記制御部は、前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶し、
前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する追加チェックボックスとを前記サブ領域に追加表示させ、
前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる答案分類処理システム。

【請求項2】

前記制御部は、前記サブ領域を、前記メイン領域に重畳させて表示させる
請求項１に記載の答案分類処理システム。

【請求項3】

前記サブ領域は、前記第２クライテリオンおよび前記第２チェックボックスが表示される第１領域と、前記クライテリオン入力部が表示される第２領域とを備え、
前記制御部は、前記第２領域において、前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する前記追加チェックボックスとを追加表示させる
請求項１または２に記載の答案分類処理システム。

【請求項4】

前記制御部は、前記追加クライテリオンを、前記第２クライテリオンとして登録する
請求項１ないし３のうち何れか１項に記載の答案分類処理システム。

【請求項5】

クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理方法であって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
前記クライテリオンは、前記調査項目に関する第１クライテリオンと、前記第１クライテリオンに関連する判断基準で構成された第２クライテリオンとを含み、
制御部が前記答案に関する答案データを答案記憶部に記憶し、
前記制御部が前記クライテリオンをクライテリオン記憶部に記憶し、
前記制御部が前記クライテリオンに対する判断結果を判断結果記憶部に記憶し、
前記制御部がメイン領域に、前記クライテリアとして、前記第１クライテリオンと前記第１クライテリオンに対する判断を選択する第１チェックボックスとを表示し、
前記制御部が前記メイン領域に対するサブ領域に、前記第２クライテリオンと前記第２クライテリオンに対する判断を選択する第２チェックボックスとを表示し、
前記制御部が前記第１チェックボックスおよび前記第２チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶し、
さらに、
前記制御部が、前記サブ領域において、前記第１クライテリオンおよび前記第２クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を表示し、
前記制御部が、前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶し、
前記制御部が、前記サブ領域において、前記追加クライテリオンと、前記追加クライテリオンに対する判断を選択する追加チェックボックスとを追加表示し、
前記制御部が、前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶する
答案分類処理方法。

【請求項6】

クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理プログラムであって、
前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、
前記クライテリオンは、前記調査項目に関する第１クライテリオンと、前記第１クライテリオンに関連する判断基準で構成された第２クライテリオンとを含み、
コンピュータを、
前記答案に関する答案データを答案記憶部に記憶させる手段と、
前記クライテリオンをクライテリオン記憶部に記憶させる手段と、
前記クライテリオンに対する判断結果を判断結果記憶部に記憶させる手段と、
メイン領域に、前記クライテリアとして、前記第１クライテリオンと前記第１クライテリオンに対する判断を選択する第１チェックボックスとを表示させるとともに、前記メイン領域に対するサブ領域に、前記第２クライテリオンと前記第２クライテリオンに対する
判断を選択する第２チェックボックスとを表示させる手段と、
前記第１チェックボックスおよび前記第２チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる手段として機能させ、
さらに、
前記サブ領域において、前記第１クライテリオンおよび前記第２クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を表示させる手段と、
前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶させる手段と、
前記サブ領域において、前記追加クライテリオンと、前記追加クライテリオンに対する判断を選択する追加チェックボックスとを追加表示させる手段と、
前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる手段
として機能させることを特徴とする答案分類処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理システム、答案分類処理方法、および、答案分類処理プログラムに関する。

【背景技術】

【0002】

学力試験の中には、受験者の優劣を決定するのではなく、国または地方公共団体などが行う調査であって、特定の学習項目に対する調査対象者の理解傾向を多面的に調査し、教育課題を抽出する学力調査がある。このような学力調査においては、国または地方公共団体において悉皆調査が採用される場合があり、その場合、対象者数が極めて多くなり、例えば１００万人以上の規模となることがある。また、学力調査においては、調査対象者の答案の正誤を判定するほかに、調査対象者の答案を調査対象者の学習項目の理解傾向に合わせて分類することが行われるが、そのための判断にばらつきがないようにする必要がある。そこで、特許文献１に記載されたような答案分類処理システムが用いられる。

【0003】

特許文献１の答案分類処理システムでは、答案を分類するためのチェックボックスシートが用いられている。チェックボックスシートは、作業者が二者択一式の質問に対して回答し、その回答結果のパターンに従って答案を分類できるようなっている。この答案分類処理システムでは、作業者の判断のばらつきを小さくするために、チェックボックスシートの質問を適宜修正し、修正後の質問で分類作業を続行するようにしている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第５２３４５４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１の答案分類処理システムは、分類作業の途中で質問が修正されると、修正の前後で判断にばらつきが生じるおそれがある。このため、修正後の質問の内容で、分類済みの答案を再度最初から全て見直し分類し直す必要があり、この点で、分類作業が非効率なものとなっている。特に、大規模な調査における解答を全数見直すことは極めて大変な作業であり、分類作業の作業効率を低下させる。

【0006】

本発明は、上記課題を解決するためになされたものであり、その目的は、答案の分類作業の効率化を実現することを可能とした答案分類処理システム、答案分類処理方法、および、答案分類処理プログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決する答案分類処理システムは、クライテリアによって、調査対象者の学習項目に対する理解傾向を調査する調査項目が反映された設問に対する複数の調査対象者の答案を分類する答案分類処理システムであって、前記クライテリアは、前記調査項目に関する二者択一式で判断する基準で構成される複数のクライテリオンを含み、前記クライテリオンは、前記調査項目に関する第１クライテリオンと、前記第１クライテリオンに関連する判断基準で構成された第２クライテリオンとを含み、前記答案に関する答案データを記憶する答案記憶部と、前記クライテリオンを記憶するクライテリオン記憶部と、前記クライテリオンに対する判断結果を記憶する判断結果記憶部と、メイン領域に、前記クライテリアとして、前記第１クライテリオンと前記第１クライテリオンに対する判断を選択する第１チェックボックスとを表示させるとともに、前記メイン領域に対するサブ領域に、前記第２クライテリオンと前記第２クライテリオンに対する判断を選択する第２チェックボックスとを表示させ、前記第１チェックボックスおよび前記第２チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる制御部とを備える。
前記サブ領域は、前記第１クライテリオンおよび前記第２クライテリオンとは内容の異なる追加クライテリオンを入力可能なクライテリオン入力部を備え、前記制御部は、前記クライテリオン入力部に入力された前記追加クライテリオンを前記クライテリオン記憶部に記憶し、前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する追加チェックボックスとを前記サブ領域に追加表示させ、前記追加チェックボックスでの判断結果を前記答案データと関連付けて前記判断結果記憶部に記憶させる。

【0008】

上記構成によれば、第１クライテリオンの判断を見直す場合に、第１クライテリオンに関連する第２クライテリオンに対して判断のある答案を抽出するだけで、第１クライテリオンに対する判断を見直しすることができる。例えば、第２クライテリオンは、作業者が第１クライテリオンに対する判断をする際に迷ったり、困った点、迷うであろう、困るであろう点などを二者択一形式で記載した判断基準であり、第１クライテリオンを詳細化したものである。このような第２クライテリオンは、作業者が第１クライテリオンを判断する際に、判断に困ったことを管理者に伝えるための判断基準としての性質を有する。したがって、第２クライテリオンに対して判断のある答案は、作業者が第１クライテリオンに対する判断をするにあたってばらつきのある答案である。本発明では、このような答案を抽出して、抽出した答案の第１クライテリオンに対する判断を見直すようにする。これにより、答案の全てを見直す必要が無くなり、この点で、答案を分類する作業の効率化を図ることができる。
また、クライテリオン入力部がサブ領域に設けられるので、分類作業の途中で、追加クライテリオンを追加することができる。そして、第１クライテリオンや第２クライテリオンに対して判断に迷った点、困った点などを追加クライテリオンで判断することができる。したがって、追加クライテリオンに対して判断がある答案を抽出して、第１クライテリオンに対する判断を再確認することができる。これにより、見直す答案の数を減らすことができ、答案の分類作業の効率化を図ることができる。

【0009】

上記答案分類処理システムにおいて、前記制御部は、前記サブ領域を、前記メイン領域に重畳させて表示させるようにしてもよい。
上記構成によれば、第１クライテリオンが表示されるメイン領域に重畳させるように第２クライテリオンが表示されるサブ領域が表示されるので、第１クライテリオンに関連付いた第２クライテリオンを見やすくすることができる。

【0010】

上記答案分類処理システムにおいて、前記サブ領域は、前記第２クライテリオンおよび前記第２チェックボックスが表示される第１領域と、前記クライテリオン入力部が表示される第２領域とを備え、前記制御部は、前記第２領域において、前記追加クライテリオンと前記追加クライテリオンに対する判断を選択する追加チェックボックスとを追加表示させるようにしてもよい。

【0012】

上記答案分類処理システムにおいて、前記制御部は、前記追加クライテリオンを、前記第２クライテリオンとして登録するようにしてもよい。
上記構成によれば、追加クライテリオンを第２クライテリオンに変更することで、第１クライテリオンを詳細化する第２クライテリオンを、作業者からの提案と管理者による検討を経て、分類作業開始後でも追加することができる。

【0013】

また、本発明は、上記答案分類処理システムにより実行される答案分類処理方法である。
更に、本発明は、上記答案分類処理システムを実現する答案分類処理プログラムであり、ネットワークや光ディスク、メモリカードなどのリムーバル記録媒体を介して拡布され、サーバなどのコンピュータにインストールされ、実行される。

【発明の効果】

【0014】

以上のような構成によれば、答案の分類作業の効率化を実現することを可能とした答案分類処理システム、答案分類処理方法、および、答案分類処理プログラムを提供することができる。

【図面の簡単な説明】

【0015】

【図1】（ア）は、学力調査における調査項目を反映させた設問の作成手順を示す図、（イ）は、調査項目とクライテリア、クライテリオンとの関係を示す図。

【図2】（ア）は、クライテリアに対する判断例のチェックパターンを示す図、（イ）は、調査対象者の答案におけるクライテリアに対する判断結果のチェックパターンを示す図。

【図3】本実施形態の答案分類処理システムの概略を示すブロック図。

【図4】（ア）は、学力調査における設問を示す図、（イ）は、（ア）の設問における第１クライテリオンを示す図、（ウ）は、第１クライテリオンの下層に設けられる第２クライテリオンを示す図、（エ）は、分類作業内で追加される第αクライテリオンを示す図。

【図5】設問に対する解答類型を示す図。

【図6】分類作業を行う際に作業者が使用する画面構成を示す図。

【図7】第１クライテリオンに対する第２クライテリオンが表示された状態を示す図。

【図8】第1クライテリオンの「無解答」に対する第２クライテリオンが表示された状態を示す図。

【図9】第1クライテリオンの「例外」に対する第２クライテリオンが表示された状態を示す図。

【図10】第２クライテリオンの下層に、さらに第３クライテリオンを列挙するサブ領域が表示された状態を示す図。

【図11】第１クライテリオンの「△ＡＢＭ≡△ＡＣＭ」をチェックし第２クライテリオンを列挙するサブ領域が表示されクライテリオン入力部に判断基準が入力された状態を示す図。

【図12】「ＡＭ共有、二辺挟角が等しい」が第αクライテリオンとして追加された状態を示す図。

【図13】「ＡＭ共有、二辺挟角が等しい」が第２クライテリオンとして追加された状態を示す図。

【図14】管理者のクライアント端末の表示部に第αクライテリオンを第２クライテリオンに登録する登録画面を示す図。

【図15】類型判定の結果と正誤判定の結果を確認する画面を示す図。

【発明を実施するための形態】

【0016】

以下、図１〜図１５を用いて、答案分類処理システム及び答案分類処理方法を具体化した一実施形態を説明する。
（学力調査の概要）
図１（ア）に示すように、学力調査における設問を作成するにあたっては、最初に、所定の学年で習得することが定められている学習項目Ｌ（Ｌ１、Ｌ２，Ｌ３，Ｌ４…）の中から所定の学習項目Ｌを選択し、選択した学習項目Ｌを反映させた設問Ｑを作成する。具体的には、学習項目Ｌを習得するにあたって必要な学習要素を抽出し、各学習要素の理解度を予測し、学習要素の中から学習項目Ｌの理解傾向を調査するための調査項目Ｍ（Ｍ１、Ｍ２，Ｍ３，Ｍ４…）を決定する。例えば、学習要素としては、足し算、引き算、掛け算、割り算、漢字の読み書き、単語の意味、文法などである。設問Ｑの設問文は、選択された１つまたは複数の調査項目Ｍが含まれるように作成される。調査対象者は、答案Ａ（Ａ１，Ａ２，Ａ３，Ａ４…）に設問Ｑに対する解答を行う。

【0017】

図１（イ）に示すように、調査対象者の答案Ａ（Ａ１，Ａ２，Ａ３，Ａ４…）の解答を評価し学習項目の理解傾向に合わせて分類する作業者は、クライテリアＣを用いて、答案の分類作業を行う。クライテリアＣは、設問Ｑに反映された調査項目Ｍに対応するクライテリオンＣＴ（ＣＴ１，ＣＴ２，ＣＴ３，ＣＴ４）が列挙されている。クライテリオンＣＴは、設問Ｑに対する答案Ａに記載された解答を評価する判断基準であり、各クライテリオンＣＴ（ＣＴ１，ＣＴ２，ＣＴ３，ＣＴ４）には、解答を評価するためのチェックボックスＣＢ（ＣＢ１，ＣＢ２，ＣＢ３，ＣＢ４）が対応付けられている。各クライテリオンＣＴは、二者択一式の判断基準であり、作業者によって、各チェックボックスＣＢがチェックされる。クライテリオンＣＴを構成する各判断基準は、一定の水準にある作業者であれば同一の判断結果となるような、すなわち作業者の判断について裁量が少なくなるような基準とされる。各クライテリオンＣＴに対応付けられるチェックボックスＣＢは、１つのボックスで構成して、クライテリオンＣＴの条件を満たしているときに限って、ボックスをチェックする構成としてもよい。また、２つのボックスで構成して、一方のボックスを、条件を満たしている場合にチェックするボックスとし、他方のボックスを、条件を満たしていない場合にチェックするボックスとしてもよい。

【0018】

図２（ア）に示すように、分類にあたっては、あらかじめ、調査項目Ｍに対応するクライテリオンＣＴ（ＣＴ１，ＣＴ２，ＣＴ３，ＣＴ４）に対する解答例Ｅ（Ｅ１，Ｅ２，Ｅ３，Ｅ４…）を作成しておく。各解答例Ｅは、調査対象者の答案における調査項目Ｍに関する解答を予測して作成する。そして、調査項目に対する解答結果の予測チェックパターンを解答例Ｅとして複数用意する。例えば、解答例Ｅ１は、クライテリオンＣＴ１〜ＣＴ４のチェックボックスＣＢ１〜ＣＢ４の全てにチェックを入れた類型１と定義され、解答例２は、クライテリオンＣＴ１，ＣＴ３，ＣＴ４のチェックボックスＣＢ１，ＣＢ３，ＣＢ４にチェックを入れた類型２と定義される。

【0019】

図２（イ）に示すように、各調査対象者の答案Ａ１〜Ａ４に対しては、クライテリアＣを使って分類される。例えば、答案Ａ１は、クライテリオンＣＴ１〜ＣＴ４のチェックボックスＣＢ１〜ＣＢ４の全てにチェックを入れた解答例Ｅ１と一致し、類型１に分類される。答案Ａ２は、クライテリオンＣＴ１，ＣＴ２，ＣＴ４のチェックボックスＣＢ１，ＣＢ２，ＣＢ４にチェックを入れた解答例Ｅ３と一致し、類型３に分類される。各類型に分類された答案Ａの数によって、調査対象者の学習項目Ｌの理解傾向を調査することができる。

【0020】

（答案分類処理システム）
図３に示すように、以上のような学力調査において、答案の分類に使用される答案分類処理システム１は、答案の分類作業を管理する答案分類処理サーバ１０と、答案の分類作業を行う作業者が操作する複数のクライアント端末２と、答案の分類作業を管理する管理者が操作するクライアント端末３とを備えている。そして、答案分類処理サーバ１０とクライアント端末２，３は、相互にネットワーク４を介して接続されている。クライアント端末２，３は、共に、デスクトップ型やノート型のコンピュータ端末などの情報処理端末であり、コンピュータ本体２ａ，３ａと、コンピュータ本体２ａ，３ａに接続されるキーボードやポインティングデバイスなどの入力部２ｂ，３ｂと、コンピュータ本体２ａ，３ａに接続される液晶表示パネルなどの表示部２ｃ，３ｃとを備えている。

【0021】

答案分類処理サーバ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、大容量ハードディスクなどのハードウェアにより構成されたコンピュータシステムであり、ネットワーク４を経由してクライアント端末２，３が接続されている。答案分類処理サーバ１０は、答案記憶部１１と、答案入力部１２と、クライテリオン記憶部１３と、解答類型記憶部１４と、判断結果記憶部１５と、制御部１６とを備える。答案記憶部１１とクライテリオン記憶部１３と解答類型記憶部１４と判断結果記憶部１５とは、例えば大容量ハードディスクに構築されている。

【0022】

答案記憶部１１は、調査対象者の答案を記憶する記憶領域であり、答案Ａの画像データで構成された答案データが、答案Ａを一意に特定する識別データと関連付けられて記憶されている。答案記憶部１１には、答案データが答案入力部１２から入力される。答案入力部１２は、例えば、イメージスキャナであり、読み込んだ答案の画像データから答案データを生成し、答案データに対して識別データを付与して、答案記憶部１１に記憶する。

【0023】

クライテリオン記憶部１３は、クライテリアＣに列挙する調査項目Ｍに対応したクライテリオンＣＴの要素を記憶する。具体的には、クライテリオンは、調査項目Ｍ１〜Ｍｍに関する第１クライテリオンと、第１クライテリオンに関する詳細な判断基準で構成された第２クライテリオンとを備えている。さらに、第１クライテリオンや第２クライテリオンに関する詳細な判断基準で構成された追加クライテリオンとしての第αクライテリオンを備えている。第１クライテリオン、第２クライテリオンおよび第αクライテリオンの何れも、二者択一式の判断基準であり、一定の水準にある作業者であれば同一の判断結果となるような、すなわち作業者の判断について裁量が少なくなるような基準となっている。一方で、全ての作業者の判断がばらつかないような判断基準を作成することも困難である。第２クライテリオンおよび第αクライテリオンは、作業者が第１クライテリオンに対する判断に迷ったり困った点、困るであろう点などを二者択一形式で記載した判断基準である。

【0024】

具体的には、クライテリオン記憶部１３は、第１クライテリオンと第２クライテリオンと第αクライテリオンとを階層的に関連付けて記憶する。

【0025】

図４（ア）に示すように、例えば、学習項目Ｌを「三角形の合同条件」に設定し、設問Ｑを「ＡＢ＝ＡＣの二等辺三角形△ＡＢＣの点ＡからＢＣへ下ろした垂線のＢＣとの交点をＭとする。ＢＭ＝ＣＭであることを証明せよ。」とした場合を例に説明する。図４（イ）に示すように、この場合において、第１クライテリオンは、調査項目に対応した（ａ）〜（ｆ）となる。クライテリオン記憶部１３には、図４（イ）に示す（ａ）〜（ｆ）のような第１クライテリオンが記憶される。

【0026】

図４（ウ）に示すように、例えば第１クライテリオン「（ａ）ＡＢ＝ＡＣ」に関連した第２クライテリオンは、「（ａ−１）「仮定より」がない」、「（ａ−２）＝が≡」という内容となる。すなわち、第２クライテリオンは、作業者が第１クライテリオン「（ａ）ＡＢ＝ＡＣ」を判断するに際して、判断に迷うと予想される項目が挙げられており、作業者が判断に迷った点を管理者に伝えるために設けられる。つまり、第２クライテリオンは、第１クライテリオンの下層に位置する詳細化のための基準である。このような第２クライテリオンは、第１クライテリオンの作成時に予め設けられていてもよいし、次に説明する第αクライテリオンから変更されたものであってもよい。クライテリオン記憶部１３には、図４（ウ）に示す（ａ−１）や（ａ−２）のようなクライテリオンも階層的に記憶される。

【0027】

さらに、第１クライテリオンや第２クライテリオンに関連した第αクライテリオンは、「（ａ−α）＝が//」という内容となる。画像データのノイズや傾きによって、「＝」の記号が「//」の記号に見えてしまうこともあり、作業者が判断に迷うことがあるからである。このような第αクライテリオンは、分類作業の開始時から存在するものではなく、作業者が分類作業の途中で判断に迷い、作業者が追加した作業者タグとしてのクライテリオンである。つまり、第１クライテリオンの下層に位置する詳細化のための基準である。そして、第αクライテリオンは、追加した作業者のクライアント端末２だけでなく、他の作業者が使用するクライアント端末２や管理者のクライアント端末３にも公開される。したがって、他の作業者も、第αクライテリオンを見ることができ、また、第αクライテリオンに該当するときには、他の作業者によってもチェックボックスがチェックされる。クライテリオン記憶部１３には、図４（エ）に示す（ａ−α）のような第αクライテリオンも階層的に記憶される。

【0028】

以上のように、第２クライテリオンと第αクライテリオンは、作業者が第１クライテリオンを判断する際に、判断に困ったことを管理者に伝えるための項目となり、第２クライテリオンと第αクライテリオンにチェックがある答案は、第１クライテリオンに対する判断にばらつきがある可能性がある答案である。このような第２クライテリオンや第αクライテリオンがチェックされた答案Ａの第１クライテリオンの判断を見直すことで、見直す必要のある答案Ａの数を減らすことができる。

【0029】

図５に示すように、解答類型記憶部１４は、設問Ｑに対する解答の類型を記憶している。ここでは、「１」〜「７」と「９」および「０」の類型を備えている。作業者のクライアント端末２から送信された第１クライテリオンに対する二択の判断結果が何れの類型に当てはまるかが制御部１６によって判定される。制御部１６は、例えば、第１クライテリオンの（ａ）〜（ｆ）の第１チェックボックスＣＢ１の全てにチェックがされているとき、正答「◎」と判断し、類型１と判断する。また、第１クライテリオンの（ａ）〜（ｆ）の中の（ｂ）の第１チェックボックスＣＢ１のみがチェックされていないとき、正答とは判断せず、類型６と判断する。上述した第２クライテリオン（ａ−１），（ａ−２）がチェックされている場合は、第１クライテリオン（ａ）の第１チェックボックスＣＢ１がチェックされており、いったんは正答「◎」と判断し類型１と判断するが、以後の管理者の判断によっては類型２の「表現が十分でない」場合に相当する可能性がある。

【0030】

判断結果記憶部１５は、第１クライテリオンに対する第１判断結果と、第２クライテリオンに対する第２判断結果と、第αクライテリオンに対する第α判断結果とを記憶する。

【0031】

具体的には、第１判断結果は、第１クライテリオン（図４（イ）参照）に対する二択の判断結果としての第１チェックボックスＣＢ１のチェックパターンである。このチェックパターンが答案Ａの識別データと関連付けられて判断結果記憶部１５に記憶される。
第２判断結果は、第２クライテリオン（図４（ウ）参照）に対する二択の判断結果としての第２チェックボックスＣＢ２のチェックパターンである。このチェックパターンが答案Ａの識別データと関連付けられて判断結果記憶部１５に記憶される。
第α判断結果は、第αクライテリオン（図４（エ）参照）に対する二択の判断結果としての第αチェックボックスＣＢαのチェックパターンである。このチェックパターンが答案Ａの識別データと関連付けられて判断結果記憶部１５に記憶される。

【0032】

制御部１６は、答案分類処理サーバ１０の全体の動作を制御すると共に、クライアント端末２，３との通信を制御する。具体的には、以下のような処理を行う。
制御部１６は、作業者のクライアント端末２からの答案Ａの送信要求を受信すると、識別データが付与された答案データを答案記憶部１１より読み出し、クライアント端末２に送信する。あわせて、制御部１６は、クライテリアＣをクライアント端末２に送信する。図６に示すように、クライアント端末２の表示部２ｃには、左側の答案表示領域２１に、答案データＡＤが表示され、右側のクライテリア表示領域２２にクライテリアＣが表示される。

【0033】

クライテリアＣは、メイン領域２３を有し、メイン領域２３には、第１クライテリオン（ａ）〜（ｆ），（０），（Ｘ）が列挙される。また、各第１クライテリオン（ａ）〜（ｆ），（０），（Ｘ）には、第１チェックボックスＣＢ１が対応付けられている。さらに、メイン領域２３には、クライテリアＣに対する判断結果を答案分類処理サーバ１０に送信する判定ボタン２４と、分類作業中の答案のチェック作業をキャンセルするキャンセルボタン２５とが表示される。

【0034】

クライアント端末２において、作業者は、表示部２ｃに表示された答案データＡＤを見ながら、入力部２ｂを用いて第１チェックボックスＣＢ１に対してチェックを入れる入力作業を行う。

【0035】

図７に示すように、第１クライテリオンの（ａ）の下層には、第２クライテリオン（ａ−１），（ａ−２）が関連付けられている。例えば入力部２ｂによって第１クライテリオン（ａ）の第１チェックボックスＣＢ１がチェックされると、メイン領域２３に重畳するようにしてサブ領域２６が表示される。サブ領域２６は、第１領域２６ａと第２領域２６ｂとを備え、第１領域２６ａには、第２クライテリオン（ａ−１），（ａ−２）が列挙される。ここでの第２クライテリオン（ａ−１），（ａ−２）は、第１クライテリオン（ａ）を詳細化する判断基準であり、「（ａ−１）「仮定より」がない。」、「（ａ−２）＝が≡」といった内容となる。作業者によっては、「ＡＢ＝ＡＣ」が記載されていても、「仮定より」の記載がなく、判断に迷うことがあったり、「＝」と「≡」とは、「−」の数が１本違うだけであり、誤記かどうかや不鮮明で判断に迷うときもあるからである。第２クライテリオン（ａ−１），（ａ−２）にも第２チェックボックスＣＢ２が対応付けられている。

【0036】

また、第２領域２６ｂには、作業者タグとしての第αクライテリオン（ａ−α）が表示され、第αクライテリオン（ａ−α）にも、第αチェックボックスＣＢαが対応付けられている。第αクライテリオンは、作業者が追加した追加クライテリオンであり、第αクライテリオンに対する第αチェックボックスＣＢαが追加チェックボックスとなる。さらに、第２領域２６ｂには、第αクライテリオンを入力するクライテリオン入力部２７を備えている。クライテリオン入力部２７には、第αクライテリオンとなるテキストデータを入力することができる。さらに、クライテリオン入力部２７に隣接する位置には、追加ボタン２７ａと登録ボタン２８とキャンセルボタン２９とを備えている。追加ボタン２７ａが押されたときには、クライテリオン入力部２７に入力された判断基準が第αクライテリオンとして第２領域２６ｂに表示され、第αクライテリオンに対応付いて第αチェックボックスＣＢαが表示される。登録ボタン２８が押されたときには、サブ領域２６に表示された第２クライテリオンに対応する第２チェックボックスＣＢ２と第αクライテリオンに対応する第αチェックボックスＣＢαのチェックパターンを確定させることができる。

【0037】

図８は、第１クライテリオン（０）の「無解答」をチェックしたときの画面を示す図である。この場合、サブ領域２６には、「無解答」を詳細化した第２クライテリオン（０−１）「白紙か迷う」が表示されるとともに、第２チェックボックスＣＢ２が表示される。

【0038】

図９は、第１クライテリオン（Ｘ）の「例外」をチェックしたときの画面を示す図である。この場合、サブ領域２６には、「例外」を詳細化した第２クライテリオン（Ｘ−１）「報告すべき」、（Ｘ−２）「外国語・方言」、（Ｘ−３）「欄外確認」、（Ｘ−４）「その他例外」が表示されるとともに、第２チェックボックスＣＢ２が表示される。

【0039】

図１０は、第２クライテリオン（ａ−２）の下層に、さらに第３クライテリオン（ａ−２−１）を列挙するサブ領域３０が表示された状態を示す。１つ目のサブ領域２６の第２クライテリオン（ａ−２）で「＝が≡」がチェックされたときにおいて、さらにサブ領域３０が表示され、サブ領域３０に第３クライテリオン（ａ−２−１）が表示される。そして、第３クライテリオン（ａ−２−１）に対応付いて第３チェックボックスＣＢ３が表示される。ここでは、第３クライテリオン（ａ−２−１）として「＝か≡か不鮮明」と表示される。作業者によっては、「＝」の記号と「≡」の記号とは、「−」の数が１本違うだけであり、不鮮明で、「−」が２本か３本か区別することが困難な場合もあるからである。サブ領域３０においても、登録ボタン２８とキャンセルボタン２９とが設けられており、登録ボタン２８が押されたときには、サブ領域３０に表示された第３クライテリオン（ａ−２−１）に対応する第３チェックボックスＣＢ３のチェックパターンを確定させることができる。なお、サブ領域３０の構成は、上述したサブ領域２６の構成と同じであり、詳細は省略する。

【0040】

図１１は、第１クライテリオン（ｅ）の「△ＡＢＭ≡△ＡＣＭ」をチェックしたときの画面を示す図である。この場合、サブ領域２６には、第１クライテリオン（ｅ）を詳細化した三角形の合同条件の１つである第２クライテリオン（ｅ−１）「「一辺とその両端の角が等しい」が不十分」が表示されるとともに、第２クライテリオン（ｅ−１）に対応して第２チェックボックスＣＢ２が表示される。また、ある答案Ａに、三角形の合同条件の１つである「ＡＭ共有、二辺挟角が等しい」が記載されているとき、クライテリオン入力部２７に、「ＡＭ共有、二辺挟角が等しい」を入力することができる。

【0041】

図１２に示すように、追加ボタン２７ａが押されたときには、第２領域２６ｂに、クライテリオン入力部２７に入力された第αクライテリオン（ｅ−α）が表示され、第αクライテリオン（ｅ−α）に対応付いて第αチェックボックスＣＢαが表示される。
なお、第αクライテリオンを追加する処理は、管理者のクライアント端末３で行うこともできる。

【0042】

管理者のクライアント端末３においても、表示部３ｃで同様な画面を見ることができる。図１３に示すように、クライアント端末３では、第αクライテリオン（ｅ−α）を第２クライテリオン（ｅ−２）に変更登録することができる。
図１４は、表示部３ｃに表示される登録画面である。この画面には、第２クライテリオンが列挙されており、第２クライテリオンに採用されているものには「ｔｒｕｅ」フラグが設定され、不採用のものには「ｆａｌｓｅ」フラグが設定されている。また、この画面は登録ボタン３１とキャンセルボタン３２とを備えている。第αクライテリオン（ｅ−α）の「ＡＭ共有、二辺挟角が等しい」を第２クライテリオンにするには、採用フラグを「ｆａｌｓｅ」から「ｔｒｕｅ」に変更し、登録ボタン３１を押すことによって変更することができる。これにより、図１３に示すように、作業者のクライアント端末２の表示部２ｃにおいて、サブ領域２６の第１領域２６ａに第２クライテリオン（ｅ−１），（ｅ−２）が列挙され見やすい状態となる。

【0043】

メイン領域２３における判定ボタン２４がクリックされると、クライアント端末２は、クライテリアＣに対する判断結果を答案分類処理サーバ１０に送信する。すると、答案分類処理サーバ１０の制御部１６は、判断結果のパターンに基づいて調査対象者の設問Ｑに対する解答が解答類型記憶部１４に記憶している設問Ｑに対する解答類型の何れの類型に該当するかを判断し、解答の正誤を判定する。そして、制御部１６は、クライアント端末２に対して、正誤判定の結果と類型判定の結果を送信する。作業者は、自分が採点した答案Ａの類型と正誤判定の結果を確認することができる。

【0044】

図１５は、類型判定の結果と正誤判定の結果を確認する画面を示す。この画面では、類型判定の結果と正誤判定の結果ボックス３３が表示される。また、この画面は登録ボタン３４とキャンセルボタン３５とを備えている。作業者が類型判定の結果と正誤判定の結果を確認し修正がないとき、登録ボタン３４が押されると、クライアント端末２は、確認信号を答案分類処理サーバ１０に送信する。制御部１６は、確認信号を受信すると、判断結果記憶部１５に各クライテリオンの判断結果を当該答案Ａの類型と共に記憶する。制御部１６が、各類型に分類された答案Ａの数や全答案数に対する各類型の比率（類型分布と呼ぶ）、正答率などを算出することにより、管理者は調査対象者の学習項目Ｌの理解傾向を調査することができる。

【0045】

上記実施形態によれば、以下に列挙する効果を得ることができる。
（１）制御部１６が、答案Ａの図５に示す解答類型それぞれに対する比率（類型分布と呼ぶ）や正答率などを算出することにより、管理者は学習項目Ｌに対する調査対象者の理解傾向を調査することができる。

【0046】

（２）クライアント端末２において、メイン領域２３には、クライテリアＣとして、第１クライテリオン（ａ）〜（ｆ），（０），（Ｘ）と第１クライテリオン（ａ）〜（ｆ），（０），（Ｘ）に対する判断を選択する第１チェックボックスＣＢ１とが表示される。これと共に、サブ領域２６には、第２クライテリオン（ａ−１），（ａ−２）と第２クライテリオン（ａ−１），（ａ−２）に対する判断を選択する第２チェックボックスＣＢ２とが表示される。作業者は、第１クライテリオンを判断するに際して、判断に迷った点などを第２クライテリオンで判断することができる。したがって、例えば、第２クライテリオンに対して判断がある答案Ａだけを抽出して、第１クライテリオンに対する判断を再確認することができる。それにより、見直す答案Ａの数を減らすことができ、答案Ａの分類作業の効率化を図ることができる。

【0047】

（３）第１クライテリオンが表示されるメイン領域２３に重畳させるように第２クライテリオンが表示されるサブ領域２６が表示されるので、第１クライテリオンに関連付いた第２クライテリオンを見やすくすることができる。

【0048】

（４）クライテリオン入力部２７がサブ領域２６に設けられるので、分類作業の途中で、第αクライテリオンを追加することができる。そして、第１クライテリオンや第２クライテリオンに対して判断に迷った点などを第αクライテリオンで判断することができる。したがって、例えば、第αクライテリオンに対して判断がある答案Ａだけを抽出して、第１クライテリオンに対する判断を再確認することができる。これにより、見直す答案Ａの数を減らすことができ、答案Ａの分類作業の効率化を図ることができる。
（５）第αクライテリオンを第２クライテリオンに変更することで、作業者の提案と管理者の検討を経て、分類作業開始後でもクライテリオンを追加することができる。

【0049】

なお、上記実施形態は、以下のように適宜変更して実施することもできる。
・第αクライテリオンが分類作業を効率化しないのであれば、第αクライテリオンを第２クライテリオンに登録する処理を割愛するようにしてもよい。

【0050】

・第２クライテリオンの内容を十分予測できるときには、第αクライテリオンを追加する機能を割愛するようにしてもよい。
・第２クライテリオンが表示されるサブ領域は、第１クライテリオンが表示されるメイン領域と重畳していなくてもよい。一例として、メイン領域とサブ領域とが離れていてもよい。一例として、メイン領域を第１ウインドウに表示し、サブ領域を第２ウインドウに表示するようにしてもよい。一例として、メイン領域を第１フレームに表示し、サブ領域を第２フレームに表示するようにしてもよい。

【0051】

・階層的に、第１クライテリオン、第２クライテリオン、第３クライテリオンを設けているが、階層数は、限定されるものではなく、一例として、これより多くし、階層的に、第４クライテリオン、第５クライテリオン…を設けてもよい。

【0052】

・複数の第１クライテリオンの全てについて階層的に第２クライテリオンを設けてもよいし、複数の第１クライテリオンの中の幾つかについて第２クライテリオンを設けてもよい。また、第１クライテリオンや第２クライテリオンや第３クライテリオンの数は、上述の例に限定されるものではない。

【符号の説明】

【0053】

１…答案分類処理システム、２…クライアント端末、２ａ…コンピュータ本体、２ｂ…入力部、２ｃ…表示部、３…クライアント端末、３ａ…コンピュータ本体、３ｂ…入力部、３ｃ…表示部、４…ネットワーク、１０…答案分類処理サーバ、１１…答案記憶部、１２…答案入力部、１３…クライテリオン記憶部、１４…解答類型記憶部、１５…判断結果記憶部、１６…制御部、２１…答案表示領域、２２…クライテリア表示領域、２３…メイン領域、２４…判定ボタン、２５…キャンセルボタン、２６…サブ領域、２６ａ…第１領域、２６ｂ…第２領域、２７…クライテリオン入力部、２７ａ…追加ボタン、２８…登録ボタン、２９…キャンセルボタン、３０…サブ領域、３１…登録ボタン、３２…キャンセルボタン、３３…結果ボックス、３４…登録ボタン、３５…キャンセルボタン。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】