特許 6170662 理解傾向測定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6170662

(24)【登録日】2017年7月7日

(45)【発行日】2017年7月26日

(54)【発明の名称】理解傾向測定システム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20170713BHJP

   G09B 7/02 20060101ALI20170713BHJP

   G06Q 50/20 20120101ALI20170713BHJP

【ＦＩ】

   G09B19/00 H

   G09B7/02

   G06Q50/20

【請求項の数】3

【全頁数】19

(21)【出願番号】特願2012-232539(P2012-232539)

(22)【出願日】2012年10月22日

(65)【公開番号】特開2014-85423(P2014-85423A)

(43)【公開日】2014年5月12日

【審査請求日】2015年9月17日

(73)【特許権者】

【識別番号】516120733

【氏名又は名称】株式会社ＥｄｕＬａｂ

(74)【代理人】

【識別番号】110001184

【氏名又は名称】特許業務法人むつきパートナーズ

(72)【発明者】

【氏名】吉川 厚

(72)【発明者】

【氏名】山梨 俊夫

【審査官】 宇佐田 健二

(56)【参考文献】

【文献】 特開２０１２−０２２１８５（ＪＰ，Ａ）

【文献】 特開２００４−１３９１１６（ＪＰ，Ａ）

【文献】 特開２００４−３１７７１３（ＪＰ，Ａ）

【文献】 特開２００９−００３２２７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／００４７７５７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０９Ｂ ７／００−７／０４，１９／００

Ｇ０６Ｑ ５０／２０

(57)【特許請求の範囲】

【請求項1】

測定対象項目毎の理解傾向を反映した複数の予想答案と関連させて作成した記述式問題を受験者に提示した上で答案の作成を求めるテストを利用して該答案を分類することで受験者群の理解傾向を測定する測定システムであって、
前記答案毎に画像データを得てこれを識別するための答案識別符号を付した上で答案画像データとして収容する答案データ収容手段と、
前記答案に関して、肯定又は否定の二択で選択させる質問文の複数からなる質問文群の質問文データを収容する質問文データ収容手段と、
採点者端末からの要求に応じ該採点者端末に向けて、前記質問文データ及び選択した前記答案画像データを送信する採点答案送信手段と、
前記採点者端末からこれを操作する採点者を識別する採点者識別符号とともに、前記答案識別符号と、これに対応する前記答案の前記質問文群に対する肯定又は否定の組み合わせからなるチェックパターン若しくはチェック保留のチェック結果を受信するチェック結果受信手段と、
前記チェック結果受信手段で受信した一連の前記採点者識別符号、前記答案識別符号、前記チェック結果を順次収容するチェック結果収容手段と、
前記採点者識別符号から前記採点者毎の前記チェック保留の入力比率を算出し、前記採点者をグレード分けするグレード付与手段と、を含み、
前記採点答案送信手段は、特定の採点者端末からの要求に応じて該採点者端末に向けて、前記質問文データ、及び、前記チェック結果をチェック保留とされた前記答案の前記答案識別符号に対応する前記答案画像データを送信する保留採点答案送信手段を更に有し、
前記採点答案送信手段は、前記採点者端末に前記答案の画像を表示させるとともに前記質問文群を表示させ、該採点者端末において、それぞれの前記質問文に対して肯定又は否定の入力をさせ、若しくは、この入力に変えて前記質問文群に対するチェック保留の入力をさせ、
前記採点者のグレード分け結果に基づいて、前記保留採点答案送信手段は、データを送信すべき前記採点者端末を特定することを特徴とする理解傾向測定システム。

【請求項2】

前記測定対象項目毎の理解傾向を反映するようにいくつかの類型に前記チェックパターンを類型分けし、前記採点者端末に入力された前記チェックパターンに対応する前記類型を前記採点者に提示する類型提示手段を更に含むことを特徴とする請求項１記載の理解傾向測定システム。

【請求項3】

前記類型提示手段は、正解である前記予想答案に対応する前記類型を前記採点者に提示する場合にあっては、前記類型とともに、正解である旨を前記採点者に提示することを特徴とする請求項２記載の理解傾向測定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記述式問題を利用して答案を分類することで受験者群の理解傾向を測定する理解傾向測定システムに関する。

【背景技術】

【0002】

学校教育や各種教育を提供する中で、実際に提供された教育の成果を検討したり、今後の課題を抽出しようとする場合など、教育を受けた学習者が教育内容に対してどのような理解傾向を示しているかを測定しなければならないことがある。かかる測定において、記述式問題を利用した「試験（テスト）」を行って、回収された答案を分類することで受験者群の理解傾向を測定することが行われている。

【0003】

上記した「試験（テスト）」は、受験者を選抜する入試などの競争試験とは性格を異にしており、問題の作成方法や答案の扱い方が異なる。すなわち、例えば、教育内容から抽出された測定対象となる学習項目毎に理解傾向を反映した複数の予想答案を得られるように問題を作成し、実際にこの問題を解いて検討を加え、問題と予想答案との関連をより密にするように予想答案及び問題の双方の修正を繰り返し行う。その上で、かかる問題を用いて試験（テスト）を行って受験者から得た答案がどの予想答案に類似し関連しているか、すなわち予想答案に各答案を分類してゆくことで、受験者の学習項目毎の理解傾向を測定するのである。

【0004】

ところで、記述式問題に対する答案では、受験者に一定量の自由な記載を許容することから、答案のバリエーションが非常に多くなる。これは、多様な観点から受験者の学習項目毎の理解傾向を測定出来るようにさせる一方で、採点者の主観性を排して客観性のある測定をすることを難しくさせてしまう。特に、受験者の数が多くなると、決められた時間内で測定を完了させるためには採点者の数を増やさざるを得ず、結果として、採点者毎の主観性の影響が増し、測定結果が不正確になってしまいがちである。

【0005】

そこで、特許文献１では、上記したような受験者群の理解傾向を測定することを目的とするものではないが、記述式問題に対する答案の採点において、複数の採点者間の主観性の影響を減じ得る答案採点支援システムを開示している。かかるシステムでは、１の採点者が採点結果を他の採点者の採点根拠を参照しながら再評価し、採点結果を修正して複数の採点者間の主観性の影響を減じるとしている。複数の採点者間で採点結果が一致せず、採点結果の客観性に疑問がある場合には、他の採点者の採点根拠を参照しながら採点結果を再検討し、一度登録した採点結果を修正できるのである。

【0006】

また、採点者の作業自体における主観性の影響を減じて、測定の精度を高める方法についても提案されている。

【0007】

例えば、特許文献２及び３では、答案に関して、採点者に肯定又は否定の二択で選択させる質問文の複数からなる質問文群に対する肯定又は否定のチェックの組み合わせであるチェックパターンに基づいて答案を分類し、上記した測定を行う方法を開示している。採点者は、裁量範囲を質問文に対する二択の判断だけに狭められ、これにより採点者毎の主観性の影響を減じ、測定の精度を高めることが出来得るのである。

【0008】

また、特許文献４では、特許文献２又は３と同様に、肯定又は否定の二択で選択させる質問文の複数からなる質問文群に対して、肯定又は否定に更に保留を加えた組み合わせであるチェックパターンに基づいて答案を分類し、測定を行う方法を開示している。採点者に保留の判断を与えることで、採点者の肯定又は否定の判断の曖昧さを減じ、測定の精度を高めることが出来得るのである。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特開２００６−２７７０８６号公報

【特許文献2】特開２００９−２２９６０６号公報

【特許文献3】特開２０１０−０７８６３７号公報

【特許文献4】特開２０１２−０２２１８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0010】

特許文献４に開示の方法のように、採点者に質問文に対しての保留の判断を与えることで、採点者の肯定又は否定の判断の曖昧さを減じ、測定の精度を高めることが出来得る。一方で、保留を含むチェックパターンの答案については、測定が完了しておらず、再度、測定を行う必要があり、限られた時間内で多数の答案をより素早くより正確に測定出来ることも求められる。

【0011】

本発明はかかる状況に鑑みてなされたものであって、その目的とするところは、測定対象項目毎の理解傾向を反映した複数の予想答案と関連させて作成した記述式問題を受験者に提示した上で答案の作成を求めるテストを利用して該答案を分類することで受験者群の理解傾向を測定する測定システムにおいて、限られた時間内で多数の答案をより素早くより正確に測定出来る理解傾向測定システムを提供することにある。

【課題を解決するための手段】

【0012】

本発明による理解傾向測定システムは、測定対象項目毎の理解傾向を反映した複数の予想答案と関連させて作成した記述式問題を受験者に提示した上で答案の作成を求めるテストを利用して該答案を分類することで受験者群の理解傾向を測定する測定システムであって、前記答案毎に画像データを得てこれを識別するための答案識別符号を付した上で答案画像データとして収容する答案データ収容手段と、前記答案に関して、肯定又は否定の二択で選択させる質問文の複数からなる質問文群の質問文データを収容する質問文データ収容手段と、採点者端末からの要求に応じ該採点者端末に向けて、前記質問文データ及び選択した前記答案画像データを送信する採点答案送信手段と、前記採点者端末からこれを操作する採点者を識別する採点者識別符号とともに、前記答案識別符号と、これに対応する前記答案の前記質問文群に対する肯定又は否定の組み合わせからなるチェックパターン若しくはチェック保留のチェック結果を受信するチェック結果受信手段と、前記チェック結果受信手段で受信した一連の前記採点者識別符号、前記答案識別符号、前記チェック結果を順次収容するチェック結果収容手段と、を含み、前記採点答案送信手段は、特定の採点者端末からの要求に応じて該採点者端末に向けて、前記質問文データ、及び、前記チェック結果をチェック保留とされた前記答案の前記答案識別符号に対応する前記答案画像データを送信する保留採点答案送信手段を更に有することを特徴とする。

【0013】

かかる発明によれば、採点者が保留を選択した場合、チェック結果収容手段には、チェックパターンに変えてチェック保留のチェック結果が収容され、これに対応する答案を再度、採点答案送信手段から特定の採点者端末へ送信するために容易に検索できる。これとともに、保留の判断をした質問文と判断の従属し得る質問文の判断をも修正する機会を与え、より正確な測定を可能と出来る。すなわち、限られた時間内で多数の答案をより素早くより正確に測定出来るのである。

【0014】

上記した発明において、前記採点答案送信手段は、前記採点者端末に前記答案の画像を表示させるとともに前記質問文群を表示させ、該採点者端末において、それぞれの前記質問文に対して肯定又は否定の入力をさせ、若しくは、この入力に変えて前記質問文群に対するチェック保留の入力をさせることを特徴としてもよい。かかる発明によれば、質問文に対する肯定又は否定の入力に変えて質問文群に対してチェック保留の入力をさせることで、保留入力のための採点者の判断時間及び端末の操作時間を減じ得て、限られた時間内で多数の答案をより素早くより正確に測定出来るようにさせ得るのである。

【0015】

上記した発明において、前記採点者識別符号から前記採点者毎の前記チェック保留の入力比率を算出し、前記採点者をグレード分けするグレード付与手段を含み、前記採点者のグレード分け結果に基づいて、前記保留採点答案送信手段は、データを送信すべき前記採点者端末を特定することを特徴としてもよい。かかる発明によれば、チェック保留のチェック結果に対応する答案をチェック保留の入力比率に基づくグレード分けされた特定の採点者に再度、採点答案送信手段から送信できて、限られた時間内で多数の答案をより正確に測定出来るようにさせ得るのである。

【0016】

上記した発明において、前記測定対象項目毎の理解傾向を反映するようにいくつかの類型に前記チェックパターンを類型分けし、前記採点者端末に入力された前記チェックパターンに対応する前記類型を前記採点者に提示する類型提示手段を更に含むことを特徴としてもよい。かかる発明によれば、採点者の入力ミス及び判断ミスを減じ、限られた時間内で多数の答案をより正確に測定出来るようにさせ得るのである。

【0017】

上記した発明において、前記類型提示手段は、正解である前記予想答案に対応する前記類型を前記採点者に提示する場合にあっては、前記類型とともに、正解である旨を前記採点者に提示することを特徴としてもよい。かかる発明によれば、採点者の入力ミス及び判断ミスを減じ、限られた時間内で多数の答案をより正確に測定出来るようにさせ得るのである。

【図面の簡単な説明】

【0018】

【図1】本発明による理解傾向測定システムの構成を示す図である。

【図2】本発明による理解傾向測定システムの要部の構成を示す図である。

【図3】問題文の例を示す図である。

【図4】チェックボックスシートの例を示す図である。

【図5】本発明による理解傾向測定システムの腰部のフロー図である。

【図6】クライアントコンピュータのモニタに表示される画像の例を示す図である。

【図7】クライアントコンピュータのモニタに表示される画像の例を示す図である。

【図8】クライアントコンピュータのモニタに表示される画像の例を示す図である。

【図9】クライアントコンピュータのモニタに表示される画像の例を示す図である。

【発明を実施するための形態】

【0019】

まず、本発明による理解傾向測定システムの原理を説明する。

【0020】

教育内容に対する理解傾向を試験（テスト）によって測定しようとする場合、問題とこれに対する複数の想定答案とを作成し、実際に試験を行って得られた答案が想定答案のいずれに近いかを検討し、この分類数などを統計処理して測定が行われ得る。

【0021】

詳細には、問題は教育内容を細分化した学習項目から選択される測定対象項目に対応して作成され、その問題文は該測定対象項目に関する記載を答案に含ませ得るように慎重に作成される。例えば、正答を導くまでの解法を複数有する問題の場合、測定対象項目に関する解法のみに限定されて答案が得られるよう、問題文の前提条件などが決定される。つまり、問題文は、問題の趣旨を鑑みつつ、ときに複数の模擬受験者から答案を得て、これら答案が想定答案に分類出来るかを確認しながら、文章表現などの修正が行われる。

【0022】

ところで、作業者により、同じ答案であっても分類される想定答案が異なってしまうと、測定精度が低くなって好ましくない。そこで、作業者の判断の幅を減じつつも分類を行うことができる方法として、複数の二択の質問文からなるチェックボックスと、その二択結果の組み合わせであるチェックパターンによって答案を複数の類型に分類する方法が見出された。なお、チェックパターンは理解傾向の異なる予想答案であれば異なるように、その質問文が設定される。

【0023】

その一方で、多くの答案を短時間で分類するような場合には、より多くのチェック作業を行う作業者を確保しなければならず、作業者の多様性がより増す。その中にあっても、チェックパターンが作業者に依存しないようにチェックボックスの質問文を作成するには限界がある。そこで、チェックボックスの二択結果の決定に迷いを生じたときは、このチェックボックスを保留できるようにして、保留回答を含むチェックパターンを一旦得て、改めて他の作業者がこの保留答案のチェック作業を行う方法が見出された。これにより、測定精度を下げることなく、多くの答案を短時間で分類できるようになる。

【0024】

ここで、１つの答案についてのチェックボックスのチェックは互いに少なからず連関関係を有し、保留回答後のチェックボックスのチェック作業は保留回答の影響を受け得て、信頼度が低下する。そこで、保留答案のチェック作業は、保留されたチェックボックスのみならず、全てチェックボックスについて作業することとなり得るため、保留回答を含むチェックパターンを得る必要性は低く、チェックパターンを得ること自体を保留する方が効率がよい。つまり、チェックボックスの保留を与えた作業者にとっても、これを改めて作業する他の作業者にとっても効率がよいのである。

【実施例】

【0025】

次に、本発明による理解傾向測定システムについて、図１及び図２を用いて説明する。

【0026】

［システム構成］
図１に示すように、理解傾向測定システム１は、問題作成者等を含む管理者によって使用されるサーバコンピュータ２２と、これにインターネット回線やＬＡＮ等の通信回線２０を介して接続される複数のクライアントコンピュータ２１とを含む。クライアントコンピュータ２１は、モニタ、キーボード及びマウス等の入出力装置を備える。

【0027】

サーバコンピュータ２２は、ハードディスク装置等の大容量の記憶装置２３、制御部としてのＣＰＵ１２、ＲＯＭ１３やＲＡＭ１４及び図示しない通信インターフェースを備える。また、サーバコンピュータ２２は、ユーザインターフェースとしてモニタ２２ａ、キーボード２２ｂ及び答案の画像データの入力を可能とする図示しないスキャナなどの入出力装置に接続される。

【0028】

記憶装置２３は、プログラム等記憶領域３０ａ及び各種データを記憶するデータベース（ＤＢ）領域３０ｂを有している。

【0029】

プログラム等記憶領域３０ａには、ＣＰＵ１２によって実行されるプログラムとしての質問文データ収容手段３１と、答案データ収容手段３２と、採点答案送信手段３３と、チェック結果収容手段３４と、類型提示手段３５と、グレード付与手段３６とが記憶されている。また、採点答案送信手段３３はさらにサブプログラムとしての保留採点答案送信手段３３ａを含む。

【0030】

図２を併せて参照すると、データベース３０ｂには、問題文データベース２４、質問文データベース２５、答案データベース２６、類型情報データベース２７、採点者情報データベース２８、チェック結果データベース２９が設けられている。

【0031】

詳細は更に後述するが、プログラム等記憶領域３０ａの各手段について以下に概略を説明する。

【0032】

質問文データ収容手段３１は、ユーザインターフェースとしてキーボード２２ｂからチェックボックスシートを作成するための質問文群を含む質問文を文字データとして管理者により入力させ、これを質問文データベース２５に記憶させ、且つ、質問文データベース２５に記憶させた質問文の修正をするためのプログラムである。

【0033】

答案データ収容手段３２は、サーバコンピュータ２２に接続されたスキャナ等の画像入力装置（図示せず）から答案の画像データを答案データベース２６に記憶させるプログラムである。

【0034】

採点答案送信手段３３は、クライアントコンピュータ２１から受信した１回目の採点作業を要求する信号に応じて、該クライアントコンピュータ２１を操作する採点者に採点させるべき未採点の答案に対応する答案データを、チェック結果データベース２９を参照しつつ答案データデータベース２６を検索して選択し、答案符号を付して質問文データデータベース２５に記憶されている質問文とともに該クライアントコンピュータ２１に向けて送信するためのプログラムである。また、採点答案送信手段３３は、採点作業中のクライアントコンピュータ２１から、類型の提示を要求する信号を受信したときに類型提示手段３５に処理を引継ぎ、採点作業の結果であるチェック結果を受信したときにチェック結果収容手段３４に処理を引き継ぐためのプログラムでもある。

【0035】

保留採点答案送信手段３３ａは、クライアントコンピュータ２１から受信した保留答案の採点作業を要求する信号に応じてクライアントコンピュータ２１を操作する特定の採点者に採点させるべきチェック保留のチェック結果を有する答案に対応する答案データを、チェック結果データベース２９を参照しつつ答案データデータベース２６を検索して選択し、答案符号を付して質問文データデータベース２５に記憶されている質問文とともにクライアントコンピュータ２１に向けて送信するためのプログラムである。

【0036】

チェック結果収容手段３４は、クライアントコンピュータ２１から各採点作業の結果であるチェック結果を採点者符号及び答案符号とともに受信し、これをチェック結果データベース２９に記憶させるためのプログラムである。

【0037】

類型提示手段３５は、クライアントコンピュータ２１から受信した類型の提示を要求する信号に応じて、受信したチェックパターンに対応する類型情報を類型情報データベース２７から抽出してクライアントコンピュータ２１に送信し、類型情報に基づく画像をクライアントコンピュータ２１のモニタに表示させるためのプログラムである。

【0038】

グレード付与手段３６は、チェック結果データベース２９を参照して、採点者毎にチェック保留の入力をしたチェック結果を送信した比率を算出し、これに基づいて採点者のグレードを決定し、かかるグレードを採点者情報データベース２８に記憶させるためのプログラムである。

【0039】

［準備］
続いて、理解傾向測定システム１を用いた理解傾向の測定手順のうち、答案の分類処理を行うための準備の手順について図３及び図４を用いて説明する。

【0040】

（問題作成）
まず、管理者は、記述式問題の問題文を作成する。問題文は測定の対象となる受験者に提供される教育内容の学習項目から選択される測定対象項目に関する記載を含む答案を得られるように作成される。

【0041】

図３に示すように、管理者は、例えば、所定の学年において提供される教育内容の学習項目から選択される測定対象項目である「三平方の定理の公式を使用すること」及び「一元二次方程式を解くこと」の２つに関する記載を含む答案を要求する問題文ｑを作成しようとする。問題文ｑは、「直角三角形の直角を挟む２辺の長さがそれぞれ１ｃｍと２ｃｍである場合、斜辺の長さをｘｃｍとしたときのｘを方程式を立てて求めなさい。」であるとする。これは、三平方の定理の公式を使用して一元二次方程式を立式し、これを解いて答えを導く過程の記述を要求するものである。管理者は、かかる問題文をサーバコンピュータ２２に接続されたキーボード２２ｂ又は図示しないスキャナなどの入力装置から入力し、記憶装置２３の問題文データベース２４に記憶させる。

【0042】

（チェックボックスシートの質問文の作成）
図４（ａ）に示すように、第１のチェックボックスシート５０は、クライアントコンピュータ２１に送信され、採点者によって入力を行うための入力画面としてモニタの表示画面上に表示される画像である。それぞれ「Ｙ（肯定）」又は「Ｎ（否定）」の二者択一で回答することのできる質問文ＣＱ１〜ＣＱ７と、これらに対し、「Ｙ」又は「Ｎ」のいずれかを選択してチェックを付するチェック欄５２（Ｙ、Ｎ）と、チェックを付すことにより質問文群に対するチェックを保留する保留チェック欄５３とを含む。第１のチェックボックスシート５０では、表示画面上のチェック欄５２の対応する位置にチェックを付すことで、質問文ＣＱ１〜ＣＱ７に対する回答を「Ｙ」、「Ｎ」のいずれかを各採点者が選択できるとともに、残りの質問文に対して回答することなく採点作業を終了させるべく保留チェック欄５３にチェックを付す選択もできる。質問文ＣＱ１〜ＣＱ７は、肯定又は否定の判断の容易な一般的な採点者であれば、同一の答案に対して同じ判断となり得るような内容であることが好ましい。すなわち、質問文ＣＱ１〜ＣＱ７は、特定の内容が答案に記述されているかを考えて判断する質問ではなく、答案の記載を形式的に判断させるものが好ましい。

【0043】

図４（ｂ）に示すように、第２のチェックボックスシート５１は、特定のクライアントコンピュータ２１に送信され、特定の採点者によって入力を行うための入力画面としてモニタの表示画面上に表示される画像である。第１のチェックボックスシート５０から保留チェック項目ＣＱ０を削除したものである。第２のチェックボックスシート５１の質問文群は第１のチェックボックスシート５０と同一である。第２のチェックボックスシート５１でも、表示画面上のチェック欄５２の対応する位置にチェックを付すことで、質問文ＣＱ１〜ＣＱ７に対する回答を「Ｙ」、「Ｎ」のいずれかから各採点者が選択できる。

【0044】

作成された質問文ＣＱ１〜ＣＱ７は、質問文データ収容手段３１に沿って、管理者によりキーボード２２ｂなどの入力装置から入力され、文字データからなる質問文データとして質問文データデータベース２５に記憶させる。また、質問文データ収容手段３１に沿って、質問文データに基づいた質問文をモニタ２２ａに表示させるとともに、これらを修正するための管理者による入力をキーボード２２ｂなどから受け付けて、修正の入力をされた質問文に対応する質問文データを質問文データデータベース２５に上書き保存することもできる。これにより、管理者による各質問文の修正を可能とする。

【0045】

（類型のチェックパターンの記憶）
管理者は、問題文ｑから、上記した２つの測定対象項目における受験者による処理をそれぞれ想定して、様々な理解傾向にそれぞれ対応するように複数の予想答案を作成する。管理者は、かかる予想答案に対して第２のチェックボックスシート５１の質問文群をあてはめてチェックパターンを求め、同予想答案に対応する類型を示す符号である類型番号とともにサーバコンピュータ２２に入力する。サーバコンピュータ２２は入力されたチェックパターンに類型番号を付して類型情報データベース２７に記憶させる。類型情報データベース２７にはチェックパターンと類型番号の他、類型の対応する予想答案や理解傾向についての説明文などが入力され記憶されてもよい。

【0046】

このとき、求められたチェックパターンは、少なくとも理解傾向の異なる予想答案毎に重複せずに、対応する類型に分類されなければならない。そのため、複数の類型に対応するチェックパターンが重複する場合などの必要に応じて、管理者は、質問文の元となる質問内容を変更する。すなわち、チェックボックスシートの質問文の作成と類型のチェックパターンの記憶とが管理者によって繰り返し行われる場合がある。また、各質問文に対する肯定又は否定の判断の容易な、すなわち特定の答案に関する各質問文に対する二択の判断がどの採点者によっても同じとなり得るように、管理者は、質問文の表現も必要に応じて適宜修正する。

【0047】

（答案データの記憶）
管理者は、複数の受験者に問題文ｑを提示しこれに解答させて、答案を作成させる（テストの実施）。管理者は、答案データ収容手段３２を起動し、回収された答案の記載された解答用紙を図示しないスキャナ等の入力装置によって画像データとして取り込み、答案データベース２６に答案データとして記憶させる。このとき、各答案データにはそれぞれの答案を識別する答案符号が付される。答案符号には、対応する答案を作成した受験者と対応する問題文を参照しやすいように、例えば、受験者を識別する符号と問題文を識別する符号との組み合わせなどを使用できる。さらに、各答案データには、クライアントコンピュータ２１へ送信すべき答案データを検索するための採点中フラグ及び結果受信済みフラグの２種類のフラグが付される。採点中フラグ及び結果受信済みフラグの初期値にはどちらも「０」がセットされる。

【0048】

［答案に関する採点作業及び分類］
次に、理解傾向測定システム１を用いた理解傾向の測定手順のうち、答案について採点して答案を分類する手順について図５に沿って図６乃至図９を用いて説明する。

【0049】

（１回目の採点作業）
複数の採点者のうちの１人（以下、採点者甲と称する）が、複数の答案のうちの１つについて採点を行う場合について説明する。

【0050】

採点者甲は、まず、自らの操作するクライアントコンピュータ２１によりサーバコンピュータ２２にアクセスする。すると、サーバコンピュータ２２は、クライアントコンピュータ２１のモニタにログイン画像４０をｗｅｂブラウザ等により表示させる（図６参照）。採点者甲は、自らの採点者符号とパスワードの入力の後、ログイン画像４０の表示された画面上でログインボタン４０ａを押下する入力を行う。すなわち、例えば、マウスを操作して画面上のポインタをログインボタン４０ａに重ね、マウスの左ボタンをクリックする操作を行う。かかる入力を受けたクライアントコンピュータ２１は採点者符号及びパスワードをサーバコンピュータ２２に向けて送信する。サーバコンピュータ２２はクライアントコンピュータ２１より受信した採点者符号及びパスワードを採点者情報データベース２８に記憶されている採点者情報と照合して、採点者甲が登録済みであることを確認したのち、ログインを許可する。

【0051】

図５に示すように、採点者甲はクライアントコンピュータ２１を操作して、サーバコンピュータ２２に採点作業を行うことを要求する（Ｓ１１）。詳細には、図７を併せて参照すると、サーバコンピュータ２２はクライアントコンピュータ２１のモニタにｗｅｂブラウザ等によりメニュー画像４１を表示させる。採点者甲はメニューから「１回目採点」を選択する。すなわち、メニュー画像４１の表示された画面上で、「１回目採点」ボタン４１ａを押下する入力を行う。これに応じて、クライアントコンピュータ２１は１回目の採点作業を要求する信号をサーバコンピュータ２２に向けて送信する。

【0052】

かかる信号を受信したサーバコンピュータ２２は、採点答案送信手段３３により答案データデータベース２６に記憶されている答案データからチェック結果データベース２９を参照しつつ返信すべき答案データを選択する。かかる選択では、他のクライアントコンピュータにおいて採点中ではなく且つ未採点の答案に対応する答案データが選択される。すなわち、採点中フラグ及び結果受信済みフラグを共に「０」とする答案データのうち、チェック結果がチェック保留となっていない答案データ（「保留」については後述する。）を検索し、その中から１つを選択して採点中フラグに「１」をセット（採点中フラグをＯＮに）する（Ｓ１２）。選択される答案の数を採点者甲に指定させるなど、複数とすることもできるが、ここでは１つの答案データが選択される。

【0053】

さらに、サーバコンピュータ２２は採点答案送信手段３３によりクライアントコンピュータ２１に選択した答案データ及びこれに付された答案符号に併せ、第１のチェックボックスシート５０をクライアントコンピュータ２１のモニタに表示させるための質問文データ及びその他の定型のデータを返信する（Ｓ１３）。

【0054】

図８を併せて参照すると、サーバコンピュータ２２は採点答案送信手段３３により答案データ等を受信したクライアントコンピュータ２１のモニタに、採点作業画像４２を表示させる（Ｓ１４）。また、採点者甲による採点作業に関する入力をクライアントコンピュータ２１に受け付けさせる（Ｓ１５）。すなわち、採点者甲は、クライアントコンピュータ２１のキーボードやマウス等の入力装置を用いて採点作業画像４２上のポインタ等を操作しながら採点作業を行う。

【0055】

詳細には、採点者甲は、答案データに基づき表示された採点作業画像４２の答案画像４３から読み取った答案に関して、第１のチェックボックスシート５０の質問文ＣＱ１〜ＣＱ７に対して肯定又は否定の二択を判断し、その判断結果から「Ｙ」又は「Ｎ」を選択してチェック欄５２にチェックを付す入力を行うことにより回答する。若しくは、二択の判断に迷いを生じたときは、保留チェック欄５３にチェックを付す。保留チェック欄５３へのチェックにより、採点者甲は残りの他の質問文について回答することなく、かかる答案についての採点作業を終了できる。

【0056】

なお、保留チェック欄５３を設けていなければ、二択の判断に迷いを生じた場合に採点者甲は自らの主観に基づく独自の判断を強いられる。かかる判断による回答は、他の採点者の回答と結果が異なり得るので、結果として信頼度の低い回答となる。また、判断に迷いを生じた場合、その質問文に対する回答と連関関係を有する他の質問文に対する採点者甲の回答の信頼度も低くなる。このような回答をせずに採点作業を終了させることで、採点者甲にとっては、その作業量を別の答案の採点作業にあてることができるのである。

【0057】

採点者甲による採点作業の間、サーバコンピュータ２２は、類型表示ボタン４４又は採点完了ボタン４５のそれぞれの押下に応じた信号をクライアントコンピュータ２１から送信を受ける待機状態にある（Ｓ１６；Ｎ、Ｓ２１；Ｎ）。

【0058】

類型表示ボタン４４が押下されたときは（Ｓ１６；Ｙ）、サーバコンピュータ２２は採点答案送信手段３３により、質問文ＣＱ１〜ＣＱ７に対する回答が全て入力されているかを確認した上で、回答の組み合わせであるチェックパターンを採点者符号と共に類型の提示を要求する信号をサーバコンピュータ２２に向けて送信させるとともに処理を類型提示手段に引き継ぐ（Ｓ１７）。これを受信したサーバコンピュータ２２は（Ｓ１８）、類型提示手段３５により類型情報データベース２７を参照して、受信したチェックパターンに対応する類型の類型情報をクライアントコンピュータ２１に送信する。類型情報は、例えば、類型を特定する類型番号、類型の対応する予想答案や理解傾向についての説明文などである（Ｓ１９）。さらに、これを受信したクライアントコンピュータ２１のモニタ上に、類型情報欄４７に類型情報を表示させるとともに、採点答案送信手段３３に処理を引き継ぐ（Ｓ２０）。

【0059】

採点者甲は、採点作業中に類型情報の提示を受け、答案と類型情報とを比較し、回答の入力ミス及び判断ミスの発見を容易とし、必要に応じてチェック欄５２への入力を修正して、これらのミスを低減させることができる。なお、類型情報データベース２７において予想答案の正答又は誤答を判別する符号を付しておき、かかる符号を類型情報に含め、対応する予想答案が正答であるのか誤答であるのかを表示させてもよい。これによっても入力ミスや判断ミスを低減させることができる。

【0060】

また、採点完了ボタン４５が押下されたときは（Ｓ２１；Ｙ）、サーバコンピュータ２２は採点答案送信手段３３により、質問文ＣＱ１〜ＣＱ７に対する回答が全て入力されているか、又は、保留チェック欄５３にチェックが付されているかを確認した上で、チェックパターン又はチェック保留のチェック結果を答案符号と採点者符号とともにサーバコンピュータ２２へ送信させる。また、処理をチェック結果収容手段３４に引き継ぐ（Ｓ２２）。サーバコンピュータ２２はチェック結果収容手段３４により、かかるチェック結果等を受信し、チェック結果に答案符号及び採点者符号を付してチェック結果データベース２９に記憶させる。また、サーバコンピュータ２２は、答案データデータベース２６の対応する答案データの採点中フラグを「０」（ＯＦＦ）にする（Ｓ２３）。なお、チェック保留のチェック結果には、既に入力済みの回答であるチェックパターンの一部も含めることが好ましい。これにより、後述する保留答案の採点作業において、一部の質問文に対する採点者甲の回答をあらかじめ表示させることができる。

【0061】

さらに、サーバコンピュータ２２は、チェック結果に基づき答案を分類する。チェック結果がチェックパターンであった場合には、チェックパターンに従い答案を各類型に分類する。すなわち、対応する類型番号をチェック結果データベース２９の対応するチェック結果に付すなどして記憶させる。また、対応する答案データの結果受信済みフラグを「１」（ＯＮ）にする。チェック結果がチェック保留であった場合、分類は行われない（Ｓ２４）。ここで、チェックを保留された保留答案の答案データについての採点中フラグ及び結果受信済みフラグは共に「０」となり、初期値に戻る。

【0062】

（保留答案の採点作業）
保留答案については、質問文の意図について一定レベル以上の理解を有する特定の採点者によって採点される。すなわち、採点者乙は、答案の採点作業において、質問文ＣＱ１〜ＣＱ７に対しての肯定又は否定の二択の判断に迷いを生じない採点者である。特に、質問文の意図を深く理解していて、二択の判断の困難な特異な内容の答案についても二択の判断を可能であることが好ましい。かかる特定の採点者のうちの１人（以下、採点者乙と称する）が、複数の答案のうちの１つについて採点を行う場合について説明する。採点者乙は１回目の採点作業での採点者甲と同様に、予めサーバコンピュータ２２にアクセスした上で、採点者符号を送信しログイン済みである。

【0063】

図５に示すように、採点者乙はクライアントコンピュータ２１を操作して、サーバコンピュータ２２に採点作業を行うことを要求する（Ｓ１１）。詳細には、図７を併せて参照すると、サーバコンピュータ２２はクライアントコンピュータ２１のモニタにｗｅｂブラウザ等によりメニュー画像４１を表示させる。採点者乙は表示されたメニューから「保留採点」を選択する。すなわち、メニュー画像４１の上で、「保留採点」ボタン４１ｂに対するマウスを用いたポインタの操作などにより入力操作が行われる。これに応じて、クライアントコンピュータ２１は保留答案に関する採点作業を要求する信号をサーバコンピュータ２２に向けて送信する。なお、採点者乙は採点者甲と同様に「１回目採点」を選択し、上記した１回目の採点作業を行うこともできる。

【0064】

保留答案に関する採点作業を要求する信号を受信したサーバコンピュータ２２は、採点答案送信手段３３の保留採点答案送信手段３３ａにより、クライアントコンピュータ２１から受信した採点者符号に基づいて、採点者情報データベース２８を参照して対応するグレードが保留答案の採点を行うことを認定されているグレードであることを確認する。すなわち、採点者乙が、質問文の意図について一定レベル以上の理解を有する特定の採点者であることを確認する。かかる確認の後、サーバコンピュータ２２は保留採点答案送信手段３３ａにより、答案データデータベース２６に記憶されている答案データからチェック結果データベース２９を参照しつつ返信すべき答案データを選択する。かかる選択では、他のクライアントコンピュータにおいて採点中ではなく保留答案となった答案データが選択される。すなわち、採点中フラグ及び結果受信済みフラグを共に「０」とする答案データのうち、チェック結果がチェック保留となっている答案データを検索し、その中から１つを選択して採点中フラグに「１」をセット（採点中フラグをＯＮに）する（Ｓ１２）。チェック結果についてはチェック保留についてのチェックの有無だけについて検索すればよいので容易に検索できる。選択される答案の数を採点者乙に指定させるなどして複数とすることもできるが、ここでは１つの答案データが選択される。

【0065】

さらに、保留採点答案送信手段３３ａにより、サーバコンピュータ２２はクライアントコンピュータ２１に選択した答案データ及びこれに付された答案符号に併せ、第２のチェックボックスシート５１をクライアントコンピュータ２１のモニタに表示させるための質問文データ及びその他の定型データを返信するとともに処理を採点答案送信手段３３に引き継ぐ（Ｓ１３）。なお、上記したように、チェック保留のチェック結果に既に入力済みの回答（チェックパターンの一部）を含められているときは、これを併せて返信する。

【0066】

サーバコンピュータ２２は、採点答案送信手段３３により、答案データ等を受信したクライアントコンピュータ２１のモニタに採点作業画像４２（図１０参照）から保留チェック欄５３を含む保留チェック項目ＣＢｐを削除した画像を表示させる。すなわち、第２のチェックボックスシート５１を含む採点作業画像を表示させる（Ｓ１４）。以降の保留答案の採点作業に関するチェック結果を送信するまでの処理（Ｓ１５〜Ｓ２２）は１回目の採点作業とほぼ同様であるので、説明を省略する。ただし、保留答案に関する採点作業では、第２のチェックボックスシート５１を用いるため、保留チェック欄５３にチェックを付すことはできず、チェック結果は必ずチェックパターンとなる。ここで、採点者乙は質問文ＣＱ１〜ＣＱ７に対しての肯定又は否定の二択の判断を迷うことなく、その判断についての信頼度が高い。また、１回目の採点作業において既に回答されている一部の質問文に対する回答をあらかじめ表示しているときは、採点者乙はこれをそのまま利用してもよく、修正することもできる。このように、採点者甲によって二択の判断に迷いを生じた答案に関して、質問文の意図について一定レベル以上の理解を有する採点者乙による採点を行うので、得られるチェックパターンの信頼度が高くなる。

【0067】

クライアントコンピュータ２１からのチェック結果を受信したサーバコンピュータ２２は、採点答案送信手段３３から処理を引き継いだチェック結果収容手段３４によりチェック結果に答案符号及び採点者符号を付してチェック結果データベース２９に記憶させる。チェック結果に採点者符号を付すことで、１回目の採点作業と保留答案の採点作業との採点履歴を残し、必要に応じてこれらを後で検索できるようにするのである。また、サーバコンピュータ２２は、答案データデータベース２６の対応する答案データの採点中フラグを「０」（ＯＦＦ）にする（Ｓ２３）。

【0068】

さらに、サーバコンピュータ２２は、チェック結果に基づき答案を分類する。チェック結果は全てチェックパターンであり、かかるチェックパターンに従い各類型に答案を分類する。すなわち、対応する類型番号をチェック結果データベース２９の対応するチェック結果に付すなどして記憶させる。また、対応する答案データの結果受信済みフラグを「１」（ＯＮ）にする（Ｓ２４）。

【0069】

上記した１回目の採点作業と保留答案の採点作業は複数の採点者によって繰り返し行われる。サーバコンピュータ２２は、全ての答案についての結果受信済みフラグが「１」になったことを確認するまで上記の採点作業の要求を受け付ける。このとき、例えば、１回目の採点作業の要求を受けた場合に未採点の答案の無い場合など、送信すべき答案データを選択できない場合はその旨をクライアントコンピュータ２１に返信し表示させる。なお、答案の分類は、全ての答案に関するチェックパターンを受信した後にまとめて行ってもよい。

【0070】

以上により、サーバコンピュータ２２においては、保留答案の採点に供するため、チェック結果データベース２９のチェック保留についてのチェックの有無だけについての容易な検索により保留答案となった答案データを選択できる。また、チェックを保留された答案については、質問文ＣＱ１〜ＣＱ７の意図についての理解に深く、二択の判断に迷いを生じない特定の採点者乙に採点させることができる。これによって、保留答案についての保留の判断をされた質問文と判断の従属し得る質問文に対する判断をも修正できる。よって、限られた時間内で多数の答案をより素早くより正確に測定出来る。

【0071】

一方で、クライアントコンピュータ２１においては、採点者甲の二択の判断に迷いを生じた場合において、判断に迷いを生じた答案に関する残りの質問文群についての回答をせずに同答案についての採点作業を終了させ、採点者甲の主観に基づく独自の判断による回答を防止する。さらに、残りの質問文群に回答する代わりに、採点者甲は、他の答案についての採点作業を行うことができる。

【0072】

結果として、採点者甲には二択の判断の容易な答案についての採点作業を多く行わせ、特定の採点者乙には二択の判断の比較的難しい答案についての採点作業を多く行わせて、限られた時間内で多数の答案の理解傾向をより素早くより正確に測定できる。

【0073】

なお、チェック保留のチェック結果は、保留チェック欄５３でなくともよい。例えば、採点作業画像４２に「保留」ボタンを別途設けておき、「保留」ボタンの押下によりチェック保留のチェック結果を答案符号及び採点者符号とともにサーバコンピュータ２２へ送信させるのである。

【0074】

また、類型への分類では、どの予想答案にも当てはまらないチェックパターンの予想されなかった類型として、一般に、「その他」が設けられる。「その他」に答案の分類されるチェックパターンにおいて、特定のチェックパターンの数の多い場合は、かかるチェックパターンに対応する答案の理解傾向を解析して、必要に応じてこれを新たに類型として定めても良い。

【0075】

なお、上記した実施例において、例えば、「白紙答案」を類型の１つとする場合、質問文ＣＱ１の「白紙答案か？」（図４参照）に対する回答を「Ｙ」とする答案は、他の質問文に対して回答するまでもなく、「白紙答案」の類型に分類される。このように、単独、又は一部の質問文に対する回答のみで類型が確定するような場合には、上記した１回目の採点作業に先だって、全ての答案についてかかる一部の質問文のみに対して回答させて、該当する答案を前もって分類することもできる。この場合、ここで分類されなかった答案については、上記した１回目の採点作業及び保留答案の採点作業において、残りの質問文についての回答を行えばよい。このように、あらかじめ少ない質問文に対する回答のみで一部の答案を分類することで、質問文に対して回答するのべ回数を減少させ、理解傾向をより素早く測定できる。

【0076】

また、このような単独又は一部の質問文のみに対する回答で他の答案と区別できる例として、例えば、解答欄からの答案のはみ出しにより答案データに一部の欠落を生じる「はみ出し」や、外国語や方言による記載の答案などの特殊な答案が挙げられる。白紙以外の特殊な答案については少なくとも答案に何らかの記載があるので、理解傾向を測定する場合においては、例えば「はみ出し」であるとの理由だけで分類してしまうのではなく、記載内容に基づいた本来の分類を行うことが望ましい。よって、「白紙答案」と同様に１回目の採点作業に先立って一部の質問文のみに回答させるようにしつつも、これによって分類してしまうのではなく、別途採点させるという手順とするとよい。このような答案については、管理者やそれに準ずる一部の採点者により必要に応じて解答用紙を参照し、はみ出し部分を確認しつつ採点されるとよい。

【0077】

なお、このような特殊な答案については数が少なく、これを分類するためだけに質問文を増やしてしまうと却って採点作業を長引かせる場合がある。そのような場合、全ての答案に関する質問文として回答させるのではなく、１回目の採点作業において特殊な答案であることを示すチェック結果を入力させてもよい。この場合、チェックボックスシートには特殊な答案であることを示すチェック欄を別途設けておき、これにチェックを付すことで、理由付きの保留答案として別途採点されるようにする。すなわち、この場合においても、単に保留答案の採点作業により採点されるのではなく、管理者やそれに準ずる一部の採点者により採点される。このとき、採点作業画像にはこのような理由について記載するコメント欄などを設けておいてもよい。

【0078】

なお、上記した実施例では問題文を１つとして説明を行ったが、実際には複数の教科のそれぞれ複数の問題文についてテストが実施され、答案が作成される。そのため、採点者は採点作業の要求を行う際に採点対象とする教科を選択でき、さらには問題文を選択できることが好ましい。そこで、採点者が、メニュー（図７参照）から「１回目採点」又は「保留採点」を選択した場合、採点対象とする問題文を指定させるようにしてもよい。

【0079】

すなわち、モニタにメニュー画像４１の表示されているときに、「１回目採点」ボタン４１ａ又は「保留採点」ボタン４１ｂが押下された場合に、図９に示すように、サーバコンピュータ２２は、クライアントコンピュータ２１のモニタ上に採点対象選択画像６０を表示させるのである。採点者は、問題文選択欄６１内において採点対象とする教科の問題文を選択し、問題番号６２によって指定しこれを入力する。「次へ」ボタン６３の押下に応じて、サーバコンピュータ２２は、指定された問題文についての答案データを選択し、選択した答案データの採点作業をさせるよう、クライアントコンピュータ２１に選択した答案データとこれに対応する答案符号、質問文データ等を送信する。これによりクライアントコンピュータ２１のモニタには採点作業画像４２（図８参照）が表示され、指定した問題文に対する答案に関して、上記した実施例と同様に、採点作業を行うことができる。

【0080】

ところで、図１を参照すると、プログラム等記憶領域３０ａには、ＣＰＵ１２によって実行されるプログラムとしてのグレード付与手段３６を含む。すなわち、採点者毎にチェック保留を入力してチェック結果として送信した比率を算出し、これに基づいて採点者のグレードを決定することができる。例えば、クライアントコンピュータ２１から採点者符号とともにグレードの更新を要求する信号を受信した場合に、サーバコンピュータ２２はグレード付与手段３６により、チェック結果データベース２９を参照し、同採点者符号の付されたチェック結果の総数に対するチェック保留のチェック結果の数の比率、すなわちチェック保留の入力比率を算出する。かかる比率の高い場合に低いグレードを、比率の低い場合に高いグレードを対応させる所定のテーブルを参照するなどして、保留のチェック結果の入力比率に応じたグレードをクライアントコンピュータ２１に返信して採点者に報知するとともに、採点者情報データベース２８の対応する採点者情報に上書きする。各採点者のグレードの更新は、管理者によるサーバコンピュータ２２の操作によっても実行可能とすることが好ましい。また、各採点者のグレードは、教科毎や教科の単元毎に算出してもよい。なお、上記した理由付きの保留答案としたチェック結果は二択の判断に迷ったものではないので、チェック保留のチェック結果の数には含めない。

【0081】

これにより、各採点者の実績に則したグレードに応じて１回目の採点作業及び保留答案の採点作業を分担できて、限られた時間内で多数の答案をより正確に測定できるようにし得る。

【0082】

また、グレードは多段階とすることもできる。この場合、各採点者においては自らの属するグレードより低いグレードに属する採点者によりチェックを保留された答案についてのみ保留答案の採点作業を可能とするなど、適宜、各グレードに属する採点者によって分担可能な作業を差別化し得る。さらに、採点者情報を採点者情報データベース２８に記憶させて新たな採点者を登録するときは、過去に行った理解傾向の測定において採点作業に使用された答案及びチェックボックスシートや、仮想の答案及びチェックボックスシートによって採点作業を行わせ、その結果によってグレードを定めるようにすることもできる。

【0083】

上記したように、理解傾向をより正確に測定するには、採点者の主観に基づく独自の判断を低減することが重要である。よって、主観に基づく独自の判断の介入した可能性の高いチェック結果の集合に絞るなどしてチェック結果へのそのような判断の介入の有無について確認することも重要になる。そこで、答案データデータベース２６やチェック結果データベース２９などから、特定の条件に当てはまる答案データやチェック結果を検索・抽出し、さらにチェック結果を修正できるようにしてもよい。

【0084】

また、例えば、所定以上のグレードの採点者は、より下位のグレードの他の採点者によるチェック結果について、チェックパターンが正しいか確認作業をすることができるようにしてもよい。すなわち、サーバコンピュータ２２は、クライアントコンピュータ２１を介して採点者に確認作業の対象とする問題番号などの指定を促し、さらにかかる採点者のグレードより下位のグレードの他の採点者によりチェックパターンを得ているとの条件でチェック結果を検索し、該当するチェック結果を抽出し対応する答案データとともに採点者のクライアントコンピュータ２１に返送するのである。この場合、検索条件の設定を自動的に行えることが好ましい。例えば、図７に示すように、メニュー画像４１の「確認作業」ボタン４１ｃによって確認作業を選択された場合に、図９に示す採点対象選択画像６０を表示させる。次いで、採点者による指定を促して問題番号を得て、それ以外の検索に必要な条件は自動的に設定して検索できるようにしておくのである。検索されて抽出されたチェック結果は採点者によって確認され、承認又は否認の結果を入力される。かかる結果はサーバコンピュータ２２に送信される。

【0085】

ここで、否認の結果の入力のあった否認答案については、例えばより上位のグレードの別の採点者により更に確認され、必要に応じてチェック結果を修正される。例えば、図７に示すように、メニュー画像４１の「否認採点」ボタン４１ｄによって否認答案の採点作業を選択でき、同採点者の操作に応じて、同様に、自動的に対象となるチェック結果を検索し、抽出できるようにしておく。

【0086】

また、例えば、保留答案の採点作業によって、１回目の採点作業において既にチェックを付されていた質問文に対する回答が修正されることもある。その場合、回答の修正された質問文については、１回目の採点作業を行った採点者甲と保留答案の採点作業を行った採点者乙のどちらかに判断ミスがあったことになる。よってこのような回答に不一致となる部分のある不一致答案のあった場合は、管理者やそれに準ずる一部の採点者によって、どちらに判断ミスがあったかを確認されるとともに、必要に応じてチェック結果を修正できるようにしてもよい。この場合も、上記と同様、メニュー画像４１の「不一致採点」ボタン４１ｅにより不一致答案の採点作業を選択でき、自動的に対象となるチェック結果を検索し、抽出できるようにしておく。ここで、判断ミスのあった採点者については、判断ミスのあったことを示す情報を付加して採点者情報を更新してもよい。ただし、「不一致採点」は、管理者やそれに準ずる一部の採点者によって行われるので、それ以外の採点者には選択できないようにしておく。

【0087】

このように、チェック結果を検索する場合において、典型的な検索を簡単にできるように、自動的に検索条件を設定し得るボタンを同様にメニュー画像４１などで選択できるようにすると良い。

【0088】

なお、例えば、上記したような「不一致採点」において判断ミスの発覚した場合には、判断ミスをした採点者の入力したその他のチェック結果についても検索して、これを確認できるようにしたい。そこで、そのような場合を含む様々な検索をも自由に行うことのできるよう、管理者やそれに準ずる一部の採点者の選択できる「その他検索」ボタン４１ｆをメニュー画像４１に加えておいてもよい。「その他検索」ボタン４１ｆの押下によって検索条件を詳細に設定しチェック結果を検索できる図示しない検索画面に遷移するようにしておくのである。

【0089】

また、このような確認作業やグレード付与手段３６によるグレードの更新において、判断ミスの多い採点者又は極端にチェック保留の入力比率の高い採点者については、例えば、その採点者のチェック結果を全て見直したり、それ以上の採点作業をさせないようにしたりするなどの措置をとってもよい。これによっても、測定をより正確にできる。

【0090】

ここまで本発明による代表的実施例を説明したが、本発明は必ずしもこれらに限定されるものではなく、当業者であれば、添付した特許請求の範囲を逸脱することなく、種々の代表的実施例及び改変例を見出すことができる。

【符号の説明】

【0091】

１ 理解傾向測定システム
２１ クライアントコンピュータ
２２ サーバコンピュータ
２３ 記憶装置
３１ 質問文データ収容手段
３２ 答案データ収容手段
３３ 採点答案送信手段
３３ａ 保留採点答案送信手段
３４ チェック結果収容手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】