特開 2022-189908 採点支援装置、その制御方法及び制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022189908

(43)【公開日】2022-12-22

(54)【発明の名称】採点支援装置、その制御方法及び制御プログラム

(51)【国際特許分類】

   G09B 19/00 20060101AFI20221215BHJP

   G06Q 50/20 20120101ALI20221215BHJP

【ＦＩ】

G09B19/00 H

G06Q50/20

【審査請求】有

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022168828

(22)【出願日】2022-10-21

(62)【分割の表示】P 2017244657の分割

【原出願日】2017-12-21

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100096699

【弁理士】

【氏名又は名称】鹿嶋 英實

(74)【代理人】

【識別番号】100171882

【弁理士】

【氏名又は名称】北庄 麗絵子

(72)【発明者】

【氏名】小野寺 豊

(57)【要約】

【課題】記述方式や論述方式の設問に関して、採点時の作業負担を軽減して、より効率的に採点を行うことができる採点支援装置、その制御方法及び制御プログラムを提供する。
【解決手段】採点支援装置１００は、採点対象となる記述方式や論述方式の設問に対する解答を含む解答データを、前記設問ごとに類似する解答内容のグループに分類し、類似する解答内容のグループごとに採点基準を設定することで容易に採点基準が明確になり、採点時の作業負担を軽減できる。
【選択図】図１

【特許請求の範囲】

【請求項1】

それぞれ異なる採点内容が対応付けられている複数の解答データを、採点基準となる複数の解答データとしてメモリに記憶させる記憶制御手段と、
採点対象となる解答データを、前記メモリに記憶されている前記採点基準となる複数の解答データそれぞれと比較することで、前記採点対象となる解答データに対応する採点内容を決定する採点内容決定手段と、
を備え、
前記記憶制御手段は、前記採点内容決定手段により決定された前記採点対象となる解答データに対応する採点内容に基づいて、前記メモリに記憶されている前記採点基準となる複数の解答データの記憶内容を更新する、
採点支援装置。

【請求項2】

前記採点内容決定手段は、
前記採点対象となる解答データに含まれるテキストデータを、前記採点基準となる複数の解答データそれぞれに含まれるテキストデータと比較することで、前記採点対象となる解答データと前記採点基準となる複数の解答データそれぞれとの類似度を判定し、
前記判定された類似度に基づいて、前記採点対象となる解答データに対応する採点内容を、前記採点基準となる複数の解答データに対応付けられている複数の採点内容の中から選択する、
請求項１に記載の採点支援装置。

【請求項3】

前記記憶制御手段は、前記採点対象となる解答データに対して採点担当者が判断した採点内容に基づいて、前記採点基準となる複数の解答データの記憶内容を更新する、
請求項１または２に記載の採点支援装置。

【請求項4】

前記記憶制御手段は、決定された前記採点対象となる解答データに対応する採点内容と、前記採点対象となる解答データに対して採点担当者が判断した採点内容との比較結果に基づいて、前記採点基準となる複数の解答データの記憶内容を更新する、
請求項３に記載の採点支援装置。

【請求項5】

前記採点基準となる複数の解答データとの比較に基づく自動採点および採点担当者の判断による手動採点それぞれの採点方法を有効にするか無効にするかを、前記自動採点および前記手動採点の状況に応じて決定する採点方法決定手段を更に備える、
請求項３または４に記載の採点支援装置。

【請求項6】

決定された前記採点対象となる解答データに対応する採点内容と、前記採点対象となる解答データに対して採点担当者が判断した採点内容と、の比較結果に基づいて判断される正誤判定率に基づいて、前記自動採点の信頼性を判断する信頼性判断手段を更に備える、
請求項５に記載の採点支援装置。

【請求項7】

前記採点基準となる複数の解答データは、正解と不正解を明示する正解の解答データのリストおよび不正解の解答データのリストを含む、
請求項１乃至６のいずれか一項に記載の採点支援装置。

【請求項8】

前記記憶制御手段は、採点内容が対応付けられている複数の解答データを、類似する解答内容のグループに分類し、
前記類似する解答内容のグループごとの採点内容を、前記採点基準となる複数の解答データとして記憶させる、
請求項１乃至７のいずれか一項に記載の採点支援装置。

【請求項9】

前記採点内容は、採点対象となる解答データと正解の解答データに対する類似度である正解類似度および採点対象となる解答データと不正解の解答データに対する類似度である不正解類似度に基づいて正規化された採点内容である、
請求項１乃至８のいずれか一項に記載の採点支援装置。

【請求項10】

前記正規化された採点内容は、模範解答に対して前記正解類似度および前記不正解類似度を求めることで決定される、
請求項９に記載の採点支援装置。

【請求項11】

前記採点方法決定手段は、前記採点基準に基づく自動採点による正規化採点結果または採点者の判断に基づく手動採点による正規化採点結果に応じた採点割合にしたがって自動採点の有効化及び手動採点の無効化の少なくとも１つを設定する、
請求項５に記載の採点支援装置。

【請求項12】

採点対象となる設問の解答を含む解答データを、前記設問ごとに類似する解答内容のグループに分類し、
前記類似する解答内容のグループごとに前記採点基準を設定する採点基準設定手段を更に備える、
請求項１乃至１１のいずれか一項に記載の採点支援装置。

【請求項13】

装置が、
それぞれ異なる採点内容が対応付けられている複数の解答データを、採点基準となる複数の解答データとしてメモリに記憶させる記憶制御処理と、
採点対象となる解答データを、前記メモリに記憶されている前記採点基準となる複数の解答データそれぞれと比較することで、前記採点対象となる解答データに対応する採点内容を決定する採点内容決定処理と、
を実行し、
前記記憶制御処理は、前記採点内容決定処理により決定された前記採点対象となる解答データに対応する採点内容に基づいて、前記メモリに記憶されている前記採点基準となる複数の解答データの記憶内容を更新する処理を含む、
採点支援方法。

【請求項14】

コンピュータに、
それぞれ異なる採点内容が対応付けられている複数の解答データを、採点基準となる複数の解答データとしてメモリに記憶させる記憶制御処理と、
採点対象となる解答データを、前記メモリに記憶されている前記採点基準となる複数の解答データそれぞれと比較することで、前記採点対象となる解答データに対応する採点内容を決定する採点内容決定処理と、
を実行させ、
前記記憶制御処理は、前記採点内容決定処理により決定された前記採点対象となる解答データに対応する採点内容に基づいて、前記メモリに記憶されている前記採点基準となる複数の解答データの記憶内容を更新する処理を含む、
制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、記述式や論述式の設問に対する答案の採点処理を支援する採点支援装置、その制御方法及び制御プログラムに関する。

【背景技術】

【0002】

従来、大学の入学試験や各種資格試験、受験対策のための模擬試験等においては、大別して、マークシートにより複数の選択肢から解答を選択する択一方式や、用語や文節、簡易な文章を解答する記述方式、小論文等の論述方式等が採用されている。これらの試験における採点は、マークシートを用いた択一方式では自動採点による手法が採用されている。一方、記述方式や論述方式に関しては、一乃至複数の採点者による採点作業が必要になるため、採点時の作業時間が増大して作業負担が大きくなったり、解答に対する評価がばらついたりするという問題を有していた。

【0003】

そのため、このような問題を解決するための様々な手法が提案されている。例えば、特許文献１には、記述方式や論述方式の設問について、設問ごとに採点担当者の採点者端末に模範解答データと解答者の答案データとを提示して、採点処理を実行させることにより、同一答案用紙の採点を複数の採点者により同時に分業しつつ、設問ごとの採点を特定の一人の採点者に担当させることが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】２００４－０６９７４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したような採点方法においては、基本的に、一人又は複数の採点者が模範解答等に基づいて人手で採点を行っているため、採点時の作業負担を十分に軽減することができず、改善の余地を有していた。

【0006】

そこで、本発明は、記述方式や論述方式の設問に関して、採点時の作業負担を軽減して、より効率的に採点を行うことができる採点支援装置、その制御方法及び制御プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る採点支援装置は、それぞれ異なる採点内容が対応付けられている複数の解答データを、採点基準となる複数の解答データとしてメモリに記憶させる記憶制御手段と、採点対象となる解答データを、前記メモリに記憶されている前記採点基準となる複数の解答データそれぞれと比較することで、前記採点対象となる解答データに対応する採点内容を決定する採点内容決定手段と、を備え、前記記憶制御手段は、前記採点内容決定手段により決定された前記採点対象となる解答データに対応する採点内容に基づいて、前記メモリに記憶されている前記採点基準となる複数の解答データの記憶内容を更新することを特徴とする。

【発明の効果】

【0008】

本発明によれば、記述方式や論述方式の設問に関して、採点時の作業負担を軽減して、より効率的に採点を行うことができる。

【図面の簡単な説明】

【0009】

【図1】本発明に係る採点支援装置の一実施形態を示すブロック図である。

【図2】一実施形態に係る採点支援装置の制御方法の一例を示すフローチャートである。

【図3】一実施形態に係る採点支援装置の制御方法の一例における解答データの登録方法を示すフローチャートである。

【図4】一実施形態に係る採点支援装置の制御方法の一例における採点基準の設定を示すフローチャートである。

【図5】一実施形態に係る採点支援装置の変形例を示す概略図である。

【発明を実施するための形態】

【0010】

以下、本発明に係る採点支援装置、その制御方法及び制御プログラムについて、実施形態を示して詳しく説明する。
図１は、本発明に係る採点支援装置の一実施形態を示すブロック図である。

【0011】

本発明に係る採点支援装置１００は、例えば図１に示すように、概略、画像読取部１１０と、画像処理部１２０と、類似度算出部１３０と、判定情報更新部１４０と、達成度判断部１５０と、正誤判断処理部１６０と、表示部１７０と、入力操作部１８０と、記憶部１９０と、を有している。ここで、採点支援装置１００は、パーソナルコンピュータ等の情報処理端末を含むシステムにより実現される。また、少なくとも、画像処理部１２０と類似度算出部１３０と判定情報更新部１４０と達成度判断部１５０と正誤判断処理部１６０は、ＣＰＵ（中央演算処理装置）やＭＰＵ（マイクロプロセッサ）等の演算処理手段或いはコンピュータにより実現される。

【0012】

画像読取部１１０は、解答用紙を画像データとして読み取って、例えば解答者の属性（受験番号等）に関連付けて記憶部１９０の所定の記憶領域に保存する。ここで、画像読取部１１０は、他の構成と採点支援装置１００に一体的に設けられているものであってもよいし、外付けのスキャナ等のように、別体の構成を有しているものであってもよい。

【0013】

画像処理部１２０は、画像読取部１１０により読み取った解答用紙の画像データに対して所定の画像処理を施して、設問ごとの解答内容を文字認識してテキスト化処理した解答データとして取得する。具体的には、画像処理部１２０は、画像読取部１１０により読み取った解答用紙の画像データを設問ごとに分解して、採点対象となる記述方式や論述方式の設問の画像データを抽出する。そして、画像処理部１２０は、抽出したそれぞれの画像データに対して文字認識処理を実行して、解答内容をテキスト変換する。テキストデータに変換された採点対象となる解答内容の解答データは、解答人数が多い設問の順に並び替えられて記憶部１９０の所定の記憶領域に保存される。

【0014】

類似度算出部１３０は、設問の正解（正答）に対する類似度、及び、不正解に対する類似度を算出する。ここで、類似度は、例えば正解である模範解答と重要単語及び文章構成が実質的に一致している場合、正解に対する類似度である類似度Ａを１００％、不正解に対する類似度である類似度Ｂを０％とし、当該重要単語や同義となる文章構成等が全く使用されていない場合、類似度Ａを０％、類似度Ｂを１００％として、重要単語や同義となる文章構成等の使用頻度に応じて正解に対する類似度、及び、不正解に対する類似度を算出する。

【0015】

具体的には、類似度算出部１３０は、まず抽出された設問に対する解答データを形態素解析し、解答データの各トピック（名詞）の重要度に応じてベクトル化する。模範解答の全トピック（名詞）の重要度をベクトルＡと、解答データの全トピック（名詞）の重要度をベクトルＢとすると、ベクトルＡの大きさとベクトルＢの大きさとの積を分母とし、ベクトルＡの各トピックの重要度ベクトルと、それに対応する解答データのトピックのベクトルとの積の総和を分子とした値を、模範解答に対する解答データの正解類似度として算出する。同様に模範解答の全トピック（名詞）と異なる不正解トピックの重要度をベクトルＣとすると、ベクトルＣの大きさとベクトルＢの大きさとの積を分母とし、ベクトルＣの各トピックの重要度ベクトルと、それに対応する解答データのトピックのベクトルとの積の総和を分子とした値を、模範解答に対する解答データの不正解類似度として算出する。演算処理手段は、模範解答に対する解答データの正解類似度及び不正解類似度を記憶部１９０に記憶する。

【0016】

判定情報更新部１４０は、設問の解答に対する正解／不正解の判断結果に基づいて採点基準となるパラメータを更新する。具体的には、判定情報更新部１４０は、画像処理部１２０によりテキストデータ化された解答内容と、当該設問の模範解答とを比較して、又は、類似度算出部１３０により算出された類似度に基づいて、採点担当者により判断された「正解／不正解」の判断結果に基づいて、設問ごとの採点を行う際の基準となる、正解、不正解を明示する「正解リスト／不正解リスト」を更新する。また、判定情報更新部１４０は、上記の採点担当者による「正解／不正解」の判断に基づいて算出される正誤判定率を更新する。更新された「正解リスト／不正解リスト」及び正誤判定率は、記憶部１９０の所定の記憶領域に保存される。

【0017】

達成度判断部１５０は、判定情報更新部１４０により更新されたパラメータのしきい値に対する達成の程度を判断する。具体的には、達成度判断部１５０は、更新された正誤判定率が予め設定されたしきい値（判断しきい値Ａth、Ｂth）の水準まで到達した場合に、上記の「正解リスト／不正解リスト」に基づいて十分信頼性の高い正解／不正解の判断が実現できると判断する。この判断結果は、記憶部１９０の所定の記憶領域に保存される。

【0018】

正誤判断処理部１６０は、達成度判断部１５０により所定の達成度に到達したと判断されたパラメータに基づいて、設問の解答に対する正解／不正解の判断を実行する。具体的には、正誤判断処理部１６０は、達成度判断部１５０により正誤判定率が所定のしきい値に到達と判断された「正解リスト／不正解リスト」に基づいて、設問の解答に対する正解／不正解の判断を自動的に実行し、当該判断に基づく採点を確定する。確定された採点は、記憶部１９０の所定の記憶領域に保存される。

【0019】

表示部１７０は、ディスプレイや表示パネルを有し、上記の各部において取り扱う各種のデータ等を表示する。入力操作部１８０は、例えばキーボードやマウス等の入力装置を有し、表示部１７０に表示されたデータやメニュー等を選択して所定の処理を実行する。記憶部１９０は、上記の各部において取り扱う、又は、生成される各種のデータを所定の記憶領域に保存する。また、記憶部１９０は、上記の各部における処理や機能を実現するための制御プログラムを保存する。ここで、記憶部１９０は、その一部又は全部がリムーバブル記憶媒体としての形態を有し、採点支援装置１００に対して着脱可能に構成されているものであってもよい。
記憶部１９０は、解答内容、解答人数、解答内容ベクトル、正規化採点結果等を記憶するメモリである。

【0020】

なお、本実施形態においては、図示を省略したが、採点支援装置１００は、外部機器との間で、各種のデータの送受信を行うインターフェース部（Ｉ／Ｆ部）を備えていてもよい。ここで、Ｉ／Ｆ部は、外部機器に直接接続するものであってもよいし、ネットワークを介して接続されるものであってもよい。この場合、通信ケーブルを介して接続される有線接続方式や、ワイファイ（Wi-Fi（登録商標））等の通信規格による無線接続方式を適用することができる。

【0021】

（採点支援装置の制御方法）
次に、本実施形態に係る採点支援装置の制御方法及び制御プログラムについて、図面を参照して説明する。
図２、図３、図４は、本実施形態に係る採点支援装置の制御方法の一例を示すフローチャートである。

【0022】

本実施形態に係る採点支援装置の制御方法においては、採点対象となる記述方式や論述方式の設問ごとの正解リスト／不正解リストを生成する処理と、生成された正解リスト／不正解リストに基づいて、設問の解答に対する正解／不正解の判断を自動的に実行し、当該判断に基づく採点を確定する実採点処理と、が実行される。これらの処理は、採点支援装置１００に適用される、画像処理部１２０と類似度算出部１３０と判定情報更新部１４０と達成度判断部１５０と正誤判断処理部１６０とを含む演算処理手段、又は、コンピュータにおいて、特定のプログラムを実行することにより実現される。

【0023】

本実施形態に係る採点支援装置１００の制御方法は、図２、図３、図４のフローチャートに示すように、まず、例えば筆記具による手書きの解答用紙の採点作業や解答者に関する属性等の種々の情報を統括管理する事業者や教育機関等において、試験終了後に全解答者の解答用紙を採点支援装置１００の画像読取部１１０により一括読み取り（スキャニング）する（ステップＳ１０２）。ここで、画像読取部１１０は、解答用紙全体を読み取るものであってもよいし、特定の領域を指定して読み取るものであってもよい。

【0024】

次いで、採点支援装置１００の画像処理部１２０において、画像読取部１１０により読み取った解答用紙の画像データを設問ごとに分解して、採点対象となる記述方式や論述方式の設問の画像データを抽出する（ステップＳ１０４）。画像処理部１２０は、抽出したそれぞれの画像データに対して文字認識処理を実行して、解答内容をテキスト化するためのテキスト変換を行う（ステップＳ１０６）。上記解答は解答用紙によるものであるが、音声による解答内容を音声認識してテキスト化したテキスト変換でもよいし、その他の手段によって解答されたアナログデータの解答をテキスト変換してもよい。ここではテキスト変換された解答のデータを未解答のデータを含めて解答データと総称する。ステップＳ１０６後に、演算処理手段は、未登録の状態のデータを、設問に対応づけて記憶部１９０に記録する。

【0025】

次いで、図２、図３に示すように、ステップＳ１０７に移行する。演算処理手段によって実行されるステップＳ１０７は、ステップＳ２０２～ステップＳ２２２を含んでいる。まず、演算処理手段は、解答データに対応する全解答人数を特定し、記憶部１９０に全解答人数を登録する（ステップＳ２０２）。そして、登録解答人数が全解答人数に達していない１つの設問を抽出し（ステップＳ２０４）、抽出された１つの設問に対応する複数の解答データを記憶部１９０から抽出する（ステップＳ２０６）。抽出された１つの設問に対応する複数の解答データの登録解答人数の総計が全解答人数に達していない場合（ステップＳ２０８ ＮＯ）、抽出された１つの設問に対応する複数の解答データの中から未登録の解答データを１つ抽出する（ステップＳ２１０）。

【0026】

抽出された未登録の解答データと実質的に同一の内容と判断された登録済みの解答データが記憶部１９０に記憶されていれば（ステップＳ２１２ ＹＥＳ）、未登録の解答データを登録済みの解答データのグループのデータとして記憶部１９０に記憶し、対応する設問の登録解答人数を＋１にカウントアップして記憶部１９０に記憶し（ステップＳ２１４）、ステップＳ２０８に戻る。

【0027】

一方、抽出された未登録の解答データと実質的に同一の内容の解答データが登録済みとして記憶部１９０に記憶されていなければ（ステップＳ２１２ ＮＯ）、未登録の解答データを、すでに登録されている解答データとは別の新たな登録済み解答データのグループのデータとして記憶部１９０に記憶し（ステップＳ２１６）、対応する設問の登録解答人数を＋１にして記憶部１９０に記憶し（ステップＳ２１８）、ステップＳ２０８に戻る。

【0028】

ステップＳ２０８において、ステップＳ２１４、ステップＳ２１８における登録解答人数の総計が全解答人数に達した場合（ステップＳ２０８ ＹＥＳ）、全設問に対応する解答人数が全解答人数に達しなければ（ステップＳ２２０ ＮＯ）、ステップＳ２０４に戻り、達すれば（ステップＳ２２０ ＹＥＳ）、デジタルデータに変換された採点対象となる解答内容の解答データのグループを、解答人数が多い設問の順に並び替えて、記憶部１９０の所定の記憶領域に保存する（ステップＳ２２２）。

【0029】

次いで、図２、図４に示すように、採点基準の設定に移行する（ステップＳ１０８）。演算処理手段によって実行されるステップＳ１０８は、ステップＳ３０２～ステップＳ３３２を含んでいる。演算処理手段は、全設問の採点基準の設定が完了していなければ（ステップＳ３０２ ＮＯ）、採点基準の設定が未完了の設問を抽出し、対応する解答データの１つ以上のグループを記憶部１９０から読み出し（ステップＳ３０４）、このうち、正規化採点結果が未登録の解答データのグループで且つ最も登録解答人数の多いグループを抽出する（ステップＳ３０６）。

【0030】

抽出された解答データのグループの自動採点化を有効に設定した場合（ステップＳ３０８ ＹＥＳ）、各解答データの正解類似度及び不正解類似度を類似度算出部１３０で算出する（ステップＳ３１０）。

【0031】

算出された正解類似度が、設定された正解類似度しきい値以上で、且つ算出された不正解類似度が、設定された不正解類似度しきい値以上の場合、採点者による手動採点（正規化採点結果判定）が実施され（ステップＳ３１２ ＹＥＳ）、手動採点の結果が有効とみなされる場合は（ステップＳ３１６ ＹＥＳ）ステップＳ３１８に移行する。手動採点の結果が有効とみなされない場合は（ステップＳ３１６ ＮＯ）ステップＳ３１４に移行し、自動採点による類似度に基づいて模範解答に対する解答データの正規化採点結果を登録する。この場合、正解類似度と不正解類似度とのうちのより高い方の値を正規化採点結果として登録する。なお、ここで、正解類似度は模範解答との類似度が高いほど「１」に近づき、不正解類似度は模範解答との類似度が高いほど「０」に近づく。

【0032】

一方、算出された正解類似度が、設定された正解類似度しきい値未満の場合、採点者による手動採点が実施されず（ステップＳ３１２ ＮＯ）、自動採点を行い、自動採点による類似度に基づいて模範解答に対する解答データの正規化採点結果を不正解類似度（例えば「０」）で登録する（ステップＳ３１４）。また、算出された正解類似度が、設定された正解類似度しきい値以上で、且つ算出された不正解類似度が、設定された不正解類似度しきい未満の場合も手動採点が実施されず（ステップＳ３１２ ＮＯ）、自動採点を行い、自動採点による類似度に基づいて模範解答に対する解答データの正規化採点結果を正解類似度（例えば「１」）で登録する（ステップＳ３１４）。

【0033】

ステップＳ３０８において、抽出された解答データのグループの自動採点化が有効に設定されていない場合（ステップＳ３０８ ＮＯ）、或いはステップＳ３１６において、採点者による手動採点が有効であると判断された場合（ステップＳ３１６ ＹＥＳ）、採点者に解答データ群を提示する（ステップＳ３１８）。

【0034】

採点者は提示された解答データを模範解答にしたがって適宜採点し、採点結果を入力し（ステップＳ３２０）、演算処理手段は入力結果による類似度に基づいて模範解答に対する解答データの正規化採点結果を登録する（ステップＳ３２２）。

【0035】

次いで、抽出された解答データのグループのうち、自動採点を優先して登録された正規化採点結果（ステップＳ３１４）の人数と、手動採点を優先して登録された正規化採点結果（ステップＳ３２２）の人数と、の割合である採点済み割合を算出し（ステップＳ３２４）、算出値が自動採点開始しきい値以上であれば（ステップＳ３２６ ＹＥＳ）、自動採点を有効化し（ステップＳ３２８）、算出値が自動採点開始しきい値未満であれば（ステップＳ３２６ ＮＯ）、ステップＳ３３０に移行する。

【0036】

ステップ３３０では、算出値が手動採点開始しきい値以上であれば（ステップＳ３３０
ＹＥＳ）、手動採点を無効化してから（ステップＳ３３２）ステップＳ３０２に移行し、算出値が手動採点開始しきい値未満であれば（ステップＳ３２６ ＮＯ）、ステップＳ３０２に移行する。

【0037】

そして、全設問の採点基準の設定が完了していれば（ステップＳ３０２ ＹＥＳ）、ステップＳ１１０の採点基準の調整に移行する。ステップＳ１１０では、模範解答の解答ベクトルと解答データのグループの解答ベクトルとの正解類似度、不正解類似度を算出し、ステップＳ１０８で得られた正規化採点結果が正解類似度、不正解類似度の高い方に一致しているかどうか確認し、一致していなければ採点者または採点を管理する採点管理者に一致していない旨を通知する。

【0038】

採点者または採点管理者は、正解類似度が高いと判定された解答内容と、不正解類似度が高いと判定された解答内容とを比較し、採点結果の変更の必要性を判断する。採点者または採点管理者は、変更が必要と判断した場合、正規化採点結果に修正を加え、ステップＳ１１０を最初からやり直し、変更が必要でないと判断した場合、ステップＳ１１２の採点に移行する。採点者は、ステップＳ１１２において、解答データのグループごとに正規化採点結果によってもたらされた配点に応じて点を獲得点数とし、全設問の全グループの採点が完了することで全解答者の採点が終了する。

【0039】

なお、ステップＳ１０７は、演算処理手段が行うことなしに採点者が全解答を手動で採点することで省略できる。この場合、全件登録済みとしてステップＳ１０８に移行すればよい。

【0040】

また、ステップＳ１０７は、類似の解答内容を同一の採点者に採点させることで省略できる。この場合、各採点者の採点済みの正解リスト／不正解リストを作成し、正解リスト／不正解リストと類似する解答を採点者に採点させればよい。

【0041】

（変形例）
次に、本実施形態に係る採点支援装置の変形例について説明する。
図５は、本実施形態に係る採点支援装置の変形例を示す概略図である。

【0042】

上述した実施形態に係る採点支援装置１００は、事業者や教育機関等に設置されるセンター機器に適用することができる。本発明はこのような形態に限定されるものではなく、例えば、採点支援装置１００の一部の機能を外部の他の機器や端末で実行する変形例を有するものであってもよい。

【0043】

具体的には、例えば図５に示すように、変形例に係る採点支援装置は、事業者等に設置されるセンター機器２１０と、複数の採点担当者に割り当てられた採点者端末２２０と、少なくともセンター機器２１０及び採点者端末２２０が接続されたネットワーク３００と、を有している。ここで、ネットワーク３００は、インターネット等の公衆利用が可能なネットワークであってもよいし、事業者や教育機関等の特定の団体による限定的に利用可能なネットワークであってもよい。

【0044】

センター機器２１０は、例えば上述した実施形態に示した採点支援装置１００と同等の構成を有し、採点者端末２２０は、少なくとも表示部と、入力操作部と、記憶部と、Ｉ／Ｆ部と、これらの各部を制御するＣＰＵとを備えた構成を有している。ここで、採点者端末２２０は、センター機器２１０からネットワーク３００を介して提供される採点対象となる設問の解答データと正解データとを受け取って表示部に表示することにより、採点担当者が解答の正解／不正解の判断を行う。判断結果はネットワーク３００を介してセンター機器２１０に送信される。

【0045】

これにより、上述した実施形態に示した制御方法のうち、採点担当者による判断が必要なステップを含む処理を採点者端末２２０で実行することができるので、設問ごとの作業を複数の採点担当者により同時並行して行うことができ、採点時の作業時間の増大による負担を軽減しつつ、複数の採点者により採点する場合であっても解答に対する評価のばらつきを抑制して、より効率的に採点を行うことができる。

【0046】

なお、採点者端末２２０は、図５に示した構成において、ネットワーク３００を介してセンター機器２１０から採点対象となる設問の解答データと正解データとを受け取って（ダウンロードして）正解／不正解の判断を行う形態に限定されない。例えば採点者端末２２０をクラウド型の端末として、ネットワーク３００を介してセンター機器２１０にアクセスしているときだけ、正解データや採点対象となる設問の解答データを利用することができるようにして、採点者端末２２０にデータがダウンロード、保存されないようにするものであってもよい。この形態によれば、解答者の採点結果や属性等を含む、採点作業に関わる個人データや重要データの流出を防止することができる。

【0047】

なお、上記実施形態は、初期に自動採点を無効として手動採点を行い、データを蓄積してからステップＳ３０８で自動採点に切り替えることが好ましい。
なお、上記実施形態において、不正解の配点を、完全な誤答の０点と、０点より高い部分点とに仕分けし、最も類似度の高い不正解の点数に配点としてもよく、また設定されたしきい値を超える類似度が複数ある場合、しきい値を超えた複数の類似度の配点の平均値を配点としてもよい。

【0048】

以上、本発明のいくつかの実施形態について説明したが、本発明は、上述した実施形態に限定されるものではなく、実行可能な範囲で上記複数の実施形態の各構成を組合せしてなしたものを含み、また特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0049】

（付記）
［１］
採点対象となる設問の解答を含む解答データを、前記設問ごとに類似する解答内容のグループに分類し、
前記類似する解答内容のグループごとに採点基準を設定することを特徴とする採点支援装置。

【0050】

［２］
前記採点基準の設定は、模範解答内容に対する各解答内容の正解類似度及び不正解類似度に基づいて自動採点から採点者による手動採点に切り替えることを含むことを特徴とする［１］に記載の採点支援装置。

【0051】

［３］
設定された前記採点基準により自動採点による正規化採点結果または手動採点による正規化採点結果に応じた採点割合にしたがって自動採点の有効化及び手動採点の無効化の少なくとも１つを設定することを特徴とする［１］または［２］に記載の採点支援装置。

【0052】

［４］
採点対象となる設問の解答を含む解答データを、前記設問ごとに類似する解答内容のグループに分類し、
前記類似する解答内容のグループごとに採点基準を設定することを特徴とする採点支援装置の制御方法。

【0053】

［５］
コンピュータに、
採点対象となる設問の解答を含む解答データを、前記設問ごとに類似する解答内容のグループに分類させ、
前記類似する解答内容のグループごとに採点基準を設定させることを特徴とする採点支援装置の制御プログラム。

【符号の説明】

【0054】

１００ 採点支援装置
１１０ 画像読取部
１２０ 画像処理部
１３０ 類似度算出部
１４０ 判定情報更新部
１５０ 達成度判断部
１６０ 正誤判断処理部
１７０ 表示部
１８０ 入力操作部
１９０ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【手続補正書】

【提出日】2022-11-14

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

本発明に係る採点支援装置は、正解または不正解の判断結果がそれぞれ異なる採点結果が対応付けられている複数の模範解答の解答データを、模範解答データとしてメモリに記憶させる記憶制御手段と、採点対象となる解答データである採点対象解答データを、前記メモリに記憶されている前記模範解答データと比較することで、前記採点対象解答データに対応する前記採点結果を決定する採点内容決定手段と、を備え、前記記憶制御手段は、前記採点内容決定手段により決定された前記採点対象解答データに対応する前記採点結果に基づいて、前記メモリに記憶されている前記模範解答データの記憶内容を更新することを特徴とする。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

正解または不正解の判断結果がそれぞれ異なる採点結果が対応付けられている複数の模範解答の解答データを、模範解答データとしてメモリに記憶させる記憶制御手段と、
採点対象となる解答データである採点対象解答データを、前記メモリに記憶されている前記模範解答データと比較することで、前記採点対象解答データに対応する前記採点結果を決定する採点内容決定手段と、
を備え、
前記記憶制御手段は、前記採点内容決定手段により決定された前記採点対象解答データに対応する前記採点結果に基づいて、前記メモリに記憶されている前記模範解答データの記憶内容を更新する、
採点支援装置。

【請求項2】

前記採点内容決定手段は、
前記採点対象解答データに含まれるテキストデータを、前記模範解答データに含まれるテキストデータと比較することで、前記採点対象解答データと前記模範解答データとの類似度を判定し、
前記判定された類似度に基づいて、前記採点対象解答データに対応する前記採点結果を、前記模範解答データに対応付けられている複数の前記採点結果の中から選択する、
請求項１に記載の採点支援装置。

【請求項3】

前記記憶制御手段は、前記採点対象解答データに対して採点担当者が判断した前記採点結果に基づいて、前記模範解答データの記憶内容を更新する、
請求項１または２に記載の採点支援装置。

【請求項4】

前記記憶制御手段は、決定された前記採点対象解答データに対応する前記採点結果と、前記採点対象解答データに対して採点担当者が判断した前記採点結果との比較結果に基づいて、前記模範解答データの記憶内容を更新する、
請求項３に記載の採点支援装置。

【請求項5】

前記模範解答データとの比較に基づく自動採点および採点担当者の判断による手動採点それぞれの採点方法を有効にするか無効にするかを、前記自動採点および前記手動採点の状況に応じて決定する採点方法決定手段を更に備える、
請求項３または４に記載の採点支援装置。

【請求項6】

決定された前記採点対象解答データに対応する前記採点結果と、前記採点対象解答データに対して採点担当者が判断した前記採点結果と、の比較結果に基づいて判断される正誤判定率に基づいて、前記自動採点の信頼性を判断する信頼性判断手段を更に備える、
請求項５に記載の採点支援装置。

【請求項7】

前記模範解答は、正解と不正解を明示する正解の解答データのリストおよび不正解の解答データのリストを含む、
請求項１乃至６のいずれか一項に記載の採点支援装置。

【請求項8】

前記記憶制御手段は、前記採点結果が対応付けられている複数の模範解答の解答データを、類似する解答内容のグループに分類し、
前記類似する解答内容のグループごとの前記採点結果を、前記模範解答データとして記憶させる、
請求項１乃至７のいずれか一項に記載の採点支援装置。

【請求項9】

前記採点結果は、前記採点対象解答データと正解の解答データに対する類似度である正解類似度および採点対象となる解答データと不正解の解答データに対する類似度である不正解類似度に基づく採点の結果である、
請求項１乃至８のいずれか一項に記載の採点支援装置。

【請求項10】

前記採点結果は、前記模範解答データに対して前記正解類似度および前記不正解類似度を求めることで決定される、
請求項９に記載の採点支援装置。

【請求項11】

前記採点方法決定手段は、前記模範解答データとの比較に基づく自動採点による前記採点結果または採点者の判断に基づく手動採点による前記採点結果に応じた採点割合にしたがって自動採点の有効化及び手動採点の無効化の少なくとも１つを設定する、
請求項５に記載の採点支援装置。

【請求項12】

採点対象となる設問の解答を含む解答データを、前記設問ごとに類似する解答内容のグループに分類し、
前記類似する解答内容のグループごとに前記模範解答データとの比較に基づく採点基準を設定する採点基準設定手段を更に備える、
請求項１乃至１１のいずれか一項に記載の採点支援装置。

【請求項13】

装置が、
正解または不正解の判断結果がそれぞれ異なる採点結果が対応付けられている複数の模範解答の解答データを、模範解答データとしてメモリに記憶させる記憶制御処理と、
採点対象となる解答データである採点対象解答データを、前記メモリに記憶されている前記模範解答データと比較することで、前記採点対象解答データに対応する前記採点結果を決定する採点内容決定処理と、
を実行し、
前記記憶制御処理は、前記採点内容決定処理により決定された前記採点対象となる解答データに対応する前記採点結果に基づいて、前記メモリに記憶されている前記模範解答データの記憶内容を更新する処理を含む、
採点支援方法。

【請求項14】

コンピュータに、
正解または不正解の判断結果がそれぞれ異なる採点結果が対応付けられている複数の模範解答の解答データを、模範解答データとしてメモリに記憶させる記憶制御処理と、
採点対象となる解答データである採点対象解答データを、前記メモリに記憶されている前記模範解答データと比較することで、前記採点対象解答データに対応する前記採点結果を決定する採点内容決定処理と、
を実行させ、
前記記憶制御処理は、前記採点内容決定処理により決定された前記採点対象となる解答データに対応する前記採点結果に基づいて、前記メモリに記憶されている前記模範解答データの記憶内容を更新する処理を含む、
制御プログラム。