特開 2023-123121 プログラム、情報処理装置及び情報処理方法。

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023123121

(43)【公開日】2023-09-05

(54)【発明の名称】プログラム、情報処理装置及び情報処理方法。

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230829BHJP

   G06Q 50/20 20120101ALI20230829BHJP

【ＦＩ】

G06T7/00 350B

G06Q50/20

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2022027004

(22)【出願日】2022-02-24

(71)【出願人】

【識別番号】592226372

【氏名又は名称】株式会社進学研究会

(71)【出願人】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】高橋 昌幸

(72)【発明者】

【氏名】関口 正人

(72)【発明者】

【氏名】篠原 圭介

(72)【発明者】

【氏名】須鎗 弘樹

(72)【発明者】

【氏名】森 康久仁

(72)【発明者】

【氏名】横尾 拓未

(72)【発明者】

【氏名】作田 航平

(72)【発明者】

【氏名】倉田 基成

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049CC34

5L096HA09

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】試験等での答案の正誤に関する採点者等による採点の中から採点者等により誤って採点された可能性があるものを検出することができるプログラム、情報処理装置、及び情報処理方法を提供する。
【解決手段】コンピュータに、答案データが示す答案の正誤を、答案データにより学習された分類モデルを用いて、複数回である所定の回数分類する分類機能と、答案の正誤に関する採点と、分類機能による所定の回数分の分類の結果のそれぞれとを比較する比較機能と、比較の結果に基づいて、採点が誤りである確信度を算出する算出機能と、確信度に基づいて、採点が誤りか否かを判定する判定機能と、を実現させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

コンピュータに、
答案データが示す答案の正誤を、前記答案データにより学習された分類モデルを用いて、複数回である所定の回数分類する分類機能と、
前記答案の正誤に関する採点と、前記分類機能による前記所定の回数分の前記分類の結果のそれぞれとを比較する比較機能と、
前記比較の結果に基づいて、前記採点が誤りである確信度を算出する算出機能と、
前記確信度に基づいて、前記採点が誤りか否かを判定する判定機能と、を実現させる、
プログラム。

【請求項2】

前記算出機能は、前記確信度として、前記比較の結果における前記採点と前記分類の結果のそれぞれとが異なる割合を算出し、
前記判定機能は、前記割合が閾値を超える場合、前記採点が誤りであると判定する、
請求項１に記載のプログラム。

【請求項3】

前記算出機能は、前記比較の結果における前記採点と前記分類の結果のそれぞれとが異なる回数をカウントし、前記カウントした回数を前記所定の回数で除算して前記割合を算出する、
請求項２に記載のプログラム。

【請求項4】

前記閾値は、前記答案に対する問題の種別、及び前記答案の形式の少なくともいずれかに応じて設定される、
請求項２又は３に記載のプログラム。

【請求項5】

前記分類機能は、前記答案データを分割し、前記分割されたデータの一部を訓練データとし前記分割されたデータの残りの一部を検証データとする組み合わせを行い、前記組み合わせにおいて訓練データとするデータと検証データとするデータを各回で入れ替えて前記分類モデルを複数回学習させる、
請求項１から４のいずれか一項に記載のプログラム。

【請求項6】

前記答案は、記述式問題に対する答案であり、
前記分類モデルは、前記答案に含まれる単語に重み付けをするアテンション機構を含み、前記重み付けされた単語に基づいて前記答案の正誤を分類する、
請求項１から５のいずれか一項に記載のプログラム。

【請求項7】

答案データが示す答案の正誤を、前記答案データにより学習された分類モデルを用いて、複数回である所定の回数分類する分類部と、
前記答案の正誤に関する採点と、前記分類部による前記所定の回数分の前記分類の結果のそれぞれとを比較する比較部と、
前記比較の結果に基づいて、前記採点が誤りである確信度を算出する算出部と、
前記確信度に基づいて、前記採点が誤りか否かを判定する判定部と、を備える、
情報処理装置。

【請求項8】

コンピュータが、
答案データが示す答案の正誤を、前記答案データにより学習された分類モデルを用いて、複数回である所定の回数分類し、
前記答案の正誤に関する採点と、前記所定の回数分の前記分類の結果のそれぞれとを比較し、
前記比較の結果に基づいて、前記採点が誤りである確信度を算出し、
前記確信度に基づいて、前記採点が誤りか否かを判定する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、プログラム、情報処理装置及び情報処理方法に関する。

【背景技術】

【0002】

従来、試験等での答案に対する採点を支援する技術が知られている。例えば、特許文献１には、解答用紙を表す画像から各答案の採点マークを抽出し、抽出した採点マークを識別して「〇（正解マーク）」「×（不正解マーク）」等に分類し、同じ分類の採点マーク間における類似度に基づき誤って識別された可能性がある採点マークを判定する情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－８６２９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、試験等での答案の正誤に関する採点者等による採点の中から採点者等により誤って採点された可能性があるものを検出したいというニーズがある。しかしながら、特許文献１の技術では、採点者等による採点は正しいという前提で採点マークを識別したり判定したりするため、採点者等により誤って採点された可能性があるものを検出することは難しい。

【0005】

そこで、本発明は、試験等での答案の正誤に関する採点者等による採点の中から採点者等により誤って採点された可能性があるものを検出することができるプログラム、情報処理装置及び情報処理方法を提供することを目的とする。

【0006】

本発明の一態様に係るプログラムは、コンピュータに、答案データが示す答案の正誤を、答案データにより学習された分類モデルを用いて、複数回である所定の回数分類する分類機能と、答案の正誤に関する採点と、分類機能による所定の回数分の分類の結果のそれぞれとを比較する比較機能と、比較の結果に基づいて、採点が誤りである確信度を算出する算出機能と、確信度に基づいて、採点が誤りか否かを判定する判定機能と、を実現させる。

【0007】

本発明の一態様に係る情報処理装置は、答案データが示す答案の正誤を、答案データにより学習された分類モデルを用いて、複数回である所定の回数分類する分類部と、答案の正誤に関する採点と、分類部による所定の回数分の分類の結果のそれぞれとを比較する比較部と、比較の結果に基づいて、採点が誤りである確信度を算出する算出部と、確信度に基づいて、採点が誤りか否かを判定する判定部と、を備える。

【0008】

本発明の一態様に係る情報処理方法は、コンピュータが、答案データが示す答案の正誤を、答案データにより学習された分類モデルを用いて、複数回である所定の回数分類し、答案の正誤に関する採点と、所定の回数分の分類の結果のそれぞれとを比較し、比較の結果に基づいて、採点が誤りである確信度を算出し、確信度に基づいて、採点が誤りか否かを判定する。

【発明の効果】

【0009】

本発明によれば、答案の正誤に関する採点者等による採点の中から採点者等により誤って採点された可能性があるものを検出することができるプログラム、情報処理装置及び情報処理方法を提供することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る採点支援システムのシステム構成例を説明するための図である。

【図2】本実施形態に係る採点システムの概要の一例を説明するための図である。

【図3】本実施形態に係るサーバ装置の機能構成の一例を示す図である。

【図4】本実施形態に係る分類モデルの一例を説明するための図である。

【図5】本実施形態に係る分類結果の一例を示す表である。

【図6】本実施形態に係るサーバ装置の動作例を示す図である。

【図7】本実施形態に係るサーバ装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0011】

添付図面を参照して、本発明の好適な実施形態（以下、「本実施形態」という）について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0012】

本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

【0013】

＜１．システム構成＞
図１を参照して、本実施形態に係る採点支援システム１のシステム構成例を説明する。

【0014】

採点支援システム１は、ユーザに、学校や塾、自宅等で実施された試験の受験者の答案（以下、単に「答案」ともいう）に対する採点を支援するためのシステムである。なお、採点支援システム１は、試験だけではなく普段の学習の問題に対する答案に対する採点にも用いることができる。採点支援システム１は、答案の正誤に関する採点者による採点（以下、単に「採点」ともいう）の中からこの採点者により誤って採点された可能性があるもの（以下、「採点ミスの候補」ともいう）を検出し、検出した採点ミスの候補をユーザに画面等で提示する。

【0015】

図１に示すように、採点支援システム１は、この採点支援のサービスを提供する者が使用するサーバ装置１００と、ユーザが使用するユーザ端末２００と、スキャナ３００とを含む。サーバ装置１００とユーザ端末２００とスキャナ３００とは、ネットワークＮを介して互いに通信可能に接続されている。

【0016】

ネットワークＮは、無線ネットワークや有線ネットワークにより構成される。ネットワークＮの一例としては、携帯電話網や、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ－ｐｈｏｎｅ Ｓｙｓｔｅｍ）網、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、４Ｇ（４ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、ＷｉＭａｘ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線ＬＡＮ、電話線、電灯線ネットワーク、ＩＥＥＥ１３９４等に準拠したネットワークがある。

【0017】

サーバ装置１００は、採点支援のサービスを提供するための情報処理装置である。サーバ装置１００は、所定のプログラムを実行することにより、ユーザから入力された答案データについて、この答案データの答案に対する採点が誤りか否かを判定して、この判定の結果をユーザに提供するための各種の機能を実現する。

【0018】

答案データは、答案に関するデータである。答案データは、例えば、受験者の答案が記入された答案用紙（以下、単に「答案用紙」ともいう）をスキャンすることにより生成された答案画像を含むデータであってもよい。また、答案データは、他の例として、問題の内容と、この問題に対する答案の内容と、を示すテキストを含むデータであってもよい。

【0019】

答案データは、例えば、各答案に対して、採点者による採点の結果がラベル付けされていてもよい。また、答案データは、他の例として、各答案に対する採点の結果を示す採点データを別に設けて、答案データにこの採点データを関連付けてもよい。

【0020】

答案データは、複数の教科及び／又は複数人による答案を示すものであってもよく、例えば、国語、理科及び社会の３教科の試験問題の１，０００人分の答案を示すものであってもよい。

【0021】

ユーザ端末２００は、ユーザが使用する情報処理装置であり、例えば、スマートフォンやラップトップ等の端末である。ユーザ端末２００は、所定のプログラムを実行することにより、サーバ装置１００と連携して検出された採点ミスの候補をユーザに対して出力するための画面に関する情報（以下、「出力情報」ともいう）を送受信したり、この画面を表示したり、ユーザからの後述する閾値の設定入力を受け付けたりする。

【0022】

スキャナ３００は、答案用紙を、デジタル画像データである答案データに変換する画像入力装置である。なお、スキャナ３００に関して、紙媒体の答案用紙を読み取ってデジタル画像データに変換できればどのような装置でもよく、カメラ機能を備えたスマートフォン、ラップトップ端末等の端末装置であってもよい。

【0023】

＜２．概要＞
図２を参照して、採点支援システム１の概要を説明する。図２に示すように、採点支援システム１は、先ず、答案データを読み込む。次に、採点支援システム１は、機械学習の技術を用いて、答案データの答案に対する採点が誤りである確信度（以下、「ミス確信度Ｔ」ともいう）を算出する。採点支援システム１は、具体的には、採点者による答案の正誤に関する採点の結果と、サーバ装置１００で複数回分類した答案の正誤の結果のそれぞれと、を比較して、その比較の結果に基づいてミス確信度Ｔを算出する、次に、採点支援システム１は、算出したミス確信度Ｔを、予め設定した閾値Ｔ_cと比較する。採点支援システム１は、この比較の結果、ミス確信度Ｔが閾値Ｔ_c以上である場合（Ｙｅｓの場合）、採点ミスの候補として判定する。他方、採点支援システム１は、この比較の結果、ミス確信度Ｔが閾値Ｔ_c未満の場合（Ｎｏの場合）、採点ミスの候補でないとして判定する。閾値Ｔ_cは、例えば、答案に対する問題の種別、及び前記答案の形式の少なくともいずれかに応じて設定される値であってもよい。

【0024】

従来、採点済みの答案データに対して採点に誤りがないか、人により長時間の確認作業を要することがあった。上記構成のもと、採点支援システム１は、答案データの答案に対する採点者等による採点の中から採点者等により誤って採点された可能性があるものを検出することができる。このため、採点支援システム１は、人による確認作業を減らし、精度よく誤って採点された可能性があるものを検出することができる。

【0025】

＜３．機能構成＞
図３を参照して、本実施形態に係るサーバ装置１００の機能構成を説明する。図３に示すように、サーバ装置１００は、制御部１１０と、通信部１２０と、記憶部１３０と、を備える。

【0026】

［制御部］
制御部１１０は、取得部１１１と、分類部１１２と、比較部１１３と、算出部１１４と、判定部１１５と、を備える。また、制御部１１０は、例えば、設定部１１６、及び／又は出力部１１７を備えてもよい。

【0027】

［取得部］
取得部１１１は、ユーザ端末２００又はスキャナ３００等から、答案データを取得する。取得部１１１は、例えば、通信部１２０を介してスキャナ３００が紙媒体の答案用紙を読み取って答案データに変換したものを取得してもよい。また、取得部１１１は、例えば、ユーザ端末２００やその他の外部装置（不図示）から、通信部１２０を介して答案データを取得してもよい。取得部１１１は、この取得した答案データを記憶部１３０に記憶させる。

【0028】

［分類部］
分類部１１２は、モデル記憶部１３１及び答案データ記憶部１３２を参照して、答案データが示す答案の正誤を、答案データにより学習された分類モデルを用いて、所定の回数分類する。所定の回数は、答案の正誤を分類する回数であり、複数回である。また所定の回数は、Ｎ回（Ｎ：自然数）とも表現する。この答案の正誤を分類するとは、すなわち、答案データの各答案を正答か誤答かのいずれかに分類することである。分類部１１２は、例えば、所定の回数が１０回の場合（Ｎ＝１０の場合）、答案データの各答案の正誤を１０回分類する。分類部１１２は、例えば、答案データが画像データの場合、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）を用いて、スキャナ３００等で読み取った答案用紙の画像を画像解析して問題や答案の文字列を認識してもよい。

【0029】

分類モデルは、答案の正誤を分類するためのモデルである。分類モデルは、例えば、学習データを用いて機械学習の手法により学習されたモデルである。

【0030】

分類部１１２は、例えば、答案データを用いて分類モデルを学習させてもよい。分類モデルは、例えば、ディープラーニングの手法を用いたモデルとして、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を含んでもよい。また、分類モデルは、例えば、ＲＮＮのうち、長期の時系列を考慮することができるＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ）を含んでもよい。

【0031】

ここで図４を参照して、分類モデルによる分類処理の一例を説明する。本例では、記述式の問題に対する答案を例に説明する。なお、前提として、答案データが画像データの場合は、分類部１１２は、答案データ上の答案の文字列を認識しているものとする。

【0032】

（１）図４に示すように、分類モデルは、答案データの答案文（答案の文字列）に対して形態素解析を行い、この文章を、単語の単位に分割（言い換えれば、品詞分割）する。この形態素解析の処理は、例えば、ＭｅｃａｂやＪＵＭＡＮ＋＋等の公知の形態素解析ソフトウェアを用いて実現してもよい。

【0033】

（２）分類モデルは、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）を含み、ＢＥＲＴにより、上記（１）で分解された単語のテキストをベクトル化する。このようにベクトル化する自然言語処理モデルの他の例として、Ｗｏｒｄ２Ｖｅｃ等であってもよい。

【0034】

（３）分類モデルは、エンコーダ及びデコーダを構成するＬＳＴＭを含み、上記（２）でベクトル化した単語群をＬＳＴＭに入力する。

【0035】

（４）分類モデルは、答案に含まれる単語に重み付けをするアテンション機構（ａｔｔｅｎｔｉｏｎ ｍｅｃｈａｎｉｓｍ）を含み、この重み付けされた単語に基づいて答案の正誤を分類する。具体的には、アテンション機構は、ＬＳＴＭのエンコーダから出力された中間表現に基づき、ＬＳＴＭのデコーダの出力に重み付けを行う。このような構成によれば、アテンション機構によって各答案の重要な単語に重み付けをして学習することができる。

【0036】

（５）分類モデルは、アテンション機構から出力された値に対してｓｏｆｔｍａｘ関数によって正規化して、各答案に対して正答か誤答かを表す２値（「０」又は「１」）を出力する。

【0037】

図３に戻って説明を続ける。分類部１１２は、例えば、ｋ分割交差検証の技術を用いて分類モデルを学習させてもよい。具体的には、先ず分類部１１２は、答案データを分割する。次に、分類部１１２は、この分割されたデータの一部を訓練データとし、分割されたデータの残りの一部を検証データとする組み合わせを行う。この分割されたデータを、以下、「分割データ」ともいう。そして、分類部１１２は、組み合わせにおいて訓練データとする分割データと検証データとする分割データを各回で入れ替えて（言い換えれば、各回でシャッフルして）分類モデルを複数回学習させる。

【0038】

分類部１１２は、例えば、４分割交差検証を用いる場合、答案データを４個（ｋ＝４）にランダムに分割する。分類部１１２は、分割データの１個を検証データ（テストデータともいう）とし、残りの３個の分割データを訓練データ（学習データともいう）とする組み合わせを行う。分類部１１２は、１回目、この組み合わせにより分類モデルを学習させる。次の２回目では、分類部１１２は、検証データを、１回目の分割データから他の分割データに入れ替える。また、分類部１１２は、この入れ替えた検証データに、１回目検証データだった分割データを訓練データとして組み合わせて、この組み合わせにより分類モデルを学習させる。このように、分類部１１２は、４個の分割データ全てが１回ずつ検証データになるように、訓練データとする分割データと検証データとする分割データを各回で入れ替えて分類モデルを学習させる。そして、分類部１１２は、この学習の結果により４つの分類モデルを生成し、この生成された４つの分類モデルを平均化して、最終的に１つの分類モデルに統合する。

【0039】

上記構成によれば、分類部１１２は、答案データの量が少なくても効率的に利用することができる。また、過学習を抑制し、汎化性能を向上させることができる。

【0040】

［比較部］
比較部１１３は、答案データの答案の正誤に関する採点と、分類部１１２による所定の回数分の分類の結果のそれぞれとを比較する。比較部１１３は、例えば、所定の回数が１０回であって、かつ答案Ａの正誤に関する採点者による採点が「正答」とする場合、この採点「正答」と、答案Ａに対して分類部１１２が正答又は誤答を１０回分類した結果のそれぞれと、を１０回比較する。

【0041】

［算出部］
算出部１１４は、比較部１１３による比較の結果に基づいて、採点が誤りである確信度（すなわち、ミス確信度Ｔ）を算出する。

【0042】

算出部１１４は、例えば、ミス確信度Ｔとして、比較部１１３による比較の結果における採点と分類の結果のそれぞれとが異なる割合（以下、「割合」ともいう）を算出してもよい。このような構成によれば、算出部１１４は、採点と分類の結果のそれぞれとが異なる割合を算出して、ミス確信度Ｔを求めることができる。このため、採点と分類の結果がどの程度異なっているか否かにより採点ミスの確からしさの度合い（確信度）を求めることができる。

【0043】

算出部１１４は、例えば、ミス確信度Ｔとして、比較の結果における採点（ａ）と分類部１１２による分類の結果（ｄ）のそれぞれとが異なる回数（Ｃ_a≠_d）をカウントし、このカウントした回数を所定の回数で除算して割合を算出してもよい。このような構成によれば、算出部１１４は、簡易な演算で割合（ミス確信度Ｔ）を算出することができ、また、変数ではなく定数により除算して割合を算出するため、演算コストを低減させることができる。

【0044】

［判定部］
判定部１１５は、算出部１１４により算出されたミス確信度Ｔに基づいて、採点が誤りか否かを判定する。判定部１１５は、例えば、誤りであると判定した採点について、採点ミスの候補として答案データにラベル付けをして記憶部１３０に記憶させる。

【0045】

上記構成によれば、判定部１１５は、採点の誤りがどの程度確かなものか否かを示す統計的な指標をもって採点が誤りか否かを判定することができる。このため、判定部１１５は、答案に対する採点者による採点の中から採点者により誤って採点された可能性があるものを検出することができる。

【0046】

判定部１１５は、例えば、ミス確信度Ｔとして算出部１１４により算出された割合が閾値Ｔ_cを超える場合、採点が誤りであると判定してもよい。

【0047】

＜分類処理、比較処理、算出処理、及び判定処理＞
ここで、図５を参照して、分類部１１２、比較部１１３、算出部１１４及び判定部１１５それぞれによる処理の一例を説明する。本例では、答案の正答を「〇」、誤答を「×」と表す。また、所定の回数を１０回（Ｎ＝１０）とし、閾値Ｔ_cを「０．５」とする。

【0048】

答案１及び２を例に説明する。図５に示すように、まず、答案１について、採点者による採点は正答「〇」とし、他方、分類部１１２による１０回の分類の結果は、「〇，〇，〇，×，〇，〇，〇，〇，〇，〇」とする。算出部１１４は、答案１について、この採点と１０回分の分類の結果のそれぞれとを比較して、採点と分類の結果とが異なる回数（Ｃ_a≠_d）をカウントする（本例の場合は、異なる回数は１回）。算出部１１４は、ミス確信度Ｔとして、採点と分類の結果が異なる割合を、このカウントした回数（１回）を所定の回数（本例では、１０回）で除算して「０．１」と算出する。判定部１１５は、この算出したミス確信度Ｔ（０．１）は閾値Ｔ_c（０．５）未満であるため、答案１の採点は誤りではない（すなわち、採点ミスではない）と判定する。次に、答案２について、採点者による採点は正答「×」とし、他方、分類部１１２による１０回の分類の結果は、「〇，〇，〇，〇，〇，〇，〇，〇，〇，〇」とする。算出部１１４は、答案２について、採点と分類の結果とが異なる回数（Ｃ_a≠_d）を１０回とカウントし、このカウントした回数を所定の回数で除算して「１．０」と算出する。判定部１１５は、この算出したミス確信度Ｔ（１．０）は閾値Ｔ_c（０．５）を超えるため、答案２の採点は誤りである（すなわち、採点ミスである）と判定する。

【0049】

［設定部］
設定部１１６は、閾値Ｔ_cを設定する。設定部１１６は、例えば、答案に対する問題の種別、及び答案の形式の少なくともいずれかに応じて、閾値Ｔ_cを設定してもよい。言い換えれば、閾値Ｔ_cは、問題の種別、及び答案の形式の少なくともいずれかに応じて変更されてもよい。この「問題の種別」とは、例えば、問題が属する科目（例えば、理科や社会、国語等の試験科目）であってもよい。また、この「答案の形式」とは、例えば、穴埋め形式又は自由記述形式等の形式（言い換えれば、問題形式）であってもよい。また、設定部１１６は、他の例として、ユーザ端末２００を介したユーザからの設定入力に応じて、閾値Ｔ_cを設定してもよい。

【0050】

上記構成によれば、閾値Ｔ_cヲ、問題の種別や問題が属する科目を考慮した設定にすることができる。例えば、実質的に同じ内容であれば理科や社会の答案は似たような表現になりやすく、他方、国語の答案は、様々な表現になりやすい。また、例えば、穴埋め形式よりも自由記述の方が、様々な表現になりやすい。このように問題の種別や答案の形式により表現のバリエーションが異なることをふまえて、閾値Ｔｃを設定することができる。

【0051】

［出力部］
出力部１１７は、ユーザ端末２００の画面等に出力させる出力情報を生成する。出力部１１７は、出力先のユーザ端末２００に、通信部１２０を介して、この生成した出力情報を送信する。出力部１１７は、例えば、判定部１１５により誤りであると判定された採点について、採点ミスの候補として出力するための出力情報を生成し、この生成した出力情報を、通信部１２０を介してユーザ端末２００に送信する。

【0052】

［通信部］
通信部１２０は、ネットワークＮを介して、答案データや出力情報を含む各種情報をユーザ端末２００やスキャナ３００等と送受信する。

【0053】

［記憶部］
記憶部１３０は、分類モデルや答案データ、出力情報等を記憶する。記憶部１３０は、データベースマネジメントシステム（ＤＢＭＳ）を利用して各情報を記憶してもよいし、ファイルシステムを利用して各情報を記憶してもよい。ＤＢＭＳを利用する場合は、上記情報ごとにテーブルを設けて、このテーブル間を関連付けて各情報を管理してもよい。

【0054】

記憶部１３０は、例えば、モデル記憶部１３１を備えてもよい。モデル記憶部１３１は、分類モデルを記憶する。また、記憶部１３０は、例えば、答案データ記憶部１３２を備えてもよい。答案データ記憶部１３２は、答案データを記憶する。

【0055】

＜４．動作例＞
図６を参照して、本実施形態に係るサーバ装置１００の動作例を説明する。なお、以下に示すフロー図の処理の順番は一例であって、適宜、変更されてもよい。

【0056】

図６に示すように、サーバ装置１００の取得部１１１は、答案データを取得する（ステップＳ１１）。次に、ループ１では、分類部１１２は、ステップＳ１１の処理をＮ回繰り返し実行する。分類部１１２は、答案データが示す答案の正誤を、答案データにより学習された分類モデルを用いて分類する（ステップＳ１１）。

【0057】

サーバ装置１００の比較部１１３は、答案の正誤に関する採点と、分類部１１２による上記Ｎ回分の分類の結果のそれぞれとを比較する（ステップＳ１２）。算出部１１４は、この比較の結果に基づいて、採点が誤りであるミス確信度Ｔを算出する（ステップＳ１３）。判定部１１５は、この算出されたミス確信度Ｔに基づいて、採点が誤りか否かを判定する（ステップＳ１４）。

【0058】

出力部１１７は、ユーザ端末２００に、判定部１１５による上記判定の結果を出力させる（ステップＳ１５）。

【0059】

＜５．ハードウェア構成＞
図７を参照して、上述してきたサーバ装置１００をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。

【0060】

図７に示すように、コンピュータ８００は、プロセッサ８０１と、メモリ８０３と、記憶装置８０５と、入力Ｉ／Ｆ部８０７と、データＩ／Ｆ部８０９と、通信Ｉ／Ｆ部８１１と、表示装置８１３とを含む。

【0061】

プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することによりコンピュータ８００における様々な処理を制御する。例えば、サーバ装置１００の制御部１１０が備える各機能部等は、メモリ８０３に一時記憶されたプログラムをプロセッサ８０１が実行することにより実現可能である。

【0062】

メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。

【0063】

記憶装置８０５は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、上記各構成を実現するための各種モデルや各種プログラムを記憶する。この他、記憶装置８０５は、答案データを登録するテーブルと、このテーブルを管理するＤＢを記憶することも可能である。このようなプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。

【0064】

入力Ｉ／Ｆ部８０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイス等が挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介してコンピュータ８００に接続されても良い。

【0065】

データＩ／Ｆ部８０９は、コンピュータ８００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部８０９は、コンピュータ８００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部８０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００へと接続される。

【0066】

通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部８１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００に接続される。

【0067】

表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示装置８１３は、コンピュータ８００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブル等を介してコンピュータ８００に接続される。また、入力Ｉ／Ｆ部８０７としてタッチパネルが採用される場合には、表示装置８１３は、入力Ｉ／Ｆ部８０７と一体化して構成することが可能である。

【0068】

なお、上記実施の形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、上記に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。

【0069】

上記実施形態で記載されたサーバ装置が備える構成要素は、記憶装置８０５に格納されたプログラムがプロセッサ８０１によって実行されることで、定められた処理が他のハードウェアと協働して実現されるものとする。また、言い換えれば、これらの構成要素は、ソフトウェア又はファームウェアとしても、それと対応するハードウェアとしても想定され、その双方の概念において、「機能」、「手段」、「部」、「処理回路」、「ユニット」、又は「モジュール」等とも記載され、またそれぞれに読み替えることができる。

【0070】

［変形例］
なお、本発明を上記実施の形態に基づいて説明してきたが、以下のような場合も本発明に含まれる。

【0071】

［変形例１］
上記実施形態に係るサーバ装置１００における各構成の少なくとも一部は、ユーザ端末２００が備えていてもよい。例えば、サーバ装置１００の判定部１１５及び出力部１１７をユーザ端末２００に実装させてもよい。

【0072】

［変形例２］
上記実施形態では、採点者が人である例を説明したが、本発明に係る採点を行う主体はこれに限定されない。採点は、例えば、機械により自動的に採点されたものであってもよい。

【符号の説明】

【0073】

１…採点支援システム、１００…サーバ装置、１１０…制御部、１１１…取得部、１１２…分類部、１１３…比較部、１１４…算出部、１１５…判定部、１１６…設定部、１１７…出力部、１２０…通信部、１３０…記憶部、２００…ユーザ端末、００…コンピュータ、８０１…プロセッサ、８０３…メモリ、８０５…記憶装置、８０７…入力Ｉ／Ｆ部、８０９…データＩ／Ｆ部、８１１…通信Ｉ／Ｆ部、８１３…表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】