特開 2024-169918 自動採点装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169918

(43)【公開日】2024-12-06

(54)【発明の名称】自動採点装置

(51)【国際特許分類】

   G06Q 50/20 20120101AFI20241129BHJP

   G09B 19/00 20060101ALI20241129BHJP

   G06F 40/30 20200101ALI20241129BHJP

   G06F 16/383 20190101ALI20241129BHJP

【ＦＩ】

G06Q50/20

G09B19/00 G

G06F40/30

G06F16/383

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023086780

(22)【出願日】2023-05-26

(71)【出願人】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100121980

【弁理士】

【氏名又は名称】沖山 隆

(74)【代理人】

【識別番号】100128107

【弁理士】

【氏名又は名称】深石 賢治

(72)【発明者】

【氏名】澤山 熱気

【テーマコード（参考）】

5B175

5L049

5L050

【Ｆターム（参考）】

5B175FB03

5B175HB03

5L049CC34

5L050CC34

(57)【要約】

【課題】新たな問題に対する解答の採点結果を効率的に得ることを目的とする。
【解決手段】本開示のサーバ１００は、特定の対象問題に対する複数の文書データを、意味単位に分割し、分割された複数の意味単位をベクトル化して複数の意味単位ベクトルを生成し、複数の意味単位ベクトルを順番に比較して、互いに類似する複数の意味単位ベクトルの頻度を加算することにより、複数の意味単位ベクトルのうちの複数の代表ベクトル毎の頻度を基にしたスコアを表すピラミッドスコアを生成し、特定の対象問題に対する文書データを対象にして、文書データから生成される複数の意味単位ベクトルに類似する代表ベクトルに関するピラミッドスコア中のスコアを合算することにより、当該文書データの採点結果を計算および出力する。
【選択図】図１

【特許請求の範囲】

【請求項1】

問題に対する解答である文書データの採点結果を出力する自動採点装置において、
少なくとも１つのプロセッサを備え、
前記少なくとも１つのプロセッサは、
特定の対象問題に対する複数の文書データを、意味単位に分割し、
分割された複数の前記意味単位をベクトル化して複数の意味単位ベクトルを生成し、
前記複数の意味単位ベクトルを順番に比較して、互いに類似する前記複数の意味単位ベクトルの頻度を加算することにより、前記複数の意味単位ベクトルのうちの複数の代表ベクトル毎の頻度を基にしたスコアを表すピラミッドデータを生成し、
前記特定の対象問題に対する文書データを対象にして、前記文書データから生成される複数の意味単位ベクトルに類似する代表ベクトルに関する前記ピラミッドデータ中の前記スコアを合算することにより、当該文書データの採点結果を計算および出力する、
自動採点装置。

【請求項2】

前記少なくとも１つのプロセッサは、
前記特定の対象問題に対する文書データを複数の意味単位に分割し、分割した前記複数の意味単位を、ベクトル化して複数の意味単位ベクトルを生成し、前記複数の意味単位ベクトルを用いることで当該文書データの採点結果を計算および出力する、
請求項１に記載の自動採点装置。

【請求項3】

前記少なくとも１つのプロセッサは、
複数の意味単位ベクトルと前記代表ベクトルとの類似を、ベクトル間の距離によって判断する、
請求項１に記載の自動採点装置。

【請求項4】

前記少なくとも１つのプロセッサは、
複数の問題に対する複数の文書データを、意味単位に分割し、
分割された複数の前記意味単位をベクトル化して複数の意味単位ベクトルを生成し、
前記複数の意味単位ベクトルを、所定数のクラスタにクラスタリングし、
前記複数の問題毎及び前記所定数のクラスタ毎に、クラスタリングされた前記複数の意味単位ベクトルの頻度をカウントすることによって、頻度データを生成し、
前記頻度データを基に、前記所定数のクラスタ毎の重要度を計算し、
前記複数の問題のうちの１つの問題に対する文書データを対象にして、前記所定数のクラスタ毎の重要度を基にした重みを合算することにより、当該文書データの採点結果を計算および出力する、
請求項１に記載の自動採点装置。

【請求項5】

前記少なくとも１つのプロセッサは、
前記１つの問題に対する文書データを複数の意味単位に分割し、分割した前記複数の意味単位を、ベクトル化した後に前記所定数のクラスタにクラスタリングし、前記複数の意味単位のクラスタリング先の前記クラスタ毎の前記重要度を基にした重みを合算することにより、当該文書データの採点結果を計算および出力する、
請求項４に記載の自動採点装置。

【請求項6】

前記少なくとも１つのプロセッサは、
前記クラスタ毎の重要度を基にした前記重みを、前記頻度データを基にした、前記１つの問題における当該クラスタにクラスタリングされた前記意味単位ベクトルの頻度の割合を用いて計算する、
請求項５に記載の自動採点装置。

【請求項7】

前記少なくとも１つのプロセッサは、
前記クラスタ毎の重要度を基にした前記重みを、前記頻度データを基にした、前記複数の問題を跨った当該クラスタにおける前記意味単位ベクトルの頻度の和の逆数を用いて計算する、
請求項５に記載の自動採点装置。

【請求項8】

前記少なくとも１つのプロセッサは、
前記クラスタ毎の重要度を基にした前記重みを、前記頻度の割合と、前記頻度データを基にした、前記複数の問題を跨った当該クラスタにおける前記意味単位ベクトルの頻度の和の逆数とを加味して計算する、
請求項６に記載の自動採点装置。

【請求項9】

前記少なくとも１つのプロセッサは、
前記特定の対象問題に対する文書データの採点結果を、前記所定数のクラスタ毎の重要度を基にした重みと、代表ベクトルに関する前記ピラミッドデータ中の前記スコアとを加味して計算する、
請求項４に記載の自動採点装置。

【請求項10】

前記少なくとも１つのプロセッサは、
前記特定の対象問題に対する文書データの採点結果を、前記所定数のクラスタ毎の重要度を基にした重みに基づいた値と、代表ベクトルに関する前記ピラミッドデータ中の前記スコアに基づいた値を、重み付け加算して計算する、
請求項９に記載の自動採点装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、問題に対する解答である文書データの採点結果を出力する自動採点装置に関する。

【背景技術】

【0002】

特許文献１には、記述式問題における解答文を自動で採点するシステムにおいて、解答文を２つの階層に分解し、文の構造の正確度および完成度を検証し、２つの階層が有効に連結しているかを検証し、検証結果の点数を合計して得点を計算する、ことの記載がある。また、特許文献２には、説明問題の回答の採点を自動で行う装置において、回答テキストを解析して特徴量を抽出し、回答テキストの特徴量と模範解答の特徴量とを比較し各項目のスコアを計算し、項目ごとのスコアを総合して点数を決定する、ことの記載がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７－１２９８３０号公報

【特許文献2】特開２０２０－１６０１５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載のシステムおいては、記述式問題に対して事前に模範解答文を作成し、様々な採点基準を事前に設定する必要がある。また、特許文献２に記載の装置においても、事前に説明問題に対する模範解答を作成する必要がある。そのため、新たな問題に対する解答を対象に採点結果を得ようとする際に、その都度模範解答を作成する必要があり、新たな問題に対する解答の採点結果を効率的に得ることが困難である。

【0005】

そこで、本発明では、新たな問題に対する解答の採点結果を効率的に得ることができる自動採点装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の自動採点装置は、問題に対する解答である文書データの採点結果を出力する自動採点装置において、少なくとも１つのプロセッサを備え、少なくとも１つのプロセッサは、特定の対象問題に対する複数の文書データを、意味単位に分割し、分割された複数の意味単位をベクトル化して複数の意味単位ベクトルを生成し、複数の意味単位ベクトルを順番に比較して、互いに類似する複数の意味単位ベクトルの頻度を加算することにより、複数の意味単位ベクトルのうちの複数の代表ベクトル毎の頻度を基にしたスコアを表すピラミッドデータを生成し、特定の対象問題に対する文書データを対象にして、文書データから生成される複数の意味単位ベクトルに類似する代表ベクトルに関するピラミッドデータ中のスコアを合算することにより、当該文書データの採点結果を計算および出力する。

【発明の効果】

【0007】

本発明によると、新たな問題に対する解答の採点結果を効率的に得ることができる。

【図面の簡単な説明】

【0008】

【図1】本開示のサーバ１００の機能を示すブロック図である。

【図2】サーバ１００による、ＥＤＵベクトルの生成及びＥＤＵベクトルのクラスタリングの処理イメージを示す図である。

【図3】サーバ１００によって生成された頻度データの構成例を示す図である。

【図4】重み情報格納部１１１に格納された重み情報の構成例を示す図である。

【図5】サーバ１００による、ＥＤＵベクトルの生成及びピラミッドスコアの生成の処理イメージを示す図である。

【図6】ピラミッドデータ格納部１１２に格納されたピラミッドスコアの構成例を示す図である。

【図7】サーバ１００による事前処理の手順を示すフローチャートである。

【図8】サーバ１００による採点処理の手順を示すフローチャートである。

【図9】サーバ１００による事前処理の手順を示すフローチャートである。

【図10】サーバ１００による採点処理の手順を示すフローチャートである。

【図11】サーバ１００による採点処理の手順を示すフローチャートである。

【図12】本開示の一実施の形態に係るサーバ１００のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0009】

添付図面を参照しながら本開示の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。

【0010】

図１は、本開示における自動採点装置であるサーバ１００の機能構成を示す図である。この図において、サーバ１００は、通信ネットワーク（図示せず）を介して複数の端末装置１０との間でデータ通信が可能なように構成されている。サーバ１００は、後述するように、端末装置１０から提供された、所定の問題に対する解答データ（文書データ）を対象に採点結果を出力する機能を有する。所定の問題としては、英語等の言語による解答を要求する記述式問題であり、解答データはその記述式問題に対するその言語による文章を含むエッセイである。ただし、所定の問題は上記の例には限られず、他の言語による解答を要求する記述式問題であってもよいし、様々な言語による解答を要求する文法問題等の他の種類の問題であってもよい。また、解答データも、他の言語で記述された文章を含むエッセイの他、様々な言語で記述された文章を含むエッセイ以外の解答データであってもよい。

【0011】

本開示において、端末装置１０は、所定の問題に対する解答データをサーバ１００に提供する装置であり、パーソナルコンピュータ、スマートフォン、タブレット端末、フィーチャーフォン、サーバ装置等の装置である。

【0012】

図１に示されるとおり、サーバ１００は、機能的な構成要素として、データ受付部１０１、解析部１０２、ベクトル取得部１０３、クラスタリング部１０４、重み生成部１０５、ピラミッドデータ生成部１０６、スコア計算部１０７、スコア出力部１０８、ベクトル格納部１０９、クラスタ情報格納部１１０、重み情報格納部１１１、およびピラミッドデータ格納部１１２を含んで構成されている。

【0013】

データ受付部１０１は、１以上の端末装置１０から、予め決められた内容の複数の問題のそれぞれに対する複数の解答データを受け付ける。問題の数は、例えば１０個と、予め設定されている。このとき、データ受付部１０１は、複数の端末装置１０から複数の解答データを分けて受け付けてもよいし、１以上の端末装置１０からまとめて複数の解答データを受け付けてもよい。詳細には、データ受付部１０１は、解答データと、その解答データに対応した問題を識別する問題識別情報（例えば、問題番号）との組み合わせを複数組受け付ける。

【0014】

解析部１０２は、データ受付部１０１によって受け付けられたそれぞれの解答データに含まれる複数の文を意味単位に分割する。意味単位とは、文中の一つの意味を表す単位であり、例えば、談話構造解析で得られる文節相当の談話単位（ＥＤＵ：Elementary Discourse Unit）である。例えば、解析部１０２は、BiLSTM-CRFモデル等の系列ラベリングモデルに解答データを入力し、系列ラベリングモデルの出力を基に解答データの中の文節単位のＥＤＵの区切り位置を認識し、その区切り位置を用いて、解答データをＥＤＵに分割する。ここでは、BiLSTM-CRFモデル以外に、CRF、BiLSTM、BERT+CRFなどのモデルが使用されてもよい。
例えば、解答データが、“Rose is caring.
Her conversation with Anna shows this.
Rose asks Anna if she feels okay.”というエッセイである場合には、解析部１０２は、そのエッセイを、下記の５つのＥＤＵに分割する。
“Rose is caring.”
“Her conversation with Anna”
“shows this.”
“Rose asks Anna”
“if she feels okay.”

【0015】

ベクトル取得部１０３は、解析部１０２によって分割されたそれぞれの意味単位をベクトル化して複数の意味単位ベクトルを生成する。例えば、ベクトル取得部１０３は、意味単位がＥＤＵの場合に、ＥＤＵを基にＥＤＵベクトルを生成する。より詳細には、ベクトル取得部１０３は、それぞれのＥＤＵの先頭にＣＬＳトークンを、その最後にＳＥＰトークンを付加し、ＣＬＳトークンおよびＳＥＰトークンが付加されたそれぞれのＥＤＵを大規模言語モデル（ＢＥＲＴ：Bidirectional Encoder Representations from Transformers）に入力する。そして、ベクトル取得部１０３は、ＢＥＲＴの出力におけるＣＬＳトークンに対応した出力系列から得られた固定長のデータ列を、ＥＤＵベクトルとして取得する。

【0016】

クラスタリング部１０４は、データ受付部１０１によって、所定数の複数の問題の全てについて、複数の解答データが受け付けられている場合に、それらの解答データを基に生成された複数の意味単位ベクトルをクラスタリングする。すなわち、クラスタリング部１０４は、複数の問題に対応した複数の解答データを所定数（例えば、５個）のクラスタにクラスタリングする。例えば、クラスタリング部１０４は、複数のＥＤＵベクトルをk-means法を用いて、互いの距離が近いＥＤＵベクトルを所定数のクラスタにまとめ上げることでクラスタリングする。また、クラスタリング部１０４は、クラスタリング結果を参照して、所定数のクラスタに関する情報（クラスタ情報）を取得し、クラスタ情報をクラスタ情報格納部１１０に格納する。クラスタ情報としては、所定数のクラスタのそれぞれにクラスタリングされた複数のＥＤＵベクトルの平均値が挙げられ、各クラスタを識別するクラスタ番号とともにクラスタ情報格納部１１０に格納される。

【0017】

さらに、クラスタリング部１０４は、クラスタリング結果を参照して、複数の問題毎、所定数のクラスタ毎に、クラスタリングされた複数のＥＤＵベクトルの頻度をカウントし、カウント結果を示す頻度データを生成する。

【0018】

図２には、サーバ１００による、ＥＤＵベクトルの生成及びＥＤＵベクトルのクラスタリングの処理イメージを示す。このように、１０個の問題Ｑ１～Ｑ１０が予め設定された場合を想定すると、サーバ１００により、問題Ｑ１に対して複数の解答データＡ１が取得され、問題Ｑ２～問題Ｑ９のそれぞれに対しても複数の解答データが取得され、問題Ｑ１０に対して複数の解答データＡ１０が取得される。次に、サーバ１００により、取得された複数の解答データＡ１，…，Ａ１０から、複数のＥＤＵベクトルＶ１，…，Ｖ１０が生成される。さらに、サーバ１００により、生成された全てのＥＤＵベクトルＶ１，…Ｖ１０の集合ＶＳＥＴを対象にクラスタリング処理が実行され、全てのＥＤＵベクトルＶ１，…Ｖ１０が、５個のクラスタＣＬ１～ＣＬ５にクラスタリングされる。

【0019】

図３には、クラスタリング部１０４によって生成された頻度データの構成例を示す。この構成例では、問題数が１０で、クラスタ数が１０の場合が想定されている。頻度データにおいては、１０個の問題を識別する問題番号毎、１０個のクラスタを識別するクラスタ毎に、頻度が配列される。例えば、問題番号“８”で識別される問題に対応付けて、クラスタ番号“０”の頻度“１１”、クラスタ番号“１”の頻度“３０９１”、クラスタ番号“２”の頻度“４２９７”、クラスタ番号“３”の頻度“１６”、クラスタ番号“４”の頻度“０”、…、クラスタ番号“９”の頻度“２２０２”が順に配列される。なお、図３中において、問題番号“２”と問題番号“８”の間の問題番号、及び問題番号“８”と問題番号“１０”の間の問題番号に対応付けられたクラスタ番号毎の頻度の値は記載が省略されているが任意の値をとり得ることを意味している。

【0020】

図１に戻って、重み生成部１０５は、クラスタリング部１０４によって生成された頻度データを基に、ＴＦ－ＩＤＦの手法を用いて、所定数のクラスタ毎および所定数の問題毎にＥＤＵに関する重要度の数値を計算する。まず、重み生成部１０５は、各問題の１つの問題における各クラスタの重要度ＴＦを次のようにして計算する。すなわち、重み生成部１０５は、ある１つの問題における全てのクラスタの頻度の合計を計算し、その問題における各クラスタの頻度を頻度の合計で除算することにより、ある問題の各クラスタの重要度ＴＦを計算する。このようにして計算された重要度ＴＦは、１つの問題における各クラスタにクラスタリングされたＥＤＵベクトルの頻度の割合となる。重み生成部１０５は、上記の計算を各問題について繰り返すことにより、各問題における各クラスタの重要度ＴＦを計算する。

【0021】

また、重み生成部１０５は、全ての問題における各クラスタの重要度ＩＤＦを次のようにして計算する。すなわち、重み生成部１０５は、頻度データ中の全てのクラスタの頻度を合計し、全ての問題における各クラスタの頻度を合計する。そして重み生成部１０５は、全てのクラスタの頻度の合計を各クラスタの頻度の合計で除算し、除算値の対数（ｌｏｇ）に１を加算することにより、各クラスタの重要度ＩＤＦを計算する。このようにして計算された重要度ＩＤＦは、複数の問題を跨った各クラスタにおけるＥＤＵベクトルの頻度の合計（和）の逆数に基づく値となる。

【0022】

さらに、重み生成部１０５は、各問題における各クラスタの重要度ＴＦと、各クラスタの重要度ＩＤＦとを加味して、所定数のクラスタ毎および所定数の問題毎に重みを計算する。一例として、重み生成部１０５は、各問題における各クラスタの重要度ＴＦに、各クラスタに対応する重要度ＩＤＦを乗算することにより、重みを計算する。そして、重み生成部１０５は、計算したクラスタ毎および問題毎の重みを示す重み情報を重み情報格納部１１１に格納する。

【0023】

図４には、重み情報格納部１１１に格納された重み情報の構成例を示す。この構成例では、問題数が１０で、クラスタ数が１０の場合が想定されている。重み情報においては、１０個の問題を識別する問題番号毎、１０個のクラスタを識別するクラスタ毎に、重みのデータが配列される。例えば、問題番号“８”で識別される問題に対応付けて、クラスタ番号“０”の重み“０”、クラスタ番号“１”の重み“０．６４”、クラスタ番号“２”の重み“０．８９”、クラスタ番号“３”の重み“０”、クラスタ番号“４”の重み“０”、…、クラスタ番号“９”の重み“０．４１”が順に配列される。なお、図４中において、問題番号“２”と問題番号“８”の間の問題番号、及び問題番号“８”と問題番号“１０”の間の問題番号に対応付けられたクラスタ番号毎の重みの値は記載が省略されているが任意の値をとり得ることを意味している。

【0024】

図１に戻って、ピラミッドデータ生成部１０６は、データ受付部１０１によって、所定数の複数の問題のうちの特定の１つの対象問題について、複数の解答データが受け付けられている場合に、それらの解答データを基にピラミッドスコア（ピラミッドデータ）を計算し、ピラミッドデータ格納部１１２に格納する。すなわち、ピラミッドデータ生成部１０６は、複数の解答データから順次生成される複数のＥＤＵベクトルを順番に比較し、互いに類似するＥＤＵベクトルの頻度を加算する。このとき、ＥＤＵベクトルの類似は、例えば、ＥＤＵベクトル間の距離が閾値以下であるか否かで判断される。詳細には、ピラミッドスコアには、過去に加算されていた代表ベクトル毎のスコアが記録され、ピラミッドデータ生成部１０６は、新たなＥＤＵベクトルとピラミッドスコア中に記録された代表ベクトルとの類似度を判断し、類似する代表ベクトルが存在する場合にはその代表ベクトルのスコアに“１”を加算し、類似する代表ベクトルが存在しない場合には当該ＥＤＵベクトルを代表ベクトルとした“１”のスコアをピラミッドスコア中に新たに記録する。

【0025】

図５には、サーバ１００による、ＥＤＵベクトルの生成及びピラミッドスコアの生成のイメージを示す。このように、特定の問題Ｑ１が予め処理対象として設定された場合を想定すると、サーバ１００により、問題Ｑ１に対して複数の解答データＡ１が取得される。次に、サーバ１００により、取得された複数の解答データＡ１から、複数のＥＤＵベクトルＶ１が生成される。さらに、サーバ１００により、生成された複数のＥＤＵベクトルＶ１が順次比較されて、複数の代表ベクトルＲＶ１，ＲＶ２，ＲＶ３，ＲＶ４…毎のスコア“１０”、“５”、“２”、“１”、…を含むピラミッドスコアが生成される。

【0026】

図６には、ピラミッドデータ格納部１１２に格納されたピラミッドスコアの構成例を示す。この構成例では、代表ベクトルＲＶ１のベクトル値を示す“Ｖ１”とそのスコアである頻度“１０”、代表ベクトルＲＶ２のベクトル値を示す“Ｖ２”とそのスコアである頻度“５”、代表ベクトルＲＶ３のベクトル値を示す“Ｖ３”とそのスコアである頻度“２”、代表ベクトルＲＶ４のベクトル値を示す“Ｖ４”とそのスコアである頻度“１”が、それぞれ対応付けて記憶される。

【0027】

図１に戻って、スコア計算部１０７は、下記の第１の算出方法、及び下記の第２の算出方法の少なくとも一方を用いて、複数の問題のうちの１つ対象問題に対する解答データの採点結果のスコアを計算する。まず、スコア計算部１０７は、データ受付部１０１によって受け付けられたスコアの計算対象の解答データを基に、該当の解答データを解析部１０２及びベクトル取得部１０３に処理させることにより、複数のＥＤＵベクトルを取得する。

【0028】

さらに、スコア計算部１０７は、第１の算出方法を用いる場合には、複数のＥＤＵベクトルのそれぞれを、クラスタリング部１０４に処理させることにより、所定数のクラスタのいずれかのクラスタにクラスタリングさせる。そして、スコア計算部１０７は、重み情報格納部１１１に格納された重み情報を参照し、複数のＥＤＵベクトルのそれぞれのクラスタリング先のクラスタと、１つの対象問題とに対応付けられた重みを読み出す。さらに、スコア計算部１０７は、複数のＥＤＵベクトル毎に読み出した重みを合算することにより、該当の解答データの第１の算出方法による第１のスコアを計算する。例えば、対象問題が問題番号“８”の問題であり、解答データのＥＤＵベクトルのクラスタリング先が、クラスタ番号“１”のクラスタとクラスタ番号“２”のクラスタの２つのクラスタの場合には、図４に示す重み情報が参照され、第１のスコアが、０．６４×１＋０．８９×１＝１．５３と計算される。

【0029】

また、スコア計算部１０７は、第２の算出方法を用いる場合には、ピラミッドデータ格納部１１２から、対象問題に関するピラミッドスコアを読み出す。そして、スコア計算部１０７は、複数のＥＤＵベクトルのそれぞれを、順次、ピラミッドスコアに含まれる複数の代表ベクトルと比較する。さらに、スコア計算部１０７は、複数のＥＤＵベクトルのそれぞれに最も類似する代表ベクトルに対応付けられた頻度を合算することにより、該当の解答データの第１の算出方法による第２のスコアを計算する。ＥＤＵベクトルと代表ベクトルとの類似は、例えば、ベクトル間の距離によって判断される。例えば、解答データから生成された２つのＥＤＵベクトルと類似する代表ベクトルが、代表ベクトル“Ｖ１”と代表ベクトル“Ｖ２”の２つの代表ベクトルの場合には、図６に示すピラミッドスコアが参照され、第２のスコアが、１０×１＋５×１＝１５と計算される。

【0030】

スコア出力部１０８は、スコア計算部１０７によって解答データを対象に計算された上記第１のスコア、あるいは、第２のスコアの少なくともいずれかを基に、解答データの最終スコアを計算し、端末装置１０に出力する。すなわち、スコア出力部１０８は、第１のスコア及び第２のスコアのいずれかを出力してもよいし、第１のスコアと第２のスコアを加味して重み付け加算して出力してもよい。例えば、第１のスコアが“４”であり、第２のスコアが“７”であり、第１のスコアの重み係数が“Ｗ１”であり、第２のスコアの重み係数が“Ｗ２”である場合には、最終スコアは４×Ｗ１＋７×Ｗ２と計算される。このような計算によれば、計算が簡易となり、計算処理も独立して実行可能となる。

【0031】

一方で、スコア出力部１０８は、複数のＥＤＵベクトル毎に、第１の算出方法で得られた重みと第２の算出方法で得られた頻度を加味して重み付け加算して最終スコアを計算してもよい。例えば、２つのＥＤＵベクトルのそれぞれを対象に、第１の算出方法で重み“３”及び“１”が得られ、第２の算出方法で頻度“５”及び“２”が得られた場合には、最終スコアは（３×Ｗ１＋５×Ｗ２）＋（１×Ｗ１＋２×Ｗ２）と計算される。このような計算によれば、ＥＤＵごとの重要度が重視されて、メリハリのある採点結果を取得することができる。

【0032】

一方で、スコア出力部１０８は、複数のＥＤＵベクトル毎に、第１の算出方法で得られた重みと第２の算出方法で得られた頻度を乗算して最終スコアを計算してもよい。すなわち、スコア出力部１０８は、第２の算出方法で得られた頻度を第２の算出方法で得られた値を重み付けとして用いて合算してもよい。例えば、２つのＥＤＵベクトルのそれぞれを対象に、第１の算出方法で重み“３”及び“１”が得られ、第２の算出方法で頻度“５”及び“２”が得られた場合には、最終スコアは（３×５）＋（１×２）と計算される。

【0033】

上記のように構成されたサーバ１００の動作について説明する。

【0034】

まず、第１の算出方法を用いた場合のサーバ１００の動作について説明する。図７は、サーバ１００による事前処理の手順を示すフローチャートであり、図８は、サーバ１００による採点処理の手順を示すフローチャートである。

【0035】

事前処理が開始されると、データ受付部１０１によって、複数の問題のそれぞれに対する複数の解答データが取得される（ステップＳ１０１）。次に、解析部１０２によって、取得された複数の解答データが複数のＥＤＵに分割される（ステップＳ１０２）。

【0036】

その後、ベクトル取得部１０３によって分割された複数のＥＤＵを基に複数のＥＤＵベクトルが生成される（ステップＳ１０３）。さらに、クラスタリング部１０４により、生成され複数のＥＤＵベクトルが所定数のクラスタにクラスタリングされる（ステップＳ１０４）。

【0037】

次に、クラスタリング部１０４により、複数のＥＤＵベクトルのクラスタリング結果を基に、頻度データが生成される（ステップＳ１０５）。その後、重み生成部１０５により、生成された頻度データを基にクラスタ毎および問題毎の重みを示す重み情報が生成され重み情報格納部１１１に格納される（ステップＳ１０６）。

【0038】

事前処理が完了した後に対象問題に対する解答データの採点処理が開始されると、ステップＳ１０１～Ｓ１０４と同様の手順で、解答データを基に生成された複数のＥＤＵベクトルがクラスタリングされる（ステップＳ２０１～Ｓ２０４）。次に、スコア計算部１０７により、複数のＥＤＵベクトルのそれぞれのクラスタリング先のクラスタと対象問題とに対応付けられた重みが、重み情報格納部１１１から取得される（ステップＳ２０５）。

【0039】

その後、スコア計算部１０７により、複数のＥＤＵベクトル毎に取得した重みを合算することにより、該当の解答データの第１のスコアが計算される（ステップＳ２０６）。最後に、スコア出力部１０８により、第１のスコアが解答データの最終スコアとして、端末装置１０に出力される（ステップＳ２０７）。

【0040】

次に、第２の算出方法を用いた場合のサーバ１００の動作について説明する。図９は、サーバ１００による事前処理の手順を示すフローチャートであり、図１０は、サーバ１００による採点処理の手順を示すフローチャートである。

【0041】

事前処理が開始されると、ステップＳ１０１～Ｓ１０３と同様の手順で、対象問題に対する複数の解答データを基に複数のＥＤＵベクトルが順次生成される（ステップＳ３０１～Ｓ３０３）。次に、ピラミッドデータ生成部１０６によって、複数の解答データから順次生成されるＥＤＵベクトルと、対象問題のピラミッドスコアに含まれる複数の代表ベクトルとの間の類似度が算出される（ステップＳ３０４）。そして、ピラミッドデータ生成部１０６により、算出された類似度が高い代表ベクトルが存在するか否かが判断される（ステップＳ３０５）。

【0042】

上記の判断の結果、類似度が高い代表ベクトルが存在する場合には（ステップＳ３０５；ＹＥＳ）、ピラミッドデータ生成部１０６により、対象問題のピラミッドスコア中の代表ベクトルのスコアに“１”が加算される（ステップＳ３０６）。その一方で、類似度が高い代表ベクトルが存在しない場合には（ステップＳ３０５；ＮＯ）、ピラミッドデータ生成部１０６により、対象問題のピラミッドスコア中に、該当のＥＤＵベクトルを新たな代表ベクトルとしたスコア“１”が追加される（ステップＳ３０７）。

【0043】

その後、ピラミッドデータ生成部１０６により、複数の解答データを基に生成された全てのＥＤＵベクトルが処理されたかが判定され（ステップＳ３０８）。全てのＥＤＵベクトルが処理された場合（ステップＳ３０８；ＹＥＳ）、事前処理が終了され、全てのＥＤＵベクトルが処理されていない場合（ステップＳ３０８；ＮＯ）、処理がステップＳ３０３に戻されて、ＥＤＵベクトルと代表ベクトルとの比較が繰り返される。

【0044】

事前処理が完了した後に対象問題に対する解答データの採点処理が開始されると、ステップＳ１０１～Ｓ１０３と同様の手順で、解答データを基に複数のＥＤＵベクトルが生成される（ステップＳ４０１～Ｓ４０３）。次に、スコア計算部１０７により、複数のＥＤＵベクトルのそれぞれと類似性の高い代表ベクトルがピラミッドスコア中から検索され、類似性の高い代表ベクトルに対応付けられたスコアが、ピラミッドデータ格納部１１２から取得される（ステップＳ４０４）。

【0045】

その後、スコア計算部１０７により、複数のＥＤＵベクトル毎に取得したスコアを合算することにより、該当の解答データの第２のスコアが計算される（ステップＳ４０５）。最後に、スコア出力部１０８により、第２のスコアが解答データの最終スコアとして、端末装置１０に出力される（ステップＳ４０６）。

【0046】

ここで、サーバ１００は、第１のスコアと第２のスコアとを加味して最終スコアを算出するように動作してもよい。図１１は、サーバ１００による採点処理の別の手順を示すフローチャートである。

【0047】

図７及び図９に示す事前処理が完了した後に対象問題に対する解答データの採点処理が開始されると、ステップＳ１０１～Ｓ１０３と同様の手順で、解答データを基に複数のＥＤＵベクトルが生成される（ステップＳ５０１～Ｓ５０３）。次に、ステップＳ４０４と同様にして、複数のＥＤＵベクトルのそれぞれと類似性の高い代表ベクトルのスコアが取得される（ステップＳ５０４）。それと並行して、ステップ２０４，Ｓ２０５と同様にして、複数のＥＤＵベクトル毎に重みが取得される（ステップＳ５０５，Ｓ５０６）。

【0048】

その後、スコア出力部１０８により、複数のＥＤＵベクトル毎に得られたスコアと複数のＥＤＵベクトル毎に得られた重みとが重み付け加算される（ステップＳ５０７）。そして、スコア出力部１０８により、全てのＥＤＵを対象に重み付け加算した値が合計されて最終スコアとして計算される（ステップＳ５０８）。最後に、スコア出力部１０８により、解答データを対象に得られた最終スコアが端末装置１０に出力される（ステップＳ５０９）。

【0049】

つぎに、本開示の変形例について説明する。

【0050】

上記開示においては、サーバ１００は、予め定められた複数の問題のうちの所定の問題に対する解答データを対象に採点結果を取得するように機能していた。変形例として、未知の問題に対する解答データを対象に採点結果が取得できるように機能してもよい。

【0051】

すなわち、サーバ１００は、事前処理によって予め頻度データ及び重み情報が生成されていない問題に対する解答データの採点処理を実行するように機能する。サーバ１００は、新たな問題に対する複数の解答データに含まれる複数のＥＤＵのクラスタリング結果に基づき、頻度データにおけるクラスタの頻度分布が近い問題を推定し、その問題を擬似的な問題番号と決定して、採点処理を行う。

【0052】

より詳細には、サーバ１００は、上述した実施形態と同様にして、未知の問題に対する複数の解答データを基に複数のＥＤＵベクトルを生成する。その後に、クラスタリング部１０４は、上述した実施形態と同様にして、複数のＥＤＵベクトルをクラスタリングし、所定数のクラスタ毎の頻度を集計する。さらに、クラスタリング部１０４は、集計した所定数のクラスタ毎の頻度と、事前処理によってクラスタリング部１０４によって生成されていた各問題の頻度データとの類似度を計算する。そして、クラスタリング部１０４は、頻度データに含まれる全問題のうちで類似度が最も高い問題の問題番号を、擬似的な問題番号と決定する。

【0053】

また、スコア計算部１０７は、決定した擬似的な問題番号を利用して、上述した実施形態と同様にして、対象の解答データを用いて第１のスコアを計算する。

【0054】

上記の変形例によれば、未知の問題に対する解答データを対象にした場合、事前処理を再度実行しなおす必要がなく、演算量を削減することができる。

【0055】

つぎに、本開示の自動採点装置であるサーバ１００の作用効果について説明する。本開示のサーバ１００によれば、特定の対象問題に対する複数の文書データがＥＤＵに分割され、分割された複数のＥＤＵが複数のＥＤＵベクトルにベクトル化される。そして、複数のＥＤＵベクトルが順番に比較されて、互いに類似する複数のＥＤＵベクトルの頻度が加算されることにより、複数の代表ベクトル毎の頻度を基にしたスコアを表すピラミッドスコアが生成される。さらに、特定の対象問題に対する文書データを対象に、その文書データを基にしたＥＤＵベクトルに類似する代表ベクトルに関するピラミッドスコア中のスコアを合算することにより、当該文書データの採点結果が計算される。

【0056】

このような動作により、新たな対象問題に対する文書データを採点対象にした場合に、事前にその対象問題に対する解答データである複数の文書データを取得しておいて、これらの複数の文書データを用いてピラミッドスコアを取得することにより、対象問題に対する文書データの採点結果を効率的に得ることができる。特に、対象問題に対する複数の文書データを基にした複数のＥＤＵベクトルを複数の代表ベクトルに取り纏めて頻度を集計したピラミッドスコアを生成することにより、文書データに含まれるＥＤＵの重要度を精度よく採点結果に反映することができる。その結果、新たな対象問題に対する文書データを対象にした場合に、対象問題に対する模範解答を取得する必要はないので、精度の良い採点結果を効率的に得ることができる。

【0057】

ここで、機械学習を用いた自動採点の仕組みを利用することも想定される。つまり、問題に対する解答データとその採点結果との組み合わせを教師データとして、機械学習によって学習モデルを構築し、構築した学習モデルに、未採点の解答データを入力することによって採点結果を得ることも考えられる。しかしながら、この場合、精度の良い採点結果を得るためには、採点基準を整備して複数の解答データを対象に採点結果を得た上で、多くの訓練データを準備することが必要となり、手間がかかる。また、新たな問題に対する解答データの自動採点を精度よく実現するためには、その都度、問題の内容に対応した学習モデルを構築する必要もある。本開示では、対象問題に対する複数の文書データを取得するだけで済むので、訓練データの準備および学習モデル構築の手間が軽減される。

【0058】

ここで、本開示では、サーバ１００は、対象問題に対する文書データを複数のＥＤＵに分割し、分割した複数のＥＤＵを、ベクトル化して複数のＥＤＵベクトルを生成し、複数のＥＤＵベクトルを用いることで当該文書データの採点結果を計算および出力する。本開示によれば、対象問題に対する文書データを対象にした場合に、その文書データに含まれる複数のＥＤＵの重要度を総合的に評価した採点結果を得ることができる。これにより、対象問題に対する文書データを対象に、精度の良い採点結果を効率的に得ることができる。

【0059】

本開示において、サーバ１００は、複数のＥＤＵベクトルと代表ベクトルとの類似を、ベクトル間の距離によって判断している。これにより、対象問題に対する文書データを対象に、精度の良い採点結果を得ることができる。

【0060】

本開示において、サーバ１００によれば、複数の問題に対する複数の文書データがＥＤＵに分割され、分割された複数のＥＤＵが複数のＥＤＵベクトルにベクトル化される。そして、複数のＥＤＵベクトルが所定数のクラスタにクラスタリングされ、複数の問題毎及び所定数のクラスタ毎に、クラスタリングされたＥＤＵベクトルの頻度をカウントした頻度データが生成される。さらに、頻度データを基に所定数のクラスタ毎の重み（重要度）が計算され、１つの問題に対する文書データを対象に、その文書データを基にしたＥＤＵベクトルに対応したクラスタの重みを合算することにより、当該文書データの採点結果が計算される。

【0061】

このような動作により、複数の問題のうちの任意の問題に対する文書データを採点対象にした場合であっても、事前に複数の問題に対する解答である複数の文書データを取得しておいて、これらの複数の文書データを用いてクラスタ毎の重要度を取得することにより、任意の問題に対する文書データの採点結果を効率的に得ることができる。特に、複数の問題に対する複数の文書データを基にした複数のＥＤＵベクトルをクラスタリングして、複数のクラスタ毎の重みを得ることにより、文書データに含まれるＥＤＵの重要度を精度よく採点結果に反映することができる。その結果、任意の問題に対する文書データを対象にした場合に、複数の問題に対する模範解答を取得する必要はないので、精度の良い採点結果を効率的に得ることができる。

【0062】

ここで、機械学習を用いた自動採点の仕組みを利用することも想定される。つまり、問題に対する解答データとその採点結果との組み合わせを教師データとして、機械学習によって学習モデルを構築し、構築した学習モデルに、未採点の解答データを入力することによって採点結果を得ることも考えられる。しかしながら、この場合、精度の良い採点結果を得るためには、採点基準を整備して複数の解答データを対象に採点結果を得た上で、多くの訓練データを準備することが必要となり、手間がかかる。また、複数の問題に対する解答データの自動採点を精度よく実現するためには、その都度、問題の内容に対応した学習モデルを構築する必要もある。本開示では、複数の問題に対する複数の文書データを取得するだけで済むので、訓練データの準備および学習モデル構築の手間が軽減される。

【0063】

また、本開示において、サーバ１００は、１つの問題に対する文書データを、採点対象として、複数のＥＤＵに分割し、分割した複数のＥＤＵを、ベクトル化した後に所定数のクラスタにクラスタリングし、複数のＥＤＵのクラスタリング先のクラスタ毎の重みを合算することにより、当該文書データの採点結果を計算および出力する。本開示によれば、複数の問題のうちの１つの問題に対する文書データを対象にした場合に、その文書データに含まれる複数のＥＤＵの重要度を総合的に評価した採点結果を得ることができる。これにより、１つの問題に対する文書データを対象に、精度の良い採点結果を効率的に得ることができる。

【0064】

本開示において、サーバ１００は、クラスタ毎の重要度を基にした重みを、頻度データを基にした、１つの問題における当該クラスタにクラスタリングされたＥＤＵベクトルの頻度の割合を用いて計算する。

【0065】

これにより、クラスタ毎の重みを、１つの問題に対する解答データにより多く含まれるＥＤＵのクラスタの重みが高くなるように設定可能となるので、１つの問題に対する解答データである文書データを対象に、より精度の高い採点結果を得ることができる。

【0066】

また、本開示において、サーバ１００は、クラスタ毎の重みを、頻度データを基にした、複数の問題を跨った当該クラスタにおけるＥＤＵベクトルの頻度の和の逆数を用いて計算する。

【0067】

これにより、クラスタ毎の重みを、複数の問題に対する解答データに跨ってより多く含まれるＥＤＵのクラスタの重みが低くなるように設定可能となるので、１つの問題に対する解答データである文書データを対象に、より精度の高い採点結果を得ることができる。

【0068】

また、本開示において、サーバ１００は、クラスタ毎の重みを、上記頻度の割合と、上記頻度の和の逆数とを加味して計算する。

【0069】

これにより、クラスタ毎の重みを、１つの問題に対する解答データにより多く含まれるＥＤＵのクラスタの重みが高くなるように、かつ複数の問題に対する解答データに跨ってより多く含まれるＥＤＵのクラスタの重みが低くなるように設定可能となるので、１つの問題に対する解答である文書データを対象に、さらに精度の高い採点結果を得ることができる。

【0070】

また、本開示において、サーバ１００は、特定の対象問題に対する文書データの採点結果を、所定数のクラスタ毎の重みと、代表ベクトルに関するピラミッドスコア中のスコアとを加味して計算する。これにより、複数の問題に対する解答データが多く得られている場合と、特定の対象問題のみに対する解答データが多く得られている場合との両方に対応して、両方のケースに対応した採点結果を精度よく得ることができる。

【0071】

また、本開示において、サーバ１００は、特定の対象問題に対する文書データの採点結果を、所定数のクラスタ毎の重みに基づいた値と、代表ベクトルに関するピラミッドスコア中のスコアに基づいた値を、重み付け加算して計算する。これにより、複数の問題に対する解答データが多く得られている場合と、特定の対象問題のみに対する解答データが多く得られている場合との両方に対応して、両方のケースに柔軟に対応した採点結果を精度よく得ることができる。

【0072】

本発明のサーバ１００である自動採点装置は、以下の構成を有する。

【0073】

［１］
問題に対する解答である文書データの採点結果を出力する自動採点装置において、少なくとも１つのプロセッサを備え、前記少なくとも１つのプロセッサは、特定の対象問題に対する複数の文書データを、意味単位に分割し、分割された複数の前記意味単位をベクトル化して複数の意味単位ベクトルを生成し、前記複数の意味単位ベクトルを順番に比較して、互いに類似する前記複数の意味単位ベクトルの頻度を加算することにより、前記複数の意味単位ベクトルのうちの複数の代表ベクトル毎の頻度を基にしたスコアを表すピラミッドデータを生成し、前記特定の対象問題に対する文書データを対象にして、前記文書データから生成される複数の意味単位ベクトルに類似する代表ベクトルに関する前記ピラミッドデータ中の前記スコアを合算することにより、当該文書データの採点結果を計算および出力する、
自動採点装置。

【0074】

［２］
前記少なくとも１つのプロセッサは、前記特定の対象問題に対する文書データを複数の意味単位に分割し、分割した前記複数の意味単位を、ベクトル化して複数の意味単位ベクトルを生成し、前記複数の意味単位ベクトルを用いることで当該文書データの採点結果を計算および出力する、
上記［１］に記載の自動採点装置。

【0075】

［３］
前記少なくとも１つのプロセッサは、複数の意味単位ベクトルと前記代表ベクトルとの類似を、ベクトル間の距離によって判断する、
上記［１］または［２］に記載の自動採点装置。

【0076】

［４］
前記少なくとも１つのプロセッサは、複数の問題に対する複数の文書データを、意味単位に分割し、分割された複数の前記意味単位をベクトル化して複数の意味単位ベクトルを生成し、前記複数の意味単位ベクトルを、所定数のクラスタにクラスタリングし、前記複数の問題毎及び前記所定数のクラスタ毎に、クラスタリングされた前記複数の意味単位ベクトルの頻度をカウントすることによって、頻度データを生成し、前記頻度データを基に、前記所定数のクラスタ毎の重要度を計算し、前記複数の問題のうちの１つの問題に対する文書データを対象にして、前記所定数のクラスタ毎の重要度を基にした重みを合算することにより、当該文書データの採点結果を計算および出力する、
上記［１］～［４］のいずれか１つに記載の自動採点装置。

【0077】

［５］
前記少なくとも１つのプロセッサは、前記１つの問題に対する文書データを複数の意味単位に分割し、分割した前記複数の意味単位を、ベクトル化した後に前記所定数のクラスタにクラスタリングし、前記複数の意味単位のクラスタリング先の前記クラスタ毎の前記重要度を基にした重みを合算することにより、当該文書データの採点結果を計算および出力する、
上記［４］に記載の自動採点装置。

【0078】

［６］
前記少なくとも１つのプロセッサは、前記クラスタ毎の重要度を基にした前記重みを、前記頻度データを基にした、前記１つの問題における当該クラスタにクラスタリングされた前記意味単位ベクトルの頻度の割合を用いて計算する、
上記［４］又は［５］に記載の自動採点装置。

【0079】

［７］
前記少なくとも１つのプロセッサは、前記クラスタ毎の重要度を基にした前記重みを、前記頻度データを基にした、前記複数の問題を跨った当該クラスタにおける前記意味単位ベクトルの頻度の和の逆数を用いて計算する、
上記［４］又は［５］に記載の自動採点装置。

【0080】

［８］
前記少なくとも１つのプロセッサは、前記クラスタ毎の重要度を基にした前記重みを、前記頻度の割合と、前記頻度データを基にした、前記複数の問題を跨った当該クラスタにおける前記意味単位ベクトルの頻度の和の逆数とを加味して計算する、
上記［６］に記載の自動採点装置。

【0081】

［９］
前記少なくとも１つのプロセッサは、前記特定の対象問題に対する文書データの採点結果を、前記所定数のクラスタ毎の重要度を基にした重みと、代表ベクトルに関する前記ピラミッドデータ中の前記スコアとを加味して計算する、
上記［４］～［８］のいずれか１つに記載の自動採点装置。
［１０］
前記少なくとも１つのプロセッサは、前記特定の対象問題に対する文書データの採点結果を、前記所定数のクラスタ毎の重要度を基にした重みに基づいた値と、代表ベクトルに関する前記ピラミッドデータ中の前記スコアに基づいた値を、重み付け加算して計算する、
上記［９］に記載の自動採点装置。

【0082】

上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェアおよびソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的または論理的に結合した１つの装置を用いて実現されてもよいし、物理的または論理的に分離した２つ以上の装置を直接的または間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置または上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

【0083】

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

【0084】

例えば、本開示の一実施の形態におけるサーバ１００などは、本開示の自動採点方法の処理を行うコンピュータとして機能してもよい。図１２は、本開示の一実施の形態に係るサーバ１００、のハードウェア構成の一例を示す図である。上述のサーバ１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。なお、サーバ１００は、少なくとも１つのプロセッサを含むコンピュータ装置として構成されていればよく、複数のプロセッサを含むコンピュータ装置として構成されていてもよく、複数のコンピュータ装置を含んで構成されていてもよい。

【0085】

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。サーバ１００のハードウェア構成は、図に示した各装置を１つまたは複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

【0086】

サーバ１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２およびストレージ１００３におけるデータの読み出しおよび書き込みの少なくとも一方を制御したりすることによって実現される。

【0087】

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述のデータ受付部１０１、解析部１０２、ベクトル取得部１０３、クラスタリング部１０４、重み生成部１０５、ピラミッドデータ生成部１０６、スコア計算部１０７、スコア出力部１０８などは、プロセッサ１００１によって実現されてもよい。

【0088】

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３および通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、データ受付部１０１、解析部１０２、ベクトル取得部１０３、クラスタリング部１０４、重み生成部１０５、ピラミッドデータ生成部１０６、スコア計算部１０７、スコア出力部１０８は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時または逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

【0089】

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る自動採点方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

【0090】

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２およびストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

【0091】

通信装置１００４は、有線ネットワークおよび無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）および時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、上述のデータ受付部１０１、スコア出力部１０８などは、通信装置１００４によって実現されてもよい。

【0092】

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、LEDランプなど）である。なお、入力装置１００５および出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

【0093】

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

【0094】

また、サーバ１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部または全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

【0095】

情報の通知は、本開示において説明した態様／実施形態に限られず、他の方法を用いて行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（Uplink Control Information））、上位レイヤシグナリング（例えば、ＲＲＣ（Radio Resource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（System Information Block）））、その他の信号またはこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRC Connection Reconfiguration）メッセージなどであってもよい。

【0096】

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

【0097】

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

【0098】

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

【0099】

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

【0100】

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨および範囲を逸脱することなく修正および変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

【0101】

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

【0102】

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）および無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、または他のリモートソースから送信される場合、これらの有線技術および無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

【0103】

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、またはこれらの任意の組み合わせによって表されてもよい。

【0104】

なお、本開示において説明した用語および本開示の理解に必要な用語については、同一のまたは類似する意味を有する用語と置き換えてもよい。例えば、チャネルおよびシンボルの少なくとも一方は信号（シグナリング）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ：Component Carrier）は、キャリア周波数、セル、周波数キャリアなどと呼ばれてもよい。

【0105】

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

【0106】

上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）および情報要素は、あらゆる好適な名称によって識別できるので、これらの様々なチャネルおよび情報要素に割り当てている様々な名称は、いかなる点においても限定的な名称ではない。

【0107】

本開示においては、「移動局（ＭＳ：Mobile Station）」、「ユーザ端末（user terminal）」、「ユーザ装置（ＵＥ：User Equipment）」、「端末」などの用語は、互換的に使用され得る。

【0108】

移動局は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。

【0109】

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

【0110】

「接続された(connected)」、「結合された(coupled)」という用語、またはこれらのあらゆる変形は、２またはそれ以上の要素間の直接的または間接的なあらゆる接続または結合を意味し、互いに「接続」または「結合」された２つの要素間に１またはそれ以上の中間要素が存在することを含むことができる。要素間の結合または接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１またはそれ以上の電線、ケーブルおよびプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域および光（可視および不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」または「結合」されると考えることができる。

【0111】

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

【0112】

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみが採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

【0113】

本開示において、「含む（include）」、「含んでいる（including）」およびそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

【0114】

本開示において、例えば、英語でのa, anおよびtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

【0115】

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

【符号の説明】

【0116】

１００…サーバ（自動採点装置）、１００１…プロセッサ、１０１…データ受付部、１０２…解析部、１０３…ベクトル取得部、１０４…クラスタリング部、１０５…重み生成部、１０６…ピラミッドデータ生成部、１０７…スコア計算部、１０８…スコア出力部、１０９…ベクトル格納部、１１０…クラスタ情報格納部、１１１…重み情報格納部、１１２…ピラミッドデータ格納部、ＣＬ１～ＣＬ５…クラスタ、Ｑ１～Ｑ１０…問題、Ａ１～１０…解答データ（文書データ）、Ｖ１～Ｖ１０…ＥＤＵ（意味単位）ベクトル、ＲＶ１，ＲＶ２，ＲＶ３，ＲＶ４…代表ベクトル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】