特許 7257835 採点装置、採点方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-06

(45)【発行日】2023-04-14

(54)【発明の名称】採点装置、採点方法およびプログラム

(51)【国際特許分類】

   G09B 7/02 20060101AFI20230407BHJP

   G06F 40/216 20200101ALI20230407BHJP

【ＦＩ】

G09B7/02

G06F40/216

【請求項の数】 9

(21)【出願番号】P 2019057077

(22)【出願日】2019-03-25

(65)【公開番号】P2020160159

(43)【公開日】2020-10-01

【審査請求日】2021-10-12

(73)【特許権者】

【識別番号】514020389

【氏名又は名称】ＴＩＳ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】小林 賢一郎

(72)【発明者】

【氏名】清家 巧

(72)【発明者】

【氏名】乙宗 寛子

【審査官】前地 純一郎

(56)【参考文献】

【文献】特開２００１－０５６６３４（ＪＰ，Ａ）

【文献】国際公開第２０１３／１２９３１１（ＷＯ，Ａ１）

【文献】中川 正樹 外１名，記述式解答の採点支援・自動採点に向けて，情報処理 第５７巻 第９号 ，日本，一般社団法人情報処理学会，2016年08月15日，第５７巻 第９号 通巻６１８号，p.920～924

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｂ １／００－ ９／５６

Ｇ０９Ｂ １７／００－１９／２６

Ｇ０６Ｑ ５０／２０

Ｇ０６Ｆ ４０／２０

(57)【特許請求の範囲】

【請求項1】

説明問題の回答を採点する採点装置であって、
回答者の回答テキストを取得する回答取得部と、
前記回答テキストを解析して、１又は複数の項目についての特徴量を抽出するテキスト解析部と、
前記説明問題の模範解答を定義するデータとして、前記模範解答の前記項目ごとの特徴量を予め記憶する模範解答記憶部と、
前記テキスト解析部により抽出された前記回答テキストの特徴量と、前記模範解答記憶部に記憶されている前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較部と、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数決定部と、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句について、当該重要語句が採るべき述語項構造を予め記憶しており、
前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストに含まれる前記重要語句の述語項構造を取得し、
前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句の述語項構造の一致度に基づいて前記スコアを計算することを特徴とする採点装置。

【請求項2】

前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句について、当該重要語句を含む文の極性を予め記憶しており、
前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストに含まれる前記重要語句を含む文の極性を取得し、
前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句を含む文の極性の一致度に基づいて前記スコアを計算する
ことを特徴とする請求項１に記載の採点装置。

【請求項3】

説明問題の回答を採点する採点装置であって、
回答者の回答テキストを取得する回答取得部と、
前記回答テキストを解析して、１又は複数の項目についての特徴量を抽出するテキスト解析部と、
前記説明問題の模範解答を定義するデータとして、前記模範解答の前記項目ごとの特徴量を予め記憶する模範解答記憶部と、
前記テキスト解析部により抽出された前記回答テキストの特徴量と、前記模範解答記憶部に記憶されている前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較部と、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数決定部と、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句について、当該重要語句を含む文の極性を予め記憶しており、
前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストに含まれる前記重要語句を含む文の極性を取得し、
前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句を含む文の極性の一致度に基づいて前記スコアを計算することを特徴とする採点装置。

【請求項4】

前記模範解答記憶部は、前記模範解答の特徴量の１項目として、前記模範解答のテキストから生成された単語ベクトルを予め記憶しており、
前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストの単語ベクトルを生成し、
前記比較部は、前記回答テキストの単語ベクトルと前記模範解答の単語ベクトルの間の類似度に基づいて前記スコアを計算する
ことを特徴とする請求項１～３のうちいずれか１項に記載の採点装置。

【請求項5】

前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句からなる重要語句群を予め記憶しており、
前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストに含まれる語句群を生成し、
前記比較部は、前記回答テキストの語句群による前記重要語句のカバー率に基づいて前記スコアを計算する
ことを特徴とする請求項１～４のうちいずれか１項に記載の採点装置。

【請求項6】

前記回答テキストと前記模範解答との間の含意解析を行う含意解析部をさらに有し、
前記点数決定部は、前記含意解析部の解析結果も考慮して前記回答テキストの点数を決定する
ことを特徴とする請求項１～５のうちいずれか１項に記載の採点装置。

【請求項7】

説明問題の回答を採点する採点方法であって、
回答者の回答テキストを取得する回答取得ステップと、
前記回答テキストを解析して、１又は複数の項目についての特徴量を抽出するテキスト解析ステップと、
前記説明問題の模範解答を定義するデータを予め記憶する模範解答記憶部から前記模範解答の前記項目ごとの特徴量を読み出すステップと、
前記テキスト解析ステップにより抽出された前記回答テキストの特徴量と、前記模範解答記憶部から読み出した前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較ステップと、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数
決定ステップと、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句について、当該重要語句が採るべき述語項構造を予め記憶しており、
前記テキスト解析ステップでは、前記特徴量の１項目として、前記回答テキストに含まれる前記重要語句の述語項構造を取得し、
前記比較ステップでは、前記回答テキストと前記模範解答の間での前記重要語句の述語項構造の一致度に基づいて前記スコアを計算することを特徴とする採点方法。

【請求項8】

説明問題の回答を採点する採点方法であって、
回答者の回答テキストを取得する回答取得ステップと、
前記回答テキストを解析して、１又は複数の項目についての特徴量を抽出するテキスト解析ステップと、
前記説明問題の模範解答を定義するデータを予め記憶する模範解答記憶部から前記模範解答の前記項目ごとの特徴量を読み出すステップと、
前記テキスト解析ステップにより抽出された前記回答テキストの特徴量と、前記模範解答記憶部から読み出した前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較ステップと、
前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数決定ステップと、
を有し、
前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句について、当該重要語句を含む文の極性を予め記憶しており、
前記テキスト解析ステップでは、前記特徴量の１項目として、前記回答テキストに含まれる前記重要語句を含む文の極性を取得し、
前記比較ステップでは、前記回答テキストと前記模範解答の間での前記重要語句を含む文の極性の一致度に基づいて前記スコアを計算することを特徴とする採点方法。

【請求項9】

請求項１～６のうちいずれか１項に記載の採点装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、説明問題の回答を自動で採点する技術に関する。

【背景技術】

【0002】

昨今、ｅラーニングやネット検定のように、パーソナルコンピュータやタブレットのような電子機器を利用して受験可能な試験が増えてきている。この種の試験では、採点や集計を簡単化・自動化するために、予め用意された選択肢の中から回答を選ばせるタイプの問題がほとんどであり、まれに記述式の問題があったとしても単語又は短文を記述させる程度にとどまっている。試験の難易度や多様性を高める目的、あるいは、受験者の能力を精度良く測定する目的のためには、いわゆる説明問題を設けて、フリーテキストで回答させることが望ましい。しかしながら、説明問題は、人が採点を行わなければならないため採点のコストがかさむ、採点者によって採点のバラツキが生じる可能性がある、などの理由から、出題を敬遠されがちである。なお、特許文献１～４には問題作成を支援するシステムが提案されているが、問題の採点手法に関しては特段の開示がない。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－４５６５２号公報

【文献】特開２０１７－２７２３３号公報

【文献】特許第５９１１９３１号公報

【文献】特開２０１６－１２４２号公報

【文献】特開２０１８－１９０３３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は上記実情に鑑みなされてものであって、説明問題の回答の採点を自動ないし略自動で行うための技術を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の第一側面は、説明問題の回答を採点する採点装置であって、回答者の回答テキストを取得する回答取得部と、前記回答テキストを解析して、１又は複数の項目についての特徴量を抽出するテキスト解析部と、前記説明問題の模範解答を定義するデータとして、前記模範解答の前記項目ごとの特徴量を予め記憶する模範解答記憶部と、前記テキスト解析部により抽出された前記回答テキストの特徴量と、前記模範解答記憶部に記憶されている前記模範解答の特徴量とを、前記項目ごとに比較することによって、前記項目ごとのスコアを計算する比較部と、前記項目ごとのスコアを総合することにより、前記回答テキストの点数を決定する点数決定部と、を有することを特徴とする採点装置を提供する。これにより、説明問題の回答の採点を自動ないし半自動で行うことができる。また、複数項目に関してスコアを求め、それらを総合して最終的な点数を計算するので、採点の精度及び採点結果の妥当性を向上することができる。

【0006】

前記模範解答記憶部は、前記模範解答の特徴量の１項目として、前記模範解答のテキストから生成された単語ベクトルを予め記憶しており、前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストの単語ベクトルを生成し、前記比較部は、前記回答テキストの単語ベクトルと前記模範解答の単語ベクトルの間の類似度に基づいて前記スコアを計算してもよい。このスコアにより、模範解答と回答テキストの全体的な類似度合を評価することができる。

【0007】

前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句からなる重要語句群を予め記憶しており、前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストに含まれる語句群を生成し、前記比較部は、前記回答テキストの語句群による前記重要語句のカバー率に基づいて前記スコアを計算してもよい。このスコアにより、回答者の設問に対する知識力を評価することができる。

【0008】

前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句について、当該重要語句が採るべき述語項構造を予め記憶しており、前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストに含まれる前記重要語句の述語項構造を取得し、前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句の述語項構造の一致度に基づいて前記スコアを計算してもよい。このスコアにより、回答テキストにおいて重要語句が正しい係り関係で用いられているか、すなわち、重要語句に対する理解の正確さを評価することができる。

【0009】

前記模範解答記憶部は、前記模範解答の特徴量の１項目として、回答中に記載すべき語句である重要語句について、当該重要語句を含む文の極性を予め記憶しており、前記テキスト解析部は、前記特徴量の１項目として、前記回答テキストに含まれる前記重要語句を含む文の極性を取得し、前記比較部は、前記回答テキストと前記模範解答の間での前記重要語句を含む文の極性の一致度に基づいて前記スコアを計算してもよい。このスコアにより、回答テキストにおいて重要語句が正しい極性で用いられているか、すなわち、重要語句に対する理解の正確さを評価することができる。

【0010】

前記回答テキストと前記模範解答との間の含意解析を行う含意解析部をさらに有し、前記点数決定部は、前記含意解析部の解析結果も考慮して前記回答テキストの点数を決定してもよい。

【0011】

なお、本発明は、上述した機能ないし処理の少なくとも一部を含む採点装置、採点システムなどと捉えてもよいし、採点方法、又は、当該方法をコンピュータに実行させるプログラム、又は、当該プログラムを非一時的に記憶した記憶媒体などとして捉えることもできる。

【発明の効果】

【0012】

本発明によれば、説明問題の回答の採点を自動ないし略自動で行うことができる。

【図面の簡単な説明】

【0013】

【図1】図１は、採点システムの構成例を示す図である。

【図2】図２は、採点システムの機能構成を模式的に示す図である。

【図3】図３は、採点システムの処理フロー及び使用方法の概略を示す図である。

【図4】図４は、説明問題の問題文と模範解答の例である。

【図5】図５は、模範解答の特徴量抽出処理の詳細フローの一例である。

【図6】図６は、模範解答テキストから抽出された重要語句の例である。

【図7】図７は、述語項構造の一例である。

【図8】図８は、回答の特徴量抽出処理の詳細フローの一例である。

【図9】図９は、採点処理の詳細フローの一例である。

【図10】図１０は、重要語句群と回答語句群の例である。

【発明を実施するための形態】

【0014】

以下、図面を参照して、本発明の実施形態に係る採点システムについて説明する。採点システムは、説明問題の回答を自動で採点するシステムである。この採点システムは、例
えば、ｅラーニングやネット検定における回答者（受験者）の回答を採点する場面など、さまざまな用途に応用することが可能である。

【0015】

＜採点システム＞
図１は、採点システム１の構成例を示す図である。本実施形態では、いわゆるクラウド型のシステム構成を採用しており、インターネットを介して通信可能な採点サーバ（採点装置）１０とユーザ端末１１によって採点システム１が構成されている。ユーザはユーザ端末１１から採点サーバ１０にログインすることで、採点システム１により提供される採点サービスを利用することができる。例えば、ユーザが、回答データを採点サーバ１０に送信すると、採点サーバ１０において採点が行われる。ユーザは、採点結果のデータをユーザ端末１１にて閲覧ないしダウンロードすることができる。

【0016】

なお、採点システム１のユーザとしては、試験運営者（出題者）と受験者（回答者）のいずれも想定できる。試験運営者がユーザとなる場合は、ユーザが、各受験者（回答者）から収集した回答データを採点サーバ１０に一括で送り、各受験者の採点結果やその集計を受け取るような利用方法となる。他方、受験者がユーザとなる場合とは、採点システム１が出題（試験の実施）も行うケースである。例えば、受験者（ユーザ）がユーザ端末１１から採点システム１が提供するｅラーニングやネット検定などのＷｅｂサイトにアクセスし、受験する。その回答は採点サーバ１０にて自動採点され、受験者はユーザ端末１１上で採点結果や合否を閲覧することができる。

【0017】

採点サーバ１０は、例えば、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ＨＤＤ、ＳＳＤなどの大容量ストレージ）、通信装置、入力装置、表示装置などを有する汎用のコンピュータにより構成可能である。採点サーバ１０が提供する機能は、ＣＰＵがストレージに格納されたプログラムをメモリに展開し実行することによって実現されるものである。

【0018】

ユーザ端末１１は、例えば、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ＨＤＤ、ＳＳＤなどの大容量ストレージ）、通信装置、入力装置、表示装置などを有する汎用のコンピュータにより構成可能である。ユーザ端末１１が提供する機能は、ＣＰＵがストレージに格納されたプログラムをメモリに展開し実行することによって実現されるものである。図１では、ユーザ端末１１の例としてノートＰＣを示したが、パーソナル・コンピュータに限られず、スマートフォンやタブレット端末などをユーザ端末１１として利用してもよい。

【0019】

なお、図１のシステム構成はあくまで一例にすぎない。採点システム１を単体のコンピュータ（例えばユーザ端末１１のみ）で構成してもよいし、３つ以上のコンピュータの協働により構成してもよい。

【0020】

＜機能構成＞
図２は、採点システム１の機能構成を模式的に示す図である。採点システム１は、主な機能として、模範解答取得部２０、回答取得部２１、テキスト解析部２２、採点部２３、採点結果送信部２４、模範解答記憶部２６、辞書記憶部２７を有する。模範解答取得部２０は、説明問題の模範解答データを取得する機能を有する。回答取得部２１は、回答者による回答データを取得する機能を有する。テキスト解析部２２は、模範解答データ及び回答データそれぞれのテキストを解析し、特徴量を抽出する機能を有する。模範解答記憶部２６は、模範解答データから抽出された特徴量のデータを格納する記憶領域である。採点部２３は、模範解答データから抽出された特徴量と回答データから抽出された特徴量に基づいて、回答の採点を行う機能を有する。採点結果送信部２４は、採点結果をユーザ端末１１に送信する機能を有する。辞書記憶部２７は、テキスト解析部２２及び採点部２３が
参照する各種の辞書、ルール、定義、設定などのデータが格納されているデータベースである。

【0021】

＜処理フロー＞
図３を参照して、採点システム１の処理フロー及び使用方法の概略を説明する。本実施形態では、試験運営者がユーザである場合を例にとり説明を行う。

【0022】

まず、ユーザがユーザ端末１１を操作し、採点サーバ１０により提供される採点サービスにログインする（ステップＳ３００）。そして、ユーザが、新規登録メニュー（不図示）を選び、問題文とその模範解答のデータを採点サーバ１０にアップロードする（ステップＳ３０１）。問題文及び模範解答のデータのデータ形式は特に限定されず、例えば、プレーンテキストでもよいし、ワープロソフト・表計算ソフト・プレゼンテーションソフトのデータでもよいし、ＰＤＦ（Portable Document Format）形式のデータでもよいし、ＨＴＭＬ（HyperText Markup Language）やＸＭＬ（Extensible Markup Language）のよう
な構造化されたテキストデータでもよい。

【0023】

採点サーバ１０の模範解答取得部２０は、ユーザ端末１１から受け取ったデータから、問題文のテキストと模範解答のテキストをそれぞれ切り出し、模範解答記憶部２６に格納する（ステップＳ３１０）。図４は、説明問題の問題文と模範解答の例を示している。説明問題とは、語句の意味などを説明（記述）させる形式の問題である。図４の例は「特許制度」について問う問題である。説明問題の回答は、一般的に、数十文字から数百文字程度のフリーテキストで記述される。

【0024】

次に、テキスト解析部２２が、模範解答のテキストを解析して各種の特徴量を抽出する（ステップＳ３１１）。ここで用いる解析エンジン（解析アルゴリズム）及び抽出する特徴量の種類は、特に限定されない。以下は一例である。

【0025】

・単語ベクトル：テキスト中に含まれる各単語の出現頻度を要素としてもつベクトル（図６参照）。

【0026】

・重要語句：テキスト中に含まれる語句（単語又は句）のうち重要性ないし必要性の高い語句。

【0027】

・ＰＡＳ（Predicate-Argument Structure；述語項構造）：動作・状態を表す述語と、述語が表す動作・状態に関係する対象・時間・場所などを表す名詞（項）との間の構造。

【0028】

・モダリティ：モダリティとは、文のニュアンスを表現するものであり、その文が伝える客観的な内容（命題）に対して書き手や話し手がどのように感じているか（主観）を表すものである。例えば、「私はゴルフに行かなくてはならない。」という文の場合、「私はゴルフに行く」という客観的な内容に「なくてはならない」というモダリティが付与されていることで、ゴルフに行くことについてネガティブ（否定的・消極的）な感情を抱いていることが表現されている。

【0029】

・極性：肯定／否定、大／小、高／低のように対となる方向性をもつ２つの表現のうち、文中の表現が示す方向性のこと。

【0030】

・ＴＦ－ＩＤＦ：ＴＦ（Term Frequency；索引語頻度）は文章における単語（索引語）の登場頻度を表す指標であり、ＩＤＦ（Inverse Document Frequency；逆文書頻度）は単語（索引語）が登場する文書の少なさを表す指標である。ＴＦ－ＩＤＦはＴＦとＩＤＦを掛け合わせた指標であり、単語（索引語）の重みを表している。

【0031】

ステップＳ３１１で抽出された模範解答の特徴量は、模範解答テキストに紐づけて、模範解答記憶部２６に登録される（ステップＳ３１２）。このように抽出・登録された模範解答の特徴量は、模範解答を計算機の処理で扱いやすい形式で定義したデータであり、後段の回答採点処理において利用される。以上述べた模範解答の登録処理が完了すると、回答採点の準備が整う。なお、本実施形態では、ユーザにより登録された模範解答テキストを採点サーバ１０が解析し、模範解答の特徴量を抽出・登録したが、ユーザ（ユーザ端末１１）から模範解答の特徴量のデータの提供を受けてもよい。

【0032】

その後、ユーザが、採点の対象とする回答データを採点サーバ１０に送信する（ステップＳ３０２）。このとき、一人分の回答データのみ送信してもよいし、複数の受験者（回答者）の回答データをまとめて送信してもよい。

【0033】

採点サーバ１０の回答取得部２１は、ユーザ端末１１から受け取った回答データから、回答のテキストを切り出す（ステップＳ３１３）。次にテキスト解析部２２が、回答のテキストを解析して各種の特徴量を抽出する（ステップＳ３１４）。ここで用いる解析エンジン（解析アルゴリズム）及び抽出する特徴量の種類は、模範解答のテキスト解析（ステップＳ３１２）のものと同じである。

【0034】

そして、採点部２３が、模範解答記憶部２６に登録されている模範解答の特徴量のデータと、回答テキストから抽出された特徴量のデータとを比較することにより、当該回答テキストの採点を行う（ステップＳ３１５）。最後に、採点結果送信部２４が、採点結果のデータをユーザ端末１１に送信し、処理が完了する。

【0035】

＜模範解答の特徴量抽出＞
テキスト解析部２２による模範解答の特徴量抽出処理（図３のステップＳ３１１）について、さらに詳しく説明する。

【0036】

図５は、模範解答の特徴量抽出処理の詳細フローの一例である。なお、図５では、説明の便宜のため、フローチャートと併せてテキスト解析部２２が参照もしくは出力するデータを記載している。

【0037】

まず、テキスト解析部２２は、ＮＥＲモデルを用いてＮＥＲ（Named Entity Recognition；固有表現抽出）を行い、模範解答テキストに含まれるＮＥ（固有表現）を抽出し、抽出されたＮＥを重要語句として模範解答記憶部２６に格納する（ステップＳ５００）。例えば、組織名、人名、地名、日付表現、時間表現、金額表現、割合表現などがＮＥに該当する。ＮＥは文中で重要な意味をもつことが多いので、模範解答テキストに含まれるＮＥは、説明問題の回答中に記載すべき語句である蓋然性が高い。なお、ＮＥＲモデルは、注目している文字列が固有表現に該当するか否かを識別するためのモデルであり、例えば、文脈との関係や前後の単語・品詞などとの関係をルール化したものである。ＮＥＲモデルは、例えば、大規模コーパスを用いた機械学習によって獲得されたものを用いるとよい。

【0038】

また、テキスト解析部２２は、辞書記憶部２７に格納されている専門用語辞書を参照して、模範解答テキストに含まれる専門用語を抽出し、抽出された専門用語を重要語句として模範解答記憶部２６に格納する（ステップＳ５０１）。模範解答テキストに含まれる専門用語は、説明問題の回答中に記載すべき語句である可能性が高いからである。テキスト解析部２２は、説明問題の出題分野に応じて参照する専門用語辞書を切り替えてもよい。また、テキスト解析部２２は、辞書記憶部２７に格納されている辞書だけでなく、インターネット上に存在する専門用語辞書を参照してもよい。

【0039】

また、テキスト解析部２２は、ＴＦ－ＩＤＦに基づいて模範解答テキスト中の重みが大きい語句を重要語句として抽出し、模範解答記憶部２６に格納する（ステップＳ５０２）。ＴＦ－ＩＤＦで表される重みが大きいということは、模範解答テキストにおいて重要性が高い語句である可能性が高いといえるからである。

【0040】

次に、テキスト解析部２２は、ステップＳ５００～Ｓ５０２で得られた重要語句のそれぞれに対し、正規化処理を施す（ステップＳ５０３）。ここで正規化処理とは、語句の表現や表記を規定のものに変換する処理である。例えば、「知的財産権」「知財権」「産業財産権」「工業所有権」をすべて「知的財産権」に変換したり、「サーバー」「サーバ」「server」をすべて「サーバ」に変換したり、「桜」「櫻」「さくら」「サクラ」をすべて「サクラ」に変換するなど、同義語や類義語の表記を一つにまとめる。なお、正規化処理には、Ｗｏｒｄ２Ｖｅｃやシソーラスを利用すればよい。Ｗｏｒｄ２Ｖｅｃは各単語がどのような文脈で用いられているか（各単語と他の単語との関係）を学習したニューラルネットワークであり、単語を特徴ベクトルに変換する機能を有する。ベクトル間の距離によって単語同士の類似性を評価できるため、例えば、同義語や類義語を取得する目的で利用できる。シソーラスは、ある単語の上位語、下位語、同義語、類義語、部分語、全体語などが体系づけられた辞書である。

【0041】

図６は、図４の模範解答テキストから抽出された重要語句の例である。「特許制度」「発明」「特許法」「公開」「特許権」「保護対象」「自然法則」「技術的思想」の８つの語句が重要語句に選ばれている。なお、本実施形態では、ＮＥ、専門用語、ＴＦ－ＩＤＦに基づいて模範解答中の重要語句を選んだが、重要語句の選択方法はこれらに限られない。また、ＮＥ、専門用語、ＴＦ－ＩＤＦのすべてを用いる必要もなく、いずれか１つ又は２つを用いるだけでもよい。なお、模範解答中の重要語句がユーザにより指定されてもよい。例えば、ユーザが模範解答中の重要語句の部分に所定のタグを埋め込んだり、ユーザが模範解答のデータと共に重要語句のリストを提供するなど、指定方法は問わない。

【0042】

次に、テキスト解析部２２は、模範解答の単語ベクトルを生成し、模範解答記憶部２６に格納する（ステップＳ５０４）。単語ベクトルは、テキスト内における単語ごとの出現頻度を要素としてもつベクトルである。本実施形態では、ステップＳ５００～Ｓ５０３で得られた重要語句の出現頻度から単語ベクトルを生成する。図６の例の場合は、単語ベクトルは｛１，６，３，２，１，３，３，１｝となる。

【0043】

また、テキスト解析部２２は、模範解答の述語項構造解析を行い、その結果として得られるＰＡＳ（述語項構造）を模範解答記憶部２６に格納する（ステップＳ５０５）。このとき、ステップＳ５００～Ｓ５０３で得られた重要語句を含む文についてのみ述語項構造解析を行い、重要語句に関するＰＡＳのみを模範解答記憶部２６に格納してもよい。述語項構造解析は、述語が表す動作・状態に関係する対象・時間・場所などを表す名詞（項）との間の構造を解析し、述語と各項の間の格構造を判断する処理である。例えば、図７の例の場合、述語「ならない」に対して２つの項「（人為的な取り決め、計算方法などの）自然法則を利用しないものは」「保護対象とは」が係っており、前者は主体を表す「ガ格」、後者は相手を表す「ニ格」である。

【0044】

また、テキスト解析部２２は、モダリティ解析を行い、模範解答テキストのモダリティを模範解答記憶部２６に格納する（ステップＳ５０６）。なお、モダリティ解析には、肯定表現と否定表現のパターンをルール化した辞書とのマッチングを行い肯定的か否定的かを判別する手法、大規模コーパスを用いた機械学習によって獲得された分類器を用いて肯定的か否定的かを分類する手法などがあり、いずれの手法を用いてもよい。例えば、図７の例文は「否定的」な文である。

【0045】

また、テキスト解析部２２は、極性辞書を用いて極性解析を行い、模範解答テキストに含まれる極性表現及びその方向性を判別し、その結果を模範解答記憶部２６に格納する（ステップＳ５０７）。極性表現とは、肯定／否定、大／小、高／低のように対となる方向性をもつ表現のことである。例えば、図７の例文には、「利用しない」と「ならない」の２つの極性表現（いずれも否定）が含まれている。

【0046】

以上で模範解答の特徴量抽出処理は終了である。なお、本実施形態では、模範解答の特徴量として、重要語句、単語ベクトル、ＰＡＳ、モダリティ、極性表現を抽出する処理を示したが、これはあくまで一例である。模範解答の特徴量としては、これらのうちの少なくともいずれかを抽出すればよいし、これら以外の他の特徴量を抽出してもよい。また、特徴量の抽出処理の順番や、特徴量の抽出アルゴリズム（テキストの解析アルゴリズム）も上記のものに限られない。

【0047】

＜回答の特徴量抽出＞
テキスト解析部２２による回答の特徴量抽出処理（図３のステップＳ３１４）について、さらに詳しく説明する。

【0048】

図８は、回答の特徴量抽出処理の詳細フローの一例である。なお、図８では、説明の便宜のため、フローチャートと併せてテキスト解析部２２が参照もしくはワークメモリに記憶するデータを記載している。図８に示したステップＳ８００～Ｓ８０７の処理は、図３に示したステップＳ３００～Ｓ３０７の処理と基本的に同じであるため、以下では詳しい説明を割愛する。

【0049】

まず、テキスト解析部２２は、ＮＥＲモデルを用いてＮＥＲを行い、回答テキストに含まれるＮＥを抽出し、抽出されたＮＥを回答語句としてワークメモリに格納する（ステップＳ８００）。また、テキスト解析部２２は、辞書記憶部２７に格納されている専門用語辞書を参照して、回答テキストに含まれる専門用語を抽出し、抽出された専門用語を回答語句としてワークメモリに格納する（ステップＳ８０１）。また、テキスト解析部２２は、ＴＦ－ＩＤＦに基づいて回答テキスト中の重みが大きい語句を回答語句として抽出し、ワークメモリに格納する（ステップＳ８０２）。次に、テキスト解析部２２は、ステップＳ８００～Ｓ８０２で得られた回答語句のそれぞれに対し、正規化処理を施す（ステップＳ８０３）。次に、テキスト解析部２２は、回答テキストの単語ベクトルを生成し、ワークメモリに格納する（ステップＳ８０４）。また、テキスト解析部２２は、回答テキストの述語項構造解析を行い、その結果として得られるＰＡＳ（述語項構造）をワークメモリに格納する（ステップＳ８０５）。このとき、ステップＳ８００～Ｓ８０３で得られた回答語句を含む文についてのみ述語項構造解析を行ってもよい。また、テキスト解析部２２は、モダリティ解析を行い、回答テキストのモダリティをワークメモリに格納する（ステップＳ８０６）。テキスト解析部２２は、極性辞書を用いて極性解析を行い、回答テキストに含まれる極性表現及びその方向性を判別し、その結果をワークメモリに格納する（ステップＳ８０７）。以上で回答の特徴量抽出処理は終了である。

【0050】

＜採点＞
採点部２３による採点処理（図３のステップＳ３１５）について、さらに詳しく説明する。図９は、採点処理の詳細フローの一例である。

【0051】

まず、採点部２３は、回答テキストの単語ベクトルと模範解答の単語ベクトルとを比較し、単語ベクトルの類似度を表すスコアを計算する（ステップＳ９００）。具体的には、採点部２３は、模範解答記憶部２６から模範解答の単語ベクトルを読み出し、ワークメモリに記憶された回答テキストの単語ベクトルとの間の類似度を計算する。単語ベクトル同士の類似度は、例えば、コサイン類似度などで評価すればよい。ここで求められるスコア
は、模範解答と回答テキストの全体的な類似度合を表している。

【0052】

次に、採点部２３は、模範解答の重要語句群と回答テキストの回答語句群とを比較し、回答語句群による重要語句のカバー率を表すスコアを計算する（ステップＳ９０１）。具体的には、採点部２３は、模範解答記憶部２６から模範解答の重要語句群を読み出し、ワークメモリに記憶された回答テキストの回答語句群と比較することによって、重要語句群の総数に対する、重要語句群と回答語句群の両方に含まれる語句数の割合を計算する。この割合が重要語句のカバー率（含有率）である。例えば、図１０の例の場合、８個の重要語句のうち、「公開」と「特許権」を除く６個が回答語句群に含まれているので、カバー率は、（６／８）×１００＝７５％ となる。このスコアは、回答者の知識の豊富さ（知識力）を表している。

【0053】

ここで、重要語句ごとに重みが設定されている場合には、重要語句のカバー率を計算する際に重みを考慮してもよい。すなわち、回答語句群の中に重みが大きい重要語句が含まれているほどカバー率が高くなるようにカバー率の計算式を設計する。例えば、図１０の例において、重要語句群の出現頻度を重みとして用いた場合には、出現頻度の合計が２０であり、「公開」と「特許権」の出現頻度の合計が３であるため、重みを考慮したカバー率は、｛（２０－３）／２０｝×１００＝８５％ となる。

【0054】

次に、採点部２３は、模範解答での重要語句の述語項構造と、回答テキストでの対応する語句の述語項構造とを比較し、述語項構造の一致度を表すスコアを計算する（ステップＳ９０２）。ここで求められるスコアは、回答テキストにおいて重要語句が正しい係り関係で用いられているか、すなわち、重要語句に対する理解の正確さを表している。

【0055】

次に、採点部２３は、模範解答における重要語句を含む文の極性と、回答テキストにおける対応する語句を含む文の極性とを比較し、極性の一致度を表すスコアを計算する（ステップＳ９０３）。前述のようにモダリティと極性表現の２つの特徴量が抽出されている場合であれば、モダリティの一致度と極性表現の一致度の両方を評価してもよい。ここで求められるスコアは、回答テキストにおいて重要語句が正しい極性で用いられているか、すなわち、重要語句に対する理解の正確さを表している。

【0056】

次に、採点部２３は、回答テキストと模範解答との間の含意解析を行い、２つのテキストの含意度合を表すスコアを出力する（ステップＳ９０４）。含意解析は、一方のテキストが他方のテキストを含意するかどうかを判断する処理であり、含意関係認識とも呼ばれる。含意解析のアルゴリズムは公知のもの（例えば特開２０１８－１９０３３９号公報参照）を利用することができる。

【0057】

最後に、採点部２３は、ステップＳ９００～Ｓ９０４でそれぞれ計算された、複数項目のスコアを総合することにより、回答テキストの点数を決定する（ステップＳ９０５）。例えば、複数項目のスコアを単純加算あるいは重み付け加算することによって、最終的な点数を計算すればよい。以下は、重み付け加算の計算式の例である。
点数＝ｗ１×単語ベクトル類似度＋ｗ２×重要語句カバー率＋ｗ３×述語項構造の一致度＋ｗ４×極性の一致度＋ｗ５×含意度合
ただし、ｗ１～ｗ５は重みである。また、最終的な点数の最大値が規定の点数（例えば１００点）となるように、各項目のスコアは正規化されているものとする。

【0058】

以上述べたように、本実施形態の採点システム１によれば、説明問題の回答の採点を自動ないし略自動で行うことができる。それゆえ、説明問題の採点コストを抑えることができるとともに、説明問題の採点のレベルを均一化できる。また、本実施形態では、複数項目に関してスコアを求め、それらを総合して最終的な点数を計算するので、採点の精度及
び採点結果の妥当性を向上することができる。したがって、採点システム１を利用することによって、説明問題を含む試験を容易に実施できるようになる。

【符号の説明】

【0059】

１：採点システム
１０：採点サーバ
１１：ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】