▶ 株式会社日立ソリューションズ西日本の特許一覧 ▶ 株式会社ベネッセコーポレーションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-18
(45)【発行日】2023-05-26
(54)【発明の名称】文書評価装置、文書評価方法及びプログラム
(51)【国際特許分類】
G06F 40/253 20200101AFI20230519BHJP
G06F 40/279 20200101ALI20230519BHJP
G06F 16/906 20190101ALI20230519BHJP
G09B 19/00 20060101ALI20230519BHJP
G06Q 50/20 20120101ALI20230519BHJP
G09B 19/06 20060101ALN20230519BHJP
【ＦＩ】
G06F40/253
G06F40/279
G06F16/906
G09B19/00 H
G06Q50/20
G09B19/06
【請求項の数】
11
(21)【出願番号】P 2019004614
(22)【出願日】2019-01-15
(65)【公開番号】P2020113129
(43)【公開日】2020-07-27
【審査請求日】2021-12-23
(73)【特許権者】
【識別番号】505194686
【氏名又は名称】株式会社日立ソリューションズ西日本
(73)【特許権者】
【識別番号】709006024
【氏名又は名称】株式会社ベネッセコーポレーション
(74)【代理人】
【識別番号】110001678
【氏名又は名称】藤央弁理士法人
(72)【発明者】
【氏名】三好 利昇
【審査官】成瀬 博之
(56)【参考文献】
【文献】特開２００１－０５６６３４（ＪＰ，Ａ）
【文献】特開２００２－１４０４６５（ＪＰ，Ａ）
【文献】特開２０１７－１６７４１３（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ ４０／００－４０／５８
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｑ １０／００－９９／００
Ｇ０９Ｂ １／００－ ９／５６
Ｇ０９Ｂ １７／００－１９／２６
(57)【特許請求の範囲】
【請求項1】
メモリに記憶されたプログラムを実行するプロセッサと、前記プロセッサがプログラムの実行時に使用するデータを格納するメモリを有する計算機で構成される文書評価装置であって、前記プロセッサは、前記プログラムの実行によって以下の機能部として機能するものであって、
前記文書評価装置は、
入力された採点パタン生成用の解答文から形態素と係り受け関係を解析する構文解析部と、
前記解答文から３項関係を抽出する情報抽出部と、
３項関係と、構文解析結果と、３項関係の付加情報である時制、モダリティ、及び日時との関係を教師データとして学習した機械学習モデルを用いて、前記構文解析部の解析結果と、前記情報抽出部が抽出した３項関係から当該３項関係の付加情報を推定する情報表現型推定部と、
構文解析結果と３項関係の相互の関係との関係を教師データとして学習した機械学習モデルを用いて、前記構文解析部の解析結果から前記情報抽出部が抽出した３項関係の相互の関係を推定する情報間関係推定部と、
前記解答文を階層的なクラスタに分類する階層クラスタリング部と、
前記クラスタの大きさに基づいて、前記クラスタをソートするクラスタソート部と、
読み込んだ採点結果に適合する採点条件を採点パタンとして選択する採点パタン生成部と、を有し、
前記階層クラスタリング部は、前記解答文における語句の出現比率と当該語句の重要度を乗じた値を含む特徴行列の類似度によって、前記解答文を階層的なクラスタに分類し、
前記採点パタン生成部は、
単語または語句間の上位下位関係が予め記録された意味カテゴリ辞書を用いて、前記３項関係の各項に含まれる単語または語句を上位概念に置換して、抽象化し、
前記情報抽出部が抽出した３項関係と、前記３項関係の各項の抽象化の程度と、前記情報表現型推定部が解析した前記３項関係の付加情報と、前記情報間関係推定部が推定した前記３項関係の相互の関係を組み合わせた条件のうち、採点結果の一致度が高い条件の解答文を採点パタンとして選択し、
前記クラスタソート部のソート結果に基づいて、所定の閾値以上の解答文を含むクラスタを多数派解答文と判定し、前記閾値未満の解答文を含むクラスタを少数派解答文と判定し、
前記多数派解答文から生成した採点パタンの信頼度を高く設定し、前記少数派解答文から生成した採点パタンの信頼度を低く設定することを特徴とする文書評価装置。
【請求項2】
請求項１に記載の文書評価装置であって、採点対象解答文を読み込んで、前記採点パタンに基づいて採点結果を生成する採点部をさらに有することを特徴とする文書評価装置。
【請求項3】
請求項１に記載の文書評価装置であって、前記情報抽出部は、前記意味カテゴリ辞書を用いて、前記解答文内の単語または語句を検出し、２つの単語または語句間の関係を表す単語または語句から前記解答文内の２つの単語または語句間の関係を推定し、前記２つの単語または語句と前記関係を表す単語または語句から成る３つの項を前記３項関係として抽出することを特徴とする文書評価装置。
【請求項4】
請求項１に記載の文書評価装置であって、
前記採点パタン生成部は、採点パタンと信頼度を表示する画面データを出力することを特徴とする文書評価装置。
【請求項5】
メモリに記憶されたプログラムを実行するプロセッサと、前記プロセッサがプログラムの実行時に使用するデータを格納するメモリを有する計算機が、解答文を採点する文書評価方法であって、
前記計算機が、入力された採点パタン生成用の解答文から形態素と係り受け関係を解析する第１のステップと、
前記計算機が、前記解答文から３項関係を抽出する第２のステップと、
前記計算機が、３項関係と、構文解析結果と、３項関係の付加情報である時制、モダリティ、及び日時との関係を教師データとして学習した機械学習モデルを用いて、前記形態素と係り受け関係の解析結果と、前記抽出された３項関係から当該３項関係の付加情報を推定する第３のステップと、
前記計算機が、構文解析結果と３項関係の相互の関係との関係を教師データとして学習した機械学習モデルを用いて、前記第１のステップにおける解析結果から前記抽出された３項関係の相互の関係を推定する第４のステップと、
前記計算機が、前記解答文を階層的なクラスタに分類する第５のステップと、
前記計算機が、前記クラスタの大きさに基づいて、前記クラスタをソートする第６のステップと、
前記計算機が、読み込んだ採点結果に適合する採点条件を採点パタンとして選択する第７のステップと、
を含み、
前記第５のステップでは、
前記計算機が、前記解答文における語句の出現比率と当該語句の重要度を乗じた値を含む特徴行列の類似度によって、前記解答文を階層的なクラスタに分類し、
前記第７のステップでは、
前記計算機が、単語または語句間の上位下位関係が予め記録された意味カテゴリ辞書を用いて、前記３項関係の各項に含まれる単語または語句を上位概念に置換して、抽象化し、
前記計算機が、前記第２のステップで抽出された３項関係と、前記３項関係の各項の抽象化の程度と、前記第３のステップで解析された前記３項関係の付加情報と、前記第２のステップで推定された前記３項関係の相互の関係を組み合わせた条件のうち、採点結果の一致度が高い条件の解答文を採点パタンとして選択し、
前記計算機が、前記第６のステップにおけるソート結果に基づいて、所定の閾値以上の解答文を含むクラスタを多数派解答文と判定し、前記閾値未満の解答文を含むクラスタを少数派解答文と判定し、
前記計算機が、前記多数派解答文から生成した採点パタンの信頼度を高く設定し、前記少数派解答文から生成した採点パタンの信頼度を低く設定することを特徴とする文書評価方法。
【請求項6】
請求項５に記載の文書評価方法であって、
前記計算機が、採点対象解答文を読み込んで、前記採点パタンに基づいて採点結果を生成する第８のステップを、をさらに含むことを特徴とする文書評価方法。
【請求項7】
請求項５に記載の文書評価方法であって、
前記第２のステップでは、
前記計算機が、前記意味カテゴリ辞書を用いて、前記解答文内の単語または語句を検出し、２つの単語または語句間の関係を表す単語または語句から前記解答文内の２つの単語または語句間の関係を推定し、前記２つの単語または語句と前記関係を表す単語または語句から成る３つの項を前記３項関係として抽出することを特徴とする文書評価方法。
【請求項8】
請求項５に記載の文書評価方法であって、
前記第７のステップでは、
前記計算機が、採点パタンと信頼度を表示する画面データを出力することを特徴とする文書評価方法。
【請求項9】
メモリに記憶されたプログラムを実行するプロセッサと、前記プロセッサがプログラムの実行時に使用するデータを格納するメモリを有する計算機で、解答文を採点させるためのプログラムであって、
入力された採点パタン生成用の解答文から形態素と係り受け関係を解析する第１のステップと、
前記解答文から３項関係を抽出する第２のステップと、
３項関係と、構文解析結果と、３項関係の付加情報である時制、モダリティ、及び日時との関係を教師データとして学習した機械学習モデルを用いて、前記形態素と係り受け関係の解析結果と、前記抽出された３項関係から当該３項関係の付加情報を推定する第３のステップと、
構文解析結果と３項関係の相互の関係との関係を教師データとして学習した機械学習モデルを用いて、前記第１のステップにおける解析結果から前記抽出された３項関係の相互の関係を推定する第４のステップと、
前記解答文を階層的なクラスタに分類する第５のステップと、
前記クラスタの大きさに基づいて、前記クラスタをソートする第６のステップと、
読み込んだ採点結果に適合する採点条件を採点パタンとして選択する第７のステップと、
を前記計算機に実行させるためのプログラムであって、
前記第５のステップでは、
前記解答文における語句の出現比率と当該語句の重要度を乗じた値を含む特徴行列の類似度によって、前記解答文を階層的なクラスタに分類し、
前記第７のステップでは、
単語または語句間の上位下位関係が予め記録された意味カテゴリ辞書を用いて、前記３項関係の各項に含まれる単語または語句を上位概念に置換して、抽象化し、
前記第２のステップで抽出された３項関係と、前記３項関係の各項の抽象化の程度と、前記第３のステップで解析された前記３項関係の付加情報と、前記第２のステップで推定された前記３項関係の相互の関係を組み合わせた条件のうち、採点結果の一致度が高い条件の解答文を採点パタンとして選択し、
前記第６のステップにおけるソート結果に基づいて、所定の閾値以上の解答文を含むクラスタを多数派解答文と判定し、前記閾値未満の解答文を含むクラスタを少数派解答文と判定し、
前記多数派解答文から生成した採点パタンの信頼度を高く設定し、前記少数派解答文から生成した採点パタンの信頼度を低く設定するプログラム。
【請求項10】
請求項９に記載のプログラムであって、
採点対象解答文を読み込んで、前記採点パタンに基づいて採点結果を生成する第８のステップを、をさらに含むことを特徴とするプログラム。
【請求項11】
請求項９に記載のプログラムであって、
前記第２のステップでは、
前記意味カテゴリ辞書を用いて、前記解答文内の単語または語句を検出し、２つの単語または語句間の関係を表す単語または語句から前記解答文内の２つの単語または語句間の関係を推定し、前記２つの単語または語句と前記関係を表す単語または語句から成る３つの項を前記３項関係として抽出することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文書評価装置及び文書評価方法に関する。
【背景技術】
【0002】
本技術分野の背景技術として、記述式問題の採点補助と、採点効率化及び自動採点技術が知られている。たとえば、特許文献１には、「コンピュータを用いて、最初に受験者の解答文を文法の規則に従って２つの階層に分類する。次に、第一層を基本文型として文の構成の完成度を検証する。次に第一層と第二層が有効的に連結しているかを検証する。最後に必須の語句の数と制限文字数の条件を採点し、基本文型と補助語を加えた４項目の点数を合計して得点を自動的に計算する。」文章自動採点システムが記載されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１７－１２９８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
記述式問題の採点においては、問題ごとに様々な採点の基準があり、その採点基準に沿った採点を行う必要がある。自動採点において、採点基準ごとに、採点済み解答文データを教師データとして準備しておき、機械学習を用いて自動採点装置を構築する方法が考えられる。しかし、個別の採点基準ごとに、教師データを準備するのは、多くのコストがかかる、という問題があった。
【0005】
また、採点基準ごとに、構文解析結果などの文法に基づく採点ルールを生成し、自動採点を行うルールベースの方法が考えられる。しかし、構文解析結果等に基づくルール生成では、構文解析結果等に関する専門知識が必要となる場合があり、ルールの数が膨大かつ、複雑となる場合がある、など、ルールの生成やメンテナンスが難しくなる、という問題があった。
【0006】
さらに、記述式解答文には、同じ問題に対する解答文であっても、様々な内容のものがあり、自動採点が難しいものがある。自動採点が難しいものは人手で採点するなど、人手での採点と自動採点で効率よく採点を分担するために、自動採点結果だけではなく、その信頼性を判定する必要がある、という問題があった。
【0007】
そこで本発明は、上記問題点に鑑みてなされたもので、採点パタンに基づいた自動採点と、自動採点の信頼性を判定することを目的とする。
【課題を解決するための手段】
【0008】
本発明は、メモリに記憶されたプログラムを実行するプロセッサと、前記プロセッサがプログラムの実行時に使用するデータを格納するメモリを有する計算機で構成される文書評価装置であって、前記プロセッサは、前記プログラムの実行によって以下の機能部として機能するものであって、前記文書評価装置は、入力された採点パタン生成用の解答文から形態素と係り受け関係を解析する構文解析部と、前記解答文から３項関係を抽出する情報抽出部と、３項関係と、構文解析結果と、３項関係の付加情報である時制、モダリティ、及び日時との関係を教師データとして学習した機械学習モデルを用いて、前記構文解析部の解析結果と、前記情報抽出部が抽出した３項関係から当該３項関係の付加情報を推定する情報表現型推定部と、構文解析結果と３項関係の相互の関係との関係を教師データとして学習した機械学習モデルを用いて、前記構文解析部の解析結果から前記情報抽出部が抽出した３項関係の相互の関係を推定する情報間関係推定部と、前記解答文を階層的なクラスタに分類する階層クラスタリング部と、前記クラスタの大きさに基づいて、前記クラスタをソートするクラスタソート部と、読み込んだ採点結果に適合する採点条件を採点パタンとして選択する採点パタン生成部と、を有し、前記階層クラスタリング部は、前記解答文における語句の出現比率と当該語句の重要度を乗じた値を含む特徴行列の類似度によって、前記解答文を階層的なクラスタに分類し、前記採点パタン生成部は、単語または語句間の上位下位関係が予め記録された意味カテゴリ辞書を用いて、前記３項関係の各項に含まれる単語または語句を上位概念に置換して、抽象化し、前記情報抽出部が抽出した３項関係と、前記３項関係の各項の抽象化の程度と、前記情報表現型推定部が解析した前記３項関係の付加情報と、前記情報間関係推定部が推定した前記３項関係の相互の関係を組み合わせた条件のうち、採点結果の一致度が高い条件の解答文を採点パタンとして選択し、前記クラスタソート部のソート結果に基づいて、所定の閾値以上の解答文を含むクラスタを多数派解答文と判定し、前記閾値未満の解答文を含むクラスタを少数派解答文と判定し、前記多数派解答文から生成した採点パタンの信頼度を高く設定し、前記少数派解答文から生成した採点パタンの信頼度を低く設定する。
【発明の効果】
【0009】
したがって、本発明は、採点基準ごとに、正答と誤答を判定する採点パタンを生成し、採点パタンに基づいた自動採点を行う方法を提供することができる。また、解答文を多数派答案と少数派答案に分類することで、自動採点が容易な解答文（多数派解答文）と自動採点が難しい解答文（少数派解答文）に分類することで、自動採点の信頼性を判定することが可能となる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施例１を示し、文書評価装置の構成の一例を示すブロック図である。
【図2】本発明の実施例１を示し、文書評価装置で行われる処理の一例を示すフローチャートである。
【図3A】本発明の実施例１を示し、構文解析の一例を示す図である。
【図3B】本発明の実施例１を示し、構文解析結果の一例を示す図である。
【図3C】本発明の実施例１を示し、情報抽出の一例を示す図である。
【図4】本発明の実施例１を示し、情報抽出から抽象化を行った一例を示す図である。
【図5A】本発明の実施例１を示し、解答文の階層クラスタリングの結果をソートした後の一例を示す図である。
【図5B】本発明の実施例１を示し、ソート後の解答文の一例を示す図である。
【図6A】本発明の実施例１を示し、階層クラスタリングのソート前の例を示す図である。
【図6B】本発明の実施例１を示し、ソート前の解答文の一例を示す図である。
【図7A】本発明の実施例１を示し、解答文採点データの一例を示す図である。
【図7B】本発明の実施例１を示し、採点条件の一例を示す図である。
【図8】本発明の実施例１を示し、解答文を特徴ベクトルで表現する例を示す図である。
【図9A】本発明の実施例１を示し、問題文テーブルの一例を示す図である。
【図9B】本発明の実施例１を示し、解答文テーブルの一例を示す図である。
【図9C】本発明の実施例１を示し、解答文の採点結果テーブルの一例を示す図である。
【図10A】本発明の実施例１を示し、意味カテゴリ辞書の上位下位関係の木構造の一例を示す図である。
【図10B】本発明の実施例１を示し、意味カテゴリ辞書の一例を示す図である。
【図11】本発明の実施例２を示し、文書評価装置で行われる処理の一例を示すフローチャートである。
【図12A】本発明の実施例４を示し、答案データ入力画面の一例を示す図である。
【図12B】本発明の実施例４を示し、採点済みの答案データの一例を示す図である。
【図12C】本発明の実施例４を示し、未採点の答案データの一例を示す図である。
【図13】本発明の実施例４を示し、採点パタン表示画面の一例を示す図である。
【図14】本発明の実施例４を示し、採点パタン編集画面の一例を示す図である。
【図15】本発明の実施例４を示し、採点画面の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して本発明の実施形態を説明する。
【0012】
マークシート式の試験と異なり、記述式試験は、人手による採点が必要となり、多くの採点者が必要になる、採点に要する日数も必要となる、などの課題がある。本実施形態の文書評価装置は、この採点を支援する。
【0013】
以下では、英語の試験問題を例に、実施形態の説明を行うが、他言語においても、同様の方法を適用することができる。なお、実際には、大量の解答文を用いて処理を行うが、以下では、各処理の方法を簡単に説明するために、模式的に例を示している。
【実施例1】
【0014】
図１は、本実施例１の文書評価装置１０１の構成例を示すブロック図である。本実施例１の文書評価装置１０１は、例えば、入力装置１０２、表示装置１０３、通信装置１０４、演算装置１０５、メモリ１０６、及び補助記憶装置１０７を含む計算機によって構成される。
【0015】
入力装置１０２は、ユーザからのコマンド等の入力を受け付ける。例えば、キーボードや、マウスや、タッチパネル等である。入力装置１０２は、演算装置１０５が実行するプログラムの制御、及び文書評価装置１０１に接続された機器の制御のために実行されるコマンド等の入力を受け付ける。
【0016】
表示装置１０３は、ディスプレイ等で構成される。通信装置１０４は、例えば、所定のプロトコルに従って、文書評価装置１０１による処理内容を外部機器に送信したり、外部機器から情報を受信したりする。
【0017】
演算装置１０５は、プロセッサを含み、メモリ１０６に格納されたプログラムを実行する。メモリ１０６は、不揮発性の記憶素子であるＲＯＭ及び不揮発性の記憶素子であるＲＡＭを含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ）などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、演算装置１０５が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。
【0018】
補助記憶装置１０７は、例えば、磁気記憶装置（ＨＤＤ）、フラッシュメモリ（ＳＳＤ）等の大容量かつ不揮発性の記憶装置であり、演算装置１０５が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置１０７から読み出されて、メモリ１０６にロードされて、演算装置１０５によって実行される。
【0019】
演算装置１０５が実行するプログラムは、リムーバブルメディア（ＣＤ－ＲＯＭ，フラッシュメモリなど）又はネットワークを介して文書評価装置１０１に提供され、非一時的記憶媒体である不揮発性の補助記憶装置１０７に格納される。このため、文書評価装置１０１は、リムーバブルメディアからデータを読み込むインタフェースを有するとよい。
【0020】
文書評価装置１０１は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで処理してもよく、複数の物理的計算機資源上に構築された仮想計算機上で処理してもよい。
【0021】
演算装置１０５は、採点パタン生成処理部２０１、採点処理部２０２として機能する。例えば、演算装置１０５は、メモリ１０６にロードされた採点パタン生成処理プログラムにしたがって処理を実行することで、採点パタン生成処理部２０１として機能し、メモリ１０６にロードされた採点プログラムにしたがって処理することで、採点処理部２０２として機能する。演算装置１０５に含まれる他の部についても同様である。
【0022】
採点パタン生成処理部２０１は、解答文とその採点データを用いて、得点をつける基準となる採点パタン２１５を生成する。また、採点処理部２０２は、採点パタン生成処理部２０１によって生成された採点パタン２１５を用いて、解答文に得点をつける。
【0023】
補助記憶装置１０７は、採点パタン生成用解答文２０３と、解答文採点データ２１３と、意味カテゴリ辞書２１４と、採点パタン２１５と、採点対象解答文２１７及び採点結果２１８、を保持する。
【0024】
採点パタン生成用解答文２０３は、問題ごとに、解答文が記録されたデータベースで、採点パタン生成用に用いる問題文テーブル９０１と解答文テーブル９０２を含む。図９Ａは問題文を格納する問題文テーブル９０１の一例を示す図である。問題文テーブル９０１は、問題ＩＤ９０１１と問題文９０１２が格納されている。
【0025】
図９Ｂは解答文テーブル９０２の一例を示す図である。解答文テーブル９０２は、問題文を識別する問題文ＩＤ９０２１と、解答文を識別する解答文ＩＤ９０２２と、解答文９０２３が格納される。
【0026】
解答文テーブル９０２の問題文ＩＤ９０２１と、問題文テーブル９０１の問題文ＩＤ９０１１は対応している。解答文テーブル９０２の２行目には、問題文ＩＤが「１」、解答文ＩＤが「２」の解答文が格納されている。
【0027】
なお、図９Ａ、図９Ｂに示した問題文テーブル９０１、解答文テーブル９０２の例では、問題文、解答文、ともに１センテンスから成る例を挙げたが、問題文、解答文は複数文から構成される場合もある。本実施例１では説明を簡単にするために、１センテンスの例で説明するが、複数文の場合も同様の処理を適用する。
【0028】
解答文採点データ２１３には、採点パタン生成用解答文２０３の解答文に対する採点結果が記録されている。これは、人または計算機などにより、予め解答文に対して採点した結果である。
【0029】
図９Ｃは、採点結果テーブル９０３の一例を示す図である。採点結果テーブル９０３は、問題文ＩＤ９０３１と、解答文ＩＤ９０３２と、採点基準Ａによる採点結果を格納する基準Ａ９０３３と、採点基準Ｂによる採点結果を格納する基準Ａ９０３４をひとつのレコードに含む。解答文の採点には、ひとつの基準を用いてもよいし、複数の基準を用いても良い。
【0030】
図９Ｃには、各解答文に対して、３列目に基準Ａ９０３３での採点結果、４列目に基準Ｂ９０３４での採点結果テーブル９０３が示されている。採点基準には、例えば、時制が正しく用いられている、活用形が正しく用いられている、スペルミスがない、問題文に対する答えとして意味が通っている、冠詞が正しい、などが考えられる。
【0031】
また、採点は、採点基準に沿って、数段階で採点してもよい。例えば、図９Ｃの基準Ａ９０３３では０点と１点の２段階、基準Ｂ９０３４は０～２点の３段階となっている。例えば、数字が高いほうが、高得点、などとして表現する。
【0032】
図１の意味カテゴリ辞書２１４には、物、組織、人、地名、職業などの実体や概念を表すエンティティ間の上位下位関係が記録されている。図１０Ａは、意味カテゴリ辞書２１４の上位下位関係の木構造の一例を示す図である。図１０Ｂは、意味カテゴリ辞書２１４の一例を示す図である。
【0033】
図１０Ａのノード１００３～１００１には、職業（occupation）に関係する概念について、上位下位関係を木構造で示している。これをテーブル化したものが図１０Ｂの意味カテゴリ辞書２１４となる。このように、概念と、概念同士の上位下位関係をテーブルで記録しておく。
【0034】
図１の採点パタン２１５は、採点の基準を言語処理の観点から、パタン化し、記録したもので、これについては、後に詳しく説明する。
【0035】
図１の採点対象解答文２１７は、採点対象となる解答文を記録したもので、形式は、図９Ａ、図９Ｂと同様である。ただし、採点パタン生成用解答文２０３に記録されている解答文は、採点パタン２１５を生成する目的に用いるのに対し、採点対象解答文２１７は、本実施例１の文書評価装置１０１によって、採点される対象となる解答文を記録したものである。
【0036】
採点結果２１８は、採点対象解答文２１７の解答文に対する採点の結果を記録したもので、形式は、図９Ｃと同様である。ただし、本実施例１の文書評価装置１０１を用いて採点された結果である。
【0037】
なお、本実施例１において、文書評価装置１０１が使用する情報は、データ構造に依存せず、テーブル、リストなど、どのようなデータ構造で表現されていてもよい。
【0038】
なお、文書評価装置１０１は、入力装置１０２、表示装置１０３及び通信装置１０４のうち、入力と出力の手段を備える装置を含んでいれば良い。文書評価装置１０１が入力装置１０２を含んでいない場合、例えば、通信装置１０４が外部機器からコマンド等の入力を受け付ける。文書評価装置１０１が表示装置１０３を含んでいない場合、例えば、通信装置１０４が、文書評価装置１０１が生成した処理結果（表示画面の情報）を外部機器に送信する。
【0039】
各処理部は、メモリ１０６又は補助記憶装置１０７を介して、他の処理部への入出力を実行してもよい。例えば、採点パタン生成処理２０１に含まれるモジュールＡは、処理結果を別のモジュールＢに渡す場合、一旦、モジュールＡの処理結果をメモリ１０６又は補助記憶装置１０７に格納し、モジュールＢは、メモリ１０６又は補助記憶装置１０７に格納されている当該出力結果を入力として取得してもよい。
【0040】
図２は、本実施例１における文書評価装置１０１が実施する処理の一例を示すフローチャートである。文書評価装置１０１が実行する処理は、大きく分けて、採点パタン生成処理２０１、及び採点処理２０２の２つの部分に分けられる。
【0041】
以下では、問題文が図９Ａに示す問題文ＩＤ９０１１が「１」の問題文９０１２に対する採点問題を想定して説明する。複数の問題文がある場合には、問題文ごとに同様の処理をすればよい。
【0042】
まず、採点パタン生成処理２０１で行われる処理の一例について説明する。基礎解析２０４では、構文解析２０５、情報抽出２０６により、採点パタン生成用解答文２０３の解答文に対して構文解析処理と、情報抽出処理を適用する。以下、構文解析２０５、情報抽出２０６の処理について説明する。
【0043】
構文解析２０５では、採点パタン生成用解答文２０３に含まれる、各解答文の各文について、形態素解析と、係り受け解析などの構文解析を適用する。なお、形態素解析と、係り受け解析については公知または周知の技術を適用すれば良いので、本実施例では詳述しない。
【0044】
図３Ａは、解答文９０２３が“I wanted to become a very kind nurse.”という文の場合、形態素解析、係り受け解析の結果の例を示している。図３Ｂは、構文解析結果３０１の一例を示す図である。
【0045】
構文解析結果３０１は、解答文９０２３内の各形態素を識別する番号を格納するＩＤ３０１１と、各形態素の表層表現を格納するトークン３０１２と、各形態素の品詞（記号はPenn TreebankのPOSタグの定義などを参照）３０１３と、係り受け先のトークンのＩＤを指す係り受け先３０１４と、係り受け関係の種類を示す係り受け型３０１５と、各トークンの解答文９０２３内での文字の位置を示す位置３０１６と、をひとつのレコードに含む。
【0046】
本実施例１では、係り受け型３０１５を、Stanford Core NLPの型定義の方法に従って例を示した。位置は、例えば、解答文９０２３の先頭からバイト単位でのトークンの始点、終点位置などを用いると良い。なお、“it”や“they”などの指示語については、指示語が指す実体を分析する照応解析などを行ってもよい。
【0047】
情報抽出２０６では、採点パタン生成用解答文２０３に含まれる、各解答文９０２３の各文から、３項関係の情報を抽出する。
【0048】
図３Ｃは、情報抽出の一例を示す図である。図示の例では、情報抽出２０６が解答文３０２＝“I wanted to become a very kind nurse.”から、“I”, “become”, “very kind nurse”の３つの要素から成る３項関係３０３を抽出している。この３項関係３０３は、例えば、最初の項（“I”）と最後の項（“very kind nurse”）が概念などのエンティティを表す項で、真ん中の項（“become”）がその２つのエンティティ間の関係を表す。そして、情報抽出２０６は、例えば、２つのエンティティと関係から成る３つの項を３項関係として抽出する。
【0049】
また、位置３０３は、解答文３０２内での各項に対応する文頭からの文字の位置を示しており、例えば、図３Ｃに示すようなバイト単位の位置を用いたデータ形式で表現する。なお、各項の表現は、必ずしも、元の文内の単語で表現する必要はなく、エンティティまたは関係を表す別の記号によって表現してもよい。
【0050】
例えば、“very kind nurse”は、これを抽象化して、“medical personnel”で表現してもよい。この場合、この例文からは、(I, become, medical personnel)という情報が抽出されたことになる。なお、この３項関係３０３には、例えば、上記の例のように第一項目が主語、第二項目が述語、第三項目が目的語、補語、などとなるケースが多いが、２つのエンティティ間の関係を表すものであればよい。
【0051】
基礎解析２０４の情報抽出２０６は、例えば、解答文３０２内のエンティティを認識して抽出する識別器と、エンティティ間の関係を認識する識別器を、機械学習によって構築し、用いても良い。この場合には、予め、学習用の教師データを生成しておく必要がある。また、構文解析の結果を用いて、３項関係３０３を抽出するルールなどを生成する方法を用いることもできる。また、OpenIE などの公知または周知の技術を適用してもよい。
【0052】
また、情報抽出２０６では、ひとつの解答文３０２から複数の３項関係を抽出する場合もある。例えば、解答文３０２が“I wanted to become a very kind nurse when I was little.”の場合には、(I, become, very kind nurse), (I, was, little)の２つの３項関係を抽出する、などの場合がある。なお、３項関係に“it”, “ they” などの指示語が含まれる場合には、照応解析により、これらが示す実体に置換しておくとよい。
【0053】
上記の基礎解析２０４の結果は、メモリ１０６、補助記憶装置１０７などに格納しておく。次に、基礎解析２０４の結果を用いた高次解析２０７について説明する。高次解析２０７には、情報表現型推定２０８と、情報間関係推定２０９の２つの処理を含む。
【0054】
情報表現型推定２０８では、構文解析２０５と情報抽出２０６の結果を用いて、情報抽出２０６で抽出された３項関係３０３の時制と、モダリティ、日時などの表現型（３項関係に対する付加情報）を解析する。
【0055】
図４は、情報抽出から抽象化の一例を示す図である。図示の例では、解答文４０１から情報抽出２０６によって抽出された３項関係（情報抽出結果４０２）と、さらに高次解析２０７の情報表現型推定２０８で情報表現型推定結果４０３（付加情報）として時制を解析した例を示している。なお、図中情報抽出２０６で抽出する３項関係（情報抽出結果４０２）の箇所を太字で示した。
【0056】
次に、図３Ａの構文解析結果３０１を参照すると、３項関係の２項目（述語などエンティティ間の関係を示す箇所）の“become”が“wanted”を係り受け型“xcomp”で修飾していて、“wanted”は図３Ａより品詞が過去形を現すVBDであることが特定される。
【0057】
これより、(I, become, very kind nurse)という３項関係（図３の３０３）が、過去形で表現されているということが特定される。このように、高次解析２０７の情報表現型推定２０８では構文解析結果３０１を用いることにより、情報抽出２０６で抽出された３項関係（３０３）の時制、モダリティ、日時などを推定することができる。この推定方法は、３項関係と品詞、係り受け関係、係り受け型などに基づくルールとして、または、機械学習により、予め定めておく。
【0058】
このような３項関係に対する付加情報の別の例として、例えば、“I went to the park with him”であれば、３項関係（I, went to, the park）が抽出され、構文解析により、３項関係が“with him”という条件で行われた、などの情報を解析することができる。また、“I went to the park yesterday”などであれば、(I, went to, the park)が“yesterday”の出来事であることを解析することができる。
【0059】
以上のように、高次解析２０７の情報表現型推定２０８では３項関係と品詞、係り受け関係、係り受け型に基づいて、必要な付加情報を推定するルールや、機械学習方法などを予め設定しておく。
【0060】
次に、高次解析２０７の情報間関係推定２０９では、情報抽出２０６で抽出した３項関係の相互の関係を推定する。例えば、“I wanted to become a very kind nurse when I was little.”で、２つの３項関係（I, become, very kind nurse）と（I, was, little）が抽出されたとする。このとき、構文解析の結果より、２つの３項関係がwhenで結ばれていることが特定される。このような３項関係間の関係を構文解析結果に基づくルールや機械学習により、予め定めておく。
【0061】
情報表現型推定２０８で推定された情報表現型推定結果により、解答文３０２（I, become, very kind nurse）は過去形で表現されていることが判定され、情報間関係推定２０９は、その時が（I, was, little）であることを推定する。以上の例のように、情報間関係推定２０９では、３項関係の間の予め定義された関係をルールや機械学習などに基づいて推定する。これらの基礎解析２０４、高次解析２０７の結果は、採点パタン生成２１２で用いられる。
【0062】
次に、階層クラスタリング２１０について説明する。ここでは、解答文の意味や文法的特徴など、解答文の特徴に基づいて、解答を階層的に分類する。そのために、まず、採点パタン生成用解答文２０３の各解答文を特徴ベクトルとして表現する。
【0063】
特徴ベクトルを利用するための方法として、例えば、ＴＦ－ＩＤＦを用いることができる。図８は、解答文を特徴ベクトルで表現する例を示す図である。まず、階層クラスタリング２１０は、採点パタン生成用解答文２０３の解答文全体から、単語やフレーズなどの語句を抽出する。
【0064】
ここで、階層クラスタリング２１０では、“a”,“the”など、頻出する単語や語句で、解答文を特徴づけるために有用でないものについては、予めリストを生成しておき、処理の対象から削除する。次に、階層クラスタリング２１０は、処理の対象の解答文の中で、各々の単語や語句が占める割合を計算し、図８に示すように頻度行列８０１として算出する。
【0065】
頻度行列８０１は、解答文毎に出現比率を格納するフィールドと、語句重要度８０２のフィールドをひとつのエントリに含み、各エントリは各解答文から抽出した語句（または単語l）を示す。例えば、頻度行列８０１の１列目は、解答文１に、語句２、語句３が０．２の割合で、語句５が０．６の割合で出現することを示している。
【0066】
さらに、階層クラスタリング２１０は、各々の語句重要度を計算し、語句重要度８０２に格納する。図示の例では、出現頻度が小さい語句ほど、解答文を特徴づける重要度が高いとみなし、（全解答文の数）／（当該語句が出現する解答文の数）の対数で表現している。
【0067】
例えば、図示の頻度行列８０１で全解答文の数を５とすると、語句１は、解答文２と解答文４の２つの解答文に出現しているため、語句重要度８０２はｌｏｇ（５／２）となる。また、別の方法の例として、問題文に対する解答文として、解答文３０２のように、職業を示す単語や語句が現われやすい、などが予め分かっている場合には、職業を示す単語や語句の重要度を大きくする、などの方法をとってもよい。これにより、解答文を問題文に対する内容に基づいて特徴づけることができる。
【0068】
次に、階層クラスタリング２１０は、頻度行列８０１の各列に、対応する語句重要度８０２を掛けることで、図示のような特徴行列８０３を生成する。特徴行列８０３の各列が、解答文１～解答文５を特徴づける特徴ベクトルとなる。例えば、特徴行列８０３の第一列には、解答文１の特徴ベクトルが示されている。
【0069】
階層クラスタリング２１０は、特徴行列８０３の特徴ベクトルに基づいて、階層的な類型化（クラスタリング）を行う、階層的なクラスタリングには、公知または周知の技術を適用すればよい。階層クラスタリング２１０は、上記の処理によって、解答文を特徴ベクトルに基づく類似性に基づいて、階層的にクラスタリングすることができる。
【0070】
次に、図２に示すクラスタソート２１１では、階層クラスタリング２１０により類型化された解答文について、各クラスタに所属する解答文数に基づいて、クラスタをソートする。
【0071】
図５Ａは、クラスタソートの出力の一例を示す図である。図５Ａでは、図６ＡのクラスタＣ１～Ｃ１０に対するクラスタソート２１１の出力構造の例を示す。なお、実際には、大量の解答文群を用いるが、ここでは処理の内容を簡単に説明するために、少数の解答文群で模式的に例示している。
【0072】
図５Ａでは、解答文群５０１の階層構造を木構造で示しており、左の枝から右の枝に向かって、クラスタが細分化される。末端のクラスタに所属する解答文を点線の矩形で囲っている。図５Ａでは、説明のため、末端のクラスタにＣ１～Ｃ１０の識別子が付与されている。また、その上位クラスタについても、例えば、クラスタＣ２とクラスタＣ３を合わせた上位階層のクラスタには、Ｃ２３という識別子が付与されている。
【0073】
図５Ａの上側のクラスタは、所属する解答文の数が多く、下側のクラスタほど解答文の数が少ない傾向となるように、ソートされている。図５Ａの例では、クラスタＣ１～Ｃ２は解答文を３個含み、クラスタＣ３～Ｃ６は解答文を２個含み、クラスタＣ７～Ｃ１０は解答文を１個含んでいる。
【0074】
なお、階層構造によっては、必ずしも上側（クラスタＣＸのＸの値が小さい側）にあるクラスタが下側（クラスタＣＸのＸの値が大きい側）にあるクラスタより大きいとは限らない。ソート方法の例については、後に説明する。
【0075】
このようなソートを行うことによって、多数派クラスタ（例えば、Ｃ１～Ｃ７）には、多数派の解答が多くなり、少数派クラスタ（例えば、Ｃ８～Ｃ１０）には、少数派や、個性的な解答が多くなる。なお、多数派クラスタと、少数派クラスタを区別する場合には、その判定は、クラスタに含まれる要素（解答文）の数に基づく所定の規則によって定める良い。例えば、多数派クラスタ内に所定の閾値以上の割合の解答文数が含まれるように、上側のクラスタから順に多数派クラスタと定める。例えば、閾値が１５／１８の場合には、クラスタＣ１～Ｃ１０に所属する全解答文数１８に対して、クラスタＣ１～Ｃ７までで解答文数１５となり、閾値以上となるため、クラスタＣ１～Ｃ７が多数派クラスタ、クラスタＣ８～Ｃ１０が少数派クラスタとなる。答案を多数派答案と少数派答案に分類する場合には、各答案が多数派クラスタに所属するか、少数派クラスタに所属するか、によって、判定する。
【0076】
上側（多数派の解答）のクラスタのほうが、パタン化しやすく、採点パタンを生成しやすい。そのため、多数派の解答のクラスタに所属する解答文に対する自動採点の信頼度は高く、自動採点が容易となる傾向がある。一方で、下側（少数派の解答）のクラスタはパタン化しにくい個性的な解答が多く、自動採点の信頼度は低い。また、下側のクラスタには、個性的な解答のほかに、スペル誤りや文法誤りを含む解答などが表れる頻度が大きい。
【0077】
上記のようなソートを行うことにより、上側のクラスタから採点パタンを抽出できる、多数派解答と個性的解答を分けられる、自動採点の信頼度を推定できる、などの効果がある。信頼度は、上側（多数派の解答）のクラスタに所属する解答文のほうが、下側（少数派の解答）のクラスタに所属する解答文より、大きくなるように設定する。
【0078】
例えば、ある解答文の信頼度は、その解答文が所属するクラスタよりも下側のクラスタに所属する解答文数の割合により定めてもよい。クラスタソート２１１では、例えば、図５のクラスタＣ３に所属する解答文の信頼度は、Ｃ３よりも下側のクラスタ（Ｃ４～Ｃ１０）に所属する解答文数が１０で、クラスタＣ１～Ｃ１０に所属する全解答文数が１８であるため、１０／１８とする。
【0079】
このように、クラスタソート２１１が解答文のクラスタＣに信頼度を設定することにより、信頼度が高い解答文は自動採点が容易で、信頼度が低い解答文は自動採点が難しい傾向となる。つまり、信頼度が高い解答文のほうが、自動採点の正確性が高いと期待できる。一方、信頼度が低い解答文は、文法誤りやスペル誤りを含む、複雑な内容や難しい語句を用いている、少数派なので本実施例による採点パタン生成が難しい、などの傾向があるため、自動採点の正確性が低くなる傾向がある。
【0080】
採点には、高度な正確性が求められる場合がある。しかし、どのような記述式解答文でも精度良く自動採点するのは難しい。そこで、例えば、自動採点が難しい解答文については、自動採点の対象外とし、人手による入念な採点を実施する、などの自動採点と人手による採点を効率よく分担する運用が必要となる。そのために、自動採点が容易な解答文と、自動採点が難しい解答文と、に分別することが課題となる。
【0081】
図５Ｂは、上側のクラスタに所属する解答文から順番に表示した例である。すなわち、Ｃ１に所属する解答文、Ｃ２に所属する解答文、Ｃ３に所属する解答文、という順番で表示している。このような表示方法により、類似した解答文が連続して現われる、多数派の回答から少数派の回答の順に解答文が現われる、などの効果により、人手による採点結果の確認や採点が効率的になる。
【0082】
本実施例１では上記の方法により、解答文を多数派答案と少数派答案に分類することで、自動採点が容易な解答文（多数派解答文）と自動採点が難しい解答文（少数派解答文）に分類することで、自動採点の信頼性を判定できる、という効果がある。
【0083】
次に、クラスタソート２１１で実施するソートの方法の例を示す。図６Ａは、ソートを行う前の結果（階層クラスタリング２１０の出力）の例を示す図である。また、図６Ｂは、ソート前の解答文６１０の一例を示す図である。
【0084】
図６Ａのクラスタをソートする例を挙げる。まず、クラスタソート２１１は、末端のクラスタ（Ｃ１、Ｃ２、…、Ｃ１０）で、最も大きなクラスタを検索する。図６Ａの例では、クラスタＣ１とＣ２が検索される。このように最大のクラスタが２つ存在する場合には、そのクラスタの親クラスタが上位にあるものを優先する。
【0085】
【0086】
なお、この矢印の位置は、クラスタ間の距離を表す。すなわち、矢印６０３の位置（図６Ａに示す末端から矢印位置までの長さ６０４）は、クラスタＣ２とクラスタＣ３の間の距離を表している。矢印の位置が左側にあるものを、上位と判定する。
【0087】
以上により、クラスタＣ１が最も上側となる。次に、クラスタソート２１１は、クラスタＣ１の親クラスタである矢印６０２のＣ１以外の子クラスタである矢印６０３のクラスタ（Ｃ２、Ｃ３）についても同様の方法でソートする。
【0088】
これらのソートが終わると、クラスタソート２１１は、矢印６０２のクラスタの親クラスタ（矢印６０５）について、その子クラスタである矢印６０６についても、同様の処理を行う。これによって、図５Ａに示したようなクラスタのソート結果が得られる。
【0089】
次に、採点パタン生成２１２では、基礎解析２０４と、高次解析２０７と、クラスタソート２１１と、解答文採点データ２１３と、意味カテゴリ辞書２１４を用いて、採点パタン２１５を生成する。
【0090】
採点パタン生成２１２での処理では、必要に応じて、３項関係の各項に含まれる単語や語句について意味カテゴリ辞書２１４により上位概念に置き換える処理を行う。以下、採点パタン生成２１２が３項関係の各項を上位概念に置き換える処理を抽象化と呼ぶことにする。
【0091】
なお、以下の説明では、“astronaut”、“president”、“pianist”、“nurse”、“scientist”、“doctor”の上位概念が“occupation”で、“become”の上位概念が“be”という抽象化の定義が意味カテゴリ辞書２１４に設定されている例を示す。
【0092】
３項関係の各項の上位下位関係は、後に説明する意味カテゴリ辞書２１４で定義される。図４の例では、採点パタン生成２１２は、受け付けた３項関係（情報抽出結果４０２）と情報表現型推定結果４０３と意味カテゴリ辞書２１４から、３項関係の２項目の“become”を“be”に抽象化し、３項目の“very kind nurse” を“occupation”に抽象化した例（抽象化結果４０４）例を示す。
【0093】
この例（抽象化結果４０４）の“very kind nurse”が“occupation”に抽象化されているように、３項関係の項目が形容詞などにより修飾された場合でも、概念の上位下位関係が保持される場合には、同様に抽象化する。この抽象化の定義は予め、構文解析などを用いたルールにより定めておく。
【0094】
採点パタン生成２１２では、採点パタン生成用解答文２０３から解答文を選択し、その解答文に対して、情報抽出２０６により抽出された３項関係（情報抽出結果４０２）と、各項の抽象化結果４０４と、情報表現型推定２０８による３項関係の付加情報（情報表現型推定結果４０３）と、情報間関係推定２０９による３項関係間の関係、を組み合わせた様々な条件の中から、得点の有無を判別できるパタンを採点パタンとして、検索する。本実施例１では、様々な抽象化、様々な付加情報、様々な３項関係間の関係を変化させながら、採点パタンを検索する。
【0095】
【0096】
図７Ａの解答文採点データ２１３は、予め設定された情報であり、解答文の識別子を格納する番号２１３１と、解答文を格納する解答文２１３２と、解答文２１３２の採点結果を格納する採点２１３３と、条件Ａを採点基準とした採点結果を格納する条件Ａ２１３４と、条件Ｂを採点基準とした採点結果を格納する条件Ｂ２１３４と、条件Ｃを採点基準とした採点結果を格納する条件Ｃ２１３５と、条件Ａを採点基準とした採点結果を格納する条件Ｄ２１３５と、をひとつのレコードに含む。
【0097】
採点２１３３に「１」が格納されている解答文２１３２が正答の解答文を示し、採点２１３３に「０」が格納されている解答文２１３２は不正解（誤答）を示す。
【0098】
まず、採点パタンを生成するために、採点パタン生成２１２は、解答文採点データ２１３から正解となっている解答文をひとつ選択する。ここでは、採点パタン生成２１２が番号２１３１＝「１」の“I wanted to become a very kind nurse.”を選択した例について説明する。
【0099】
まず、この解答文からの情報抽出２０６の結果は、図４の３項関係（情報抽出結果４０２）の太字部分で示された（I、become、very kind nurse）となる。さらに、情報表現型推定２０８により、図４の情報表現型推定結果４０３に示すように、この３項関係が過去形で表されることが特定される。
【0100】
なお、以下の説明において、解答文採点データ２１３で付与された採点結果は、図７Ａの採点２１３３の列に示されているとする。
【0101】
複数の採点基準が存在する場合には、採点基準ごとに同様の処理をすればよい。
【0102】
図７Ｂの条件Ａ（２１３４）は、３項関係の第３項の箇所を“occupation”に抽象化している。条件Ａは、文から抽出された３項関係の第３項を抽象化したとき、（I、become、occupation）のパタンが得られることを採点条件とする。この条件Ａに合致する解答は、図７Ａの条件Ａ２１３４の列に示すように、番号１、番号２の解答文が正解であり、番号４、番号６、番号７の解答文は条件を満たさないため、０点となる。
【0103】
図７Ｂの条件Ｂは、３項関係の第２項の箇所と第３項の箇所を、それぞれ“be”、“occupation”に抽象化している。条件Ｂは、解答文から抽出された３項関係の第３項を抽象化したとき、（I、be、occupation）のパタンが得られることを採点条件とする。この条件Ｂに合致する解答は、図７Ａの条件Ｂ２１３５の列に示すように、番号１～番号７までの全ての解答文が正解であり、番号３、番号５の解答文も条件を満たすため、１点（正解）となる。
【0104】
図７Ｂの条件Ｃは、３項関係の第２項の箇所と第３項の箇所を、それぞれ“be”、“occupation”に抽象化しているのは、上記条件Ｂと同様である。さらに、条件Ｃでは、情報表現型推定２０８の結果（時制の推定結果）を用いて、３項関係が過去形で表現されている、という時制の条件が加えられる。この条件Ｃに合致する解答は、図７Ａの条件Ｃ２１３６の列に示すように、番号３、番号５を除く解答文が正解であり、解答文採点データ２１３の列と一致する。
【0105】
図７の条件Ｄは、第３項を“occupation”よりもさらに上位の“entity”にまで抽象化している。３項関係の第２項は条件Ｃと同様に“be”に抽象化されている。これも条件Ｃと同様に、解答文採点データ２１３の列と一致する。
【0106】
以上のように、採点パタン生成２１２は、情報抽出２０６により抽出された３項関係と、各項の抽象化とその抽象化の程度と、情報表現型推定２０８による３項関係の付加情報と、情報間関係推定２０９による３項関係間の関係、を組み合わせた様々な条件を変えながら、解答文採点データ２１３で与えられた採点（図７Ａの採点の列）との一致度が高い条件を探索し、採点パタン２１５とする。
【0107】
これは、図７Ａ、図７Ｂの場合には、条件Ｃと条件Ｄとなる。なお、複数の条件が得られる場合には、そのいずれかの条件を予め定めた規則により選択してもよい。その規則の例として、より条件が厳しい（当該条件に当てはまる解答文の範囲が狭い）採点パタンを選択するとよい。この場合、条件Ｃと条件Ｄを比べると条件Ｃのほうが厳しいため、条件Ｃを選択するとよい。例えば、“I wanted to be a bird.”は、条件Ｄには合致するが、条件Ｃには合致しない。
【0108】
なお、本実施例１の探索では、番号２１３１が「１」の解答文をもとに、条件を検索しているため、どの条件であっても、番号＝「１」の解答文は、必ず、１点がつくことになる。
【0109】
以上のように、図７Ａ、図７Ｂの例では、条件Ｃが採点パタン２１５として選択される。なお、上記では、採点パタン生成２１２では、解答文採点データ２１３の採点との一致度が高い条件を探索する、としたが、この一致度の計算方法には様々な方法が考えられる。
【0110】
この一致度については、過剰に得点を与えないような条件を探索するように設定するのがよい。例えば、解答文採点データ２１３の採点で０点であるにも関わらず、採点パタンに一致して、１点と採点されてしまうような事例が少なく、尚且つ、解答文採点データ２１３の採点で１点の解答文がなるべく多く、採点パタンに一致するような条件を探索できるように設定する。
【0111】
このように設定すると、解答文採点データ２１３の採点で１点であるにも関わらず、採点パタンに合致しない解答文が生じる。例えば、図７Ａの例で、条件Ａ２１３４しか探索できなかったとすると、番号２１３１＝「４」、番号２１３１＝「６」、番号２１３１＝「７」の解答文は、解答文採点データ２１３の採点で１点であるにも関わらず、条件Ａ２１３４の採点パタンには合致しない。その場合には、採点パタン生成２１２は、採点パタンに合致しない正解の解答文２１３２を選択し、さらに採点パタンを付加する。
【0112】
例えば、採点パタン生成２１２は、番号２１３１＝「４」の解答文を検索し、さらに、番号２１３１＝「４」に基づいて、なるべく過剰採点が起きず、かつ、多くの正答の解答文２１３２に合致する採点パタンを検索する。なお、採点パタン生成２１２が選択した解答文２１３２で、過剰採点が起きる、または、十分に多くの正答解答文にマッチする条件が得られない、などの場合には、別の解答文を選択するとよい。
【0113】
本実施例１のように採点パタン２１５を生成することにより、誤答の解答文を正解と誤判定する割合を抑えられる、という効果がある。なお、条件検索の元になる解答文は、クラスタソート２１１の結果の上側（図５Ａの上側）の正答解答文から優先して選択すると良い。
【0114】
これは、クラスタソート結果の上側の解答文のほうが多数派の解答文であり、多数派の解答文のほうが、多くの正答解答文にマッチする採点パタンが得られやすいからである。これにより、採点パタンの検索の処理時間を小さくできる、過剰採点が少なく多数の正解の解答文にマッチする質の高い採点パタンが得られる、という効果がある。
【0115】
また、このような情報抽出２０６と意味カテゴリ辞書２１４などを用いた採点パタンに基づく採点により、文法的な誤りではなく、解答文の意味に基づいた採点を行うことができる、という効果がある。さらに、様々な採点基準（観点）に沿った採点を行うことができる、という効果がある。
【0116】
このように、解答文の選択と、条件の探索を繰り返すことにより、過剰採点が少なく、かつ、多くの正答解答文にマッチするパタンを集めることができる。これを採点パタンとして、採点パタン２１５に保存する。採点パタンは複数になる場合が多い。
【0117】
【0118】
なお、採点パタン２１５には、採点パタンの信頼度も保存しておく。信頼度は、採点パタンの元となった解答文が多数派の解答文（図５Ａの上側のクラスタに所属する解答文）であるほど、高くなるように与える。さらに、過剰採点が少なく、多くの正答解答文にマッチするほど、信頼度が高くなるように設定してもよい。多数派の解答文は、採点パタンによる採点の正確さが高くなるため、このように信頼度を付与することにより、採点パタンを用いた採点結果の信頼性も評価できる。
【0119】
なお、上記では、正答の解答文にマッチする採点パタン２１５の生成について説明を行ったが、誤答の解答文にマッチする採点パタンを生成してもよい。
【0120】
本実施例１のような方法で、採点パタン２１５を生成することにより、問題ごとに意味に基づく採点基準に沿って、採点パタン２１５を生成することができる。また、採点パタン２１５は、図４の抽象化結果４０４に示すように、構文解析結果等に関する専門知識がなくとも、理解しやすい。
【0121】
また、本実施例１では採点パタン生成２１２が、クラスタソート２１１の結果から多数派解答を中心に採点パタンを自動的に検索して採点パタン２１５を生成するため、採点済み教師データ（解答文採点データ２１３）が比較的少なくとも採点パタン２１５を生成することができる。また、基礎解析２０４と、高次解析２０７の解析結果、意味カテゴリ辞書２１４に基づく条件の組み合わせにより採点パタンを検索するため、採点のルールが膨大または複雑になりにくい。
【0122】
なお、採点パタン生成用解答文２０３は、採点されていない解答文が含まれていても良いので、採点対象解答文２１７は、採点パタン生成用解答文２０３に含まれていても良い。
【0123】
採点処理２０２では、生成された採点パタン２１５を用いて、採点対象解答文２１７を採点する。以下では、採点処理２０２で行われる処理の一例について説明する。
【0124】
採点２１６では、採点対象解答文２１７の各解答文について、採点パタン２１５に合致する解答文には、予め設定された得点を付与する。例えば、図７Ｂの例の条件Ｃのパタンが採点パタン２１５であるとする。このとき、採点対象解答文２１７が“I wanted to be a pianist.”の場合には、採点パタン２１５に合致するため１点を付与する。
【0125】
また、採点対象解答文２１７が“I wanted to be a bird.”の場合には、“bird”が条件Ｃの“occupation”ではないので、採点パタン２１５に合致せず、０点となる。また、採点パタン２１５に付与された信頼度に基づいて、採点の信頼度も付与する。なお、採点結果に対する信頼度付与の別の方法として、採点対象解答文２１７も、階層クラスタリング２１０、クラスタソート２１１と同様に、クラスタリングを行い、上側のクラスタ（より多数派のクラスタ）に属する解答文に対して高い信頼度を付与し、解答文に付与された信頼度に基づいて、採点の信頼度を付与する方法を用いても良い。また、採点パタン２１５に付与された信頼度と、解答文に付与された信頼度の両方に基づいて、採点の信頼度を付与してもよい。
【0126】
正答の採点パタン２１５と誤答の採点パタン２１５の両方がある場合には、ルールの適用順序と最終判定規則を定めておく。例えば、正答の３つの採点パタンＡ、Ｂ、Ｃ、がある場合、採点パタンＡ、Ｂ、Ｃの順に適用し、いずれかで正答と判定された場合には、パタンの適用を終え、最終判定を正答と判定する、などとする。
【0127】
また、いずれの採点パタン２１５にも合致しない解答文については、未採点として、後に人手により採点を行う、などとする。
【0128】
記述式問題の採点において、本実施例１による文書評価装置１０１を用いることで、解答文の一部を自動で採点し、残りを人手で採点することにより、採点を効率化することができる。例えば、全ての解答文を文書評価装置１０１で自動採点し、採点結果の信頼度が一定の閾値以下のものについて、人手で採点することにより、全てを人手で採点する場合と比較して効率化することができる。
【0129】
また、記述式問題の採点においては、採点結果の一貫性や正確性を担保するために、複数の採点者により、採点を行う場合がある。例えば、２人の採点者により採点を行い、２人の採点者による採点が一致した場合には、その採点結果を採用し、一致しない場合には、３人目の採点者が２人の採点結果を考慮した上で、最終的な採点を行う、などの運用をする。
【0130】
このとき、本実施例１の文書評価装置１０１による採点を実施し、採点結果のうち、信頼度が高いものについては、最初の人手による２人の採点者の採点のうち、１人分を自動採点結果に置き換えることにより、採点を効率化することができる。
【0131】
本実施例１により、信頼度に基づいて、自動採点と人手による採点との分担を効率的に行うことができる。また、採点パタン２１５に合致するかどうかで、採点を行うため、採点パタン２１５を参照することにより、自動採点による採点結果に対する理由が分かりやすい。
【0132】
以上により採点された結果は、信頼度とともに、採点結果２１８に保存される。
【0133】
以上、本実施例１によれば、採点基準ごとに、正答と誤答を判定する採点パタン２１５を自動的に生成し、採点パタン２１５に基づいた自動採点を行う方法を提供することができる。また、解答文を多数派答案と少数派答案に分類することで、自動採点が容易な解答文（多数派解答文）と自動採点が難しい解答文（少数派解答文）に分類することで、自動採点の信頼性を判定することが可能となる。また、少数派解答文を人手で採点することで、自動採点と人手による採点を効率よく運用することが可能となる。
【実施例2】
【0134】
図１１は、本実施例における文書評価装置１０１が実施する処理の一例を示すフローチャートである。図２に示した実施例１との違いは、階層クラスタリング１１０１において、基礎解析２０４と、高次解析２０７を実行した結果を用いている点である。
【0135】
実施例１では、解答文の階層クラスタリング２１０において、採点パタン生成用解答文２０３を単語や語句の出現頻度で特徴づける例を、図８を用いて説明した。実施例１では、“a”、“the”など、単語や語句のカウントとして除外するもののリストを生成しておき、それ以外の単語や語句について、図８のような特徴行列８０３を用いて階層クラスタリングを行った。
【0136】
本実施例２では、情報抽出２０６、および、情報表現型推定２０８に関係する単語や語句についてのみ、カウントの対象とする。
【0137】
実施例１の場合で、カウントの除外リストが“a”、“the”であったと仮定し、図４の解答文４０１から単語や語句をカウントする際、例えば、“I”、“wanted（またはwant）”、“to”、“become”、“very”、“kind、“nurse”の７つの単語がカウント対象となる。
【0138】
これに対して、本実施例２では、情報抽出結果４０２に関係する単語、“I”、“become”、“very”、“kind”、“nurse”および、情報表現型推定結果４０３に関係する単語、“wanted（またはwant）”、の合計６単語がカウント対象となる。なお、情報抽出結果４０２の５単語のみを用いても良い。
【0139】
このように、図８に示した特徴行列８０３のような特徴行列を生成する際に、解答文４０１から特徴としてカウントする単語や語句を、情報抽出結果４０２や情報表現型推定結果４０３などに関係するものに絞ることで、後の処理に関係しない単語や語句を特徴としてカウントするのを除外することができる。
【0140】
例えば、図４の例では、“to”が除外される。このような処理を行うことにより、より、採点パタンに適合した階層クラスタリング結果を得ることができ、精度のよい自動採点結果や信頼度が得られると期待できる。
【0141】
また、情報抽出結果４０２や情報表現型推定結果４０３に関係するもののみをカウントするという方法だけでなく、実施例１と同様に、除外リスト以外の単語や語句は全てカウントするが、情報抽出結果４０２や情報表現型推定結果４０３だけ、予め定められた割合で、図８に示す語句重要度８０２の値を大きくする、という方法をとってもよい。
【0142】
以上のように、特徴量の算出対象となる単語や語句を、情報抽出結果４０２や情報表現型推定結果４０３などから絞り込むことで、自動採点結果や信頼度の向上を図ることができる。
【実施例3】
【0143】
採点基準には、軽微なスペルミスは減点の対象としない場合がある。そのような場合に、スペルミスが異なる単語や語句として扱われるため、前記実施例１では、スペルミスごとに採点パタン２１５が生成される。また、様々なスペルミスをカバーするために、多くの解答文が必要となる場合がある。
【0144】
これに対して、本実施例３では、予め、採点パタン生成用解答文２０３、解答文採点データ２１３、採点対象解答文２１７に含まれるスペルミスを修正しておく。例えば、頻出するスペルミスのリストを生成しておき、リストにしたがって、スペルミスを修正する。例えば、“doctor”を“docter”と誤る事例などが考えられる。この場合、文書評価装置１０１では採点対象解答文２１７等の“docter”を全て、“doctor”に置き換える。
【0145】
また、文書評価装置１０１では採点パタン２１５に関係のない文法誤りを予め修正しておいてもよい。例えば、正確には、現在形で解答すべき問題に対して、時制は採点の対象外とする場合には、過去形など、別の時制で表現されたものを、現在形に修正しておくようにしてもよい。
【実施例4】
【0146】
本実施例４では、文書評価装置１０１のユーザインタフェースの例を示す。図１２Ａは、答案データ入力画面１２０１の一例を示す図である。答案データ入力画面１２０１は、表示装置１０３に出力される。図１２Ｂは、採点済みの答案データの一例を示す図である。図１２Ｃは、未採点の答案データの一例を示す図である。
【0147】
答案データ入力画面１２０１では、問題文ＩＤフィールド１２１には、問題文を識別するためのＩＤを入力する。問題文フィールド１２２には、問題文を入力する。ファイルフィールド１２３には、データが入ったファイル名を指定する。ファイルは、例えば、図１２Ｂに示す採点済みの答案データ１２０２や、図１２Ｃに示す未採点の答案データ１２０３のようなファイルである。
【0148】
入力装置１０２の操作によって答案データ入力画面１２０１で保存ボタン１２４を押すと文書評価装置１０１は、問題文ＩＤ１２１が合致するデータについて、採点済みの答案データ１２０２や、未採点の答案データ１２０３が、データベース（図示省略）に保存される。
【0149】
例えば、採点済み答案データ１２０２と未採点の答案データ１２０３は、採点パタン生成用解答文２０３、採点済み答案データ１２０２は解答文採点データ２１３、未採点の答案データ１２０３は、採点対象データとして、採点対象解答文２１７に保存される。また、問題文も、各データベースに保存しておく。例えば、前記実施例１の図９Ａ～図９Ｃに示すようなデータ形式となる。データが入力されると、文書評価装置１０１の採点パタン生成処理２０１により、採点パタン２１５が生成される。
【0150】
図１３は、文書評価装置１０１で生成された採点パタン表示画面１３０１の例を示す図である。採点パタン表示画面１３０１は、文書評価装置１０１のユーザが、生成された採点パタン２１５の編集をするためのメンテナンス用の確認画面である。
【0151】
採点パタン表示画面１３０１の問題文ＩＤ１３１に問題文ＩＤを入力すると、問題文１３２に該当する問題文が表示される。採点済み解答文のうち、採点パタンが適用された解答文の数と、その採点パタンによる自動採点の精度（信頼度）が領域１３０２に表示されている。この例では、採点済み解答文８００のうち、４５０に採点パタン２１５が適用され、そのうち４／５（８０％）が正しく採点できたことを示している。これにより、採点パタン２１５全体の質を確認することができる。
【0152】
領域１３０２の下方には、採点パタン一覧１３３が表示される。採点パタン一覧１３３は、項番１３０３と、採点パタン１３０４と、カバー数１３０５と、精度（信頼度）１３０６をひとつのレコードに含む。
【0153】
項番１３０３の列は、採点パタンの番号を連番で示したものである。採点パタン１３０４の列は、採点パタン２１５に関する簡単な説明が表示される。この説明文の生成方法は、後の図１４の説明で詳しく述べる。カバー数１３０５の列は、採点済み解答文のうち、採点パタンが適用された解答文の数である。精度１３０６の列は、当該採点パタンが適用された解答文のうち、正しく採点されたものの割合を精度で示す。
【0154】
ページ指定１３０７は、採点パタンの数が多い場合に、数ページに分割して表示した際、ページを移動するためのボタンである。なお、カバー数や、精度は、採点基準ごとに示す必要があるが、本採点パタン表示画面１３０１では、煩雑さを避けるため、省略した。また、本採点パタン表示画面１３０１に、各採点パタンを有効または無効化したり、削除したりする機能を追加するとよい。精度の低い採点パタンやカバー数の少ない採点パタンを無効化／削除することにより、自動採点による採点の質を向上させることができる。
【0155】
次に、個々の採点パタンの生成、編集画面について説明する。図１３の項番１３０３を押下することにより、当該採点パタンの編集画面に遷移してもよいし、新たに採点パタンを生成するために、画面遷移するボタンを採点パタン表示画面１３０１の画面に追加しておいてもよい。
【0156】
図１４は、採点パタン編集画面の一例を示す図である。採点パタン編集画面１４０１上部の領域１４０２には、選択された採点パタンのカバー数と、精度が表示される。説明文１４０３には、当該採点パタンの説明文が表示される。これは、文書評価装置１０１のユーザが採点パタンの追加や編集時に生成しても良いし、テンプレートにより自動で生成してもよい。自動で生成する場合には、例えば、図示のように、パタン１４０４の３項関係と、チェックされた時制をそのまま記載する、などの方法をとることができる。
【0157】
パタン１４０４には、情報抽出２０６で抽出された３項関係が表示され、時制１４０５には、情報表現型推定２０８で推定された３項関係の時制が表示される。この例では、過去形が該当している。この例は、図４で示した抽象化結果４０４のような採点パタンの例である。
【0158】
なお、採点パタン編集画面１４０１では、時制１４０５のみの単純な場合を示したが、情報表現型推定２０８や情報間関係推定２０９で解析対象として予め定められた型を、必要に応じて表示してもよい。また、複数の情報抽出による３項関係が採点パタン２１５に関係する場合には、複数の３項関係をパタン１４０４に表示することができる。採点パタン２１５の編集に必要な分だけ項目を増やしてもよい。これにより、文書評価装置１０１のユーザが採点パタンを細かく編集し、自動採点の質を向上させることができる。
【0159】
図１５は、採点画面１５０１の一例を示す図である。問題文ＩＤ１３１と、問題文１３２については、図１３に示した採点パタン表示画面１３０１と同様である。図１５の表１５１には、未採点データの自動採点結果を示す。
【0160】
表１５１の解答文ＩＤ１５０２の列には、各解答文のＩＤが格納される。解答文１５０３の列には、解答文が格納される。採点基準Ｘ１５０４の列には採点基準Ｘによる採点結果が表示される。この採点結果は、自動採点の結果、または、ユーザが入力または編集した結果である。未採点の場合には、例えば、空欄にする、などとする。適用パタン１５０５の列には、適用された採点パタンの項番１３０３が表示される。適用パタン１５０５を押下すると、当該パタンの採点パタン編集画面（図１４）に遷移してもよい。
【0161】
表１５１の下方には、ページ指定１５０６が表示される。ページ指定１５０６は前記図１３のページ指定１３０７と同様であり、解答文の数が多い場合に、数ページに分割して表示した際に、ページを切り替えるためのボタンである。
【0162】
この採点画面１５０１を用いて、人手により、自動採点結果を確認または修正したり、自動採点により、未採点の解答文を採点する。なお、ひとつの解答文を採点した際に、同じ、または、類似した解答文も同時に採点する、などの機能を有しておいても良い。例えば、図１５の解答文ＩＤ１５０２の解答文について、ユーザにより採点結果が入力または編集された場合に、同じ“I wanted to be a doctor” という別の解答文ＩＤをもつ解答文があった場合に、その解答文にも同様の採点結果を自動的に付与する。
【0163】
これにより、採点を効率化できる。なお、この採点画面１５０１において、解答文ＩＤ１５０２の順に解答文１５０３を表示するのではなく、階層クラスタリングの結果（図５）の順に解答文を示しても良い。このように表示の順番をソートすることにより、多数派解答から少数派解答の順に解答文１５０３が現われ、類似の解答文が連続して現われる、などの効果により、人手による確認や採点が効率的になる。
【0164】
＜まとめ＞
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。
【0165】
また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
【0166】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0167】
１０１ 文書評価装置
１０５ 演算装置
１０６ メモリ
１０７ 補助記憶装置
２０１ 採点パタン生成処理
２０２ 採点処理
２０３ 採点パタン生成用解答文
２０４ 基礎解析
２０７ 高次解析
２１０ 階層クラスタリング
２１１ クラスタソート
２１２ 採点パタン生成
２１３ 解答文採点データ
２１４ 意味カテゴリ辞書
２１５ 採点パタン
２１７ 採点対象解答文
２１８ 採点結果
１０５ 演算装置
１０６ メモリ
１０７ 補助記憶装置
２０１ 採点パタン生成処理
２０２ 採点処理
２０３ 採点パタン生成用解答文
２０４ 基礎解析
２０７ 高次解析
２１０ 階層クラスタリング
２１１ クラスタソート
２１２ 採点パタン生成
２１３ 解答文採点データ
２１４ 意味カテゴリ辞書
２１５ 採点パタン
２１７ 採点対象解答文
２１８ 採点結果
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図4】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図12C】
【図13】
【図14】
【図15】