特開2022-140337文章評価システム、文章評価方法及び文章評価プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022140337
(43)【公開日】2022-09-26
(54)【発明の名称】文章評価システム、文章評価方法及び文章評価プログラム
(51)【国際特許分類】
G06F 40/253 20200101AFI20220915BHJP
【ＦＩ】
G06F40/253
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022032736
(22)【出願日】2022-03-03
(31)【優先権主張番号】P 2021039296
(32)【優先日】2021-03-11
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】592131906
【氏名又は名称】みずほリサーチ＆テクノロジーズ株式会社
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】相澤 祐一
(72)【発明者】
【氏名】鋤田 大日
(72)【発明者】
【氏名】笠間 俊夫
【テーマコード（参考）】
5B091
【Ｆターム（参考）】
5B091AA15
5B091CA01
5B091CD11
5B091EA01
(57)【要約】
【課題】文章の論理性を評価するための文章評価システム、文章評価方法及び文章評価プログラムを提供する。
【解決手段】支援サーバ２０は、先行文と後続文との関係を評価するセンテンス評価モデルと、先行グループと後続グループとの関係を評価するグループ評価モデルとが記録された学習結果記憶部２３に接続され、文章の論理性を評価する制御部２１を備える。そして、制御部２１が、評価対象文章を構成する文に分割し、学習結果記憶部２３に記録されたセンテンス評価モデルに入力して、文間評価値を算出し、文間評価値を用いて、文を構成するグループのグループ間評価値を算出し、評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、学習結果記憶部２３に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、出力する。
【選択図】図１
【解決手段】支援サーバ２０は、先行文と後続文との関係を評価するセンテンス評価モデルと、先行グループと後続グループとの関係を評価するグループ評価モデルとが記録された学習結果記憶部２３に接続され、文章の論理性を評価する制御部２１を備える。そして、制御部２１が、評価対象文章を構成する文に分割し、学習結果記憶部２３に記録されたセンテンス評価モデルに入力して、文間評価値を算出し、文間評価値を用いて、文を構成するグループのグループ間評価値を算出し、評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、学習結果記憶部２３に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、出力する。
【選択図】図１
【特許請求の範囲】
【請求項1】
先行文と後続文との関係を評価するセンテンス評価モデルと、先行グループと後続グループとの関係を評価するグループ評価モデルとが記録された学習結果記憶部に接続され、
文章の論理性を評価する制御部を備えた文章評価システムであって、
前記制御部が、
評価対象文章を構成する文に分割し、
前記学習結果記憶部に記録されたセンテンス評価モデルに、前記分割した文を入力して、文間評価値を算出し、
前記文間評価値を用いて、前記文を構成するグループのグループ評価値を算出し、
前記評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、前記学習結果記憶部に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、
前記算出したグループ間評価値を出力することを特徴とする文章評価システム。
文章の論理性を評価する制御部を備えた文章評価システムであって、
前記制御部が、
評価対象文章を構成する文に分割し、
前記学習結果記憶部に記録されたセンテンス評価モデルに、前記分割した文を入力して、文間評価値を算出し、
前記文間評価値を用いて、前記文を構成するグループのグループ評価値を算出し、
前記評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、前記学習結果記憶部に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、
前記算出したグループ間評価値を出力することを特徴とする文章評価システム。
【請求項2】
前記制御部が、正しい文章からなる正例と、前記正例の文を並び替えた負例とを含む教師情報を用いた機械学習により、前記センテンス評価モデル及び前記グループ評価モデルを生成することを特徴とする請求項１に記載の文章評価システム。
【請求項3】
前記制御部が、正しい文章からなる正例と、前記正例のグループを並び替えた負例とを含む教師情報を用いた機械学習により、前記センテンス評価モデル及び前記グループ評価モデルを生成することを特徴とする請求項１又は２に記載の文章評価システム。
【請求項4】
前記制御部が、正しい文章からなる正例と、前記正例の接続詞を変更した負例とを含む教師情報を用いた機械学習により、前記センテンス評価モデル及び前記グループ評価モデルを生成することを特徴とする請求項１～３の何れか一項に記載の文章評価システム。
【請求項5】
前記接続詞は、階層化された分類で分けられており、
前記階層化された分類を組み合わせて、前記センテンス評価モデル及び前記グループ評価モデルを生成することを特徴とする請求項４に記載の文章評価システム。
前記階層化された分類を組み合わせて、前記センテンス評価モデル及び前記グループ評価モデルを生成することを特徴とする請求項４に記載の文章評価システム。
【請求項6】
先行文と後続文との関係を評価するセンテンス評価モデルと、先行グループと後続グループとの関係を評価するグループ評価モデルとが記録された学習結果記憶部に接続され、
文章の論理性を評価する制御部を備えた文章評価システムを用いて、文章を評価する方法であって、
前記制御部が、
評価対象文章を構成する文に分割し、
前記学習結果記憶部に記録されたセンテンス評価モデルに、前記分割した文を入力して、文間評価値を算出し、
前記文間評価値を用いて、前記文を構成するグループのグループ評価値を算出し、
前記評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、前記学習結果記憶部に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、
前記算出したグループ間評価値を出力することを特徴とする文章評価方法。
文章の論理性を評価する制御部を備えた文章評価システムを用いて、文章を評価する方法であって、
前記制御部が、
評価対象文章を構成する文に分割し、
前記学習結果記憶部に記録されたセンテンス評価モデルに、前記分割した文を入力して、文間評価値を算出し、
前記文間評価値を用いて、前記文を構成するグループのグループ評価値を算出し、
前記評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、前記学習結果記憶部に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、
前記算出したグループ間評価値を出力することを特徴とする文章評価方法。
【請求項7】
先行文と後続文との関係を評価するセンテンス評価モデルと、先行グループと後続グループとの関係を評価するグループ評価モデルとが記録された学習結果記憶部に接続され、
文章の論理性を評価する制御部を備えた文章評価システムを用いて、文章を評価する文章評価プログラムであって、
前記制御部を、
評価対象文章を構成する文に分割し、
前記学習結果記憶部に記録されたセンテンス評価モデルに、前記分割した文を入力して、文間評価値を算出し、
前記文間評価値を用いて、前記文を構成するグループのグループ評価値を算出し、
前記評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、前記学習結果記憶部に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、
前記算出したグループ間評価値を出力する手段として機能させるための文章評価プログラム。
文章の論理性を評価する制御部を備えた文章評価システムを用いて、文章を評価する文章評価プログラムであって、
前記制御部を、
評価対象文章を構成する文に分割し、
前記学習結果記憶部に記録されたセンテンス評価モデルに、前記分割した文を入力して、文間評価値を算出し、
前記文間評価値を用いて、前記文を構成するグループのグループ評価値を算出し、
前記評価対象文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とを、前記学習結果記憶部に記録されたグループ評価モデルに入力して、グループ間評価値を算出し、
前記算出したグループ間評価値を出力する手段として機能させるための文章評価プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文章の論理性を評価する文章評価システム、文章評価方法及び文章評価プログラムに関する。
【背景技術】
【0002】
従来、文章の書き方を評価することがある。例えば、採点対象の答案に含まれる要素間の論理関係に対して評価を行なう技術が検討されている（例えば、特許文献１。）。この特許文献に記載された文章評価装置は、第１の文章を構成する第１事象の間に成り立つ第１論理関係を取得する取得手段と、評価対象である第２の文章から、第２の文章を構成する第２事象の間に成り立つ第２論理関係を抽出する論理関係抽出手段と、第１論理関係と第２論理関係との比較により、第２の文章を評価する評価手段とを備える。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１８／１１６４５９号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載された技術では、第１の文章として、第２の文章に対する評価の基準となる文章を用いる。この場合、基準となる文章が必要となり、任意の文章の論理性等について、書き方を評価することができない。
【課題を解決するための手段】
【0005】
上記課題を解決する文章評価システムは、先行文と後続文との関係を評価するセンテンス評価モデルと、先行グループと後続グループとの関係を評価するグループ評価モデルとが記録された学習結果記憶部に接続され、文章の論理性を評価する制御部を備える。そして、前記制御部が、評価対象文章を構成する文に分割し、前記学習結果記憶部に記録されたセンテンス評価モデルに入力して、文間評価値を算出し、前記文間評価値を用いて、前記文を構成するグループのグループ間評価値を算出し、前記文章を構成する先行グループのグループ評価値と、後続グループのグループ評価値とをグループ評価モデルに入力して、グループ間評価値を算出し、出力する。
【発明の効果】
【0006】
本発明によれば、文章の論理性を評価することができる。
【図面の簡単な説明】
【0007】
【図1】実施形態の文章評価システムの説明図。
【図2】実施形態のハードウェア構成の説明図。
【図3】実施形態の処理手順の説明図。
【図4】実施形態の処理手順の説明図。
【図5】実施形態の処理手順の説明図。
【図6】実施形態の処理手順の説明図。
【図7】実施形態の処理手順の説明図。
【図8】別例の修飾語の分類の説明図。
【図9】別例の処理手順の説明図。
【図10】別例の評価モデルの説明図。
【図11】別例の評価モデルの説明図。
【発明を実施するための形態】
【0008】
図１～図７に従って、文章評価システム、文章評価方法及び文章評価プログラムを具体化した一実施形態を説明する。本実施形態では、文章の論理性を評価する場合を想定する。ここでは、文章は、複数の段落（グループ）から構成される。各段落は複数の文を含み、文と段落との２段階で論理性の評価を行なう。
図１に示すように、本実施形態の文章評価システムは、ユーザ端末１０、支援サーバ２０を用いる。
図１に示すように、本実施形態の文章評価システムは、ユーザ端末１０、支援サーバ２０を用いる。
【0009】
（ハードウェア構成例）
図２は、ユーザ端末１０、支援サーバ２０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。
図２は、ユーザ端末１０、支援サーバ２０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。
【0010】
情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。
【0011】
通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースカードや無線インタフェース等である。
【0012】
入力装置Ｈ１２は、利用者等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。
【0013】
記憶装置Ｈ１４は、ユーザ端末１０、支援サーバ２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。
【0014】
プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、ユーザ端末１０、支援サーバ２０における各処理（例えば、後述する制御部２１における処理）を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、ユーザ端末１０、支援サーバ２０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。
【0015】
プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、（１）コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは（３）それらの組み合わせ、を含む回路（circuitry）として構成し得る。プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【0016】
【0017】
支援サーバ２０は、文章の論理性を評価するためのコンピュータシステムである。この支援サーバ２０は、制御部２１、教師情報記憶部２２、学習結果記憶部２３を備えている。
【0018】
制御部２１は、後述する処理（取得段階、表現分析段階、学習段階、センテンス評価段階、パラグラフ評価段階等を含む処理）を行なう。このための文章評価プログラムを実行することにより、制御部２１は、取得部２１１、表現分析部２１２、学習部２１３、センテンス評価部２１４、パラグラフ評価部２１５等として機能する。
【0019】
取得部２１１は、教師情報を作成するための文章や、評価対象の文章を取得する処理を実行する。
表現分析部２１２は、各文（センテンス）の特徴量として、分散表現（単語埋め込み）処理を実行する。この場合、センテンスベクトルは、各単語のベクトル列を用いてもよいし、各単語のベクトルを総和して1つのベクトルとしてもよい。この分散表現では、文字・単語を多次元のベクトル空間に埋め込み、センテンスを、このベクトル空間の点として把握することができる。この分散表現では、センテンスに含まれる概念を表現する際に、他の概念との共通点や類似性と紐づけながら、ベクトル空間上に表現する。本実施形態では、「Word2Vec」を用いて、単語の共起確率を学習した分散表現モデルを用いて分散表現を生成する。なお、分散表現の生成方法は、「Word2Vec」に限定されるものではなく、「ELMo」（Embeddings from Language Model）、「BERT」（Bidirectional Encoder Representations from Transformers）等を用いることも可能である。
表現分析部２１２は、各文（センテンス）の特徴量として、分散表現（単語埋め込み）処理を実行する。この場合、センテンスベクトルは、各単語のベクトル列を用いてもよいし、各単語のベクトルを総和して1つのベクトルとしてもよい。この分散表現では、文字・単語を多次元のベクトル空間に埋め込み、センテンスを、このベクトル空間の点として把握することができる。この分散表現では、センテンスに含まれる概念を表現する際に、他の概念との共通点や類似性と紐づけながら、ベクトル空間上に表現する。本実施形態では、「Word2Vec」を用いて、単語の共起確率を学習した分散表現モデルを用いて分散表現を生成する。なお、分散表現の生成方法は、「Word2Vec」に限定されるものではなく、「ELMo」（Embeddings from Language Model）、「BERT」（Bidirectional Encoder Representations from Transformers）等を用いることも可能である。
【0020】
学習部２１３は、センテンス評価モデル、パラグラフ評価モデルを作成する処理を実行する。本実施形態では、「LSTM（Long short-term memory）」又は「Bi-LSTM（Bidirectional Long short-term memory）」（以下、「ＬＳＴＭ」と呼ぶ）を用いる。
【0021】
センテンス評価部２１４は、センテンス評価モデルを用いて、段落において連続する文間（センテンス間）の論理性を評価する処理を実行する。
パラグラフ評価部２１５は、パラグラフ評価モデルを用いて、文章において連続する段落間（パラグラフ間）の論理性を評価する処理を実行する。
パラグラフ評価部２１５は、パラグラフ評価モデルを用いて、文章において連続する段落間（パラグラフ間）の論理性を評価する処理を実行する。
【0022】
教師情報記憶部２２には、学習に用いる教師情報が記録される。この教師情報は、教師情報の作成処理が行なわれた場合に記録される。教師情報には、正負フラグ、教師文章に関するデータが記録される。
【0023】
正負フラグデータ領域には、正例又は負例を識別するためのフラグが記録される。正例は論理性がある文章であり、負例は論理性がない文章である。本実施形態では、正例フラグとして値「１」、負例フラグとして値「０」を用いる。
教師文章データ領域には、複数のパラグラフにより構成された文章に関するデータが記録される。各パラグラフは、複数のセンテンスを含む。
教師文章データ領域には、複数のパラグラフにより構成された文章に関するデータが記録される。各パラグラフは、複数のセンテンスを含む。
【0024】
学習結果記憶部２３には、分散表現を生成する分散表現モデルや、文書の論理性の評価に用いる評価モデルが記録される。本実施形態の評価モデルは、第１セルフアテンション、センテンス用ＬＳＴＭ、第２セルフアテンション、パラグラフ用ＬＳＴＭの各処理を含んで構成される。センテンス評価モデルは、センテンス間の論理性を評価する。グループ評価モデルとしてのパラグラフ評価モデルは、パラグラフ間の論理性を評価する。第１、第２セルフアテンション処理により、入力系列を同じ長さの系列に変換し、学習処理の中で与えられた系列の中で正負の決定にかかわる情報の重み付けを行なう。この重み付けを観察することで、どのような文章の要素が論理性に関わるかを可視化することができる。
【0025】
（教師情報の生成処理）
図３を用いて、教師情報の生成処理を説明する。
まず、支援サーバ２０の制御部２１は、正例の取得処理を実行する（ステップＳ１０１）。具体的には、制御部２１の取得部２１１は、ユーザ端末１０において指定された各種サイトから複数のサンプル文書を取得する。例えば、サンプル文書としては、インターネットで公開されているニュース記事、論文、公的文書等、論理性がある文書を用いることができる。次に、取得部２１１は、取得したサンプル文書において、所定数の単語・文字、所定数のセンテンス、所定数のパラグラフからなる、所定のまとまりがある文章を正例として抽出する。なお、所定のまとまりがある文章は、ユーザ端末１０を用いて、管理者が指定してもよい。
図３を用いて、教師情報の生成処理を説明する。
まず、支援サーバ２０の制御部２１は、正例の取得処理を実行する（ステップＳ１０１）。具体的には、制御部２１の取得部２１１は、ユーザ端末１０において指定された各種サイトから複数のサンプル文書を取得する。例えば、サンプル文書としては、インターネットで公開されているニュース記事、論文、公的文書等、論理性がある文書を用いることができる。次に、取得部２１１は、取得したサンプル文書において、所定数の単語・文字、所定数のセンテンス、所定数のパラグラフからなる、所定のまとまりがある文章を正例として抽出する。なお、所定のまとまりがある文章は、ユーザ端末１０を用いて、管理者が指定してもよい。
【0026】
次に、支援サーバ２０の制御部２１は、正例の登録処理を実行する（ステップＳ１０２）。具体的には、制御部２１の取得部２１１は、抽出した正例を、正例フラグに関連付けて教師情報記憶部２２に記録する。
【0027】
次に、支援サーバ２０の制御部２１は、パラグラフ内のセンテンスの並び替え処理を実行する（ステップＳ１０３）。具体的には、制御部２１の取得部２１１は、正例を構成するパラグラフ内で複数のセンテンスの順番をランダムに並び替えた第１負例を生成する。
【0028】
次に、支援サーバ２０の制御部２１は、パラグラフの並び替え処理を実行する（ステップＳ１０４）。具体的には、制御部２１の取得部２１１は、正例を構成する複数のパラグラフの順番をランダムに並び替えた第２負例を生成する。
【0029】
次に、支援サーバ２０の制御部２１は、センテンス及びパラグラフの並び替え処理を実行する（ステップＳ１０５）。具体的には、制御部２１の取得部２１１は、正例を構成する複数のパラグラフの順番をランダムに並び替えた文章を生成する。更に、取得部２１１は、この文章のパラグラフ内の複数のセンテンスの順番をランダムに並び替えた第３負例を生成する。
【0030】
次に、支援サーバ２０の制御部２１は、負例の選択処理を実行する（ステップＳ１０６）。具体的には、制御部２１の取得部２１１は、生成した第１負例～第３負例の中で、任意の負例を選択する。
【0031】
次に、支援サーバ２０の制御部２１は、負例の登録処理を実行する（ステップＳ１０７）。具体的には、制御部２１の取得部２１１は、選択した負例を、負例フラグに関連付けて教師情報記憶部２２に記録する。
【0032】
（学習処理）
次に、図４を用いて、学習処理を説明する。
まず、支援サーバ２０の制御部２１は、分散表現モデルの生成処理を実行する（ステップＳ２０１）。具体的には、制御部２１の表現分析部２１２は、教師情報記憶部２２に記録された教師情報（教師文章）を構成するすべてのセンテンスを取得し、単語の共起確率を学習した分散表現モデルを生成する。そして、表現分析部２１２は、生成した分散表現モデルを、学習結果記憶部２３に記録する。そして、表現分析部２１２は、生成した分散表現モデルを用いて、教師情報記憶部２２に記録されたすべてのセンテンスの分散表現（センテンスベクトル）を生成する。なお、他の教師情報を用いて生成された既存の分散表現モデルを取得して利用するようにしてもよい。
次に、図４を用いて、学習処理を説明する。
まず、支援サーバ２０の制御部２１は、分散表現モデルの生成処理を実行する（ステップＳ２０１）。具体的には、制御部２１の表現分析部２１２は、教師情報記憶部２２に記録された教師情報（教師文章）を構成するすべてのセンテンスを取得し、単語の共起確率を学習した分散表現モデルを生成する。そして、表現分析部２１２は、生成した分散表現モデルを、学習結果記憶部２３に記録する。そして、表現分析部２１２は、生成した分散表現モデルを用いて、教師情報記憶部２２に記録されたすべてのセンテンスの分散表現（センテンスベクトル）を生成する。なお、他の教師情報を用いて生成された既存の分散表現モデルを取得して利用するようにしてもよい。
【0033】
次に、支援サーバ２０の制御部２１は、評価モデルの生成処理を実行する（ステップＳ２０２）。具体的には、制御部２１の学習部２１３は、センテンス間、パラグラフ間の関係を評価するための評価モデルを生成する。
【0034】
この評価モデルにおいては、以下の処理を実行するように構成される。
まず、教師文章を構成する各センテンスにおいて、センテンスベクトルを用いて第１セルフアテンション処理を実行する。次に、第１セルフアテンション処理の出力をセンテンス用ＬＳＴＭ（Long short-term memory）に入力する。
まず、教師文章を構成する各センテンスにおいて、センテンスベクトルを用いて第１セルフアテンション処理を実行する。次に、第１セルフアテンション処理の出力をセンテンス用ＬＳＴＭ（Long short-term memory）に入力する。
【0035】
このセンテンス用ＬＳＴＭからは、順次、パラグラフ毎にパラグラフベクトルが出力される。次に、出力されたパラグラフベクトルを用いて第２セルフアテンション処理を実行する。次に、第２セルフアテンション処理の出力を、順次、パラグラフ用ＬＳＴＭに入力する。
【0036】
そして、学習部２１３は、文章を入力層、パラグラフ用ＬＳＴＭから出力される指標を出力層として、正負を判定する評価モデルを生成し、学習結果記憶部２３に記録する。
【0037】
（文章の評価処理）
次に、図５を用いて、文章の評価処理を説明する。この処理は、ユーザ端末１０から評価対象文章を取得した場合に行なわれる。
次に、図５を用いて、文章の評価処理を説明する。この処理は、ユーザ端末１０から評価対象文章を取得した場合に行なわれる。
【0038】
ここでは、評価対象文章５００を評価する場合を想定する。この評価対象文章５００は、ｍ個のパラグラフでｎ個のセンテンスに分割される場合を想定する。
まず、支援サーバ２０の制御部２１は、表現分析処理を実行する（ステップＳ３０１）。具体的には、制御部２１の表現分析部２１２は、学習結果記憶部２３に記録された分散表現モデルを用いて、単語ベクトルを生成する。
まず、支援サーバ２０の制御部２１は、表現分析処理を実行する（ステップＳ３０１）。具体的には、制御部２１の表現分析部２１２は、学習結果記憶部２３に記録された分散表現モデルを用いて、単語ベクトルを生成する。
【0039】
次に、支援サーバ２０の制御部２１は、センテンス間の論理性評価処理を実行する（ステップＳ３０２）。具体的には、制御部２１のセンテンス評価部２１４は、文章を構成するセンテンス毎に、生成した単語ベクトルを用いてセンテンスベクトルを生成する。ここでは、上述のように、センテンスベクトルは、各単語のベクトル列を用いてもよいし、各単語のベクトルを総和して1つのベクトルとしてもよい。例えば、パラグラフ１においては、センテンス１～センテンスｎに対するセンテンスベクトル１～ｎを生成する。そして、学習結果記憶部２３に記録されたセンテンス評価モデルに適用して、センテンス間の論理性を評価する。この場合、センテンス評価部２１４は、ｍ個のパラグラフベクトルを算出する。詳細は、図６を用いて説明する。
【0040】
次に、支援サーバ２０の制御部２１は、パラグラフ間の論理性評価処理を実行する（ステップＳ３０３）。具体的には、制御部２１のパラグラフ評価部２１５は、ｍ個のパラグラフベクトルに、学習結果記憶部２３に記録されたパラグラフ評価モデルを適用して、パラグラフ間の論理性を評価する。詳細は、図７を用いて説明する。この場合、パラグラフ評価部２１５は、正負を判定するための指標値を算出する。本実施形態では、正例フラグとして「１」、負例フラグとして「０」を用いるため、指標値として「０～１」間の値が出力される。この指標値を用いて正負を判定する。ここでは、「１」に近い場合には「正」と判定し、「０」に近い場合には「負」と判定する。そして、パラグラフ評価部２１５は、ユーザ端末１０に、判定結果を出力する。
【0041】
（センテンス間の論理性評価処理）
次に、図６を用いて、センテンス間の論理性評価処理を説明する。
次に、図６を用いて、センテンス間の論理性評価処理を説明する。
【0042】
まず、支援サーバ２０の制御部２１は、センテンスベクトルの生成処理を実行する（ステップＳ４０１）。具体的には、制御部２１のセンテンス評価部２１４は、センテンス毎に、単語ベクトルを用いて、センテンスベクトルを生成する。図５においては、「段落１」について、ｉ個のセンテンスベクトルが生成される。
【0043】
次に、支援サーバ２０の制御部２１は、パラグラフ毎に以下の処理を繰り返す。
まず、支援サーバ２０の制御部２１は、連続するセンテンスベクトルの取得処理を実行する（ステップＳ４０２）。具体的には、制御部２１のセンテンス評価部２１４は、各パラグラフに含まれる連続する２つのセンテンス（先行文、後続文）のセンテンスベクトルを取得する。
まず、支援サーバ２０の制御部２１は、連続するセンテンスベクトルの取得処理を実行する（ステップＳ４０２）。具体的には、制御部２１のセンテンス評価部２１４は、各パラグラフに含まれる連続する２つのセンテンス（先行文、後続文）のセンテンスベクトルを取得する。
【0044】
次に、支援サーバ２０の制御部２１は、第１セルフアテンション処理を実行する（ステップＳ４０３）。具体的には、制御部２１のセンテンス評価部２１４は、処理対象パラグラフのセンテンスベクトルにおいて、セルフアテンション処理を実行する。
【0045】
次に、支援サーバ２０の制御部２１は、センテンス間ＬＳＴＭ処理を実行する（ステップＳ４０４）。具体的には、制御部２１のセンテンス評価部２１４は、センテンスの順番に、第１セルフアテンション処理の出力を、学習結果記憶部２３に記録されたセンテンス評価モデルに入力する。なお、先行のセンテンスベクトルが存在する場合には、このセンテンスベクトルを用いた先行のセンテンス間評価値も、後続のセンテンス評価モデルに入力する。そして、センテンス評価部２１４は、センテンス評価モデルから出力されるセンテンス間評価値（文間評価値）を取得する。
【0046】
次に、支援サーバ２０の制御部２１は、終了かどうかについての判定処理を実行する（ステップＳ４０５）。具体的には、制御部２１のセンテンス評価部２１４は、処理対象のパラグラフの最後のセンテンスを用いたセンテンス間ＬＳＴＭ処理を実行している場合には、終了と判定する。
【0047】
まだ処理していないセンテンスが残っており、終了でないと判定した場合（ステップＳ４０５において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、連続するセンテンスベクトルの取得処理（ステップＳ４０２）以降の処理を繰り返す。ここでは、次に連続するセンテンスベクトルを特定する。
【0048】
一方、終了と判定した場合（ステップＳ４０５において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、パラグラフベクトルの記録処理を実行する（ステップＳ４０６）。具体的には、制御部２１のセンテンス評価部２１４は、段落番号に関連付けて、パラグラフベクトル（グループ評価値）を、メモリに仮記憶する。
そして、支援サーバ２０の制御部２１は、すべてのパラグラフについての処理を終了するまで繰り返す。
そして、支援サーバ２０の制御部２１は、すべてのパラグラフについての処理を終了するまで繰り返す。
【0049】
（パラグラフ間の論理性評価処理）
次に、図７を用いて、パラグラフ間の論理性評価処理を説明する。
次に、図７を用いて、パラグラフ間の論理性評価処理を説明する。
【0050】
まず、支援サーバ２０の制御部２１は、連続するパラグラフベクトルの取得処理を実行する（ステップＳ５０１）。具体的には、制御部２１のパラグラフ評価部２１５は、各パラグラフに含まれる連続する２つのパラグラフのパラグラフベクトル（先行グループ、後続グループ）を取得する。
【0051】
次に、支援サーバ２０の制御部２１は、第２セルフアテンション処理を実行する（ステップＳ５０２）。具体的には、制御部２１のパラグラフ評価部２１５は、処理対象パラグラフのパラグラフベクトルにおいて、セルフアテンション処理を実行する。
【0052】
次に、支援サーバ２０の制御部２１は、パラグラフ間ＬＳＴＭ処理を実行する（ステップＳ５０３）。具体的には、制御部２１のパラグラフ評価部２１５は、パラグラフの順番に、第２セルフアテンション処理の出力を、学習結果記憶部２３に記録されたパラグラフ評価モデルに入力する。なお、先行のパラグラフベクトルが存在する場合には、このパラグラフベクトルを用いた先行のパラグラフ間評価値も、後続のパラグラフ評価モデルに入力する。そして、パラグラフ評価部２１５は、パラグラフ評価モデルから出力されるパラグラフ間評価値（グループ間評価値）を取得する。
【0053】
次に、支援サーバ２０の制御部２１は、終了かどうかについての判定処理を実行する（ステップＳ５０４）。具体的には、制御部２１のパラグラフ評価部２１５は、処理対象のパラグラフの最後のパラグラフを用いたパラグラフ間ＬＳＴＭ処理を実行している場合には、終了と判定する。
【0054】
まだ処理していないパラグラフが残っており、終了でないと判定した場合（ステップＳ５０４において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、連続するパラグラフベクトルの取得処理（ステップＳ５０１）以降の処理を繰り返す。ここでは、次に連続するパラグラフベクトルを特定する。
【0055】
一方、終了と判定した場合（ステップＳ５０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、最後のパラグラフ間評価値の出力処理を実行する（ステップＳ５０５）。具体的には、制御部２１のパラグラフ評価部２１５は、最後のパラグラフ間ＬＳＴＭ処理（ステップＳ５０３）において取得したパラグラフ間評価値（グループ間評価値）を出力する。
【0056】
本実施形態によれば、以下のような効果を得ることができる。
（１）本実施形態においては、支援サーバ２０の制御部２１は、教師情報の生成処理を実行する。これにより、正例から負例を生成することができる。ここで、支援サーバ２０の制御部２１は、負例の選択処理を実行する（ステップＳ１０６）。これにより、センテンスやパラグラフの論理性の乱れをランダムに含めた負例を生成することができる。
（１）本実施形態においては、支援サーバ２０の制御部２１は、教師情報の生成処理を実行する。これにより、正例から負例を生成することができる。ここで、支援サーバ２０の制御部２１は、負例の選択処理を実行する（ステップＳ１０６）。これにより、センテンスやパラグラフの論理性の乱れをランダムに含めた負例を生成することができる。
【0057】
（２）本実施形態においては、支援サーバ２０の制御部２１は、表現分析処理を実行する（ステップＳ３０１）。これにより、文書を構成するセンテンスをベクトル空間において表現することができる。
【0058】
（３）本実施形態においては、支援サーバ２０の制御部２１は、センテンス間の論理性評価処理を実行する（ステップＳ３０２）。これにより、連続するセンテンスの論理性を、先行センテンス及び後続センテンスのベクトルの関係性により評価することができる。
【0059】
（４）本実施形態においては、支援サーバ２０の制御部２１は、パラグラフ間の論理性評価処理を実行する（ステップＳ３０３）。これにより、連続するパラグラフの論理性を、先行パラグラフ及び後続パラグラフのベクトルの関係性により評価することができる。
【0060】
（５）本実施形態においては、支援サーバ２０の制御部２１は、最後のパラグラフ間評価値の出力処理を実行する（ステップＳ５０５）。これにより、評価対象文章の論理性を判断できる。
【0061】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、支援サーバ２０の制御部２１は、正例の取得処理（ステップＳ１０１）、負例の選択処理（ステップＳ１０６）を実行する。そして、教師情報記憶部２２には、正負フラグに関連付けて各文章を記録する。これに加えて、センテンス正負フラグ、パラグラフ正負フラグの４種類のラベルを付与して、分類させるようにしてもよい。この場合には、「センテンスの正負」、「パラグラフの正負」、「センテンス及びパラグラフの正負」を判定するように学習する。
・上記実施形態では、支援サーバ２０の制御部２１は、正例の取得処理（ステップＳ１０１）、負例の選択処理（ステップＳ１０６）を実行する。そして、教師情報記憶部２２には、正負フラグに関連付けて各文章を記録する。これに加えて、センテンス正負フラグ、パラグラフ正負フラグの４種類のラベルを付与して、分類させるようにしてもよい。この場合には、「センテンスの正負」、「パラグラフの正負」、「センテンス及びパラグラフの正負」を判定するように学習する。
【0062】
・上記実施形態では、支援サーバ２０の制御部２１は、パラグラフ内のセンテンスの並び替え処理（ステップＳ１０３）、パラグラフの並び替え処理（ステップＳ１０４）を実行する。これに代えて又は加えて、文章に含まれる品詞（例えば接続詞）を変更して負例を生成してもよい。例えば、国語学の分野で提唱されている接続詞分類を用いて異種の接続詞分類に置き換えた文章を負例とする。これにより、この二値分類、或いは接続詞分類の数に応じた多クラス分類問題を解くような「接続詞の用法」に関する学習モデルを構成することができる。
更に、文章に含まれる品詞の中で、一部或いはすべての接続詞だけをマスクしたテキストを用いて、機械学習を行なうようにしてもよい。この場合には、接続詞部分をマスクした文章に対して、マスク部分の接続詞の分類をラベリングしたデータを教師データとして用いた機械学習を行なうことにより、接続詞分類を評価できる評価モデルを生成する。そして、この評価モデルを転移学習させることで、上記の正例、負例を評価する評価モデルを生成してもよい。この場合、一つの文章に含まれる複数の接続詞数の中で、置き換えた接続詞数の割合に応じて、正負フラグの値を加算或いは減算するスムージングを行なうようにしてもよい。
図８に示すテーブル６００のように、接続詞は、大分類や細分類等のように、階層化して分けることができる。例えば、大分類には、「整理」、「展開」、「理解」、「論理」等がある。また、４種類の大分類は更に９種類の細分類に展開できる。例えば、大分類「整理」は細分類「並列・列挙」、「対比」に分類することができる。なお、分類は、階層化されていればよく、テーブル６００に限定されるものではない。
そこで、分類の階層毎に学習してもよい。
図９を用いて、修飾語の分類についての評価モデルの生成手順を説明する。
まず、支援サーバ２０の制御部２１は、マスクデータの生成処理を実行する（ステップＳ６０１）。具体的には、制御部２１の取得部２１１は、ステップＳ１０１と同様に、正例を取得する。この場合、接続詞を含む正例を取得する。次に、取得部２１１は、正例の接続詞について、大分類、細分類を特定する。そして、取得部２１１は、接続詞をマスクするとともに、大分類、細分類を付与したマスクデータを生成する。更に、取得部２１１は、正例のマスクデータに対して、正例フラグを設定して教師情報記憶部２２に記録する。一方、取得部２１１は、正例の大分類、細分類以外の大分類、細分類を付与したマスクデータを生成して、負例フラグを設定して教師情報記憶部２２に記録する。
次に、支援サーバ２０の制御部２１は、論理表現学習処理を実行する（ステップＳ６０２）。具体的には、制御部２１の表現分析部２１２は、ステップＳ２０１と同様に、マスク前後の文（センテンス又はパラグラフ）の分散表現モデルを生成する。
次に、支援サーバ２０の制御部２１は、評価モデルの生成処理を実行する（ステップＳ６０３）。具体的には、制御部２１の学習部２１３は、文章の接続詞（大分類、細分類）を評価する評価モデル（センテンス評価モデル及び前記グループ評価モデル）を生成する。
図１０に示す評価モデル７００は、複数の問題を一つのモデルで解くマルチタスク学習を用いて生成する。この評価モデル７００は、論理表現層７０１、大分類予測層７０２、細分類予測層７０３を備える。論理表現層７０１は、マスク前後の文（センテンス又はパラグラフ）の分散表現モデルを生成する。マルチタスク学習を用いて生成される大分類予測層７０２、細分類予測層７０３は、それぞれ、マスク前後の分散表現モデルの接続詞（大分類、細分類）を推定する。これにより、階層が異なる分類（タスク）を共有して接続詞の予測精度の向上を図ることができる。
また、他の学習方法で評価モデルを生成してもよい。
図１１に示す評価モデル７１０は、大分類の予測で生成された情報を、細分類の予測に用いるモデルである。この評価モデル７１０は、論理表現層７１１、大分類予測層７１２、細分類予測層７１３を備える。論理表現層７１１は、マスク前後の文（センテンス又はパラグラフ）の分散表現モデルを生成する。大分類予測層７１２は、マスク前後の分散表現モデルの接続詞（大分類）を推定する。細分類予測層７１３は、マスク前後の分散表現モデルとともに、大分類予測層７１２で算出された情報を入力して、接続詞（細分類）を推定する。これにより、大分類の情報を、細分類における接続詞の予測に連携させて、予測精度の向上を図ることができる。
更に、文章に含まれる品詞の中で、一部或いはすべての接続詞だけをマスクしたテキストを用いて、機械学習を行なうようにしてもよい。この場合には、接続詞部分をマスクした文章に対して、マスク部分の接続詞の分類をラベリングしたデータを教師データとして用いた機械学習を行なうことにより、接続詞分類を評価できる評価モデルを生成する。そして、この評価モデルを転移学習させることで、上記の正例、負例を評価する評価モデルを生成してもよい。この場合、一つの文章に含まれる複数の接続詞数の中で、置き換えた接続詞数の割合に応じて、正負フラグの値を加算或いは減算するスムージングを行なうようにしてもよい。
図８に示すテーブル６００のように、接続詞は、大分類や細分類等のように、階層化して分けることができる。例えば、大分類には、「整理」、「展開」、「理解」、「論理」等がある。また、４種類の大分類は更に９種類の細分類に展開できる。例えば、大分類「整理」は細分類「並列・列挙」、「対比」に分類することができる。なお、分類は、階層化されていればよく、テーブル６００に限定されるものではない。
そこで、分類の階層毎に学習してもよい。
図９を用いて、修飾語の分類についての評価モデルの生成手順を説明する。
まず、支援サーバ２０の制御部２１は、マスクデータの生成処理を実行する（ステップＳ６０１）。具体的には、制御部２１の取得部２１１は、ステップＳ１０１と同様に、正例を取得する。この場合、接続詞を含む正例を取得する。次に、取得部２１１は、正例の接続詞について、大分類、細分類を特定する。そして、取得部２１１は、接続詞をマスクするとともに、大分類、細分類を付与したマスクデータを生成する。更に、取得部２１１は、正例のマスクデータに対して、正例フラグを設定して教師情報記憶部２２に記録する。一方、取得部２１１は、正例の大分類、細分類以外の大分類、細分類を付与したマスクデータを生成して、負例フラグを設定して教師情報記憶部２２に記録する。
次に、支援サーバ２０の制御部２１は、論理表現学習処理を実行する（ステップＳ６０２）。具体的には、制御部２１の表現分析部２１２は、ステップＳ２０１と同様に、マスク前後の文（センテンス又はパラグラフ）の分散表現モデルを生成する。
次に、支援サーバ２０の制御部２１は、評価モデルの生成処理を実行する（ステップＳ６０３）。具体的には、制御部２１の学習部２１３は、文章の接続詞（大分類、細分類）を評価する評価モデル（センテンス評価モデル及び前記グループ評価モデル）を生成する。
図１０に示す評価モデル７００は、複数の問題を一つのモデルで解くマルチタスク学習を用いて生成する。この評価モデル７００は、論理表現層７０１、大分類予測層７０２、細分類予測層７０３を備える。論理表現層７０１は、マスク前後の文（センテンス又はパラグラフ）の分散表現モデルを生成する。マルチタスク学習を用いて生成される大分類予測層７０２、細分類予測層７０３は、それぞれ、マスク前後の分散表現モデルの接続詞（大分類、細分類）を推定する。これにより、階層が異なる分類（タスク）を共有して接続詞の予測精度の向上を図ることができる。
また、他の学習方法で評価モデルを生成してもよい。
図１１に示す評価モデル７１０は、大分類の予測で生成された情報を、細分類の予測に用いるモデルである。この評価モデル７１０は、論理表現層７１１、大分類予測層７１２、細分類予測層７１３を備える。論理表現層７１１は、マスク前後の文（センテンス又はパラグラフ）の分散表現モデルを生成する。大分類予測層７１２は、マスク前後の分散表現モデルの接続詞（大分類）を推定する。細分類予測層７１３は、マスク前後の分散表現モデルとともに、大分類予測層７１２で算出された情報を入力して、接続詞（細分類）を推定する。これにより、大分類の情報を、細分類における接続詞の予測に連携させて、予測精度の向上を図ることができる。
【0063】
・上記実施形態では、支援サーバ２０の制御部２１は、分散表現モデルの生成処理を実行する（ステップＳ２０１）。この場合、「Word2Vec」を用いて、分散表現を生成する。センテンスを数値化できれば、分散表現を生成する手法は限定されるものではない。
また、支援サーバ２０の制御部２１は、ＬＳＴＭを用いて、センテンス評価モデル、パラグラフ評価モデルを作成する処理を実行する。時系列データを評価できれば、手法は限定されるものではない。
また、支援サーバ２０の制御部２１は、ＬＳＴＭを用いて、センテンス評価モデル、パラグラフ評価モデルを作成する処理を実行する。時系列データを評価できれば、手法は限定されるものではない。
【0064】
・上記実施形態では、支援サーバ２０の制御部２１は、連続するセンテンスベクトルの取得処理を実行する（ステップＳ４０２）。ここで、連続する２文のセンテンスベクトルを結合する処理を実行してもよい。
【0065】
・上記実施形態では、支援サーバ２０の制御部２１は、連続するパラグラフベクトルの取得処理を実行する（ステップＳ５０１）。ここで、連続する２段落のパラグラフベクトルを結合する処理を実行してもよい。
【0066】
・上記実施形態では、文をまとめた段落をグループとして扱う。論理性がある文のまとまりであれば、グループは段落に限定されるものではない。
・上記実施形態では、支援サーバ２０の制御部２１は、分散表現モデルの生成処理を実行する（ステップＳ２０１）。ここで、分散表現モデルの生成は、支援サーバ２０が行なう場合に限定されない。例えば、多様な文の単語を用いて、事前に生成された学習済の分散表現モデルを取得して利用してもよい。
・上記実施形態では、支援サーバ２０の制御部２１は、分散表現モデルの生成処理を実行する（ステップＳ２０１）。ここで、分散表現モデルの生成は、支援サーバ２０が行なう場合に限定されない。例えば、多様な文の単語を用いて、事前に生成された学習済の分散表現モデルを取得して利用してもよい。
【符号の説明】
【0067】
１０…ユーザ端末、２０…支援サーバ、２１…制御部、２１１…取得部、２１２…表現分析部、２１３…学習部、２１４…センテンス評価部、２１５…パラグラフ評価部、２２…教師情報記憶部、２３…学習結果記憶部。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】