特許 7356065 文書評価プログラム、文書評価方法および文書評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-26

(45)【発行日】2023-10-04

(54)【発明の名称】文書評価プログラム、文書評価方法および文書評価装置

(51)【国際特許分類】

   G06Q 10/063 20230101AFI20230927BHJP

   G06F 40/253 20200101ALI20230927BHJP

【ＦＩ】

G06Q10/063

G06F40/253

【請求項の数】 10

(21)【出願番号】P 2022504880

(86)(22)【出願日】2020-03-05

(86)【国際出願番号】 JP2020009412

(87)【国際公開番号】W WO2021176648

(87)【国際公開日】2021-09-10

【審査請求日】2022-07-20

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】▲柳▼▲瀬▼ 隆史

(72)【発明者】

【氏名】浅井 達哉

【審査官】田付 徳雄

(56)【参考文献】

【文献】特開２０１９－２１９７１５（ＪＰ，Ａ）

【文献】特開２０１１－１４１７６６（ＪＰ，Ａ）

【文献】特開２００６－２６８７４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０３０６７８４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／０３４７３９０（ＵＳ，Ａ１）

【文献】特開２０１５－１８４７２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１０／００８２６２７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０６Ｆ ４０／２５３

(57)【特許請求の範囲】

【請求項1】

コンピュータに、
文書の中の単語の出現状況を示す１以上の第１の特徴変数と文書に対応する業務の属性を示す１以上の第２の特徴変数とを含む複数の特徴変数のうちの、１以上の特徴変数の値の条件と、文書の評価結果と、をそれぞれ対応付けた複数の判定ルールであって、少なくとも一部の判定ルールの前記条件が、前記１以上の第１の特徴変数のうちの少なくとも１つと前記１以上の第２の特徴変数のうちの少なくとも１つとを含む複数の判定ルールを取得し、
評価対象文書に対応する前記複数の特徴変数の値を算出し、前記複数の判定ルールのうち、前記条件が前記評価対象文書の前記算出した値に適合し、かつ、前記条件が少なくとも１つの第１の特徴変数を含む判定ルールを選択し、
前記選択した判定ルールに基づいて、前記評価対象文書の評価結果を生成する、
処理を実行させる文書評価プログラム。

【請求項2】

前記１以上の第１の特徴変数は、文書に含まれる所定の種類の単語の個数を示す特徴変数を含み、前記１以上の第２の特徴変数は、文書に対応する業務の予定金額を示す特徴変数および予定期間を示す特徴変数の少なくとも一方を含む、
請求項１記載の文書評価プログラム。

【請求項3】

前記評価対象文書に対応する前記複数の特徴変数の値の算出では、前記評価対象文書を解析することで、前記１以上の第１の特徴変数の値を算出し、前記評価対象文書の外部の業務情報を参照することで、前記１以上の第２の特徴変数の値を算出する、
請求項１記載の文書評価プログラム。

【請求項4】

前記選択した判定ルールの前記条件は、前記少なくとも１つの第１の特徴変数の値の条件と少なくとも１つの第２の特徴変数の値の条件との組み合わせを示す、
請求項１記載の文書評価プログラム。

【請求項5】

前記複数の判定ルールにはそれぞれ重要度が付与されており、
前記評価対象文書の評価結果の生成では、前記選択した判定ルールに付与された前記重要度を用いて評価値を算出し、前記評価値を前記評価対象文書の評価結果に含める、
請求項１記載の文書評価プログラム。

【請求項6】

前記評価対象文書の評価結果の生成では、前記選択した判定ルールの前記条件から、前記少なくとも１つの第１の特徴変数の閾値を抽出し、前記評価対象文書の前記少なくとも１つの第１の特徴変数の値と前記閾値とに基づいて、前記選択した判定ルールに付与された前記重要度を補正し、前記補正した重要度を用いて前記評価値を算出する、
請求項５記載の文書評価プログラム。

【請求項7】

前記評価対象文書の評価結果の生成では、前記少なくとも１つの第１の特徴変数に該当する単語を前記評価対象文書から検索し、前記検索した単語を強調表示させる、
請求項１記載の文書評価プログラム。

【請求項8】

前記コンピュータに更に、
複数のサンプル文書から、それぞれが前記複数の特徴変数の値と評価結果を示す教師ラベルとを含む複数のレコードを含む訓練データを生成し、
前記訓練データから、前記複数の特徴変数のサブセットと前記教師ラベルとの間の相関関係を分析して、前記複数の判定ルールを生成する、
処理を実行させる請求項１記載の文書評価プログラム。

【請求項9】

コンピュータが、
文書の中の単語の出現状況を示す１以上の第１の特徴変数と文書に対応する業務の属性を示す１以上の第２の特徴変数とを含む複数の特徴変数のうちの、１以上の特徴変数の値の条件と、文書の評価結果と、をそれぞれ対応付けた複数の判定ルールであって、少なくとも一部の判定ルールの前記条件が、前記１以上の第１の特徴変数のうちの少なくとも１つと前記１以上の第２の特徴変数のうちの少なくとも１つとを含む複数の判定ルールを取得し、
評価対象文書に対応する前記複数の特徴変数の値を算出し、前記複数の判定ルールのうち、前記条件が前記評価対象文書の前記算出した値に適合し、かつ、前記条件が少なくとも１つの第１の特徴変数を含む判定ルールを選択し、
前記選択した判定ルールに基づいて、前記評価対象文書の評価結果を生成する、
文書評価方法。

【請求項10】

文書の中の単語の出現状況を示す１以上の第１の特徴変数と文書に対応する業務の属性を示す１以上の第２の特徴変数とを含む複数の特徴変数のうちの、１以上の特徴変数の値の条件と、文書の評価結果と、をそれぞれ対応付けた複数の判定ルールであって、少なくとも一部の判定ルールの前記条件が、前記１以上の第１の特徴変数のうちの少なくとも１つと前記１以上の第２の特徴変数のうちの少なくとも１つとを含む複数の判定ルールを記憶すると共に、評価対象文書を記憶する記憶部と、
前記評価対象文書に対応する前記複数の特徴変数の値を算出し、前記複数の判定ルールのうち、前記条件が前記評価対象文書の前記算出した値に適合し、かつ、前記条件が少なくとも１つの第１の特徴変数を含む判定ルールを選択し、前記選択した判定ルールに基づいて、前記評価対象文書の評価結果を生成する処理部と、
を有する文書評価装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は文書評価プログラム、文書評価方法および文書評価装置に関する。

【背景技術】

【0002】

あるユーザが業務に関する文書を作成し、その文書を他者に読んでもらうことがある。このとき、その業務を円滑に遂行できるか否かは、読み手が文書から感じる印象の影響を受けることがあり、文書の良否に依存することがある。例えば、応募者を募る募集文書を作成する場合、文書の書き方が応募者の多寡に影響を与えることがある。また、例えば、業務計画を提案する提案書を作成する場合、文書の書き方が検討会議のメンバーの印象に影響を与え、提案書の採否に影響を与えることがある。

【0003】

そこで、ユーザが作成した文書を評価する情報処理システムを構築することがある。例えば、特定の種類の単語の出現状況から文書の評価値を求める判定ルールを予め用意しておき、その判定ルールを用いて情報処理システムが文書を評価することが考えられる。判定ルールは、人手で作成することがあり、機械学習によって生成することもある。

【0004】

なお、機械学習を用いた文書処理技術の例として、２つの文の類似度を算出するためのニューラルネットワークを、類似する文ペアを示す正例と類似しない文ペアを示す負例とを含む訓練データから生成する学習装置が提案されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１０２４９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、同じ文書であっても、その文書を解釈する上で前提となる業務の属性に応じて、文書の印象が変わる可能性がある。例えば、ある文書の書き方に対して、業務のカテゴリによって印象が変わる可能性がある。また、予算が少ない業務や納期が短い業務では印象が悪くなる一方、予算が多い業務や納期が長い業務では印象が良くなることもある。

【0007】

この点、業務の属性と無関係に共通の判定ルールを使用すると、文書評価の精度が低くなってしまう。一方、属性値毎に判定ルールを用意しようとすると、コストが大きくなるという問題がある。人手で判定ルールを作成する場合、ルール作成者の負担が大きくなる。機械学習によって判定ルールを生成する場合、属性値毎に十分な量のサンプル文書を用意することになり、データ準備の負担が大きくなる。

【0008】

１つの側面では、本発明は、文書の属性の多様性を考慮した文書評価を可能とする文書評価プログラム、文書評価方法および文書評価装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

１つの態様では、コンピュータに以下の処理を実行させる文書評価プログラムが提供される。文書の中の単語の出現状況を示す１以上の第１の特徴変数と文書に対応する業務の属性を示す１以上の第２の特徴変数とを含む複数の特徴変数のうちの、１以上の特徴変数の値の条件と、文書の評価結果と、をそれぞれ対応付けた複数の判定ルールを取得する。評価対象文書に対応する複数の特徴変数の値を算出し、複数の判定ルールのうち、条件が評価対象文書の算出した値に適合し、かつ、条件が少なくとも１つの第１の特徴変数を含む判定ルールを選択する。選択した判定ルールに基づいて、評価対象文書の評価結果を生成する。

【0010】

また、１つの態様では、コンピュータが実行する文書評価方法が提供される。また、１つの態様では、記憶部と処理部とを有する文書評価装置が提供される。

【発明の効果】

【0011】

１つの側面では、文書の属性の多様性を考慮した文書評価が可能となる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。

【図面の簡単な説明】

【0012】

【図1】第１の実施の形態の文書評価装置の例を説明する図である。

【図2】第２の実施の形態の文書評価装置のハードウェア例を示す図である。

【図3】文書の第１の例を示す図である。

【図4】文書の第２の例を示す図である。

【図5】文書の第３の例を示す図である。

【図6】発注管理テーブルの例を示す図である。

【図7】訓練データテーブルの第１の例を示す図である。

【図8】文書の第４の例を示す図である。

【図9】訓練データテーブルの第２の例を示す図である。

【図10】仮説テーブルの例を示す図である。

【図11】文書の第５の例を示す図である。

【図12】特徴データの例を示す図である。

【図13】評価対象文書にマッチする仮説の選択例を示す図である。

【図14】評価値の算出例を示す図である。

【図15】添削画面の例を示す図である。

【図16】文書評価装置の機能例を示すブロック図である。

【図17】モデル生成の手順例を示すフローチャートである。

【図18】モデル生成の手順例を示すフローチャート（続き）である。

【図19】文書評価の手順例を示すフローチャートである。

【図20】文書評価の手順例を示すフローチャート（続き）である。

【発明を実施するための形態】

【0013】

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。

【0014】

図１は、第１の実施の形態の文書評価装置の例を説明する図である。
第１の実施の形態の文書評価装置１０は、業務の属性の違いを考慮して文書を評価する。文書評価装置１０は、クライアント装置でもよいしサーバ装置でもよい。文書評価装置１０を、コンピュータ、情報処理装置、機械学習装置などと言うこともできる。

【0015】

文書評価装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うこともある。

【0016】

記憶部１１は、評価対象文書１３を記憶する。評価対象文書１３は、自然言語で記述された文章を含む。文章は、複数の単語を含む文字列である。また、記憶部１１は、判定ルール１４ａ，１４ｂ，１４ｃを含む複数の判定ルールを記憶する。複数の判定ルールはそれぞれ、１以上の特徴変数についての条件と文書の評価結果とを対応付けている。特徴変数を説明変数と言うこともでき、評価結果を目的変数と言うこともできる。

【0017】

判定ルール１４ａ，１４ｂ，１４ｃは、例えば、予め機械学習によって生成される。判定ルール１４ａ，１４ｂ，１４ｃが示す条件は、複数の特徴変数のうちの１つの特徴変数または２以上の特徴変数の組み合わせに対して規定される値の条件である。複数の特徴変数の中には、文書の中の単語の出現状況を示す１以上の特徴変数（第１の特徴変数）と、文書に対応する業務の属性を示す１以上の特徴変数（第２の特徴変数）とが含まれる。前者を言語的特徴と言うこともでき、後者を非言語属性と言うこともできる。

【0018】

言語的特徴としては、例えば、総文字数や総単語数などの文章長、接続詞や副詞などの特定の品詞の単語数、依頼表現や禁止表現や数値表現などの特定の種類の表現数が挙げられる。非言語属性としては、例えば、業務のカテゴリ、発注価格や予算額などの予定価格、納期や準備期間などの予定期間が挙げられる。言語的特徴は、文書に含まれる文字列を分析することで抽出される。非言語属性は、文書の意味を解釈して文書そのものから抽出されることもあるし、文書の外部にある業務情報から抽出されることもある。文書に対応する業務は、例えば、文書が使用される業務や文書が提案する業務である。評価結果は、例えば、良い文書か悪い文書かを示すフラグである。評価結果は、例えば、応募者数やプロジェクト採否などの業務結果から判断される。応募者が多い募集文書は高評価と判断され、プロジェクトが採用された提案文書は高評価と判断される。

【0019】

処理部１２は、評価対象文書１３に対応する複数の特徴変数の値を算出する。一例として、処理部１２は、特徴変数ｖ１，ｖ２，ｖ３，ｖ４の値を算出する。特徴変数ｖ１，ｖ２は言語的特徴であり、特徴変数ｖ３，ｖ４は非言語属性である。特徴変数ｖ１は、特定の品詞の単語数を表す。特徴変数ｖ２は、特定の種類の表現数を表す。特徴変数ｖ３は、予定価格を表す。特徴変数ｖ４は、予定期間を表す。ここでは、評価対象文書１３に対して、ｖ１＝２，ｖ２＝６，ｖ３＝１５０，ｖ４＝３と算出されている。特徴変数ｖ３，ｖ４の値は、評価対象文書１３の外部の業務情報から抽出されることもある。

【0020】

処理部１２は、判定ルール１４ａ，１４ｂ，１４ｃを含む複数の判定ルールの中から、条件が評価対象文書１３の値に適合する判定ルールを検索する。処理部１２は、検索された判定ルールのうち、条件が少なくとも１つの言語的特徴を含む判定ルールを選択する。すなわち、条件の中に１つも言語的特徴を含まない判定ルールは除外される。

【0021】

一例として、判定ルール１４ａは、ｖ２≧４かつｖ４≦３という条件を満たす文書の評価が低いことを表す。判定ルール１４ｂは、ｖ１≧４かつｖ３≧１００という条件を満たす文書の評価が高いことを表す。判定ルール１４ｃは、ｖ３≧１００かつｖ４≧３という条件を満たす文書の評価が高いことを表す。判定ルール１４ａが規定する特徴変数ｖ２，ｖ４の条件は、評価対象文書１３に適合し、かつ、言語的特徴を含んでいる。よって、判定ルール１４ａは選択される。判定ルール１４ｂが規定する特徴変数ｖ１，ｖ３の条件は、評価対象文書１３に適合しない。よって、判定ルール１４ｂは選択されない。判定ルール１４ｃが規定する特徴変数ｖ３，ｖ４の条件は、評価対象文書１３に適合するものの、言語的特徴を含まない。よって、判定ルール１４ｃは選択されない。

【0022】

処理部１２は、選択した判定ルールに基づいて、評価対象文書１３の評価結果１５を生成する。一例として、判定ルール１４ａのみが選択されたとする。この場合、判定ルール１４ａは低評価を示しているため、評価結果１５が低評価となる。２以上の判定ルールが選択された場合、処理部１２は、高評価の判定ルールの個数と低評価の判定ルールの個数の比率に基づいて、評価結果１５を生成してもよい。また、各判定ルールに重要度が付与されている場合、処理部１２は、高評価の判定ルールの重要度と低評価の判定ルールの重要度の比率に基づいて、評価結果１５を生成してもよい。

【0023】

第１の実施の形態の文書評価装置１０によれば、単語の出現状況を示す特徴変数と業務の属性を示す特徴変数とが混在した特徴変数の集合が定義され、この特徴変数の集合の中の一部または全部の特徴変数を用いて各判定ルールが作成される。そして、評価対象文書１３に適合し、かつ、単語の出現状況を示す特徴変数を少なくとも１つ含む判定ルールが選択され、選択された判定ルールに基づいて評価結果１５が生成される。

【0024】

これにより、評価対象文書１３に対応する業務の属性を考慮して、評価結果１５を生成することができる。よって、業務の属性を考慮せずに、単語の出現状況を示す特徴変数のみから評価結果１５を生成する場合よりも、評価結果１５の精度が向上する。また、単語の出現状況を示す特徴変数と業務の属性を示す特徴変数とが混在した特徴変数の集合を使用することで、属性値毎に異なる判定ルールを用意しなくてもよい。よって、判定ルール生成のコストを低減できる。判定ルールを機械学習によって生成する場合、機械学習のために準備するサンプル文書の量を削減することが可能となる。

【0025】

また、上記の特徴変数の集合を使用すると、判定ルールの中には、単語の出現状況を示す特徴変数を含まない判定ルールも存在し得る。このような判定ルールは、業務の属性のみから評価を決めるものであり、評価対象文書１３の書き方に対する評価を提供しない。この点、単語の出現状況を示す特徴変数を含まない判定ルールを除外して評価結果１５を生成することで、評価結果１５の精度が向上する。

【0026】

［第２の実施の形態］
次に、第２の実施の形態を説明する。
第２の実施の形態の文書評価装置は、機械学習によって文書評価用のモデルを生成し、生成したモデルを用いて評価対象文書の評価値を算出する。この文書評価装置は、クライアント装置でもよいしサーバ装置でもよい。この文書評価装置を、コンピュータ、情報処理装置、機械学習装置などと言うこともできる。なお、第２の実施の形態では、モデル生成と文書評価を同一装置で行っているが、異なる装置で行うようにしてもよい。

【0027】

図２は、第２の実施の形態の文書評価装置のハードウェア例を示す図である。
第２の実施の形態の文書評価装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、画像インタフェース１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。文書評価装置１００が有するこれらのユニットは、バスに接続されている。文書評価装置１００は、第１の実施の形態の文書評価装置１０に対応する。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。

【0028】

ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。ＣＰＵ１０１は複数のプロセッサコアを備えてもよく、文書評価装置１００は複数のプロセッサを備えてもよい。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うことがある。

【0029】

ＲＡＭ１０２は、ＣＰＵ１０１が実行するプログラムやＣＰＵ１０１が演算に使用するデータを一時的に記憶する揮発性半導体メモリである。文書評価装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数のメモリを備えてもよい。

【0030】

ＨＤＤ１０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。文書評価装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）など他の種類のストレージを備えてもよく、複数のストレージを備えてもよい。

【0031】

画像インタフェース１０４は、ＣＰＵ１０１からの命令に従って、文書評価装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１として、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイ、プロジェクタなど、任意の種類の表示装置を使用することができる。文書評価装置１００に、プリンタなど表示装置１１１以外の出力デバイスが接続されてもよい。

【0032】

入力インタフェース１０５は、文書評価装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２として、マウス、タッチパネル、タッチパッド、キーボードなど、任意の種類の入力デバイスを使用することができる。文書評価装置１００に複数種類の入力デバイスが接続されてもよい。

【0033】

媒体リーダ１０６は、記録媒体１１３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体１１３として、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、半導体メモリなど、任意の種類の記録媒体を使用することができる。媒体リーダ１０６は、例えば、記録媒体１１３から読み取ったプログラムやデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、例えば、ＣＰＵ１０１によって実行される。なお、記録媒体１１３は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体１１３やＨＤＤ１０３を、コンピュータ読み取り可能な記録媒体と言うことがある。

【0034】

通信インタフェース１０７は、ネットワーク１１４に接続され、ネットワーク１１４を介して他の情報処理装置と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。

【0035】

次に、文書の評価について説明する。
文書評価装置１００は、クラウドソーシング発注書やプロジェクト提案書などの業務文書を評価する。クラウドソーシング発注書は、企業外部から仕事の受注者を広く募集するための発注書であり、企業外部の者によって読まれる。クラウドソーシング発注書の書き方の良否によって、応募者が多くなることもあるし少なくなることもある。プロジェクト提案書は、企業内部でプロジェクトを提案するための提案書であり、プロジェクト採否を検討する企業内部の者によって読まれる。プロジェクト提案書の書き方の良否によって、プロジェクトが採用されることもあるし不採用になることもある。

【0036】

文書評価装置１００は、評価対象文書から自然言語解析によって言語的特徴を抽出し、言語的特徴を用いて評価値を算出する。言語的特徴は、主に、特定条件を満たす単語の出現状況を示している。言語的特徴には、総文字数や総単語数などの文書長が含まれ得る。長すぎる文書は、読み手にネガティブな印象を与える可能性がある。また、言語的特徴には、副詞数や接続詞数などの特定の品詞の出現数が含まれ得る。副詞や接続詞が多すぎる文書は、読みづらくなる可能性があり読み手にネガティブな印象を与える可能性がある。

【0037】

また、言語的特徴には、受動態数が含まれ得る。受動態が多すぎる文書は、曖昧さが増大してネガティブな印象を与える可能性がある。また、言語的特徴には、読み手への要求事項を示す依頼表現の数や読み手の禁止事項を示す禁止表現の数が含まれ得る。依頼表現や禁止表現が多すぎる文書は、業務上の負担が大きくなる可能性があり読み手にネガティブな印象を与える可能性がある。

【0038】

ただし、評価対象文書の評価は、言語的特徴のみから決まるとは限らず、非言語属性の影響を受けることがある。非言語属性は、評価対象文書に対応する業務の属性であって、単語の出現状況以外の特徴量である。非言語属性は、評価対象文書の使用状況や前提条件を表していると言うこともできる。非言語属性は、評価対象文書の中に記載されていることもあるし、外部の業務情報に記録されていることもある。

【0039】

非言語属性には、業務のカテゴリが含まれ得る。また、非言語属性には、発注価格や予算額などの予定金額が含まれ得る。依頼表現数や禁止表現数が同じ文書であっても、大規模業務では問題とならない一方、小規模業務ではネガティブな印象が強くなる可能性がある。また、非言語属性には、納期や準備期間などの予定期間が含まれ得る。依頼表現数や禁止表現数が同じ文書であっても、長納期業務では問題とならない一方、短納期業務ではネガティブな印象が強くなる可能性がある。このように、言語的特徴が同じ評価対象文書であっても、非言語属性が異なると評価が変わる可能性がある。

【0040】

図３は、文書の第１の例を示す図である。
文書１３１は、クラウドソーシング発注書の例である。文書１３１は、「してください」や「お願いします」といった依頼表現を８個含んでいる。また、文書１３１によって発注する仕事の納期は短く設定されている。

【0041】

図４は、文書の第２の例を示す図である。
文書１３２は、文書１３１と同様にクラウドソーシング発注書の例である。文書１３２は、「してください」や「ご覧ください」といった依頼表現を７個含んでいる。ただし、文書１３２によって発注する仕事の納期は長く設定されている。

【0042】

ここで、「依頼表現数が５以上の場合、受注が少なくなる」という判定ルールが設定されているとする。この判定ルールのもとでは、文書１３１も文書１３２も、受注が少なくなるため低評価と判定されることになる。この点、文書１３１では、納期が短いにもかかわらず依頼事項が多いと読み手が感じる可能性が高く、評価結果は妥当である。一方、文書１３２では、そもそも納期が長い大規模業務であるため、依頼事項が多くてもかえって指示が具体的でわかりやすいと読み手が感じる可能性があり、評価結果は妥当でない。

【0043】

このように、評価対象文書が前提とする業務の属性に応じて、読み手の印象が変わる可能性がある。文書評価装置１００は、非言語属性も考慮して評価対象文書の評価値を算出できるようにすることが好ましい。そこで、文書評価装置１００は、機械学習によりモデルを生成するにあたって、言語的特徴と非言語属性の両方を説明変数として使用する。

【0044】

次に、機械学習のための訓練データの準備について説明する。
図５は、文書の第３の例を示す図である。
文書１３３は、過去に作成されたクラウドソーシング発注書の例である。クラウドソーシング発注書を評価するためのモデルを生成するにあたっては、過去に作成された複数のクラウドソーシング発注書が使用される。クラウドソーシング発注書の評価では、後述するように、長さ、副詞数、接続詞数および禁止表現数を言語的特徴として使用する。文書１３３は、「簡単に」、「なるべく」という２個の副詞を含む。また、文書１３３は、「ただし」、「それでは」という２個の接続詞を含む。また、文書１３３は、「ご遠慮ください」、「厳禁です」、「おやめください」という３個の禁止表現を含む。

【0045】

文書評価装置１００は、形態素解析などの自然言語処理技術を用いて、文書１３３からこれらの言語的特徴を抽出することができる。例えば、文書評価装置１００は、文書１３３を単語に分割し、辞書を参照して各単語の品詞を判定する。そして、文書評価装置１００は、副詞および接続詞の個数をカウントする。また、例えば、文書評価装置１００は、禁止表現のパターンを列挙した辞書を参照して、禁止表現を検出してカウントする。

【0046】

図６は、発注管理テーブルの例を示す図である。
発注管理テーブル１４１は、クラウドソーシング業務を管理するために、文書１３３などのクラウドソーシング発注書の外部に保存されている。クラウドソーシング発注書を評価するためのモデルを生成するにあたっては、過去に作成された複数のクラウドソーシング発注書に対応する業務情報が使用される。発注管理テーブル１４１は、発注ＩＤ、カテゴリ、発注価格、納期および受注数の項目を含む。

【0047】

発注ＩＤとして、クラウドソーシングを識別する識別子が登録される。カテゴリとして、クラウドソーシングによって依頼する仕事の種類が登録される。発注価格として、受注者に対して支払われる予定の対価の金額が登録される。納期として、仕事の発注から成果物の納品期限までの日数が登録される。受注数として、最終的な受注者の人数が登録される。発注ＩＤ、カテゴリ、発注価格および納期は、クラウドソーシング発注書を公開する前に予め決定される。受注数は、クラウドソーシング発注書の公開後に算出される。

【0048】

クラウドソーシング発注書の評価は、受注数に応じて決定される。受注数が閾値以上であることは、受注が多かったことを意味し、クラウドソーシング発注書が高評価であることを意味する。受注数が未満であることは、受注が少なかったことを意味し、クラウドソーシング発注書が低評価であることを意味する。閾値は、５件のように予め決めておく。

【0049】

図７は、訓練データテーブルの第１の例を示す図である。
訓練データテーブル１４２は、クラウドソーシング発注書を評価するためのモデルを生成するにあたって、文書１３３などの過去のクラウドソーシング発注書と発注管理テーブル１４１とから生成される訓練データである。訓練データテーブル１４２は、発注ＩＤ、非言語属性、言語的特徴および教師ラベルの項目を含む。非言語属性の項目として、カテゴリ、発注価格および納期の項目が含まれる。言語的特徴の項目として、長さ、副詞数、接続詞数および禁止表現数が含まれる。

【0050】

発注ＩＤは、発注管理テーブル１４１の発注ＩＤに対応する。カテゴリは、発注管理テーブル１４１のカテゴリに対応する。発注価格は、発注管理テーブル１４１の発注価格に対応する。納期は、発注管理テーブル１４１の納期に対応する。文書評価装置１００は、発注管理テーブル１４１から、これらの非言語属性を抽出する。

【0051】

長さは、クラウドソーシング発注書に含まれる文字数または単語数である。副詞数は、クラウドソーシング発注書に含まれる副詞の個数である。接続詞数は、クラウドソーシング発注書に含まれる接続詞の個数である。禁止表現数は、クラウドソーシング発注書に含まれる禁止表現の個数である。文書評価装置１００は、クラウドソーシング発注書それ自体から、これらの言語的特徴を抽出する。

【0052】

教師ラベルは、受注の多寡を示すフラグである。発注管理テーブル１４１の受注数が閾値以上（例えば、５件以上）である場合、受注が多いことを示す教師ラベルが登録される。発注管理テーブル１４１の受注数が閾値未満である場合、受注が少ないことを示す教師ラベルが登録される。教師ラベルは、例えば、０または１の数値である。受注が多いことを示す教師ラベルは、１である。受注が少ないことを示す教師ラベルは、０である。

【0053】

図８は、文書の第４の例を示す図である。
文書１３４は、過去に作成されたプロジェクト提案書の例である。プロジェクト提案書を評価するためのモデルを生成するにあたっては、過去に作成された複数のプロジェクト提案書が使用される。プロジェクト提案書は、提案種別、提案内容、背景、効果、導入時期、業務委託料といった見出し項目を含む所定のフォーマットに従って記述される。ここでは、提案内容、背景および効果の中に記載された文章を評価対象とするものとする。

【0054】

プロジェクト提案書の評価では、後述するように、長さ、副詞数、受動態数および数値表現数を言語的特徴として使用する。文書１３４は、「かなり」、「非常に」という２個の副詞を含む。また、文書１３４は、「考えられる」という１個の受動態を含む。また、文書１３４は、「５０種類」という１個の数値表現を含む。文書評価装置１００は、形態素解析などの自然言語処理技術を用いて、文書１３４からこれらの言語的特徴を抽出することができる。例えば、文書評価装置１００は、文書１３４を単語に分割し、辞書を参照して副詞、受動態および数値を検出してカウントする。

【0055】

また、プロジェクト提案書の評価では、後述するように、カテゴリ、予算額および準備期間を非言語属性として使用する。これらの非言語属性は、文書１３４の中に記載されている。カテゴリは、提案種別の見出し項目に記載された業務委託である。予算額は、業務委託料の見出し項目に記載された２０００万円である。準備期間は、導入時期の見出し項目に記載された３ヶ月である。文書評価装置１００は、プロジェクト提案書のフォーマットにおいて、非言語属性が何れの見出し項目に記載されているかの情報を予めもっておくことで、文書１３４から自動的に非言語属性を抽出することができる。

【0056】

ただし、前述の発注管理テーブル１４１のように、文書１３４の外部に業務情報が保存されている場合、その業務情報から非言語属性を抽出するようにしてもよい。また、文書１３４の外部にある業務情報に、プロジェクトの採否結果が登録されている。プロジェクト提案書の評価は、そのプロジェクトの採否に応じて決定される。プロジェクトが採用されたことは、プロジェクト提案書が高評価であることを意味する。プロジェクトが採用されなかったことは、プロジェクト提案書が低評価であることを意味する。

【0057】

図９は、訓練データテーブルの第２の例を示す図である。
訓練データテーブル１４３は、プロジェクト提案書を評価するためのモデルを生成するにあたって、文書１３４などの過去のプロジェクト提案書とプロジェクトの採否結果とから生成される訓練データである。訓練データテーブル１４３は、提案ＩＤ、非言語属性、言語的特徴および教師ラベルの項目を含む。非言語属性の項目として、カテゴリ、予算額および準備期間の項目が含まれる。言語的特徴の項目として、長さ、副詞数、受動態数および数値表現数が含まれる。

【0058】

提案ＩＤは、プロジェクト提案を識別する識別子である。カテゴリは、プロジェクト提案書に記載された提案種別に対応する。予算額は、プロジェクト提案書に記載された予定金額である。準備期間は、プロジェクト提案書に記載された予定期間である。長さは、プロジェクト提案書に含まれる評価対象部分の文字数または単語数である。副詞数は、プロジェクト提案書の評価対象部分に含まれる副詞の個数である。受動態数は、プロジェクト提案書の評価対象部分に含まれる受動態表現の個数である。数値表現数は、プロジェクト提案書の評価対象部分に含まれる数値表現の個数である。文書評価装置１００は、プロジェクト提案書から、これらの非言語属性および言語的特徴を抽出する。教師ラベルは、プロジェクトの採否を示すフラグである。教師ラベルは、例えば、０または１の数値である。採用を示す教師ラベルは、１である。不採用を示す教師ラベルは、０である。

【0059】

次に、訓練データからモデルを生成する機械学習について説明する。以下では、クラウドソーシング発注書に関する訓練データテーブル１４２を前提として説明する。
図１０は、仮説テーブルの例を示す図である。

【0060】

仮説テーブル１４４は、機械学習によって生成されたモデルを示す。仮説テーブル１４４には、複数の仮説を示す複数のレコードが登録されている。仮説をチャンクやルールと言うこともある。複数の仮説はそれぞれ、仮定部と結論部とを含む。

【0061】

仮定部は、言語的特徴および非言語属性を含む説明変数の集合のうち、１以上の説明変数が満たすべき条件を示す。仮説によって、仮定部が１つの説明変数のみ含むこともあるし、２以上の説明変数を含むこともある。また、仮説によって、仮定部が言語的特徴のみを含むこともあるし、非言語属性のみ含むこともあるし、言語的特徴と非言語属性の両方を含むこともある。多くの仮説では、仮定部が２以上の説明変数を含み、その中に言語的特徴と非言語属性の両方が混在している。

【0062】

結論部は、文書の評価結果を示す目的変数である。結論部は、仮定部に適合する文書に対する評価結果の推定を表している。評価結果は、文書の良否を示すフラグである。クラウドソーシング発注書の場合、評価結果は、受注が多いか受注が少ないかの二択である。仮説テーブル１４４では、複数の仮説それぞれに対して重要度が付与されている。重要度が大きいほど、仮説の有効性が高いことを示している。

【0063】

一例として、カテゴリがブログ記事作成で、接続詞が２個以下の場合、受注が多い（高評価）という仮説が登録されており、この重要度が０．８５である。また、カテゴリがブログ記事作成で、納期が２日以下で、禁止表現が４個以上の場合、受注が少ない（低評価）という仮説が登録されており、この重要度が０．８０である。また、カテゴリがデータ収集で、発注価格が１００円以下で、長さが２５０以上の場合、受注が少ないという仮説が登録されており、この重要度が０．７０である。また、カテゴリがデータ収集で、納期が２日以下で、接続詞が５個以上の場合、受注が多いという仮説が登録されており、この重要度が０．６５である。また、カテゴリがブログ記事作成で、発注価格が１００円以上の場合、受注が多いという仮説が登録されており、この重要度が０．５０である。

【0064】

このような仮説テーブル１４４は、訓練データテーブル１４２から、機械学習アルゴリズムの１つであるWide Learning（登録商標）によって生成することができる。以下、Wide Learningによるモデル生成について説明する。

【0065】

Wide Learningでは、幾つかの説明変数の値の組み合わせと目的変数の値との間に成立する可能性がある仮説（チャンク）が網羅的に生成され、それら多数の仮説の中から、訓練データのもとで信頼性が高い仮説が採用される。採用された仮説の集合がモデルとなる。仮説は、説明変数の値から目的変数の値を導出する含意の論理命題である。

【0066】

訓練データに含まれるサンプルのうち、仮説の仮定部に規定された説明変数の値が合致し、かつ、仮説の結論部に規定された目的変数の値が合致するサンプルの数が、その仮説のヒット数である。ヒット数が多い仮説ほど信頼性が高いと言える。また、仮説の仮定部に規定された説明変数の値が合致するサンプルのうち、仮説の結論部に規定された目的変数の値が合致するサンプルの割合が、その仮説のヒット率である。ヒット率が高い仮説ほど信頼性が高いと言える。モデルの汎用性を高めて過学習を抑制するため、１つの仮説に含まれる説明変数の個数を閾値以下に制限することが好ましい。また、ヒット数が閾値以上でありかつヒット率が閾値以上である仮説を採用することが好ましい。

【0067】

Wide Learningでは、複数の説明変数それぞれの取り得る値および目的変数の取り得る値が列挙される。金額のような連続値をとる説明変数では、値域全体が複数の区間に分割され、区間が説明変数の候補値として使用される。区間は、１００円幅のように固定幅で設定してもよい。また、訓練データに含まれるサンプルができる限り均等に複数の区間に振り分けられるように、説明変数の値の分布に基づいて動的に区間を設定してもよい。次に、複数の説明変数の中から閾値以下の個数の説明変数が選択される。例えば、１個以上３個以下の説明変数が選択される。そして、選択した説明変数それぞれから値を１つ選択し、目的変数から値を１つ選択することで、１つの仮説が生成される。説明変数の選択および値の選択を網羅的に行うことで、様々な仮説が網羅的に生成される。

【0068】

これら仮説の中から、例えば、ヒット数が閾値以上かつヒット率が閾値以上の仮説が有効な仮説として採用される。ただし、ヒット数が閾値以上の仮説を全て採用してもよいし、ヒット率が閾値以上の仮説を全て採用してもよい。また、ヒット数やヒット率の閾値を設けず、ヒット数やヒット率の高い順に所定数の仮説を採用してもよい。

【0069】

採用した仮説に対しては、それぞれ重要度が算出される。重要度として、以下に説明するロジスティック回帰分析によって算出される重みが使用される。ただし、ヒット数またはヒット率を重要度として使用することも可能である。

【0070】

訓練データに含まれるサンプルｘに対して、数式（１）に示すように、シグモイド関数を用いて確率ｐ（ｘ）が算出される。確率ｐ（ｘ）は、０より大きく１より小さい実数である。確率ｐ（ｘ）は、サンプルｘの目的変数の推定値に相当する。確率ｐ（ｘ）が１に近いほど、目的変数の値が１である（例えば、受注が多い）可能性が高いことを表し、確率ｐ（ｘ）が０に近いほど、目的変数の値が０である（例えば、受注が少ない）可能性が高いことを表す。αは定数項としての係数であり、β_ｉはｉ番目の仮説の重みとしての係数であり、ｃｈｕｎｋ_ｉ（ｘ）はサンプルｘに対するｉ番目の仮説の出力である。

【0071】

【数1】

【0072】

ｉ番目の仮説の仮定部とサンプルｘの説明変数の値とが適合しない場合、ｃｈｕｎｋ_ｉ（ｘ）は０を出力する。この場合、ｉ番目の仮説はサンプルｘと無関係であり、確率ｐ（ｘ）に影響を与えない。ｉ番目の仮説の仮定部とサンプルｘの説明変数の値とが適合する場合、ｃｈｕｎｋ_ｉ（ｘ）は１または－１を出力する。ｉ番目の仮説の結論部が１（例えば、受注が多い）の場合、ｃｈｕｎｋ_ｉ（ｘ）は１を出力する。ｉ番目の仮説の結論部が０（例えば、受注が少ない）の場合、ｃｈｕｎｋ_ｉ（ｘ）は－１を出力する。

【0073】

ｃｈｕｎｋ_ｉ（ｘ）の線形和が大きいほど、サンプルｘに関係する仮説の多くが目的変数の値を１と推定したことになる。ｃｈｕｎｋ_ｉ（ｘ）の線形和が小さいほど、サンプルｘに関係する仮説の多くが目的変数の値を０と推定したことになる。ただし、係数α，β_ｉを変えることで確率ｐ（ｘ）が変化する。確率ｐ（ｘ）とサンプルｘの目的変数の真値との間の差が誤差である。そこで、回帰分析により、訓練データに含まれる複数のサンプルについての誤差の合計が最小になるように、係数α，β_ｉが決定される。このようにして決定された係数β_ｉが、ｉ番目の仮説の重要度となる。

【0074】

次に、モデルを用いた文書評価の方法について説明する。
図１１は、文書の第５の例を示す図である。
文書１３５は、評価対象のクラウドソーシング発注書の例である。文書１３５は、「なるべく」、「必ず」、「あくまで」、「なおかつ」という４個の副詞を含む。また、文書１３５は、「また」、「なので」という２個の接続詞を含む。また、文書１３５は、「ご遠慮ください」、「ＮＧです」、「厳禁」、「禁止」、「やめてください」、「おやめください」という６個の禁止表現を含む。また、文書１３５に対応する業務情報が発注管理テーブル１４１に登録されている。この業務情報によれば、カテゴリがブログ記事作成、発注価格が１５０円、納期が１日である。

【0075】

図１２は、特徴データの例を示す図である。
文書評価装置１００は、上記の文書１３５と発注管理テーブル１４１に登録された業務情報から、特徴データ１４５を生成する。特徴データ１４５は、発注ＩＤ、非言語属性および言語的特徴を含む。非言語属性は、カテゴリ、発注価格および納期を含む。言語的特徴は、長さ、副詞数、接続詞数および禁止表現数を含む。発注ＩＤ、カテゴリ、発注価格および納期は、発注管理テーブル１４１から抽出される。長さ、副詞数、接続詞数および禁止表現数は、自然言語処理技術によって文書１３５から抽出される。

【0076】

図１３は、評価対象文書にマッチする仮説の選択例を示す図である。
文書評価装置１００は、特徴データ１４５に適用可能な仮説を仮説テーブル１４４から検索する。ここでは、文書評価装置１００は、仮説テーブル１４４に登録された仮説それぞれについて、仮定部に規定された条件を特徴データ１４５が満たすか判定し、適合する仮定部をもつ仮説を抽出する。ただし、文書評価装置１００は、仮定部が非言語属性のみを含み言語的特徴を１つも含まない場合、その仮定部をもつ仮説を除外する。すなわち、文書評価装置１００は、仮定部に規定された条件を特徴データ１４５が満たし、かつ、仮定部が言語的特徴を少なくとも１つ含むような仮説を選択する。

【0077】

一例として、仮説テーブル１４４の１番目の仮説は、仮定部が特徴データ１４５に適合し、かつ、言語的特徴である接続詞数を含むため選択される。２番目の仮説は、仮定部が特徴データ１４５に適合し、かつ、言語的特徴である禁止表現数を含むため選択される。３番目の仮説は、仮定部が特徴データ１４５に適合しないため選択されない。４番目の仮説は、仮定部が特徴データ１４５に適合しないため選択されない。５番目の仮説は、仮定部が特徴データ１４５に適合するものの、言語的特徴を含まないため選択されない。よって、仮説テーブル１４４の１番目の仮説と２番目の仮説が選択される。

【0078】

図１４は、評価値の算出例を示す図である。
文書評価装置１００は、仮説テーブル１４４から選択した仮説の重要度を用いて、評価対象文書である文書１３５の評価値を算出する。このとき、文書評価装置１００は、特徴データ１４５の中の言語的特徴に基づいて、重要度を補正する。

【0079】

具体的には、文書評価装置１００は、仮説の仮定部から言語的特徴の条件を検出し、言語的特徴の条件に閾値が使用されている場合にその閾値を抽出する。抽出する閾値は、言語的特徴の値が閾値以上である、言語的特徴の値が閾値を超える、言語的特徴の値が閾値以下である、言語的特徴の値が閾値未満である、といった条件における当該閾値である。文書評価装置１００は、抽出した閾値に対する特徴データ１４５の言語的特徴の値の比率を補正係数とし、元の重要度に補正係数を乗じたものを補正重要度とする。

【0080】

ここでは、仮説テーブル１４４から選択した１番目の仮説を仮説１４４ａとし、選択した２番目の仮説を仮説１４４ｂとする。仮説１４４ａの仮定部は、接続詞数が２以下という言語的特徴の条件を含む。特徴データ１４５が示す接続詞数は２である。よって、補正係数は２／２＝１となり、仮説１４４ａの補正重要度は０．８５×１＝０．８５となる。また、仮説１４４ｂの仮定部は、禁止表現数が４以上という言語的特徴の条件を含む。特徴データ１４５が示す禁止表現数は６である。よって、補正係数は６／４＝１．５となり、仮説１４４ｂの補正重要度は０．８０×１．５＝１．２０となる。

【0081】

なお、上記の重要度補正方法は、値が小さいほど好ましく、値が大きいほど好ましくない言語的特徴を前提としている。言語的特徴の値が閾値より大きいほど、その言語的特徴が評価結果に与える影響は大きいと推定される。このため、重要度が高くなるように補正される。ただし、上記の重要度補正方法は一例であり、他の補正方法を用いてもよい。例えば、値が大きいほど好ましく、値が小さいほど好ましくない言語的特徴に対して、上記の補正係数の分子と分母を入れ替えるようにすることも可能である。これにより、言語的特徴の値が閾値より小さいほど、重要度が高くなるように補正される。

【0082】

文書評価装置１００は、選択した仮説の補正重要度に基づいて、評価対象文書である文書１３５の評価値１４６を算出する。具体的には、文書評価装置１００は、選択した仮説を、結論部がポジティブ（例えば、受注が多い）である仮説と、結論部がネガティブ（例えば、受注が少ない）である仮説とに分類する。文書評価装置１００は、ポジティブな仮説の補正重要度を合計した合計重要度Ｆｐｏｓと、ネガティブな仮説の補正重要度を合計した合計重要度Ｆｎｅｇとを算出する。文書評価装置１００は、全体の合計重要度に対するポジティブな仮説の合計重要度の比率、すなわち、Ｆｐｏｓ／（Ｆｐｏｓ＋Ｆｎｅｇ）を、評価値１４６として算出する。

【0083】

ここでは、仮説１４４ａがポジティブな仮説であり、仮説１４４ｂがネガティブな仮説である。よって、Ｆｐｏｓ＝０．８５かつＦｎｅｇ＝１．２０であり、評価値１４６は、０．８５／（０．８５＋１．２０）＝４１．４％と算出される。評価値１４６は、文書１３５によって多くの受注（例えば、５個以上の受注）を獲得できる確率を示している。なお、上記の評価値算出方法は一例であり、他の算出方法を用いてもよい。

【0084】

図１５は、添削画面の例を示す図である。
文書評価装置１００は、結論部がネガティブな仮説を選択し、ネガティブな仮説の仮定部に含まれる言語的特徴を抽出する。この言語的特徴は、文書１３５の評価値１４６を下げる原因になっている可能性が高い。そこで、文書評価装置１００は、文書１３５から、抽出した言語的特徴に該当する単語を検索してハイライトする。言語的特徴が副詞数である場合、文書１３５に含まれる副詞がハイライトされる。言語的特徴が接続詞数である場合、文書１３５に含まれる接続詞がハイライトされる。言語的特徴が禁止表現数である場合、文書１３５に含まれる禁止表現がハイライトされる。また、文書評価装置１００は、抽出した言語的特徴に対応する評価コメントを生成する。

【0085】

文書評価装置１００は、添削画面１３６を生成して表示装置１１１に表示する。添削画面１３６は、評価値１４６と評価コメントと一部の単語をハイライトした文書１３５とを含む。一例として、ネガティブな仮説１４４ｂは、禁止表現数が４以上という言語的特徴の条件を含む。禁止表現が多いことが評価値１４６を下げる原因となっている可能性が高い。そこで、禁止表現の削減を推奨する評価コメントが生成される。また、文書１３５の中の６個の禁止表現がハイライトされて強調される。このように、文書評価装置１００によって文書１３５が添削される。文書評価装置１００のユーザは、添削画面１３６を受けて、受注が増えるように文書１３５を修正することが可能となる。

【0086】

次に、文書評価装置１００の機能について説明する。
図１６は、文書評価装置の機能例を示すブロック図である。
文書評価装置１００は、文書記憶部１２１、業務情報記憶部１２２およびモデル記憶部１２３を有する。これらの記憶部は、例えば、ＲＡＭ１０２またはＨＤＤ１０３の記憶領域を用いて実現される。また、文書評価装置１００は、訓練データ生成部１２４、機械学習部１２５、特徴抽出部１２６、評価部１２７および添削部１２８を有する。これらの処理部は、例えば、ＣＰＵ１０１が実行するプログラムを用いて実現される。

【0087】

文書記憶部１２１は、文書１３３などの過去の文書を記憶する。また、文書記憶部１２１は、文書１３５などの評価対象文書を記憶する。業務情報記憶部１２２は、発注管理テーブル１４１などの業務管理用テーブルを記憶する。業務管理用テーブルには、過去の文書に対応する業務情報と、評価対象文書に対応する業務情報とが登録されている。業務情報には、受注数などの業務結果が含まれ、非言語属性が含まれることがある。モデル記憶部１２３は、機械学習によって生成されたモデルとして、仮説テーブル１４４を記憶する。仮説テーブル１４４は、複数の仮説とそれら仮説の重要度とを含む。

【0088】

訓練データ生成部１２４は、訓練データテーブル１４２などの訓練データを生成する。このとき、訓練データ生成部１２４は、文書記憶部１２１に記憶された過去の文書から言語的特徴を抽出する。また、訓練データ生成部１２４は、当該文書またはそれに対応する業務情報記憶部１２２に記憶された業務情報から非言語属性を抽出する。また、訓練データ生成部１２４は、業務情報から業務の識別子および業務結果を抽出し、業務結果に基づいて文書の良否を示す教師ラベルを生成する。

【0089】

機械学習部１２５は、訓練データ生成部１２４が生成した訓練データから、機械学習によって仮説テーブル１４４を生成し、モデル記憶部１２３に保存する。機械学習として、例えば、Wide Learningが用いられる。機械学習部１２５は、言語的特徴および非言語属性を含む説明変数の集合から説明変数の組み合わせを選択し、それら説明変数の値と目的変数である教師ラベルの値とを対応付けた仮説を網羅的に生成する。機械学習部１２５は、ヒット数やヒット率に基づいて有効な仮説を絞り込む。また、機械学習部１２５は、絞り込んだ有効な仮説それぞれの重要度を算出する。

【0090】

特徴抽出部１２６は、文書記憶部１２１に記憶された評価対象文書から言語的特徴を抽出する。また、特徴抽出部１２６は、評価対象文書またはそれに対応する業務情報記憶部１２２に記憶された業務情報から非言語属性を抽出する。特徴抽出部１２６は、言語的特徴と非言語属性とを含む特徴データ１４５を生成する。

【0091】

評価部１２７は、特徴抽出部１２６が生成した特徴データ１４５と、モデル記憶部１２３に記憶された仮説テーブル１４４とを用いて、評価対象文書の評価値１４６を算出する。このとき、評価部１２７は、仮定部が特徴データ１４５に適合し、かつ、仮定部が言語的特徴を含む仮説を選択する。評価部１２７は、選択した仮説に含まれる言語的特徴の条件と特徴データ１４５とを比較して、選択した仮説の重要度を補正する。評価部１２７は、補正重要度から評価値１４６を算出する。

【0092】

添削部１２８は、評価部１２７が選択した仮説のうちネガティブな仮説に含まれる言語的特徴から、評価対象文書の修正方針を提案する評価コメントを生成する。また、添削部１２８は、評価対象文書の中でその言語的特徴に該当する単語をハイライトする。添削部１２８は、評価値１４６と評価コメントと評価対象文書とを含む添削画面１３６を生成して、表示装置１１１に表示する。なお、添削部１２８は、添削画面１３６に含まれる情報を、ＨＤＤ１０３などの不揮発性ストレージに保存してもよいし、プリンタなどの他の出力デバイスに出力してもよいし、他の情報処理装置に送信してもよい。

【0093】

次に、文書評価装置１００の処理手順について説明する。
図１７は、モデル生成の手順例を示すフローチャートである。
（Ｓ１０）訓練データ生成部１２４は、業務情報記憶部１２２に記憶された業務情報から業務識別子を１つ選択する。訓練データ生成部１２４は、文書記憶部１２１に記憶された文書のうち、選択した業務識別子に対応する１つの文書を学習用に選択する。

【0094】

（Ｓ１１）訓練データ生成部１２４は、形態素解析などの自然言語処理技術を用いて、選択した文書に含まれる単語を解析し、副詞数、接続詞数、依頼表現数、禁止表現数、受動態数、数値表現数などの言語的特徴を抽出する。特定の品詞の検出や特定の表現の検出にあたり、訓練データ生成部１２４は、辞書を参照してもよい。

【0095】

（Ｓ１２）訓練データ生成部１２４は、選択した文書自体または文書の外部にある業務情報から、業務カテゴリ、予定金額、予定期間などの非言語属性を抽出する。文書自体から非言語属性を抽出する場合、訓練データ生成部１２４は、フォーマット中の特定の見出し項目から特定の非言語属性を抽出することができる。

【0096】

（Ｓ１３）訓練データ生成部１２４は、選択した文書に対応する業務情報を参照して、選択した文書の評価を示す教師ラベルを生成する。教師ラベルは、高評価（１）か低評価（０）かを示すフラグである。訓練データ生成部１２４は、受注数やプロジェクト採否などの業務結果の良否から、教師ラベルを生成することができる。

【0097】

（Ｓ１４）訓練データ生成部１２４は、ステップＳ１１で抽出した言語的特徴とステップＳ１２で抽出した非言語属性をそれぞれ説明変数とし、ステップＳ１３で生成した教師ラベルを目的変数とする。訓練データ生成部１２４は、複数の説明変数の値と目的変数の値とを対応付けたレコード（サンプル）を訓練データに追加する。

【0098】

（Ｓ１５）訓練データ生成部１２４は、ステップＳ１０において、全ての業務識別子を選択したか、すなわち、文書記憶部１２１に記憶された文書を全て選択したか判断する。全て選択した場合はステップＳ１６に進み、それ以外の場合はステップＳ１０に戻る。

【0099】

図１８は、モデル生成の手順例を示すフローチャート（続き）である。
（Ｓ１６）機械学習部１２５は、訓練データを参照して、複数の説明変数および目的変数それぞれの取り得る値を列挙する。このとき、機械学習部１２５は、取り得る値が少数の離散値ではない説明変数については、その説明変数の値域を複数の区間に分割し、各区間を以降の「説明変数の値」として使用する。対象となる説明変数には、連続値をとる説明変数と、離散値をとるものの取り得る値が多数存在する説明変数とが含まれる。

【0100】

（Ｓ１７）機械学習部１２５は、複数の説明変数の中から、所定個以下の説明変数の組み合わせを１通り選択する。機械学習部１２５は、説明変数それぞれの値と目的変数の値との組み合わせを１つ選択して、仮説を１つ生成する。仮説の仮定部は説明変数の値の条件を示しており、仮説の結論部は目的変数の値を示している。

【0101】

（Ｓ１８）機械学習部１２５は、訓練データの中から、ステップＳ１７で生成した仮説の仮定部に規定された条件と合致する説明変数の値をもつサンプルを検索する。
（Ｓ１９）機械学習部１２５は、ステップＳ１８で検索されたサンプルそれぞれの目的変数の値が、ステップＳ１７で生成した仮説の結論部と合致するか判断する。機械学習部１２５は、仮説の仮定部と結論部の両方に合致するサンプルの個数をヒット数として算出する。また、機械学習部１２５は、仮説の仮定部に合致するサンプルの個数に対する上記のヒット数の割合をヒット率として算出する。

【0102】

（Ｓ２０）機械学習部１２５は、ヒット数が閾値以上かつヒット率が閾値以上であるか判断する。ヒット数の閾値は１０個など予め決まっており、ヒット率の閾値は８０％など予め決まっている。条件を満たす場合はステップＳ２１に進み、条件を満たさない場合はステップＳ２２に進む。なお、ヒット数とヒット率の何れか一方のみ判定してもよい。

【0103】

（Ｓ２１）機械学習部１２５は、ステップＳ１７で生成した仮説を有効な仮説として採用する。なお、ステップＳ２０の判定がＮＯである場合、その仮説は採用されない。
（Ｓ２２）機械学習部１２５は、ステップＳ１７において、全ての説明変数の組み合わせおよび全ての値の組み合わせを網羅的に選択したか判断する。網羅的に選択した場合はステップＳ２３に進み、それ以外の場合はステップＳ１７に戻る。

【0104】

（Ｓ２３）機械学習部１２５は、訓練データに含まれる複数のサンプルそれぞれについて、ステップＳ２１で採用された仮説のうち、サンプルの説明変数の値が仮定部に規定する条件に合致するような仮説を特定する。

【0105】

（Ｓ２４）機械学習部１２５は、数式（１）に示したロジスティック回帰分析により、ステップＳ２３の情報に基づいて、各仮説に適用される重み係数を算出する。機械学習部１２５は、この重み係数を仮説の重要度として採用する。

【0106】

（Ｓ２５）機械学習部１２５は、ステップＳ２１で採用された仮説とステップＳ２４で算出された重要度とを対応付けて、仮説テーブル１４４に登録する。機械学習部１２５は、仮説テーブル１４４に登録された仮説を重要度の降順にソートする。そして、機械学習部１２５は、生成した仮説テーブル１４４をモデル記憶部１２３に保存する。

【0107】

図１９は、文書評価の手順例を示すフローチャートである。
（Ｓ３０）特徴抽出部１２６は、文書記憶部１２１から評価対象文書を取得する。評価対象文書は、ユーザからの入力によって指示されてもよい。

【0108】

（Ｓ３１）特徴抽出部１２６は、評価対象文書に含まれる単語を解析し、副詞数、接続詞数、依頼表現数、禁止表現数、受動態数、数値表現数などの言語的特徴を抽出する。
（Ｓ３２）特徴抽出部１２６は、評価対象文書自体またはその外部にある業務情報から、業務カテゴリ、予定金額、予定期間などの非言語属性を抽出する。評価対象文書に対応する業務情報は、業務情報記憶部１２２から取得される。特徴抽出部１２６は、言語的特徴と非言語属性とを含む特徴データ１４５を生成する。

【0109】

（Ｓ３３）評価部１２７は、モデル記憶部１２３に記憶された仮説テーブル１４４から、特徴データ１４５の説明変数の値が仮定部に規定する条件に合致する仮説を検索する。
（Ｓ３４）評価部１２７は、ステップＳ３３で検索された仮説のうち、仮定部に言語的特徴を含まない仮説（仮定部に非言語属性のみを含む仮説）を除外する。

【0110】

（Ｓ３５）評価部１２７は、除外されずに残った仮説を１つ選択する。
（Ｓ３６）評価部１２７は、選択した仮説の仮定部から言語的特徴の閾値を抽出する。
（Ｓ３７）評価部１２７は、仮説テーブル１４４から、選択した仮説の重要度を読み出す。評価部１２７は、ステップＳ３６で抽出した閾値と特徴データ１４５に含まれる言語的特徴の値とを比較して、補正係数を算出し、補正係数を重要度に乗じて補正重要度を算出する。補正係数は、例えば、閾値に対する特徴データ１４５の値の比率である。

【0111】

（Ｓ３８）評価部１２７は、ステップＳ３５において全ての仮説を選択したか判断する。全て選択した場合はステップＳ３９に進み、それ以外の場合はステップＳ３５に戻る。
図２０は、文書評価の手順例を示すフローチャート（続き）である。

【0112】

（Ｓ３９）評価部１２７は、残っている仮説を、結論部がポジティブ（１）な仮説と結論部がネガティブ（０）な仮説とに分類する。ポジティブな仮説は、受注が多いことやプロジェクトが採用されたことなど、評価が高いことを示す。ネガティブな仮説は、受注が少ないことやプロジェクトが不採用であることなど、評価が低いことを示す仮説である。

【0113】

（Ｓ４０）評価部１２７は、ポジティブな仮説の補正重要度を合計した合計重要度Ｆｐｏｓと、ネガティブな仮説の補正重要度を合計した合計重要度Ｆｎｅｇとを算出する。評価部１２７は、合計重要度Ｆｐｏｓと合計重要度Ｆｎｅｇの比率から、評価値１４６を算出する。例えば、評価値１４６は、Ｆｐｏｓ／（Ｆｐｏｓ＋Ｆｎｅｇ）である。

【0114】

（Ｓ４１）添削部１２８は、結論部がネガティブな仮説を１つ選択する。
（Ｓ４２）添削部１２８は、選択した仮説の仮定部から言語的特徴の条件を抽出する。
（Ｓ４３）添削部１２８は、ステップＳ４２で抽出した条件に対応する評価コメントを生成する。例えば、ある言語的特徴の値が閾値以上であるという条件に対し、添削部１２８は、その言語的特徴の単語が多いと評価が下がる可能性があると指摘する。

【0115】

（Ｓ４４）添削部１２８は、上記の条件に該当する単語を評価対象文書から検索する。例えば、言語的特徴が接続詞数である場合、添削部１２８は接続詞を検索する。
（Ｓ４５）添削部１２８は、ステップＳ４１において、結論部がネガティブな仮説を全て選択したか判断する。全て選択した場合はステップＳ４６に進み、それ以外の場合はステップＳ４１に戻る。

【0116】

（Ｓ４６）添削部１２８は、ステップＳ４０で算出した評価値１４６と、ステップＳ４３で生成した評価コメントと、ステップＳ４４で検索した単語をハイライトした評価対象文書とを含む添削画面１３６を生成し、表示装置１１１に表示させる。

【0117】

第２の実施の形態の文書評価装置１００によれば、言語的特徴と非言語属性とが混在した説明変数の集合が定義され、業務に関連する過去の文書から、説明変数の値と評価の良否を示す目的変数の値とを対応付けた訓練データが生成される。この訓練データを用いて、機械学習により、幾つかの説明変数の値の組み合わせを仮定部としてもち評価の良否を結論部としてもつ複数の仮説を含むモデルが生成される。そして、生成された複数の仮説のうち、評価対象文書に適用可能であり、かつ、仮定部に少なくとも１つの言語的特徴を含む仮説が選択され、選択された仮説を用いて評価値が算出される。

【0118】

これにより、評価対象文書の非言語属性を考慮して評価値を算出することができ、非言語属性を説明変数に含まないモデルを使用する場合よりも、評価値の精度が向上する。また、言語的特徴と非言語属性とが混在した説明変数の集合を使用することで、非言語属性の値毎に別個のモデルを生成しなくてよい。このため、機械学習によるモデル生成のコストを低減できる。特に、準備する学習用文書の量を削減することができる。また、仮定部に言語的特徴を含まない仮説を除外して評価値が算出される。このため、文書の書き方によらずに業務の性質のみから評価が決まってしまうような評価対象文書の評価に適さない仮説を除外することができ、評価値の精度が向上する。

【0119】

また、非言語属性は、文書自体または文書に対応付けられた外部の業務情報から自動的に抽出される。また、教師ラベルは、文書に対応付けられた外部の業務情報に基づいて自動的に生成される。よって、訓練データを容易に生成することができる。また、評価対象文書の言語的特徴が、仮説の仮定部に規定される許容範囲からどの程度外れているかに応じて、モデルで定義された重要度が補正される。これにより、評価対象文書の好ましくない側面を強調することができ、評価値の精度が向上する。

【0120】

また、評価値として、高評価と低評価の二段階ではなく、０％以上１００％以下の数値が算出される。これにより、ユーザは、評価対象文書の書き方が業務結果にどの程度の影響を与え得るかを理解しやすくなる。また、評価対象文書の中で、評価値を下げる原因となっている言語的特徴に該当する単語が強調表示される。これにより、ユーザは、評価値が高くなるように評価対象文書を修正することが容易となる。

【0121】

上記については単に本発明の原理を示すものである。更に、多数の変形や変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応する全ての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

【符号の説明】

【0122】

１０ 文書評価装置
１１ 記憶部
１２ 処理部
１３ 評価対象文書
１４ａ，１４ｂ，１４ｃ 判定ルール
１５ 評価結果

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】