知財求人 - 知財ポータルサイト「IP Force」
特開2024-122097文書分類システム、文書分類方法および文書処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024122097
(43)【公開日】2024-09-09
(54)【発明の名称】文書分類システム、文書分類方法および文書処理システム
(51)【国際特許分類】
G06F 16/35 20190101AFI20240902BHJP
【ＦＩ】
G06F16/35
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2023029441
(22)【出願日】2023-02-28
(71)【出願人】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110002365
【氏名又は名称】弁理士法人サンネクスト国際特許事務所
(72)【発明者】
【氏名】浅野 優
(72)【発明者】
【氏名】小野島 直子
(72)【発明者】
【氏名】岩城 博
(72)【発明者】
【氏名】西出 頼継
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA01
5B175FA03
5B175FB01
5B175HB03
(57)【要約】
【課題】文書分類の精度が高く、より納得性が高い根拠を提示することができる文書分類システム、文書分類方法、文書処理システムを提供する。
【解決手段】文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する分類部１４と、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する分類根拠生成部１５と、を備える文書分類システム１０。
【選択図】図７
【解決手段】文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する分類部１４と、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する分類根拠生成部１５と、を備える文書分類システム１０。
【選択図】図７
【特許請求の範囲】
【請求項1】
文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する分類部と、
前記キーフレーズを基に、前記分類対象文書の分類の根拠の説明を生成する分類根拠生成部と、
を備える文書分類システム。
前記キーフレーズを基に、前記分類対象文書の分類の根拠の説明を生成する分類根拠生成部と、
を備える文書分類システム。
【請求項2】
文書の分類を行う分類基準と学習データとから、前記キーフレーズを抽出するキーフレーズ抽出部をさらに備える請求項１に記載の文書分類システム。
【請求項3】
前記キーフレーズ抽出部は、前記分類基準からキーフレーズの候補である第１のフレーズ候補を抽出するとともに、前記学習データからキーフレーズの候補である第２のフレーズ候補を抽出し、前記第１のフレーズ候補と前記第２のフレーズ候補とを統合する請求項２に記載の文書分類システム。
【請求項4】
前記キーフレーズ抽出部は、前記第１のフレーズ候補と前記第２のフレーズ候補とが、文書の分類を行うクラスとして異なるクラスに属する場合に削除し統合する請求項３に記載の文書分類システム。
【請求項5】
前記キーフレーズ抽出部は、文書の分類を行うクラスごとに前記キーフレーズを作成する請求項２に記載の文書分類システム。
【請求項6】
前記キーフレーズ抽出部は、前記クラスを跨ぐ前記キーフレーズを作成する請求項５に記載の文書分類システム。
【請求項7】
前記キーフレーズ抽出部は、抽出された前記キーフレーズを基にさらに拡張したキーフレーズを作成する請求項２に記載の文書分類システム。
【請求項8】
前記分類基準と前記学習データのそれぞれから抽出された前記キーフレーズを基に、文書の特徴量である基準特徴量を抽出する基準特徴量抽出部をさらに備える請求項２に記載の文書分類システム。
【請求項9】
前記基準特徴量は、前記キーフレーズを種別ごとに分けたときに、前記種別ごとに抽出される請求項８に記載の文書分類システム。
【請求項10】
前記基準特徴量抽出部は、前記種別ごとに類似度が最も高いものを前記基準特徴量として抽出する請求項９に記載の文書分類システム。
【請求項11】
前記類似度は、前記キーフレーズと文書中のフレーズとをベクトル変換したときの、これらの類似度である請求項１０に記載の文書分類システム。
【請求項12】
前記基準特徴量を用いて前記文書分類モデルを生成する文書分類モデル生成部をさらに備える請求項８に記載の文書分類システム。
【請求項13】
プロセッサがメモリに記録されたソフトウェアを実行することにより、
文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類し、
前記キーフレーズを基に、前記分類対象文書の分類の根拠の説明を生成する、
文書分類方法。
文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類し、
前記キーフレーズを基に、前記分類対象文書の分類の根拠の説明を生成する、
文書分類方法。
【請求項14】
文書を分類する文書分類システムと、
前記文書分類システムにより文書を分類した結果である分類結果と分類の根拠を表示する端末装置と、
を有し、
前記文書分類システムは、
文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する分類部と、
前記キーフレーズを基に、前記分類対象文書の分類の根拠の説明を生成する分類根拠生成部と、
を備える文書処理システム。
前記文書分類システムにより文書を分類した結果である分類結果と分類の根拠を表示する端末装置と、
を有し、
前記文書分類システムは、
文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する分類部と、
前記キーフレーズを基に、前記分類対象文書の分類の根拠の説明を生成する分類根拠生成部と、
を備える文書処理システム。
【請求項15】
前記端末装置は、前記根拠として、前記分類基準、前記キーフレーズ、前記キーフレーズに対応する前記分類対象文書のフレーズを表示する請求項１４に記載の文書処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、文書分類システム、文書分類方法、文書処理システムに関する。本発明は、特に、文書を予め定められたクラスごとに分類するのに適した文書分類システムに関する。
【背景技術】
【0002】
自然言語処理の応用の一つとして文書分類がある。文書分類は、様々な用途に使用される。文書分類として、例えば、メールのスパム判定に例示される二値分類や、新聞記事の分類に例示される多値分類を行う場合がある。また、例えば、申請書類の判定に例示されるランク分類を行う場合がある。
【0003】
特許文献１では、属性情報が付随した情報を入力し、この情報に基づいて実世界で起きている特徴的事象を検出するイベント検出装置について開示されている。このイベント検出装置は、情報の属性情報を用いて情報を複数のセグメントに分割するセグメント化部と、情報に含まれる感情的傾向を分析し、分析結果に基づいて情報を分類する感情管理部と、セグメントに含まれる情報の分析結果および分類の結果に基づく定量的評価値を算出し、セグメントを定量的評価値にマッピングする感情強度バランス評価部と、定量的評価値に基づいてセグメントのうちの一部のセグメントを選出し、セグメントの特徴を抽出し、選出されたセグメント及び特徴を出力する情報整形部とを備える。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１３－２５７６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ユーザが文書分類の結果を見たときに、分類結果の根拠を知りたいときがある。この場合、根拠として、分類に寄与した単語・句等の特徴量を提示することが一般的である。
しかしながら、従来は、特徴量の生成の上手くいかず、その結果、文書分類の精度が低下したり、誤った根拠を提示してしまう場合がある。
本発明は、文書分類の精度が高く、より納得性が高い根拠を提示することができる文書分類システム、文書分類方法、文書処理システムを提供することを目的とする。
しかしながら、従来は、特徴量の生成の上手くいかず、その結果、文書分類の精度が低下したり、誤った根拠を提示してしまう場合がある。
本発明は、文書分類の精度が高く、より納得性が高い根拠を提示することができる文書分類システム、文書分類方法、文書処理システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記の課題を解決するため本発明は、文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する分類部と、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する分類根拠生成部と、を備える文書分類システムを提供するものである。
【0007】
ここで、文書の分類を行う分類基準と学習データとから、キーフレーズを抽出するキーフレーズ抽出部をさらに備えることができる。この場合、文書の分類を行うのに適したキーフレーズを抽出できる。
また、キーフレーズ抽出部は、分類基準からキーフレーズの候補である第１のフレーズ候補を抽出するとともに、学習データからキーフレーズの候補である第２のフレーズ候補を抽出し、第１のフレーズ候補と第２のフレーズ候補とを統合することができる。この場合、文書の分類を行うのに適したキーフレーズをより容易に抽出できる。
さらに、キーフレーズ抽出部は、第１のフレーズ候補と第２のフレーズ候補とが、文書の分類を行うクラスとして異なるクラスに属する場合に削除し統合することができる。この場合、文書の分類を行うのに適さないキーフレーズ候補を排除することができる。
またさらに、キーフレーズ抽出部は、文書の分類を行うクラスごとにキーフレーズを作成することができる。この場合、文書の分類を行う各クラスに、より適したキーフレーズを作成することができる。
そして、キーフレーズ抽出部は、クラスを跨ぐキーフレーズを作成することができる。この場合、複数のクラスに出現するキーフレーズを作成することができる。
また、キーフレーズ抽出部は、抽出されたキーフレーズを基にさらに拡張したキーフレーズを作成することができる。この場合、文書分類の精度がさらに高くなりやすく、納得性が高い根拠をさらに作成しやすくなることが期待できる。
さらに、分類基準と学習データのそれぞれから抽出されたキーフレーズを基に、文書の特徴量である基準特徴量を抽出する基準特徴量抽出部をさらに備えることができる。この場合、文書の分類に適した、より精度の高い基準特徴量を作成できる。
またさらに、基準特徴量は、キーフレーズを種別ごとに分けたときに、種別ごとに抽出されるようにできる。この場合、キーフレーズが意味する内容に対し、より適したキーフレーズを作成できる。
そして、基準特徴量抽出部は、種別ごとに類似度が最も高いものを基準特徴量として抽出することができる。この場合、キーフレーズが意味する内容に対し、最も適したキーフレーズを作成できる。
また、類似度は、キーフレーズと文書中のフレーズとをベクトル変換したときの、これらの類似度にすることができる。この場合、類似度の判断が、より容易になる。
さらに、基準特徴量を用いて文書分類モデルを生成する文書分類モデル生成部をさらに備えることができる。この場合、より精度が高い分類モデルを生成することができる。
また、キーフレーズ抽出部は、分類基準からキーフレーズの候補である第１のフレーズ候補を抽出するとともに、学習データからキーフレーズの候補である第２のフレーズ候補を抽出し、第１のフレーズ候補と第２のフレーズ候補とを統合することができる。この場合、文書の分類を行うのに適したキーフレーズをより容易に抽出できる。
さらに、キーフレーズ抽出部は、第１のフレーズ候補と第２のフレーズ候補とが、文書の分類を行うクラスとして異なるクラスに属する場合に削除し統合することができる。この場合、文書の分類を行うのに適さないキーフレーズ候補を排除することができる。
またさらに、キーフレーズ抽出部は、文書の分類を行うクラスごとにキーフレーズを作成することができる。この場合、文書の分類を行う各クラスに、より適したキーフレーズを作成することができる。
そして、キーフレーズ抽出部は、クラスを跨ぐキーフレーズを作成することができる。この場合、複数のクラスに出現するキーフレーズを作成することができる。
また、キーフレーズ抽出部は、抽出されたキーフレーズを基にさらに拡張したキーフレーズを作成することができる。この場合、文書分類の精度がさらに高くなりやすく、納得性が高い根拠をさらに作成しやすくなることが期待できる。
さらに、分類基準と学習データのそれぞれから抽出されたキーフレーズを基に、文書の特徴量である基準特徴量を抽出する基準特徴量抽出部をさらに備えることができる。この場合、文書の分類に適した、より精度の高い基準特徴量を作成できる。
またさらに、基準特徴量は、キーフレーズを種別ごとに分けたときに、種別ごとに抽出されるようにできる。この場合、キーフレーズが意味する内容に対し、より適したキーフレーズを作成できる。
そして、基準特徴量抽出部は、種別ごとに類似度が最も高いものを基準特徴量として抽出することができる。この場合、キーフレーズが意味する内容に対し、最も適したキーフレーズを作成できる。
また、類似度は、キーフレーズと文書中のフレーズとをベクトル変換したときの、これらの類似度にすることができる。この場合、類似度の判断が、より容易になる。
さらに、基準特徴量を用いて文書分類モデルを生成する文書分類モデル生成部をさらに備えることができる。この場合、より精度が高い分類モデルを生成することができる。
【0008】
また、本発明は、プロセッサがメモリに記録されたソフトウェアを実行することにより、文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類し、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する、文書分類方法を提供するものである。
【0009】
さらに、本発明は、文書を分類する文書分類システムと、文書分類システムにより文書を分類した結果である分類結果と分類の根拠を表示する端末装置と、を有し、文書分類システムは、文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する分類部と、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する分類根拠生成部と、を備える文書処理システムを提供するものである。
【0010】
ここで、端末装置は、根拠として、分類基準、キーフレーズ、キーフレーズに対応する分類対象文書のフレーズを表示することができる。この場合、より納得性の高い根拠をユーザに提示することができる。
【発明の効果】
【0011】
文書分類の精度が高く、より納得性が高い根拠を提示することができる文書分類システム、文書分類方法、文書処理システムを提供することができる。
【図面の簡単な説明】
【0012】
【図1】本実施の形態における文書処理システムの構成例を示す図である。
【図2】文書分類システムおよび端末装置のハードウェア構成について示した図である。
【図3】（ａ）～（ｃ）は、文書を分類する処理について説明した図である。
【図4】（ａ）～（ｂ）は、文書の分類の根拠を知りたい場合について示した図である。
【図5】従来の手法により根拠を提示した結果について示した図である。
【図6】（ａ）～（ｋ）は、分類基準をそのまま使用して基準特徴量を生成し、この基準特徴量を基に、文書の分類（判定）および根拠の生成を行う手順について示した図である。
【図7】文書分類システムの機能構成例について示したブロック図である。
【図8】（ａ）～（ｌ）は、文書分類システムが、キーフレーズを用いて基準特徴量を生成し、この基準特徴量を基に文書の分類（判定）、および根拠の生成を行う手順について示した図である。
【図9】（ａ）は、文書が申請書の場合に、文書分類システムの学習時の動作について示したフロー図である。（ｂ）は、申請書の審査（分類、判定）時の動作について示したフロー図である。
【図11】（ａ）～（ｌ）は、文書分類システムが、キーフレーズを用いて基準特徴量を生成し、この基準特徴量を基に文書分類、および根拠の生成を行う手順の他の例について示した図である。
【図12】（ａ）～（ｂ）は、キーフレーズ抽出部が判定基準、過去の申請書の中からキーフレーズを抽出する方法について説明した図である。
【図15】抽出されたキーフレーズを基にさらに拡張したキーフレーズを作成した例を示した図である。
【図16】統合したキーフレーズ候補を示したテーブルについて示した図である。
【図17】（ａ）～（ｃ）は、基準特徴量抽出部がキーフレーズを基に、文書の特徴量である基準特徴量を抽出する手順について示した図である。
【図18】（ａ）～（ｄ）は、分類根拠生成部１５が、申請書の分類の根拠の説明を生成する方法を説明した図である。
【図19】端末装置で申請書の分類の根拠の表示をするときの表示画面について示した図である。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜文書処理システム１全体の説明＞
図１は、本実施の形態における文書処理システム１の構成例を示す図である。
図示するように本実施の形態の文書処理システム１は、文書を分類する文書分類システム１０と、ユーザが文書の分類結果を閲覧する端末装置２０ａ、２０ｂ、２０ｃとがネットワーク３０を介し接続されている。
＜文書処理システム１全体の説明＞
図１は、本実施の形態における文書処理システム１の構成例を示す図である。
図示するように本実施の形態の文書処理システム１は、文書を分類する文書分類システム１０と、ユーザが文書の分類結果を閲覧する端末装置２０ａ、２０ｂ、２０ｃとがネットワーク３０を介し接続されている。
【0014】
文書分類システム１０は、文書処理システム１全体の管理をするサーバコンピュータである。文書分類システム１０は、例えば、クラウド上で検索のサービスを提供するクラウドサーバとすることができる。詳しくは後述するが、文書分類システム１０は、機械学習により文書分類モデルを生成する。そして、文書分類システム１０は、この文書分類モデルを用いて文書を分類する。さらに、文書分類システム１０は、文書の分類の根拠の説明を生成する。
ここで「文書」とは、例えば、文字情報や画像情報を電子化した電子文書である。この文書は、文書分類システム１０で扱うことができるものであれば、形式およびデータ構造等について特に限られるものではない。ただし、以下の説明では、文字情報を基に文書の分類を行う場合について説明する。
また、図示する文書分類システム１０は、１つであるが、複数のサーバコンピュータによりその機能を実現してもよい。例えば、文書分類モデルを生成するサーバコンピュータと、文書を分類し、文書の分類の根拠の説明を生成するサーバコンピュータとで、文書分類システム１０を構成してもよい。
ここで「文書」とは、例えば、文字情報や画像情報を電子化した電子文書である。この文書は、文書分類システム１０で扱うことができるものであれば、形式およびデータ構造等について特に限られるものではない。ただし、以下の説明では、文字情報を基に文書の分類を行う場合について説明する。
また、図示する文書分類システム１０は、１つであるが、複数のサーバコンピュータによりその機能を実現してもよい。例えば、文書分類モデルを生成するサーバコンピュータと、文書を分類し、文書の分類の根拠の説明を生成するサーバコンピュータとで、文書分類システム１０を構成してもよい。
【0015】
端末装置２０ａ、２０ｂ、２０ｃは、文書分類システム１０により文書を分類した結果である分類結果と分類の根拠を表示する。
端末装置２０ａ、２０ｂ、２０ｃは、例えば、汎用のパーソナルコンピュータ（ＰＣ）、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のコンピュータ装置である。そして、端末装置２０ａ、２０ｂ、２０ｃは、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させる。なお以下、端末装置２０ａ、２０ｂ、２０ｃを区別しない場合は、単に「端末装置２０」と言うことがある。また、図１では、端末装置２０は、３つ示しているが、その数は、１つ以上であればいくつであってもよい。
端末装置２０ａ、２０ｂ、２０ｃは、例えば、汎用のパーソナルコンピュータ（ＰＣ）、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のコンピュータ装置である。そして、端末装置２０ａ、２０ｂ、２０ｃは、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させる。なお以下、端末装置２０ａ、２０ｂ、２０ｃを区別しない場合は、単に「端末装置２０」と言うことがある。また、図１では、端末装置２０は、３つ示しているが、その数は、１つ以上であればいくつであってもよい。
【0016】
ネットワーク３０は、文書分類システム１０および端末装置２０の間の情報通信に用いられる通信手段であり、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）である。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用してもよい。また、文書分類システム１０および端末装置２０は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されてもよい。
【0017】
＜文書処理システム１の動作の概略説明＞
文書処理システム１では、まず、文書分類システム１０が、機械学習により文書分類モデルを生成する。
ユーザが文書の分類を行う場合、ユーザは、端末装置２０を使用し、文書のデータの入力を行う。文書のデータは、文書分類システム１０に送られ、文書分類システム１０は、文書分類モデルを用いて文書の分類を行うとともに、文書の分類の根拠の説明を生成する。あるいは、文書分類システム１０は、文書分類モデルを用いて文書の分類の予測を行うとともに、文書の分類の根拠の説明を生成する。そして、端末装置２０では、文書の分類結果と、文書の分類の根拠の説明とが表示される。あるいは、端末装置２０では、文書の分類の予測結果と、文書の分類の根拠の説明とが表示される。
文書処理システム１では、まず、文書分類システム１０が、機械学習により文書分類モデルを生成する。
ユーザが文書の分類を行う場合、ユーザは、端末装置２０を使用し、文書のデータの入力を行う。文書のデータは、文書分類システム１０に送られ、文書分類システム１０は、文書分類モデルを用いて文書の分類を行うとともに、文書の分類の根拠の説明を生成する。あるいは、文書分類システム１０は、文書分類モデルを用いて文書の分類の予測を行うとともに、文書の分類の根拠の説明を生成する。そして、端末装置２０では、文書の分類結果と、文書の分類の根拠の説明とが表示される。あるいは、端末装置２０では、文書の分類の予測結果と、文書の分類の根拠の説明とが表示される。
【0018】
＜文書分類システム１０および端末装置２０の構成＞
図２は、文書分類システム１０および端末装置２０のハードウェア構成について示した図である。なお、文書分類システム１０および端末装置２０のハードウェア構成は、同じであるので、文書分類システム１０を例にとり、説明を行う。
図示する文書分類システム１０は、プログラムの実行を通じて各部を制御するＣＰＵ（Central Processing Unit）１０１と、画像その他の情報を表示するディスプレイ１０２と、文字などを入力するキーボード１０３と、ポインティングデバイスであるタッチパッド１０４と、外部装置との通信に用いられる通信モジュール１０５と、システムデータや内部データが記憶される内部メモリ１０６と、補助記憶装置としての外部メモリ１０７等を有している。
図２は、文書分類システム１０および端末装置２０のハードウェア構成について示した図である。なお、文書分類システム１０および端末装置２０のハードウェア構成は、同じであるので、文書分類システム１０を例にとり、説明を行う。
図示する文書分類システム１０は、プログラムの実行を通じて各部を制御するＣＰＵ（Central Processing Unit）１０１と、画像その他の情報を表示するディスプレイ１０２と、文字などを入力するキーボード１０３と、ポインティングデバイスであるタッチパッド１０４と、外部装置との通信に用いられる通信モジュール１０５と、システムデータや内部データが記憶される内部メモリ１０６と、補助記憶装置としての外部メモリ１０７等を有している。
【0019】
ＣＰＵ１０１は、プロセッサの一例であり、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等のプログラムを実行する。
本実施の形態の場合、内部メモリ１０６は、半導体メモリである。内部メモリ１０６は、ＢＩＯＳ（Basic Input Output System）等が記憶されたＲＯＭ（Read Only Memory）と、主記憶装置として用いられるＲＡＭ（Random Access Memory）とを有している。ＣＰＵ１０１と内部メモリ１０６はコンピュータを構成する。ＣＰＵ１０１は、ＲＡＭをプログラムの作業スペースとして使用する。外部メモリ１０７は、ＨＤＤやＳＳＤ等のストレージであり、ファームウェアやアプリケーションソフトウェア等が記憶される。
本実施の形態の場合、内部メモリ１０６は、半導体メモリである。内部メモリ１０６は、ＢＩＯＳ（Basic Input Output System）等が記憶されたＲＯＭ（Read Only Memory）と、主記憶装置として用いられるＲＡＭ（Random Access Memory）とを有している。ＣＰＵ１０１と内部メモリ１０６はコンピュータを構成する。ＣＰＵ１０１は、ＲＡＭをプログラムの作業スペースとして使用する。外部メモリ１０７は、ＨＤＤやＳＳＤ等のストレージであり、ファームウェアやアプリケーションソフトウェア等が記憶される。
【0020】
ディスプレイ１０２は、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescent）ディスプレイで構成される。ディスプレイ１０２（すなわち表示面）には画像その他の情報が表示される。
【0021】
キーボード１０３は、ユーザが文字等を入力する際に使用する入力デバイスである。
タッチパッド１０４も入力デバイスであり、ディスプレイ１０２に表示されるカーソルの移動や画面のスクロールなどの際に用いられる、なお、タッチパッド１０４の代わりにマウスやトラックボール等であってもよい。
通信モジュール１０５は、外部との通信を行うための通信インタフェースである。
タッチパッド１０４も入力デバイスであり、ディスプレイ１０２に表示されるカーソルの移動や画面のスクロールなどの際に用いられる、なお、タッチパッド１０４の代わりにマウスやトラックボール等であってもよい。
通信モジュール１０５は、外部との通信を行うための通信インタフェースである。
【0022】
＜文書の分類の説明＞
図３（ａ）～（ｃ）は、文書を分類する処理について説明した図である。
このうち、図３（ａ）は、機械学習による分類モデル作成と分類について示した図であり、文書を分類する処理の概略について示した図である。図３（ａ）に示すように、学習データ（教師データ）を基に機械学習を行い、文書分類モデルを作成する。そして、分類対象となる文書である分類対象文書を、文書分類モデルを用いて分類し、分類結果として出力する。
図３（ｂ）は、文書を分類する処理の例として、新聞記事の分類について示した図である。この場合、学習データは、過去の新聞記事と分類結果である。また、類対象文書は、新聞記事であり、この新聞記事を政治、経済、国際の３つのクラスに分類した場合を示している。
図３（ｃ）は、文書を分類する処理の例として、介護認定の判定について示した図である。この場合、学習データは、介護認定を求めた過去の申請書と判定結果である。また、分類対象文書は、介護認定を求める申請書であり、この申請書をレベル１～３の３つのクラスに判定した場合を示している。レベル１～３は等級であり、レベル１は、最も介護の必要性が高く、レベル３は、最も介護の必要性が低い場合を示す。
図３（ａ）～（ｃ）は、文書を分類する処理について説明した図である。
このうち、図３（ａ）は、機械学習による分類モデル作成と分類について示した図であり、文書を分類する処理の概略について示した図である。図３（ａ）に示すように、学習データ（教師データ）を基に機械学習を行い、文書分類モデルを作成する。そして、分類対象となる文書である分類対象文書を、文書分類モデルを用いて分類し、分類結果として出力する。
図３（ｂ）は、文書を分類する処理の例として、新聞記事の分類について示した図である。この場合、学習データは、過去の新聞記事と分類結果である。また、類対象文書は、新聞記事であり、この新聞記事を政治、経済、国際の３つのクラスに分類した場合を示している。
図３（ｃ）は、文書を分類する処理の例として、介護認定の判定について示した図である。この場合、学習データは、介護認定を求めた過去の申請書と判定結果である。また、分類対象文書は、介護認定を求める申請書であり、この申請書をレベル１～３の３つのクラスに判定した場合を示している。レベル１～３は等級であり、レベル１は、最も介護の必要性が高く、レベル３は、最も介護の必要性が低い場合を示す。
【0023】
このとき、分類結果の根拠を知りたい場合がある。例えば、図４（ａ）に示すように、新聞記事を政治、経済、國際の３つのクラスに分類するときに、ある記事が経済のクラスに分類された場合、この記事は、どうして経済記事に分類されたのか、その根拠を知りたいときがある。また図４（ｂ）に示すように、申請書をレベル１～３の３つのクラスに判定するときに、ある申請書がレベル２のクラスに判定された場合、この申請書は、どうしてレベル２に判定されたのか、その根拠を知りたいときがある。
【0024】
なお以下、文書の分類として、申請書の分類を行う場合について主に説明を行う。この場合、例えば、申請書に対し、審査を要する審査要であるのか、審査を要しない審査不要であるのかを判定する。また、例えば、上述したような介護認定の申請書に対し、レベル１、レベル２、レベル３の３つのクラスに判定する。
【0025】
図５は、従来の手法により根拠を提示した結果について示した図である。
従来は、例えば、BERTによるクラス分類手法を用いた場合に、最終層のattention weightに基づく根拠提示方法がある。しかしこの場合、根拠が分類基準と対応付いていないため、根拠の納得性が低い結果となる場合がある。
図５は、申請書を審査要、審査不要の２つのクラスに分類するときに、従来の手法による申請書の分類結果が「審査要」であり、その根拠を、申請書中の単語、句等により示したことを表している。図５では、根拠となった単語、句等を太字にて示している。この場合、「は」、「大」、「た」、「Ｂ」が、審査要になった根拠として示されている。しかし、この根拠の納得性は、低いと言わざるをえない。なおここで納得性が高いとは、なぜこうなったかが直感的に理解できることを言い、納得性が低いとは、なぜこうなったかが直感的に理解しにくいことを言う。
従来は、例えば、BERTによるクラス分類手法を用いた場合に、最終層のattention weightに基づく根拠提示方法がある。しかしこの場合、根拠が分類基準と対応付いていないため、根拠の納得性が低い結果となる場合がある。
図５は、申請書を審査要、審査不要の２つのクラスに分類するときに、従来の手法による申請書の分類結果が「審査要」であり、その根拠を、申請書中の単語、句等により示したことを表している。図５では、根拠となった単語、句等を太字にて示している。この場合、「は」、「大」、「た」、「Ｂ」が、審査要になった根拠として示されている。しかし、この根拠の納得性は、低いと言わざるをえない。なおここで納得性が高いとは、なぜこうなったかが直感的に理解できることを言い、納得性が低いとは、なぜこうなったかが直感的に理解しにくいことを言う。
【0026】
これに対し、学習データおよび分類基準から、文書の特徴量である基準特徴量を生成し、この基準特徴量を基に、文書分類を行うとともに根拠を生成する手法が考えられる。この場合、基準特徴量は、文書の特徴量であり、学習データおよび分類基準の類似度を基に作成される。よってこの類似度が上手く算出できないと、基準特徴量も上手く生成できない。しかし、分類基準をそのまま使用した場合、類似度が上手く算出できず、その結果、基準特徴量が上手く生成できない。そのため、文書分類の予測結果の精度の低下が生じたり、誤った根拠を提示してしまうことがある。
【0027】
図６（ａ）～（ｋ）は、分類基準をそのまま使用して基準特徴量を生成し、この基準特徴量を基に、文書の分類（判定）および根拠の生成を行う手順について示した図である。
まず、文書（この場合、過去の申請書）として、審査要となった場合と審査不要となった場合の学習データを用意する（図６（ａ））。また、判定基準（分類基準）として、審査要の基準と審査不要の基準とを用意する（図６（ｂ））。そして、学習データおよび判定基準に対し、基準特徴量抽出部が、基準特徴量を生成する（図６（ｃ））。さらに、基準特徴量を用いて学習を行い（図６（ｄ））、文書分類モデルを作成する（図６（ｅ））。この文書分類モデルは、学習データ（この場合、過去の申請書）および判定基準のそれぞれの基準特徴量を用いた分類モデルである。
まず、文書（この場合、過去の申請書）として、審査要となった場合と審査不要となった場合の学習データを用意する（図６（ａ））。また、判定基準（分類基準）として、審査要の基準と審査不要の基準とを用意する（図６（ｂ））。そして、学習データおよび判定基準に対し、基準特徴量抽出部が、基準特徴量を生成する（図６（ｃ））。さらに、基準特徴量を用いて学習を行い（図６（ｄ））、文書分類モデルを作成する（図６（ｅ））。この文書分類モデルは、学習データ（この場合、過去の申請書）および判定基準のそれぞれの基準特徴量を用いた分類モデルである。
【0028】
そして、分類を行いたい文書である分類対象文書があると（図６（ｆ））、この分類対象文書について、基準特徴量抽出部が、基準特徴量を生成する（図６（ｇ））。そして、文書分類モデルを使用して、この基準特徴量を基に、分類対象文書の分類や判定を行い、判定結果（分類結果）を出力する（図６（ｈ））。また、分類根拠生成部が、判定基準に対応付けて分類根拠を生成して出力する（図６（ｉ））。この分類根拠は、基準特徴量を用いたものとなる。そして、判定結果や分類根拠は、ユーザに提示される（図６（ｊ））。ただし、この方法では、基準特徴量が上手く生成できず、文書分類の予測結果の精度の低下が生じたり、誤った根拠を提示してしまう場合がある（図６（ｋ））。
この場合、図５で示した方法よりも納得性の高い根拠を示すことができるが、中には、納得性の低い根拠を提示する場合も生じる。
この場合、図５で示した方法よりも納得性の高い根拠を示すことができるが、中には、納得性の低い根拠を提示する場合も生じる。
【0029】
この理由を図６（ｌ）に示す。
例えば、審査要の基準が、「エージェント、アドバイザー、コンサルタント、業務委託先に該当する場合」であったとする。
そして、審査要になった文書である申請書Ａに含まれる文章として、「・・・エージェント業者である・・・」が存在し、その結果、審査要の基準との類似度が、０．６になったとする。なおここで、類似度の算出方法は、特に限られるものではないが、例えば、コサイン類似度である。
対して、審査不要になった文書である申請書Ｂに含まれる文章として、「・・・私立大学である・・・」が存在し、その結果、審査要の基準との類似度が、０．７になったとする。
つまり、審査要の基準に対し、審査不要の申請書の方が類似度が高くなってしまう場合がある。その結果、基準特徴量が上手く生成できない。その原因としては、審査要の基準が複数の要素を含むことに起因することが考えられる。
例えば、審査要の基準が、「エージェント、アドバイザー、コンサルタント、業務委託先に該当する場合」であったとする。
そして、審査要になった文書である申請書Ａに含まれる文章として、「・・・エージェント業者である・・・」が存在し、その結果、審査要の基準との類似度が、０．６になったとする。なおここで、類似度の算出方法は、特に限られるものではないが、例えば、コサイン類似度である。
対して、審査不要になった文書である申請書Ｂに含まれる文章として、「・・・私立大学である・・・」が存在し、その結果、審査要の基準との類似度が、０．７になったとする。
つまり、審査要の基準に対し、審査不要の申請書の方が類似度が高くなってしまう場合がある。その結果、基準特徴量が上手く生成できない。その原因としては、審査要の基準が複数の要素を含むことに起因することが考えられる。
【0030】
そこで本実施の形態では、判定基準（分類基準）をそのまま用いるのではなく、以下に説明する「キーフレーズ」を利用して基準特徴量を生成し、この基準特徴量を用いて、文書分類モデルを作成する。キーフレーズを用いると、例えば、審査要の基準に複数の要素が含まれていても単一の要素に分割することができる。そしてこのキーフレーズを用いることで、類似度が上手く算出でき、基準特徴量が想定通りに生成できる。さらに、この基準特徴量を学習させ、文書分類モデルを作成する。そして、この文書分類モデルを用いて文書の分類を行うとともに、分類の根拠の説明を提示する。これにより、文書分類の精度が高く、より納得性が高い根拠を提示することができる。以下、この処理を行う文書分類システム１０について説明する。
【0031】
＜文書分類システム１０の機能構成の説明＞
図７は、文書分類システム１０の機能構成例について示したブロック図である。
なお、ここでは、文書分類システム１０が有する種々の機能のうち、本実施の形態に関する機能について選択して図示している。
図７は、文書分類システム１０の機能構成例について示したブロック図である。
なお、ここでは、文書分類システム１０が有する種々の機能のうち、本実施の形態に関する機能について選択して図示している。
【0032】
文書分類システム１０は、キーフレーズ抽出部１１と、基準特徴量抽出部１２と、文書分類モデル生成部１３と、分類部１４と、分類根拠生成部１５とを備える。
キーフレーズ抽出部１１は、文書の分類を行う分類基準と学習データとから、キーフレーズを抽出する。
キーフレーズ抽出部１１は、文書の分類を行う分類基準と学習データとから、キーフレーズを抽出する。
【0033】
「分類基準」は、文書の分類の基準であれば特に限られるものではない。例えば、文書が申請書であり、審査要と審査不要とに分類される場合、分類基準は、審査要や審査不要となることを判断する判定基準、審査基準である。具体的には、「〇〇の場合は、審査を要し、××の場合は、審査は不要である。」等が該当する。
【0034】
「キーフレーズ」は、任意の長さの文字列であり、単語、句、文章である。本実施の形態では、「キーフレーズ」は、文書中に出現する分類基準の希少性を表すパラメータに基づき選択される。文書中からキーフレーズを選択する詳細な方法については、後述する。また、キーフレーズには、対応する種別を付与する。「種別」は、キーフレーズが意味する内容に付与される属性である。例えば、キーフレーズが、「エージェント、アドバイザー、コンサルタントに該当する場合」の文章中の「エージェント」、「アドバイザー」、「コンサルタント」である場合、「取引先」という種別とする。また、キーフレーズが、「物品購入、物品提供する場合」の文章中の「物品購入」、「物品提供」である場合、「取引内容」という種別にする。上記のような表現を用いた方が根拠を提示する際に分かりやすいが、単に「種別１」、「種別２」のような分け方にしてもよい。種別は人手またはキーフレーズと種別が対応付けられた辞書等を用いて自動で付与されるものとする。
【0035】
基準特徴量抽出部１２は、分類基準と学習データのそれぞれから抽出されたキーフレーズを基に、文書の特徴量である基準特徴量を抽出する。基準特徴量は、キーフレーズを種別ごとに分けたときに、種別ごとに抽出される。このとき、基準特徴量抽出部１２は、種別ごとに類似度が最も高いものを基準特徴量として抽出する。なお、類似度は、キーフレーズと文書中のフレーズとをベクトル変換したときの、これらの類似度である。なお、基準特徴量抽出部１２が基準特徴量を抽出する詳細な方法については、後述する。
【0036】
文書分類モデル生成部１３は、基準特徴量を用いて文書分類モデルを生成する。
分類部１４は、文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する。
分類根拠生成部１５は、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する。
分類部１４は、文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類する。
分類根拠生成部１５は、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する。
【0037】
図８（ａ）～（ｌ）は、文書分類システム１０が、キーフレーズを用いて基準特徴量を生成し、この基準特徴量を基に文書の分類（判定）、および根拠の生成を行う手順について示した図である。
まず、文書（この場合、過去の申請書）として、審査要となった場合と審査不要となった場合の学習データを用意する（図８（ａ））。また、判定基準（分類基準）として、審査要の基準と審査不要の基準とを用意する（図８（ｂ））。次に、キーフレーズ抽出部１１が、学習データおよび判定基準を用いて、キーフレーズを生成する（図８（ｃ））。また、キーフレーズ抽出部１１は、各キーフレーズに対し、種別を付与する。そして、生成されたキーフレーズに対し、基準特徴量抽出部１２が、基準特徴量を生成する（図８（ｄ））。図８（ｃ）、（ｄ）の処理は、図６の処理と相違する点である。さらに、文書分類モデル生成部１３が、基準特徴量を用いて学習を行い（図８（ｅ））、文書分類モデルを作成する（図８（ｆ））。この文書分類モデルは、学習データ（この場合、過去の申請書）および判定基準のそれぞれのキーフレーズから生成された基準特徴量を用いた分類モデルである。
まず、文書（この場合、過去の申請書）として、審査要となった場合と審査不要となった場合の学習データを用意する（図８（ａ））。また、判定基準（分類基準）として、審査要の基準と審査不要の基準とを用意する（図８（ｂ））。次に、キーフレーズ抽出部１１が、学習データおよび判定基準を用いて、キーフレーズを生成する（図８（ｃ））。また、キーフレーズ抽出部１１は、各キーフレーズに対し、種別を付与する。そして、生成されたキーフレーズに対し、基準特徴量抽出部１２が、基準特徴量を生成する（図８（ｄ））。図８（ｃ）、（ｄ）の処理は、図６の処理と相違する点である。さらに、文書分類モデル生成部１３が、基準特徴量を用いて学習を行い（図８（ｅ））、文書分類モデルを作成する（図８（ｆ））。この文書分類モデルは、学習データ（この場合、過去の申請書）および判定基準のそれぞれのキーフレーズから生成された基準特徴量を用いた分類モデルである。
【0038】
そして、分類を行いたい文書である分類対象文書があると（図８（ｇ））、この分類対象文書について、基準特徴量抽出部１２が、キーフレーズと種別を用いて基準特徴量を生成する（図８（ｈ））。図８（ｄ）と図８（ｈ）は同じ処理を行う。図８（ｈ）の処理は、図６の処理と相違する点である。分類部１４は、図６とほぼ同様であり、文書分類モデルを使用して、この基準特徴量を基に、分類対象文書の分類や判定を行い、判定結果（分類結果）を出力する（図８（ｉ））。また、分類根拠生成部１５が、判定基準に対応付けて分類根拠を生成して出力する（図８（ｊ））。この分類根拠は、キーフレーズと種別を用いて生成された基準特徴量を用いたものとなるため、図６の処理と相違する。そして、判定結果と分類根拠は、ユーザに提示される（図８（ｋ））。
【0039】
つまり、図８の処理と図６の処理とは、キーフレーズや種別を生成し（図８（ｃ））、キーフレーズと種別を用いて、学習データ、分類対象文書の基準特徴量を生成する（図８（ｄ）、（ｈ））点、キーフレーズと種別に基づく基準特徴量を用いた分類根拠を生成する（図８（ｊ））点が相違する。
本実施の形態では、基準特徴量が上手く生成でき、文書分類の予測結果の精度が向上し、より正しい分類根拠を提示できる（図８（ｌ））。
本実施の形態では、基準特徴量が上手く生成でき、文書分類の予測結果の精度が向上し、より正しい分類根拠を提示できる（図８（ｌ））。
【0040】
なお、図６および図８では、審査要の基準と審査不要の基準とを使用したが、審査要の基準だけでも足りる。即ち、審査要の基準はあるが、審査不要の基準はない場合があるためである。なお、逆に、審査不要の基準だけでも足りる。よって、審査要の基準と審査不要の基準との少なくとも一方があればよい。
【0041】
図９（ａ）は、文書が申請書の場合に、文書分類システム１０の学習時の動作について示したフロー図である。また、図９（ｂ）は、申請書の審査（分類、判定）時の動作について示したフロー図である。
図９（ａ）に示すように、文書分類システム１０は、学習時は、過去の申請書９０１および過去の審査結果（審査要、審査不要）９０２を学習データとし、審査モデル学習９０３を行い、申請書の審査モデル（文書分類モデル）９０４を作成する。
このとき審査モデル学習９０３では、キーフレーズ抽出部１１にて、審査基準（分類基準）９０５および過去の申請書９０１を用いて、キーフレーズ・種別９０６を作成する。そして、基準特徴量抽出部１２が、過去の申請書９０１およびキーフレーズ・種別９０６に対してベクトル変換９０７を行い、ベクトル表現９０８（例えば、分散表現、埋め込み表現）を基準特徴量として生成する。次に、文書分類モデル生成部１３が、過去の審査結果（審査要および審査不要）９０２と基準特徴量を入力として学習（機械学習）９０９を行う。その結果、文書の審査モデル（分類モデル）９０４が作成される。
図９（ａ）に示すように、文書分類システム１０は、学習時は、過去の申請書９０１および過去の審査結果（審査要、審査不要）９０２を学習データとし、審査モデル学習９０３を行い、申請書の審査モデル（文書分類モデル）９０４を作成する。
このとき審査モデル学習９０３では、キーフレーズ抽出部１１にて、審査基準（分類基準）９０５および過去の申請書９０１を用いて、キーフレーズ・種別９０６を作成する。そして、基準特徴量抽出部１２が、過去の申請書９０１およびキーフレーズ・種別９０６に対してベクトル変換９０７を行い、ベクトル表現９０８（例えば、分散表現、埋め込み表現）を基準特徴量として生成する。次に、文書分類モデル生成部１３が、過去の審査結果（審査要および審査不要）９０２と基準特徴量を入力として学習（機械学習）９０９を行う。その結果、文書の審査モデル（分類モデル）９０４が作成される。
【0042】
一方、図９（ｂ）に示すように、文書分類システム１０は、審査（分類、判定）時は、分類対象文書である申請書９１１に対し、申請書の審査モデル（文書分類モデル）９０４を使用して審査（分類、判定）９１２を行い、審査結果（分類結果、判定結果）、根拠９１３を示す。
このとき審査（分類、判定）９１２では、基準特徴量抽出部１２が、申請書９１１およびキーフレーズ・種別９０６に対してベクトル変換９１４を行い、ベクトル表現９１５を基準特徴量として生成し、分類部１４が、申請書の審査モデル（文書分類モデル）９０４を用いて、申請書９１１の識別（分類）９１６を行う。ベクトル変換９０７は、ベクトル変換９１４と同様のものである。その後、後処理９１７として、分類根拠生成部１５が、審査モデル９０４とキーフレーズと種別と基準特徴量を基に、申請書の分類の根拠の説明を生成する。その結果、審査結果（分類結果、判定結果）、根拠９１３が示される。
このとき審査（分類、判定）９１２では、基準特徴量抽出部１２が、申請書９１１およびキーフレーズ・種別９０６に対してベクトル変換９１４を行い、ベクトル表現９１５を基準特徴量として生成し、分類部１４が、申請書の審査モデル（文書分類モデル）９０４を用いて、申請書９１１の識別（分類）９１６を行う。ベクトル変換９０７は、ベクトル変換９１４と同様のものである。その後、後処理９１７として、分類根拠生成部１５が、審査モデル９０４とキーフレーズと種別と基準特徴量を基に、申請書の分類の根拠の説明を生成する。その結果、審査結果（分類結果、判定結果）、根拠９１３が示される。
【0043】
図１０（ａ）～（ｂ）は、図６の方法により算出される類似度と、図８の方法により算出される類似度とを比較した図である。
このうち、図１０（ａ）は、図６の方法による類似度であり、審査基準（判定基準、分類基準）をそのまま使用した場合に、審査要の基準と申請書の類似度を示した図である。
この場合、審査要の基準は、「エージェント、アドバイザー、コンサルタント、業務委託先に該当する場合」である。
これに対し、審査要となった申請書Ａには、「・・・コンサルタント業者である・・・」文章があり、審査要の基準との類似度が０．６であったことを示す。また、審査不要となった申請書Ｂには、「・・・私立大学である・・・」文章があり、審査要の基準との類似度が０．７であったことを示す。即ち、審査要となった申請書Ａよりも審査不要となった申請書Ｂの方が、審査要の基準との類似性が高いことを示す。よって、想定とは異なり、審査要の基準に対し、審査不要の申請書Ｂの方が、類似度が高くなってしまう場合がある。
このうち、図１０（ａ）は、図６の方法による類似度であり、審査基準（判定基準、分類基準）をそのまま使用した場合に、審査要の基準と申請書の類似度を示した図である。
この場合、審査要の基準は、「エージェント、アドバイザー、コンサルタント、業務委託先に該当する場合」である。
これに対し、審査要となった申請書Ａには、「・・・コンサルタント業者である・・・」文章があり、審査要の基準との類似度が０．６であったことを示す。また、審査不要となった申請書Ｂには、「・・・私立大学である・・・」文章があり、審査要の基準との類似度が０．７であったことを示す。即ち、審査要となった申請書Ａよりも審査不要となった申請書Ｂの方が、審査要の基準との類似性が高いことを示す。よって、想定とは異なり、審査要の基準に対し、審査不要の申請書Ｂの方が、類似度が高くなってしまう場合がある。
【0044】
一方、図１０（ｂ）は、図８の方法により算出された類似度であり、キーフレーズを使用した場合に、キーフレーズと申請書の類似度を示した図である。
この場合、キーフレーズは、「エージェントに該当する場合」である。即ち、図１０（ａ）の審査基準より文章が短く、単一の内容のみになっている。
審査要となった申請書Ａには、上述したように、「・・・コンサルタント業者である・・・」文章があり、審査要の基準との類似度が１．０であったことを示す。また、審査不要となった申請書Ｂには、上述したように、「・・・私立大学である・・・」文章があり、審査要の基準との類似度が０．８であったことを示す。即ち、審査不要となった申請書Ｂよりも審査要となった申請書Ａの方が、審査要の基準との類似性が高いことを示す。つまり、想定通り、審査要の基準に対し、審査要の申請書Ａの方が、類似度が高くなっている。
この場合、キーフレーズは、「エージェントに該当する場合」である。即ち、図１０（ａ）の審査基準より文章が短く、単一の内容のみになっている。
審査要となった申請書Ａには、上述したように、「・・・コンサルタント業者である・・・」文章があり、審査要の基準との類似度が１．０であったことを示す。また、審査不要となった申請書Ｂには、上述したように、「・・・私立大学である・・・」文章があり、審査要の基準との類似度が０．８であったことを示す。即ち、審査不要となった申請書Ｂよりも審査要となった申請書Ａの方が、審査要の基準との類似性が高いことを示す。つまり、想定通り、審査要の基準に対し、審査要の申請書Ａの方が、類似度が高くなっている。
【0045】
図１１（ａ）～（ｌ）は、文書分類システム１０が、キーフレーズを用いて基準特徴量を生成し、この基準特徴量を基に文書分類、および根拠の生成を行う手順の他の例について示した図である。
図８では、審査要が審査不要かの２つのクラスに分類する二値分類であったが、図１１では、レベル１、レベル２、レベル３の３つのクラスに分類する多値分類の場合を示している。この場合、学習データ、判定基準、判定結果などのクラスが３つになること以外は、図８と同様である。
本実施の形態でも、基準特徴量が上手く生成でき、文書分類の予測結果の精度が向上し、より正しい分類根拠を提示できる（図１１（ｌ））。
図８では、審査要が審査不要かの２つのクラスに分類する二値分類であったが、図１１では、レベル１、レベル２、レベル３の３つのクラスに分類する多値分類の場合を示している。この場合、学習データ、判定基準、判定結果などのクラスが３つになること以外は、図８と同様である。
本実施の形態でも、基準特徴量が上手く生成でき、文書分類の予測結果の精度が向上し、より正しい分類根拠を提示できる（図１１（ｌ））。
【0046】
＜キーフレーズの抽出方法の説明＞
次に、キーフレーズ抽出部１１が判定基準、学習データ、分類対象文書の中からキーフレーズを抽出する方法について詳述する。
ここでは、キーフレーズ抽出部１１が、判定基準や学習データである過去の申請書の中からキーフレーズを抽出する場合について説明する。即ち、図８（ｃ）の処理や図９のキーフレーズ・種別９０６の中のキーフレーズの作成を行う処理を詳細に説明する。
次に、キーフレーズ抽出部１１が判定基準、学習データ、分類対象文書の中からキーフレーズを抽出する方法について詳述する。
ここでは、キーフレーズ抽出部１１が、判定基準や学習データである過去の申請書の中からキーフレーズを抽出する場合について説明する。即ち、図８（ｃ）の処理や図９のキーフレーズ・種別９０６の中のキーフレーズの作成を行う処理を詳細に説明する。
【0047】
図１２（ａ）～（ｂ）は、キーフレーズ抽出部１１が判定基準、過去の申請書の中からキーフレーズを抽出する方法について説明した図である。
このうち、図１２（ａ）は、キーフレーズの要件について示した図である。
キーフレーズは、上述したように、任意の長さの文字列であり、単語、句、文章である。そして、キーフレーズは、文書中に出現する判定基準の希少性を表すパラメータに基づき選択される。本実施の形態では、このパラメータとして、ｉｄｆ（Inverse Document Frequency：逆文書頻度）を使用する。適切なキーフレーズは、判定基準と過去の申請書で出現するクラスに偏りがあり（異なるクラスにおけるｉｄｆの値が大きい）、同一クラスの過去の申請書には広く出現すること（同一クラスにおけるｉｄｆの値が小さい）が望ましい。また、判定基準と過去の申請書との間で矛盾しないことが望ましい。しかし、判定基準１２０１と膨大な数の過去の申請書１２０４の両方から審査に適切なキーフレーズを人が抽出するのは限界があるため、本実施の形態では、キーフレーズ抽出部１１が、以下の方法によりキーフレーズを抽出する。
このうち、図１２（ａ）は、キーフレーズの要件について示した図である。
キーフレーズは、上述したように、任意の長さの文字列であり、単語、句、文章である。そして、キーフレーズは、文書中に出現する判定基準の希少性を表すパラメータに基づき選択される。本実施の形態では、このパラメータとして、ｉｄｆ（Inverse Document Frequency：逆文書頻度）を使用する。適切なキーフレーズは、判定基準と過去の申請書で出現するクラスに偏りがあり（異なるクラスにおけるｉｄｆの値が大きい）、同一クラスの過去の申請書には広く出現すること（同一クラスにおけるｉｄｆの値が小さい）が望ましい。また、判定基準と過去の申請書との間で矛盾しないことが望ましい。しかし、判定基準１２０１と膨大な数の過去の申請書１２０４の両方から審査に適切なキーフレーズを人が抽出するのは限界があるため、本実施の形態では、キーフレーズ抽出部１１が、以下の方法によりキーフレーズを抽出する。
【0048】
図１２（ｂ）は、キーフレーズ抽出部１１における、キーフレーズを抽出する方法について説明した図である。
ここでは、キーフレーズ抽出部１１は、Ｓｔｅｐ１とＳｔｅｐ２の２段階でキーフレーズを抽出する。
ここでは、キーフレーズ抽出部１１は、Ｓｔｅｐ１とＳｔｅｐ２の２段階でキーフレーズを抽出する。
【0049】
Ｓｔｅｐ１で、キーフレーズ抽出部１１は、判定基準１２０１、過去の申請書１２０４のそれぞれから、キーフレーズ候補を抽出する。
まず、キーフレーズ抽出部１１は、フレーズ候補抽出１２０２により、判定基準１２０１からキーフレーズの候補である第１のフレーズ候補１２０３を抽出する。具体的には、キーフレーズ抽出部１１は、一般的な構文ルールに基づいて抽出した単語、句、文章に対し、出現クラスに偏りがあるものを第１のフレーズ候補１２０３として抽出を行う。即ち、あるクラスには多く出現するとともに、他のクラスにはあまり出現しない単語、句、文章を第１のフレーズ候補１２０３とする。出現クラスに偏りがあるか否かは、出現クラスにおけるフレーズのｉｄｆにより判断することができ、キーフレーズ抽出部１１は、例えば、異なるクラスの判定基準におけるｉｄｆの値＞１のものを、第１のフレーズ候補１２０３とする。
まず、キーフレーズ抽出部１１は、フレーズ候補抽出１２０２により、判定基準１２０１からキーフレーズの候補である第１のフレーズ候補１２０３を抽出する。具体的には、キーフレーズ抽出部１１は、一般的な構文ルールに基づいて抽出した単語、句、文章に対し、出現クラスに偏りがあるものを第１のフレーズ候補１２０３として抽出を行う。即ち、あるクラスには多く出現するとともに、他のクラスにはあまり出現しない単語、句、文章を第１のフレーズ候補１２０３とする。出現クラスに偏りがあるか否かは、出現クラスにおけるフレーズのｉｄｆにより判断することができ、キーフレーズ抽出部１１は、例えば、異なるクラスの判定基準におけるｉｄｆの値＞１のものを、第１のフレーズ候補１２０３とする。
【0050】
一方、キーフレーズ抽出部１１は、フレーズ候補抽出１２０５により、過去の申請書１２０４からキーフレーズの候補である第２のフレーズ候補１２０６を抽出する。具体的には、キーフレーズ抽出部１１は、一般的な構文ルールに基づいて抽出した単語、句、文章に対し、出現クラスに偏りがあるものを第２のフレーズ候補１２０６として抽出を行う。この場合、キーフレーズ抽出部１１は、例えば、異なるクラスの過去の申請書１２０４におけるｉｄｆの値＞１のものを、第２のフレーズ候補１２０６とする。また、キーフレーズ抽出部１１は、構文ルールに基づいて抽出した単語、句、文章に対し、同一クラスの過去の申請書１２０４において広く出現する単語、句、文章を第２のフレーズ候補１２０６として抽出を行う。この場合、キーフレーズ抽出部１１は、例えば、同一クラスの過去の申請書１２０４におけるｉｄｆの値が小さいフレーズを、第２のフレーズ候補１２０６とする。
【0051】
Ｓｔｅｐ２で、キーフレーズ抽出部１１は、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６とから最終的なキーフレーズを抽出する。
まず、キーフレーズ抽出部１１は、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６との統合１２０７を行う。具体的には、キーフレーズ抽出部１１は、第１のフレーズ候補１２０３を基に第２のフレーズ候補１２０６の中から類似のものを紐づけする。この処理は、第１のフレーズ候補１２０３を基に第２のフレーズ候補１２０６を使用して、キーフレーズ候補のバリエーションを増やしたり、出現クラスが判定基準と過去の申請書１２０４で矛盾しているものを見つけ出したりする処理であると言うこともできる。また、キーフレーズ抽出部１１は、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６とが、文書の分類を行うクラスとして異なるクラスに属する場合に削除する。即ち、例えば、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６とで同じものがあったとしても、異なるクラスの場合、キーフレーズとはしない。また、ここでは、これを検知するだけにとどめ、次に説明する、統合したキーフレーズ候補１２０８を選択し、最終的なキーフレーズ１２０９とするときに、削除候補（後述する図１６参照）として提示し、採用するか否かを決定してもよい。
まず、キーフレーズ抽出部１１は、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６との統合１２０７を行う。具体的には、キーフレーズ抽出部１１は、第１のフレーズ候補１２０３を基に第２のフレーズ候補１２０６の中から類似のものを紐づけする。この処理は、第１のフレーズ候補１２０３を基に第２のフレーズ候補１２０６を使用して、キーフレーズ候補のバリエーションを増やしたり、出現クラスが判定基準と過去の申請書１２０４で矛盾しているものを見つけ出したりする処理であると言うこともできる。また、キーフレーズ抽出部１１は、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６とが、文書の分類を行うクラスとして異なるクラスに属する場合に削除する。即ち、例えば、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６とで同じものがあったとしても、異なるクラスの場合、キーフレーズとはしない。また、ここでは、これを検知するだけにとどめ、次に説明する、統合したキーフレーズ候補１２０８を選択し、最終的なキーフレーズ１２０９とするときに、削除候補（後述する図１６参照）として提示し、採用するか否かを決定してもよい。
【0052】
統合したキーフレーズ候補１２０８は、適切な条件を満たしたものが選択され、最終的なキーフレーズ１２０９となる。この処理は、人が行ってもよく、キーフレーズ抽出部１１が行ってもよい。
【0053】
図１３は、図１２のＳｔｅｐ１についてさらに詳しく説明した図である。
キーフレーズ抽出部１１が、フレーズ候補抽出１２０２により、判定基準１２０１からキーフレーズの候補である第１のフレーズ候補１２０３を抽出するとき、キーフレーズ抽出部１１は、文書の分類を行うクラスごとに第１のフレーズ候補１２０３を作成する。ここでは、申請書を分類するクラスとしてレベル１～レベル３の３つがあり、それぞれのクラスについて第１のフレーズ候補１２０３を作成した場合を示している。これは、レベル１～３のそれぞれの判定基準１２０１を基に作成することができる。
キーフレーズ抽出部１１が、フレーズ候補抽出１２０２により、判定基準１２０１からキーフレーズの候補である第１のフレーズ候補１２０３を抽出するとき、キーフレーズ抽出部１１は、文書の分類を行うクラスごとに第１のフレーズ候補１２０３を作成する。ここでは、申請書を分類するクラスとしてレベル１～レベル３の３つがあり、それぞれのクラスについて第１のフレーズ候補１２０３を作成した場合を示している。これは、レベル１～３のそれぞれの判定基準１２０１を基に作成することができる。
【0054】
また、キーフレーズ抽出部１１は、クラスを跨いだ第１のフレーズ候補１２０３を作成する。この場合、レベル１～２、レベル２～３、レベル１～３について第１のフレーズ候補１２０３を作成した場合を示している。例えば、レベル１～２についての第１のフレーズ候補１２０３は、レベル１とレベル２の双方に出現するキーフレーズ候補である。これは、レベル１～２、レベル２～３、レベル１～３のそれぞれの判定基準１２０１を基に作成することができる。またこの場合、レベル１、３など飛び飛びのクラスで第１のフレーズ候補１２０３を作成することもできる。これにより複数のクラスに出現するキーフレーズ候補も抽出できる。
【0055】
また、クラスに順序性がある場合は、レベル１、３の第１のフレーズ候補１２０３をレベル１～３の第１のフレーズ候補１２０３として扱い、クラスに順序性がない場合は、レベル１、３の第１のフレーズ候補１２０３をそのままレベル１、３の第１のフレーズ候補１２０３として扱う処理をすることもできる。ここで順序性とは、図３（ｃ）に示したように、レベル１～３に等級があり、レベル１は、最も介護の必要性が高く、レベル３は、最も介護の必要性が低い場合を示すような場合である。
【0056】
一方、キーフレーズ抽出部１１が、フレーズ候補抽出１２０５により、過去の申請書１２０４からキーフレーズの候補である第２のフレーズ候補１２０６を抽出するとき、キーフレーズ抽出部１１は、文書の分類を行うクラスごとに第２のフレーズ候補１２０６を作成する。ここでは、申請書を分類するクラスとしてレベル１～レベル３の３つがあり、それぞれのクラスについて第２のフレーズ候補１２０６を作成した場合を示している。なお、ここでは、レベル１～レベル３のどれにも属さない対象外の過去の申請書１２０４についても第２のフレーズ候補１２０６を作成した場合を示している。これは、レベル１～３、対象外に分類された過去の申請書１２０４を基に作成することができる。
【0057】
また、キーフレーズ抽出部１１は、クラスを跨いだ第２のフレーズ候補１２０６を作成する。この場合、レベル１～２、レベル２～３、レベル３～対象外、レベル１～３、レベル２～対象外、…、レベル１～対象外について第２のフレーズ候補１２０６を作成した場合を示している。これは、それぞれに分類された過去の申請書１２０４を基に作成することができる。また、この場合、レベル１、３など飛び飛びのクラスで第２のフレーズ候補１２０６を作成することもできる。これにより複数のクラスに出現するキーフレーズ候補も抽出できる。
【0058】
なお、クラスに順序性がある場合は、レベル１、３の第２のフレーズ候補１２０６をレベル１～３の第２のフレーズ候補１２０６として扱い、クラスに順序性がない場合は、レベル１、３の第２のフレーズ候補１２０６をそのままレベル１、３の第２のフレーズ候補１２０６として扱う処理をすることもできる。
【0059】
図１４は、図１２のＳｔｅｐ２についてさらに詳しく説明した図である。
キーフレーズ抽出部１１が、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６とから最終的なキーフレーズを抽出するとき、キーフレーズ抽出部１１は、文書の分類を行うクラスごとに最終的なキーフレーズを作成する。
ここでは、レベル１、レベル２、レベル３、対象外、レベル１～２、レベル２～３、レベル２～対象外、レベル１～３、レベル２～対象外、…、レベル１～対象外について統合を行い、統合したキーフレーズ候補１２０８が作成されたことを示している。
そして、適切な条件を満たしたものを最終的なキーフレーズ１２０９とする。なおここでは、この処理は、人が行い、「〇」のものが、最終的なキーフレーズ１２０９として採用され、「×」のものは、最終的なキーフレーズ１２０９として採用されなかったことを示している。
このように、キーフレーズ抽出部１１は、文書の分類を行うクラスごとにキーフレーズを作成するとともに、クラスを跨ぐキーフレーズを作成する。
キーフレーズ抽出部１１が、第１のフレーズ候補１２０３と第２のフレーズ候補１２０６とから最終的なキーフレーズを抽出するとき、キーフレーズ抽出部１１は、文書の分類を行うクラスごとに最終的なキーフレーズを作成する。
ここでは、レベル１、レベル２、レベル３、対象外、レベル１～２、レベル２～３、レベル２～対象外、レベル１～３、レベル２～対象外、…、レベル１～対象外について統合を行い、統合したキーフレーズ候補１２０８が作成されたことを示している。
そして、適切な条件を満たしたものを最終的なキーフレーズ１２０９とする。なおここでは、この処理は、人が行い、「〇」のものが、最終的なキーフレーズ１２０９として採用され、「×」のものは、最終的なキーフレーズ１２０９として採用されなかったことを示している。
このように、キーフレーズ抽出部１１は、文書の分類を行うクラスごとにキーフレーズを作成するとともに、クラスを跨ぐキーフレーズを作成する。
【0060】
また、キーフレーズ抽出部１１は、抽出されたキーフレーズを基にさらに拡張したキーフレーズを作成することができる。
図１５は、抽出されたキーフレーズを基にさらに拡張したキーフレーズを作成した例を示した図である。
ここでは、レベル１のキーフレーズとして、「Ｘに著しい制限がある」が抽出されたことを示している。また、レベル２のキーフレーズとして、「Ｘに制限がある」が抽出されたことを示している。そして、キーフレーズ抽出部１１は、これらを基に、レベル３のキーフレーズとして、「Ｘに一部制限がある」と「Ｘに制限がない」を作成したことを示している。クラス間に階層構造がある場合（この場合、レベル１＞レベル２＞レベル３）、肯定／否定、程度の表現部分を変更することで拡張したキーフレーズを作成した場合を示している。
図１５は、抽出されたキーフレーズを基にさらに拡張したキーフレーズを作成した例を示した図である。
ここでは、レベル１のキーフレーズとして、「Ｘに著しい制限がある」が抽出されたことを示している。また、レベル２のキーフレーズとして、「Ｘに制限がある」が抽出されたことを示している。そして、キーフレーズ抽出部１１は、これらを基に、レベル３のキーフレーズとして、「Ｘに一部制限がある」と「Ｘに制限がない」を作成したことを示している。クラス間に階層構造がある場合（この場合、レベル１＞レベル２＞レベル３）、肯定／否定、程度の表現部分を変更することで拡張したキーフレーズを作成した場合を示している。
【0061】
図１６は、統合したキーフレーズ候補１２０８を示したテーブルＴ１について示した図である。
テーブルＴ１は、項番、キーフレーズ候補、判定基準、過去の申請書、削除候補、統合スコア、確認欄の各項目からなる。また、判定基準、過去の申請書は、それぞれ出現クラス、異なるクラスにおけるｉｄｆ、同一クラスにおけるｉｄｆの各項目を備える。
項番は、キーフレーズ候補に付される番号である。
キーフレーズ候補は、図１２、１４で説明した統合したキーフレーズ候補１２０８である。
テーブルＴ１は、項番、キーフレーズ候補、判定基準、過去の申請書、削除候補、統合スコア、確認欄の各項目からなる。また、判定基準、過去の申請書は、それぞれ出現クラス、異なるクラスにおけるｉｄｆ、同一クラスにおけるｉｄｆの各項目を備える。
項番は、キーフレーズ候補に付される番号である。
キーフレーズ候補は、図１２、１４で説明した統合したキーフレーズ候補１２０８である。
【0062】
出現クラスは、キーフレーズ候補が出現するクラスである。ここでは、出現クラスが「１」の場合、審査要のクラスであり、「０」の場合、審査不要のクラスであることを示す。
異なるクラスにおけるｉｄｆは、キーフレーズ候補が出現する出現クラスに偏りがある場合にスコアが高い。クラス間で出現頻度に偏りがあるほど、キーフレーズ向きであるため、このスコアは、高いほどキーフレーズ向きである。
同一クラスにおけるｉｄｆは、同一クラス内で広く使われている場合にスコアが低い。同一クラス内で広く使われているほど、キーフレーズ向きであるため、このスコアは、低いほどキーフレーズ向きである。
なお、異なるクラスにおけるｉｄｆ、同一クラスにおけるｉｄｆは、キーフレーズ候補が多い場合はソートして表示することも可能である。
異なるクラスにおけるｉｄｆは、キーフレーズ候補が出現する出現クラスに偏りがある場合にスコアが高い。クラス間で出現頻度に偏りがあるほど、キーフレーズ向きであるため、このスコアは、高いほどキーフレーズ向きである。
同一クラスにおけるｉｄｆは、同一クラス内で広く使われている場合にスコアが低い。同一クラス内で広く使われているほど、キーフレーズ向きであるため、このスコアは、低いほどキーフレーズ向きである。
なお、異なるクラスにおけるｉｄｆ、同一クラスにおけるｉｄｆは、キーフレーズ候補が多い場合はソートして表示することも可能である。
【0063】
削除候補は、キーフレーズ候補として好ましくない場合に「〇」となる。例えば、記号のみ、数値のみなどの場合、キーフレーズ候補として好ましくないので「〇」となる。なお、ここでは、すべて「×」である。
総合スコアは、キーフレーズ候補に対し、付与される順位であり、総合スコアが小さいほど、キーフレーズ抽出部１１がキーフレーズとして好ましいと判断したことを表す。総合スコアは、異なるクラスにおけるｉｄｆ、同一クラスにおけるｉｄｆから算出することができる。
確認欄は、キーフレーズ抽出部１１がキーフレーズとして採用すべきと判断したときに「〇」となり、採用すべきでないと判断したときは、「×」になる。また「〇」や「×」は、人が修正することもできる。さらに、人がキーフレーズとして採用すべきか否か判断する場合、人がこれを入力することもできる。
総合スコアは、キーフレーズ候補に対し、付与される順位であり、総合スコアが小さいほど、キーフレーズ抽出部１１がキーフレーズとして好ましいと判断したことを表す。総合スコアは、異なるクラスにおけるｉｄｆ、同一クラスにおけるｉｄｆから算出することができる。
確認欄は、キーフレーズ抽出部１１がキーフレーズとして採用すべきと判断したときに「〇」となり、採用すべきでないと判断したときは、「×」になる。また「〇」や「×」は、人が修正することもできる。さらに、人がキーフレーズとして採用すべきか否か判断する場合、人がこれを入力することもできる。
【0064】
テーブルＴ１では、項番１、３、５のキーフレーズ候補がキーフレーズとして採用され、項番２、４のキーフレーズ候補がキーフレーズとして不採用になったことを示す。
項番１のキーフレーズ候補である「政府」は、判定基準と過去の申請書とで、出現クラスが同一である。また、異なるクラスにおけるｉｄｆは、判定基準および過去の申請書の双方で、１．６７と他に比べて高い。さらに、同一クラスにおけるｉｄｆは、判定基準および過去の申請書の双方で、１．６７と他に比べて低い。
項番３のキーフレーズ候補である「コンサルタント」は、判定基準と過去の申請書とで、出現クラスが同一である。また、異なるクラスにおけるｉｄｆは、判定基準および過去の申請書の双方で、１．６７と他に比べて高い。
項番５のキーフレーズ候補である「国立大学」は、判定基準では、出現しない。一方、過去の申請書では、異なるクラスにおけるｉｄｆが、判定基準および過去の申請書の双方で、１．６７と他に比べて高い。
項番１のキーフレーズ候補である「政府」は、判定基準と過去の申請書とで、出現クラスが同一である。また、異なるクラスにおけるｉｄｆは、判定基準および過去の申請書の双方で、１．６７と他に比べて高い。さらに、同一クラスにおけるｉｄｆは、判定基準および過去の申請書の双方で、１．６７と他に比べて低い。
項番３のキーフレーズ候補である「コンサルタント」は、判定基準と過去の申請書とで、出現クラスが同一である。また、異なるクラスにおけるｉｄｆは、判定基準および過去の申請書の双方で、１．６７と他に比べて高い。
項番５のキーフレーズ候補である「国立大学」は、判定基準では、出現しない。一方、過去の申請書では、異なるクラスにおけるｉｄｆが、判定基準および過去の申請書の双方で、１．６７と他に比べて高い。
【0065】
項番２のキーフレーズ候補である「委託」は、判定基準と過去の申請書とで、出現クラスが異なる。
項番４のキーフレーズ候補である「大学」は、判定基準では、出現しない。そして、過去の申請書における出現クラスが全クラスである。
以上の検討結果から、項番１～５を比較したとき、ここでは、項番１、３、５のキーフレーズ候補がキーフレーズとして採用され、項番２、４のキーフレーズ候補がキーフレーズとして不採用となっている。この例では、判定基準にあるもの、また判定基準と過去申請書における出現クラスに矛盾がないものをキーフレーズ候補として採用したが、判定基準にないものも採用する等、利用者の意図によって採用方針を決めることができる。
項番４のキーフレーズ候補である「大学」は、判定基準では、出現しない。そして、過去の申請書における出現クラスが全クラスである。
以上の検討結果から、項番１～５を比較したとき、ここでは、項番１、３、５のキーフレーズ候補がキーフレーズとして採用され、項番２、４のキーフレーズ候補がキーフレーズとして不採用となっている。この例では、判定基準にあるもの、また判定基準と過去申請書における出現クラスに矛盾がないものをキーフレーズ候補として採用したが、判定基準にないものも採用する等、利用者の意図によって採用方針を決めることができる。
【0066】
＜基準特徴量の抽出方法の説明＞
次に、基準特徴量抽出部１２がキーフレーズを基に、文書の特徴量である基準特徴量を抽出する方法について詳述する。
図１７（ａ）～（ｃ）は、基準特徴量抽出部１２がキーフレーズを基に、文書の特徴量である基準特徴量を抽出する手順について示した図である。
このうち、図１７（ａ）は、分類対象文書である申請書の文章について示している。この場合、申請書には、「公立大学のＡ大学のＢ教授に、生体移植の今後について講演を依頼する。」の文章が含まれる。
次に、基準特徴量抽出部１２がキーフレーズを基に、文書の特徴量である基準特徴量を抽出する方法について詳述する。
図１７（ａ）～（ｃ）は、基準特徴量抽出部１２がキーフレーズを基に、文書の特徴量である基準特徴量を抽出する手順について示した図である。
このうち、図１７（ａ）は、分類対象文書である申請書の文章について示している。この場合、申請書には、「公立大学のＡ大学のＢ教授に、生体移植の今後について講演を依頼する。」の文章が含まれる。
【0067】
図１７（ｂ）は、基準特徴量抽出部１２が、図１７（ａ）の文章とキーフレーズとを比較し、類似度を算出したテーブルＴ２を示した図である。類似度は、キーフレーズと文書中のフレーズとをベクトル変換したときの、これらの類似度である。
テーブルＴ２は、種別、キーフレーズ、フレーズ、類似度の各項目からなる。そして、種別が「取引先」に属する複数のキーフレーズおよび種別が「取引内容」に属する複数のキーフレーズと、図１７（ａ）の文章に含まれるフレーズとの類似度を求めたものである。フレーズ欄には、各キーフレーズと図１７（ａ）の文章に含まれるフレーズの中で類似度が最大となるものを記載し、類似度欄にはその値を記載する。
テーブルＴ２は、種別、キーフレーズ、フレーズ、類似度の各項目からなる。そして、種別が「取引先」に属する複数のキーフレーズおよび種別が「取引内容」に属する複数のキーフレーズと、図１７（ａ）の文章に含まれるフレーズとの類似度を求めたものである。フレーズ欄には、各キーフレーズと図１７（ａ）の文章に含まれるフレーズの中で類似度が最大となるものを記載し、類似度欄にはその値を記載する。
【0068】
種別が「取引先」の場合、「公務員」のキーフレーズと「公立大学」のフレーズとの類似度が０．７５６であることを示している。また、「国立大学」のキーフレーズと「公立大学」のフレーズとの類似度を求めている。そして、それぞれの類似度が０．８７３であることを示している。
また、種別が「取引内容」の場合、「物品購入」のキーフレーズと「依頼」のフレーズとの類似度を求めている。また、「社外講演」のキーフレーズと「講演を依頼する」のフレーズとの類似度を求めている。そして、それぞれの類似度が０．５４、０．９であったことを示している。
また、種別が「取引内容」の場合、「物品購入」のキーフレーズと「依頼」のフレーズとの類似度を求めている。また、「社外講演」のキーフレーズと「講演を依頼する」のフレーズとの類似度を求めている。そして、それぞれの類似度が０．５４、０．９であったことを示している。
【0069】
そして、基準特徴量抽出部１２は、種別ごとに類似度が最も高いものを基準特徴量として抽出する。その結果、基準特徴量は、種別ごとに抽出される。
図１７（ｃ）は、基準特徴量を含むテーブルＴ３を示した図である。
種別が「取引先」の場合の基準特徴量は、０．８７３であり、種別が「取引内容」の場合の基準特徴量は、０．９である。
図１７（ｃ）は、基準特徴量を含むテーブルＴ３を示した図である。
種別が「取引先」の場合の基準特徴量は、０．８７３であり、種別が「取引内容」の場合の基準特徴量は、０．９である。
【0070】
＜分類の根拠の生成の説明＞
次に、分類根拠生成部１５が、分類対象文書である申請書の分類の根拠の説明を生成する方法について詳述する。
図１８（ａ）～（ｄ）は、分類根拠生成部１５が、申請書の分類の根拠の説明を生成する方法を説明した図である。
このうち、図１８（ｄ）は、判定結果および分類の根拠の説明の表示である。この場合、判定結果が、「審査結果の予測値：審査要」であり、その根拠が、「根拠：「公立大学」が審査基準の「（１）公務員との関係がある場合」、「講演を依頼する」が審査基準の「審査が必要な取引内容」に該当しています。」であることを表示している。
次に、分類根拠生成部１５が、分類対象文書である申請書の分類の根拠の説明を生成する方法について詳述する。
図１８（ａ）～（ｄ）は、分類根拠生成部１５が、申請書の分類の根拠の説明を生成する方法を説明した図である。
このうち、図１８（ｄ）は、判定結果および分類の根拠の説明の表示である。この場合、判定結果が、「審査結果の予測値：審査要」であり、その根拠が、「根拠：「公立大学」が審査基準の「（１）公務員との関係がある場合」、「講演を依頼する」が審査基準の「審査が必要な取引内容」に該当しています。」であることを表示している。
【0071】
また、図１８（ａ）～（ｃ）は、判定結果が「審査要」となり、また根拠の説明の分類の根拠の説明を生成する過程を示している。図１８（ａ）は、審査要であるか審査不要であるかを決定する分岐条件を示した決定木である。この場合、種別が取引先であるときの類似度（基準特徴量）が０．７を超えるとともに、種別が取引内容であるときの類似度（基準特徴量）が０．８を超えるときに審査要となることを示す。また、種別が取引先であるときの類似度（基準特徴量）が０．７以下であっても、種別が取引内容であるときの類似度（基準特徴量）が０．９を超えるときに審査要となることを示す。なお、他の場合は、審査不要となることを示す。
【0072】
そして、図１８（ｂ）は、図１７（ｃ）と同様の図であり、類似度（基準特徴量）について示したテーブルＴ３である。
また、図１８（ｃ）は、各キーフレーズについて、種別、出典、クラスを示したテーブルＴ４である。このうち、出典は、審査基準（判断基準）に該当し、審査基準の中のどの部分が根拠になるかが示されている。ここでは、図１８（ｂ）に示したキーフレーズが出典のどの部分に対応するかを示している。この場合、このキーフレーズは、図１２（ｂ）の第１のフレーズ候補１２０３から採用されたものとなる。なお、人が考えたキーフレーズのように出典がない場合は、「－」等の記号を用いて記載することができる。この場合、キーフレーズは、図１２（ｂ）の第２のフレーズ候補１２０６から採用されたものとなる。なお、図１８（ｂ）～（ｃ）中の折れ線は、互いの関連を示している。
そして、分類根拠生成部１５は、これらの関連から図１８（ｄ）の分類の根拠の説明が作成される。
また、図１８（ｃ）は、各キーフレーズについて、種別、出典、クラスを示したテーブルＴ４である。このうち、出典は、審査基準（判断基準）に該当し、審査基準の中のどの部分が根拠になるかが示されている。ここでは、図１８（ｂ）に示したキーフレーズが出典のどの部分に対応するかを示している。この場合、このキーフレーズは、図１２（ｂ）の第１のフレーズ候補１２０３から採用されたものとなる。なお、人が考えたキーフレーズのように出典がない場合は、「－」等の記号を用いて記載することができる。この場合、キーフレーズは、図１２（ｂ）の第２のフレーズ候補１２０６から採用されたものとなる。なお、図１８（ｂ）～（ｃ）中の折れ線は、互いの関連を示している。
そして、分類根拠生成部１５は、これらの関連から図１８（ｄ）の分類の根拠の説明が作成される。
【0073】
＜根拠の説明の表示の説明＞
図１９は、端末装置２０で申請書の分類の根拠の表示をするときの表示画面について示した図である。
図１９は、図５で説明した例に対し、本実施の形態を適用した場合を示している。
この場合、申請書の判定結果が「審査要」であり、その根拠を、申請書中の単語、句等により示している。この場合、「公立大学である」、「講演を依頼する」が、審査要になった根拠として表示されている。さらに、図１９では、分類基準として申請書の審査基準１９０１が表示される。
図１９は、端末装置２０で申請書の分類の根拠の表示をするときの表示画面について示した図である。
図１９は、図５で説明した例に対し、本実施の形態を適用した場合を示している。
この場合、申請書の判定結果が「審査要」であり、その根拠を、申請書中の単語、句等により示している。この場合、「公立大学である」、「講演を依頼する」が、審査要になった根拠として表示されている。さらに、図１９では、分類基準として申請書の審査基準１９０１が表示される。
【0074】
そして、審査基準１９０１の中のどの部分が根拠になったかが吹き出し１９０２、１９０３により示されている。吹き出し１９０２では、「公立大学である」が、種別およびキーフレーズとして「取引先（国立大学）に対応。」し、審査基準１９０１の「基準（１）公務員との関係がある場合に該当する。」旨が表示されている。また、吹き出し１９０３では、「講演を依頼する」が、種別およびキーフレーズとして「取引内容（社外講演）に対応」し、審査基準１９０１の「基準（３）取引内容が社外講演である場合に該当する。」旨が表示されている。
【0075】
図１９で示した例で、端末装置２０は、根拠として、分類基準である審査基準、キーフレーズ、キーフレーズに対応する申請書のフレーズを表示する、と言うこともできる。
図１９で示した例は、図５の例と比較して、審査要になる審査基準に対応した箇所を根拠として示すことができているため、根拠の納得性が高いと言うことができる。
以上詳述した形態によれば、キーフレーズを使用することで、文書分類の精度が高く、より納得性が高い根拠を提示することができる文書分類システム１０を提供することができる。
図１９で示した例は、図５の例と比較して、審査要になる審査基準に対応した箇所を根拠として示すことができているため、根拠の納得性が高いと言うことができる。
以上詳述した形態によれば、キーフレーズを使用することで、文書分類の精度が高く、より納得性が高い根拠を提示することができる文書分類システム１０を提供することができる。
【0076】
なお、以上説明した形態では、文字情報を基に文書の分類を行う場合について説明したが、文書が画像情報であっても、画像情報をテキスト化し、その文字情報を使用して、文書の分類を行う場合にも適用が可能である。
【0077】
＜文書分類方法の説明＞
以上説明を行った文書分類システム１０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、文書分類システム１０に設けられたコンピュータ内部のプロセッサが、上述した各機能を実現するソフトウェアをメモリにロードして実行し、これらの各機能を実現させる。
以上説明を行った文書分類システム１０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、文書分類システム１０に設けられたコンピュータ内部のプロセッサが、上述した各機能を実現するソフトウェアをメモリにロードして実行し、これらの各機能を実現させる。
【0078】
よって、文書分類システム１０が行う処理は、プロセッサがメモリに記録されたソフトウェアを実行することにより、文書中に出現する分類基準の希少性を表すパラメータに基づき選択されたキーフレーズを基に作成された文書分類モデルを用いて、分類の対象となる文書である分類対象文書を分類し、キーフレーズを基に、分類対象文書の分類の根拠の説明を生成する、文書分類方法として捉えることもできる。
【0079】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【0080】
１…文書処理システム、１０…文書分類システム、１１…キーフレーズ抽出部、１２…基準特徴量抽出部、１３…文書分類モデル生成部、１４…分類部、１５…分類根拠生成部、２０、２０ａ、２０ｂ、２０ｃ…端末装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】