特許 5959063 情報の取得を支援する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5959063

(24)【登録日】2016年7月1日

(45)【発行日】2016年8月2日

(54)【発明の名称】情報の取得を支援する装置及び方法

(51)【国際特許分類】

   G06F 17/30 20060101AFI20160719BHJP

【ＦＩ】

   G06F17/30 210D

   G06F17/30 220Z

   G06F17/30 340B

   G06F17/30 170A

【請求項の数】7

【全頁数】16

(21)【出願番号】特願2013-90022(P2013-90022)

(22)【出願日】2013年4月23日

(65)【公開番号】特開2014-215658(P2014-215658A)

(43)【公開日】2014年11月17日

【審査請求日】2015年11月27日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】100108501

【弁理士】

【氏名又は名称】上野 剛史

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(72)【発明者】

【氏名】稲垣 猛

【審査官】 吉田 誠

(56)【参考文献】

【文献】 特開２００７−０７９９４８（ＪＰ，Ａ）

【文献】 特開２０１２−２２１３１６（ＪＰ，Ａ）

【文献】 特開２００５−２３５０６５（ＪＰ，Ａ）

【文献】 特開２００４−０３０２０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １７／３０

(57)【特許請求の範囲】

【請求項1】

複数の単語を含む文書からの情報の取得を支援する装置であって、
前記文書が当該文書に含まれる概念に基づいて複数のクラスタの各々に属する度合いを示す第１の情報と、前記複数の単語のうちの一の単語が当該一の単語の概念に基づいて当該複数のクラスタの各々に出現する度合いを示す第２の情報とを取得する取得部と、
前記第１の情報と前記第２の情報とに基づいて、前記文書に含まれる概念と前記一の単語の概念との重なりの度合いを示す第３の情報を生成する生成部と、
前記第３の情報が予め定められた基準よりも低い重なりの度合いを示すかどうかを判定する判定部と、
前記第３の情報が前記基準よりも低い重なりの度合いを示すと判定された場合に、前記一の単語が前記文書において特異な単語である旨の情報を出力する出力部と
を含む、装置。

【請求項2】

前記取得部は、前記文書を含む複数の文書に対してクラスタリングを行うことにより、前記第１の情報と前記第２の情報とを取得する、請求項１に記載の装置。

【請求項3】

前記複数の文書の各文書から単語を抽出する抽出部を更に備え、
前記取得部は、前記複数の文書に対して、各文書から抽出された単語を用いて、ＬＤＡ（Latent Dirichlet Allocation）によるクラスタリングを行うことにより、前記文書が前記複数のクラスタの各々に属する確率である第１の確率を前記第１の情報として取得し、前記一の単語が前記複数のクラスタの各々に属する確率である第２の確率を前記第２の情報として取得する、請求項２の装置。

【請求項4】

前記生成部は、前記複数のクラスタのうちの一のクラスタに対する前記第１の確率と、当該一のクラスタに対する前記第２の確率との積の、当該複数のクラスタの全てのクラスタについての総和を算出することにより、当該総和を前記第３の情報として生成する、請求項３の装置。

【請求項5】

前記判定部は、前記総和が前記基準である予め定められた閾値よりも小さいかどうかを判定し、
前記出力部は、前記総和が前記閾値よりも小さいと判定された場合に、前記一の単語が前記文書において特異な単語である旨の情報を出力する、請求項４の装置。

【請求項6】

複数の単語を含む文書からの情報の取得をコンピュータにより支援する方法であって、
前記コンピュータの取得部が、前記文書が当該文書に含まれる概念に基づいて複数のクラスタの各々に属する度合いを示す第１の情報と、前記複数の単語のうちの一の単語が当該一の単語の概念に基づいて当該複数のクラスタの各々に出現する度合いを示す第２の情報とを取得するステップと、
前記コンピュータの生成部が、前記第１の情報と前記第２の情報とに基づいて、前記文書に含まれる概念と前記一の単語の概念との重なりの度合いを示す第３の情報を生成するステップと、
前記コンピュータの判定部が、前記第３の情報が予め定められた基準よりも低い重なりの度合いを示すかどうかを判定するステップと、
前記コンピュータの出力部が、前記第３の情報が前記基準よりも低い重なりの度合いを示すと判定された場合に、前記一の単語が前記文書において特異な単語である旨の情報を出力するステップと
を含む、方法。

【請求項7】

複数の単語を含む文書からの情報の取得を支援する装置として、コンピュータを機能させるプログラムであって、
前記コンピュータを、
前記文書が当該文書に含まれる概念に基づいて複数のクラスタの各々に属する度合いを示す第１の情報と、前記複数の単語のうちの一の単語が当該一の単語の概念に基づいて当該複数のクラスタの各々に出現する度合いを示す第２の情報とを取得する取得部と、
前記第１の情報と前記第２の情報とに基づいて、前記文書に含まれる概念と前記一の単語の概念との重なりの度合いを示す第３の情報を生成する生成部と、
前記第３の情報が予め定められた基準よりも低い重なりの度合いを示すかどうかを判定する判定部と、
前記第３の情報が前記基準よりも低い重なりの度合いを示すと判定された場合に、前記一の単語が前記文書において特異な単語である旨の情報を出力する出力部と
して機能させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報の取得を支援する装置及び方法に関する。特に、本発明は、複数の単語を含む文書からの情報の取得を支援する装置及び方法に関する。

【背景技術】

【0002】

近年、記憶媒体の大容量化等に伴い、計算機システムには大量の文書データ（以下、単に「文書」という）が蓄積されるようになっている。そこで、このような大量に蓄積された文書を有効に利用するために文書から特徴的な概念や新たな知見等を得るための技術が種々提案されている（例えば、特許文献１〜４参照）。

【0003】

特許文献１は、クラスタリング制御部が、複数の文書のうちユーザによって指定された文書からなる文書集合に対して文書クラスタリング処理または単語クラスタリング処理を実行し、カテゴリ分類方法設定部が、クラスタリング処理によって生成された文書集合中の部分集合が分類されるカテゴリの分類方法をカテゴリ記憶部に設定し、自動分類制御部が、ユーザの操作に応じて分類先候補カテゴリ集合および分類対象文書集合を決定し、カテゴリ記憶部に設定された分類先候補カテゴリ集合の各カテゴリの分類方法に基づいて、分類先候補カテゴリ集合および分類対象文書集合を対象にルールベース自動分類処理および事例ベース自動分類処理を制御する技術を開示する。

【0004】

特許文献２は、文書を含む大量のデータから特異な特徴を有する概念を抽出することにより、有効な知識を獲得する方法およびシステムであって、概念抽出装置が、文書データを含むデータからカテゴリ別の概念を抽出し、特徴的概念抽出装置が、抽出した概念の中から特徴的な概念を抽出する装置であって、カテゴリ別の概念において、同一カテゴリに属する概念のうち、対応する別のカテゴリに属する概念の中で占める割合が既定値を超えている概念を抽出する方法およびシステムを開示する。

【0005】

特許文献３は、複数の文書データのそれぞれについて特徴データを求める特徴化部と、特徴化部によって求められた特徴データに基づいて、複数の文書データを、それぞれが類似する文書データの集合である複数のクラスタにクラスタリングするクラスタリング部と、クラスタリング部によって得られた複数のクラスタのうち、所定の類似度に達しないクラスタを抽出する抽出部とを備える文書処理装置を開示する。

【0006】

特許文献４は、複数のデータ集合を予め関連づけを行い、これらのデータ集合に含まれる各データについて、他のデータとは値が隔たっていること及びデータの頻度が小さいことに相関を有する特異性指標を得て、予め定めた基準指標と特異性指標とを比較し、これに基づいて複数のデータを選択し、選択されたデータによりデータマイニングを行う技術を開示する。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１０−２６７１４１号公報

【特許文献2】特開２００１−７５９６６号公報

【特許文献3】特開２００６−３０１９５９号公報

【特許文献4】特開２００５−１８６８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

ところで、このような技術に対する要求としては、よく使われる用語が意外な文脈で使われている文書を発見したいというものがある。例えば、自動車関連のニュースに関し、用語「電気自動車」はよく記事に登場し、また、地名「Ａ国」も度々話題になるが、「電気自動車」を「Ａ国」で発売、といったニュースは今までになかったとする。このような場合に、「電気自動車」と「Ａ国」の組み合わせが出現する文書はニュースとして価値が高いので、これを自動的に検出したいという要求である。

【0009】

かかる要求に応えるには、特異な文書を見つけ出すだけでなく、ある文書でその文書における特異な単語が使われていることを見つけ出すことが必要になる。

【0010】

尚、特許文献１〜４の技術には、特異な文書を見つけ出すものはあるが、ある文書でその文書における特異な単語が使われていることを見つけ出すものはない。

【0011】

本発明の目的は、ある文書でその文書における特異な単語が使われていることを見つけ出すことにある。

【課題を解決するための手段】

【0012】

かかる目的のもと、本発明は、複数の単語を含む文書からの情報の取得を支援する装置であって、文書が文書に含まれる概念に基づいて複数のクラスタの各々に属する度合いを示す第１の情報と、複数の単語のうちの一の単語が一の単語の概念に基づいて複数のクラスタの各々に出現する度合いを示す第２の情報とを取得する取得部と、第１の情報と第２の情報とに基づいて、文書に含まれる概念と一の単語の概念との重なりの度合いを示す第３の情報を生成する生成部と、第３の情報が予め定められた基準よりも低い重なりの度合いを示すかどうかを判定する判定部と、第３の情報が基準よりも低い重なりの度合いを示すと判定された場合に、一の単語が文書において特異な単語である旨の情報を出力する出力部とを含む、装置を提供する。

【0013】

ここで、取得部は、文書を含む複数の文書に対してクラスタリングを行うことにより、第１の情報と第２の情報とを取得する、ものであってよい。

【0014】

また、この装置は、複数の文書の各文書から単語を抽出する抽出部を更に備え、取得部は、複数の文書に対して、各文書から抽出された単語を用いて、ＬＤＡ（Latent Dirichlet Allocation）によるクラスタリングを行うことにより、文書が複数のクラスタの各々に属する確率である第１の確率を第１の情報として取得し、一の単語が複数のクラスタの各々に属する確率である第２の確率を第２の情報として取得する、ものであってよい。

【0015】

更に、生成部は、複数のクラスタのうちの一のクラスタに対する第１の確率と、一のクラスタに対する第２の確率との積の、複数のクラスタの全てのクラスタについての総和を算出することにより、総和を第３の情報として生成する、ものであってよい。

【0016】

更にまた、判定部は、総和が基準である予め定められた閾値よりも小さいかどうかを判定し、出力部は、総和が閾値よりも小さいと判定された場合に、一の単語が文書において特異な単語である旨の情報を出力する、ものであってよい。

【0017】

また、本発明は、複数の単語を含む文書からの情報の取得を支援する方法であって、文書が文書に含まれる概念に基づいて複数のクラスタの各々に属する度合いを示す第１の情報と、複数の単語のうちの一の単語が一の単語の概念に基づいて複数のクラスタの各々に出現する度合いを示す第２の情報とを取得するステップと、第１の情報と第２の情報とに基づいて、文書に含まれる概念と一の単語の概念との重なりの度合いを示す第３の情報を生成するステップと、第３の情報が予め定められた基準よりも低い重なりの度合いを示すかどうかを判定するステップと、第３の情報が基準よりも低い重なりの度合いを示すと判定された場合に、一の単語が文書において特異な単語である旨の情報を出力するステップとを含む、方法も提供する。

【0018】

更に、本発明は、複数の単語を含む文書からの情報の取得を支援する装置として、コンピュータを機能させるプログラムであって、コンピュータを、文書が文書に含まれる概念に基づいて複数のクラスタの各々に属する度合いを示す第１の情報と、複数の単語のうちの一の単語が一の単語の概念に基づいて複数のクラスタの各々に出現する度合いを示す第２の情報とを取得する取得部と、第１の情報と第２の情報とに基づいて、文書に含まれる概念と一の単語の概念との重なりの度合いを示す第３の情報を生成する生成部と、第３の情報が予め定められた基準よりも低い重なりの度合いを示すかどうかを判定する判定部と、第３の情報が基準よりも低い重なりの度合いを示すと判定された場合に、一の単語が文書において特異な単語である旨の情報を出力する出力部として機能させる、プログラムも提供する。

【発明の効果】

【0019】

本発明によれば、ある文書でその文書における特異な単語が使われていることを見つけ出すことができる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態における文書解析装置の構成例を示したブロック図である。

【図2】本発明の実施の形態における文書解析装置の確率を記憶する際の動作例を示したフローチャートである。

【図3】本発明の実施の形態における文書解析装置の特異単語を検出する際の動作例を示したフローチャートである。

【図4】本発明の実施の形態における文書解析装置で用いる解析対象文書の一例を示した図である。

【図5】本発明の実施の形態における文書解析装置で生成される単語リストの一例を示した図である。

【図6】本発明の実施の形態における文書解析装置で記憶される確率ｐ（Ｃ；Ｄ）の一例を示した図である。

【図7】本発明の実施の形態における文書解析装置で記憶される確率ｐ（Ｗ；Ｃ）の一例を示した図である。

【図8】本発明の実施の形態を適用可能なコンピュータのハードウェア構成例を示した図である。

【発明を実施するための形態】

【0021】

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

【0022】

まず、本実施の形態の概略動作を述べる。本実施の形態は、単語の背後に潜在する概念を抽出し、それに基づいて、単語が一般的なコンテキストから離れて特異な使われ方をしている文書を発見するものである。

【0023】

そのために、本実施の形態では、まず、解析対象文書を含む文書集合を、クラスタリング技術を用いて分類する。ここで、クラスタリング技術としては、例えばＬＤＡ（Latent Dirichlet Allocation）を用いるとよい。ＬＤＡによるクラスタリングは、各解析対象文書から単語を抽出した後に、文書での単語の出現が、文書に含まれる概念に起因して発生する、という仮定に基づき、解析対象文書を含む文書集合に対して行われるものである。

【0024】

その結果、ある文書がある概念を含む確率と、ある単語がある概念に出現する確率とが得られる。このうち、前者の確率は、文書Ｄがその文書に含まれる概念に基づいてクラスタＣに属する確率と言うことができ、以下では、これをｐ（Ｃ；Ｄ）と表記する。また、後者の確率は、単語Ｗがその概念に基づいてクラスタＣに出現する確率と言うことができ、以下では、これをｐ（Ｗ；Ｃ）と表記する。

【0025】

最後に、確率ｐ（Ｃ；Ｄ）及び確率ｐ（Ｗ；Ｃ）を用いて、文書に含まれる概念（文書が属するクラスタ）を求め、その概念において出現し難い単語（そのクラスタに出現し難い単語）を特定し、その単語をその文書における特異な単語（特異単語）とする。

【0026】

尚、本明細書では、「単語」という文言を用いるが、これは文法上の「単語」のみを意味するものではない。例えば、単語を組み合わせた句（フレーズ）等も含めて「単語」としている。

【0027】

次に、このような概略動作を行う文書解析装置について説明する。

【0028】

図１は、本実施の形態における文書解析装置１０の機能構成例を示したブロック図である。図示するように、文書解析装置１０は、文書集合記憶部１１と、単語抽出部１２と、単語リスト記憶部１３とを含む。また、クラスタリング部１４と、第１確率記憶部１５と、第２確率記憶部１６とを含む。更に、重なり度数算出部１７と、重なり度数比較部１８と、特異単語記録部１９とを含む。

【0029】

文書集合記憶部１１は、解析対象文書を含む文書集合を記憶する。

【0030】

単語抽出部１２は、文書集合記憶部１１に記憶された文書集合に含まれる解析対象文書の各々から単語を抽出し、各文書と各文書から抽出された単語とを対応付けた単語リストを生成する。本実施の形態では、複数の文書の各文書から単語を抽出する抽出部の一例として、単語抽出部１２を設けている。

【0031】

ここで、単語抽出部１２は、単語を抽出する際に、不要な単語を除外するフィルタリング処理として、以下の第１乃至第４のフィルタリング処理の何れかを行ってもよい。第１のフィルタリング処理は、文書集合における各単語の出現頻度を確認し、出現頻度が閾値（例えば２０％）以上の単語や、逆に出現頻度が閾値以下の極端に少ない単語を除外する処理である。第２のフィルタリング処理は、クラスタに出現する確率が何れのクラスタにおいても閾値以下である単語、つまり、どのクラスタにも属さないとみなせる単語を除外する処理である。第３のフィルタリング処理は、クラスタに出現する確率が複数のクラスタにおいて閾値以上である単語を除外する処理である。第４のフィルタリング処理は、条件を満たす単語を除外する処理である。条件が、品詞に関する条件であり、品詞が名詞以外であるという条件であるとすると、この処理は名詞のみを残す処理になる。

【0032】

尚、これらのフィルタリング処理で用いられる閾値や条件はパラメータとし、これを文書集合に応じて調節できるようにしてもよい。但し、閾値については、文書集合をサンプリングして得られた文書群について出現頻度又は確率の平均値を算出し、それに対する比率をパラメータとして自動的に決定してもよい。こうすることにより、文書集合ごとに手動で調節することを回避できる。

【0033】

単語リスト記憶部１３は、単語抽出部１２が生成した単語リストを記憶する。

【0034】

クラスタリング部１４は、単語リスト記憶部１３に記憶された単語リストに含まれる解析対象文書の全体に対し、単語リスト記憶部１３に記憶された単語リストに含まれる単語を用いて、ＬＤＡによるクラスタリングを行う。これにより、確率ｐ（Ｃ；Ｄ）及び確率ｐ（Ｗ；Ｃ）が得られる。尚、本明細書では、クラスタリング部１４が、ＬＤＡによるクラスタリングを行い、確率であるｐ（Ｃ；Ｄ）及びｐ（Ｗ；Ｃ）を算出するものとして説明するが、クラスタリング部１４が、他のクラスタリングを行い、確率ｐ（Ｃ；Ｄ）の代わりに、文書Ｄがその文書に含まれる概念に基づいてクラスタＣに属する度合いを示す情報を取得し、確率ｐ（Ｗ；Ｃ）の代わりに、単語Ｗがその概念に基づいてクラスタＣに出現する度合いを示す情報を取得するものとしてもよい。即ち、本実施の形態では、文書がその文書に含まれる概念に基づいて複数のクラスタの各々に属する度合いを示す第１の情報の一例として、確率ｐ（Ｃ；Ｄ）を用いており、単語がその単語の概念に基づいて複数のクラスタの各々に出現する度合いを示す第２の情報の一例として、確率ｐ（Ｗ；Ｃ）を用いており、第１の情報と第２の情報とを取得する取得部の一例として、クラスタリング部１４を設けている。

【0035】

第１確率記憶部１５は、クラスタリング部１４がＬＤＡによるクラスタリングを行うことによって得られた確率ｐ（Ｃ；Ｄ）を記憶する。

【0036】

第２確率記憶部１６は、クラスタリング部１４がＬＤＡによるクラスタリングを行うことによって得られた確率ｐ（Ｗ；Ｃ）を記憶する。

【0037】

重なり度数算出部１７は、第１確率記憶部１５に記憶された確率ｐ（Ｃ；Ｄ）と、第２確率記憶部１６に記憶された確率ｐ（Ｗ；Ｃ）とを用いて、文書Ｄに含まれる概念と単語Ｗの概念との重なりの度合いを示す重なり度数Ａを算出する。具体的には、式「Ａ＝Σｐ（Ｃ；Ｄ）ｐ（Ｗ；Ｃ）（Σは全てのＣに対する総和を示す）」により、重なり度数Ａを算出する。尚、本明細書では、重なり度数算出部１７が、数値化された重なり度数Ａを算出するものとして説明するが、必ずしも数値化された度数を算出する必要はなく、文書Ｄに含まれる概念と単語Ｗの概念との重なりの度合いを示す情報を生成するものとしてもよい。即ち、本実施の形態では、文書に含まれる概念と単語の概念との重なりの度合いを示す第３の情報の一例として、重なり度数Ａを用いており、第３の情報を生成する生成部の一例として、重なり度数算出部１７を設けている。

【0038】

重なり度数比較部１８は、重なり度数算出部１７が算出した重なり度数Ａと、予め定められた閾値Ｔとを比較する。ここで、閾値Ｔは、予め定めた値としてもよいが、文書集合記憶部１１に記憶された文書集合をサンプリングして得られた文書群について重なり度数Ａの平均値を算出し、その平均値に基づいて閾値Ｔを決定してもよい。例えば、閾値Ｔを、文書群についての重なり度数Ａの平均値の０．２倍の値とすることが考えられる。そして、重なり度数Ａが閾値Ｔよりも小さかった場合は、その旨の情報を特異単語記録部１９に伝え、重なり度数Ａが閾値Ｔよりも小さくなかった場合は、その旨の情報を重なり度数算出部１７に返す。尚、本明細書では、重なり度数比較部１８が、重なり度数Ａが数値化された閾値Ｔよりも小さいかどうかを判定するものとして説明するが、必ずしも数値化された閾値よりも小さいかどうかを判定する必要はなく、重なりの度合いを示す情報が予め定められた基準よりも低い重なりの度合いを示すかどうかを判定するものとしてもよい。即ち、本実施の形態では、予め定められた基準の一例として、閾値Ｔを用いており、第３の情報がその基準よりも低い重なりの度合いを示すかどうかを判定する判定部の一例として、重なり度数比較部１８を設けている。

【0039】

特異単語記録部１９は、重なり度数Ａが閾値Ｔよりも小さかった旨の情報が重なり度数比較部１８から伝えられると、そのときの単語を、そのときの文書における特異単語として記録する。本実施の形態では、単語が文書において特異な単語である旨の情報を出力する出力部の一例として、特異単語記録部１９を設けている。

【0040】

尚、これらの処理部は、ソフトウェアとハードウェア資源とが協働することにより実現される。具体的には、ＣＰＵ９０ａ（図８参照）が、単語抽出部１２、クラスタリング部１４、重なり度数算出部１７、重なり度数比較部１８、特異単語記録部１９を実現するプログラムを例えば磁気ディスク装置９０ｇ（図８参照）からメインメモリ９０ｃ（図８参照）に読み込んで実行することにより、これらの処理部は実現される。また、文書集合記憶部１１、単語リスト記憶部１３、第１確率記憶部１５、第２確率記憶部１６は、例えば磁気ディスク装置９０ｇ（図８参照）により実現される。

【0041】

次に、本実施の形態における文書解析装置１０の動作について説明する。

【0042】

まず、文書解析装置１０は、解析対象文書の全体に対してＬＤＡによるクラスタリングを行うことにより、確率ｐ（Ｃ；Ｄ）及び確率ｐ（Ｗ；Ｃ）を得る。

【0043】

図２は、このときの文書解析装置１０の動作例を示したフローチャートである。

【0044】

図示するように、文書解析装置１０では、まず、単語抽出部１２が、文書集合記憶部１１に記憶された文書集合から１つの文書を取り出す（ステップ１０１）。

【0045】

次に、単語抽出部１２は、その取り出した文書から１つの単語を抽出する（ステップ１０２）。そして、その抽出した単語が除外すべき単語であるかどうかを判定する（ステップ１０３）。この判定の１つの例としては、事前に文書集合における各単語の出現頻度を求めておき、出現頻度が閾値より高いかどうか、又は、出現頻度が閾値より低いかどうかを判定するというものがある。これは、上述した第１のフィルタリング処理に相当する。また、この判定の別の例としては、単語が予め定めた条件（例えば品詞に関する条件）を満たすかどうかを判定するというものがある。これは、上述した第４のフィルタリング処理に相当する。

【0046】

その結果、その抽出した単語が除外すべき単語であると判定されれば、ステップ１０２に戻る。

【0047】

一方、その抽出した単語が除外すべき単語でないと判定されれば、単語抽出部１２は、単語リスト記憶部１３に記憶された単語リストにその単語及びその単語の出現頻度を含める（ステップ１０４）。但し、単語リスト記憶部１３に記憶された単語リストに既にその単語が含まれている場合は、単語リストに含まれたその単語の出現頻度に１を加算することにより出現頻度を更新する。

【0048】

その後、単語抽出部１２は、全ての単語を抽出したかどうかを判定する（ステップ１０５）。全ての単語を抽出していないと判定すれば、ステップ１０２に戻り、全ての単語を抽出したと判定すれば、ステップ１０６へ進む。

【0049】

そして、単語抽出部１２は、全ての文書の処理を終了したかどうかを判定する（ステップ１０６）。全ての文書の処理を終了していないと判定すれば、ステップ１０１に戻り、全ての文書の処理を終了したと判定すれば、ステップ１０７へ進む。

【0050】

次いで、クラスタリング部１４は、単語リスト記憶部１３に記憶された単語リストに含まれる各文書と各文書から抽出された単語との対応を用いて、ＬＤＡによるクラスタリングを行う（ステップ１０７）。そして、このクラスタリングによって得られた確率ｐ（Ｃ；Ｄ）及び確率ｐ（Ｗ；Ｃ）を、それぞれ、第１確率記憶部１５及び第２確率記憶部１６に記憶する（ステップ１０８）。但し、確率ｐ（Ｗ；Ｃ）が全てのクラスタにおいて閾値より低い場合に、これを記憶しないようにしてもよい。これは、上述した第２のフィルタリング処理に相当する。また、確率ｐ（Ｗ；Ｃ）が複数のクラスタにおいて閾値より高い場合に、これを記憶しないようにしてもよい。これは、上述した第３のフィルタリング処理に相当する。

【0051】

このようにして確率ｐ（Ｃ；Ｄ）及び確率ｐ（Ｗ；Ｃ）が記憶されると、文書解析装置１０は、ある文書でその文書における特異単語が使われていることを検出する。

【0052】

図３は、このときの文書解析装置１０の動作例を示したフローチャートである。

【0053】

図示するように、文書解析装置１０では、まず、重なり度数算出部１７が、単語リスト記憶部１３に記憶された単語リストに含まれる１つの文書を取り出す（ステップ１５１）。尚、ここで取り出した文書を文書Ｄとする。

【0054】

次に、重なり度数算出部１７は、単語リスト記憶部１３に記憶された単語リストにおいて文書Ｄに対応付けられた１つの単語に着目する（ステップ１５２）。尚、ここで着目した単語を単語Ｗとする。そして、文書Ｄが各クラスタに属する確率ｐ（Ｃ；Ｄ）を第１確率記憶部１５から読み出すと共に、単語Ｗが各クラスタに出現する確率ｐ（Ｗ；Ｃ）を第２確率記憶部１６から読み出し、式「Ａ＝Σｐ（Ｃ；Ｄ）ｐ（Ｗ；Ｃ）（Σは全てのＣに対する総和を示す）」により、重なり度数Ａを算出する（ステップ１５３）。

【0055】

すると、重なり度数比較部１８が、ステップ１５３で算出された重なり度数Ａが予め定めた閾値Ｔよりも小さいかどうかを判定する（ステップ１５４）。

【0056】

その結果、重なり度数Ａが閾値Ｔよりも小さくないと判定されれば、単語Ｗは文書Ｄの特異単語ではないので、重なり度数比較部１８は、その旨の情報を重なり度数算出部１７に返し、次の単語についてステップ１５２以降の処理が行われる。

【0057】

一方、重なり度数Ａが閾値Ｔよりも小さいと判定されれば、単語Ｗは文書Ｄの特異単語であるので、重なり度数比較部１８は、その旨の情報を特異単語記録部１９に伝え、特異単語記録部１９が、単語Ｗを文書Ｄの特異単語として記録する（ステップ１５５）。

【0058】

その後、単語Ｗが文書Ｄの特異単語として記録された旨の情報は特異単語記録部１９から重なり度数算出部１７へと伝えられ、重なり度数算出部１７は、全ての単語に着目したかどうかを判定する（ステップ１５６）。全ての単語に着目していないと判定すれば、ステップ１５２に戻り、全ての単語に着目したと判定すれば、ステップ１５７へ進む。

【0059】

そして、重なり度数算出部１７は、全ての文書の処理を終了したかどうかを判定する（ステップ１５７）。全ての文書の処理を終了していないと判定すれば、ステップ１５１に戻り、全ての文書の処理を終了したと判定すれば、処理を終了する。

【0060】

以下、具体例を用いて、本実施の形態における文書解析装置１０の動作について説明する。尚、この説明で単語及びクラスタの例として用いる「ＩＢＭ」は、ＩＢＭ社の登録商標である。

【0061】

図４は、文書集合記憶部１１に記憶された文書集合に含まれる解析対象文書の一例を示したものである。

【0062】

図では、解析対象文書として、文書ＩＤが「Ｄｏｃ１」、「Ｄｏｃ２」、「Ｄｏｃ３」、「Ｄｏｃ４」、「Ｄｏｃ５」の５つの文書を示している。尚、以下では、文書ＩＤが「Ｄｏｃ１」、「Ｄｏｃ２」、「Ｄｏｃ３」、「Ｄｏｃ４」、「Ｄｏｃ５」の文書を、それぞれ、文書Ｄｏｃ１、文書Ｄｏｃ２、文書Ｄｏｃ３、文書Ｄｏｃ４、文書Ｄｏｃ５と表記する。また、文書Ｄｏｃ１、文書Ｄｏｃ２、文書Ｄｏｃ３、文書Ｄｏｃ４、文書Ｄｏｃ５として実際に想定される文書は、それぞれ、複数の文からなる文書であるが、ここでは説明を簡略化するために、文書Ｄｏｃ１、文書Ｄｏｃ２、文書Ｄｏｃ３、文書Ｄｏｃ４、文書Ｄｏｃ５として、それぞれ、１つの文からなる文書を示している。

【0063】

図５は、図４に示した解析対象文書について図２のステップ１０１〜１０６の処理を実行した結果、単語リスト記憶部１３に記憶される単語リストの一例を示した図である。

【0064】

ここでは、各文書から単語として名詞を抽出し、各文書の文書ＩＤと抽出した単語とを対応付けて単語リストとしている。例えば、文書Ｄｏｃ１からは、単語「ＩＢＭ」、単語「大型」、単語「サーバ」、単語「発表」を抽出し、文書ＩＤ「Ｄｏｃ１」とこれらを対応付けている。また、文書Ｄｏｃ２からは、単語「ＩＢＭ」、単語「リサーチ」、単語「研究」、単語「成果」、単語「次世代」、単語「半導体」、単語「技術」、単語「公開」を抽出し、文書ＩＤ「Ｄｏｃ２」とこれらを対応付けている。

【0065】

図６は、図５に示した単語リストについて図２のステップ１０７の処理を実行した結果、ステップ１０８で第１確率記憶部１５に記憶される確率ｐ（Ｃ；Ｄ）の一例を示したものである。

【0066】

ここでは、クラスタとして、「ＩＢＭ」、「農業」という２つのクラスタを想定している。即ち、文書Ｄｏｃ１、文書Ｄｏｃ２、文書Ｄｏｃ３、文書Ｄｏｃ４、文書Ｄｏｃ５の何れかを文書Ｄとし、クラスタ「ＩＢＭ」、クラスタ「農業」の何れかをクラスタＣとした場合に文書ＤがクラスタＣに属する確率ｐ（Ｃ；Ｄ）を示している。

【0067】

例えば、文書Ｄｏｃ１、文書Ｄｏｃ２及び文書Ｄｏｃ３は、ＩＢＭを主題とする文書である可能性が極めて高いと判断されたため、これらの文書を文書Ｄとし、クラスタ「ＩＢＭ」をクラスタＣとした場合の確率ｐ(Ｃ；Ｄ)は「１．０」となっているが、文書Ｄｏｃ４及び文書Ｄｏｃ５は、ＩＢＭを主題とする文書である可能性はそれよりも低いと判断されたため、これらの文書を文書Ｄとし、クラスタ「ＩＢＭ」をクラスタＣとした場合の確率ｐ（Ｃ；Ｄ）は、それぞれ、「０．７」、「０．９」となっている。

【0068】

また、文書Ｄｏｃ１、文書Ｄｏｃ２及び文書Ｄｏｃ３は、農業を主題とする文書である可能性が極めて低いと判断されたため、これらの文書を文書Ｄとし、クラスタ「農業」をクラスタＣとした場合の確率ｐ(Ｃ；Ｄ)は「０．０」となっているが、文書Ｄｏｃ４及び文書Ｄｏｃ５は、農業を主題とする文書である可能性はそれよりも高いと判断されたため、これらの文書を文書Ｄとし、クラスタ「農業」をクラスタＣとした場合の確率ｐ（Ｃ；Ｄ）は、それぞれ、「０．３」、「０．１」となっている。

【0069】

図７は、図５に示した単語リストについて図２のステップ１０７の処理を実行した結果、ステップ１０８で第２確率記憶部１６に記憶される確率ｐ（Ｗ；Ｃ）の一例を示したものである。

【0070】

ここでも、クラスタとして、「ＩＢＭ」、「農業」という２つのクラスタを想定している。即ち、図５に示した単語リストに含まれる単語の何れかを単語Ｗとし、クラスタ「ＩＢＭ」、クラスタ「農業」の何れかをクラスタＣとした場合に単語ＷがクラスタＣに出現する確率ｐ（Ｗ；Ｃ）を示している。但し、図には、単語リストに含まれる単語のうち、以降の説明で必要な単語のみを示し、それ以外の単語は省略している。

【0071】

例えば、単語「ＩＢＭ」、単語「サーバ」、単語「半導体」、単語「データベース」、単語「ＩＴ」は、ＩＢＭに関連する単語である可能性が極めて高いと判断されたため、これらの単語を単語Ｗとし、クラスタ「ＩＢＭ」をクラスタＣとした場合の確率ｐ(Ｗ；Ｃ)は「１．０」となっているが、単語「決算」は、ＩＢＭに関連する単語である可能性はそれよりも低いと判断されたため、単語「決算」を単語Ｗとし、クラスタ「ＩＢＭ」をクラスタＣとした場合の確率ｐ(Ｗ；Ｃ)は「０．８」となっている。一方、単語「農業」は、ＩＢＭに関連する単語である可能性が極めて低いと判断されたため、単語「農業」を単語Ｗとし、クラスタ「ＩＢＭ」をクラスタＣとした場合の確率ｐ(Ｗ；Ｃ)は「０．０」となっている。

【0072】

また、単語「農業」は、農業に関連する単語である可能性が極めて高いと判断されたため、単語「農業」を単語Ｗとし、クラスタ「農業」をクラスタＣとした場合の確率ｐ(Ｗ；Ｃ)は「１．０」となっているが、単語「決算」は、農業に関連する単語である可能性はそれよりも低いと判断されたため、単語「決算」を単語Ｗとし、クラスタ「農業」をクラスタＣとした場合の確率ｐ(Ｗ；Ｃ)は「０．２」となっている。一方、単語「ＩＢＭ」、単語「サーバ」、単語「半導体」、単語「データベース」、単語「ＩＴ」は、農業に関連する単語である可能性が極めて低いと判断されたため、これらの単語を単語Ｗとし、クラスタ「農業」をクラスタＣとした場合の確率ｐ(Ｗ；Ｃ)は「０．０」となっている。

【0073】

その後、図３のステップ１５１〜１５３の処理が実行されることにより、重なり度数Ａが算出される。

【0074】

まず、文書Ｄｏｃ１を文書Ｄとし、単語「ＩＢＭ」、単語「サーバ」の何れかを単語Ｗとした場合を考える。この場合、クラスタ「ＩＢＭ」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）は何れも「１．０」となり、クラスタ「農業」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）は何れも「０．０」となり、重なり度数Ａは「１．０（＝１．０×１．０＋０．０×０．０）」となる。

【0075】

また、文書Ｄｏｃ２を文書Ｄとし、単語「ＩＢＭ」、単語「半導体」の何れかを単語Ｗとした場合を考える。この場合、クラスタ「ＩＢＭ」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）は何れも「１．０」となり、クラスタ「農業」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）は何れも「０．０」となり、重なり度数Ａは「１．０（＝１．０×１．０＋０．０×０．０）」となる。

【0076】

更に、文書Ｄｏｃ３を文書Ｄとし、単語「ＩＢＭ」、単語「データベース」の何れかを単語Ｗとした場合を考える。この場合、クラスタ「ＩＢＭ」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）は何れも「１．０」となり、クラスタ「農業」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）は何れも「０．０」となり、重なり度数Ａは「１．０（＝１．０×１．０＋０．０×０．０）」となる。

【0077】

次に、文書Ｄｏｃ４を文書Ｄとし、単語「ＩＢＭ」を単語Ｗとした場合を考える。この場合、クラスタ「ＩＢＭ」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．７」、「１．０」となり、クラスタ「農業」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．３」、「０．０」となり、重なり度数Ａは「０．７（＝０．７×１．０＋０．３×０．０）」となる。

【0078】

一方、文書Ｄｏｃ４を文書Ｄとし、単語「農業」を単語Ｗとした場合を考える。この場合、クラスタ「ＩＢＭ」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．７」、「０．０」となり、クラスタ「農業」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．３」、「１．０」となり、重なり度数Ａは「０．３（＝０．７×０．０＋０．３×１．０）」となる。

【0079】

次いで、文書Ｄｏｃ５を文書Ｄとし、単語「ＩＢＭ」を単語Ｗとした場合を考える。この場合、クラスタ「ＩＢＭ」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．９」、「１．０」となり、クラスタ「農業」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．１」、「０．０」となり、重なり度数Ａは「０．９（＝０．９×１．０＋０．１×０．０）」となる。

【0080】

また、文書Ｄｏｃ５を文書Ｄとし、単語「決算」を単語Ｗとした場合を考える。この場合、クラスタ「ＩＢＭ」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．９」、「０．８」となり、クラスタ「農業」に対して、確率ｐ（Ｃ；Ｄ）、確率ｐ（Ｗ；Ｃ）はそれぞれ「０．１」、「０．２」となり、重なり度数Ａは「０．７４（＝０．９×０．８＋０．１×０．２）」となる。

【0081】

このようにして重なり度数Ａが算出されると、図３のステップ１５４〜１５５が実行されることにより、特異単語が記録される。

【0082】

上記の例において、閾値Ｔが「０．４」であるとする。この場合、文書Ｄｏｃ４を文書Ｄとし、単語「農業」を単語Ｗとした場合のみ、重なり度数Ａが閾値Ｔよりも小さくなるので、単語「農業」が文書Ｄｏｃ４の特異単語として記録されることになる。

【0083】

以上述べたように、本実施の形態では、解析対象文書の全体に対してＬＤＡによるクラスタリングを行うことにより、文書ＤがクラスタＣに属する確率ｐ（Ｃ；Ｄ）と、単語ＷがクラスタＣに出現する確率ｐ（Ｗ；Ｃ）とを取得し、これらの確率に基づいて、文書Ｄに含まれる概念と単語Ｗの概念との重なり具合を示す重なり度数Ａを算出し、この重なり度数Ａが閾値Ｔより小さい場合に、単語Ｗを文書Ｄの特異単語として記録するようにした。これにより、文書Ｄでその文書における特異な単語Ｗが使われていることを見つけ出すことができるようになった。

【0084】

尚、本実施の形態では、解析対象文書の全体に対してクラスタリングを行うことにより確率ｐ（Ｃ；Ｄ）及び確率ｐ（Ｗ；Ｃ）を取得するようにしたが、これには限らない。即ち、クラスタリングを行うことなく、別の方法により、確率ｐ（Ｃ；Ｄ）及び確率ｐ（Ｗ；Ｃ）に相当する情報を取得するようにしてもよい。

【0085】

最後に、本実施の形態を適用するのに好適なコンピュータのハードウェア構成について説明する。

【0086】

図８は、このようなコンピュータのハードウェア構成例を示した図である。図示するように、コンピュータは、演算手段であるＣＰＵ（Central Processing Unit）９０ａと、Ｍ／Ｂ（マザーボード）チップセット９０ｂを介してＣＰＵ９０ａに接続されたメインメモリ９０ｃと、同じくＭ／Ｂチップセット９０ｂを介してＣＰＵ９０ａに接続された表示機構９０ｄとを備える。また、Ｍ／Ｂチップセット９０ｂには、ブリッジ回路９０ｅを介して、ネットワークインターフェイス９０ｆと、磁気ディスク装置（ＨＤＤ）９０ｇと、音声機構９０ｈと、キーボード／マウス９０ｉと、フレキシブルディスクドライブ９０ｊとが接続されている。

【0087】

尚、図８において、各構成要素は、バスを介して接続される。例えば、ＣＰＵ９０ａとＭ／Ｂチップセット９０ｂの間や、Ｍ／Ｂチップセット９０ｂとメインメモリ９０ｃの間は、ＣＰＵバスを介して接続される。また、Ｍ／Ｂチップセット９０ｂと表示機構９０ｄとの間は、ＡＧＰ（Accelerated Graphics Port）を介して接続されてもよいが、表示機構９０ｄがＰＣＩ Ｅｘｐｒｅｓｓ対応のビデオカードを含む場合、Ｍ／Ｂチップセット９０ｂとこのビデオカードの間は、ＰＣＩ Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バスを介して接続される。また、ブリッジ回路９０ｅと接続する場合、ネットワークインターフェイス９０ｆについては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓを用いることができる。また、磁気ディスク装置９０ｇについては、例えば、シリアルＡＴＡ（AT Attachment）、パラレル転送のＡＴＡ、ＰＣＩ（Peripheral Components Interconnect）を用いることができる。更に、キーボード／マウス９０ｉ、及び、フレキシブルディスクドライブ９０ｊについては、ＵＳＢ（Universal Serial Bus）を用いることができる。

【0088】

即ち、本発明は、全てハードウェアで実現してもよいし、全てソフトウェアで実現してもよい。また、ハードウェア及びソフトウェアの両方により実現することも可能である。また、本発明は、コンピュータ、データ処理システム、コンピュータプログラムとして実現することができる。このコンピュータプログラムは、コンピュータにより読取り可能な媒体に記憶され、提供され得る。ここで、媒体としては、電子的、磁気的、光学的、電磁的、赤外線又は半導体システム（装置又は機器）、或いは、伝搬媒体が考えられる。また、コンピュータにより読取り可能な媒体としては、半導体、ソリッドステート記憶装置、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスク、及び光ディスクが例示される。現時点における光ディスクの例には、コンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、コンパクトディスク−リード／ライト（ＣＤ−Ｒ／Ｗ）及びＤＶＤが含まれる。

【0089】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態には限定されない。本発明の精神及び範囲から逸脱することなく様々に変更したり代替態様を採用したりすることが可能なことは、当業者に明らかである。

【符号の説明】

【0090】

１０…文書解析装置、１１…文書集合記憶部、１２…単語抽出部、１３…単語リスト記憶部、１４…クラスタリング部、１５…第１確率記憶部、１６…第２確率記憶部、１７…重なり度数算出部、１８…重なり度数比較部、１９…特異単語記録部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】