特許 6695835 機械学習を利用したＦＡＱ登録支援方法、及びコンピュータシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6695835

(24)【登録日】2020年4月24日

(45)【発行日】2020年5月20日

(54)【発明の名称】機械学習を利用したＦＡＱ登録支援方法、及びコンピュータシステム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20200511BHJP

   G06F 16/338 20190101ALI20200511BHJP

   G06F 16/35 20190101ALI20200511BHJP

【ＦＩ】

   G06F16/90 100

   G06F16/338

   G06F16/35

【請求項の数】6

【全頁数】16

(21)【出願番号】特願2017-158073(P2017-158073)

(22)【出願日】2017年8月18日

(65)【公開番号】特開2019-36210(P2019-36210A)

(43)【公開日】2019年3月7日

【審査請求日】2017年8月18日

【前置審査】

(73)【特許権者】

【識別番号】397077955

【氏名又は名称】株式会社三井住友銀行

(73)【特許権者】

【識別番号】517291025

【氏名又は名称】日本マイクロソフト株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】船山 明信

(72)【発明者】

【氏名】長本 大典

【審査官】 甲斐 哲雄

(56)【参考文献】

【文献】 特開２００６−１１９９９１（ＪＰ，Ａ）

【文献】 特開２００２−２３００１２（ＪＰ，Ａ）

【文献】 特開２００８−１２３１１１（ＪＰ，Ａ）

【文献】 特開２００３−０３０２２４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０３５８９２８（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１３／００２４４５７（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／００−１６／９５８

(57)【特許請求の範囲】

【請求項1】

ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムで実行される方法であって、
前記コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、
前記方法は、前記文書データから前記ストレージへの登録候補データを抽出するステップと、
第１の機械学習によるクラスタリングに基づいて前記登録候補データをグループに分類して、前記クラスタリングによる重み付けの値を算出するステップと、
第２の機械学習によるテキスト分類器に基づいて前記登録候補データを前記登録データのいずれかに分類して、前記登録データへの分類結果のスコア値を算出するステップと、
前記クラスタリングによる重み付けの値および前記登録データへの分類結果のスコア値を表示するステップと
を含む、方法。

【請求項2】

前記クラスタリングによる重み付けの値および前記登録データへの分類結果のスコア値を表示する前記ステップは、前記登録データから自動的に生成されたテストデータの前記登録データへの分類結果のスコア値が、前記登録データに類似することを示す一定以上の値になるか否かを判定することにより、前記テストデータの精度を検証することを更に含むことを特徴とする請求項１に記載の方法。

【請求項3】

前記文書データは、マニュアルデータと、照会履歴データと、ＦＡＱとを含むことを特徴とする請求項１に記載の方法。

【請求項4】

ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムであって、
前記コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、
前記文書データから前記ストレージへの登録候補データを抽出し、
第１の機械学習によるクラスタリングに基づいて前記登録候補データをグループに分類して、前記クラスタリングによる重み付けの値を算出し、
第２の機械学習によるテキスト分類器に基づいて前記登録候補データを前記登録データのいずれかに分類して、前記登録データへの分類結果のスコア値を算出し、
前記クラスタリングによる重み付けの値および前記登録データへの分類結果のスコア値を表示するように構成されたプロセッサ
を備えたコンピュータシステム。

【請求項5】

前記プロセッサが、前記登録データから自動的に生成されたテストデータの前記登録データへの分類結果のスコア値が、前記登録データに類似することを示す一定以上の値になるか否かを判定することにより、前記テストデータの精度を検証することを更に備えることを特徴とする請求項４に記載のコンピュータシステム。

【請求項6】

前記文書データは、マニュアルデータと、照会履歴データと、ＦＡＱとを含むことを特徴とする請求項４に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習を利用したＦＡＱ（ｆｒｅｑｕｅｎｔｌｙ ａｓｋｅｄ ｑｕｅｓｔｉｏｎｓ）の新たな登録の可否を支援するＦＡＱ登録支援方法、ＦＡＱからの自動学習方法、及びコンピュータシステムに関する。

【背景技術】

【0002】

チャットボットとは、メッセンジャーやチャットを元にしたインタフェースを活用して、人間との対話をシミュレーションする目的で設計されたコンピュータプログラムである。近年はチャットボットを導入する企業が増加し、顧客からの問い合わせに対する自動回答などに用いられている。チャットボットによる自動回答は、顧客からの問い合わせ内容と登録されているＦＡＱを比較し、問合せ内容に近いＦＡＱを自動で判定してＦＡＱを元に回答を生成するなどの方法で実現される。

【0003】

ここで以下の特許文献１においては、デジタルストーリーを提供するサービスにおいてチャットボットを用いてユーザへの質問を生成するシステムが開示されている。このユーザへの質問内容は、ユーザが選択したデジタルストーリーの内容が反映されている。

【0004】

また以下の特許文献２においては、顧客からの問い合わせ内容及びオペレータの回答（対応）内容に基づいてＦＡＱを生成するためのＦＡＱ作成支援システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１０−７９５７４号公報

【特許文献2】特開２０１３−５０８９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし特許文献１に記載のシステムでは、デジタルストーリーの原文やユーザからの質問の語尾などに着目した所定のルールに基づいて、チャットボット上でユーザへの質問や相槌を生成しているにすぎない。したがって、同じ１つの原文に対してチャットボット上での質問項目や相槌などの内容や数は一定であり変化が生じないと考えられる。

【0007】

また特許文献２に記載のＦＡＱ支援システムでは、数多い問合せ内容及び回答内容から構文解析に基づいて各代表文を抽出することによりＦＡＱを作成している。しかし、新しいＦＡＱを自動作成して既存のＦＡＱに追加すべきかを判定する手段は開示されていない。

【0008】

本発明は上記実情に鑑みて提案されたもので、ユーザからの質問項目が増加することが予期されるＦＡＱなどにおいて、新たなＦＡＱを既存のＦＡＱに追加すべきかを自動的に判定することのできる方法、及びコンピュータシステムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本願の一実施形態に係る方法は、ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムで実行される方法であって、コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、方法は、文書データからストレージへの登録候補データを抽出するステップと、登録候補データを、登録データのいずれかに分類及びスコアリングを行うステップと、スコアリングの結果を表示するステップとを含むことを特徴とする。

【0010】

本願の一実施形態に係るコンピュータシステムは、ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムであって、コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、文書データからストレージへの登録候補データを抽出し、登録候補データを、登録データのいずれかに分類及びスコアリングを行い、スコアリングの結果を表示するように構成されたプロセッサを備えたことを特徴とする。

【発明の効果】

【0011】

本発明によれば、質問項目が追加されることが予期されるＦＡＱなどにおいて、新しいＦＡＱを既存のＦＡＱに追加するか否かを判定するための支援を自動的に行うことができる。したがって、本発明ではユーザからの問い合わせの件数が多い場合などにおいてＦＡＱを新たに追加するかを判断するためにデータを１件ずつ確認する煩雑さを省くことができ、効率的である。さらに、本発明ではユーザからの問い合わせの見落としなどを防ぎ、追加すべきＦＡＱを正確に抽出することができる。また、ＦＡＱの正答率の改善を利用開始前から図ることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係るコンピュータシステム１０の構成図である。

【図2】本発明の一実施形態に係るコンピュータシステム１０の構成を示すブロック図である。

【図3】新ＦＡＱデータベース１９を使用してＦＡＱを自動作成することに本発明の一実施形態に係るコンピュータシステム１０を用いた場合における、制御部の取得部１３を説明するためのフローチャートである。

【図4】新ＦＡＱデータベース１９を使用してＦＡＱを自動作成することに本発明の一実施形態に係るコンピュータシステム１０を用いた場合における、制御部のスコアリング部１４を説明するためのフローチャートである。

【図5】新ＦＡＱデータベース１９を使用してＦＡＱを自動作成することに本発明の一実施形態に係るコンピュータシステム１０を用いた場合における、制御部の表示検証部１５を説明するためのフローチャートである。

【図6】本発明の一実施形態に係る新ＦＡＱデータベース１９の一例を示す図である。

【図7】本発明の一実施形態に係る既存ＦＡＱデータベース１９の一例を示す図である。

【図8】本発明の一実施形態に係る重み付けファイルの一例を示す図である。

【図9】本発明の一実施形態に係る結果一覧ファイルの一例を示す図である。

【図10】マニュアルデータからＦＡＱを自動作成することに本発明の一実施形態に係るコンピュータシステム１０を用いた場合における、制御部の取得部１３を説明するためのフローチャートである。

【図11】マニュアルデータからＦＡＱを自動作成することに本発明の実施形態に係るコンピュータシステム１０を用いた場合における、制御部のスコアリング部１４を説明するためのフローチャートである。

【図12】本発明の一実施形態に係る重要文ファイルの一例を示す図である。

【図13】マニュアルデータからＦＡＱを自動作成する場合における結果一覧ファイルの一例を示す図である。

【図14】本発明の一実施形態に係る辞書データの一例を示す図である。

【図15】本発明の一実施形態に係るコンピュータシステム１０のシステム構成を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明に係る実施形態を図面とともに説明する。

【0014】

まず、図１を参照して、本願の一実施形態におけるコンピュータシステム１０について説明する。通常、ヘルプデスクでは、ユーザによる問い合わせに対してオペレータが回答を行っている。本願の一実施形態におけるコンピュータシステム１０は、オペレータの代わりにチャットボットを用いてユーザに自動回答を行うことができる環境で使用される。したがって、本願の一実施形態におけるコンピュータシステム１０は例として、ヘルプデスクを有する金融機関などサービス事業者や各種メーカーなど、あらゆる企業に設置されている。ここで本願の一実施形態におけるコンピュータシステム１０は単独で実装されてもよいし、従来から存在するシステムにおけるサーバもしくはホストコンピュータに実装されてもよい。

【0015】

本願の一実施形態におけるコンピュータシステム１０は、ネットワーク３０を介して端末２０ａ〜２０ｃに接続される。ネットワーク３０は、インターネットであっても、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（ＷｉｄｅＡｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。

【0016】

なお、以下において各端末２０ａ〜２０ｃを特に区別して記載する必要がない場合には、端末２０と記載する。また、図１において、説明を簡単にするために端末２０を３台だけ示しているが、これ以上存在しても良いことは言うまでもない。

【0017】

ここで端末２０は、例えば企業で働く者、すなわち社員といったユーザが通常業務のために用いる端末を表す。ほかに、端末２０は、例えば操作方法を確認したい一般消費者といったユーザが問い合わせのために用いる端末を表す。この端末２０は、チャットボットを使用できる環境にあることを要する。

【0018】

端末２０は、キーボードやタッチパネルなどのヒューマンインターフェースを持つものである。具体的には、デスクトップ型のパーソナル・コンピュータやノート型のパーソナル・コンピュータ、スマートフォン、タブレット型のようなモバイル型の情報処理端末などがあげられる。

【0019】

次に図２を用いて、本願の一実施形態におけるコンピュータシステム１０の構成について説明する。ここでは図３乃至図１４の図面を参照して説明する。図２に示すように、コンピュータシステム１０は、送受信部１１と、制御部１２と、記憶部１６とを備えており、記憶部１６は、文書データベース１７、除外単語データベース１８、新ＦＡＱデータベース１９、既存ＦＡＱデータベース２１及び特定データベース２２を備えている。

【0020】

まず、コンピュータシステム１０の記憶部１６について説明する。

【0021】

コンピュータシステム１０の記憶部１６は、端末２０から送信された情報や各種データを記憶する機能を有する。記憶部１６は、例えば、ハードディスクドライブ、ＳＳＤ、フラッシュメモリなど各種の記憶媒体により実現される。

【0022】

次に記憶部１６に格納されている文書データベース１７、除外単語データベース１８、新ＦＡＱデータベース１９、既存ＦＡＱデータベース２１及び特定データベース２２について説明する。

【0023】

文書データベース１７は、マニュアルなどからＦＡＱを自動作成する場合に用いられ、当該マニュアルなどからなる文書データを格納している。マニュアルの具体例としては、例えば「Ｅｘｃｅｌでの関数の使用法」などが挙げられる。

【0024】

除外単語データベース１８は、後述するクラスタリングに用いない単語を格納している。格納されている単語の具体例は、「こんにちは」などの挨拶文、「は」、「に」、「です」などの助詞や助動詞である。

【0025】

新ＦＡＱデータベース１９は、例えばヘルプデスクのオペレーターにユーザから新たに寄せられた質問とその回答から成る新たな照会履歴に基づいて作成されている。図６に示すように、新たな照会履歴データからなる登録候補データが新ＦＡＱデータベース１９に格納されている。登録候補データの中から後述する既存ＦＡＱデータベース２１に登録されるＦＡＱが選択される。新ＦＡＱデータベース１９には、寄せられた質問が全て格納されている。したがって、「Ｅｘｃｅｌで作成済グラフの種類を変更するには」および「Ｅｘｃｅｌで作成済グラフの種類を変更したい」といった類似した質問が複数件存在する場合がある。

【0026】

既存ＦＡＱデータベース２１には、図７に示すように、既存の照会履歴からなる登録データが格納されている。この既存の照会履歴は、ユーザからの過去の質問とその回答とから成る。ただし、既存ＦＡＱデータベース２１は、新ＦＡＱデータベース１９と異なり、類似した質問が複数ある場合、類似する質問群の中からの「代表的な質問」1件のみを格納する。そのため、既存ＦＡＱデータベース２１に格納される質問は互いに類似していない。

【0027】

特定データベース２２は、ドキュメントからＦＡＱを自動作成する場合に、ＦＡＱを作成する手がかりとなるとされる「は以下手順です」、「の場合はこうしてください」などの文字列が格納されている。当該文字列がドキュメントの文章中に存在した場合はその文章が抽出され、登録候補データとなる。

【0028】

ここで、コンピュータシステム１０の制御部１２の詳細な構成について説明する。

【0029】

制御部１２は、取得部１３と、スコアリング部１４と、表示検証部１５とから構成される。

【0030】

次に制御部１２を構成する各部１３乃至１５の処理について説明する。なお、制御部１２を構成する各部１３乃至１５の処理は全てプロセッサにより実施される。

【0031】

まず、本発明の実施形態に関わるコンピュータシステム１０を、新ＦＡＱデータベース１９を使用してＦＡＱを自動作成することに用いた場合を前提として説明する。

【0032】

図３は制御部１２の取得部１３の処理を記載したものであり、ここでは図６を参照しながら以下に説明する。

【0033】

まず、取得部１３が新ＦＡＱデータベース１９に格納されている登録候補データを読み込む（ステップＳ１０１）。さらに、除外単語データベース１８に格納されている除外単語を参照することにより、取得部１３は以下で述べるクラスタリングに必要な単語のみを抽出する。

【0034】

例えば、図６の新ＦＡＱデータベース１９の登録候補データにおいて、「Ｅｘｃｅｌで作成済グラフの種類を変更するには」という「質問」項目では、除外単語データベース１８に含まれている単語が「質問」項目から除去される。そして、「Ｅｘｃｅｌ」、「作成済」、「グラフ」、「種類」、「変更」といった単語が質問文から抽出される。

【0035】

取得部１３は、ステップＳ１０１で抽出された単語の類似性などに基づいて「質問」項目のクラスタリングを行い、類似する「質問」ごとにグループ分けをする（ステップＳ１０２）。ここで、クラスタリングの手法は特に限定されない。

【0036】

例えば、図６のＦＡＱデータにおいては「Ｅｘｃｅｌで作成済グラフの種類を変更するには」という質問と「Ｅｘｃｅｌで作成済のグラフの種類を変更したい」という質問は類似であるため、同じグループに属すると取得部１３によって判断される。

【0037】

また、「グループ」とは、例として「Ｅｘｃｅｌでグラフの種類を変更する方法」といった質問の内容を分類するためのカテゴリを表す。さらに、当該２つの質問は取得部１３によって同じグループ番号「１」が付与される。

【0038】

次に取得部１３は、同じグループ番号が付与されたそれぞれの質問において、クラスタリングによる重み付けを行う（ステップＳ１０３）。重み付けがされた各質問項目は図８の「重み付けファイル」としてファイルに出力される。

【0039】

図８に示されるように、重み付けファイルはグループ番号と、重み付けの値と、質問内容によって構成される。ここで、同じグループ番号を付された質問において重み付けの値が１に近くなるほどそのグループへの分類が確からしいものといえる。

【0040】

例えば、図８において、グループ番号１の「Ｅｘｃｅｌで作成済のグラフの種類を変更するには」という質問の重み付けの値が０．９８であり、「Ｅｘｃｅｌで作成済のグラフの種類を変更したい」という質問の重み付けの値は０．５５である。これは、「Ｅｘｃｅｌでグラフの種類を変更する方法」という同じカテゴリに属する質問の中で「Ｅｘｃｅｌで作成済のグラフの種類を変更するには」という質問の方が、グループへの分類が確からしいものといえる。

【0041】

図４は、制御部１２のスコアリング部１４の処理を記載したものである。ここでは、図９を参照しながら以下に説明する。

【0042】

コンピュータシステム１０は、機械学習アルゴリズムにより既存ＦＡＱデータベース２１の登録データに対して学習を行い、ユーザからの質問を既存ＦＡＱデータベース２１の登録データの1つ若しくは複数に分類するためのテキスト分類器を生成する。スコアリング部１４は、当該テキスト分類器を使用し、ユーザからの質問を既存ＦＡＱデータベース２１の登録データの1つに分類し、さらにその分類の確からしさのスコアを出力する（ステップS２０１）。

【0043】

スコアリング部１４は、テキスト分類器により、重み付けファイルの「質問」項目のテキスト分類を行い、併せてその分類のスコアを出力する（ステップS２０２）。ここで当該スコアが高ければ高いほど、重み付けファイルの「質問」項目の内容を、既存ＦＡＱデータベース２１に格納されている登録データの「質問」項目の1つに分類した際の、その確信度が示される。

【0044】

例えば、後述する図９の「結果一覧ファイル」を説明すると、グループ番号１の「Ｅｘｃｅｌで作成済グラフの種類を変更するには」の「質問」を、既存ＦＡＱデータベース２１の登録データで分類した場合、登録データの1つである「Ｅｘｃｅｌでのグラフを作成方法」に分類した場合の確信度が最も高く、その確からしさのスコアが「０．８８」であることが示される。

【0045】

図５は、制御部１２の表示検証部１５の処理を記載したものである。ここでは、図８及び図９を参照しながら以下に説明する。

【0046】

まず、表示検証部１５は、「Ｅｘｃｅｌでのグラフの作成方法」といった登録候補データの質問の内容を分類するための「分類項目」を、図８の重み付けファイルの質問内容からテキスト分類器などを用いて取得する（ステップＳ３０１）。

【0047】

次に表示検証部１５は、図８の重み付けファイルからグループ番号、重み付けの値、「質問」項目、回答を取得する。そして、表示検証部１５は、当該グループ番号、重み付けの値、「質問」項目、回答に加え、ステップＳ２０３で求めた重み付けファイルの「質問」項目の各スコアを「分類結果のスコア」として、さらにステップＳ３０１で取得した各分類項目を、図９の「結果一覧ファイル」のように表示する（ステップＳ３０２）。

【0048】

管理者は「結果一覧ファイル」のグループ番号と同じグループ番号に分類されている質問群、重み付けの値、分類項目、分類結果のスコアから登録候補データの取捨選択を行い、新たなＦＡＱとして登録候補データを追加すべきか否かを判断する。また、登録候補データの登録文言の修正、加筆、カテゴリの検討などを必要に応じて行う。

【0049】

例えば、特定のグループ番号内の質問の一覧を確認し、類似した質問が多数あると判断した場合、よく聞かれる質問、つまりＦＡＱ登録候補として抽出する。この際、重みづけの値を確認し、値が低い質問はクラスタリングの信頼度が低いと判断し、無視するなど作業を効率化できる。

【0050】

また、質問「Ｅｘｃｅｌで作成済グラフの種類を変更するには」のテキスト分類結果に「Excelでのグラフの作成方法」となっており、既に類似の情報が、既存ＦＡＱデータベース２１の登録データに存在すると判断できる。この際、分類結果のスコアの値を確認し、値が低い質問は分類結果の信頼度が低いため、既存ＦＡＱデータベース２１の登録データに存在しない可能性が高いと判断し、優先的に確認するなど作業を効率化できる。

【0051】

管理者は、質問項目に対する取得部１３による「クラスタリング結果」とスコアリング部１４による「分類結果」とから既存ＦＡＱデータベース２１に新たに追加する登録候補データを決定する。例えば、上記の場合では、管理者は、クラスタ番号1の質問の一覧を確認し、を「Ｅｘｃｅｌで作成済グラフの種類を変更するには」とその類似質問が合わせて2件問合せがあったと判断する。複数件の問合せがある一方で、既存ＦＡＱデータベース２１の登録データには既に類似の質問「Ｅｘｃｅｌでのグラフの作成方法」が登録されており、「分類結果のスコア」も高いため新たなＦＡＱに追加しない、などと判断する。なお、新たに追加することが決定された登録候補データはコンピュータシステム１０により、既存ＦＡＱデータベース１９に追加される。また、クラスタリング結果及びテキスト分類結果に基づいて自動で登録候補データを決定することも方法として考えられる。例えば、まずクラスタリング結果の同じクラスタ番号の質問は類似とみなす。同じクラスタ番号の質問の件数を自動で計算し、一定以上の件数のクラスタ番号を自動で抽出、当該クラスタ番号の質問の内、クラスタリングの確信度の高いものを1つ選択する。次に、左記質問の内、テキスト分類結果のスコアが一定以上低いものを登録候補として抽出するなどである。管理者は、自動で抽出されたFAQ登録候補を確認し、追加・修正要否を判断するので効率的である。

【0052】

既存ＦＡＱデータベース２１に新たな登録データが追加された後に、表示検証部１５は質問を既存ＦＡＱデータベース２１の登録データの１つに分類するテキスト分類器の学習を行うことができる。

【0053】

まず、コンピュータシステム１０において、既存ＦＡＱデータベース２１の登録データにより、ユーザからの質問の複数の言い回しに対応可能するための学習データを生成する。

【0054】

例えば、ユーザが「Ｅｘｃｅｌで作成済グラフの種類を変更する方法を知りたい」と考えた場合において、コンピュータシステム１０は、「エクセルで作成済グラフの種類を変更したい」という質問や「Ｅｘｃｅｌで作成済グラフの種類をどうやって変えるの？」といった日本語の様々な表現による質問に表示検証部１５を用いて対応することができる。

【0055】

具体的には、既存ＦＡＱデータベース２１の登録データに「Ｅｘｃｅｌで作成済グラフの種類を変更する方法を知りたい」という質問項目がある場合、ＦＡＱ登録支援システム１０は、図１４の辞書データに基づいて、当該質問の項目のうち「変更する方法を知りたい」という言葉を「変更したい」や「変えたい」という言葉に置き換える。

【0056】

さらに、コンピュータシステム１０は、「Ｅｘｃｅｌで作成済グラフの種類を変更したい」、「Ｅｘｃｅｌで作成済グラフの種類を変えたい」という学習データを生成し、既存ＦＡＱデータベース２１に元からある「Ｅｘｃｅｌで作成済グラフの種類を変更する方法を知りたい」という質問及びその回答と対応付ける。

【0057】

したがって、学習後は、既存ＦＡＱデータベース２１に元からある「Ｅｘｃｅｌで作成済グラフの種類を変更する方法を知りたい」という質問に対してだけでなく、「Ｅｘｃｅｌで作成済グラフの種類を変更したい」という質問や「Ｅｘｃｅｌで作成済グラフの種類を変えたい」というユーザからの質問にも同じ回答を返すことができる。

【0058】

さらに、既存ＦＡＱデータベース２１に新たな登録データが追加された後に、表示検証部１５は以下の処理も行うことができる。

【0059】

コンピュータシステム１０は、既存ＦＡＱデータベース２１の登録データに対して、上記で生成した質問データをランダムに学習データとテストデータに分割する。まず学習データに基づき学習を行い、ユーザが行った質問に対して登録データから回答を導くためテキスト分類器を生成する。この生成されたテキスト分類器に対して、コンピュータシステム１０は、テストデータに対してテキスト分類を行い、想定どおりの回答が返答されるかのテストを実施し、自己評価する。

【0060】

また、上記テストデータは、自動学習に基づいて、登録データから生成することもできる。さらに、テストデータの分類結果のスコアと作成元のＦＡＱとを機械学習アルゴリズムに基づいて比較することによりテストデータの精度の検証及び自己評価を行うこともできる。

【0061】

例えば、上記した既存ＦＡＱデータベース２１の「Ｅｘｃｅｌで作成済グラフの種類を変更する方法を知りたい」という登録データを元に作成された「Ｅｘｃｅｌで作ったグラフの種類を変更する方法を知りたい」という質問データをテストデータとして用いた場合について以下に述べる。なお、この質問データは、自動学習により既存ＦＡＱデータベース２１を用いて作成することもできる。

【0062】

コンピュータシステム１０は、テストデータ「Ｅｘｃｅｌで作ったグラフの種類を変更する方法を知りたい」を実行する。そして、図９及び図１３の「結果一覧ファイル」での「分類結果のスコア」と、テストデータ作成元の登録データの「Ｅｘｃｅｌで作成済グラフの種類を変更する方法を知りたい」という「質問」項目とを機械学習アルゴリズムに基づいて比較する。

【0063】

ここで、当該「Ｅｘｃｅｌで作成済グラフの種類を変更する方法を知りたい」の質問項目は既に既存ＦＡＱデータベース２１に登録されている。したがってコンピュータシステム１０は、同内容のテストデータ「Ｅｘｃｅｌで作ったグラフの種類を変更する方法を知りたい」の「分類結果のスコア」が登録データに類似するものとして一定以上の値になるかを機械学習アルゴリズムに基づいて検証し、検証の精度に基づいて自己評価を行う。

【0064】

本実施形態では、本発明を履歴一覧に基づく新ＦＡＱデータベース１９を使用してＦＡＱを作成することに用いた場合を記載した。一方、本発明を同様の技術により、マニュアルなどの文書データからＦＡＱを作成することに用いることもできる。

【0065】

図１０乃至図１３を参照して、本願の一実施形態に係るコンピュータシステム１０をマニュアルなどの文書データからＦＡＱを自動作成することに用いた場合の処理について記載する。なお、前述の本願の一実施形態に係るコンピュータシステム１０を新ＦＡＱデータベース１９を使用してＦＡＱを自動作成することに用いた場合の処理と重複する処理については、適宜省略または簡略化して記載し、主に相違点を中心に説明する。

【0066】

図１０は、本願の一実施形態に係るコンピュータシステム１０を文書データからＦＡＱを自動作成することに用いた場合における、制御部１２の取得部１３の処理を記載したものである。

【0067】

まず、取得部１３は、文書データベース１７に格納されているマニュアルなどの文書データを読み込む。そして、取得部１３は、特定データベース２２を参照して「の場合はこうしてください」などといった特定文字列を含む文章を既存ＦＡＱデータベース２１への登録候補として文書データから抽出する。（ステップＳ４０１）なお、文書に構造があり、コンピュータシステム１０内でその構造に基づいて既存ＦＡＱデータベース２１への登録候補として抽出が可能な場合は、構造に基づく文章の抽出を行う。また、文書内に出現する単語を基に、当該文書に含まれる文章をスコアリングし、スコアの高い文章を文書データから抽出を行う。

【0068】

例えば、取得部１３は、文書データから「Ｅｘｃｅｌで作成済グラフの種類を変更するには以下を参照してください」といった特定文字列を含む文章を抽出する。例えば、取得部１３は、文章にデータ抽出可能な見出しという構造がある場合、文書データから「Ｅｘｃｅｌでの作成済グラフの種類の変更方法」などの見出し情報を抽出する。例えば、各単語に対して「当該単語の文書内の総出現回数」から「当該単語の文書内の総出現文章数」を割った値を単語スコアとし、各文章のスコアを当該文章に含まれる単語の単語スコアの和としてスコアリングを行い、スコアの高い文章を抽出する。

【0069】

図１１は、本願の一実施形態に係るコンピュータシステム１０を文書データからＦＡＱを自動作成することに用いた場合における、制御部１２のスコアリング部１４の処理を記載したものである。

【0070】

スコアリング部１４は、既存ＦＡＱデータベース２１に基づき各単語のスコアリングを行う（ステップＳ５０１）

【0071】

次にスコアリング部１４は、文章をスコアリングする（ステップＳ５０２）。なお、スコアリングの方法は、ステップＳ２０２で本願の一実施形態に係るコンピュータシステム１０を新ＦＡＱデータベース１９を使用してＦＡＱを自動作成することに用いた場合と同様である。

【0072】

ステップＳ５０４でスコアリングされた文章は、重要文として図１２の「重要文ファイル」に出力される。ここで、重要文ファイルは、「テキスト分類結果」、「分類結果のスコア」、「重要文」、「回答案」から構成される。管理者は、例えば、分類結果と重要文を比較して既存ＦＡＱデータベース２１に登録するかを判断する。

【0073】

図１５は、コンピュータシステム１０のシステム構成を示す。コンピュータシステム１０は、ＣＰＵ４０、ＲＡＭ４１、ＲＯＭ４２、ストレージ４３、接続インターフェース４４およびネットワークインターフェース４５を備える。各コンポーネント４０〜４５は、バス４６を介して相互に通信可能に接続される。

【0074】

ＣＰＵ４０は、デバイスおよび回路のそれぞれを制御し、並びに演算およびデータ処理を行う。ＲＡＭ４１は一時記憶領域であり、ＣＰＵ４０による演算実行時に使用される。ＲＯＭ４２は、種々のプログラムを格納する記憶領域である。ストレージ４３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などにより構成され、様々なデータを格納する。ＣＰＵ４０の制御に基づいて、データがストレージ４３から読み取られ、およびデータがストレージ４３に書き込まれる。

【0075】

接続インターフェース４４は、コンピュータシステム１０に種々のデバイスを接続するためのインターフェースである。例えば、接続インターフェース４４を介して、ディスプレイ、キーボード、マウス、外部記憶装置等がコンピュータシステム１０に接続されることができる。

【0076】

ネットワークインターフェース４５は、通信回線を通じてネットワーク３０に接続される。そして、ネットワークインターフェース４５は、ＣＰＵ４０の制御に基づいてネットワーク３０およびコンピュータシステム１０の間のデータの入出力を制御する。ネットワークインターフェース４５およびネットワーク３０の間の接続は、有線接続および無線接続のいずれであってもよい。

【0077】

なお、本願においては、ネットワークインタフェース４５が送受信部１１に対応し、ＣＰＵ４０が制御部１２に対応する。また、ストレージ４３が記憶部１６に対応する。

【0078】

以上のとおり、本願の一実施形態に係るコンピュータシステム１０が構成されている。次に、コンピュータシステム１０の効果を説明する。

【0079】

本実施形態によれば、スコアリング部１４は、登録データに対して自動的に学習データを生成し、機械学習アルゴリズムに基づいて分類及びスコアリングを行う。したがって、本実施形態によれば、比較的シンプルにＦＡＱの追加の有無を判断するためのスコアリングを行うことができるため、ユーザからの問い合わせデータの件数が多い場合は時間やコストの観点から特に効率的となる。

【0080】

本実施形態によれば、表示検証部１５は、自動学習に基づいて、機械学習アルゴリズムにより登録データから生成されたテストデータの分類結果の値と登録データの内容とを比較することにより、テストデータの精度を検証することを更に含む。したがって、本実施形態によれば、学習データの生成と学習及びテストを自動で実施するため、マンパワーを削減することができ、効率的である。

【0081】

本実施形態によれば、文書データは、マニュアルデータと、照会履歴データとを含む。したがって、本実施形態によれば、マニュアルなどの文書やユーザからの質問及び回答からなる照会履歴の双方に基づいて、ＦＡＱを作成し、新しいＦＡＱを追加するか否かを判定するための支援を行うことができる。

【0082】

以上、本発明に係る実施形態について説明したが、本発明はかかる実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々なる態様で実施し得ることは言うまでもない。例えば、コンピュータシステム１０や制御部１２の各部１３乃至１５の役割は、上述の例に限定されない。また、本願の一実施形態に係るコンピュータシステム１０及び方法は、プログラムとコンピュータ読み取り可能な記憶媒体に適用可能であるのは言うまでもない。

【符号の説明】

【0083】

１０ コンピュータシステム
１１ 送受信部
１２ 制御部
１３ 取得部
１４ スコアリング部
１５ 表示検証部
１６ 記憶部
１７ 文書データベース
１８ 除外単語データベース
１９ 新ＦＡＱデータベース
２０ａ 端末
２０ｂ 端末
２０ｃ 端末
２１ 既存ＦＡＱデータベース
２２ 特定データベース
３０ ネットワーク
４０ ＣＰＵ
４１ ＲＡＭ
４２ ＲＯＭ
４３ ストレージ
４４ 接続インタフェース
４５ ネットワークインタフェース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】