特許 7563832 処理装置、処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】処理装置、処理方法、およびプログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20241001BHJP

   G06F 16/906 20190101ALI20241001BHJP

【ＦＩ】

G06F16/90 100

G06F16/906

【請求項の数】 7

(21)【出願番号】P 2023042958

(22)【出願日】2023-03-17

(65)【公開番号】P2024132249

(43)【公開日】2024-09-30

【審査請求日】2023-03-17

(73)【特許権者】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100181135

【弁理士】

【氏名又は名称】橋本 隆史

(72)【発明者】

【氏名】鈴木 亮

(72)【発明者】

【氏名】戸成 健

(72)【発明者】

【氏名】岡村 拓実

【審査官】三橋 竜太郎

(56)【参考文献】

【文献】特開２０１８－１８５６９０（ＪＰ，Ａ）

【文献】特開２０２１－０１０９６６（ＪＰ，Ａ）

【文献】特開２０１８－２０６３０７（ＪＰ，Ａ）

【文献】中国特許出願公開第１１３２９７３６０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成する第１処理部と、
前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとする第２処理部と、
前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示する第３処理部と、
を備える処理装置。

【請求項2】

前記第２処理部は、
前記第２モデルに基づいて、前記分割したラベルごとの学習データに含まれる質問文と、前記新たな質問文との類似度を算出し、
前記第３処理部は、前記類似度に基づいて、前記推奨される回答文および前記推奨理由を提示する、
請求項１に記載の処理装置。

【請求項3】

前記第２処理部は、
前記分割したラベルごとの学習データに含まれる質問文における単語ごとのベクトルと、前記新たな質問文における単語ごとのベクトルとについて、コサイン類似度またはユークリッドノルムを用いて類似度を算出し、
前記第３処理部は、前記第２処理部が算出した類似度への寄与の度合いの高い順に前記単語を前記推奨理由として提示する、
請求項１に記載の処理装置。

【請求項4】

前記推奨される回答文および前記推奨理由のうち、無用な回答文および推奨理由に関連するデータを前記学習データから削除する第４処理部、
を備える請求項１に記載の処理装置。

【請求項5】

前記推奨される回答文および前記推奨理由のうち、有用な回答文および推奨理由を前記第１モデルおよび前記第２モデルに追加する第５処理部、
を備える請求項１から請求項４の何れか一項に記載の処理装置。

【請求項6】

処理装置が実行する処理方法であって、
質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成することと、
前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとすることと、
前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示することと、
を含む処理方法。

【請求項7】

コンピュータに、
質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成することと、
前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとすることと、
前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示することと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、処理装置、処理方法、およびプログラムに関する。

【背景技術】

【0002】

オンラインショッピングなどの普及により、ユーザがオペレータに対して質問し、オペレータが回答するような機会が増加することが予想される。特許文献１には、関連する技術として、質問に対応する応答を提示する提示装置に関する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－１４３０６６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に記載の装置のように、質問に対応する応答を提示する場合、その提示に応じて回答するオペレータは、推奨される回答文に基づいて回答することになる。しかしながら、オペレータは、その回答文が推奨された理由を知ることなく回答するため、不適切な回答をしている可能性が高くなる。そのため、質問に対応する応答を提示する場合に、オペレータが不適切な回答をする可能性を低減させることのできる技術が求められている。

【0005】

本開示の各態様は、上記の課題を解決することのできる処理装置、処理方法、およびプログラムを提供することを目的の１つとしている。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本開示の一態様によれば、処理装置は、質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成する第１処理部と、前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとする第２処理部と、前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示する第３処理部と、を備える。

【0007】

上記目的を達成するために、本開示の別の態様によれば、処理方法は、処理装置が実行する処理方法であって、質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成することと、前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとすることと、前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示することと、を含む。

【0008】

上記目的を達成するために、本開示の別の態様によれば、プログラムは、コンピュータに、質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成することと、前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとすることと、前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示することと、を実行させる。

【発明の効果】

【0009】

本開示の各態様によれば、質問に対応する応答を提示する場合に、オペレータが不適切な回答をする可能性を低減させることができる。

【図面の簡単な説明】

【0010】

【図1】本開示の一実施形態による応対システムの構成の一例を示す図である。

【図2】本開示の一実施形態における応対履歴データの一例を示す図である。

【図3】本開示の一実施形態によるモデルアップデート部の構成の一例を示す図である。

【図4】本開示の一実施形態による応対システムの処理フローの第１の例を示す図である。

【図5】本開示の一実施形態による応対システムの処理フローの第２の例を示す図である。

【図6】本開示の一実施形態による応対システムの処理フローの第３の例を示す図である。

【図7】本開示の一実施形態による応対システムの処理フローの第４の例を示す図である。

【図8】本開示の一実施形態による応対システムの処理フローの第５の例を示す図である。

【図9】本開示の一実施形態における他に何件同じラベルの事象が存在するかの表示例を示す図である。

【図10】本開示の一実施形態における並び替えた後の各項ａｉｂｉに対応する語句とその項の数値の一例を示す図である。

【図11】本開示の一実施形態におけるリコメンド結果の一例を示す図である。

【図12】本開示の実施形態による処理装置の最小構成を示す図である。

【図13】本開示の実施形態による最小構成の処理装置の処理フローの一例を示す図である。

【図14】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

【発明を実施するための形態】

【0011】

以下、図面を参照しながら実施形態について詳しく説明する。
＜実施形態＞
本開示の一実施形態による応対システム１（処理装置の一例）は、推奨される回答文および推奨される回答文の推奨理由を提示するシステムである。

【0012】

図１は、本開示の一実施形態による応対システム１の構成の一例を示す図である。応対システム１は、図１に示すように、端末装置１０、応対履歴データベース２０（以下、応対履歴ＤＢ２０と記載）、応対提示装置３０を備える。

【0013】

端末装置１０は、コールセンターのオペレータが操作する端末装置である。端末装置１０は、オペレータが電話応対やメール応対などの質疑応答の履歴情報を応対履歴ＤＢ２０に記録する。

【0014】

応対履歴ＤＢ２０は、オペレータが応対した質疑応答の履歴情報を格納する。応対履歴ＤＢ２０における履歴情報は、オペレータが質疑応答を実施する度に蓄積される。

【0015】

応対提示装置３０は、学習部１００、リコメンド部２００、モデル記憶部３００を備える。学習部１００は、クラス分類モデルであるクラス分類器を学習する。学習部１００は、図１に示すように、前処理部１１０、第一特徴抽出部１２０、クラス分類モデル生成部１３０、第二特徴抽出部１４０、およびリコメンドモデル生成部１５０を備える。

【0016】

前処理部１１０は、応対履歴ＤＢ２０におけるデータ中の質問文Ｔ１０のすべてを取得する。前処理部１１０は、取得したすべての質問文Ｔ１０を用いて形態素解析を行う。図２は、本開示の一実施形態における応対履歴データの一例を示す図である。応対履歴データは、図２に示すように、質問文Ｔ１０、分類Ｔ２０、および回答文Ｔ３０を含む。例えば、質問文Ｔ１０は、図２に示すように、「ＢＩＯＳ設定への入り方がわからない」、「ＢＩＯＳアップデート方法が知りたい」、「ＷｉＦｉの接続方法がわからない」、「アプリケーションプログラムの使用方法がわからない」などの文である。なお、ＷｉＦｉは、登録商標である。また、例えば、前述のような質問文Ｔ１０の場合、質問文Ｔ１０がＢＩＯＳに関連する質問文であるため、分類Ｔ２０は、図２に示すように、「ＢＩＯＳ」、「ＷｉＦｉ」、「アプリケーションプログラム」などである。分類Ｔ２０は、質問文Ｔ１０に関連する、機種名、ユニット名、機能名、障害や不具合の大分類などを記載する。なお、分類Ｔ２０は、クラスラベルとも呼ばれる。また、例えば、前述のような質問文Ｔ１０の場合、回答文Ｔ３０は、「起動中にＦ２を押しっぱなしにする」、「ｒｏｍファイルをダウンロードして・・・」、「画面右下の○○のアイコンをクリックし、・・・」、「画面左下の××アイコンをクリックするとアプリケーションプログラム一覧が表示され、選択する」などの質問文に対する回答を示す文である。応対履歴データは、学習データとして使用される。

【0017】

第一特徴抽出部１２０は、前処理部１１０による形態素解析のすべての結果から第一の文章ベクトルを作成する。形態素解析のすべての結果から第一の文章ベクトルを作成する手法としては、ＴＦ－ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）を使ったもの、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）を用いたもの、Ｗｏｒｄ２ｖｅｃ（Ｗｏｒｄ ｔｏ Ｖｅｃｔｏｒ）を用いたものなどが挙げられる。ただし、文章ベクトルは、どのような手法を用いて作成したものであってもよい。

【0018】

クラス分類モデル生成部１３０は、第一特徴抽出部１２０が作成した第一の文章ベクトルと応対履歴ＤＢ２０に付与された分類Ｔ２０（クラスラベル）とを用いてクラス分類器を学習する。例えば、クラス分類モデル生成部１３０は、第一特徴抽出部１２０が作成した第一の文章ベクトルをクラス分類器に入力した場合にその入力した第一の文章ベクトルに対応する分類が出力されるようにクラス分類モデルを学習する。クラス分類器としては、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、深層学習を用いたものなどがある。ただし、クラス分類器は、どのような手法を用いたものであってもよい。クラス分類モデル生成部１３０は、生成したクラス分類器をクラス分類モデル３１０としてモデル記憶部３００に記録する。

【0019】

第二特徴抽出部１４０は、分類Ｔ２０が示すラベルの種類ごとに学習データを分割する。例えば、図２に示す分類Ｔ２０の場合、第二特徴抽出部１４０は、ＢＩＯＳ、ＷｉＦｉ、アプリケーションプログラムに学習データを分割する。第二特徴抽出部１４０は、分割した学習データのそれぞれに対して、形態素解析の結果から第二の文章ベクトルを作成する。形態素解析の結果から第二の文章ベクトルを作成する手法としては、第一の文章ベクトルを作成する手法と同様に、ＴＦ－ＩＤＦを使ったもの、Ｗｏｒｄ２ｖｅｃを用いたものなどが挙げられる。第二の文章ベクトルは、第一の文章ベクトルと異なる手法を用いたものであってもよい。ただし、リコメンド理由を提示するため、ＴＦ－ＩＤＦベクトルのように単語が成分となっている文章ベクトルの手法を用いる必要がある。つまり、第一の文章ベクトルは、ラベルの種類に関係なくすべての分類Ｔ２０に対して生成される。それに対して、第二の文章ベクトルは、ラベルの種類ごとの分類Ｔ２０に対して生成される。

【0020】

リコメンドモデル生成部１５０は、第二特徴抽出部１４０が作成した第二の文章ベクトルをリコメンドモデル３２０としてモデル記憶部３００に記録する。つまり、ここでのリコメンドモデル３２０は、ベクトルである。

【0021】

リコメンド部２００は、新たな質問文に対する回答文をリコメンドする。リコメンド部２００は、図１に示すように、前処理部２１０、第一特徴抽出部２２０、クラス分類実行部２３０、第二特徴抽出部２４０、リコメンド生成部２５０、リコメンド理由生成部２６０、リコメンド出力部２７０、およびモデルアップデート部２８０を備える。

【0022】

前処理部２１０は、応対提示装置３０に入力された新たな質疑応答データを取得する。前処理部２１０は、取得した質疑応答データにおける新たな質問文を用いて形態素解析を行う。

【0023】

第一特徴抽出部２２０は、前処理部２１０による形態素解析の結果から第一の文章ベクトルを作成する。文章ベクトルとしては、ＴＦ－ＩＤＦを使ったもの、ＢＥＲＴを用いたもの、Ｗｏｒｄ２ｖｅｃを用いたものなどがある。ただし、文章ベクトルは、どのような手法を用いたものであってもよい。

【0024】

クラス分類実行部２３０は、モデル記憶部３００に格納されたクラス分類モデル３１０をロードする。クラス分類実行部２３０は、第一特徴抽出部２２０が作成した第一の文章ベクトルを、ロードしたクラス分類モデル３１０に入力し、クラス分類を実行する。

【0025】

第二特徴抽出部２４０は、前処理部２１０が取得した新たな質疑応答データに対して、第二の文章ベクトルを作成する。なお、第二特徴抽出部２４０は、第二特徴抽出部１４０と同様の方法を用いて第二の文章ベクトルを作成すればよい。

【0026】

リコメンド生成部２５０は、モデル記憶部３００に格納されたリコメンドモデル３２０をロードする。リコメンド生成部２５０は、クラス分類実行部２３０が実行したクラス分類の結果で得られたクラスに対応する第二の文章ベクトルと、ロードしたリコメンドモデル３２０に格納された第二の文章ベクトルとの類似度を計算する。類似度としては、コサイン類似度（Ｃｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙ）、ユークリッドノルムなどが挙げられる。例えば、リコメンド生成部２５０は、クラス分類実行部２３０が実行したクラス分類の結果で得られたクラスに対応する第二の文章ベクトルをベクトルａとする。また、リコメンド生成部２５０は、ロードしたリコメンドモデル３２０に格納された第二の文章ベクトルをベクトルｂとする。そして、リコメンド生成部２５０は、後述するリコメンド理由として提示する情報の生成に使用する式（１）や式（２）と同様の式を用いて演算を実行することにより類似度を計算する。リコメンド生成部２５０は、類似度の高い応答履歴ＤＢ２０の回答文Ｔ３０をリコメンド情報として生成する。リコメンド情報の生成については、類似度が上位の同じクラスラベルまたは学習に使用していないラベルが複数存在する場合、その代表的な一事例を提示し、他に何件同じラベルの事象が存在するかを表示するものであってもよい。これにより、複数の候補を効率よくリコメンドでき、かつ同じラベルの事象の数をリコメンドの確かさの判断材料として活用することもできる。

【0027】

リコメンド理由生成部２６０は、どの語句が類似度に大きく寄与したかの情報を生成することによりリコメンド理由を提示する。ここで、リコメンド理由生成部２６０によるリコメンド理由として提示する情報の生成について説明する。

【0028】

まず、類似度としてコサイン類似度を用いた場合のリコメンド理由として提示する情報の生成の例について説明する。

【0029】

ベクトルａ、ｂ間のコサイン値は、式（１）のように表される。

【0030】

【数1】

【0031】

ここでベクトルａを新たな質疑応答データに対する第二の文章ベクトル、ベクトルｂをリコメンドモデル３２０から作成した第二の文章ベクトルとする。この場合、コサイン値を文章間の類似度として扱うことができる。

【0032】

ここで、式（１）における最右辺の分子の各項ａｉｂｉに注目する。各項ａｉｂｉの添え字ｉは、ベクトルの要素番号を表している。各項ａｉｂｉは、ＴＦ－ＩＤＦなどの文章ベクトルの場合、「ＢＩＯＳ」、「設定」、「入り方」などの語句と対応している。この項を数値の大きい順に並び替えて抽出し、対応する語句とその数値を例えば表の形式で提示することにより、どの語句によってそのリコメンドがされたのかを端末装置１０を介してオペレータに知らせることができる。また、この項の数値をコサイン値で割ったものを表示すれば寄与率として提示することができる。

【0033】

次に、類似度としてユークリッドノルムを用いた場合のリコメンド理由として提示する情報の生成の例について説明する。

【0034】

ベクトルａ、ｂ間のユークリッドノルムは、式（２）のように表される。

【0035】

【数2】

【0036】

ユークリッドノルムを用いた類似度は、コサイン類似度と異なり、値が小さいほどベクトル間の距離が近くなる。そのため、ユークリッドノルムを用いた類似度では、値が小さいほど類似度が高いものとして扱う。これにより、式（２）における右辺のａｉ－ｂｉの値が小さく、かつ、ａｉ≠０、ｂｉ≠０に対応する語句を類似度への寄与の高い語句として提示することができる。

【0037】

リコメンド出力部２７０は、リコメンド生成部２５０が生成したリコメンド情報と、リコメンド理由生成部２６０が生成したリコメンド理由とを整形する。リコメンド出力部２７０は、整形したリコメンド情報および整形したリコメンド理由を、リコメンド結果として出力する。

【0038】

図３は、本開示の一実施形態によるモデルアップデート部２８０の構成の一例を示す図である。モデルアップデート部２８０は、図３に示すように、不要リコメンド削除受付部４００、不要リコメンド削除反映部４１０、モデル形式アップデート受付部４２０、およびモデル形式アップデート反映部４３０を備える。

【0039】

不要リコメンド削除受付部４００は、オペレータによる端末装置１０への操作により、端末装置１０から有用／不要リコメンド情報の有無について入力を受け付ける。

【0040】

不要リコメンド削除受付部４００が端末装置１０からの入力結果として不要リコメンド情報を受け付けた場合、不要リコメンド削除反映部４１０は、不要リコメンドデータをリコメンドモデル３２０から削除する。そして、不要リコメンド削除反映部４１０は、端末装置１０からの入力の受付を終了する。

【0041】

また、不要リコメンド削除受付部４００が端末装置１０からの入力結果として不要リコメンド情報を受け付けなかった場合、不要リコメンド削除反映部４１０は、端末装置１０からの入力の受付を終了する。

【0042】

モデル形式アップデート受付部４２０は、有用であったリコメンドに対して新しいフォーマットに沿った内容の追記を受け付ける。

【0043】

モデル形式アップデート反映部４３０は、モデル形式アップデート受付部４２０が受け付けた新しいフォーマットに沿った内容を、モデル記憶部３００内のリコメンドモデル３２０に反映させる。

【0044】

また、モデル形式アップデート反映部４３０は、有用なリコメンドが無い場合や新しいフォーマットに沿った内容の追記が無い場合には、そのまま処理を終了する。これにより、リコメンドの実績があり、かつ有用であった事象が優先的に新しいフォーマットに沿って更新される。そして、新しいフォーマットに沿って更新されたデータが蓄積されたタイミングで、新しく機械学習モデルを作成し直すことが可能となる。

【0045】

モデル記憶部３００は、学習部１００のクラス分類モデル生成部１３０が生成したクラス分類モデル３１０と、学習部１００のリコメンドモデル生成部１５０が生成したリコメンドモデル３２０とを格納する。

【0046】

次に、本開示の一実施形態による応対システム１が行う処理について、図４～図８を参照して説明する。図４は、本開示の一実施形態による応対システム１の処理フローの第１の例を示す図である。図５は、本開示の一実施形態による応対システム１の処理フローの第２の例を示す図である。図６は、本開示の一実施形態による応対システム１の処理フローの第３の例を示す図である。図７は、本開示の一実施形態による応対システム１の処理フローの第４の例を示す図である。図８は、本開示の一実施形態による応対システム１の処理フローの第５の例を示す図である。

【0047】

まず、図４を参照して、応対システム１が行うクラス分類器の学習の手順について説明する。

【0048】

前処理部１１０は、応対履歴ＤＢ２０におけるデータ中の質問文Ｔ１０のすべてを、学習用質疑応答データとして取得する（ステップＳ１００）。前処理部１１０は、取得したすべての質問文Ｔ１０（学習用質疑応答データ）を用いて形態素解析を行う。第一特徴抽出部１２０は、前処理部１１０による形態素解析の結果から第一の文章ベクトルを作成する（ステップＳ１０１）。

【0049】

クラス分類モデル生成部１３０は、第一特徴抽出部１２０が作成した第一の文章ベクトルと応対履歴ＤＢ２０に付与された分類Ｔ２０（すなわち、クラスラベル）とを用いて、クラス分類モデル３１０により表されるクラス分類器を学習する（ステップＳ１０２）。モデル記憶部３００は、学習部１００のクラス分類モデル生成部１３０が生成した学習済みのクラス分類器を、第一の文章ベクトルとともに（例えばモデル記憶部３００に）記録する（ステップＳ１０３）。

【0050】

第二特徴抽出部１４０は、分類Ｔ２０が示すラベルの種類ごとに学習データを分割する。第二特徴抽出部１４０は、分割した学習データのそれぞれに対して、形態素解析の結果から第二の文章ベクトルを作成する（ステップＳ１０４）。リコメンドモデル生成部１５０は、第二特徴抽出部１４０が作成した第二の文章ベクトルをリコメンドモデル３２０としてモデル記憶部３００に記録する（ステップＳ１０５）。

【0051】

次に、図５を参照して、応対システム１が行う複数の候補をリコメンドする手順について説明する。

【0052】

オペレータは、新たな問い合わせを受ける。オペレータは、受けた新たな問い合わせに応じて、端末装置１０に対して、応対提示装置３０に新たな質疑応答データを入力する操作を行う。端末装置１０は、オペレータによる操作に応じて、応対提示装置３０に新たな質疑応答データを入力する。

【0053】

前処理部２１０は、応対提示装置３０に入力された新たな質疑応答データを取得する（ステップＳ２００）。前処理部２１０は、取得した質疑応答データにおける新たな質問文を用いて形態素解析を行う。第一特徴抽出部２２０は、前処理部２１０による形態素解析の結果から第一の文章ベクトルを作成する。（ステップＳ２０１）。

【0054】

クラス分類実行部２３０は、モデル記憶部３００に格納されたクラス分類モデル３１０をロードする（ステップＳ２０２）。クラス分類実行部２３０は、第一特徴抽出部２２０が作成した第一の文章ベクトルを、ロードしたクラス分類モデル３１０に入力し、クラス分類を実行する（ステップＳ２０３）。

【0055】

リコメンド生成部２５０は、モデル記憶部３００に格納されたリコメンドモデル３２０をロードする（ステップＳ２０４）。第二特徴抽出部２４０は、前処理部２１０が取得した新たな質疑応答データに対して、第二の文章ベクトルを作成する（ステップＳ２０５）。リコメンド生成部２５０は、クラス分類実行部２３０による実行結果で得られたクラスに対応する第二の文章ベクトルモデルと、ロードしたリコメンドモデル３２０に格納された第二の文章ベクトルとの類似度を計算する（ステップＳ２０６）。リコメンド生成部２５０は、類似度の高い応答履歴ＤＢ２０の回答文Ｔ３０をリコメンド情報として生成する（ステップＳ２０７）。

【0056】

なお、類似度計算にはコサイン類似度やユークリッドノルムを用いた類似度などを使用する。リコメンド情報の生成については、類似度の上位のうち同じクラスラベル、もしくは学習に使用していないラベルが複数存在する場合、その代表的な1事例を提示し、他に何件同じラベルの事象が存在するかを表示してもよい。図９は、本開示の一実施形態における他に何件同じラベルの事象が存在するかの表示例を示す図である。例えば、図９の（ａ）の部分に示すように、ラベルとして、パーツＡが３つ、パーツＢが２つ、パーツＣが１つ存在する場合、リコメンド生成部２５０は、同一ラベルにおいて最も高い類似度をそのラベルの類似度とし、類似度の高い順にラベルを並べる。そして、リコメンド生成部２５０は、図９の（ｂ）の部分に示すように、各ラベルの存在する件数を、各ラベルと各ラベルの類似度とに関連付ける。このように、リコメンド生成部２５０は、ステップＳ２０７において、リコメンド情報を生成する。

【0057】

ここで、図６を参照して、どの語句が類似度に大きく寄与したのかを示す情報であるリコメンド理由を生成するリコメンド理由生成部２６０が行う処理について説明する。

【0058】

まず、類似度としてコサイン類似度を例に挙げてリコメンド理由生成部２６０がリコメンド理由を生成する処理を説明する。

【0059】

ベクトルａ、ｂ間のコサイン値は、上記の式（１）のように表される。リコメンド理由生成部２６０は、ベクトルａとして新たな質疑応答データに対する第二の文章ベクトルを、ベクトルｂとしてリコメンドモデル３２０から作成した第二の文章ベクトルを取得する（ステップＳ３００）。この場合、リコメンド理由生成部２６０は、コサイン値を文章間の類似度として扱うことになる。

【0060】

リコメンド理由生成部２６０は、式（１）における最右辺の分子の各項ａｉｂｉとして、類似度計算の各要素を取得する（ステップＳ３０１）。ここで、式（１）における最右辺の分子の各項ａｉｂｉに注目する。各項ａｉｂｉの添え字ｉは、ベクトルの要素番号を表している。各項ａｉｂｉは、ＴＦ－ＩＤＦなどの文章ベクトルの場合、「ＢＩＯＳ」、「設定」、「入り方」などの語句と対応している。リコメンド理由生成部２６０は、各項ａｉｂｉである要素番号を、数値（すなわち寄与度）の大きい順に並び替える（ステップＳ３０２）。そして、リコメンド理由生成部２６０は、並び替えた後の各項ａｉｂｉに対応する語句とその項の数値を（例えば表の形式で）リコメンド情報として生成する（ステップＳ３０３）。リコメンド理由生成部２６０は、数値の大きい（すなわち寄与度の大きい）上位の単語を提示する（ステップＳ３０４）。なお、リコメンド理由生成部２６０は、この項の数値をコサイン値で割ったものを表示すれば寄与率として生成することができる。

【0061】

図１０は、本開示の一実施形態における並び替えた後の各項ａｉｂｉに対応する語句とその項の数値の一例を示す図である。図１０に示す例では、類似度が高い順に項に対応する語句が「ＢＩＯＳ設定への入り方がわからない」、「ＢＩＯＳアップデート方法が知りたい」、「アプリケーションプログラムの設定がわからない（図１０では、「アプリ設定がわからない」と記載）」と並べられ、語句とともに類似度の数値が生成される。

【0062】

次に、類似度としてユークリッドノルムを例に挙げてリコメンド理由生成部２６０が行う処理を説明する。

【0063】

ベクトルａ、ｂ間のユークリッドノルムは、上記の式（２）のように表される。リコメンド理由生成部２６０は、ベクトルａを新たな質疑応答データに対する第二の文章ベクトル、ベクトルｂをリコメンドモデル３２０から作成した第二の文章ベクトルとして取得する（ステップＳ３００に対応する処理）。この場合、リコメンド理由生成部２６０は、ユークリッドノルムを文章間の類似度として扱うことになる。

【0064】

リコメンド理由生成部２６０は、式（２）における右辺の各項（ａｉ－ｂｉ）＾２を取得する（ステップＳ３０１に対応する処理）。コサイン類似度の場合とは異なり、ユークリッドノルムは、値が小さくなるほどベクトルａ、ｂ間の距離が近くなる。そのため、類似度としては、ユークリッドノルムの値が小さくなるほど高くなる。よって、（ａｉ－ｂｉ）＾２の数値が低く、かつ、ａｉ≠０、ｂｉ≠０に対応する語句が類似度への寄与の度合いの高い語句となる。リコメンド理由生成部２６０は、各項（ａｉ－ｂｉ）＾２を数値の低い順に並び替える（ステップＳ３０２に対応する処理）。そして、リコメンド理由生成部２６０は、並び替えた後の各項（ａｉ－ｂｉ）＾２に対応する語句とその項の数値を（例えば表の形式で）リコメンド情報として生成する（ステップＳ３０３に対応する処理）。リコメンド理由生成部２６０は、数値の小さい（すなわち寄与度の大きい）上位の単語を提示する（ステップＳ３０４に対応する処理）。

【0065】

ステップＳ３０３の処理（または、ステップＳ３０３に対応する処理）に続いて、リコメンド出力部２７０は、リコメンド生成部２５０とリコメンド理由生成部２６０が生成したリコメンド情報を整形し、整形したリコメンド情報をリコメンド結果として出力する。図１１は、本開示の一実施形態におけるリコメンド結果の一例を示す図である。例えば、リコメンド出力部２７０は、リコメンド情報を整形することにより、類似度の高い順（図１１では「類似順位」と記載）に、その類似度の数値（図１１では「類似度」と記載）、過去の質問内容（図１１では「過去質問内容」と記載）、およびその質問内容についての処置内容（図１１では「処置内容」と記載）を、リコメンド結果として端末装置１０に出力する。

【0066】

ここで、図７を参照して、モデルのアップデートに関する不要リコメンド削除受付部４００および不要リコメンド削除反映部４１０が行う処理について説明する。

【0067】

オペレータは、リコメンド出力部２７０が出力したリコメンド結果を、端末装置１０を介して受け取る。オペレータは、リコメンド結果を確認し、有用であったリコメンド結果と、不要であったリコメンド結果とを選択する操作を端末装置１０に対して行う。不要であったリコメンド結果の例としては、過去のリコメンド結果として「わからない」という回答文、内容が改善される前の過去にリコメンドされた回答文などが挙げられる。不要リコメンド削除受付部４００は、オペレータによる操作に応じて、有用であったリコメンド結果および不要であったリコメンド結果の有無について入力を受け付ける（ステップＳ４００）。不要リコメンド削除反映部４１０は、端末装置１０から受け付けた入力結果を確認する（ステップＳ４０１）。不要リコメンド削除反映部４１０は、不要なリコメンド結果が存在するか否かを判定する（ステップＳ４０２）。そして、不要リコメンド削除反映部４１０は、不要なリコメンド結果が存在する場合（ステップＳ４０２においてＹＥＳ）、その不要なリコメンド結果をリコメンドモデル３２０から削除する（ステップＳ４０３）。そして、不要リコメンド削除反映部４１０は、端末装置１０からの入力の受付を終了する（ステップＳ４０４）。また、不要なリコメンド結果が存在しない場合（ステップＳ４０２においてＮＯ）、不要リコメンド削除受付部４００は、ステップＳ４０４の処理に進める。これにより、類似度の高い順に語句が並べられ提示されるため、どの語句がそのリコメンドに寄与したのかを端末装置１０を介してオペレータに知らせることができる。

【0068】

なお、本開示の一実施形態では、１回の入力で有用なリコメンド結果と不要なリコメンド結果とを判断した。しかしながら、同一内容のリコメンド結果が何度も出力されるが、そのリコメンド結果が所定回数（例えばＮ回）有用であると判断されなかった場合、そのリコメンド結果についての学習データをリコメンドモデル３２０から削除するものであってもよい。なお、所定回数Ｎは、可変パラメータとして設定されるものであってもよい。

【0069】

また、オペレータが不要であると選択したリコメンド結果についての学習データは、リコメンドモデル３２０から直ちに削除されるものであってもよい。

【0070】

また、上記の２手法のいずれかに限定するものではなく、両方の手法を用いてリコメンドモデル３２０から不要な学習データを削除し、リコメンドモデル３２０のアップデートを実施すればよい。

【0071】

次に、図８を参照して、モデル形式アップデート受付部４２０が行うデータ形式を更新するためのリコメンドモデル３２０のアップデート手順について説明する。

【0072】

リコメンドモデル３２０は、旧形式のデータ（過去のデータの中で最も新しいデータ）を用いて学習されることにより、学習済みモデルとして作成される。旧形式のデータで作成されたモデルによる類似度によって過去の事例の回答文がリコメンドされた後、オペレータ１０は、リコメンド結果を確認し、有用であるリコメンドを入力する操作をモデル形式アップデート受付部４２０に対して行う。モデル形式アップデート受付部４２０は、有用であるリコメンドが旧形式のデータに存在するか否かを判定する（ステップＳ５００）。モデル形式アップデート受付部４２０は、有用であるリコメンドが旧形式のデータに存在すると判定した場合（ステップＳ５００においてＹＥＳ）、処理を終了する。また、モデル形式アップデート受付部４２０は、有用であるリコメンドが旧形式のデータに存在しないと判定した場合（ステップＳ５００においてＮＯ）、その有用であるリコメンドを旧形式のデータに追加する（ステップＳ５０１）。そして、モデル形式アップデート受付部４２０は、有用であるリコメンドを旧形式のデータに追加したデータを、新しい形式のデータ（有用であるリコメンドを追加した後の最も新しいデータであって、次のステップＳ５００においては旧形式のデータとなるデータ）としてモデル記憶部３００内のリコメンドモデル３２０に反映させる（ステップＳ５０２）。これにより、リコメンド実績があり、かつ有用であった事象が優先的に新フォーマットに更新されていく。新フォーマットのデータが蓄積されたタイミングで新しくモデルを作成し直すことが可能となる。

【0073】

なお、本開示の一実施形態では、応対提示装置３０は、独立した装置として説明しているが、各機能をプログラムとして提供可能であってもよい。例えば、応対提示装置３０は、運用管理サーバ（コンピュータの一例）などにプログラムをインストールすること、オペレータ１０の利用する端末／タブレット型端末やクライアントＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ、コンピュータの一例）などにインストールすること、クラウド上の仮想サーバ（コンピュータの一例）にインストールすることで実現可能であってもよい。

【0074】

以上、本開示の一実施形態による応対システム１について説明した。応対システム１（処理装置の一例）において、第１処理部は、質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成する。第２処理部は、前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとする。第３処理部は、前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を提示する。

【0075】

この応対システム１により、推奨される回答文および推奨される回答文の推奨理由を提示することができ、オペレータは、推奨理由を理解することで、推奨される回答の正当性や確かさの判断材料とすることができる。そのため、オペレータは、質問者に対して、推奨される回答文に基づいてより適切な回答を実行することができる。その結果、この応対システム１により、質問に対応する応答を提示する場合に、オペレータが不適切な回答をする可能性を低減させることができる。

【0076】

また、上述の本開示の一実施形態による応対システム１により、オペレータが不要であると判断したデータを排除することができ、再学習することなくモデルが無意味な回答文を推奨する可能性を低減させることができる。

【0077】

また、上述の本開示の一実施形態による応対システム１により、過去のデータに基づく旧形式のデータでは、新たな質問文に対して適切な回答文が得られない場合においても、有用であるリコメンドを旧形式のデータに追加したデータを、新しい形式のデータとすることで、モデルに反映させることができる。その結果、新たな質問文に対してより適切な回答文が得られるようになる。

【0078】

なお、本開示の各実施形態による応対システム１の一部または全部は、コールセンターに設置されるものであってもよい。また、本開示の各実施形態による応対システム１の一部または全部は、ヘルプデスク業務へ導入されるものであってもよい。

【0079】

なお、本開示の別の実施形態では、分類Ｔ２０を更に細分化した分類項目とし、クラス分類モデル生成部１３０が生成するクラス分類器を、１つではなく複数の（例えば、２段階のクラス分けを実行する）クラス分類器とするものであってもよい。

【0080】

図１２は、本開示の実施形態による処理装置５００の最小構成を示す図である。処理装置５００は、図１２に示すように、第１処理手段５０１、第２処理手段５０２、および第３処理手段５０３を備える。第１処理手段５０１は、質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成する。第２処理手段５０２は、前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとする。第３処理手段５０３は、前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示する。第１処理手段５０１は、例えば、図１に例示されている前処理部１１０、第一特徴抽出部１２０、およびクラス分類モデル生成部１３０のそれぞれが有する機能を用いて実現することができる。第２処理手段５０２は、例えば、図１に例示されている第二特徴抽出部１４０、およびリコメンドモデル生成部１５０が有する機能を用いて実現することができる。第３処理手段５０３は、例えば、図１に例示されているリコメンド生成部２５０、およびリコメンド理由生成部２６０が有する機能を用いて実現することができる。

【0081】

図１３は、本開示の実施形態による最小構成の処理装置５００の処理フローの一例を示す図である。次に、本開示の実施形態による最小構成の処理装置５００の処理について図１３を参照して説明する。

【0082】

第１処理手段５０１は、質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成する（ステップＳ１０１）。第２処理手段５０２は、前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとする（ステップＳ１０２）。第３処理手段５０３は、前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示する（ステップＳ１０３）。

【0083】

以上、本開示の実施形態による最小構成の処理装置５００について説明した。この処理装置５００により、質問に対応する応答を提示する場合に、オペレータが不適切な回答をする可能性を低減させることができる。

【0084】

なお、本開示の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。

【0085】

本開示の実施形態について説明したが、上述の応対システム１、端末装置１０、応対履歴ＤＢ２０、応対提示装置３０、学習部１００、リコメンド部２００、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。

【0086】

図１４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ５は、図１４に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。例えば、上述の応対システム１、端末装置１０、応対履歴ＤＢ２０、応対提示装置３０、学習部１００、リコメンド部２００、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。

【0087】

ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。

【0088】

また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。

【0089】

本開示のいくつかの実施形態を説明したが、これらの実施形態は、例であり、開示の範囲を限定しない。これらの実施形態は、開示の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。

【0090】

なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0091】

（付記１）
質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成する第１処理部と、
前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとする第２処理部と、
前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示する第３処理部と、
を備える処理装置。

【0092】

（付記２）
前記第２処理部は、
前記第２モデルに基づいて、前記分割したラベルごとの学習データに含まれる質問文と、前記新たな質問文との類似度を算出し、
前記第３処理部は、前記類似度に基づいて、前記推奨される回答文および前記推奨理由を提示する、
付記１に記載の処理装置。

【0093】

（付記３）
前記第２処理部は、
前記分割したラベルごとの学習データに含まれる質問文における単語ごとのベクトルと、前記新たな質問文における単語ごとのベクトルとについて、コサイン類似度またはユークリッドノルムを用いて類似度を算出し、
前記第３処理部は、前記第２処理部が算出した類似度への寄与の度合いの高い順に前記単語を前記推奨理由として提示する、
付記１または付記２に記載の処理装置。

【0094】

（付記４）
前記推奨される回答文および前記推奨理由のうち、無用な回答文および推奨理由に関連するデータを前記学習データから削除する第４処理部、
を備える付記１から付記３の何れか１つに記載の処理装置。

【0095】

（付記５）
前記推奨される回答文および前記推奨理由のうち、有用な回答文および推奨理由を前記第１モデルおよび前記第２モデルに追加する第５処理部、
を備える付記１から付記４の何れか１つに記載の処理装置。

【0096】

（付記６）
質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成することと、
前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとすることと、
前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示することと、
を含む処理方法。

【0097】

（付記７）
コンピュータに、
質問文、ラベル、および回答文を含むすべての学習データに対して、前記質問文についてのベクトルを含む第一の文章ベクトルを生成し、前記第一の文章ベクトルに基づいて、前記質問文を入力した場合に入力した前記質問文に対応するラベルを出力する第１モデルを生成することと、
前記すべての学習データをラベルごとに分割し、分割したラベルごとの学習データに含まれる質問文について単語ごとのベクトルを含む第二の文章ベクトルを生成し、前記第二の文章ベクトルを第２モデルとすることと、
前記第１モデルおよび前記第２モデルに基づいて、新たな質問文に対して推奨される回答文および推奨される回答文の推奨理由を生成し、生成した前記推奨される回答文および前記推奨理由を提示することと、
を実行させるプログラム。

【符号の説明】

【0098】

１・・・応対システム
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・端末装置
２０・・・応対履歴データベース
３０・・・応対提示装置
１００・・・学習部
１１０・・・前処理部
１２０・・・第一特徴抽出部
１３０・・・クラス分類モデル生成部
１４０・・・第二特徴抽出部
１５０・・・リコメンドモデル生成部
２００・・・リコメンド部
２１０・・・前処理部
２２０・・・第一特徴抽出部
２３０・・・クラス分類実行部
２４０・・・第二特徴抽出部
２５０・・・リコメンド生成部
２６０・・・リコメンド理由生成部
２７０・・・リコメンド出力部
２８０・・・モデルアップデート部
３００・・・モデル記憶部
３１０・・・クラス分類モデル
４００・・・不要リコメンド削除受付部
４１０・・・不要リコメンド削除反映部
４２０・・・モデル形式アップデート受付部
４３０・・・モデル形式アップデート反映部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】