特許 7670117 ＱＡデータ評価装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-21

(45)【発行日】2025-04-30

(54)【発明の名称】ＱＡデータ評価装置

(51)【国際特許分類】

   G06F 11/34 20060101AFI20250422BHJP

   G06F 16/90 20190101ALI20250422BHJP

【ＦＩ】

G06F11/34 138

G06F11/34 176

G06F16/90 100

【請求項の数】 10

(21)【出願番号】P 2023508213

(86)(22)【出願日】2021-03-23

(86)【国際出願番号】 JP2021011973

(87)【国際公開番号】W WO2022201302

(87)【国際公開日】2022-09-29

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】蝶野 大地

【審査官】今川 悟

(56)【参考文献】

【文献】特開２０１９－０８２９６４（ＪＰ，Ａ）

【文献】特開２０１７－１１７１８４（ＪＰ，Ａ）

【文献】特開２０２０－０５７１１７（ＪＰ，Ａ）

【文献】特開２０１９－１８５６１４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １１／３４

Ｇ０６Ｆ １６／９０

(57)【特許請求の範囲】

【請求項1】

チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得する取得手段と、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出する抽出手段と、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する生成手段と、
を備えるＱＡデータ評価装置。

【請求項2】

前記ログ情報の意味的な類似性に応じて、複数の前記ログ情報を複数のグループにクラスタリングするクラスタリング手段をさらに備え、
前記抽出手段は、前記複数のグループそれぞれに属する複数のログ情報のそれぞれから前記特徴量を抽出し、
前記生成手段は、前記複数のログ情報のそれぞれから抽出した複数の特徴量を統計処理した結果に基づいて、前記ＱＡデータ評価情報を生成する、
請求項１に記載のＱＡデータ評価装置。

【請求項3】

前記特徴量は、前記ユーザからの最後の質問に対する応答の内容を出力してからチャットの終了までの時間に関する特徴量である、
請求項１または２に記載のＱＡデータ評価装置。

【請求項4】

前記特徴量は、前記ユーザから前記チャットボットに対して質問の内容が入力された時点から所定時間経過前に別の質問の内容が入力される頻度に関する特徴量である、
請求項１又は２に記載のＱＡデータ評価装置。

【請求項5】

前記生成されたＱＡデータ評価情報を表示するＱＡデータ管理手段を、さらに備える、
請求項１乃至４の何れかに記載のＱＡデータ評価装置。

【請求項6】

前記ＱＡデータ管理手段は、前記チャットボットの管理者による前記ＱＡデータに対する操作入力に応じて、前記ＱＡデータを更新するか、削除するか、または追加する、
請求項５に記載のＱＡデータ評価装置。

【請求項7】

前記ＱＡデータ管理手段は、前記ＱＡデータ評価情報の生成に用いられた前記ログ情報を表示する、
請求項５または６に記載のＱＡデータ評価装置。

【請求項8】

前記ＱＡデータ管理手段は、前記ログ情報から前記ＱＡデータ評価情報を作成するために用いた前記特徴量の種別と前記ＱＡデータの良し悪しを表す評価値の算出基準とを含むルールを表示する、
請求項５乃至７の何れかに記載のＱＡデータ評価装置。

【請求項9】

コンピュータによるＱＡデータ評価方法であって、
前記コンピュータが、チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得し、
前記コンピュータが、前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出し、
前記コンピュータが、前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する、
ＱＡデータ評価方法。

【請求項10】

コンピュータに、
チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得する処理と、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出する処理と、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する処理と、
を行わせるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＱＡデータ評価装置、ＱＡデータ評価方法、および記録媒体に関する。

【背景技術】

【0002】

チャットユーザから送信される質問テキストに対して、適切な応答テキストをチャットユーザに提示する情報処理システムが、チャットボットシステムとして提案ないし実用化されている。チャットボットシステムは、想定される質問テキストとその質問テキストに対する応答テキストとを対応付けたＱＡデータを記憶するＱＡデータＤＢ（データベース）を参照して、チャットユーザから送信される質問テキストに応じた応答テキストを取得してチャットユーザに提示する。従って、チャットボットシステムの信頼性は、ＱＡデータの品質によって決定されると言っても過言ではない。そのため、チャットボットシステムの管理者は、ＱＡデータの品質向上のために実際の運用の結果に基づいてＱＡデータの良し悪しを表す学習データを作成し、その学習データに基づいてＱＡデータの修正、削除、追加などのメンテナンスを実施している。ＱＡデータの良し悪しは、当該ＱＡデータに含まれる応答が質問に対して適切であるか否かを示す評価情報を、チャットユーザが入力することで評価できる。このように、チャットユーザにより能動的に入力される評価情報を、以下では「能動的な評価情報」と呼ぶ。一方で、チャットユーザにより能動的に入力されないような評価情報を、以下では「非能動的な評価情報」と呼ぶ。

【0003】

例えば、特許文献１には、応答を提示した後のチャットユーザの声の抑揚や高さを非能動的な評価情報として取得し、その取得した情報に基づいてＱＡデータの良し悪しを表す学習データを作成することが開示されている。

【0004】

また、特許文献２には、チャットボットの応答に対してチャットユーザが行った発話をテキスト化したテキスト情報、上記発話の音声をデジタル化した音声データ、応答を聞いたときのチャットユーザの姿を写した画像をデジタル化した画像データ、応答を聞いた時点前後のチャットユーザの生体情報（脈拍、心拍数、血圧、脳波、呼吸数など）を、非能動的な評価情報として取得することが開示されている。

【0005】

また、チャットボットに関連する技術として、単位時間当たりの利用ユーザ数、ユーザの平均利用時間、チャット内容情報に基づいて、多数のチャットボットサービスの中から信頼して使用できるチャットボットサービスを検索する技術が特許文献３に開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－９１５１３号公報

【文献】特開２０１９－４５９７８号公報

【文献】特開２０１９－１８５６１４号公報

【文献】特許第５８１７５３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、チャットユーザから非能動的な評価情報を取得することが難しい場合がある。

【0008】

本発明の主たる目的は、非能動的な評価情報を容易に取得可能にする情報処理装置を提供することにある。

【課題を解決するための手段】

【0009】

本発明の一形態に係るＱＡデータ評価装置は、
チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得する取得手段と、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出する抽出手段と、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する生成手段と、
を備えるように構成されている。

【0010】

また、本発明の一形態に係るＱＡデータ評価方法は、
チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得し、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出し、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する、ように構成されている。

【0011】

また、本発明の一形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得する処理と、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出する処理と、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する処理と、
を行わせるためのプログラムを記録するように構成されている。

【発明の効果】

【0012】

本発明は、上述したような構成を有することにより、非能動的な評価情報を容易に取得することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１の実施形態に係る情報処理装置のブロック図である。

【図2】本発明の第１の実施形態に係る情報処理装置におけるＱＡデータＤＢの構成例を示す図である。

【図3】本発明の第１の実施形態に係る情報処理装置におけるチャットログＤＢの構成例を示す図である。

【図4】本発明の第１の実施形態に係る情報処理装置におけるクラスタＤＢの構成例を示す図である。

【図5A】本発明の第１の実施形態に係る情報処理装置におけるルールＤＢの構成例を示す図である。

【図5B】本発明の第１の実施形態に係る情報処理装置におけるルールの一例を示す図である。

【図5C】本発明の第１の実施形態に係る情報処理装置におけるルールの他の例を示す図である。

【図6】本発明の第１の実施形態に係る情報処理装置における学習データＤＢの構成例を示す図である。

【図7】本発明の第１の実施形態に係る情報処理装置におけるチャットボット処理およびチャットログ収集処理の一例を示すフローチャートである。

【図8】本発明の第１の実施形態に係る情報処理装置における学習データ生成処理の一例を示すフローチャートである。

【図9】本発明の第１の実施形態に係る情報処理装置におけるチャットのログ情報の例を示す図である。

【図10】本発明の第１の実施形態に係る情報処理装置においてログ情報中の質問テキストおよび応答テキストを集めて生成された文書の例を示す図である。

【図11】本発明の第１の実施形態に係る情報処理装置における学習データ生成部がステップＳ２５で実行する処理の一例を示すフローチャートである。

【図12】本発明の第１の実施形態に係る情報処理装置におけるチャットボット管理画面の例を示す図である。

【図13】本発明の第２の実施形態に係るＱＡデータ評価装置のブロック図である。

【発明を実施するための形態】

【0014】

次に、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１の実施形態に係る情報処理装置１００のブロック図である。図１を参照すると、情報処理装置１００は、チャットユーザが操作する端末装置から受信する質問テキストに対して、適切な応答テキストをチャットユーザが操作する端末装置に出力するチャットボットの機能と、チャットボットが使用するＱＡデータを評価する機能とを有する。情報処理装置１００は、主な構成要素として、通信Ｉ／Ｆ（インターフェース）部１１０と、操作入力部１２０と、画面表示部１３０と、記憶部１４０と、演算処理部１５０とを備えている。

【0015】

通信Ｉ／Ｆ部１１０は、データ通信回路から構成され、無線または有線によって１以上のユーザ端末１６０との間でデータ通信を行うように構成されている。ユーザ端末１６０は、チャットボットとチャットを行うユーザ（チャットユーザ）が使用する情報処理装置である。ユーザ端末１６０は、例えば、通信機能を備えたパーソナルコンピュータ、スマートフォン、タブレット端末などである。通信Ｉ／Ｆ部１１０には、ユーザ端末１６０以外に図示しない任意の外部装置が接続されていてよい。操作入力部１２０は、キーボードやマウスなどの装置から構成され、オペレータの操作を検出して演算処理部１５０に出力するように構成されている。画面表示部１３０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの装置から構成され、演算処理部１５０からの指示に応じて、各種情報を画面表示するように構成されている。

【0016】

記憶部１４０は、ハードディスクやメモリなどの１または複数の記憶装置から構成され、演算処理部１５０における各種処理に必要な処理情報およびプログラム１４１を記憶するように構成されている。プログラム１４１は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部１４０に保存される。記憶部１４０に記憶される主な処理情報には、ＱＡデータＤＢ１４２、チャットログＤＢ１４３、クラスタＤＢ１４４、ルールＤＢ１４５、および学習データＤＢ１４６がある。

【0017】

ＱＡデータＤＢ１４２は、質問テキストと応答テキストとを対応付けたＱＡデータを格納するデータベースである。図２は、ＱＡデータＤＢ１４２の構成例を示す。この例のＱＡデータＤＢ１４２は、それぞれが１つのＱＡデータ１４２０を格納する複数のエントリから構成されている。それぞれのエントリに格納されるＱＡデータ１４２０は、ＱＡデータＩＤ１４２１、質問テキスト１４２２、および応答テキスト１４２３から構成される。ＱＡデータＩＤ１４２１の項目には、ＱＡデータ１４２０を一意に識別するための番号などのＩＤが設定される。質問テキスト１４２２の項目には、チャットユーザからの質問を想定した質問に係るテキスト情報が設定される。応答データ１４２４の項目には、質問テキスト１４２２による問い合わせに対応する応答に係るテキスト情報が設定される。

【0018】

チャットログＤＢ１４３は、チャットボットとチャットユーザとの間のチャットのログ情報を格納するデータベースである。図３は、チャットログＤＢ１４３の構成例を示す。この例のチャットログＤＢ１４３は、それぞれが１つのチャットのログ情報１４３０を格納する複数のエントリから構成されている。それぞれのエントリに格納されるチャットのログ情報１４３０は、チャットユーザＩＤ１４３１、チャットＩＤ１４３２、複数の事象データ１４３３から構成される。チャットユーザＩＤ１４３１の項目には、チャットユーザを一意に識別するためのＩＤが設定される。チャットＩＤ１４３２の項目には、チャットユーザＩＤ１４３１で特定されるチャットユーザとの間で行われた個々のチャットを一意に特定するための番号などのＩＤが設定される。事象データ１４３３の項目には、チャットの事象に係るデータが設定される。

【0019】

事象データ１４３３は、日時１４３３１と種別１４３３２とテキスト１４３３３とＱＡデータＩＤ１４３３４とから構成される。種別１４３３２の項目には、事象データの種別が設定される。事象データの種別には、セッション確立、セッション解放、質問、応答の合計４種類の種別がある。セッション確立とは、チャットボットとチャットユーザとの間にチャットのセッションが確立（接続）されたことを意味する。セッション解放とは、チャットボットとチャットユーザとの間に確立されたセッションが解放（切断）されたことを意味する。質問とは、チャットボットがチャットユーザから質問テキストを受信したことを意味する。応答とは、チャットボットがチャットユーザへ応答テキストを送信したことを意味する。日時１４３３１の項目には、当該種別の事象が発生した日時が、例えば「年、月、日、時、分、秒、コンマ秒」の形式で設定される。テキスト１４３３３の項目には、種別が質問のときは質問のテキスト情報が設定され、種別が応答のときは応答のテキスト情報が設定される。種別がセッション確立またはセッション解放のとき、テキスト１４３３３の項目には例えばＮＵＬＬ値が設定される。ＱＡデータＩＤ１４３３３の項目には、種別が質問のときは質問に係るテキスト１４３３３に一致する質問テキストを含むＱＡデータが存在したときは当該ＱＡデータのＩＤが設定され、存在しないときは一致する質問テキストが登録されていない旨の情報が設定される。また、ＱＡデータＩＤ１４３３３の項目には、種別が応答のときは当該応答の前提となる質問の事象データ１４３３におけるＱＡデータＩＤ１４３３３の項目に設定した情報と同じ情報が設定される。種別がセッション確立またはセッション解放のとき、ＱＡデータＩＤ１４３３３の項目には例えばＮＵＬＬ値が設定される。

【0020】

クラスタＤＢ１４４は、チャットログＤＢ１４３に保存された複数のチャットのログ情報１４３０を意味的に類似するログ情報同士は同じクラスタにクラスタリングして生成された１以上のクラスタに関する情報を保存するデータベースである。図４は、クラスタＤＢ１４４の構成例を示す。この例のクラスタＤＢ１４４は、それぞれが１つのクラスタ１４４０を格納する複数のエントリから構成されている。それぞれのエントリに格納されるクラスタ１４４０は、クラスタＩＤ１４４１、質問ラベル１４４２、チャットログ数１４４３、およびチャットログＩＤのリスト１４３４から構成される。クラスタＩＤ１４４１の項目には、クラスタ１４４０を一意に識別するための番号などのＩＤが設定される。質問ラベル１４４２の項目には、クラスタ１４４０に属するチャットのログ情報に共通に含まれる質問テキストが質問ラベルとして設定される。チャットログＩＤのリスト１４３４の項目には、クラスタ１４４０に属するチャットのログ情報１４３０を識別するためのチャットログＩＤのリストが設定される。チャットログＩＤは、例えば図３に示されるチャットユーザＩＤ１４３１とチャットＩＤ１４３２の組み合わせで構成してよい。

【0021】

ルールＤＢ１４５は、クラスタＤＢ１４４に保存されたクラスタ内のログ情報からＱＡデータの良し悪しを表す学習データを作成するルールを保存するデータベースである。図５Ａは、ルールＤＢ１４５の構成例を示す。この例のルールＤＢ１４５は、それぞれが１つのルール１４５０を格納する複数のエントリから構成されている。それぞれのエントリに格納されるルール１４５０は、ルールＩＤ１４５１、特徴量種別１４５２、学習対象ＱＡデータ１４５３、および評価値算出基準１４５４から構成される。ルールＩＤ１４５１の項目には、ルール１４５０を一意に識別するための番号などのＩＤが設定される。特徴量種別１４５２の項目には、クラスタＤＢ１４４に保存されたクラスタ１４４０内のログ情報から算出する、チャットユーザのチャット中の時間的な挙動の特徴量の種別が設定される。時間的な挙動は、応答を受けてから質問を出すまでの経過時間や、応答を受けてからチャット終了までの経過時間や、単位時間当りの質問回数や、チャットの開始から終了までの経過時間などを含む。学習対象ＱＡデータ１４５３の項目には、特徴量種別１４５２の項目に設定された特徴量に基づいて学習データを作成する対象となるＱＡデータを特定するデータが設定される。評価値算出基準１４５４の項目には、学習対象ＱＡデータ１４５３の項目に設定されたＱＡデータの良し悪しを表す評価値を算出する基準が設定される。

【0022】

図５Ｂは、ルールＤＢ１４５に保存されるルールの例を示す図である。この例のルール１４５０－１は、特徴量種別１４５２の項目に「チャットユーザが最後の質問に対する応答テキストの提示を受けてからチャットを終了するまでの時間Ｔ１」が設定され、学習対象ＱＡデータ１４５３の項目に「最後の質問に関連するＱＡデータ」が設定され、評価値算出基準１４５４の項目に「時間Ｔ１が所定時間ＴＨ１未満のチャットの割合が高いほど評価値を低くする」が設定されている。このルール１４５０－１は、チャットユーザは、質問に対して的確な応答（回答）が返ってきた場合、それなりに時間をかけて応答内容を理解しようと努めるが、意に反した応答や的外れな応答が返ってきた場合、応答を一瞥した時点でチャットボットによる解決を断念し、チャット画面をすぐに閉じることがある、というチャットユーザの傾向を利用している。

【0023】

図５Ｃは、ルールＤＢ１４５に保存されるルールの他の例を示す図である。この例のルール１４５０－２は、特徴量種別１４５２の項目に「前回の質問から所定時間が経過する前に次の質問を出した頻度Ｎ１」が設定され、学習対象ＱＡデータ１４５３の項目に「クラスタ内のログ情報に共通に含まれる質問内容に関連するＱＡデータ」が設定され、評価値算出基準１４５４の項目に「頻度Ｎ１が所定頻度ＴＨ２以上のチャットの割合が高いほど評価値を低くする」が設定されている。このルール１４５０－２は、チャットユーザは、質問に対して的確な応答（回答）が返ってこない場合、質問内容を言い換えて時には何度も質問を繰り返すことがあるという、チャットユーザの傾向を利用している。

【0024】

なお、ルールＤＢ１４５に保存されているルール１４５０は、上記のようなルール１４５０－１、１４５０－２に限定されず、他の内容のルールであってもよいし、３つ以上のルールがあってもよい。例えば、ルール１４５０－１の評価値算出基準１４５４を「時間Ｔ１が所定時間ＴＨ１以上のチャットの割合が高いほど評価値を高くする」に置き換えたルールを使用してもよい。また、ルール１４５０－２の評価値算出基準１４５４の項目に「頻度Ｎ１が所定頻度ＴＨ２未満のチャットの割合が高いほど評価値を高くする」に置き換えたルールを使用してもよい。

【0025】

再び図１を参照すると、学習データＤＢ１４６は、ＱＡデータの良し悪しを表す学習データを格納するデータベースである。図６は、学習データＤＢ１４６の構成例を示す。この例の学習データＤＢ１４６は、それぞれが１つの学習データを格納する複数のエントリから構成されている。それぞれのエントリに格納される学習データ１４６０は、学習データＩＤ１４６１、質問テキスト１４６２、応答テキスト１４６３、ＱＡデータＩＤ１４６４、評価値１４６５、クラスタＩＤ１４６６、ルールＩＤ１４６７、確認フラグ１４６８、および管理者名１４６９から構成される。学習データＩＤ１４６１の項目には、学習データを一意に識別するための番号などのＩＤが設定される。質問テキスト１４６２と応答テキスト１４６３の項目には、評価の対象となるＱＡデータ、すなわち、チャットユーザとチャットボットとの間でやりとりされた質問テキストと応答テキストが設定される。ＱＡデータＩＤ１４６４の項目には、質問テキスト１４６２に設定された質問テキストに一致する質問テキストを含むＱＡデータが存在するときは当該存在したＱＡデータのＩＤが設定され、存在しなかったときは、一致する質問テキストが登録されていなかった旨の情報が設定される。評価値１４６５の項目には、評価の対象であるＱＡデータの良し悪しを表す値が設定される。評価値１４６５は、例えば、ＱＡデータが良いことを表す値（例えば１）と、悪いことを表す値（例えば０）の２値であってよい。或いは、評価値１４６５は、ＱＡデータの良し悪しの程度を３段階以上の段階（例えば１０段階）で設定できるような多値であってもよい。或いは、評価値１４６５は、さらに、評価値が確定していないことを表す値（例えばＮＵＬＬ値）を含んでいてよい。クラスタＩＤ１４６６の項目には、当該学習データの生成に用いられたクラスタ１４４０のクラスタＩＤ１４４１が設定される。ルールＩＤ１４６７の項目には、当該学習データの生成に用いられたルール１４５０のルールＩＤ１４５１が設定される。確認フラグ１４６８の項目には、学習データ１４６０の確認の有無を示す状態、例えば確認済みのとき値１、未確認のとき値０が設定される。管理者名１４６９の項目には、学習データ１４６０をＱＡデータのメンテナンスのために当該学習データを確認したチャットボットの管理者の氏名などが設定される。

【0026】

演算処理部１５０は、１または複数のＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１４０からプログラム１４１を読み込んで実行することにより、上記ハードウェアとプログラム１４１とを協働させて各種処理部を実現するように構成されている。演算処理部１５０で実現される主な処理部は、チャットボット１５１、チャットログ収集部１５２、学習データ生成部１５３、およびＱＡデータ管理部１５４である。ここで、チャットログ収集部１５２と学習データ生成部１５３とＱＡデータ管理部１５４とでＱＡデータ評価装置が構成される。

【0027】

チャットボット１５１は、チャットユーザとの間でチャットを行うように構成されている。チャットボット１５１は、チャットユーザからの要求に従って、チャットユーザとの間にチャットのセッションを確立する。また、チャットボット１５１は、確立したセッションを通じてチャットユーザから質問テキストが送信されてくると、それを受信し、受信した質問テキストに意味的に一致する質問テキストを含むＱＡデータをＱＡデータＤＢ１４２から検索し、検索したＱＡデータに含まれる応答テキストを取得する。また、チャットボット１５１は、受信した質問テキストに意味的に一致する質問テキストを含むＱＡデータがＱＡデータＤＢ１４２に存在しなかった場合、事前に定められた定型文、例えば「質問を認識できませんでした。言い方を変えて再度質問してください。」などの応答テキストを生成する。そして、チャットボット１５１は、取得または生成した応答テキストを問い合わせ元のチャットユーザのユーザ端末１６０に送信して、そのユーザ端末１６０の端末画面に表示させる。また、チャットボット１５１は、チャットユーザからの要求に従って、チャットユーザとの間に確立したチャットのセッションを解放する。

【0028】

チャットログ収集部１５２は、チャットボット１５１によるチャットユーザとの間のチャットのログ情報を収集し、チャットログＤＢ１４３に保存するように構成されている。例えば、チャットログ収集部１５２は、チャットボット１５１がチャットユーザとの間に新たなチャットのセッションを確立すると、チャットログＤＢ１４３に新たなエントリを確保し、そのエントリにチャットユーザＩＤ１４３１、チャットＩＤ１４３２、およびセッション確立に係る事象データ１４３３（セッションを確立した日時１４３１、セッション確立を表す種別１４３３２、ＮＵＬＬ値のテキスト１４３３３およびＱＡデータＩＤ１４３３４）を設定する。また、チャットログ収集部１５２は、チャットボット１５１が上記セッションを通じてチャットユーザから質問テキストを受信すると、チャットログＤＢ１４３の上記確保したエントリに質問に係る事象データ１４３３（質問を受信した日時１４３１、質問を表す種別１４３３２、質問テキスト情報を表すテキスト１４３３３およびＱＡデータＩＤ１４３３４）を設定する。また、チャットログ収集部１５２は、チャットボット１５１が上記セッションを通じてチャットユーザに対して応答テキストを送信すると、チャットログＤＢ１４３の上記確保したエントリに応答に係る事象データ１４３３（応答を送信した日時１４３１、応答を表す種別１４３３２、応答テキスト情報を表すテキスト１４３３３およびＱＡデータＩＤ１４３３４）を設定する。また、チャットログ収集部１５２は、チャットボット１５１が上記セッションを解放すると、チャットログＤＢ１４３の上記確保したエントリにセッション解放に係る事象データ１４３３（セッションを解放した日時１４３１、セッション解放を表す種別１４３３２、ＮＵＬＬ値のテキスト１４３３３およびＱＡデータＩＤ１４３３４）を設定する。

【0029】

学習データ生成部１５３は、チャットログＤＢ１４３に保存されたチャットのログ情報およびルールＤＢ１４５に保存されたルールを用いて、ＱＡデータの良し悪しを表す学習データを作成し、学習データＤＢ１４６に保存するように構成されている。学習データ生成部１５３は、例えば、チャットログＤＢ１４３に一定量のログ情報が蓄積されたとき、前回の学習データ作成から一定時間が経過したとき、定期的に、または、オペレータから指示されたとき、学習データの作成処理を開始する。学習データ生成部１５３は、例えば、チャットログＤＢ１４３に保存された複数のチャットのログ情報を意味的に類似するログ情報同士は同じクラスタにクラスタリングし、生成したクラスタをクラスタＤＢ１４４に保存する。また、学習データ生成部１５３は、クラスタＤＢ１４４に保存されたクラスタ毎に、ルールＤＢ１４５に保存されたルールを適用することにより、クラスタ内のチャットログ情報からの特徴量の算出、算出した特徴量の統計処理、統計処理した結果に基づく評価値の算出などを行って学習データを生成し、生成した学習データを学習データＤＢ１４６に保存する。統計処理は、度数分布、ヒストグラム、平均値、中央値、最頻値などの作成を含む。

【0030】

ＱＡデータ管理部１５４は、チャットボットの管理者が、学習データＤＢ１４６に保存された学習データに基づいて、ＱＡデータＤＢ１４２に保存されたＱＡデータの修正、削除、追加などのメンテナンスを行う作業を支援するように構成されている。例えば、ＱＡデータ管理部１５４は、学習データＤＢ１４６に保存された学習データの一覧を画面表示部１３０に表示することにより、管理者が学習データの内容を参照できるようにする。また、ＱＡデータ管理部１５４は、ＱＡデータＤＢ１４２に保存されたＱＡデータの一覧を画面表示部１３０に表示し、管理者がＱＡデータの修正、削除、追加を対話形式で行えるようにする。

【0031】

続いて、情報処理装置１００の動作について、詳細に説明する。

【0032】

情報処理装置１００の動作は、チャットユーザからの問い合わせ（質問）を受け付けた場合に行うチャットボット処理と、ＱＡデータ評価処理とに大別される。また、ＱＡデータ評価処理は、チャットログ収集処理と、学習データを生成する学習データ生成処理と、ＱＡデータをメンテナンスするメンテナンス処理とに大別される。

【0033】

＜チャットボット処理とチャットログ収集処理＞
先ず、チャットボット処理およびチャットログ収集処理について、図７のフローチャートを参照して説明する。チャットボット処理およびチャットログ収集処理は、チャットボット１５１およびチャットログ収集部１５２により、チャットユーザ且つチャット毎に行われる。

【0034】

情報処理装置１００のチャットボット１５１は、チャットユーザがユーザ端末１６０上でチャットを開始させるための操作を受け付けると、チャット開始処理を行う（ステップＳ１）。チャットボット１５１は、ステップＳ１のチャット開始処理では、チャットユーザが使用するユーザ端末１６０とチャットボット１５１との間でチャットを行うためのセッションを確立させる処理を行う。また、チャットボット１５１は、ステップＳ１のチャット開始処理では、さらに、確立したセッションを通じてチャットユーザの使用するユーザ端末１６０の画面に、チャット開始時の定型文（例えば、「お問い合わせ内容を入力してください。」などのテキスト）を表示してもよい。

【0035】

チャットログ収集部１５２は、チャットユーザとチャットボット１５１０との間にチャットのセッションが確立されると、チャットログ収集処理を行う（ステップＳ２）。チャットログ収集部１５２は、ステップＳ２のチャットログ収集処理では、チャットログＤＢ１４３に新たなエントリを１つ確保し、その確保したエントリ（以下、注目中エントリと記す）にチャットユーザＩＤ１４３１、チャットＩＤ１４３２、およびセッション確立に係る事象データ１４３３（セッションを確立した日時１４３１、セッション確立を表す種別１４３３２、ＮＵＬＬ値のテキスト１４３３３およびＱＡデータＩＤ１４３３４）を設定する。

【0036】

次に、チャットボット１５１は、チャットユーザからの新規質問の有無を確認する（ステップＳ３）。新規質問とは、チャットユーザによる新規なチャット入力のことである。チャットボット１５１は、新規なチャット入力がないときは、ステップＳ９の処理に進む。また、チャットボット１５１は、新規のチャット入力があった場合、入力されたチャット内容（質問テキスト）を取得する（ステップＳ４）。チャットログ収集部１５２は、チャットボット１５１がチャットユーザから新規質問を取得すると、チャットログＤＢ１４３の注目中エントリに、質問を受信した日時１４３１、質問を表す種別１４３３２、質問テキスト情報を表すテキスト１４３３３、および、ＱＡデータＩＤ１４３３４（この時点ではＮＵＬＬ値とされる）から構成される事象データ１４３３を追加設定する（ステップＳ５）。

【0037】

次に、チャットボット１５１は、チャットユーザから取得した質問テキストに意味的に一致する質問テキストを含むＱＡデータをＱＡデータＤＢ１４２から検索し、その検索して得られたＱＡデータに含まれる応答テキストを、チャットユーザに対する応答として生成する（ステップＳ６）。チャットボット１５１は、ステップＳ６において、チャットユーザから取得した質問テキストに意味的に一致する質問テキストを含むＱＡデータがＱＡデータＤＢ１４２に存在しなかった場合、事前に設定された定型文をチャットユーザに対する応答として生成する。チャットログ収集部１５２は、チャットユーザから取得した質問テキストに意味的に一致する質問テキストを含むＱＡデータがＱＡデータＤＢ１４２に存在した場合には、当該存在したＱＡデータのＩＤをステップＳ５で追加設定した事象データ１４３３のＱＡデータＩＤ１４３３３に設定し、存在しなかった場合には、その旨をＱＡデータＩＤ１４３３３に設定する。

【0038】

次に、チャットボット１５１は、上記生成した応答をチャットユーザが使用するユーザ端末１６０に対して送信して、ユーザ端末１６０の画面に表示する（ステップＳ７）。チャットログ収集部１５２は、チャットボット１５１が応答をチャットユーザのユーザ端末１６０へ送信すると、チャットログＤＢ１４３の注目中エントリに、応答を送信した日時１４３１、応答を表す種別１４３３２、応答テキスト情報を表すテキスト１４３３３、およびＱＡデータＩＤ１４３３４から構成される事象データ１４３３を追加設定する（ステップＳ８）。そして、チャットボット１５１は、ステップＳ９の処理へ進む。

【0039】

チャットボット１５１は、ステップＳ９において、チャットの終了を検出したか否かを判定する。チャットボット１５１は、例えば、チャットユーザがユーザ端末１６０上でチャットを終了させる意思表示を行ったことを検出したときに、チャットの終了を検出したと判定してよい。チャットボット１５１は、チャットの終了を検出していないと判定した場合、ステップＳ３の処理に戻って、上述した処理と同様の処理を繰り返す。また、チャットボット１５１は、チャットの終了を検出した場合、チャット終了処理を行う（ステップＳ１０）。チャットボット１５１は、ステップＳ１０のチャット終了処理では、チャットユーザとの間に確立されたセッションを解放（切断）する処理を行う。また、チャットボット１５１は、ステップＳ１０のチャット終了処理では、さらに、解放する前のセッションを通じてチャットユーザの使用するユーザ端末１６０の画面に、チャット終了時の定型文（例えば、「ご利用ありがとうございました。」などのテキスト）を表示させてもよい。

【0040】

チャットログ収集部１５２は、チャットボット１５１がチャットのセッションを解放すると、チャットログＤＢ１４３の注目中エントリに、セッション解放に係る事象データ１４３３（セッションを解放した日時１４３１、セッション解放を表す種別１４３３２、ＮＵＬＬ値のテキスト１４３３３およびＱＡデータＩＤ１４３３４）を設定する（ステップＳ１１）。

【0041】

＜学習データ生成処理＞
次に、学習データ生成処理について、図８のフローチャートを参照して説明する。学習データ生成処理は、学習データ生成部１５３によって行われる。

【0042】

情報処理装置１００の学習データ生成部１５３は、学習データの生成処理を開始すると、先ず、学習データの生成に使用するチャットのログ情報をチャットログＤＢ１４３から読み出す（ステップＳ２１）。例えば、学習データ生成部１５３は、チャットログＤＢ１４３に保存された全てのログ情報を学習データの生成に使用するログ情報として読み出してよい。或いは、学習データ生成部１５３は、日時１４３３１に設定された日時を参照して、例えば管理者等から指定された所定日時以降の全てのログ情報、または、所定日時以前の全てのログ情報、または、所定開始日時以降かつ所定終了日時以前の全てのログ情報を学習データの生成に使用するログ情報としてチャットログＤＢ１４３から読み出してよい。

【0043】

次に、学習データ生成部１５３は、読み出したログ情報を意味的に類似するログ情報同士は同じクラスタにクラスタリングする（ステップＳ２２）。意味的に類似するとは、やりとりされている質問テキストおよび応答テキストの内容が互いのチャットのログ情報間で全体的かつ意味的に類似していることである。例えば、「休暇申請をキャンセルしたい」と「お休みを取り下げたい」とは互いに意味的に類似するチャットログ情報の例である。また、「価格が高い」と「値段が高い」や、「見た目が最高」と「外観が素晴らしい」は、互いに意味的に類似するチャットログ情報の他の例である。意味的に類似するチャットのログ情報を同じクラスタにクラスタリングする手法は、任意である。例えば、それぞれのチャットのログ情報中の質問テキストおよび応答テキストを集めたものを１つの文書とし、これらの文書群に対して、類似文書を同じクラスタに分類する公知の文書クラスタリング方法を適用することによって、上記クラスタリングを行ってよい。

【0044】

公知の文書クラスタリング方法として、それに限定されないが、例えば特許文献４に記載された文書クラスタリング方法がある。特許文献４に記載された文書クラスタリング方法（以下、本発明に関連する文書クラスタリング方法と記す）では、先ず、文書群に含まれる２つの文書に出現する語句のうち、一方の文書に出現する語句と他方の文書に出現する語句という２つの語句同士の任意の組み合わせについて、２つの語句の概念の上位下位関係を表す概念木構造を取得する。次に、上記任意の組み合わせについて、上記取得した概念木構造における上記２つの語句の共通の上位語句またはその上位語句の下位系列の語句の上記文書群内での出現頻度と、上記２つの語句のそれぞれの上記文書群内での出現頻度と、が一致する場合に最大であり、上記概念木構造内に上記２つの語句の共通の上位語句が存在しない場合に最小であるような、上記２つの語句の概念の近さを示す指標である概念類似度を求める。次に、上記概念類似度を基に、上記文書群に含まれる２つの文書の意味的に類似する度合である文書間類似度を求める。次に、上記文書間類似度を基に、上記文書群の文書のクラスタリングを行う。

【0045】

例えば、学習データ生成部１５３が、図９に示される２つのチャットのログ情報ＬＵ１１、ＬＵ２１を含むログ情報群を本発明に関連する文書クラスタリング方法を用いてクラスタリングすることを考える。図９において、左側のチャットのログ情報ＬＵ１１は、チャットユーザＵ０１とチャットボット１５１との間のチャットのログ情報を示し、右側のログ情報ＬＵ２１は、チャットユーザＵ０２とチャットボット１５１との間のチャットのログ情報を示す。また、図９において、双方向矢印はチャットのセッションの確立または解放の事象を示し、吹き出しはチャットボット１５１からチャットユーザに対して送信された応答コメント、あるいはチャットボット１５１がチャットユーザから受信した質問コメントの事象を示す。また、各事象の下に記載された日時は、事象の発生日時を示す。なお、各事象を識別するために、各事象には便宜上、ＬＵ１１１～ＬＵ１１７、ＬＵ２１１～ＬＵ２１７の符号を付けている。このようなチャットのログ情報の場合、学習データ生成部１５３は、図９に示すログ情報ＬＵ１１中の質問テキストおよび応答テキストを集めて図１０に示すような１つの文書ＬＵ１１Ｂを生成する。なお、図１０の例では、チャット開始時およびチャット終了時にチャットボット１５１からチャットユーザに対して提示される「お問い合わせ内容を入力してください」や「ご利用ありがとうございました」といった全チャットで共通な定型文は除外している。また、学習データ生成部１５３は、ログ情報ＬＵ２１中の質問テキストおよび応答テキストを集めて図１０に示すような１つの文書ＬＵ２１Ｂを生成する。そして、学習データ生成部１５３は、文書ＬＵ１１Ｂ、ＬＵ２１Ｂを含む文書群に対して本発明に関連する文書クラスタリング方法を適用してクラスタリングを行う。その結果、図９に示した２つのログ情報ＬＵ１１、ＬＵ２１の場合、意味的には同じであるが語句のレベルでは相違する事象ＬＵ１１３の質問テキスト「休暇申請をキャンセルしたい」と事象ＬＵ２１３の質問テキスト「お休みを取り下げたいです」が別々のログ情報に存在していても、２つのログ情報ＬＵ１１、ＬＵ２１は、同じクラスタにクラスタリングされることになる。

【0046】

学習データ生成部１５３は、ステップＳ２２において、上記クラスタリングによって生成されたクラスタのそれぞれについて、クラスタＩＤ１４４１、質問ラベル１４４２、チャットログ数１４４３、およびチャットログＩＤのリスト１４３４から構成されるクラスタ１４４０を生成し、クラスタＤＢ１４４に保存する。例えば、学習データ生成部１５３は、図９に示した２つのログ情報が属するクラスタの質問ラベル１４４２には、複数のチャットのログ情報に共通に表れる質問テキスト「休暇の取り消し方法」を設定する。

【0047】

次に、学習データ生成部１５３は、クラスタＤＢ１４４に保存された１以上のクラスタのうちの１つのクラスタ１４４０に注目する（ステップＳ２３）。次に、学習データ生成部１５３は、ルールＤＢ１４５に保存された１以上のルールのうちの１つのルール１４５０に注目する（ステップＳ２４）。次に、学習データ生成部１５３は、注目中のクラスタ１４４０と注目中のルール１４５０とに基づいて、学習データ１４６０を作成し、学習データＤＢ１４６に保存する（ステップＳ２５）。

【0048】

図１１は、学習データ生成部１５３がステップＳ２５で実行する処理の一例を示すフローチャートである。図１１を参照すると、学習データ生成部１５３は、先ず、注目中のクラスタ１４４０のチャットのログ情報１４３０のそれぞれから、注目中のルール１４５０の特徴量種別１４５２の項目に設定された種別の特徴量を算出する（ステップＳ３１）。例えば、学習データ生成部１５３は、ルール１４５０－１の場合、それぞれのチャットログ情報から、「チャットユーザが最後の質問に対する応答テキストの提示を受けてからチャットを終了するまでの時間Ｔ１」を算出する。例えば、図９に示したログ情報ＬＵ１１の場合、事象ＬＵ１１６がチャットユーザの最後の質問に対する応答なので、その事象ＬＵ１１６の日時から事象ＬＵ１１７のチャット終了までの時間を時間Ｔ１として算出する。また、例えば、学習データ生成部１５３は、ルール１４５０－２の場合、それぞれのチャットログ情報から、「前回の質問から所定時間が経過する前に次の質問を出している頻度Ｎ１」を算出する。例えば、図９に示したログ情報ＬＵ１１の場合、質問は、事象ＬＵ１１３、ＬＵ１１５の２回なので、事象ＬＵ１１３から事象ＬＵ１１５までの経過時間が所定時間未満であれば、頻度Ｎ１は１回になり、所定時間以上であれば、頻度Ｎ１は０回になる。因みに、質問総数がＭ回のチャットログ情報の場合、頻度Ｎ１の最大値はＭ－１になる。

【0049】

次に、学習データ生成部１５３は、注目中のルール１４５０の評価値算出基準１４５４に基づいて、チャットのログ情報のそれぞれから算出した特徴量を統計処理する（ステップＳ３２）。例えば、学習データ生成部１５３は、ルール１４５０－１の場合、先ず、時間Ｔ１が所定時間ＴＨ１未満のチャットのログ情報の総数Ｓ１を算出する。次に、学習データ生成部１５３は、注目中のクラスタ内のチャットのログ総数Ｓ０に対する総数Ｓ１の割合Ｒ１を算出する。また、学習データ生成部１５３は、ルール１４５０－２の場合、先ず、頻度Ｎ１が所定頻度ＴＨ２以上のチャットのログ情報の総数Ｓ１を算出する。次に、学習データ生成部１５３は、注目中のクラスタ内のチャットのログ総数Ｓ０に対する総数Ｓ１の割合Ｒ１を算出する。

【0050】

次に、学習データ生成部１５３は、統計処理の結果から評価値を算出する（ステップＳ３３）。例えば、学習データ生成部１５３は、ルール１４５０－１およびルール１４５０－２の場合、割合Ｒ１が高いほど、評価値を低くする。例えば、学習データ生成部１５３は、割合Ｒ１が８割以上であれば評価値を０とし、６割以上かつ８割未満であれば評価値を２とし、４割以上且つ６割未満であれば評価値を５とし、２割以上且つ４割未満であれば評価値を８とし、２割未満であれば評価値を１０とする。ここで、評価値は数値が大きいほど高い評価を表している。

【0051】

次に、学習データ生成部１５３は、学習データＩＤ１４６１、質問テキスト１４６６、応答テキスト１４６３、ＱＡデータＩＤ１４６４、評価値１４６４、クラスタＩＤ１４６６、ルールＩＤ１４６７の項目については必要な情報をそれぞれ設定し、確認フラグ１４６８には未確認状態を示す値を設定し、管理者名１４６９にはＮＵＬＬ値を設定した学習データ１４６０を作成し、学習データＤＢ１４６に保存する。学習データ生成部１５３は、クラスタＩＤ１４６６およびルールＩＤ１４６７の項目には、注目中のクラスタ１４４０のクラスタＩＤ１４４１および注目中のルール１４５０のルールＩＤ１４５１を設定する。また、学習データ生成部１５３は、評価値１４６５の項目には、ステップＳ３３で算出した評価値を設定する。また、学習データ生成部１５３は、質問テキスト１４６２、応答テキスト１４６３、およびＱＡデータＩＤ１４６４の項目には、ルールＩＤ１４６７で識別されるルール１４５０の学習対象ＱＡデータ１４５３によって指定された質問テキスト、応答テキスト、およびそれらを含むＱＡデータのＱＡデータＩＤ１４２１を設定する。

【0052】

図８を再び参照すると、学習データ生成部１５３は、ステップＳ２５の処理を終えると、ルールＤＢ１４５に保存されたルールのうち注目中のクラスタに対して未だ適用していないルールの１つに注目を移し（ステップＳ２８）、ステップＳ２７を経由してステップＳ２５に戻り、注目中のクラスタに対して別のルールを用いて前述した処理と同様の処理を繰り返す。また、学習データ生成部１５３は、注目中のクラスタに対して全てのルールの適用を終えると（ステップＳ２７でＹＥＳ）、クラスタＤＢ１４４に保存されたクラスタのうち未だ処理していないクラスタの１つに注目を移し（ステップＳ２８）、ステップＳ２９を経由してステップＳ２４に戻り、別のクラスタに対して前述した処理と同様の処理を繰り返す。また、学習データ生成部１５３は、全てのクラスタに注目し終えると（ステップＳ２９でＹＥＳ）、図８の処理を終了する。

【0053】

＜ＱＡデータのメンテナンス処理＞
次に、データのメンテナンス処理について説明する。データのメンテナンス処理は、ＱＡデータ管理部１５４によって行われる。

【0054】

図１２は、ＱＡデータ管理部１５４が情報処理装置１００の管理者によって起動された際に画面表示部１３０に表示するチャットボット管理画面１７０の例を示す。この例のチャットボット管理画面１７０は、学習データ一覧表示領域１７１、ＱＡデータ編集領域１７２、クラスタ表示領域１７３、ルール表示領域１７４、およびチャットログ表示領域１７５を有する。

【0055】

学習データ一覧表示領域１７１は、学習データＤＢ１４６に保存された１以上の学習データ１４６０の一覧を表示する領域である。ＱＡデータ管理部１５４は、学習データＤＢ１４６に保存された全ての学習データ１４６０を読み出して、学習データ一覧表示領域１７１に表示してよい。或いは、ＱＡデータ管理部１５４は、学習データＤＢ１４６に保存された全ての学習データから一部の学習データ１４６０を選択的に読み出して、学習データ一覧表示領域１７１に表示してよい。一部の学習データとして、確認フラグ１４６８は未確認状態を示す学習データであってよい。あるいは、一部の学習データは、評価値１４６５が、管理者が指定した評価値より高いもの、または低いものであってもよい。ＱＡデータ管理部１５４は、学習データ一覧表示領域１７１に表示した学習データのうちの１つをカレント学習データとする。ＱＡデータ管理部１５４は、カレント学習データをハイライト表示するなどで管理者に明示する。また、ＱＡデータ管理部１５４は、カレント学習データの確認フラグ１４６８の項目に確認済みを設定し、管理者名１４６９の項目に管理画面にログインしている管理者の氏名などを設定する。ＱＡデータ管理部１５４は、管理者のカーソル操作によって変更が指示されると、カレント学習データを指示された別の学習データに切り替える。

【0056】

ＱＡデータ編集領域１７２は、ＱＡデータの更新、削除、追加といった編集を行う領域である。ＱＡデータ編集領域１７２には、ＱＡデータＩＤ欄１７２１、質問テキスト欄１７２２、応答テキスト欄１７２３、更新ボタン１７２４、削除ボタン１７２５、追加ボタン１７２６がある。ＱＡデータ管理部１５４は、ＱＡデータＩＤ欄１７２１、質問テキスト欄１７２２、および応答テキスト欄１７２３に、カレント学習データのＱＡデータＩＤ１４６４、質問テキスト１４６２、および応答テキスト１４６３を表示する。また、ＱＡデータ管理部１５４は、管理者の操作入力部１２０の編集操作に応じて、質問テキスト欄１７２２および応答テキスト欄１７２３の内容を編集する。また、ＱＡデータ管理部１５４は、管理者によって更新ボタン１７２４が押下されると、編集後の質問テキスト欄１７２２および応答テキスト欄１７２３に設定された質問テキストおよび応答テキストの内容で、ＱＡデータＩＤ欄１７２１に設定されたＱＡデータＩＤで識別されるＱＡデータＤＢ１４２のＱＡデータを更新（上書き）する。また、ＱＡデータ管理部１５４は、管理者によって削除ボタン１７２５が押下されると、ＱＡデータＩＤ欄１７２１に設定されたＱＡデータＩＤで識別されるＱＡデータＤＢ１４２のＱＡデータを削除する。また、ＱＡデータ管理部１５４は、管理者によって追加ボタン１７２６が押下されると、新規なＱＡデータＩＤを有し、編集後の質問テキスト欄１７２２および応答テキスト欄１７２３に設定された質問テキストおよび応答テキストの内容を有するＱＡデータを作成し、ＱＡデータＤＢ１４２に新規ＱＡデータとして追加する。

【0057】

クラスタ表示領域１７３は、クラスタ１４４０の内容、すなわち、クラスタＩＤ１４４１、質問ラベル１４４２、チャットログ数１４４３、およびチャットログＩＤのリスト１４３４を表示する。ＱＡデータ管理部１５４は、カレント学習データのクラスタＩＤ１４６６に一致するクラスタＩＤ１４４１を有するクラスタ１４４０の内容をクラスタＤＢ１４４から読み出して、クラスタ表示領域１７３に表示する。ＱＡデータ管理部１５４は、クラスタ表示領域１７３に表示したチャットログＩＤのリスト１４３４中の１つのチャットログＩＤをカレントチャットログＩＤとする。ＱＡデータ管理部１５４は、カレントチャットログＩＤをハイライト表示などで管理者に明示する。ＱＡデータ管理部１５４は、管理者のカーソル操作による変更の指示に応じて、カレントチャットログＩＤをチャットログＩＤのリスト１４３４中の指定されたチャットログＩＤに切り替える。

【0058】

チャットログ表示領域１７５は、チャットログ情報を表示する領域である。ＱＡデータ管理部１５４は、チャットログ表示領域１７５に、カレントチャットログＩＤに一致するチャットログＩＤを有するチャットログ情報をチャットログＤＢ１４３から読み出して表示する。

【0059】

ルール表示領域１７４は、ルール１４５０の内容、すなわち、ルールＩＤ１４５１、特徴量種別１４５２、学習対象ＱＡデータ１４５３、および評価値算出基準１４５４を表示する領域である。ＱＡデータ管理部１５４は、カレント学習データのルールＩＤ１４６７に一致するルールＩＤ１４５１を有するルール１４５０をルールＤＢ１４５から読み出して、ルール表示領域１７４に表示する。

【0060】

ＱＡデータ管理部１５４は、図１２に示したチャットボット管理画面１７０を用いて上述したような処理を行うため、情報処理装置１００の管理者は、学習データＤＢ１４６に保存された学習データ１４６０を個別に参照しながら、学習対象となったＱＡデータの修正、削除、追加を対話形式で行うことができる。また、ＱＡデータ管理部１５４は、学習データ１４６０の作成に用いられたクラスタ１４４０の内容をクラスタ表示領域１７３に表示し、そのクラスタ１４４０を構成するチャットログ情報の詳細をチャットログ表示領域１７５に表示するため、管理者は学習データ１４６０がどのようなクラスタ１４４０およびチャットログ情報の集合から生成されたものであるかを確認しながら、ＱＡデータの修正、削除、追加を行うことができる。また、ＱＡデータ管理部１５４は、学習データ１４６０の作成に用いられたルール１４５０の内容をルール表示領域１７４に表示するため、管理者は学習データ１４６０がどのようなルール１４５０を用いて生成されたものであるかを確認しながら、ＱＡデータの修正、削除、追加を行うことができる。

【0061】

以上説明したように、本実施形態に係る情報処理装置１００によれば、非能動的な評価情報を容易に取得することができる。その理由は、情報処理装置１００は、チャットのログ情報の収集、収集したチャットのログ情報からの特徴量の算出し、算出した特徴量に基づく評価値の算出等は全て情報処理装置１００側で実施でき、マイク、カメラ、生体検出センサといった特別な機器を必ずしもチャットユーザ側に備える必要がないためである。

【0062】

また、本実施形態に係る情報処理装置１００によれば、複数のログ情報を意味的に類似するログ情報同士は同じクラスタにクラスタリングし、同じクラスタに属する複数のログ情報のそれぞれから所定の特徴量を抽出し、その抽出した複数の特徴量を統計処理した結果に基づいて、クラスタ内のログ情報に共通に含まれる質問テキストに関連するＱＡデータの良し悪しを表す学習データを作成する。そのため、特定のチャットユーザの行動による評価のばらつきを低減することができる。

【0063】

また、本実施形態に係る情報処理装置１００によれば、特徴量として、「最後の質問に対する応答の提示からチャット終了までの時間」（ルール１４５０－１）や、「前回の質問から所定時間が経過する前に次の質問が行われた頻度」（ルール１４５０－２）を用いているため、サイレントマジョリティの意見を反映した学習データを作成することができる。

【0064】

［第２の実施の形態］
次に、本発明の第２の実施形態に係るＱＡデータ評価装置について図面を参照して説明する。図１３は、本実施形態に係るＱＡデータ評価装置２００のブロック図である。

【0065】

図１３を参照すると、ＱＡデータ評価装置２００は、取得手段２０１と抽出手段２０２と生成手段２０３とを含んで構成されている。

【0066】

取得手段２０１は、チャットボットに対するユーザからの質問内容及び質問に対するチャットボットからの応答内容を含むＱＡデータと、上記ユーザによるチャットボットの利用に関するログ情報と、を取得するように構成されている。

【0067】

抽出手段２０２は、上記ログ情報から、上記ユーザによるチャットボットの利用の時間的な挙動に関する特徴量を抽出するように構成されている。

【0068】

生成手段２０３は、上記特徴量に基づいて、上記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成するように構成されている。

【0069】

このように構成されたＱＡデータ評価装置２００は、以下のように動作する。すなわち、先ず、取得手段２０１は、チャットボットに対するユーザからの質問内容及び質問に対するチャットボットからの応答内容を含むＱＡデータと、上記ユーザによるチャットボットの利用に関するログ情報と、を取得する。次に、抽出手段２０２は、上記ログ情報から、上記ユーザによるチャットボットの利用の時間的な挙動に関する特徴量を抽出する。次に、生成手段２０３は、上記特徴量に基づいて、上記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する。

【0070】

以上のように構成され動作するＱＡデータ評価装置２００によれば、非能動的な評価情報を容易に取得することができる。その理由は、ＱＡデータ評価装置２００は、チャットのログ情報の収集、収集したチャットのログ情報からの特徴量の算出し、算出した特徴量に基づく評価値の算出等は全てＱＡデータ評価装置２００側で実施でき、マイク、カメラ、生体検出センサといった特別な機器を必ずしもチャットユーザ側に備える必要がないためである。

【0071】

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。例えば、以下のような変形例も本発明に含まれる。

【0072】

上述した実施形態では、チャットのログ情報からチャットユーザのチャット中の時間的な挙動の特徴量を算出し、その算出した特徴量に基づいてＱＡデータの良し悪しを表す学習データを作成した。しかし、チャットのログ情報から算出したチャットユーザのチャット中の時間的な挙動の特徴量に加えて、他の情報を考慮して学習データを作成してもよい。他の情報として、能動的な評価情報や、チャットユーザの音声、画像、生体情報（脈拍、心拍数、血圧、脳波、呼吸数など）、ＵＲＬ選択、利用日時、ユーザ端末情報（ＰＣ、スマートフォンなど）が例示される。

【0073】

能動的な評価情報は、チャットボットの運用中に応答を受けたチャットユーザが示した反応の情報に基づいて作成される。能動的な評価情報は、提示された応答を評価する目的でチャットユーザが能動的にわざわざ入力する情報である。能動的な評価情報の例としては、良い評価を示す「いいね」「すごいね」「賢いね」などや、悪い評価を示す「やだね」「だめだね」などの発話やテキスト、絵文字、スタンプなどがある。また、能動的な評価情報は、例えば、「いいね」又は「悪いね」を示すソーシャルボタンにより入力される。しかしながら、必ずしも能動的な評価情報を得られるとは限らないため、学習データの生成に必要な能動的な評価情報が不十分になりうる。能動的な評価情報が得られるのは全体の質問のうちの１０％程度である言われている。そのため、能動的な評価情報以外の情報、すなわち非能動的な評価情報によって、提示した応答に対するチャットユーザの満足度や評価を測定して学習データを作成することが重要である。本発明によれば、そのような非能動的な評価情報を手軽に作成することができる。

【産業上の利用可能性】

【0074】

本発明は、チャットボットの運用管理に適用でき、例えばＱＡデータのメンテナンスに利用できる。

【0075】

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得する取得手段と、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出する抽出手段と、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する生成手段と、
を備えるＱＡデータ評価装置。
［付記２］
前記ログ情報の意味的な類似性に応じて、複数の前記ログ情報を複数のグループにクラスタリングするクラスタリング手段をさらに備え、
前記抽出手段は、前記複数のクラスタそれぞれに属する複数のログ情報のそれぞれから前記特徴量を抽出し、
前記生成手段は、前記複数のログ情報のそれぞれから抽出した複数の特徴量を統計処理した結果に基づいて、前記ＱＡデータ評価情報を生成する、
付記１に記載のＱＡデータ評価装置。
［付記３］
前記特徴量は、前記ユーザからの最後の質問に対する応答の内容を出力してから前記チャットの終了までの時間に関する特徴量である、
付記１または２に記載のＱＡデータ評価装置。
［付記４］
前記特徴量は、前記ユーザから前記チャットボットに対して質問の内容が入力された時点から所定時間経過前に別の質問の内容が入力される頻度に関する特徴量である、
付記１又は２に記載のＱＡデータ評価装置。
［付記５］
前記生成されたＱＡデータ評価情報を表示するＱＡデータ管理手段を、さらに備える、
付記１乃至４の何れかに記載のＱＡデータ評価装置。
［付記６］
前記ＱＡデータ管理手段は、前記チャットボットの管理者による前記ＱＡデータに対する操作入力に応じて、前記ＱＡデータを更新するか、削除するか、または追加する、
付記５に記載のＱＡデータ評価装置。
［付記７］
前記ＱＡデータ管理手段は、前記ＱＡデータ評価情報の生成に用いられた前記ログ情報を表示する、
付記５または６に記載のＱＡデータ評価装置。
［付記８］
前記ＱＡデータ管理手段は、前記ログ情報から前記ＱＡデータ評価情報を作成するために用いた前記特徴量の種別と前記ＱＡデータの良し悪しを表す評価値の算出基準とを含むルールを表示する、
付記５乃至７の何れかに記載のＱＡデータ評価装置。
［付記９］
チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得し、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出し、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する、
ＱＡデータ評価方法。
［付記１０］
コンピュータに、
チャットボットに対するユーザからの質問の内容及び前記質問に対する前記チャットボットからの応答の内容を含むＱＡデータと、前記ユーザによる前記チャットボットの利用に関するログ情報と、を取得する処理と、
前記ログ情報から前記ユーザによる前記チャットボットの利用の時間的な挙動に関する特徴量を抽出する処理と、
前記特徴量に基づいて、前記ＱＡデータの良し悪しを示すＱＡデータ評価情報を生成する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

【符号の説明】

【0076】

１００ 情報処理装置
１１０ 通信Ｉ／Ｆ部
１２０ 操作入力部
１３０ 画面表示部
１４０ 記憶部
１４１ プログラム
１４２ ＱＡデータＤＢ
１４３ チャットログＤＢ
１４４ クラスタＤＢ
１４５ ルールＤＢ
１４６ 学習データＤＢ
１５０ 演算処理部
１５１ チャットボット
１５２ チャットログ収集部
１５３ 学習データ生成部
１５４ ＱＡデータ管理部

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】