特開 2023-81207 情報処理装置、情報処理方法、プログラム、および情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023081207

(43)【公開日】2023-06-09

(54)【発明の名称】情報処理装置、情報処理方法、プログラム、および情報処理システム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20230602BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021194968

(22)【出願日】2021-11-30

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100089118

【弁理士】

【氏名又は名称】酒井 宏明

(72)【発明者】

【氏名】米谷 柚香

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC12

(57)【要約】

【課題】チャットボットの精度改善をより正確に行うことができる情報処理装置、情報処理方法、プログラム、および情報処理システムを提供する。
【解決手段】本発明は、端末装置からメッセージ情報を受信し、質問情報から回答情報に導くシナリオ、および前記質問情報と前記回答情報とを対応付ける設定情報に基づいて、前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信する実行部と、前記質問情報および前記回答情報に対する第１の評価値と、前記シナリオに対する第２の評価値と、に基づく修正手段を表示する表示制御部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

端末装置からメッセージ情報を受信し、質問情報から回答情報に導くシナリオ、および前記質問情報と前記回答情報とを対応付ける設定情報に基づいて、前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信する実行部と、
前記質問情報および前記回答情報に対する第１の評価値と、前記シナリオに対する第２の評価値と、に基づく修正手段を表示する表示制御部と、
を備える情報処理装置。

【請求項2】

前記表示制御部は、前記第１の評価値または前記第２の評価値が予め設定される評価値より低くかつ前記第２の評価値が前記第１の評価値以上である場合、前記質問情報および前記回答情報の前記修正手段を表示する、請求項１に記載の情報処理装置。

【請求項3】

前記表示制御部は、前記第１の評価値または前記第２の評価値が前記予め設定される評価値より低くかつ前記第２の評価値が前記第１の評価値未満である場合、前記シナリオの前記修正手段を表示する、請求項２に記載の情報処理装置。

【請求項4】

前記表示制御部は、前記第１の評価値および前記第２の評価値が前記予め設定される評価値以上である場合、前記修正手段を表示しない、請求項２または３に記載の情報処理装置。

【請求項5】

前記実行部は、前記シナリオおよび前記設定情報に基づいて前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信するシナリオ型のチャットボット、および、前記端末装置から受信したメッセージ情報に応答するメッセージ情報を自然文検索により取得して前記端末装置に送信する自然文検索型のチャットボットを実行し、
前記表示制御部は、前記シナリオ型のチャットボットに対する評価値と、前記自然文検索型のチャットボットに対する評価値と、の比較結果に基づいて、前記シナリオ型のチャットボットおよび前記自然文検索型のチャットボットの少なくとも一方の前記修正手段を表示する、請求項１から４のいずれか一に記載の情報処理装置。

【請求項6】

前記表示制御部は、前記シナリオ型のチャットボットに対する評価値、および前記自然文検索型のチャットボットに対する評価値のそれぞれの原因を特定して表示する、請求項５に記載の情報処理装置。

【請求項7】

情報処理装置で実行される情報処理方法であって、
実行部が、端末装置からメッセージ情報を受信し、質問情報から回答情報に導くシナリオ、および前記質問情報と前記回答情報とを対応付ける設定情報に基づいて、前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信する工程と、
表示制御部が、前記質問情報および前記回答情報に対する第１の評価値と、前記シナリオに対する第２の評価値と、に基づく修正手段を表示する工程と、
を含む情報処理方法。

【請求項8】

前記表示制御部は、前記第１の評価値または前記第２の評価値が予め設定される評価値より低くかつ前記第２の評価値が前記第１の評価値以上である場合、前記質問情報および前記回答情報の前記修正手段を表示する、請求項７に記載の情報処理方法。

【請求項9】

前記表示制御部は、前記第１の評価値または前記第２の評価値が前記予め設定される評価値より低くかつ前記第２の評価値が前記第１の評価値未満である場合、前記シナリオの前記修正手段を表示する、請求項８に記載の情報処理方法。

【請求項10】

前記表示制御部は、前記第１の評価値および前記第２の評価値が前記予め設定される評価値以上である場合、前記修正手段を表示しない、請求項８または９に記載の情報処理方法。

【請求項11】

前記実行部が、前記シナリオおよび前記設定情報に基づいて前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信するシナリオ型のチャットボット、および、前記端末装置から受信したメッセージ情報に応答するメッセージ情報を自然文検索により取得して前記端末装置に送信する自然文検索型のチャットボットを実行する工程と、
前記表示制御部が、前記シナリオ型のチャットボットに対する評価値と、前記自然文検索型のチャットボットに対する評価値と、の比較結果に基づいて、前記シナリオ型のチャットボットおよび前記自然文検索型のチャットボットの少なくとも一方の前記修正手段を表示する工程と、
をさらに含む請求項７から１０のいずれか一に記載の情報処理方法。

【請求項12】

前記表示制御部が、前記シナリオ型のチャットボットに対する評価値、および前記自然文検索型のチャットボットに対する評価値のそれぞれの原因を特定して表示する工程をさらに含む請求項１１に記載の情報処理方法。

【請求項13】

コンピュータを、
端末装置からメッセージ情報を受信し、質問情報から回答情報に導くシナリオ、および前記質問情報と前記回答情報とを対応付ける設定情報に基づいて、前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信する実行部と、
前記質問情報および前記回答情報に対する第１の評価値と、前記シナリオに対する第２の評価値と、に基づく修正手段を表示する表示制御部と、
して機能させるためのプログラム。

【請求項14】

端末装置からメッセージ情報を受信し、質問情報から回答情報に導くシナリオ、および前記質問情報と前記回答情報とを対応付ける設定情報に基づいて、前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信する実行部と、
前記質問情報および前記回答情報に対する第１の評価値と、前記シナリオに対する第２の評価値と、に基づく修正手段を表示する表示制御部と、
を備える情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。

【背景技術】

【0002】

利用者からの問合せに対して回答を自動応答するサービスを提供するシステム（所謂、チャットボットと呼ばれる）がある。また、このような利用者の問合せに対する回答が適切か否かを評価するためのフィードバックを取得する技術が開発されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、上述の技術では、そのようなフィードバックにおいて、不満足であるとの評価があった場合に、その評価が問合せに対する回答が悪いのか、若しくは問合せに対する回答を表示するまでのフローが悪いのか等を判断することが困難である。

【0004】

本発明は、上記に鑑みてなされたものであって、チャットボットの精度改善をより正確に行うことができる情報処理装置、情報処理方法、プログラム、および情報処理システムを提供することを目的とする。

【課題を解決するための手段】

【0005】

上述した課題を解決し、目的を達成するために、本発明は、端末装置からメッセージ情報を受信し、質問情報から回答情報に導くシナリオ、および前記質問情報と前記回答情報とを対応付ける設定情報に基づいて、前記端末装置から受信したメッセージ情報に対して応答するメッセージ情報を前記端末装置に送信する実行部と、前記質問情報および前記回答情報に対する第１の評価値と、前記シナリオに対する第２の評価値と、に基づく修正手段を表示する表示制御部と、を備える。

【発明の効果】

【0006】

本発明によれば、チャットボットの精度改善をより正確に行うことができる、という効果を奏する。

【図面の簡単な説明】

【0007】

【図1】図１は、第１の実施の形態のチャットボットシステムのシステム構成図である。

【図2】図２は、第１の実施の形態にかかるチャットボットサービスが有する情報処理装置のブロック図である。

【図3】図３は、第１の実施の形態にかかるチャットボットサービスの機能構成の一例を示すブロック図である。

【図4】図４は、第１の実施の形態にかかるチャットボットサービスが有するＦＡＱデータベースの構成の一例を示す図である。

【図5】図５は、第１の実施の形態にかかるチャットボットサービスが有するシナリオデータベースの一例を示す図である。

【図6】図６は、第１の実施の形態にかかるチャットボットサービスにより表示されるシナリオ設定画面の一例を示す図である。

【図7】図７は、第１の実施の形態にかかるチャットボットサービスにより表示されるホームページ画面およびチャットボット画面の一例を示す図である。

【図8】図８は、第１の実施の形態にかかるチャットボットサービスが有する問合せ履歴データベースの構成の一例を示す図である。

【図9】図９は、第１の実施の形態にかかるチャットボットサービスにおけるチャットボットの修正手段の表示処理の流れの一例を示すフローチャートである。

【図10】図１０は、第１の実施の形態にかかるチャットボットサービスにより表示される統計情報画面の一例を示す図である。

【図11】図１１は、第１の実施の形態にかかるチャットボットサービスにより表示される統計情報画面の一例を示す図である。

【図12】図１２は、第１の実施の形態にかかるチャットボットサービスにより表示されるシナリオ設定画面の一例を示す図である。

【図13】図１３は、第１の実施の形態にかかるチャットボットサービスにより表示される質問回答編集画面の一例を示す図である。

【図14】図１４は、第１の実施の形態にかかるチャットボットサービスにより表示される履歴一覧画面の一例を示す図である。

【図15】図１５は、第１の実施の形態にかかるチャットボットサービスにより表示される履歴詳細画面の一例を示す図である。

【図16】図１６は、第１の実施の形態にかかるチャットボットサービスによる履歴情報の登録処理の流れの一例を示すシーケンス図である。

【図17】図１７は、第１の実施の形態にかかるチャットボットサービスによる履歴情報の登録処理の流れの一例を示すシーケンス図である。

【図18】図１８は、第１の実施の形態にかかるチャットボットサービスにおける質問回答データの編集処理の流れの一例を示すシーケンス図である。

【図19】図１９は、第２の実施の形態にかかるチャットボットシステムにおける修正手段の表示処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、情報処理装置、情報処理方法、プログラム、および情報処理システムの実施の形態を詳細に説明する。

【0009】

（第１の実施の形態）
図１は、第１の実施の形態のチャットボットシステムのシステム構成図である。図１に示すように、本実施の形態にかかるチャットボットシステム（情報処理システムの一例）は、チャットボットサービス１０、当該チャットボットサービス１０の利用者（会話ユーザ）のユーザ端末１１（端末装置の一例）、および、当該チャットボットサービス１０を導入している企業等の管理者（オペレータを含む管理ユーザ）の管理端末１２を有している。図１には、チャットボットサービス１０は、１以上の情報処理装置（サーバ）により構成されていても良い。

【0010】

図２は、第１の実施の形態にかかるチャットボットサービスが有する情報処理装置のブロック図である。図２に示すように、チャットボットサービス１０が有する情報処理装置は、ＣＰＵ（Center Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３、ＨＤＤ（Hard Disk Drive）２４、操作インタフェース（操作Ｉ／Ｆ）２５、および通信部２６を有している。

【0011】

図３は、第１の実施の形態にかかるチャットボットサービスの機能構成の一例を示すブロック図である。本実施の形態では、チャットボットサービス１０が有する情報処理装置のＣＰＵ２１が、ＨＤＤ２４に記憶されている情報処理プログラムを実行することで、図３に示すように、管理画面入出力部３０１、質問管理部３０２、ＦＡＱデータベース３０３、過去チャット管理部３０４、問合せ履歴データベース３０５、シナリオ管理部３０６、およびシナリオデータベース３０７を実現する。

【0012】

管理画面入出力部３０１は、チャットボットによって会話するにあたり必要な質問情報および回答情報（以下、質問回答データという）、チャットボットの設定を行うユーザの情報を管理するためのＵＩを提供する。また、管理画面入出力部３０１は、ユーザ端末１１からメッセージ情報を受信し、シナリオおよび設定情報に従って、受信したメッセージに対して応答するメッセージ情報をユーザ端末１１に送信するシナリオ型のチャットボットを実行する実行部の一例として機能する。ここで、シナリオは、質問情報から回答情報に導くフローである。また、設定情報は、質問情報と回答情報とを対応付ける情報である。

【0013】

また、管理画面入出力部３０１は、シナリオ型のチャットボットによる質問回答データに対する満足度ａ（第１の評価値の一例）と、シナリオ型のチャットボットのシナリオに対する満足度ｂ（第２の評価値の一例）と、に基づく修正手段（シナリオ型のチャットボットの修正手段等の修正方法）を表示する表示制御部の一例である。これにより、質問回答データが悪いのか、若しくはシナリオが悪いのかを判断することが可能となるので、チャットボットの精度改善をより正確に行うことができる。

【0014】

例えば、管理画面入出力部３０１は、チャットボットによる会話により入力される入力テキストをメッセージ情報（問合せ情報）として受信する。ここで、入力テキストは、例えば、文字または音声により入力されても良いが、テキストに変換可能な情報であれば、これに限定するものではない。また、管理画面入出力部３０１は、設定情報に含まれる質問回答データを追加または編集する場合、新たな質問回答データを質問管理部３０２に受け渡す。

【0015】

質問管理部３０２は、管理画面入出力部３０１から送られてきた各種情報（例えば、質問回答データ）に基づいて、当該各種情報をＦＡＱデータベース３０３へ登録したり、ＦＡＱデータベース３０３から各種情報を取得して管理画面入出力部３０１へ返したりする。

【0016】

また、質問管理部３０２は、質問回答データを追加・編集する場合、管理画面入出力部３０１から受け取った質問回答データが登録可能であれば、当該質問回答データをＦＡＱデータベース３０３に登録する。

【0017】

ＦＡＱデータベース３０３は、チャットボットがメッセージ情報の送信に用いる質問回答データ、当該質問回答データのカテゴリ等の各種情報を格納する。図４は、第１の実施の形態にかかるチャットボットサービスが有するＦＡＱデータベースの構成の一例を示す図である。本実施の形態では、ＦＡＱデータベース３０３は、図４に示すように、質問回答データの質問回答ＩＤ、質問情報、および回答情報を対応付ける設定情報を記憶する。

【0018】

問合せ履歴データベース３０５は、チャットボットによるユーザとの会話履歴、チャットボットによるユーザとの会話後に受けたフィードバック等を格納する。過去チャット管理部３０４は、問合せ履歴データベース３０５から、会話履歴およびフィードバック等の各種データを取得して、管理画面入出力部３０１へ返す役割を持つ。

【0019】

シナリオ管理部３０６は、シナリオデータベース３０７からシナリオを取得して、管理画面入出力部３０１へ返す役割を持つ。ここで、シナリオは、上述したように、シナリオ型のチャットボットが質問情報から回答情報へ導くフロー（すなわち、ユーザ端末１１との会話に使用するフロー）である。

【0020】

シナリオデータベース３０７は、チャットボットがユーザ端末１１との会話に使用するシナリオを格納する。図５は、第１の実施の形態にかかるチャットボットサービスが有するシナリオデータベースの一例を示す図である。本実施の形態では、シナリオデータベース３０７は、図５に示すように、シナリオＩＤ（シナリオを特定する識別情報）、シナリオの名称であるシナリオ名、シナリオに含まれるカードのＩＤであるカードＩＤ（カードを特定する識別情報）、カードに含めるテキストであるカードテキスト、カードの表示条件であるカード表示条件、カード内に含まれるオブジェクトの識別情報であるオブジェクトＩＤ、オブジェクトの種別であるオブジェクト種別、およびオブジェクトの詳細であるオブジェクト詳細を対応付けて記憶する。

【0021】

図６は、第１の実施の形態にかかるチャットボットサービスにより表示されるシナリオ設定画面の一例を示す図である。本実施の形態では、管理画面入出力部３０１は、図６に示すように、シナリオ型のチャットボットのシナリオを設定可能なシナリオ設定画面Ｇ１を、管理端末１２に表示する。シナリオ設定画面は、図６に示すように、シナリオに含めるカードＣ、および当該カードＣの追加を指示可能なカード追加ボタン（例えば、「カードを追加」）を含む。

【0022】

ここで、カードＣは、図６に示すように、カードテキスト（例えば、「〇〇サービスについて調べたいことをお選び下さい。」）、カードに含めるオブジェクト（例えば、「〇〇サービスの特長について知りたい」）、当該オブジェクトの種別（例えば、質問回答データ、テキスト、戻る）、当該オブジェクトの追加を指示可能なオブジェクト追加ボタン（例えば、「オブジェクト追加」）等を含む。

【0023】

例えば、オブジェクト追加ボタンがクリックされ、オブジェクトの種別：「質問回答」「テキスト」「戻る」の中から、「質問回答」が選択されると、管理画面入出力部３０１は、ＦＡＱデータベース３０３に登録済みの質問回答データの中から、オブジェクトに含める質問回答データを選択する。また、例えば、オブジェクト追加ボタンがクリックされ、オブジェクトの種別：「質問回答」「テキスト」「戻る」の中から、「テキスト」が選択されると、管理画面入出力部３０１は、オブジェクトに含めるカードテキストの入力を受け付ける。

【0024】

また、図６に示すように、ユーザによって、シナリオ設定画面において、一方のカードＣ内に含まれるオブジェクト（例えば、「料金について知りたい」等のテキスト）と、他方のカードＣとが線で結ばれると、管理画面入出力部３０１は、当該一方のカードＣ内に含まれるオブジェクト内のテキストを、当該他方のカードＣの表示条件に設定する。

【0025】

図７は、第１の実施の形態にかかるチャットボットサービスにより表示されるホームページ画面およびチャットボット画面の一例を示す図である。本実施の形態では、管理画面入出力部３０１は、図７に示すように、チャットボット画面Ｇ３を表示させるためのチャットボットアイコン７００を含むホームページ画面Ｇ２をユーザ端末１１に表示する。そして、ホームページ画面Ｇ２に含まれるチャットボットアイコン７００がクリックされると、管理画面入出力部３０１は、図７に示すように、チャットボット画面Ｇ３をユーザ端末１１に表示する。

【0026】

管理画面入出力部３０１は、質問情報（例えば、「〇〇サービスについて調べたいことをお選び下さい。」）を含むカードＣ、ユーザにより入力されるメッセージ情報Ｍ（例えば、「〇〇サービスの料金について知りたい」）、およびユーザがメッセージ情報Ｍを直接入力可能な入力欄７０１をチャットボット画面Ｇ３に表示させる。また、ユーザは、チャットボット画面Ｇ３に含まれるカードＣ内に表示されるボタンをクリックすることによって、メッセージ情報Ｍを入力することも可能である。

【0027】

また、管理画面入出力部３０１は、チャットボットによる会話が終了すると、メッセージ情報に対する質問回答データにユーザが満足したか否かを回答可能な評価するためのカードである評価カードＣ（例えば、「今の回答で解決しましたか？はい、いいえで回答を終了します。」）を、チャットボット画面Ｇ３に表示する。例えば、管理画面入出力部３０１は、質問回答データに満足した場合には「はい」を選択可能で、質問回答データに不満足の場合には「いいえ」を選択可能な評価カードＣをチャットボット画面Ｇ３に表示する。

【0028】

ここで、評価カードＣの「はい」のクリック等によって、質問回答データに満足したことが選択された場合、管理画面入出力部３０１は、予め管理者が設定した情報に基づいて、固定のメッセージ（例えば、「ありがとうございました。」）を含むカードをチャットボット画面Ｇ３に表示する。一方、評価カードＣの「いいえ」のクリック等によって、質問回答データに不満足であることが選択された場合、管理画面入出力部３０１は、予め管理者が設定した情報に基づいて、固定のメッセージ（例えば、「申し訳ございませんが、問い合わせ窓口にご連絡下さい。」）を含むカードＣをチャットボット画面Ｇ３に表示する。

【0029】

図８は、第１の実施の形態にかかるチャットボットサービスが有する問合せ履歴データベースの構成の一例を示す図である。本実施の形態では、問合せ履歴データベース３０５は、図８に示すように、履歴ＩＤ、会話日時、会話内容、オブジェクトＩＤ、質問回答ＩＤ、および評価値（満足度）を対応付けて記憶する。本実施の形態では、履歴ＩＤ、会話日時、会話内容、オブジェクトＩＤ、質問回答ＩＤ、および評価値を含む一連の情報が、１つの履歴情報として問合せ履歴データベース３０５に格納される。

【0030】

ここで、履歴ＩＤは、チャットボットによるユーザとの会話履歴の識別情報である。会話日時は、チャットボットによりユーザとの会話が行われた日時である。会話内容は、会話の発言者および発言内容（質問情報、回答情報）を含む。例えば、ユーザが「〇〇サービスの定額制料金」との質問情報を入力して、チャットボットが検索した結果、質問回答ＩＤ：Ｑ０１０８の質問回答データ：「〇〇サービスの定額制料金はプランによって異なり・・・Ｂプランは・・・」を特定した場合、会話内容には、発言者：「ユーザ」および発言内容：「ＯＯサービスの定額制料金」、発言者：「ボット」および発言内容：「〇〇サービスの定額制料金はプランによって異なり・・・Ｂプランは・・・」が含まれる。

【0031】

オブジェクトＩＤは、チャットボットによる会話においてシナリオが使われた際にユーザが選択したオブジェクトの識別情報であり、チャットボットによる会話においてシナリオが使われていない場合には空欄となる。質問回答ＩＤは、チャットボットによるメッセージ情報の送信で使用された質問回答データの識別情報である。評価値は、チャットボットに対するユーザの評価値（満足度）である。

【0032】

例えば、評価値は、上述した評価値の一例である満足度（例えば、満足度ａ、満足度ｂ、．．．）のようなランク評価であっても良いが、満足、不満足、未回答、または回答不可であっても良く、数値（数字）で示すものであっても良い。ここで、満足は、チャットボット画面Ｇ３の評価カードＣにおいて「はい」が選択された場合である。また、不満足は、チャットボット画面Ｇ３の評価カードＣにおいて「いいえ」が選択された場合である。また、未回答は、チャットボット画面Ｇ３の評価カードＣにおいてユーザが未回答で、そのままチャットボット画面Ｇ３が閉じられ、会話が終了した場合である。また、回答不可は、チャットボットがユーザの質問情報に対する回答を見つけられなかった場合である。

【0033】

ここで、チャットボットによる回答情報に対する評価値は、予め設定された期間内における、「満足」の件数／（「満足」件数＋「不満足」の件数）により算出される満足度であっても良い。その際、評価は、オブジェクトＩＤが空欄でない履歴情報における、「満足」の件数／（「満足」件数＋「不満足」の件数）により算出される満足度であっても良い。

【0034】

例えば、履歴ＩＤ：Ｈ０００１２３３５，Ｈ０００１２３３６の履歴情報についてのチャットボットに対する評価値は、履歴ＩＤ：Ｈ０００１２３３５のオブジェクトＩＤが空欄のため、履歴ＩＤ：Ｈ０００１２３３５の評価は集計の対象外となる。すなわち、履歴ＩＤ：Ｈ０００１２３３５，Ｈ０００１２３３６の履歴情報についてのチャットボットに対する評価値は、履歴ＩＤ：Ｈ０００１２３３６の評価が集計の対象となる。また、チャットボットに対する評価値は、オブジェクトＩＤが空欄でない履歴情報の「未回答」の件数および「回答不可」の件数は除いて算出しても良い。

【0035】

図９は、第１の実施の形態にかかるチャットボットサービスにおけるチャットボットの修正手段の表示処理の流れの一例を示すフローチャートである。まず、管理画面入出力部３０１は、チャットボットに対する満足度を算出する指定期間、および後述する統計情報画面に含める履歴情報の件数を取得する（ステップＳ９０１）。ここで、統計情報画面は、チャットボットによるユーザとの会話内容の件数の統計情報を含む画面である。

【0036】

次いで、管理画面入出力部３０１は、問合せ履歴データベース３０５を参照して、会話日時が指摘期間内の会話内容の履歴を、チャットボットによる回答（応答メッセージの送信）に用いられた件数が多い順にソートし、上位の所定件数分の会話内容（質問回答情報）を特定する（ステップＳ９０２）。

【0037】

次いで、管理画面入出力部３０１は、チャットボットシステムを利用する特定のテナントにおける平均的な満足度である標準満足度ｎ（例えば、５０％）を取得する（ステップＳ９０３）。ここで、標準満足度ｎは、予め設定される評価値の一例である。例えば、標準満足度ｎは、チャットボットシステムを利用する特定の業種のテナントにおける平均的な満足度、チャットボットシステムを利用する全てのテナントにおける平均的な満足度、またはチャットボットシステムを利用する業界全体の平均的な満足度であっても良い。

【0038】

また、標準満足度ｎは、チャットボットシステムの運営側が当該チャットボットシステムに登録しておいても良いし、チャットボットシステムの利用側の管理者が当該チャットボットシステムに登録しておいても良い。また、管理画面入出力部３０１は、外部のチャットボットシステム（例えば、他社のチャットボットシステム）において共通して設定しているＦＡＱや項目（例えば、製品および手続）がある場合、当該ＦＡＱおよび項目に対する満足度の平均値、他社比較による満足度の数値を標準満足度ｎとして取得しても良い。

【0039】

次いで、管理画面入出力部３０１は、ステップＳ９０２において特定した会話内容を対象として以下の処理を実行する。まず、管理画面入出力部３０１は、特定した各会話内容の満足度ａ、およびチャットボットのシナリオの満足度ｂを算出する（ステップＳ９０４）。次に、管理画面入出力部３０１は、満足度ａ≧標準満足度ｎかつ満足度ｂ≧標準満足度ｎであるか否かを判断する（ステップＳ９０５）。そして、満足度ａ≧標準満足度ｎかつ満足度ｂ≧標準満足度ｎである場合（ステップＳ９０５：Ｙｅｓ）、管理画面入出力部３０１は、チャットボットの修正手段を表示しないと判断する（ステップＳ９０６）。

【0040】

一方、満足度ａ≧標準満足度ｎかつ満足度ｂ≧標準満足度ｎでないと判断した場合（ステップＳ９０５：Ｎｏ）、管理画面入出力部３０１は、満足度ａ≦満足度ｂであるか否かを判断する（ステップＳ９０７）。満足度ａ≦満足度ｂであると判断した場合（ステップＳ９０７：Ｙｅｓ）、管理画面入出力部３０１は、質問回答データを修正することを表示すると判断する（ステップＳ９０８）。すなわち、満足度ａが低い場合または満足度ａが満足度ｂと同レベルである場合、管理画面入出力部３０１は、チャットボットのシナリオの問題ではなく、質問回答データに自体に問題があると判断して、質問回答データの改善を提案する。

【0041】

一方、満足度ａ≦満足度ｂでないと判断した場合（ステップＳ９０７：Ｎｏ）、管理画面入出力部３０１は、チャットボットのシナリオを修正することを表示すると判断する（ステップＳ９０９）。その後、管理画面入出力部３０１は、ユーザに対して提案するシナリオを特定し、当該特定したシナリオを表示する（ステップＳ９１０）。例えば、管理者が質問情報：「〇〇サービスの従量制料金について知りたい」をオブジェクトとしてカードに追加することを忘れた場合、ユーザは、従量制料金が知りたいが、その選択肢がなく、やむを得ず「〇〇サービスの定額制」を選択して、結果的に期待した回答情報が得られない。この場合、ユーザは、評価カードにおいて、「いいえ」を選択する可能性が高い。

【0042】

一方、シナリオ型のチャットボットを使わずに、例えば、ユーザが「〇〇サービスの定額制料金を入力し、チャットボットがＱ０１０７の「〇〇サービスの定額制料金について知りたい」の質問回答データに基づいて、ユーザに回答した場合、ユーザは、「定額制料金」を知りたいため、期待した回答が得られる。この場合、ユーザは、評価カードにおいて、「はい」を選択する可能性が高い。このように、Ｑ０１０７の満足度は、シナリオ型のチャットボットを使用しなかった場合には満足度が高くなり、シナリオ型のチャットボットを利用した場合には満足度が低くなる。そのため、管理画面入出力部３０１は、シナリオ型のチャットボットにおけるシナリオの修正方法を表示する。これにより、管理者は、Ｑ０１０８の「〇〇サービスの従量制料金について知りたい」の追加漏れに気が付き、シナリオを修正することができる。

【0043】

図１０および図１１は、第１の実施の形態にかかるチャットボットサービスにより表示される統計情報画面の一例を示す図である。本実施の形態では、管理画面入出力部３０１は、上述したように、問合せ履歴データベース３０５に記憶される会話内容のうち会話日時が指定期間内の会話内容を、チャットボットが回答した件数が多い順にソートし、上位の所定件数分の会話内容を特定する。

【0044】

そして、管理画面入出力部３０１は、図１０に示すように、特定した会話内容、当該会話内容が行われた件数、当該会話内容の満足度、および当該会話内容の会話を行ったチャットボットの修正手段を含む統計情報画面Ｇ４を表示する。または、管理画面入出力部３０１は、図１１に示すように、統計情報画面が含む修正手段をクリックすることにより、統計情報画面Ｇ４からシナリオ設定画面Ｇ１（図１１参照）に遷移させることが可能なリンクを含む統計情報画面Ｇ４を表示しても良い。遷移したシナリオ設定画面Ｇ１においては、修正手段がクリックされた会話内容を含むカードＣを強調表示することも可能である。

【0045】

図１２は、第１の実施の形態にかかるチャットボットサービスにより表示されるシナリオ設定画面の一例を示す図である。本実施の形態では、統計情報画面Ｇ４において、修正手段がクリックされると、管理画面入出力部３０１は、図１２に示すように、シナリオ設定画面Ｇ１を表示する。その際、管理画面入出力部３０１は、シナリオ設定画面Ｇ１に含まれるカードＣのうち、満足度が低い質問回答データを含むカードＣ、および当該カードＣが含む質問回答データのうち満足度が低い質問回答データを強調表示しても良い。これにより、修正する必要がある質問回答データを管理者が容易に認識することができる。

【0046】

図１３は、第１の実施の形態にかかるチャットボットサービスにより表示される質問回答編集画面の一例を示す図である。本実施の形態では、統計情報画面Ｇ４またはシナリオ設定画面Ｇ１において、質問回答データの編集が要求されると、管理画面入出力部３０１は、図１３に示すように、質問情報（例えば、「〇〇サービスの定額制料金について知りたい」、および回答情報（例えば、「〇〇サービスの定額制料金はプランによって異なります。」を入力可能な入力欄を含む質問回答編集画面Ｇ５を表示しても良い。これにより、管理者は、満足度が低い会話内容が行われたシナリオ型のチャットボットの質問回答データを即座に修正することができる。

【0047】

本実施の形態では、管理画面入出力部３０１は、統計情報画面Ｇ４から、シナリオ設定画面Ｇ１または質問回答編集画面Ｇ５に遷移させているが、後述する履歴一覧画面Ｇ６（図１４参照）から、シナリオ設定画面Ｇ１または質問回答編集画面Ｇ５に遷移させて、質問回答データを編集可能としても良い。また、管理画面入出力部３０１は、履歴一覧画面Ｇ６または後述する履歴詳細画面Ｇ７（図１５参照）を表示する際、統計情報画面Ｇ４と同様に、会話内容の満足度を算出し、当該算出した満足度および修正手段を当該履歴一覧画面Ｇ６または履歴詳細画面Ｇ７に表示しても良い。さらに、管理画面入出力部３０１は、履歴一覧画面Ｇ６または履歴詳細画面Ｇ７に含まれる修正手段がクリックされた場合には、シナリオ設定画面Ｇ１または質問回答編集画面Ｇ５に遷移しても良い。

【0048】

図１４は、第１の実施の形態にかかるチャットボットサービスにより表示される履歴一覧画面の一例を示す図である。本実施の形態では、管理画面入出力部３０１は、問合せ履歴データベース３０５に記憶される会話内容を取得する。次いで、管理画面入出力部３０１は、図１４に示すように、当該取得した会話内容の一覧を含む履歴一覧画面Ｇ６を表示する。その際、管理画面入出力部３０１は、取得した会話内容のそれぞれの満足度を算出し、図１４に示すように、算出した満足度および修正手段を履歴一覧画面Ｇ６に含めても良い。

【0049】

図１５は、第１の実施の形態にかかるチャットボットサービスにより表示される履歴詳細画面の一例を示す図である。本実施の形態では、履歴一覧画面Ｇ６に表示される会話内容のうち、質問回答データを編集する会話内容がクリックされると、管理画面入出力部３０１は、図１５に示すように、シナリオ型のチャットボットによるシナリオに従って会話内容を含むカードＣが配置された履歴詳細画面Ｇ７を表示する。その際、管理画面入出力部３０１は、会話内容の修正手段を履歴詳細画面Ｇ７に含めても良い。

【0050】

そして、履歴詳細画面Ｇ７に含まれるカードＣまたはオブジェクトがクリックされると、管理画面入出力部３０１は、履歴詳細画面Ｇ７から、当該クリックされたカードＣまたはオブジェクトに含まれる質問回答データを編集可能なシナリオ設定画面Ｇ１に遷移させる。そして、管理画面入出力部３０１は、シナリオ設定画面Ｇ１に含まれるカードＣまたはオブジェクトのうち、履歴詳細画面Ｇ７においてクリックされたカードＣまたはオブジェクトを強調表示しても良い。また、履歴詳細画面Ｇ７において回答がクリックされると、管理画面入出力部３０１は、履歴詳細画面Ｇ７から、質問回答編集画面Ｇ５に遷移させる。

【0051】

図１６は、第１の実施の形態にかかるチャットボットサービスによる履歴情報の登録処理の流れの一例を示すシーケンス図である。ユーザがユーザ端末１１を操作して、ＨＰサービス（例えば、チャットボットサービス１０でも良い）に対して、ホームページ画面Ｇ
２を表示するためのＨＰコンテンツを要求し（ステップＳ１６０１）、ＨＰサービスからユーザ端末１１に対してＨＰコンテンツが応答されると（ステップＳ１６０２）、ユーザ端末１１は、ホームページ画面Ｇ２を表示する。

【0052】

その後、ユーザ端末１１は、スクリプトを実行して（ステップＳ１６０３）、チャットボットサービス１０から、チャットボット画面Ｇ３を表示するためのチャットボットコンテンツの取得を要求する（ステップＳ１６０４）。次に、チャットボットサービス１０の管理画面入出力部３０１は、チャットボット画面Ｇ３をユーザ端末１１に応答する（ステップＳ１６０５）。

【0053】

次に、ユーザ端末１１は、チャットボットアイコンを含むホームページ画面Ｇ２を表示する（ステップＳ１６０６）。そして、ユーザによってチャットボットアイコンがクリックされ、チャットボット画面Ｇ３の表示が要求されると、ユーザ端末１１は、カードＣ（所謂、シナリオカード）を含むチャットボット画面Ｇ３を表示する（ステップＳ１６０７）。

【0054】

その後、ユーザによってチャットボット画面Ｇ３のオブジェクトが選択されると、ユーザ端末１１は、チャットボットサービス１０に対してオブジェクトの選択を通知する（ステップＳ１６０８）。チャットボットサービス１０の管理画面入出力部３０１は、シナリオデータベース３０７から、選択されたオブジェクトの次に表示するカードＣまたは質問回答データを特定する（ステップＳ１６０９）。そして、管理画面入出力部３０１は、次に表示するカードＣまたは質問回答データ等のオブジェクトに対応するメッセージ情報（回答情報）を、ユーザ端末１１に応答して（ステップＳ１６１０）、ユーザ端末１１のチャットボット画面Ｇ３に対して、次のカードＣまたは回答情報を表示する（ステップＳ１６１１）。

【0055】

ユーザ端末１１のチャットボット画面Ｇ３に回答情報が表示されると、ユーザ端末１１は、チャットボット画面Ｇ３に評価カードＣ（評価画面）を表示する（ステップＳ１６１２）。そして、ユーザによって回答情報に対する評価値（満足度）が入力されると、ユーザ端末１１は、入力された評価値を、チャットボットサービス１０に送信する（ステップＳ１６１３）。チャットボットサービス１０の過去チャット管理部３０４は、ユーザ端末１１から受信する評価値を含む履歴情報を問合せ履歴データベース３０５に登録する（ステップＳ１６１４）。

【0056】

図１７は、第１の実施の形態にかかるチャットボットサービスによる履歴情報の登録処理の流れの一例を示すシーケンス図である。図１６に示すシーケンスのステップＳ１６１１において次のカードＣが表示された後、ユーザが、チャットボット画面Ｇ３において、質問情報を入力した場合、ユーザ端末１１は、入力されたメッセージ情報（質問文）をチャットボットサービス１０に送信して、当該メッセージ情報に対して応答するメッセージ情報（回答）を要求する（ステップＳ１７０１）。

【0057】

チャットボットサービス１０の管理画面入出力部３０１は、ＦＡＱデータベース３０３（質問回答テーブル）から、ユーザ端末１１から受信したメッセージ情報に応答するメッセージ情報を検索する（ステップＳ１７０２）。次いで、管理画面入出力部３０１は、検索されたメッセージ情報（回答情報）をユーザ端末１１に応答する（ステップＳ１７０３）。

【0058】

ユーザ端末１１は、チャットボットサービス１０から受信したメッセージ情報（回答情報）をチャットボット画面Ｇ３に表示する（ステップＳ１７０４）。次に、ユーザ端末１１は、チャットボット画面Ｇ３に評価カードＣを表示する（ステップＳ１７０５）。そして、ユーザによって回答情報に対する評価値（満足度）が入力されると、ユーザ端末１１は、入力された評価値を、チャットボットサービス１０に送信する（ステップＳ１７０６）。チャットボットサービス１０の過去チャット管理部３０４は、ユーザ端末１１から受信する評価値を含む履歴情報を問合せ履歴データベース３０５に登録する（ステップＳ１７０７）。

【0059】

図１８は、第１の実施の形態にかかるチャットボットサービスにおける質問回答データの編集処理の流れの一例を示すシーケンス図である。管理者によって管理端末１２に対して統計情報画面の表示が要求されると、管理端末１２は、チャットボットサービス１０に対して、統計情報画面Ｇ４の送信を要求する（ステップＳ１８０１）。管理端末１２から統計情報画面Ｇ４の送信が要求されると、チャットボットサービス１０の管理画面入出力部３０１は、図９に示す処理に従って、質問回答データまたはチャットボットの修正手段を求める（ステップＳ１８０２）。

【0060】

次いで、チャットボットサービス１０の管理画面入出力部３０１は、ステップＳ１８０２で求めた修正手段を含む統計情報画面Ｇ４を生成し（ステップＳ１８０３）、当該生成した統計情報画面Ｇ４を管理端末１２に応答する（ステップＳ１８０４）。管理端末１２は、チャットボットサービス１０から受信した統計情報画面Ｇ４を表示する（ステップＳ１８０５）。

【0061】

その後、管理者によって、統計情報画面Ｇ４内の修正手段がクリックされると、管理端末１２は、質問回答編集画面Ｇ５の送信をチャットボットサービス１０に対して要求する（ステップＳ１８０６）。その際、管理端末１２は、シナリオ型のチャットボットのシナリオを編集する場合には、シナリオＩＤをチャットボットサービス１０に送信し、質問回答データを編集する場合には、質問回答ＩＤをチャットボットサービス１０に送信する。

【0062】

次に、チャットボットサービス１０の管理画面入出力部３０１は、編集するシナリオのカードＣまたは編集する質問回答データを特定し（ステップＳ１８０７）、当該特定したカードＣまたは質問回答データを編集可能な質問回答編集画面Ｇ５を管理端末１２に応答する（ステップＳ１８０８）。管理端末１２は、チャットボットサービス１０から受信する質問回答編集画面Ｇ５を表示する（ステップＳ１８０９）。

【0063】

そして、質問回答編集画面Ｇ５においてカードＣまたは質問回答データの編集が行われると、管理端末１２は、編集されたカードＣまたは質問回答データの登録をチャットボットサービス１０に要求する（ステップＳ１８１０）。チャットボットサービス１０の質問管理部３０２は、編集された質問回答データをＦＡＱデータベース３０３に登録する（ステップＳ１８１１）。また、チャットボットサービス１０のシナリオ管理部３０６は、編集されたシナリオをシナリオデータベース３０７に登録する（ステップＳ１８１１）。

【0064】

このように、第１の実施の形態にかかるチャットボットシステムによれば、質問情報に対する回答情報が悪いのか、若しくはシナリオが悪いのかを判断することが可能となるので、チャットボットの精度改善をより正確に行うことができる。

【0065】

（第２の実施の形態）
本実施の形態は、シナリオ型のチャットボットに対する満足度と、自然文検索型のチャットボットに対する満足度と、の比較結果に基づいて、シナリオ型のチャットボットおよび自然文検索型のチャットボットの少なくとも一方の修正手段を表示する例である。以下の説明では、第１の実施の形態と同様の構成については説明を省略する。

【0066】

本実施の形態では、管理画面入出力部３０１は、ユーザ端末１１から受信するメッセージ情報に対して応答するメッセージ情報を自然文検索により取得してユーザ端末１１に送信する自然文検索型のチャットボットを実行することも可能である。例えば、管理画面入出力部３０１は、メッセージ情報の一例である入力テキストに対して、形態素解析、かな漢字変換、校正支援、係り受け解析、キーフレーズ抽出、自然言語理解等の自然文検索を行い、その結果に基づいて、回答情報を取得する。

【0067】

本実施の形態では、管理画面入出力部３０１は、シナリオ型のチャットボットによる回答情報に対する満足度βと、自然文検索型のチャットボットに対する満足度αと、を比較する。

【0068】

そして、管理画面入出力部３０１は、満足度αと満足度βとの比較結果に基づいて、シナリオ型のチャットボットおよび自然文検索型のチャットボットの少なくとも一方の修正手段を表示する。これにより、質問回答データに問題があるのか、若しくは、シナリオに問題があるのかを判断し易くなるので、チャットボットにより回答の精度改善をより正確に行うことができる。

【0069】

その際、管理画面入出力部３０１は、満足度αおよび満足度βのそれぞれの原因を特定して表示しても良い。これにより、低評価となった原因をユーザに提示することができるので、メッセージ情報に対する適切な回答の精度を向上させることができる。

【0070】

図１９は、第２の実施の形態にかかるチャットボットシステムにおける修正手段の表示処理の流れの一例を示すフローチャートである。まず、管理画面入出力部３０１は、自然文検索型のチャットボットに対する満足度αを取得する（ステップＳ１９０１）。また、管理画面入出力部３０１は、シナリオ型のチャットボットに対する満足度βを取得する（ステップＳ１９０２）。

【0071】

次に、管理画面入出力部３０１は、満足度αが予め設定される満足度より高いか否かを判断する（ステップＳ１９０３）。満足度αが予め設定される満足度より高い場合（ステップＳ１９０３：Ｙｅｓ）、管理画面入出力部３０１は、満足度βが予め設定される満足度より高いか否かを判断する（ステップＳ１９０４）。

【0072】

満足度βが予め設定される満足度以下である場合（ステップＳ１９０４：Ｎｏ）、管理画面入出力部３０１は、シナリオ型のチャットボットのシナリオの改善が必要と判断して、シナリオの修正手段を表示する（ステップＳ１９０５）。一方、満足度βが予め設定される満足度より高い場合（ステップＳ１９０４：Ｙｅｓ）、管理画面入出力部３０１は、シナリオ型のチャットボットおよび自然文検索型のチャットボットのいずれも改善の必要はないと判断して、修正手段の表示を行わない（ステップＳ１９０６）。

【0073】

また、満足度αが予め設定される満足度以下である場合（ステップＳ１９０３：Ｎｏ）、管理画面入出力部３０１は、満足度αと満足度βとが同程度であるか否かを判断する（ステップＳ１９０７）。ここで、満足度αと満足度βとが同程度とは、満足度αと満足度βとの差分が予め設定された差分以下であることであっても良い。満足度αと満足度βとが同程度であると判断した場合（ステップＳ１９０７：Ｙｅｓ）、管理画面入出力部３０１は、質問回答データの改善が必要と判断して、質問回答データの修正手段を表示する（ステップＳ１９０８）。

【0074】

一方、満足度αと満足度βとが同程度でない場合（ステップＳ１９０７：Ｎｏ）、管理画面入出力部３０１は、満足度αが満足度βより高いか否かを判断する（ステップＳ１９０９）。満足度αが満足度βより高い場合（ステップＳ１９０９：Ｙｅｓ）、管理画面入出力部３０１は、シナリオの改善が必要と判断して、シナリオの修正手段を表示する（ステップＳ１９０９）。一方、満足度αが満足度β以下である場合（ステップＳ１９０９：Ｎｏ）、管理画面入出力部３０１は、質問回答データの改善が必要と判断して、質問回答データの修正手段を表示する（ステップＳ１９１１）。

【0075】

このように、第２の実施の形態にかかるチャットボットシステムによれば、質問回答データに問題があるのか、若しくは、質問情報から回答情報までのシナリオに問題があるのかを判断し易くなるので、チャットボットにより回答の精度改善をより正確に行うことができる。

【0076】

なお、本実施の形態のチャットボットサービス１０で実行されるプログラムは、ＲＯＭ２２等に予め組み込まれて提供される。本実施の形態のチャットボットサービス１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

【0077】

さらに、本実施の形態のチャットボットサービス１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態のチャットボットサービス１０で実行される～プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

【0078】

本実施の形態のチャットボットサービス１０で実行されるプログラムは、上述した各部（管理画面入出力部３０１、質問管理部３０２、過去チャット管理部３０４、およびシナリオ管理部３０６）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２１（プロセッサの一例）が上記ＲＯＭ２２からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、管理画面入出力部３０１、質問管理部３０２、過去チャット管理部３０４、およびシナリオ管理部３０６が主記憶装置上に生成されるようになっている。

【符号の説明】

【0079】

１０ チャットボットサービス
１１ ユーザ端末
１２ 管理端末
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ＨＤＤ
２５ 操作Ｉ／Ｆ
２６ 通信部
３０１ 管理画面入出力部
３０２ 質問管理部
３０３ ＦＡＱデータベース
３０４ 過去チャット管理部
３０５ 問合せ履歴データベース
３０６ シナリオ管理部
３０７ シナリオデータベース

【先行技術文献】

【特許文献】

【0080】

【特許文献1】特開２０２０－０５７１１７号公報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】