知財求人 - 知財ポータルサイト「IP Force」
特開2024-17760情報処理装置、情報処理システム、情報処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024017760
(43)【公開日】2024-02-08
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06F 16/90 20190101AFI20240201BHJP
G06Q 50/10 20120101ALI20240201BHJP
G06F 16/906 20190101ALI20240201BHJP
【ＦＩ】
G06F16/90 100
G06Q50/10
G06F16/906
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2022120615
(22)【出願日】2022-07-28
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】清水 尚之
(72)【発明者】
【氏名】竹原 健
【テーマコード（参考）】
5B175
5L049
【Ｆターム（参考）】
5B175DA01
5B175EA01
5B175FA03
5L049CC12
(57)【要約】
【課題】対話履歴情報に含まれる質問文から除去すべき質問文を、より効率的に除去すること。
【解決手段】利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、分類候補の質問文から除外すべき質問文を判別する判別手段と、除外すべき質問文が除外された分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、ユーザが選択した質問文を除去する除去手段と、を有する情報処理装置により上記課題を解決する。
【選択図】図３
【解決手段】利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、分類候補の質問文から除外すべき質問文を判別する判別手段と、除外すべき質問文が除外された分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、ユーザが選択した質問文を除去する除去手段と、を有する情報処理装置により上記課題を解決する。
【選択図】図３
【特許請求の範囲】
【請求項1】
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有する情報処理装置。
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有する情報処理装置。
【請求項2】
前記抽出手段は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする請求項１記載の情報処理装置。
を特徴とする請求項１記載の情報処理装置。
【請求項3】
前記判別手段は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする請求項１又は２記載の情報処理装置。
を特徴とする請求項１又は２記載の情報処理装置。
【請求項4】
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする請求項１記載の情報処理装置。
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする請求項１記載の情報処理装置。
【請求項5】
前記判別手段は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする請求項１又は４記載の情報処理装置。
を特徴とする請求項１又は４記載の情報処理装置。
【請求項6】
前記画面生成手段は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする請求項１記載の情報処理装置。
を特徴とする請求項１記載の情報処理装置。
【請求項7】
情報処理装置と利用者端末と管理者端末とが通信可能に接続された情報処理システムであって、
前記情報処理装置は、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有し、
前記管理者端末は、
前記データに従って、前記除外すべき質問文が除外された前記分類候補の質問文を前記画面に表示する出力手段と、
前記除去する質問文の選択をユーザから受け付ける入力手段と、
を有する情報処理システム。
前記情報処理装置は、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有し、
前記管理者端末は、
前記データに従って、前記除外すべき質問文が除外された前記分類候補の質問文を前記画面に表示する出力手段と、
前記除去する質問文の選択をユーザから受け付ける入力手段と、
を有する情報処理システム。
【請求項8】
前記抽出手段は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする請求項７記載の情報処理システム。
を特徴とする請求項７記載の情報処理システム。
【請求項9】
前記判別手段は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする請求項７又は８記載の情報処理システム。
を特徴とする請求項７又は８記載の情報処理システム。
【請求項10】
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする請求項７記載の情報処理システム。
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする請求項７記載の情報処理システム。
【請求項11】
前記判別手段は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする請求項７又は１０記載の情報処理システム。
を特徴とする請求項７又は１０記載の情報処理システム。
【請求項12】
前記画面生成手段は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする請求項７記載の情報処理システム。
を特徴とする請求項７記載の情報処理システム。
【請求項13】
情報処理装置が実行する情報処理方法であって、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順と、
前記分類候補の質問文から除外すべき質問文を判別する判別手順と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順と、
前記ユーザが選択した質問文を除去する除去手順と、
を有する情報処理方法。
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順と、
前記分類候補の質問文から除外すべき質問文を判別する判別手順と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順と、
前記ユーザが選択した質問文を除去する除去手順と、
を有する情報処理方法。
【請求項14】
前記抽出手順は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする請求項１３記載の情報処理方法。
を特徴とする請求項１３記載の情報処理方法。
【請求項15】
前記判別手順は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする請求項１３又は１４記載の情報処理方法。
を特徴とする請求項１３又は１４記載の情報処理方法。
【請求項16】
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手順を更に有し、
前記抽出手順は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする請求項１３記載の情報処理方法。
前記抽出手順は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする請求項１３記載の情報処理方法。
【請求項17】
前記判別手順は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする請求項１３又は１６記載の情報処理方法。
を特徴とする請求項１３又は１６記載の情報処理方法。
【請求項18】
前記画面生成手順は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする請求項１３記載の情報処理方法。
を特徴とする請求項１３記載の情報処理方法。
【請求項19】
情報処理装置に、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順、
前記分類候補の質問文から除外すべき質問文を判別する判別手順、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順、
前記ユーザが選択した質問文を除去する除去手順、
を実行させるためのプログラム。
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順、
前記分類候補の質問文から除外すべき質問文を判別する判別手順、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順、
前記ユーザが選択した質問文を除去する除去手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
コンピュータ等の情報処理装置が利用者からの問い合わせ（例えば製品やサービス、制度に関する質問等の入力）に対して応答（回答）する自動応答サービス、いわゆるチャットボット（単にボットと呼ぶことがある。）が従来から知られている。
【0003】
例えば特許文献１には、チャットボットシステムにおいて、ボットによる応答が行われた後に、ボットによるチャットの履歴を保存して、履歴に対して統計処理等の解析を行う技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えばチャットボットシステムを顧客からの問い合わせ対応業務に活用すると、ボットによるチャットの履歴（対話履歴情報）には、マーケティング活用が可能な顧客からの質問文が含まれている。
【0005】
しかしながら、対話履歴情報に含まれる顧客からの質問文には、いたずら書きなどの不適切な質問文が含まれている場合がある。このような顧客からの質問文から顧客の声を効率的に把握するためには、対話履歴情報に含まれている顧客からの質問文から、不適切な質問文を除去する必要があるという問題があった。なお、チャットボットシステムは設置されているウェブページ、及びチャットボット処理に利用する質問文と回答文とが対応付けられた質問回答データにより顧客からの質問文のバリエーションが異なるため、不適切な質問文を除去することが難しかった。なお、特許文献１のような従来技術は、このような問題を解決するものではない。
【0006】
本発明の一実施形態は、上記課題に鑑みてなされたものであり、対話履歴情報に含まれる質問文から除去すべき質問文を、より効率的に除去することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態は、利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、前記分類候補の質問文から除外すべき質問文を判別する判別手段と、前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、前記ユーザが選択した質問文を除去する除去手段と、を有する情報処理装置である。
【発明の効果】
【0008】
対話履歴情報に含まれる質問文から除去すべき質問文を、より効率的に除去できる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る情報処理システムの一例の構成図である。
【図2】本実施形態に係るコンピュータの一例のハードウェア構成図である。
【図3】本実施形態に係る情報処理システムの一例の機能構成図である。
【図4】本実施形態に係るサービス提供システムの処理手順の一例のフローチャートである。
【図5】対話履歴情報の一例の説明図である。
【図6】分類候補の質問文を抽出する処理手順の一例を表したフローチャートである。
【図7】分類候補の質問文を抽出する処理の一例の説明図である。
【図8】不適切な質問文の候補である分類候補の質問文から、除外すべき質問文を判別して除外する処理の一例の説明図である。
【図9】不適切な質問文の候補である分類候補の質問文から、除外すべき質問文を判別して除外する処理の一例の説明図である。
【図10】管理者端末が表示する管理画面の一例のイメージ図である。
【図11】本実施形態に係る情報処理システムの一例の機能構成図である。
【図12】本実施形態に係るサービス提供システムの処理手順の一例のフローチャートである。
【図13】対話履歴情報の一例の説明図である。
【図14】分類候補の質問文を抽出する処理手順の一例を表したフローチャートである。
【図15】分類候補の質問文の一例の説明図である。
【図16】回答が見つかった質問文の一例の説明図である。
【図17】質問回答データの一例の説明図である。
【図18】質問文に対する回答の確信度の一例の説明図である。
【図19】分類候補の質問文の一例の説明図である。
【図20】分類候補の質問文の特徴量の一例の説明図である。
【図21】ウェブページの文の特徴量の一例の説明図である。
【図22】比較の結果の一例の説明図である。
【図23】除去すべき質問文の一例の説明図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システム１は、サービス提供システム１０、利用者端末１４、及び管理者端末１５が、インターネットやＬＡＮ（Local Area Network）などのネットワーク１８を介して通信可能に接続された構成である。
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システム１は、サービス提供システム１０、利用者端末１４、及び管理者端末１５が、インターネットやＬＡＮ（Local Area Network）などのネットワーク１８を介して通信可能に接続された構成である。
【0011】
サービス提供システム１０はチャットボットサービスを提供する。図１のサービス提供システム１０は、ウェブサーバとして機能する情報処理装置１１、チャットボットサーバとして機能する情報処理装置１２、及び集計サーバとして機能する情報処理装置１３を有する。
【0012】
ウェブサーバとして機能する情報処理装置１１は、チャットボットが設置されたホームページなどのウェブページのデータを利用者端末１４に提供する。チャットボットサーバとして機能する情報処理装置１２は、例えば利用者端末１４からの質問文に対して回答を行うチャットボット処理を行う。例えばチャットボットサーバとして機能する情報処理装置１２は、利用者が入力した質問文に対して回答文を応答するチャットボットサービスを提供する。
【0013】
また、チャットボットサーバとして機能する情報処理装置１２は、チャットボットによるチャットの履歴などの質問文及び回答文のやり取りを保存する情報を、対話履歴情報として記憶する。対話履歴情報は呼称の一例である。
【0014】
集計サーバとして機能する情報処理装置１３は、対話履歴情報に含まれる質問文からの不適切な質問文の除去を支援する。不適切な質問文は、例えば日本語として成り立っていない質問文、又はチャットボットが設置されているウェブページ等と関係の無い質問文等である。集計サーバとして機能する情報処理装置１３は、管理者などのユーザが行う不適切な質問文の除去を支援することで、対話履歴情報に含まれる質問文からユーザが顧客の声を把握し易くしている。
【0015】
利用者端末１４は、ウェブページを表示させる等の操作、ウェブページに設置されているチャットボットに質問文等を入力する等の操作を利用者から受け付ける。また、利用者端末１４は、チャットボットサーバとして機能する情報処理装置１２のチャットボット処理に従い、利用者がチャットボットに入力した質問文に対する回答文の表示を行う。
【0016】
利用者端末１４は、ノートＰＣ（Personal Computer）、デスクトップＰＣ、スマートフォン、タブレット端末、携帯電話、又はＰＤＡ（Personal Digital Assistant）などである。また、利用者端末１４はプリンタ、スキャナ、ファクシミリ、複合機（Multifunction Peripheral；MFP）、プロジェクタ、電子黒板機能を有する表示装置、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ゲーム機等であってもよい。
【0017】
管理者端末１５は管理者等のユーザによって操作される。管理者端末１５は、例えば集計サーバとして機能する情報処理装置１３が判別した不適切な質問文の候補を表示させる操作、及び不適切な質問文の候補から除去する質問文を指定する操作等をユーザから受け付ける。管理者端末１５は、ノートＰＣ、デスクトップＰＣ、スマートフォン、タブレット端末、携帯電話、又はＰＤＡなどである。
【0018】
【0019】
＜ハードウェア構成＞
《コンピュータ》
図１の情報処理装置１１、情報処理装置１２、情報処理装置１３、利用者端末１４、及び管理者端末１５は、例えば図２に示すハードウェア構成のコンピュータ５００により実現される。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。
《コンピュータ》
図１の情報処理装置１１、情報処理装置１２、情報処理装置１３、利用者端末１４、及び管理者端末１５は、例えば図２に示すハードウェア構成のコンピュータ５００により実現される。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。
【0020】
コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ５０４、ＨＤＤ（Hard Disk Drive）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
【0021】
これらのうち、ＣＰＵ５０１は、プログラムに従ってコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。
【0022】
ディスプレイ５０６は、カーソル、メニュー、ウインドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリ等である。ネットワークＩ／Ｆ５０９はネットワーク１８を利用してデータ通信をするためのインタフェースである。データバス５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0023】
キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0024】
【0025】
【0026】
サービス提供システム１０は、例えば図１の情報処理装置１１、情報処理装置１２、及び情報処理装置１３でＯＳ（Operating System）及びプログラムを実行することにより、図３の機能構成を実現する。
【0027】
図３のサービス提供システム１０は、ウェブページ提供部３０、ウェブページデータ記憶部３２、チャットボット処理部３４、質問回答データ記憶部３６、対話履歴情報記憶部３８、抽出部４０、第１の特徴量算出部４２、第２の特徴量算出部４４、比較部４６、判別部４８、画面生成部５０、除去部５２、及び集計部５４を有する。
【0028】
また、利用者端末１４はＯＳ及びプログラムを実行することにより、図３の機能構成を実現する。利用者端末１４は入力部６０及び出力部６２を有する。さらに、管理者端末１５はＯＳ及びプログラムを実行することにより、図３の機能構成を実現する。管理者端末１５は入力部８０及び出力部８２を有する。
【0029】
ウェブページ提供部３０は、チャットボットが設置されたウェブページのデータを利用者端末１４に提供する。ウェブページデータ記憶部３２は、チャットボットが設置されたウェブページのデータを記憶する。例えばホームページ（ウェブページの一例）などのコンテンツがその一例である。
【0030】
チャットボット処理部３４は利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行う。質問回答データ記憶部３６はチャットボット処理に利用する質問文と回答文とが対応付けられた質問回答データを記憶する。例えば質問回答データは、質問文及び回答文が対となったＱ＆Ａ（Question and Answer）の形式のデータを利用できる。また、質問回答データは、よくある質問文と、その質問文に対する回答文とを集めたＦＡＱ（Frequently Asked Questions）の形式のデータを利用することもできる。
【0031】
対話履歴情報記憶部３８は、チャットボットによるチャットの履歴などの質問文及び回答文のやり取りを保存する情報を、対話履歴情報として記憶する。抽出部４０は、対話履歴情報から、いたずら書きなどの不適切な質問の候補を分類候補の質問文として後述のように抽出する。
【0032】
第１の特徴量算出部４２は、不適切な質問の候補である分類候補の質問文の特徴量を算出する。例えば第１の特徴量算出部４２は、分類候補の質問文の特徴量を算出するための文ベクトルを特徴量として算出する。第２の特徴量算出部４４は、質問回答データ記憶部３６が記憶する質問回答データに含まれている質問文の特徴量を算出する。例えば第２の特徴量算出部４４は質問回答データに含まれている質問文の文ベクトルを特徴量として算出する。
【0033】
比較部４６は、分類候補の質問文の特徴量と質問回答データ記憶部３６が記憶する質問回答データに含まれている質問文の特徴量とを比較する。例えば比較部４６は分類候補の質問文の文ベクトルと質問回答データに含まれている質問文の文ベクトルとを比較する。比較部４６は比較の結果として、分類候補の質問文の特徴量と質問回答データに含まれている質問文の特徴量との類似度を算出する。
【0034】
判別部４８は、比較部４６の比較の結果に基づき、分類候補の質問文から除外すべき質問文を判別する。例えば判別部４８は、分類候補の質問文の特徴量と質問回答データに含まれている質問文の特徴量との類似度に基づき、質問回答データに含まれている質問文の中に類似度が閾値以上の質問文がある分類候補の質問文を、分類候補の質問文から除外すべき質問文として判別する。また、判別部４８は質問回答データに含まれている質問文の中に類似度が閾値以上の質問文がない分類候補の質問文を、分類候補の質問文として判別する。なお、本実施形では類似度が閾値以上の場合を一例として説明するが、例えば閾値に対して除外すべき質問文を同様に判別できる「閾値より高い」なども含むものとする。このように判別部４８は類似度と閾値との関係に基づいて分類候補の質問文から除外すべき質問文を判別できる。
【0035】
画面生成部５０は、判別部４８が判別した分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の管理画面などの画面のデータを生成し、画面のデータを管理者端末１５に提供する。
【0036】
画面のデータを提供された管理者端末１５は、判別部４８が判別した分類候補の質問文を表示する。また、画面のデータを提供された管理者端末１５は除去する質問文をユーザが分類候補の質問文の中から選択する操作を受け付ける。
【0037】
除去部５２は、管理者端末１５のユーザが分類候補の質問文の中から選択した質問文を除去する。集計部５４は対話履歴情報に含まれる複数の質問文を、不適切な質問を除去した後で集計できるので、集計精度を向上させることができる。
【0038】
利用者端末１４の入力部６０は、ウェブページを表示させる操作、ウェブページに設置されているチャットボットに質問文を入力する操作等を利用者から受け付ける。出力部６２は、ウェブページの表示、利用者がチャットボットに入力した質問文に対する回答文の表示等を行う。
【0039】
管理者端末１５の入力部８０は、判別した分類候補の質問文を表示する操作、除去する質問文をユーザが分類候補の質問文の中から選択する操作等を受け付ける。出力部８２は判別した分類候補の質問文の表示、除去する質問文の選択をユーザから受け付ける為の画面の表示等を行う。
【0040】
＜処理＞
以下では、サービス提供システム１０が利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行い、対話履歴情報記憶部３８に対話履歴情報が記憶された後の処理について説明する。サービス提供システム１０は、例えば図４に示す処理手順により、対話履歴情報に含まれる質問文からの、いたずら書きなどの不適切な質問文の除去を支援する。
以下では、サービス提供システム１０が利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行い、対話履歴情報記憶部３８に対話履歴情報が記憶された後の処理について説明する。サービス提供システム１０は、例えば図４に示す処理手順により、対話履歴情報に含まれる質問文からの、いたずら書きなどの不適切な質問文の除去を支援する。
【0041】
図４は、本実施形態に係るサービス提供システムの処理手順の一例のフローチャートである。ステップＳ１０において、サービス提供システム１０の抽出部４０は対話履歴情報記憶部３８から例えば図５に示す対話履歴情報を読み出す。
【0042】
図５は対話履歴情報の一例の説明図である。図５に示すように対話履歴情報は、利用者端末１４からの質問文の情報が含まれる。図５の質問文「吾輩は猫である」は、チャットボットが設置されたウェブページなどの設置場所と関係の無い質問文の一例であり、不適切な質問文の一例である。図５の質問文「ａａａａ」は日本語として成り立っていない質問文の一例であり、不適切な質問文の一例である。
【0043】
ステップＳ１２において、抽出部４０は対話履歴情報から、不適切な質問文の候補を分類候補の質問文として抽出する。図６は、分類候補の質問文を抽出する処理手順の一例を表したフローチャートである。図７は、分類候補の質問文を抽出する処理の一例の説明図である。
【0044】
ステップＳ３０において、抽出部４０は図５の対話履歴情報に記録されている利用者端末１４からの複数の質問文を、類似度に基づいて例えば図７に示すように複数のクラスタに分類する。ステップＳ３０の処理は、ＤＢＳＣＡＮ（Density-based spatial clustering of applications with noise）などのノイズ（外れ値）を取り扱うクラスタリングのアルゴリズムを適用する。
【0045】
ＤＢＳＣＡＮなどのノイズを取り扱うクラスタリングでは、似た意味の質問文が「クラスタ１」及び「クラスタ２」のように同じクラスタに分類され、似た意味の他の質問文が見つからなかった質問文が、ノイズに分類される。例えば図７では、質問文「来月のセミナーについて」「値段が高すぎる」「起動に失敗した」「吾輩は猫である」及び「ａａａａ」がノイズに分類されている。
【0046】
ステップＳ３２において、抽出部４０はステップＳ３０で分類した結果からノイズに分類された質問文を、不適切な質問文の候補である分類候補の質問文として抽出する。図７ではノイズに分類された質問文「来月のセミナーについて」「値段が高すぎる」「起動に失敗した」「吾輩は猫である」及び「ａａａａ」が、不適切な質問文の候補である分類候補の質問文として抽出される。
【0047】
図４のステップＳ１４に戻り、判別部４８はステップＳ１２で抽出した不適切な質問文の候補である分類候補の質問文から、除外すべき質問文を判別して除外する。ステップＳ１４の処理は、例えば図８及び図９に示すように実行される。図８及び図９は、不適切な質問文の候補である分類候補の質問文から、除外すべき質問文を判別して除外する処理の一例の説明図である。
【0048】
第１の特徴量算出部４２は、不適切な質問の候補である分類候補の質問文ごとに文ベクトルを特徴量として算出する。第２の特徴量算出部４４は、質問回答データ記憶部３６が記憶する質問回答データの質問文ごとに文ベクトルを特徴量として算出する。
【0049】
比較部４６は、不適切な質問の候補である分類候補の質問文と、質問回答データの質問文とを１件ずつ比較し、類似度を算出する。例えば比較部４６は、不適切な質問の候補である分類候補の質問文ごとの文ベクトルと、質問回答データの質問文ごとの文ベクトルとのコサイン類似度（Cosine Similarity）を総当たりで算出する。
【0050】
コサイン類似度は、２つのベクトルの類似性を表す尺度であって、ベクトル空間における２つのベクトルがなす角のコサイン値である。なお、不適切な質問の候補である分類候補の質問文ごとの文ベクトルと、質問回答データの質問文ごとの文ベクトルとのコサイン類似度は、質問文の意味が似ている場合に「１．０」に近づき、各文の意味が異なる場合に「－１．０」に近付く。
【0051】
例えば図８の例では不適切な質問の候補の質問文「来月のセミナーについて」は質問回答データの質問文「セミナーについて」及び「資料について」のそれぞれについて類似度が算出される。不適切な質問の候補の質問文「値段が高すぎる」「起動に失敗した」「吾輩は猫である」及び「ａａａａ」も同様、質問回答データの質問文「セミナーについて」及び「資料について」のそれぞれについて類似度が算出される。
【0052】
判別部４８は、比較部４６の比較の結果に基づき、不適切な質問文の候補から除外すべき質問文を判別する。例えば判別部４８は、比較部４６の比較の結果に基づき、質問回答データに含まれている質問文の中に、類似度が閾値以上の質問文がある不適切な質問文の候補があれば、その質問文を不適切な質問文の候補である分類候補の質問文から除外すべきと判別する。また、判別部４８は質問回答データに含まれている質問文の中に、類似度が閾値以上の質問文がない不適切な質問文の候補があれば、その質問文を不適切な質問文の候補である分類候補の質問文から除外すべきでないと判別する。
【0053】
例えば図８では不適切な質問文の候補「来月のセミナーについて」と質問回答データに含まれている質問文「セミナーについて」との類似度が閾値以上である。また、例えば図８では不適切な質問の候補の質問文「値段が高すぎる」「起動に失敗した」「吾輩は猫である」及び「ａａａａ」と質問回答データの質問文「セミナーについて」及び「資料について」との類似度が閾値未満である。
【0054】
判別部４８は、図９に示すように、不適切な質問文の候補のうち、質問回答データに含まれている質問文の中に類似度が閾値以上の質問文がある不適切な質問文の候補「来月のセミナーについて」を、不適切な質問文の候補から除外する。また、判別部４８は図９に示すように、不適切な質問文の候補のうち、質問回答データに含まれている質問文の中に類似度が閾値以上の質問文がない不適切な質問文の候補「値段が高すぎる」「起動に失敗した」「吾輩は猫である」及び「ａａａａ」を、不適切な質問文の候補として残す。
【0055】
図４のステップＳ１６に戻り、画面生成部５０は判別部４８が判別した不適切な質問文の候補を表示すると共に、除去する質問文の選択を受け付ける為の管理画面などの画面のデータを生成し、画面のデータを管理者端末１５に提供することで、例えば図１０に示すようなＵＩ（User Interface）を管理者端末１５に表示させる。
【0056】
図１０は管理者端末が表示する管理画面の一例のイメージ図である。図１０の管理画面１０００ａは、ステップＳ１４で除外すべき質問文が除外された不適切な質問文の候補が表示されている。管理者などのユーザは管理画面１０００ａを操作して、不適切な質問文の候補から不適切な質問文を選択できる。図１０では不適切な質問文として「吾輩は猫である」及び「ａａａａ」が選択された管理画面１０００ａを示している。
【0057】
管理画面１０００ａの「次へ」ボタンが押下されると、管理者端末１５は図１０の管理画面１０００ｂを表示する。管理画面１０００ｂは、管理画面１０００ａで選択された不適切な質問文の除去パターンの選択をユーザから受け付ける。管理画面１０００ｂは、除去パターンの一例として「パターン１：選択した質問文を除去」「パターン２：選択した質問文の質問者がした質問をすべて除去」及び「パターン３：選択した質問文の質問者がした質問と同じ質問をした他の質問者の質問をすべて除去」を表している。
【0058】
除去パターン「パターン１：選択した質問文を除去」は管理画面１０００ａで選択した質問文を、不適切な質問文として指定する例である。除去パターン「パターン２：選択した質問文の質問者がした質問をすべて除去」は管理画面１０００ａで選択した質問文の質問者がした全ての質問文を、不適切な質問文として指定する例である。除去パターン「パターン３：選択した質問文の質問者がした質問と同じ質問をした他の質問者の質問をすべて除去」は管理画面１０００ａで選択した質問文の質問者がした質問と同じ質問をした他の質問者の全ての質問文を、不適切な質問文として指定する例である。
【0059】
図４のステップＳ１８に戻り、管理者端末１５は管理画面１０００ａを操作するユーザから、除去する不適切な質問文の指定を受け付けると共に、管理画面１０００ｂを操作するユーザから除去パターンの指定を受け付ける。
【0060】
ステップＳ２０において、除去部５２は管理者端末１５が管理者などのユーザから受け付けた、除去する不適切な質問文の指定及び除去パターンの指定に従い、不適切な質問文を除去する。
【0061】
例えば管理画面１０００ｂの「パターン１：選択した質問文を除去」が押下されると、管理者端末１５は図１０の管理画面１０００ｃを表示する。管理画面１０００ｃは質問文「吾輩は猫である」及び「ａａａａ」が除去する質問文リストとして表示されている。管理者などのユーザは管理画面１０００ｃの「除去する」ボタンを押下することで、管理画面１０００ｃに質問文リストとして表示されている質問文「吾輩は猫である」及び「ａａａａ」を除去できる。なお、管理画面１０００ｃは除去する質問文を個別に選択できるようにしてもよい。
【0062】
第１の実施形態によれば、対話履歴情報に含まれる質問文から、該当するウェブページ（のコンテンツ）に含まれる文に基づいて、いたずら書き（誤った入力と思われるものを含む）などの不適切な質問を、除去すべき質問文として、より効率的に除去できる。
［第２の実施形態］
第１の実施形態では、不適切な質問文の候補である分類候補の質問文を、クラスタリングのアルゴリズムを適用することで対話履歴情報から抽出する例を説明した。不適切な質問文の候補である分類候補の質問文の抽出は、例えば以下のように行ってもよい。第２の実施形態は、第１の実施形態と説明が重複する部分があるため、適宜説明を省略する。
［第２の実施形態］
第１の実施形態では、不適切な質問文の候補である分類候補の質問文を、クラスタリングのアルゴリズムを適用することで対話履歴情報から抽出する例を説明した。不適切な質問文の候補である分類候補の質問文の抽出は、例えば以下のように行ってもよい。第２の実施形態は、第１の実施形態と説明が重複する部分があるため、適宜説明を省略する。
【0063】
システム構成及びハードウェア構成は第１の実施形態と同様である。図１１は本実施形態に係る情報処理システムの一例の機能構成図である。
【0064】
＜機能構成＞
図１１は本実施形態に係る情報処理システムの一例の機能構成図である。なお、図１１の機能構成図は本実施形態の説明に不要な構成について適宜省略している。図１１の情報処理システム１は図３の機能構成図に確信度算出部５６が追加された構成である。
図１１は本実施形態に係る情報処理システムの一例の機能構成図である。なお、図１１の機能構成図は本実施形態の説明に不要な構成について適宜省略している。図１１の情報処理システム１は図３の機能構成図に確信度算出部５６が追加された構成である。
【0065】
確信度算出部５６は、質問文に対してチャットボットが回答できた回答文の確からしさを表す確信度を算出する。例えば確信度算出部５６は対話履歴情報に記憶されていた質問文の文ベクトルと質問回答データ記憶部３６に記憶されている質問回答データの質問文の文ベクトルとの類似度に基づき、回答文の確信度を算出する。
【0066】
第１の特徴量算出部４２は、不適切な質問の候補である分類候補の質問文の特徴量を算出する。例えば第１の特徴量算出部４２は、分類候補の質問文の文ベクトルを特徴量として算出する。第２の特徴量算出部４４は、チャットボットが設置されたウェブページに含まれている文の特徴量を算出する。例えば第２の特徴量算出部４４は、チャットボットが設置されたウェブページに含まれている文の文ベクトルを特徴量として算出する。
【0067】
比較部４６は、分類候補の質問文の特徴量とチャットボットが設置されたウェブページに含まれている文の特徴量とを比較する。例えば比較部４６は分類候補の質問文の文ベクトルとチャットボットが設置されたウェブページに含まれている文の文ベクトルとを比較する。比較部４６は比較の結果として、分類候補の質問文の特徴量とチャットボットが設置されたウェブページに含まれている文の特徴量との類似度を算出する。
【0068】
判別部４８は、比較部４６の比較の結果に基づき、分類候補の質問文から除外すべき質問文を判別する。例えば判別部４８は、分類候補の質問文の特徴量とチャットボットが設置されたウェブページに含まれている文の特徴量との類似度に基づき、ウェブページに含まれている文の中に類似度が閾値以上の文がある分類候補の質問文を、分類候補の質問文から除外すべき質問文として判別する。また、判別部４８はチャットボットが設置されたウェブページに含まれている文の中に類似度が閾値以上の文がない分類候補の質問文を、分類候補の質問文として判別する。その他の第２の実施形態の構成は、第１の実施形態と同様であるため、説明を省略する。
【0069】
＜処理＞
以下では、サービス提供システム１０が利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行い、対話履歴情報記憶部３８に対話履歴情報が記憶された後の処理について説明する。サービス提供システム１０は、例えば図１２に示す処理手順により、対話履歴情報に含まれる質問文からの、いたずら書きなどの不適切な質問文の除去を支援する。
以下では、サービス提供システム１０が利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行い、対話履歴情報記憶部３８に対話履歴情報が記憶された後の処理について説明する。サービス提供システム１０は、例えば図１２に示す処理手順により、対話履歴情報に含まれる質問文からの、いたずら書きなどの不適切な質問文の除去を支援する。
【0070】
図１２は、本実施形態に係るサービス提供システムの処理手順の一例のフローチャートである。ステップＳ５０において、サービス提供システム１０の抽出部４０は対話履歴情報記憶部３８から例えば図１３に示す対話履歴情報を読み出す。
【0071】
図１３は対話履歴情報の一例の説明図である。図１３に示すように対話履歴情報は、利用者端末１４からの質問文に対するチャットボットの回答ステータス（回答が見つかった又は回答が見つからなかった）の情報が含まれる。図１３に示す対話履歴情報を利用することにより、抽出部４０は回答文が見つかった質問文又は回答が見つからなかった質問文を対話履歴情報から選択できる。図１３の質問文「ペペロンチーノの作り方を教えて」はチャットボットが設置されたウェブページなどの設置場所と関係の無い質問文の一例であり、不適切な質問文の一例である。
【0072】
ステップＳ５２において、抽出部４０は対話履歴情報から、不適切な質問文の候補を例えば図１４に示す手順で分類候補の質問文として抽出する。図１４は、分類候補の質問文を抽出する処理手順の一例を表したフローチャートである。
【0073】
ステップＳ７０において、抽出部４０は図１３の対話履歴情報のチャットボットの回答ステータスを参照し、利用者端末１４からの質問文のうち、チャットボットによる回答が見つからなかった質問文を分類候補の質問文として例えば図１５に示すように選択する。図１５は分類候補の質問文の一例の説明図である。図１５では、図１３の対話履歴情報からチャットボットの回答ステータスが「回答が見つからなかった」である２つの質問文が除去候補の質問文として選択されている。
【0074】
ステップＳ７２において、抽出部４０は図１３の対話履歴情報のチャットボットの回答ステータスを参照し、利用者端末１４からの質問文のうち、チャットボットによる回答が見つかった質問文を例えば図１６に示すように選択する。図１６は回答が見つかった質問文の一例の説明図である。図１６では、図１３の対話履歴情報からチャットボットの回答ステータスが「回答が見つかった」である８つの質問文が選択されている。
【0075】
ステップＳ７４において、抽出部４０は質問回答データ記憶部３６から例えば図１７に示す質問回答データを読み出す。図１７は質問回答データの一例の説明図である。図１７に示すように質問回答データは、チャットボット処理に利用する質問文と回答文とが対応付けられた情報であって、例えばＱ＆Ａ又はＦＡＱなどの形式のデータを利用できる。
【0076】
ステップＳ７６において、確信度算出部５６は図１７の質問文に対してチャットボットが回答できた回答文の確からしさを表す確信度を次のように算出する。確信度算出部５６は図１６の質問文ごとの文ベクトル（数百～数千次元のベクトルデータ）と、図１７の質問文ごとの文ベクトルと、を算出する。
【0077】
確信度算出部５６は、図１６の質問文の文ベクトルと図１７の質問文の文ベクトルとのコサイン類似度を総当たりで算出する。なお、図１６の質問文の文ベクトルと図１７の質問文の文ベクトルとのコサイン類似度は、各文の意味が似ている場合に「１．０」に近づき、各文の意味が異なる場合に「－１．０」に近付く。
【0078】
確信度算出部５６は、算出したコサイン類似度のうち最も大きなコサイン類似度を「回答の確信度」として、図１６の質問文ごとに選択する。図１８は質問文に対する回答の確信度の一例の説明図である。図１８では図１６の質問文ごとに、回答の確信度と、最も大きなコサイン類似度となった質問回答データの質問文と、を表している。
【0079】
ステップＳ７８において、抽出部４０はチャットボットによる回答が見つかった質問文のうち、回答の確信度が閾値よりも低い質問文を分類候補の質問文として選択する。例えば閾値を「０．８」とした場合、抽出部４０は図１８から閾値が「０．８」よりも低い３つの質問文を、図１９に示すように分類候補の質問文として選択する。図１９は除去候補の質問文の一例の説明図である。
【0080】
図１４に示した処理により、抽出部４０は図１５及び図１９に示した分類候補の質問文を抽出できる。図１２に戻り、サービス提供システム１０の第１の特徴量算出部４２はステップＳ５４において、図１５及び図１９に示した不適切な質問文の候補である分類候補の質問文ごとの特徴量として例えば図２０に示すにように文ベクトルを算出する。図２０は分類候補の質問文の特徴量の一例の説明図である。
【0081】
ステップＳ５６において、第２の特徴量算出部４４はウェブページデータ記憶部３２からチャットボットが設置されたウェブページのデータを取得する。第２の特徴量算出部４４は取得したウェブページのデータから文章データを取得し、文単位に分割する。第２の特徴量算出部４４は、チャットボットが設置されたウェブページに含まれる文ごとの特徴量として例えば図２１に示すように文ベクトルを算出する。図２１はウェブページの文の特徴量の一例の説明図である。
【0082】
ステップＳ５８において、比較部４６は図２０に示した分類候補の質問文の特徴量と図２１に示したチャットボットが設置されたウェブページの文の特徴量とを比較して次のように類似度を算出する。比較部４６は図２０に示した分類候補の質問文の文ベクトルと図２１に示したチャットボットが設置されたウェブページの文の文ベクトルとのコサイン類似度を総当たりで算出する。
【0083】
なお、図２０に示した分類候補の質問文の文ベクトルと図２１に示したチャットボットが設置されたウェブページの文の文ベクトルとのコサイン類似度は、各文の意味が似ていると「１．０」に近づき、各文の意味が異なると「－１．０」に近付く。
【0084】
比較部４６は、算出したコサイン類似度のうち最も大きなコサイン類似度を図２２に示したチャットボットが設置されたウェブページの文との類似度として、図２２に示すように図２０に示した分類候補の質問文ごとに選択する。図２２は比較の結果の一例の説明図である。
【0085】
ステップＳ６０において、判別部４８はステップＳ５８の比較の結果に基づき、分類候補の質問文から除外すべき質問文を判別して除外する。例えば判別部４８は図２２に示した分類候補の質問文から、類似度が閾値「０．８」以上の除外すべき質問文「サービス環境について」「月額いくらですか？」「割引販売しているときはありますか？」及び「販売手順を教えてください」を判別して除外する。
【0086】
また、判別部４８は類似度が閾値「０．８」より小さい質問文「ペペロンチーノの作り方を教えて」を分類候補の質問文として残すべき質問文（除去すべき質問文）として図２３に示すように判別できる。図２３は除去すべき質問文の一例の説明図である。
【0087】
図４のステップＳ６２において、画面生成部５０は判別部４８が判別した不適切な質問文の候補を表示すると共に、除去する質問文の選択を受け付ける為の管理画面などの画面のデータを生成し、画面のデータを管理者端末１５に提供することで、ＵＩを管理者端末１５に表示させる。
【0088】
ＵＩには、ステップＳ６０で除外すべき質問文が除外された不適切な質問文の候補が表示される。ステップＳ６４～Ｓ６６の処理は第１の実施形態と同様である。管理者などのユーザはステップＳ６４においてＵＩを操作することで、不適切な質問文の候補から不適切な質問文を選択して除去できる。
【0089】
第２の実施形態によれば、該当するウェブページ（のコンテンツ）に含まれる文の特徴量を比較することにより、対話履歴情報に含まれる質問文から、いたずら書き（誤った入力と思われるものを含む）などの不適切な質問を、除去すべき質問文として、より効率的に除去できる。
【0090】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【0091】
実施例に記載された装置群は本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。本実施形態によって本発明が限定されるものではなく、本実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、及び、いわゆる均等の範囲のものが含まれる。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【0092】
本発明の態様は、例えば、以下の通りである。
＜１＞
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有する情報処理装置。
＜２＞
前記抽出手段は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする前記＜１＞記載の情報処理装置。
＜３＞
前記判別手段は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１＞又は＜２＞記載の情報処理装置。
＜４＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする前記＜１＞記載の情報処理装置。
＜５＞
前記判別手段は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１＞又は＜４＞記載の情報処理装置。
＜６＞
前記画面生成手段は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする前記＜１＞乃至＜５＞の何れか一項に記載の情報処理装置。
＜７＞
情報処理装置と利用者端末と管理者端末とが通信可能に接続された情報処理システムであって、
前記情報処理装置は、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有し、
前記管理者端末は、
前記データに従って、前記除外すべき質問文が除外された前記分類候補の質問文を前記画面に表示する出力手段と、
前記除去する質問文の選択をユーザから受け付ける入力手段と、
を有する情報処理システム。
＜８＞
前記抽出手段は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする前記＜７＞記載の情報処理システム。
＜９＞
前記判別手段は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜７＞又は＜８＞記載の情報処理システム。
＜１０＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする前記＜７＞記載の情報処理システム。
＜１１＞
前記判別手段は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜７＞又は＜１０＞記載の情報処理システム。
＜１２＞
前記画面生成手段は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする前記＜７＞乃至＜１１＞の何れか一項に記載の情報処理システム。
＜１３＞
情報処理装置が実行する情報処理方法であって、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順と、
前記分類候補の質問文から除外すべき質問文を判別する判別手順と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順と、
前記ユーザが選択した質問文を除去する除去手順と、
を有する情報処理方法。
＜１４＞
前記抽出手順は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする前記＜１３＞記載の情報処理方法。
＜１５＞
前記判別手順は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１３＞又は＜１４＞記載の情報処理方法。
＜１６＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手順を更に有し、
前記抽出手順は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする前記＜１３＞記載の情報処理方法。
＜１７＞
前記判別手順は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１３＞又は＜１６＞記載の情報処理方法。
＜１８＞
前記画面生成手順は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする前記＜１３＞乃至＜１７＞の何れか一項に記載の情報処理方法。
＜１９＞
情報処理装置に、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順、
前記分類候補の質問文から除外すべき質問文を判別する判別手順、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順、
前記ユーザが選択した質問文を除去する除去手順、
を実行させるためのプログラム。
＜１＞
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有する情報処理装置。
＜２＞
前記抽出手段は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする前記＜１＞記載の情報処理装置。
＜３＞
前記判別手段は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１＞又は＜２＞記載の情報処理装置。
＜４＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする前記＜１＞記載の情報処理装置。
＜５＞
前記判別手段は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１＞又は＜４＞記載の情報処理装置。
＜６＞
前記画面生成手段は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする前記＜１＞乃至＜５＞の何れか一項に記載の情報処理装置。
＜７＞
情報処理装置と利用者端末と管理者端末とが通信可能に接続された情報処理システムであって、
前記情報処理装置は、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手段と、
前記分類候補の質問文から除外すべき質問文を判別する判別手段と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手段と、
前記ユーザが選択した質問文を除去する除去手段と、
を有し、
前記管理者端末は、
前記データに従って、前記除外すべき質問文が除外された前記分類候補の質問文を前記画面に表示する出力手段と、
前記除去する質問文の選択をユーザから受け付ける入力手段と、
を有する情報処理システム。
＜８＞
前記抽出手段は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする前記＜７＞記載の情報処理システム。
＜９＞
前記判別手段は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜７＞又は＜８＞記載の情報処理システム。
＜１０＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする前記＜７＞記載の情報処理システム。
＜１１＞
前記判別手段は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜７＞又は＜１０＞記載の情報処理システム。
＜１２＞
前記画面生成手段は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする前記＜７＞乃至＜１１＞の何れか一項に記載の情報処理システム。
＜１３＞
情報処理装置が実行する情報処理方法であって、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順と、
前記分類候補の質問文から除外すべき質問文を判別する判別手順と、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順と、
前記ユーザが選択した質問文を除去する除去手順と、
を有する情報処理方法。
＜１４＞
前記抽出手順は、対話履歴情報に記録された複数の前記質問文を類似度に基づいて分類した結果から、前記分類候補の質問文を抽出すること
を特徴とする前記＜１３＞記載の情報処理方法。
＜１５＞
前記判別手順は、前記分類候補の質問文及び前記サービス提供システムが前記回答に利用する質問回答データに含まれている質問文の類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１３＞又は＜１４＞記載の情報処理方法。
＜１６＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手順を更に有し、
前記抽出手順は、前記回答文の確信度に基づいて、前記対話履歴情報の前記サービス提供システムが回答できた前記質問文から前記分類候補の質問文を抽出すると共に、前記サービス提供システムが回答できなかった前記質問文を前記分類候補の質問文として抽出すること
を特徴とする前記＜１３＞記載の情報処理方法。
＜１７＞
前記判別手順は、前記分類候補の質問文の特徴量及び前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのコンテンツに含まれている文の特徴量を比較して算出した類似度と閾値との関係に基づいて前記分類候補の質問文から前記除外すべき質問文を判別すること
を特徴とする前記＜１３＞又は＜１６＞記載の情報処理方法。
＜１８＞
前記画面生成手順は、前記除去する質問文の選択を、複数の除去パターンからユーザにより指定された除去パターンに従って受け付けること
を特徴とする前記＜１３＞乃至＜１７＞の何れか一項に記載の情報処理方法。
＜１９＞
情報処理装置に、
利用者端末からの質問文に対して回答文を回答するサービス提供システムの対話履歴情報から所定の条件に基づいて分類候補の質問文を抽出する抽出手順、
前記分類候補の質問文から除外すべき質問文を判別する判別手順、
前記除外すべき質問文が除外された前記分類候補の質問文を表示すると共に、除去する質問文の選択をユーザから受け付ける為の画面のデータを生成する画面生成手順、
前記ユーザが選択した質問文を除去する除去手順、
を実行させるためのプログラム。
【符号の説明】
【0093】
１ 情報処理システム
１０ サービス提供システム
１１－１３ 情報処理装置
１４ 利用者端末
１５ 管理者端末
１８ ネットワーク
３０ ウェブページ提供部
３２ ウェブページデータ記憶部
３４ チャットボット処理部
３６ 質問回答データ記憶部
３８ 対話履歴情報記憶部
４０ 抽出部
４２ 第１の特徴量算出部
４４ 第２の特徴量算出部
４６ 比較部
４８ 判別部
５０ 画面生成部
５２ 除去部
５４ 集計部
５６ 確信度算出部
６０、８０ 入力部
６２、８２ 出力部
１０ サービス提供システム
１１－１３ 情報処理装置
１４ 利用者端末
１５ 管理者端末
１８ ネットワーク
３０ ウェブページ提供部
３２ ウェブページデータ記憶部
３４ チャットボット処理部
３６ 質問回答データ記憶部
３８ 対話履歴情報記憶部
４０ 抽出部
４２ 第１の特徴量算出部
４４ 第２の特徴量算出部
４６ 比較部
４８ 判別部
５０ 画面生成部
５２ 除去部
５４ 集計部
５６ 確信度算出部
６０、８０ 入力部
６２、８２ 出力部
【先行技術文献】
【特許文献】
【0094】
【特許文献1】特開２０２１－９３１３３号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】