ホーム > 特許ランキング > 株式会社マネーフォワード
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024100098
(43)【公開日】2024-07-26
(54)【発明の名称】情報処理システム、プログラム及び情報処理方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240719BHJP
【ＦＩ】
G06Q50/10
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023003835
(22)【出願日】2023-01-13
(71)【出願人】
【識別番号】513040384
【氏名又は名称】株式会社マネーフォワード
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】山岸 駿秀
(72)【発明者】
【氏名】貞光 九月
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC12
5L050CC12
(57)【要約】 （修正有）
【課題】より高い精度で質問文に対して回答文を出力することが可能な情報処理システム及び方法を提供する。
【解決手段】従業員端末３のプロセッサが、従業員による入力部への操作を介して、過去対応データを特定し、機械学習の条件の入力を受け付け、ボットサーバ２に、機械学習の条件を送信する情報処理システムであって、ポットサーバは、受け付けた機械学習の条件に基づいて、学習モデルによる機械学習の条件を変更し、質問文と回答文とのうち少なくとも一方からベクトルの情報を取得し、質問文と回答文とのうち少なくとも１つの内容に基づいて関連情報のリクエストを要求する。関連情報サーバ５は、ボットサーバから、関連情報のリクエストを受け付けたことに応じて関連情報を特定し、ボットサーバに、特定した関連情報を送信する。ボットサーバは、取得したベクトルの情報に基づいて、分類結果である向上施策及び関連情報とを従業員端末３に送信する。
【選択図】図１
【解決手段】従業員端末３のプロセッサが、従業員による入力部への操作を介して、過去対応データを特定し、機械学習の条件の入力を受け付け、ボットサーバ２に、機械学習の条件を送信する情報処理システムであって、ポットサーバは、受け付けた機械学習の条件に基づいて、学習モデルによる機械学習の条件を変更し、質問文と回答文とのうち少なくとも一方からベクトルの情報を取得し、質問文と回答文とのうち少なくとも１つの内容に基づいて関連情報のリクエストを要求する。関連情報サーバ５は、ボットサーバから、関連情報のリクエストを受け付けたことに応じて関連情報を特定し、ボットサーバに、特定した関連情報を送信する。ボットサーバは、取得したベクトルの情報に基づいて、分類結果である向上施策及び関連情報とを従業員端末３に送信する。
【選択図】図１
【特許請求の範囲】
【請求項1】
情報処理システムであって、
次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、
取得ステップでは、対応データを取得し、ここで、
前記対応データは、ユーザにより入力された質問文と、前記質問文に対応する回答文と、前記回答文に対応する前記ユーザからの評価である評価情報とを含み、
提示ステップでは、前記対応データと所定の参照情報とに基づいて、前記評価情報を向上させるための向上施策を提示する、
情報処理システム。
次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、
取得ステップでは、対応データを取得し、ここで、
前記対応データは、ユーザにより入力された質問文と、前記質問文に対応する回答文と、前記回答文に対応する前記ユーザからの評価である評価情報とを含み、
提示ステップでは、前記対応データと所定の参照情報とに基づいて、前記評価情報を向上させるための向上施策を提示する、
情報処理システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、
前記所定の参照情報は、学習モデルによって得られる情報を含み、
学習ステップでは、採用された過去の向上施策に紐付く、質問文と回答文との少なくとも１つの入力に応じて、前記採用された過去の向上施策を提示できるように学習させた前記学習モデルを取得し、
前記提示ステップでは、質問文と回答文とのうち少なくとも１つを、前記学習モデルに入力することで前記向上施策を提示する、
情報処理システム。
前記所定の参照情報は、学習モデルによって得られる情報を含み、
学習ステップでは、採用された過去の向上施策に紐付く、質問文と回答文との少なくとも１つの入力に応じて、前記採用された過去の向上施策を提示できるように学習させた前記学習モデルを取得し、
前記提示ステップでは、質問文と回答文とのうち少なくとも１つを、前記学習モデルに入力することで前記向上施策を提示する、
情報処理システム。
【請求項3】
請求項２に記載の情報処理システムにおいて、
前記学習ステップでは、前記採用された過去の向上施策に紐付く、質問文と回答文とのうち少なくとも１つの入力に応じて、前記採用された過去の向上施策に紐付く関連情報が取得されるように学習させた前記学習モデルを取得し、ここで、
前記関連情報は、前記質問文と前記回答文とのうち少なくとも１つの内容に関連する情報であり、
前記取得ステップでは、前記対応データに含まれる、前記質問文と前記回答文とのうち少なくとも１つの内容に基づいて関連情報を取得し、
前記提示ステップでは、取得した前記関連情報を、前記学習モデルに入力することで前記向上施策を提示する、
情報処理システム。
前記学習ステップでは、前記採用された過去の向上施策に紐付く、質問文と回答文とのうち少なくとも１つの入力に応じて、前記採用された過去の向上施策に紐付く関連情報が取得されるように学習させた前記学習モデルを取得し、ここで、
前記関連情報は、前記質問文と前記回答文とのうち少なくとも１つの内容に関連する情報であり、
前記取得ステップでは、前記対応データに含まれる、前記質問文と前記回答文とのうち少なくとも１つの内容に基づいて関連情報を取得し、
前記提示ステップでは、取得した前記関連情報を、前記学習モデルに入力することで前記向上施策を提示する、
情報処理システム。
【請求項4】
請求項３に記載の情報処理システムにおいて、
前記関連情報は、前記質問文の内容と前記回答文の内容とのうち少なくとも１つに基づいて、インターネットにより所定の範囲を検索することで得られる情報を含む、
情報処理システム。
前記関連情報は、前記質問文の内容と前記回答文の内容とのうち少なくとも１つに基づいて、インターネットにより所定の範囲を検索することで得られる情報を含む、
情報処理システム。
【請求項5】
請求項４に記載の情報処理システムにおいて、
前記取得ステップでは、前記質問文又は前記回答文に含まれるキーワードを前記インターネットによる検索に適用することで、前記関連情報を取得する、
情報処理システム。
前記取得ステップでは、前記質問文又は前記回答文に含まれるキーワードを前記インターネットによる検索に適用することで、前記関連情報を取得する、
情報処理システム。
【請求項6】
請求項２に記載の情報処理システムにおいて、
前記学習モデルに使用される特徴量は、前記質問文と前記回答文とのうち少なくとも一方から得られるベクトルの情報を含む、
情報処理システム。
前記学習モデルに使用される特徴量は、前記質問文と前記回答文とのうち少なくとも一方から得られるベクトルの情報を含む、
情報処理システム。
【請求項7】
請求項２に記載の情報処理システムにおいて、
前記学習モデルに使用される特徴量は、前記質問文及び前記回答文の組み合わせから得られるベクトルの情報を含む、
情報処理システム。
前記学習モデルに使用される特徴量は、前記質問文及び前記回答文の組み合わせから得られるベクトルの情報を含む、
情報処理システム。
【請求項8】
請求項３に記載の情報処理システムにおいて、
前記学習モデルに使用される特徴量は、前記関連情報から得られるベクトルの情報を含む、
情報処理システム。
前記学習モデルに使用される特徴量は、前記関連情報から得られるベクトルの情報を含む、
情報処理システム。
【請求項9】
請求項１に記載の情報処理システムにおいて、
管理ステップでは、複数のインテント情報を管理し、前記インテント情報は、質問文と当該質問文に対応する回答文との組み合わせの情報であり、
前記向上施策は、前記インテント情報を追加することと、前記インテント情報の前記回答文を修正することと、前記インテント情報の想定される質問文を追加することと、前記インテント情報を識別するための質問識別情報を修正することと、のうち少なくとも１つを含む、
情報処理システム。
管理ステップでは、複数のインテント情報を管理し、前記インテント情報は、質問文と当該質問文に対応する回答文との組み合わせの情報であり、
前記向上施策は、前記インテント情報を追加することと、前記インテント情報の前記回答文を修正することと、前記インテント情報の想定される質問文を追加することと、前記インテント情報を識別するための質問識別情報を修正することと、のうち少なくとも１つを含む、
情報処理システム。
【請求項10】
請求項１に記載の情報処理システムにおいて、
管理ステップでは、前記質問文が入力されることに応じて前記回答文を出力するチャットボットを管理し、
前記質問文は、前記ユーザにより前記チャットボットに対して入力されるテキスト形式の情報であり、
前記回答文は、前記チャットボットが前記質問文に回答するテキスト形式の情報である、
情報処理システム。
管理ステップでは、前記質問文が入力されることに応じて前記回答文を出力するチャットボットを管理し、
前記質問文は、前記ユーザにより前記チャットボットに対して入力されるテキスト形式の情報であり、
前記回答文は、前記チャットボットが前記質問文に回答するテキスト形式の情報である、
情報処理システム。
【請求項11】
プログラムであって、
コンピュータを、請求項１～１０の何れか１つに記載の情報処理システムの前記プロセッサとして機能させるためのプログラム。
コンピュータを、請求項１～１０の何れか１つに記載の情報処理システムの前記プロセッサとして機能させるためのプログラム。
【請求項12】
情報処理システムが実行する情報処理方法であって、
請求項１～１０の何れか１つに記載の情報処理システムの前記プロセッサが実行する各ステップを備える、
情報処理方法。
請求項１～１０の何れか１つに記載の情報処理システムの前記プロセッサが実行する各ステップを備える、
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、プログラム及び情報処理方法に関する。
【背景技術】
【0002】
従来の技術によると、ユーザからのチャットによるオンラインでの問合せに対して、チャットにより回答する問合せ対応システムであって、ユーザからの問合せを受け付ける問合せ受付部と、問合せ受付部により受け付けた問合せに対して回答者を割り当てる回答者管理部と、問合せに対して、回答者管理部により割り当てられた回答者に対応するチャットボットにより対応し、チャットボットによる対応ができないと判断した場合に、割り当てられた回答者によりチャットで回答を行う有人対応に引き継ぐ問合せ処理部とを有する（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２２－１８９２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、近年において、より高い精度で質問文に対して回答文を出力することが可能な技術が求められている。
【0005】
本発明では上記事情を鑑み、より高い精度で質問文に対して回答文を出力することが可能な技術を提供することとした。
【課題を解決するための手段】
【0006】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムでは、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備える。取得ステップでは、対応データを取得する。対応データは、ユーザにより入力された質問文と、質問文に対応する回答文と、回答文に対応するユーザからの評価である評価情報とを含む。提示ステップでは、対応データと所定の参照情報とに基づいて、評価情報を向上させるための向上施策を提示する。
【0007】
本開示によれば、より高い精度で質問文に対して回答文を出力することが可能な技術を提供することが可能となる。
【図面の簡単な説明】
【0008】
【図1】情報処理システム１のシステム構成の一例を示す図である。
【図2】ボットサーバ２のハードウェア構成の一例を示す図である。
【図3】従業員端末３のハードウェア構成の一例を示す図である。
【図4】顧客端末４のハードウェア構成の一例を示す図である。
【図5】ボットサーバ２のプロセッサ２１が備える機能部の一例を示す図である。
【図6】対応データ６の一例を示す図である。
【図7】インテント情報データベースＤＢ１の一例を示す図である。
【図8】向上施策データベースＤＢ２の一例を示す図である。
【図9】学習時の情報処理の流れを説明するシーケンス図の一例である。
【図10】推論時の情報処理の流れを説明するシーケンス図の一例である。
【図11】学習モデルの挙動を説明するブロック図の一例である。
【発明を実施するための形態】
【0009】
［実施形態］
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0010】
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体（Ｎｏｎ－Ｔｒａｎｓｉｔｏｒｙ Ｃｏｍｐｕｔｅｒ－Ｒｅａｄａｂｌｅ Ｍｅｄｉｕｍ）として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント装置でその機能を実現（いわゆるクラウドコンピューティング）するように提供されてもよい。
【0011】
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、０又は１で構成される２進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ（いわゆる量子ビット）によって表され、広義の回路上で通信・演算が実行されうる。
【0012】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0013】
１．情報処理システム１のシステム構成
まず、図１を参照しながら本実施形態の情報処理システム１のシステム構成について説明する。
まず、図１を参照しながら本実施形態の情報処理システム１のシステム構成について説明する。
【0014】
図１は、情報処理システム１のシステム構成の一例を示す図である。情報処理システム１は、より高い精度で質問文に対して回答文を出力することが可能なチャットボットを提供するシステムである。図１が示すように、情報処理システム１は、ボットサーバ２と、従業員端末３と、顧客端末４と、関連情報サーバ５と、通信ネットワークＮとを含む。なお、ボットサーバ２、従業員端末３、顧客端末４及び関連情報サーバ５は、それぞれ複数あってもよい。ここで、情報処理システム１に例示されるシステムとは、１つ又はそれ以上の装置又は構成要素からなるものである。したがって、ボットサーバ２単体、従業員端末３単体、顧客端末４単体及び関連情報サーバ５単体であっても情報処理システム１に例示されるシステムに含まれる。
【0015】
ボットサーバ２は、１以上のサーバで構成され、チャットボットを管理する。このチャットボットは、顧客からの質問文を受け付けることに応じて、回答文を出力する。
【0016】
従業員端末３は、従業員としてのユーザが使用する端末である。従業員は、従業員端末３を介して、チャットボットに対して後述する向上施策を実行するユーザである。従業員端末３は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型コンピュータ、スマートフォン等の何れであってもよい。
【0017】
顧客端末４は、顧客としてのユーザが使用する端末である。顧客は、顧客端末４を介して、質問文及び評価情報を入力するユーザである。顧客端末４は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット型コンピュータ、スマートフォン等の何れであってもよい。
【0018】
関連情報サーバ５は、関連情報を格納するサーバである。関連情報サーバ５は、チャットボットに紐付くサービスを提供する事業者が管理するサーバであってもよい。関連情報サーバ５は、インターネットを介してアクセスできる任意のサーバであってもよい。
【0019】
通信ネットワークＮは、ボットサーバ２と従業員端末３と顧客端末４と関連情報サーバ５とのそれぞれを、相互に通信可能な状態にする。通信ネットワークＮは、インターネットを使用した無線による通信であってもよいが、これに限定されるものではなく、有線による通信であってもよい。
【0020】
【0021】
２．１．ボットサーバ２のハードウェア構成
図２は、ボットサーバ２のハードウェア構成の一例を示す図である。図２に示されるように、ボットサーバ２は、プロセッサ２１と、記憶部２２と、通信部２３とを備え、これらの構成要素がボットサーバ２の内部において通信バス２０を介して電気的に接続されている。ボットサーバ２は、実施形態に係る処理を実行する。
図２は、ボットサーバ２のハードウェア構成の一例を示す図である。図２に示されるように、ボットサーバ２は、プロセッサ２１と、記憶部２２と、通信部２３とを備え、これらの構成要素がボットサーバ２の内部において通信バス２０を介して電気的に接続されている。ボットサーバ２は、実施形態に係る処理を実行する。
【0022】
プロセッサ２１は、ボットサーバ２に関連する全体動作の処理及び制御を行う。プロセッサ２１は、例えば中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）である。プロセッサ２１が、記憶部２２に記憶された所定のプログラムを読み出し、プログラムに基づき処理を実行することによって、ボットサーバ２に係る種々の機能、例えば、後述する図７～図１１に示される処理が実現される。なお、プロセッサ２１は単一であることに限定されず、機能ごとに複数のプロセッサ２１を有するように実施してもよい。また、それらの組合せであってもよい。
【0023】
記憶部２２は、前述の記載により定義される様々な情報を記憶する。これは、例えば、プロセッサ２１によって実行されるボットサーバ２に係る種々のプログラム等を記憶するソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等のストレージデバイスとして、プログラムの演算に係る一時的に必要な情報（引数、配列等）を記憶するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）等のメモリとして実施されうる。記憶部２２は、プロセッサ２１によって実行されるボットサーバ２に係る種々のプログラム、変数及びプロセッサ２１がプログラムに基づき処理を実行する際に用いるデータ等を記憶している。記憶部２２は、記憶媒体の一例である。記憶部２２は、後述する、インテント情報データベースＤＢ１、向上施策データベースＤＢ２等の種々のデータベースが記憶される。
【0024】
通信部２３は、ＵＳＢ、ＩＥＥＥ１３９４、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）、有線ＬＡＮネットワーク通信等といった有線型の通信手段が好ましいものの、無線ＬＡＮネットワーク通信、ＬＴＥ／３Ｇ／４Ｇ／５Ｇ等のモバイル通信、ＢＬＵＥＴＯＯＴＨ（登録商標）通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。すなわち、ボットサーバ２は、通信部２３を介して、外部から種々の情報を通信してもよい。
【0025】
２．２．従業員端末３のハードウェア構成
図３は、従業員端末３のハードウェア構成の一例を示す図である。図３に示されるように、従業員端末３は、プロセッサ３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、を有し、これらの構成要素が従業員端末３の内部において通信バス３０を介して電気的に接続されている。従業員端末３は、実施形態に係る処理を実行する。従業員端末３のプロセッサ３１、記憶部３２及び通信部３３については、ボットサーバ２のプロセッサ２１、記憶部２２及び通信部２３を参照されたい。
図３は、従業員端末３のハードウェア構成の一例を示す図である。図３に示されるように、従業員端末３は、プロセッサ３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５と、を有し、これらの構成要素が従業員端末３の内部において通信バス３０を介して電気的に接続されている。従業員端末３は、実施形態に係る処理を実行する。従業員端末３のプロセッサ３１、記憶部３２及び通信部３３については、ボットサーバ２のプロセッサ２１、記憶部２２及び通信部２３を参照されたい。
【0026】
入力部３４は、従業員端末３の筐体に含まれてもよいし、外付けされてもよい。例えば、入力部３４は、出力部３５と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することが可能である。もちろん、タッチパネルに代えて、スイッチボタン、マウス、ＱＷＥＲＴＹキーボード等を採用してもよい。すなわち、入力部３４がユーザによってなされた操作に基づく入力を受け付ける。当該入力が命令信号として、通信バス３０を介してプロセッサ３１に転送され、プロセッサ３１が必要に応じて所定の制御又は演算を実行しうる。
【0027】
出力部３５は、従業員端末３の表示デバイスとして機能することが可能である。出力部３５は、例えば、従業員端末３の筐体に含まれてもよいし、外付けされてもよい。出力部３５は、ユーザが操作可能なグラフィカルユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）の画面を表示する。これは例えば、ＣＲＴディスプレイ、液晶ディスプレイ、有機ＥＬディスプレイ及びプラズマディスプレイ等の表示デバイスを、従業員端末３の種類に応じて使い分けて実施することが好ましい。
【0028】
２．３．顧客端末４のハードウェア構成
図４は、顧客端末４のハードウェア構成の一例を示す図である。顧客端末４は、プロセッサ４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。顧客端末４のそれぞれの構成要素が顧客端末４のそれぞれの内部において通信バス４０を介して電気的に接続されている。顧客端末４は、実施形態に係る処理を実行する。顧客端末４の、プロセッサ４１と、記憶部４２と、通信部４３とについては、ボットサーバ２のプロセッサ２１と、記憶部２２と、通信部２３とを参照されたい。顧客端末４の、入力部４４と、出力部４５については、入力部３４と、出力部３５とを参照されたい。
図４は、顧客端末４のハードウェア構成の一例を示す図である。顧客端末４は、プロセッサ４１と、記憶部４２と、通信部４３と、入力部４４と、出力部４５とを備える。顧客端末４のそれぞれの構成要素が顧客端末４のそれぞれの内部において通信バス４０を介して電気的に接続されている。顧客端末４は、実施形態に係る処理を実行する。顧客端末４の、プロセッサ４１と、記憶部４２と、通信部４３とについては、ボットサーバ２のプロセッサ２１と、記憶部２２と、通信部２３とを参照されたい。顧客端末４の、入力部４４と、出力部４５については、入力部３４と、出力部３５とを参照されたい。
【0029】
２．４．関連情報サーバ５のハードウェア構成
関連情報サーバ５は、プロセッサと、記憶部と、通信部とを備える。関連情報サーバ５のそれぞれの構成要素が関連情報サーバ５のそれぞれの内部において通信バスを介して電気的に接続されている。関連情報サーバ５は、実施形態に係る処理を実行する。関連情報サーバ５の、プロセッサと、記憶部と、通信部とについては、ボットサーバ２のプロセッサ２１と、記憶部２２と、通信部２３とを参照されたい。
関連情報サーバ５は、プロセッサと、記憶部と、通信部とを備える。関連情報サーバ５のそれぞれの構成要素が関連情報サーバ５のそれぞれの内部において通信バスを介して電気的に接続されている。関連情報サーバ５は、実施形態に係る処理を実行する。関連情報サーバ５の、プロセッサと、記憶部と、通信部とについては、ボットサーバ２のプロセッサ２１と、記憶部２２と、通信部２３とを参照されたい。
【0030】
３．ボットサーバ２のプロセッサ２１の機能構成
図５は、ボットサーバ２のプロセッサ２１が備える機能部の一例を示す図である。図５に示すように、プロセッサ２１は、記憶部２２に記憶された次の各部がなされるようにプログラムを実行することにより、情報送受信部２１０と、学習部２１１と、取得部２１２と、提示部２１３と、管理部２１４として機能する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理がハードウェアの一例である少なくとも１つのプロセッサ２１によって具体的に実現されることで、プロセッサ２１に含まれる各機能部として実行されうる。
図５は、ボットサーバ２のプロセッサ２１が備える機能部の一例を示す図である。図５に示すように、プロセッサ２１は、記憶部２２に記憶された次の各部がなされるようにプログラムを実行することにより、情報送受信部２１０と、学習部２１１と、取得部２１２と、提示部２１３と、管理部２１４として機能する。すなわち、記憶部２２に記憶されているソフトウェアによる情報処理がハードウェアの一例である少なくとも１つのプロセッサ２１によって具体的に実現されることで、プロセッサ２１に含まれる各機能部として実行されうる。
【0031】
情報送受信部２１０は、通信ネットワークＮ及び通信部２３を介して、種々の情報を従業員端末３、顧客端末４又は、関連情報サーバ５から受け付け、受信し、又は取得するように構成される。また、情報送受信部２１０は、通信部２３及び通信ネットワークＮを介して、種々の情報を従業員端末３、顧客端末４又は関連情報サーバ５に、送信又は出力するように構成される。
【0032】
学習部２１１は、学習モデルを使用する情報処理を実行する。例えば、学習部２１１は、特徴量を取得する。また、例えば、学習部２１１は、採用された過去の向上施策に紐付く、質問文と回答文との少なくとも１つの入力に応じて、採用された過去の向上施策を提示できるように学習させた学習モデル７０（図１１で詳述する）を取得する。
【0033】
取得部２１２は、対応データを取得する。
【0034】
提示部２１３は、対応データと所定の参照情報とに基づいて、評価情報を向上させるための向上施策を提示する。
【0035】
管理部２１４は、質問文が入力されることに応じて回答文を出力するチャットボットを管理する。管理部２１４は、複数のインテント情報を管理する。
【0036】
情報送受信部２１０と、学習部２１１と、取得部２１２と、提示部２１３と、管理部２１４とは、後述する情報処理を実行するように構成される。
【0037】
４．用語の説明
次に、本明細書における各用語を説明する。まず、図６を参照しながら、対応データと、質問文と、回答文と、評価情報とについて説明する。図６は、対応データ６の一例を示す図である。図６には、対応データ６と関連情報６３とが含まれる。
次に、本明細書における各用語を説明する。まず、図６を参照しながら、対応データと、質問文と、回答文と、評価情報とについて説明する。図６は、対応データ６の一例を示す図である。図６には、対応データ６と関連情報６３とが含まれる。
【0038】
「対応データ」とは、質問文６０と回答文６１と評価情報６４とが対応付けられているデータである。対応データ６は、顧客により入力された質問文６０と、質問文６０に対応する回答文６１と、回答文６１に対応する顧客からの評価である評価情報６４とを含む。
【0039】
「質問文」とは、ユーザにより質問として入力される文である。本実施形態では、質問文６０は、顧客であるユーザによりチャットボットに対して入力されるテキスト形式の情報である。より具体的には例えば、質問文６０は、経理、確定申告、人事、労務、契約、マーケティング、会社設立、個人事業主等のサービスにおいて、当該サービスの不明点、疑問点等の顧客の質問事項として顧客端末４から受け付ける文である。質問事項としては、システムの操作方法、料金体系、解約の方法、用語の意味等が挙げられる。図６に示すように、質問文６０の入力は、顧客からのタッチパネルやキーボード等の手入力を受け付けることにより行われてもよいし、顧客による音声の入力が行われてもよい。
【0040】
「回答文」とは、質問文６０への回答として出力される文である。本実施形態では、回答文６１は、チャットボットが質問文６０に回答するテキスト形式の情報である。より具体的には例えば、回答文６１は、経理、確定申告、人事、労務、契約、マーケティング、会社設立、個人事業主等のサービスにおいて、当該サービスの不明点、疑問点等の顧客の質問事項への回答文６１として顧客端末４に出力される文である。回答文６１は、関連情報６３へのリンク情報６２を含んでもよい。リンク情報６２は、顧客によるリンク情報６２への操作によって、関連情報６３を参照可能に構成される。
【0041】
「関連情報」とは、質問文６０と回答文６１とのうち少なくとも１つの内容に関連するテキスト形式の情報である。関連情報６３は、回答文６１に関連した情報を顧客が更に詳しく知りたい場合に参照される情報である。関連情報６３は、図６では、ウェブブラウザにより表示される態様で示されているがこれに限定されない。関連情報６３は、回答文６１よりも多くのテキスト形式の情報を含んで構成されてもよい。関連情報６３は、画像又は動画の情報を含んで構成されてもよい。関連情報６３は、リンク情報６２に紐付くＵＲＬによって、参照されてもよい。関連情報６３は、質問文６０の内容と回答文６１の内容とのうち少なくとも１つに基づいて、所定の範囲を検索することで得られる情報を含む。所定の範囲は、インターネットにより取得できるウェブページの範囲を含む。所定の範囲は、従業員が所属する組織が運営するサイトであってもよいし、Ｗｉｋｉｐｅｄｉａ等のボットサーバ２（ある観点によると、インテント情報データベースＤＢ１）の外部のサイトであってもよい。従業員が所属する組織が運営するサイトである場合、当該サービスの該当するサポートサイト、Ｑ＆Ａ、マニュアル等であってもよい。関連情報６３は、検索エンジンによる検索結果のスニペットに含まれるテキスト形式の情報であってもよい。
【0042】
「評価情報」とは、回答文を確認した顧客による、当該回答文に対する顧客の満足度を表す情報である。実施形態では、評価情報６４は、回答文と共に「ご案内はお役に立ちましたか？」という情報が出力された後に、「はい」又は「いいえ」の２択で選択を受け付ける情報である。顧客により「はい」が選択された場合、回答文に紐付く評価情報６４は、回答文が有益な情報であったことを示す情報となる。一方で、顧客により「いいえ」が選択された場合、回答文に紐付く評価情報６４は、回答文が有益な情報ではなかったことを示す情報となる。
【0043】
次に、図７を参照しながら、インテント情報及び想定質問文について説明する。
【0044】
図７は、インテント情報データベースＤＢ１の一例を示す図である。インテント情報データベースＤＢ１は、想定質問文データＤＢ１０と、質問識別情報データＤＢ１１と、回答文データＤＢ１２とを少なくとも含む。想定質問文データＤＢ１０は、各想定質問文が格納されるデータ列である。質問識別情報データＤＢ１１は、各質問識別情報が格納されるデータ列である。
【0045】
「想定質問文」とは、顧客からの入力が想定される質問文の情報である。想定質問文は、１の回答文に紐付いて複数登録されてもよい。ある内容について、複数の想定質問文が登録されることにより、その内容に関して適切に回答文を出力できる可能性が高まる。
【0046】
「質問識別情報」とは、顧客の質問の意図を特定するために使用されるデータである。質問識別情報は、顧客から入力された質問文の意図が特定できない場合に、他の質問識別情報と共に表示される。この表示された複数の質問識別情報は、顧客の質問の意図を特定するために、何れか１つの質問識別情報の選択を受け付け可能に構成される。質問識別情報は、回答文と１対１の対応関係で存在する。回答文データＤＢ１２は、各回答文が格納されるデータ列である。
【0047】
「インテント情報」とは、想定質問文と当該想定質問文に対応する回答文との組み合わせの情報である。１のインテント情報は、複数の想定質問文に紐付いて１つの回答文が存在する。すなわち、インテント情報は、図７の回答文の数量単位での行の情報である。インテント情報は、複数存在し、追加又は削除することによりその数が増減する情報である。
【0048】
管理部２１４は、複数のインテント情報を含むインテント情報データベースＤＢ１を管理しており、インテント情報データベースＤＢ１を参照して次のような情報処理を実行する。管理部２１４は、顧客から受け付けた質問文の内容に基づいて、想定質問文データＤＢ１０から、顧客が入力した質問文に近い想定質問文を検索する。
管理部２１４は、検索により想定質問文を特定した場合（関連度が高い想定質問文が存在する場合）、それとペアになっている回答文データＤＢ１２に紐づく回答文を出力する。例えば、管理部２１４は、「有料プランは自動で更新されますか。」という質問文を受け付けた場合、「有料プランは自動更新ですか？」を顧客の質問文に近い想定質問文とし、回答文として「カード決済で利用の場合は・・・」を出力する。
また、管理部２１４は、検索により想定質問文を特定できなかった場合（関連度が低い想定質問文が複数存在する場合）、当該複数の想定質問文に紐付く複数の質問識別情報データＤＢ１１に紐づく質問識別情報を出力し、顧客から顧客の質問事項に最も近い質問識別情報の選択を受け付ける。例えば、管理部２１４は、「有料プランについて教えて欲しい」という質問文を受け付けた場合、「有料プランへの変更について」と「有料プランの更新について」とを質問識別情報として出力し、顧客から何れかの質問識別情報の選択を受け付ける。
管理部２１４は、検索により想定質問文を特定した場合（関連度が高い想定質問文が存在する場合）、それとペアになっている回答文データＤＢ１２に紐づく回答文を出力する。例えば、管理部２１４は、「有料プランは自動で更新されますか。」という質問文を受け付けた場合、「有料プランは自動更新ですか？」を顧客の質問文に近い想定質問文とし、回答文として「カード決済で利用の場合は・・・」を出力する。
また、管理部２１４は、検索により想定質問文を特定できなかった場合（関連度が低い想定質問文が複数存在する場合）、当該複数の想定質問文に紐付く複数の質問識別情報データＤＢ１１に紐づく質問識別情報を出力し、顧客から顧客の質問事項に最も近い質問識別情報の選択を受け付ける。例えば、管理部２１４は、「有料プランについて教えて欲しい」という質問文を受け付けた場合、「有料プランへの変更について」と「有料プランの更新について」とを質問識別情報として出力し、顧客から何れかの質問識別情報の選択を受け付ける。
【0049】
次に、図８を参照しながら、分類結果と向上施策とについて説明する。
【0050】
図８は、向上施策データベースＤＢ２の一例を示す図である。向上施策データベースＤＢ２は、分類結果データＤＢ２０と、向上施策データＤＢ２１とを少なくとも含む。
【0051】
向上施策データベースＤＢ２は、従業員によって作成される。分類結果データＤＢ２０は、分類結果を含む。この分類結果は、回答文に対する顧客の満足度が低いことの原因として割り当てられるデータである。他の観点によると、分類結果は、顧客の満足度が低いことを示す評価情報に対して分類される。分類結果は、例えば、「質問文の誤字又は脱字」と、「質問文の内容が粗すぎる」と、「質問文の内容が細かすぎる」と、「質問文を特定できない」と、「回答文に改善の余地がある」と、「インテント情報が存在しない」と、「質問識別情報がわかりにくい」と、「機能が存在しない」と、「質問文の意図が不明」と、「正答の理由が不明」とを含んでもよい。
【0052】
「質問文の誤字又は脱字」とは、質問文の誤字、脱字等の文面的なミスにより、質問文の内容が理解できないため、適切な回答ができていないことである。
「質問文の内容が粗すぎる」とは、質問文の内容が理解できない程、質問文の情報が少なすぎるため、適切な回答ができていないことである。
「質問文の内容が細かすぎる」とは、質問文の内容が細かすぎる又は具体的すぎるため、適切な回答ができていないことである。
「質問文を特定できない」とは、質問文に紐付く回答文は存在するものの、想定質問文から当該質問文を特定できないため、適切な回答ができていないことである。
「回答文に改善の余地がある」とは、回答文の内容が直接的な回答になっていないこと、又は、回答文に書かれるべき情報は書いてあるが伝わりにくい回答であることである。
「インテント情報が存在しない」とは、既存のインテント情報で対応できないため、適切な回答ができていないことである。
「質問識別情報がわかりにくい」とは、質問識別情報の選択を受け付けた場合に、選択肢を選んだ先に情報があることが質問識別情報の文から読み取れないため、適切な回答ができていないことである。
「機能又は手段が存在しない」とは、顧客の課題を解決できる機能又は手段が存在しないため、顧客の課題に対応できずに、顧客の満足度が低い状態である。
「質問文の意図が不明」とは、質問文の意図が不明であるために適切な回答ができずに、顧客の満足度が低い状態である。
「正答の理由が不明」とは、顧客の満足度の原因が不明であり、適切な回答ができているように見えるが、顧客の満足度が低い状態である。
「質問文の内容が粗すぎる」とは、質問文の内容が理解できない程、質問文の情報が少なすぎるため、適切な回答ができていないことである。
「質問文の内容が細かすぎる」とは、質問文の内容が細かすぎる又は具体的すぎるため、適切な回答ができていないことである。
「質問文を特定できない」とは、質問文に紐付く回答文は存在するものの、想定質問文から当該質問文を特定できないため、適切な回答ができていないことである。
「回答文に改善の余地がある」とは、回答文の内容が直接的な回答になっていないこと、又は、回答文に書かれるべき情報は書いてあるが伝わりにくい回答であることである。
「インテント情報が存在しない」とは、既存のインテント情報で対応できないため、適切な回答ができていないことである。
「質問識別情報がわかりにくい」とは、質問識別情報の選択を受け付けた場合に、選択肢を選んだ先に情報があることが質問識別情報の文から読み取れないため、適切な回答ができていないことである。
「機能又は手段が存在しない」とは、顧客の課題を解決できる機能又は手段が存在しないため、顧客の課題に対応できずに、顧客の満足度が低い状態である。
「質問文の意図が不明」とは、質問文の意図が不明であるために適切な回答ができずに、顧客の満足度が低い状態である。
「正答の理由が不明」とは、顧客の満足度の原因が不明であり、適切な回答ができているように見えるが、顧客の満足度が低い状態である。
【0053】
「向上施策」は、評価情報を向上させるための施策である。向上施策は、「インテント情報の想定質問文を追加すること」と、「インテント情報の回答文を修正すること」と、「インテント情報を追加すること」と、「質問識別情報を修正すること」と、「何もしないことと」のうち少なくとも１つを含む。
【0054】
「インテント情報の想定質問文を追加すること」とは、既存の回答文に紐付く想定質問文を追加することである。「インテント情報の想定質問文を追加すること」は、分類結果のうち、「質問文を特定できない」に紐付く向上施策である。既存の回答文に想定質問文を追加することで、類似する質問が来たときの正答率を上げることができる。
【0055】
「インテント情報の回答文を修正すること」とは、既存のインテント情報に紐付く回答文を、顧客がよりわかりやすい内容に修正することである。よりわかりやすい内容に修正することは、文の構成、誤字、脱字等を修正すること、より具体的な表現に文を変更することを含む。「インテント情報の回答文を修正すること」は、分類結果のうち、「回答文に改善の余地がある」に紐付く向上施策である。
【0056】
「インテント情報を追加すること」とは、新たに、想定質問文と、質問識別情報と、回答文と、の組み合わせからなるインテント情報を作成することで、回答できる内容を追加することである。インテント情報を追加することは、チャットボットに知識を追加することでもある。「インテント情報を追加すること」は、分類結果のうち、「インテント情報が存在しない」に紐付く向上施策である。
【0057】
「質問識別情報を修正すること」とは、質問識別情報の文をよりわかりやすい内容に修正することである。「質問識別情報を修正すること」は、分類結果のうち、「質問識別情報がわかりにくい」に紐付く向上施策である。
【0058】
「何もしないこと」とは、インテント情報の登録又はインテント情報に紐付く情報の修正を行わないことである。「何もしないこと」は、例えば、評価情報を向上させる余地がない場合等に選択される。「何もしないこと」は、分類結果のうち、「質問文の誤字又は脱字」と、「質問文の内容が粗すぎる」と、「質問文の内容が細かすぎる」と、「機能が存在しない」と、「質問文の意図が不明」と、「正答の理由が不明」とに紐付く向上施策である。
【0059】
すなわち、プロセッサ２１は、図８に示す向上施策データベースＤＢ２を参照して次のような情報処理を実行する。プロセッサ２１は、後述する学習モデル７０により、分類結果を推測する。プロセッサ２１は、推測した分類結果に基づいて、分類結果データＤＢ２０を参照し、向上施策データＤＢ２１から、インテント情報に関する向上施策を取得する。
【0060】
これにより、他社が開発したチャットボットを使用する場合等において、インテント情報を検索するアルゴリズムの変更に関与することができない場合であっても、そのアルゴリズムを変更することなく、チャットボットによる回答の精度を向上させる施策を講じることが可能となる。また、インテント情報を検索するアルゴリズムの精度の向上とは別に、インテント情報を改良する必要は生じてしまうためインテント情報を使用する態様において自動化を推進することができる。
【0061】
５．情報処理システム１の動作の流れ
本実施形態の情報処理システム１で実行される好ましい情報処理の一例を説明する。
本実施形態の情報処理システム１で実行される好ましい情報処理の一例を説明する。
【0062】
本明細書において、通信部２３、通信部３３、通信部４３又は関連情報サーバ５の通信部を介して送受信された種々の情報は、使用された通信部に関連するそれぞれの記憶部２２、記憶部３２、記憶部４２、又は関連情報サーバ５の記憶部に記憶されるものとする。
【0063】
本明細書において、「取得」とは、データ等を他の装置から受信する態様と、データ等を自ら生成する態様との両方を含む概念である。
【0064】
５．１．情報処理の概要
図９及び図１０のシーケンス図を示しながら学習時と推論時の情報処理の概要を説明する。まず、学習時について説明する。図９は、学習時の情報処理の流れを説明するシーケンス図の一例である。
図９及び図１０のシーケンス図を示しながら学習時と推論時の情報処理の概要を説明する。まず、学習時について説明する。図９は、学習時の情報処理の流れを説明するシーケンス図の一例である。
【0065】
［学習時］
（ステップＳ１－１）
まず、従業員端末３のプロセッサ３１は、従業員による入力部３４への操作を介して、過去対応データを特定する。この過去対応データは、採用された過去の向上施策に紐付く、対応データである。過去対応データの特定したことに応じて、プロセッサ３１は、ボットサーバ２に、特定した過去対応データの情報を送信する。ボットサーバ２の情報送受信部２１０は、従業員端末３から、特定した過去対応データの情報を受け付ける。取得部２１２は、特定した過去対応データの情報に基づいて、過去対応データを取得する。
（ステップＳ１－１）
まず、従業員端末３のプロセッサ３１は、従業員による入力部３４への操作を介して、過去対応データを特定する。この過去対応データは、採用された過去の向上施策に紐付く、対応データである。過去対応データの特定したことに応じて、プロセッサ３１は、ボットサーバ２に、特定した過去対応データの情報を送信する。ボットサーバ２の情報送受信部２１０は、従業員端末３から、特定した過去対応データの情報を受け付ける。取得部２１２は、特定した過去対応データの情報に基づいて、過去対応データを取得する。
【0066】
（ステップＳ１－２）
続いて、従業員端末３のプロセッサ３１は、機械学習の条件の入力を受け付ける。機械学習の条件の入力を受け付けたことに応じて、プロセッサ３１は、ボットサーバ２に、機械学習の条件を送信する。ボットサーバ２の情報送受信部２１０は、従業員端末３から、機械学習の条件を受け付ける。学習部２１１は、受け付けた機械学習の条件に基づいて、学習モデルによる機械学習の条件を変更する。例えば、機械学習の条件は、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を使用する場合、重みパラメータの更新頻度の決定、更新に使う推論誤差の計算式の決定等である。ステップＳ１－２は、省略されることがある。
続いて、従業員端末３のプロセッサ３１は、機械学習の条件の入力を受け付ける。機械学習の条件の入力を受け付けたことに応じて、プロセッサ３１は、ボットサーバ２に、機械学習の条件を送信する。ボットサーバ２の情報送受信部２１０は、従業員端末３から、機械学習の条件を受け付ける。学習部２１１は、受け付けた機械学習の条件に基づいて、学習モデルによる機械学習の条件を変更する。例えば、機械学習の条件は、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等を使用する場合、重みパラメータの更新頻度の決定、更新に使う推論誤差の計算式の決定等である。ステップＳ１－２は、省略されることがある。
【0067】
（ステップＳ１－３）
続いて、学習部２１１は、質問文と回答文とのうち少なくとも一方からベクトルの情報を取得する。この情報処理は、後述する、質問文判定部７００及び回答文判定部７０１での情報処理に対応する。このベクトルの情報は、文を複数の次元に数値化した情報である。このベクトルの各次元の数値が近い文は、似た意味の文であることを示す。
続いて、学習部２１１は、質問文と回答文とのうち少なくとも一方からベクトルの情報を取得する。この情報処理は、後述する、質問文判定部７００及び回答文判定部７０１での情報処理に対応する。このベクトルの情報は、文を複数の次元に数値化した情報である。このベクトルの各次元の数値が近い文は、似た意味の文であることを示す。
【0068】
また、学習部２１１は、質問文及び回答文の組み合わせからベクトルの情報を取得する。この情報処理は、後述する両文整合性判定部７０２での情報処理に対応する。
【0069】
（ステップＳ１－４）
続いて、情報送受信部２１０は、対応データに含まれる、質問文と回答文とのうち少なくとも１つの内容に基づいて関連情報のリクエストを要求する。具体的には例えば、情報送受信部２１０は、質問文又は回答文に含まれるキーワードをインターネットによる検索に適用することで、関連情報のリクエストを要求する。
続いて、情報送受信部２１０は、対応データに含まれる、質問文と回答文とのうち少なくとも１つの内容に基づいて関連情報のリクエストを要求する。具体的には例えば、情報送受信部２１０は、質問文又は回答文に含まれるキーワードをインターネットによる検索に適用することで、関連情報のリクエストを要求する。
【0070】
（ステップＳ１－５）
続いて、関連情報サーバ５は、ボットサーバ２から、関連情報のリクエストを受け付けたことに応じて、関連情報を特定する。関連情報サーバ５は、ボットサーバ２に、特定した関連情報を送信する。情報送受信部２１０は、関連情報サーバ５から関連情報を受け付けることにより、関連情報を取得する。
続いて、関連情報サーバ５は、ボットサーバ２から、関連情報のリクエストを受け付けたことに応じて、関連情報を特定する。関連情報サーバ５は、ボットサーバ２に、特定した関連情報を送信する。情報送受信部２１０は、関連情報サーバ５から関連情報を受け付けることにより、関連情報を取得する。
【0071】
（ステップＳ１－６）
続いて、学習部２１１は、取得した関連情報からベクトルの情報を取得する。この情報処理は、後述する検索結果特徴量抽出部７０３での情報処理に対応する。
続いて、学習部２１１は、取得した関連情報からベクトルの情報を取得する。この情報処理は、後述する検索結果特徴量抽出部７０３での情報処理に対応する。
【0072】
（ステップＳ１－７）
続いて、学習部２１１は、取得したベクトルの情報に基づいて、分類結果を取得する。この情報処理は、後述する分類部７０４での情報処理に対応する。その後、プロセッサ２１は、質問文と回答文と取得した関連情報とのうち少なくとも１つを、学習モデルに入力することで分類結果を取得する。管理部２１４は、分類結果と図８の向上施策データベースＤＢ２とに基づいて、向上施策を取得する。
続いて、学習部２１１は、取得したベクトルの情報に基づいて、分類結果を取得する。この情報処理は、後述する分類部７０４での情報処理に対応する。その後、プロセッサ２１は、質問文と回答文と取得した関連情報とのうち少なくとも１つを、学習モデルに入力することで分類結果を取得する。管理部２１４は、分類結果と図８の向上施策データベースＤＢ２とに基づいて、向上施策を取得する。
【0073】
（ステップＳ１－８）
続いて、情報送受信部２１０は、取得した向上施策と、ステップＳ１－５で取得した関連情報と、を従業員端末３に送信する。プロセッサ３１は、向上施策と関連情報とをボットサーバ２から受け付ける。プロセッサ３１は、受け付けた向上施策と関連情報とを出力部３５に出力する。すなわち、提示部２１３は、従業員端末３を介して、向上施策を提示する。
続いて、情報送受信部２１０は、取得した向上施策と、ステップＳ１－５で取得した関連情報と、を従業員端末３に送信する。プロセッサ３１は、向上施策と関連情報とをボットサーバ２から受け付ける。プロセッサ３１は、受け付けた向上施策と関連情報とを出力部３５に出力する。すなわち、提示部２１３は、従業員端末３を介して、向上施策を提示する。
【0074】
情報処理システム１は、採用された過去の向上施策を提示するまで、ステップＳ１－３～Ｓ１－８の情報処理を繰り返し実行することで、学習モデルを学習させる。すなわち、学習部２１１は、採用された過去の向上施策に紐付く、質問文と回答文との少なくとも１つの入力に応じて、採用された過去の向上施策を提示できるように、及び採用された過去の向上施策に紐付く関連情報が取得されるように、学習させた学習モデル７０を取得する。また、学習部２１１は、この学習の過程で、個々の重みパラメータを更新する。複数の過去対応データについて、採用された過去の向上施策を提示するまで、学習モデルを学習させた場合、情報処理システム１は、学習時の情報処理を終了する。
【0075】
［推論時］
次に、推論時について説明する。図１０は、推論時の情報処理の流れを説明するシーケンス図の一例である。
次に、推論時について説明する。図１０は、推論時の情報処理の流れを説明するシーケンス図の一例である。
【0076】
（ステップＳ２－１）
プロセッサ４１は、顧客による入力部４４への操作を介して、チャットボットへの質問文の入力を受け付ける。プロセッサ４１は、通信部４３及び通信ネットワークＮを介して、入力された質問文をボットサーバ２に送信する。情報送受信部２１０は、入力された質問文を顧客端末４から受け付ける。
プロセッサ４１は、顧客による入力部４４への操作を介して、チャットボットへの質問文の入力を受け付ける。プロセッサ４１は、通信部４３及び通信ネットワークＮを介して、入力された質問文をボットサーバ２に送信する。情報送受信部２１０は、入力された質問文を顧客端末４から受け付ける。
【0077】
（ステップＳ２－２）
管理部２１４は、図７のインテント情報データベースＤＢ１を参照して、顧客の質問文に近い想定質問文を検索し、当該想定質問文とペアになっている回答文を取得する。回答文を取得した場合、情報送受信部２１０は、取得した回答文を顧客端末４に送信する。プロセッサ４１は、通信ネットワークＮ及び通信部４３を介して、回答文をボットサーバ２から受け付ける。プロセッサ４１は、チャットボットが回答を出力しているように、出力部４５に回答文を表示させる。すなわち、管理部２１４は、質問文が入力されることに応じて回答文を出力するチャットボットを管理する。
管理部２１４は、図７のインテント情報データベースＤＢ１を参照して、顧客の質問文に近い想定質問文を検索し、当該想定質問文とペアになっている回答文を取得する。回答文を取得した場合、情報送受信部２１０は、取得した回答文を顧客端末４に送信する。プロセッサ４１は、通信ネットワークＮ及び通信部４３を介して、回答文をボットサーバ２から受け付ける。プロセッサ４１は、チャットボットが回答を出力しているように、出力部４５に回答文を表示させる。すなわち、管理部２１４は、質問文が入力されることに応じて回答文を出力するチャットボットを管理する。
【0078】
（ステップＳ２－３）
プロセッサ４１は、顧客による入力部４４への操作を介して、顧客から回答文に対する評価情報を受け付ける。プロセッサ４１は、通信部４３及び通信ネットワークＮを介して、入力された評価情報をボットサーバ２に送信する。情報送受信部２１０は、入力された評価情報を顧客端末４から受け付ける。取得部２１２は、入力された質問文及び評価情報と、出力された回答文とを対応データとして取得する。
プロセッサ４１は、顧客による入力部４４への操作を介して、顧客から回答文に対する評価情報を受け付ける。プロセッサ４１は、通信部４３及び通信ネットワークＮを介して、入力された評価情報をボットサーバ２に送信する。情報送受信部２１０は、入力された評価情報を顧客端末４から受け付ける。取得部２１２は、入力された質問文及び評価情報と、出力された回答文とを対応データとして取得する。
【0079】
（ステップＳ２－４～Ｓ２－９）
図１０に示すステップＳ２－４～Ｓ２－９では、図９に示すステップＳ１－３～Ｓ１－８と略同様の情報処理が実行される。
ステップＳ２－４では、ステップＳ１－３と同様に、学習部２１１は、質問文と回答文との特徴量を取得する。
ステップＳ２－５では、ステップＳ１－４と同様に、情報送受信部２１０は、関連情報を要求する。
ステップＳ２－６では、ステップＳ１－５と同様に、情報送受信部２１０は、関連情報を受け付ける。
ステップＳ２－７では、ステップＳ１－６と同様に、学習部２１１は、関連情報の特徴量を取得する。
ステップＳ２－８では、ステップＳ１－７と同様に、管理部２１４は、改善施策を取得する。
ステップＳ２－９では、ステップＳ１－８と同様に、提示部２１３は、改善施策と関連情報とを提示する。このとき、提示部２１３は、分類結果及び後述する判定結果を併せて提示してもよい。これにより、従業員は、向上施策と共に関連情報を確認できるため、向上施策の実行に関連情報を利用することができる。また、同一又は類似する分類結果となったものは、従業員が確認するべき関連情報も同一又は類似となり、従業員による向上施策の効率的な実行に役立てることができる。
図１０に示すステップＳ２－４～Ｓ２－９では、図９に示すステップＳ１－３～Ｓ１－８と略同様の情報処理が実行される。
ステップＳ２－４では、ステップＳ１－３と同様に、学習部２１１は、質問文と回答文との特徴量を取得する。
ステップＳ２－５では、ステップＳ１－４と同様に、情報送受信部２１０は、関連情報を要求する。
ステップＳ２－６では、ステップＳ１－５と同様に、情報送受信部２１０は、関連情報を受け付ける。
ステップＳ２－７では、ステップＳ１－６と同様に、学習部２１１は、関連情報の特徴量を取得する。
ステップＳ２－８では、ステップＳ１－７と同様に、管理部２１４は、改善施策を取得する。
ステップＳ２－９では、ステップＳ１－８と同様に、提示部２１３は、改善施策と関連情報とを提示する。このとき、提示部２１３は、分類結果及び後述する判定結果を併せて提示してもよい。これにより、従業員は、向上施策と共に関連情報を確認できるため、向上施策の実行に関連情報を利用することができる。また、同一又は類似する分類結果となったものは、従業員が確認するべき関連情報も同一又は類似となり、従業員による向上施策の効率的な実行に役立てることができる。
【0080】
ここで取得部２１２は、ステップＳ２－１～Ｓ２－３にて対応データを取得し、ステップＳ２－４にて対応データ（質問文と回答文とのうちの少なくとも１つ）を、所定の参照情報としての学習モデルに入力し、ステップＳ２－９にて向上施策を提示している。すなわち、提示部２１３は、対応データと、所定の参照情報としての学習モデルと、に基づいて、評価情報を向上させるための向上施策を提示することとなる。
【0081】
５．２．学習モデル７０の挙動
次に図１１を示しながら学習モデル７０の挙動を説明する。
次に図１１を示しながら学習モデル７０の挙動を説明する。
【0082】
図１１は、学習モデルの挙動を説明するブロック図の一例である。図１１には、質問文７１と、回答文７２と、学習モデル７０と、関連情報７３と、関連情報サーバ５と、判定結果と、分類結果と、向上施策データベースＤＢ２と、向上施策と、が含まれる。質問文７１と、回答文７２と、関連情報７３と、関連情報サーバ５と、分類結果と、向上施策データベースＤＢ２と、向上施策とについては上述の通りである。
【0083】
判定結果は、質問文判定部７００による質問文７１の判定の結果、回答文判定部７０１による回答文７２の判定の結果、又は両文整合性判定部７０２による質問文７１及び回答文７２の組み合わせの判定の結果を示す。学習部２１１は、この判定結果に基づいて、分類結果を出力する。管理部２１４は、出力された分類結果と向上施策データベースＤＢ２とに基づいて、向上施策を出力する。判定結果の詳細は、後述する。
【0084】
学習モデル７０は、特徴量の生成及び複数のベクトルの情報の比較が可能に構成される。学習モデル７０には、任意のアルゴリズムが使用される。学習モデル７０には、例えば、ＢＥＲＴ、ＲＮＮ、Ｗｏｒｄ２Ｖｅｃ、ｄｏｃ２ｖｅｒ、Ｇｌｏｖｅ、ＦａｓｔＴｅｘ等のニューラルネットワークが使用されてもよいし、ＴＦ－ＩＤＦ（ｔｅｒｍ ｆｒｅｑｕｅｎｃｙ－ｉｎｖｅｒｓｅ ｄｏｃｕｍｅｎｔ ｆｒｅｑｕｅｎｃｙ）等が使用されてもよい。学習モデル７０は、質問文判定部７００と、回答文判定部７０１と、両文整合性判定部７０２と、検索結果特徴量抽出部７０３と、分類部７０４とを備える。質問文判定部７００と、回答文判定部７０１と、両文整合性判定部７０２と、検索結果特徴量抽出部７０３と、分類部７０４とは、それぞれ異なる条件又は種類のアルゴリズムが使用されてもよい。質問文判定部７００と、回答文判定部７０１と、両文整合性判定部７０２とは、同じ条件及び種類のアルゴリズムが使用されてもよい。学習部２１１は、記憶部２２に記憶された学習モデル７０による情報処理が実行されるようにプログラムを実行する。
【0085】
以下では、「ＭＮＦ Ｃｌｏｕｄ年末調整の料金を教えてください」という趣旨の質問文７１が入力され、「ＭＮＦ Ｃｌｏｕｄ給与の有料プランは・・・」という趣旨の回答文７２が出力される場合の、質問文判定部７００、回答文判定部７０１、両文整合性判定部７０２、検索結果特徴量抽出部７０３及び分類部７０４の例をそれぞれ説明する。なお、質問文７１及び回答文７２の内容は、例毎に少し異なる。
【0086】
質問文判定部７００は、質問文７１の入力を受け付け、質問文７１に基づいて、質問文７１のベクトルの情報を学習モデル７０に使用される特徴量として取得する。すなわち、学習モデル７０に使用される特徴量は、質問文７１から得られるベクトルの情報を含む。質問文判定部７００は、質問文７１のベクトルの情報に基づいて、質問文７１に誤字又は脱字が含まれていると判定した場合、誤字又は脱字が含まれていることを判定結果として出力してもよい。例えば、顧客により質問文７１として「年末調整」と入力されるべきところを「年まっ調整」と入力されてしまった場合、質問文判定部７００は、誤字が含まれていることを判定結果として出力する。この場合、分類結果は、「質問文の誤字又は脱字」となり、向上施策は、「何もしない」となる。その後、情報処理システム１は、分類結果として「質問文の誤字又は脱字」の情報と、向上施策として「何もしない」の情報と、関連情報７３としてＭＮＦ Ｃｌｏｕｄの年末調整の料金が記載されているサイトのＵＲＬの情報と、を従業員端末３の出力部３５に表示させる。なお、分類結果を「質問文の誤字又は脱字」として出力することは、回答文判定部７０１、両文整合性判定部７０２、検索結果特徴量抽出部７０３及び分類部７０４による情報処理の結果を使用せずに行われてもよい。
【0087】
回答文判定部７０１は、回答文７２の入力を受け付け、回答文７２に基づいて、回答文７２のベクトルの情報を学習モデル７０に使用される特徴量として取得する。すなわち、学習モデル７０に使用される特徴量は、回答文７２から得られるベクトルの情報を含む。回答文判定部７０１は、回答文７２のベクトルの情報に基づいて、回答文７２に読みにくい要素が含まれていた場合、その結果を判定結果として出力してもよい。読みにくい要素とは、専門用語が使用される、漢字と平仮名のバランスが悪い、文字数が多い、一文が長い、主語又は述語が理解しにくい等の要素であってもよい。この場合、分類結果は、「回答文に改善の余地がある」となり、向上施策は、「インテント情報の回答文を修正すること」となる。その後、情報処理システム１は、分類結果として「回答文に改善の余地がある」の情報と、向上施策として「インテント情報の回答文を修正すること」の情報と、関連情報７３としてＭＮＦ Ｃｌｏｕｄの年末調整の料金が記載されているサイトのＵＲＬの情報と、を従業員端末３の出力部３５に表示させる。このとき、情報処理システム１は、回答文７２に含まれる読みにくい要素の詳細（どの用語が専門用語か、どの箇所の一文が長いか等）の情報を併せて従業員端末３の出力部３５に表示させてもよい。
【0088】
両文整合性判定部７０２は、質問文７１及び回答文７２の入力を受け付け、質問文７１及び回答文７２の組み合わせのベクトルの情報を学習モデル７０に使用される特徴量として取得する。すなわち、学習モデル７０に使用される特徴量は、質問文７１及び回答文７２の組み合わせから得られるベクトルの情報を含む。両文整合性判定部７０２は、ベクトルに基づいて、質問文７１及び回答文７２の両文の組み合わせの整合性を判定し、判定結果として出力する。例えば、両文整合性判定部７０２は、質問文７１が「年末調整」に関する内容であり、回答文７２が「給与」に関する回答である場合、整合性がないこととその理由とを判定結果として出力する。この場合、分類結果は、「質問文の内容が細かすぎる」、「質問文を特定できない」、「回答文に改善の余地がある」及び「インテント情報が存在しない」の何れかであってもよい。例えば、顧客により、質問文７１として「ＭＮＦ Ｃｌｏｕｄ年末調整の料金を教えてください」と入力されるべきところを「ＭＮＦ Ｃｌｏｕｄの料金を教えてください」と入力された場合、両文整合性判定部７０２は、質問文７１を特定できなかったことを判定結果として出力する。この場合、分類結果は、「質問文を特定できない」となり、向上施策は、「何もしない」となる。この場合、情報処理システム１は、分類結果として「質問文を特定できない」の情報と、向上施策として「何もしない」の情報と、関連情報７３としてＭＮＦ Ｃｌｏｕｄに関連するサービスの料金が記載されているサイトのＵＲＬの情報と、を従業員端末３の出力部３５に表示させる。なお、質問文判定部７００又は回答文判定部７０１のみによって判定結果の出力が可能な場合、両文整合性判定部７０２は、情報処理を実行しない。
【0089】
検索結果特徴量抽出部７０３は、質問文７１又は回答文７２の内容から取得した関連情報７３に基づいて、関連情報７３のベクトルの情報を学習モデル７０に使用される特徴量として取得する。すなわち、学習モデル７０に使用される特徴量は、関連情報７３から得られるベクトルの情報を含む。なお、この関連情報７３は、前述した通り、質問文７１又は回答文７２から抽出したキーワードを用いて、関連情報サーバ５に対して検索を実行することにより取得される。例えば、情報送受信部２１０は、質問文７１から「年末調整」というワードを抽出して検索することで、ＭＮＦ Ｃｌｏｕｄ年末調整の料金が記載されているサイト内の情報を関連情報７３として取得する。
【0090】
分類部７０４は、質問文判定部７００、回答文判定部７０１、両文整合性判定部７０２及び検索結果特徴量抽出部７０３にて取得したそれぞれのベクトルの情報を比較することで、それぞれの内容の整合性を判定し、判定結果として出力する。その後、分類部７０４は、出力した判定結果に基づいて、分類結果を出力する。例えば、ＭＮＦ Ｃｌｏｕｄ年末調整の料金に関する回答文７２が既存のインテント情報として存在せずに、ＭＮＦ Ｃｌｏｕｄ年末調整の料金が記載されているサイトが関連情報７３として存在する場合、分類部７０４は、インテント情報を追加するべきとの判定結果を出力する。この場合、分類部７０４は、インテント情報を追加するべきとの判定結果に基づいて、分類結果として「インテント情報が存在しない」を出力する。管理部２１４は、向上施策データベースＤＢ２と出力された分類結果である「インテント情報が存在しない」とに基づいて、向上施策として「インテント情報を追加すること」を出力する。この場合、情報処理システム１は、分類結果として「インテント情報が存在しない」の情報と、向上施策として「インテント情報を追加すること」の情報と、関連情報７３としてＭＮＦ Ｃｌｏｕｄの年末調整の料金が記載されているサイトのＵＲＬの情報と、を従業員端末３の出力部３５に表示させる。これにより、複数の情報のうち、どの情報を信頼すればよいかを学習していき、適切に向上施策を出力することが可能となる。
【0091】
上述のような機械学習による学習モデルを使用することにより、顧客からの評価がついている対応データを自動的に分類することができるため、対応データの分析に必要とする人的リソースを大幅に削減することが可能となる。また、チャットボットそのものが機械に回答させようという趣旨の存在であるにも関わらず、チャットボットによる回答の精度の向上にあたって、結局人の介入が必要となってしまう状況にある。そのため、機械学習による学習モデルを使用することにより、チャットボット自身が問題を解決する能力を向上させることが可能となる。
【0092】
本実施形態によれば、情報処理システム１は、次の各部がなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備える。取得部２１２は、対応データを取得する。対応データは、ユーザにより入力された質問文と、質問文に対応する回答文と、回答文に対応するユーザからの評価である評価情報とを含む。提示部２１３は、対応データと所定の参照情報とに基づいて、評価情報を向上させるための向上施策を提示する。
【0093】
本実施形態によれば、より高い精度で質問文に対して回答文を出力することが可能な技術を提供することが可能となる。このような技術を提供するにあたって、複雑な情報処理を必要としないため、ボットサーバ２、従業員端末３、顧客端末４及び関連情報サーバ５のキャッシュメモリの使用も少なくすることができる。また、キャッシュメモリの使用を少なくすることができる結果として、大掛かりな装置又はコンピュータ等を必要としないため、安価に情報処理を実行することができる。
【0094】
［その他］
前述の実施形態に係る情報処理システム１に関して、プログラムは、コンピュータを、情報処理システム１のプロセッサとして機能させる。また、情報処理システム１が実行する情報処理方法は、情報処理システム１のプロセッサが実行する各ステップを備える。
前述の実施形態に係る情報処理システム１に関して、プログラムは、コンピュータを、情報処理システム１のプロセッサとして機能させる。また、情報処理システム１が実行する情報処理方法は、情報処理システム１のプロセッサが実行する各ステップを備える。
【0095】
実施形態では、インテント情報に基づいて回答文を出力する方法について説明したが、変形例では、インテント情報を使用しない方法であってもよい。例えば、変形例では、顧客からの選択肢を受け付けることで、顧客による質問を特定し、回答文を出力する方法であってもよい。すなわち、プロセッサ２１は、顧客端末４の出力部４５に選択肢を提示して、顧客から選択肢の選択を受け付ける。プロセッサ２１は、受け付けた選択肢に紐付く選択肢を更に提示して、更に客から選択肢の選択を受け付けることを繰り返す。プロセッサ２１は、質問を特定できるまで選択肢の選択を受け付けた場合、回答文を出力する。
【0096】
実施形態では、予め用意されたインテント情報に基づいて回答文を出力する方法について説明したが、変形例では、回答文を自動的に生成する方法であってもよい。この場合、例えば、ボットサーバ２は、回答文を生成するための学習モデルを更に含む。プロセッサ２１は、顧客からの質問文の入力を受け付ける。プロセッサ２１は、受け付けた質問文を、回答文を生成するための学習モデルに入力することで回答文を出力する。
【0097】
実施形態では、向上施策は、インテント情報に関する施策であるものとして説明したが、変形例では、これに限られない。変形例における向上施策は、インテント情報を検索するアルゴリズムを改善する方法であってもよい。また、変形例における向上施策は、インテント情報を検索するアルゴリズムが異なる他のチャットボットに置き換えることも含まれてもよい。更に、変形例における向上施策は、従業員が所属する組織が運営するサイトについて、文、画像、動画等の挿入、削除又は編集の提案であってもよい。
【0098】
実施形態の学習モデルは、所定の参照情報の一例である。実施形態では、所定の参照情報は、機械学習を使用した学習モデルであるものとして説明したが、変形例では、ルールベースであってもよい。
【0099】
実施形態では、チャットボットにより質問文を受け付け、回答文を出力するものとして説明したが、変形例では、音声ボット（ボイスボット）により、質問文の受け付けと、回答文の出力との少なくとも一方を音声により行ってもよい。音声ボットにより質問文を受け付ける場合、情報処理システム１は、音声のデータをトランスクリプションすることにより、質問文を受け付けてもよい。音声ボットにより回答文を出力する場合、情報処理システム１は、回答文のテキストを読み上げして出力してもよい。
【0100】
向上施策が「何もしない」と分類されるものについて、別の向上施策に分類されるように変更されてもよい。例えば、向上施策が「何もしない」となった複数の対応データについて、プロセッサ２１は、クラスタリング又は従業員による入力を受け付けることで、グループ分けを実行する。プロセッサ２１は、グループ分けの結果に基づいて、分類結果と向上施策との作成を受け付け、向上施策データベースＤＢ２を更新してもよい。
【0101】
変形例の関連情報は、イントラネットにより従業員のみがアクセスできるデータベースから取得されてもよい。その場合、関連情報は、顧客には表示されず、分類結果の特定の精度を向上させるために、学習モデルの更新の用途で従業員に使用される。
【0102】
実施形態の評価情報は、「はい、いいえ」の２種類であるものとして説明したが、変形例の評価情報は、顧客の満足度がわかる態様であればよく、例えば、「１～５」の数字により行われてもよいし、「Ａ、Ｂ、Ｃ」、「良い、普通、悪い」、「上、中、下」等で行われてもよい。
【0103】
ボットサーバ２は、オンプレミス形態であってもよく、クラウド形態であってもよい。クラウド形態のボットサーバ２としては、例えば、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）、クラウドコンピューティングという形態で、上記の機能や処理を提供してもよい。
【0104】
上記実施形態では、ボットサーバ２が種々の記憶・制御を行ったが、ボットサーバ２に代えて、複数の外部装置が用いられてもよい。すなわち、種々の情報やプログラムは、ブロックチェーン技術等を用いて複数の外部装置に分散して記憶されてもよい。
【0105】
更に、次に記載の各態様で提供されてもよい。
【0106】
（１）情報処理システムであって、次の各ステップがなされるようにプログラムを実行可能な少なくとも１つのプロセッサを備え、取得ステップでは、対応データを取得し、ここで、前記対応データは、ユーザにより入力された質問文と、前記質問文に対応する回答文と、前記回答文に対応する前記ユーザからの評価である評価情報とを含み、提示ステップでは、前記対応データと所定の参照情報とに基づいて、前記評価情報を向上させるための向上施策を提示する、情報処理システム。
【0107】
このような構成によれば、評価情報を向上させるための向上施策を提示することができるため、より高い精度で質問文に対する回答文の出力が可能になる。より高い精度で質問文に対する回答文の出力が可能となるため、ユーザからの評価情報を向上させることが期待できる。
【0108】
（２）上記（１）に記載の情報処理システムにおいて、前記所定の参照情報は、学習モデルによって得られる情報を含み、学習ステップでは、採用された過去の向上施策に紐付く、質問文と回答文との少なくとも１つの入力に応じて、前記採用された過去の向上施策を提示できるように学習させた前記学習モデルを取得し、前記提示ステップでは、質問文と回答文とのうち少なくとも１つを、前記学習モデルに入力することで前記向上施策を提示する、情報処理システム。
【0109】
このような構成によれば、機械学習を用いて、評価情報を向上させるための向上施策を提示することができるため、より高い精度で質問文に対する回答文の出力が可能になる。より高い精度で質問文に対する回答文の出力が可能となるため、ユーザからの評価情報を向上させることが期待できる。
【0110】
（３）上記（２）に記載の情報処理システムにおいて、前記学習ステップでは、前記採用された過去の向上施策に紐付く、質問文と回答文とのうち少なくとも１つの入力に応じて、前記採用された過去の向上施策に紐付く関連情報が取得されるように学習させた前記学習モデルを取得し、ここで、前記関連情報は、前記質問文と前記回答文とのうち少なくとも１つの内容に関連する情報であり、前記取得ステップでは、前記対応データに含まれる、前記質問文と前記回答文とのうち少なくとも１つの内容に基づいて関連情報を取得し、前記提示ステップでは、取得した前記関連情報を、前記学習モデルに入力することで前記向上施策を提示する、情報処理システム。
【0111】
このような構成によれば、関連情報を更に用いて、評価情報を向上させるための向上施策を提示することができるため、より高い精度で質問文に対する回答文の出力が可能になる。また、向上施策と共に関連情報も提示されるため、向上施策の実行に関連情報を利用することができる。更に、同一又は類似の向上施策について、関連情報も同一又は類似となる場合があり、向上施策の効率的な実行に役立てることができる。
【0112】
（４）上記（３）に記載の情報処理システムにおいて、前記関連情報は、前記質問文の内容と前記回答文の内容とのうち少なくとも１つに基づいて、インターネットにより所定の範囲を検索することで得られる情報を含む、情報処理システム。
【0113】
このような構成によれば、インターネットを使用して関連情報を取得することが可能となるため、より高い精度で質問文に対する回答文の出力が可能になる。
【0114】
（５）上記（４）に記載の情報処理システムにおいて、前記取得ステップでは、前記質問文又は前記回答文に含まれるキーワードを前記インターネットによる検索に適用することで、前記関連情報を取得する、情報処理システム。
【0115】
このような構成によれば、質問文又は回答文に含まれるキーワードをインターネットによる検索に適用することで関連情報を取得することが可能となるため、より高い精度で質問文に対する回答文の出力が可能になる。
【0116】
（６）上記（２）に記載の情報処理システムにおいて、前記学習モデルに使用される特徴量は、前記質問文と前記回答文とのうち少なくとも一方から得られるベクトルの情報を含む、情報処理システム。
【0117】
このような構成によれば、質問文と回答文とのうち少なくとも一方から得られるベクトルに基づいて、文の分類が可能となる。例えば、質問文の誤字、脱字等を検出することができる。また、例えば、回答文の読みにくい要素を検出することができる。
【0118】
（７）上記（２）に記載の情報処理システムにおいて、前記学習モデルに使用される特徴量は、前記質問文及び前記回答文の組み合わせから得られるベクトルの情報を含む、情報処理システム。
【0119】
このような構成によれば、質問文及び回答文の組み合わせから得られるベクトルに基づいて、文の分類が可能となる。例えば、質問文及び回答文を組み合わせたときに適切な回答がなされているか検出することができる。
【0120】
（８）上記（３）に記載の情報処理システムにおいて、前記学習モデルに使用される特徴量は、前記関連情報から得られるベクトルの情報を含む、情報処理システム。
【0121】
このような構成によれば、関連情報から得られるベクトルに基づいて、文の分類が可能となる。また、質問文及び回答文のみを使用する場合と比較して、より多くの情報を踏まえて文の分類が可能となる。
【0122】
（９）上記（１）に記載の情報処理システムにおいて、管理ステップでは、複数のインテント情報を管理し、前記インテント情報は、質問文と当該質問文に対応する回答文との組み合わせの情報であり、前記向上施策は、前記インテント情報を追加することと、前記インテント情報の前記回答文を修正することと、前記インテント情報の想定される質問文を追加することと、前記インテント情報を識別するための質問識別情報を修正することと、のうち少なくとも１つを含む、情報処理システム。
【0123】
このような構成によれば、インテント情報を使用する場合において、適切な回答がされるようにインテント情報を構成することができる。
【0124】
（１０）上記（１）に記載の情報処理システムにおいて、管理ステップでは、前記質問文が入力されることに応じて前記回答文を出力するチャットボットを管理し、前記質問文は、前記ユーザにより前記チャットボットに対して入力されるテキスト形式の情報であり、前記回答文は、前記チャットボットが前記質問文に回答するテキスト形式の情報である、情報処理システム。
【0125】
このような構成によれば、チャットボットを使用する場合において、チャットボットが出力する回答文の評価を向上させる向上施策を出力できるようになる。
【0126】
（１１）プログラムであって、コンピュータを、上記（１）～（１０）の何れか１つに記載の情報処理システムの前記プロセッサとして機能させるためのプログラム。
【0127】
（１２）情報処理システムが実行する情報処理方法であって、上記（１）～（１０）の何れか１つに記載の情報処理システムの前記プロセッサが実行する各ステップを備える、情報処理方法。
もちろん、この限りではない。
もちろん、この限りではない。
【0128】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0129】
１ ：情報処理システム
２ ：ボットサーバ
２０ ：通信バス
２１ ：プロセッサ
２１０ ：情報送受信部
２１１ ：学習部
２１２ ：取得部
２１３ ：提示部
２１４ ：管理部
２２ ：記憶部
２３ ：通信部
３ ：従業員端末
３０ ：通信バス
３１ ：プロセッサ
３２ ：記憶部
３３ ：通信部
３４ ：入力部
３５ ：出力部
４ ：顧客端末
４０ ：通信バス
４１ ：プロセッサ
４２ ：記憶部
４３ ：通信部
４４ ：入力部
４５ ：出力部
５ ：関連情報サーバ
６ ：対応データ
６０ ：質問文
６１ ：回答文
６２ ：リンク情報
６３ ：関連情報
６４ ：評価情報
７０ ：学習モデル
７００ ：質問文判定部
７０１ ：回答文判定部
７０２ ：両文整合性判定部
７０３ ：検索結果特徴量抽出部
７０４ ：分類部
７１ ：質問文
７２ ：回答文
７３ ：関連情報ＤＢ１ ：インテント情報データベース
ＤＢ１０ ：想定質問文データ
ＤＢ１１ ：質問識別情報データ
ＤＢ１２ ：回答文データ
ＤＢ２ ：向上施策データベース
ＤＢ２０ ：分類結果データ
ＤＢ２１ ：向上施策データ
Ｎ ：通信ネットワーク
２ ：ボットサーバ
２０ ：通信バス
２１ ：プロセッサ
２１０ ：情報送受信部
２１１ ：学習部
２１２ ：取得部
２１３ ：提示部
２１４ ：管理部
２２ ：記憶部
２３ ：通信部
３ ：従業員端末
３０ ：通信バス
３１ ：プロセッサ
３２ ：記憶部
３３ ：通信部
３４ ：入力部
３５ ：出力部
４ ：顧客端末
４０ ：通信バス
４１ ：プロセッサ
４２ ：記憶部
４３ ：通信部
４４ ：入力部
４５ ：出力部
５ ：関連情報サーバ
６ ：対応データ
６０ ：質問文
６１ ：回答文
６２ ：リンク情報
６３ ：関連情報
６４ ：評価情報
７０ ：学習モデル
７００ ：質問文判定部
７０１ ：回答文判定部
７０２ ：両文整合性判定部
７０３ ：検索結果特徴量抽出部
７０４ ：分類部
７１ ：質問文
７２ ：回答文
７３ ：関連情報ＤＢ１ ：インテント情報データベース
ＤＢ１０ ：想定質問文データ
ＤＢ１１ ：質問識別情報データ
ＤＢ１２ ：回答文データ
ＤＢ２ ：向上施策データベース
ＤＢ２０ ：分類結果データ
ＤＢ２１ ：向上施策データ
Ｎ ：通信ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
