知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-13
(45)【発行日】2024-12-23
(54)【発明の名称】自動応答データ改善装置、方法及びプログラム
(51)【国際特許分類】
G06F 16/90 20190101AFI20241216BHJP
G06N 20/00 20190101ALI20241216BHJP
【ＦＩ】
G06F16/90 100
G06N20/00 130
【請求項の数】
10
(21)【出願番号】P 2024047030
(22)【出願日】2024-03-22
【審査請求日】2024-05-17
【早期審査対象出願】
(73)【特許権者】
【識別番号】521124685
【氏名又は名称】株式会社ｄＴｏｓｈ
(74)【代理人】
【識別番号】110000822
【氏名又は名称】弁理士法人グローバル知財
(72)【発明者】
【氏名】平尾 俊貴
(72)【発明者】
【氏名】森田 大夢
(72)【発明者】
【氏名】片山 寛基
【審査官】甲斐 哲雄
(56)【参考文献】
【文献】特開２０２４－００６９４０（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０３７２１０９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
予め入力された学習データと生成ＡＩを用いて、ユーザからの質問に対して自動応答する装置を改善する装置であって、回答データに関するユーザ評価を受け付け、ユーザ評価データとしてデータベースに記憶させるユーザ評価手段と、
質問データ、前記回答データ及び前記ユーザ評価データを用いて自動回答の良否を評価した回答評価データを生成する回答評価手段と、
前記質問データ及び前記回答データに自然言語処理を行い、トピックモデリングを用いてカテゴリに分類し、データベースに記憶させるトピック推定手段と、
前記回答評価データ及び前記カテゴリを用いて、少なくともカテゴリ毎の前記自動回答の良否を解析する評価データ解析手段、
を備えることを特徴とする自動応答データ改善装置。
【請求項2】
前記評価データ解析手段は、入力が推奨される学習データを解析する学習データ解析手段を有することを特徴とする請求項１に記載の自動応答データ改善装置。
【請求項3】
前記評価データ解析手段は、入力が推奨される質問データを解析する質問データ解析手段を有することを特徴とする請求項１に記載の自動応答データ改善装置。
【請求項4】
ディスプレイ上に、所定期間中におけるカテゴリ毎の回答成功率と、前記回答成功率が所定の閾値を下回る質問内容のリスト、の少なくとも何れかが視覚的に表示される回答評価表示手段を更に備えることを特徴とする請求項１に記載の自動応答データ改善装置。
【請求項5】
シミュレーション用の学習データの入力を受け付けるシミュレーションデータ入力手段と、前記回答成功率が所定の閾値を下回る質問内容をリストから選択する質問内容選択手段と、
シミュレーションデータの入力前後での、回答データに関する回答内容を並列的に表示するプレビュー手段、
を有するシミュレーション手段を更に備えることを特徴とする請求項４に記載の自動応答データ改善装置。
【請求項6】
前記トピック推定手段によるカテゴリ分類の修正を受け付けるトピック修正手段を更に備え、修正されたカテゴリ分類を前記質問データ及び前記回答データと紐付けしてデータベースに記憶させることを特徴とする請求項１に記載の自動応答データ改善装置。
【請求項7】
前記回答評価手段は、前記質問データが有するユーザ情報及び質問日時に基づき、当該質問の直前又は直後の質問を抽出し、
前記質問データが有する質問内容と前記回答データが有する回答内容の少なくとも何れかに基づき、当該質問と、抽出された直前質問又は直後質問の関連性を判定する関連性判定手段を備え、
当該質問と関連性が肯定される直前質問又は直後質問の前記ユーザ評価データを、当該質問の回答評価に用いることを特徴とする請求項１に記載の自動応答データ改善装置。
【請求項8】
前記回答評価手段は、質問データが有するユーザ情報、質問日時、質問内容、回答データ有する回答内容、の少なくとも何れかに基づき、質問群における複数の質問をグループとするグループ化手段を備え、
前記グループ中におけるユーザ評価データの種別、数、順序の少なくとも何れかに基づき、回答の評価を行うことを特徴とする請求項１に記載の自動応答データ改善装置。
【請求項9】
予め入力された学習データと生成ＡＩを用いて、ユーザからの質問に対して自動応答する装置を改善する方法であって、回答データに関するユーザ評価を受け付け、ユーザ評価データとしてデータベースに記憶させるユーザ評価ステップと、
質問データ、前記回答データ及び前記ユーザ評価データを用いて自動回答の良否を評価した回答評価データを生成する回答評価ステップと、
前記質問データ及び前記回答データに自然言語処理を行い、トピックモデリングを用いてカテゴリに分類し、データベースに記憶させるトピック推定ステップと、
前記回答評価データ及び前記カテゴリを用いて、少なくともカテゴリ毎の前記自動回答の良否を解析する評価データ解析ステップを、コンピュータが実行する自動応答データ改善方法。
【請求項10】
請求項９の自動応答データ改善方法の各ステップを、コンピュータに実行させる自動応答データ改善プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、予め入力された学習データと生成ＡＩを用いて、ユーザからの質問に対し自動応答する装置の回答精度を向上する技術に関するものである。
【背景技術】
【0002】
近年、ユーザからの質問などの入力に対して、プログラムにより自動で回答するシステムが普及している（例えば、特許文献１を参照。）。利用用途としては、当該企業に関する情報を顧客など、外部に伝えるために利用されることもあるが、企業等が、企業内部の取決めや、自らの提供する商品・サービスに関する情報を、組織内で共有するためにも利用されている。このような自動応答システムでは、回答精度の向上が望まれている。
【0003】
また、生成系ＡＩを用いたサービスが急速に増加し、テキスト向けＡＩモデルとして、大規模言語モデル（ＬＬＭ：Large Language Models）が急速な進歩を遂げている。大規模言語モデルとは、膨大なテキストデータとディープラーニング技術を用いて構築された自然言語処理のモデルのことである。
大規模言語モデルは、自動応答システムにも利用されており、企業等は、自己の保有する大量のテキストデータを大規模言語モデルに入力することで、自動応答システムを運用することが可能である。
大規模言語モデルは、自動応答システムにも利用されており、企業等は、自己の保有する大量のテキストデータを大規模言語モデルに入力することで、自動応答システムを運用することが可能である。
【0004】
しかしながら、大規模言語モデルに入力されるデータは、人の手によって入力されるところ、どのようなデータをどの程度入力すればよいのかは事前には明らかではないため、必要なデータが入力されないことにより、十分な回答精度が得られないといった問題が存在した。
そのため現状では、自動応答システムの提供者が、ユーザに対して、入力に適した学習データについてコンサルティングを行っているのが実情である。
そのため現状では、自動応答システムの提供者が、ユーザに対して、入力に適した学習データについてコンサルティングを行っているのが実情である。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１６－９９９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
かかる状況に鑑みて、本発明は、ユーザに対して、入力に適した学習データの判断の基礎となる情報を効果的に提示でき、かつ利便性の高い自動応答データ改善装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決すべく、本発明の自動応答データ改善装置は、予め入力された学習データと生成ＡＩを用いて、ユーザからの質問に対して自動応答する装置を改善する装置であって、回答データに関するユーザ評価を受け付け、ユーザ評価データとしてデータベースに記憶させるユーザ評価手段と、質問データ、回答データ及びユーザ評価データを用いて自動回答の良否を評価した回答評価データを生成する回答評価手段と、質問データ及び回答データに自然言語処理を行い、トピックモデリングを用いてカテゴリに分類し、データベースに記憶させるトピック推定手段と、回答評価データ及びカテゴリを用いて、少なくともカテゴリ毎の自動回答の良否を解析する評価データ解析手段、を備える。
ユーザによる評価を基に自動回答の良否を評価し、しかもカテゴリに分類して解析することにより、自動応答データの改善に有効な情報を効果的に解析できる。解析したデータは、ユーザが利用する端末のディスプレイ上に視覚的に表示してもよいし、音声などで出力してもよい。
ここでの自動応答データとは、質問データとこれに対する回答データの双方を含む意味で用いている。すなわち、自動応答装置の回答性能を向上させるだけではなく、ユーザによって入力される質問データの品質の向上も図る趣旨である。
ユーザ評価手段において受け付けるユーザ評価は、“Ｇｏｏｄ”や“Ｂａｄ”といった評価でもよいし、５段階評価などの段階的な評価でもよい。また、テキストでの自由な文章の入力を受け付けて、自然言語処理技術により当該文章を解析する構成でもよい。
トピック推定手段において用いられるトピックモデリングは１つに限られず、複数のトピックモデリングを用いて、各トピックモデリングのアルゴリズムの結果から、最適なトピックを自動で抽出することでもよい。
ユーザによる評価を基に自動回答の良否を評価し、しかもカテゴリに分類して解析することにより、自動応答データの改善に有効な情報を効果的に解析できる。解析したデータは、ユーザが利用する端末のディスプレイ上に視覚的に表示してもよいし、音声などで出力してもよい。
ここでの自動応答データとは、質問データとこれに対する回答データの双方を含む意味で用いている。すなわち、自動応答装置の回答性能を向上させるだけではなく、ユーザによって入力される質問データの品質の向上も図る趣旨である。
ユーザ評価手段において受け付けるユーザ評価は、“Ｇｏｏｄ”や“Ｂａｄ”といった評価でもよいし、５段階評価などの段階的な評価でもよい。また、テキストでの自由な文章の入力を受け付けて、自然言語処理技術により当該文章を解析する構成でもよい。
トピック推定手段において用いられるトピックモデリングは１つに限られず、複数のトピックモデリングを用いて、各トピックモデリングのアルゴリズムの結果から、最適なトピックを自動で抽出することでもよい。
【0008】
本発明の自動応答データ改善装置を適用する自動応答装置は、予め入力された学習データと生成ＡＩを用いて、ユーザからの質問に対して自動応答する装置を幅広く含み、ＲＡＧ（Retrieval-Augmented Generation）技術が用いられた自動応答装置であることが好ましいが、例えば、ファインチューニングを行う構成でもよい。すなわち、予め入力された学習データとは、ＲＡＧ技術が用いられた自動応答装置である場合は、自動応答装置に予め入力された学習データを意味することとなる。また、ファインチューニングを行う自動応答装置の場合は、予め入力された学習データとは、生成ＡＩに再学習させた学習データを意味することとなる。学習データとしては、テキストや画像、音声など幅広いデータを入力できる。
生成ＡＩとしては、“ＢＥＲＴ”（Bidirectional Encoder Representations from Transformesrs）や、“ＧＰＴ”（Generative Pre-trained Transformer）などの公知の大規模言語モデル（ＬＬＭ）を活用した生成ＡＩを幅広く利用できる。
生成ＡＩとしては、“ＢＥＲＴ”（Bidirectional Encoder Representations from Transformesrs）や、“ＧＰＴ”（Generative Pre-trained Transformer）などの公知の大規模言語モデル（ＬＬＭ）を活用した生成ＡＩを幅広く利用できる。
【0009】
本発明の自動応答データ改善装置において、評価データ解析手段は、入力が推奨される学習データを解析する学習データ解析手段を有することでもよい。学習データ解析手段を有することにより、ユーザに対して、学習データとして入力することが好ましいデータを具体的に提示することが可能となる。
【0010】
本発明の自動応答データ改善装置において、評価データ解析手段は、入力が推奨される質問データを解析する質問データ解析手段を有することでもよい。質問データ解析手段を有することにより、質問データとして入力することが好ましいデータを具体的に提示することが可能となる。
【0011】
本発明の自動応答データ改善装置は、ディスプレイ上に、所定期間中におけるカテゴリ毎の回答成功率と、回答成功率が所定の閾値を下回る質問内容のリスト、の少なくとも何れかが視覚的に表示される回答評価表示手段を更に備えることが好ましい。所定期間中におけるカテゴリ毎の回答成功率が視覚的に表示されることにより、ユーザは、どのカテゴリに関する学習データを入力すればよいか等を一目で確認でき、利便性が向上する。また、過去と比較した回答成功率の変化や、質問数毎の回答成功率のグラフ等を表示してもよい。
回答成功率が所定の閾値を下回る質問内容のリストが視覚的に表示されることにより、ユーザは、具体的にどのような質問が、回答に失敗しやすい質問であるのかについて、容易に確認でき、利便性が向上する。
回答成功率が所定の閾値を下回る質問内容のリストが視覚的に表示されることにより、ユーザは、具体的にどのような質問が、回答に失敗しやすい質問であるのかについて、容易に確認でき、利便性が向上する。
【0012】
本発明の自動応答データ改善装置は、シミュレーション用の学習データの入力を受け付けるシミュレーションデータ入力手段と、回答成功率が所定の閾値を下回る質問内容をリストから選択する質問内容選択手段と、シミュレーションデータの入力前後での、回答データに関する回答内容を並列的に表示するプレビュー手段、を有するシミュレーション手段を更に備えることが好ましい。シミュレーション手段を備えることにより、回答成功率が低い質問、言い換えれば回答に失敗しやすい質問について、適切な学習データを入力することで、回答性能が改善する効果を実感しやすくなる。これにより、自動応答データの改善に対するユーザのモチベーションを向上させることができる。
【0013】
本発明の自動応答データ改善装置は、トピック推定手段によるカテゴリ分類の修正を受け付けるトピック修正手段を更に備え、修正されたカテゴリ分類を質問データ及び回答データと紐付けしてデータベースに記憶させることが好ましい。トピック修正手段を備えることにより、ユーザは、トピック推定手段により推定されたカテゴリ分類を手動で修正することができる。また、修正されたカテゴリ分類に関するデータは、データベースに記憶されることにより、トピック推定手段の精度向上に用いることができる。
【0014】
本発明の自動応答データ改善装置において、回答評価手段は、質問データが有するユーザ情報及び質問日時に基づき、当該質問の直前又は直後の質問を抽出し、質問データが有する質問内容と回答データが有する回答内容の少なくとも何れかに基づき、当該質問と、抽出された直前質問又は直後質問の関連性を判定する関連性判定手段を備え、当該質問と関連性が肯定される直前質問又は直後質問のユーザ評価データを、当該質問の回答評価に用いることでもよい。一般に、同一のユーザによる時間的に近接した質問については、関連した質問であることが多い。そこで、当該質問の直前又は直後の質問に関するユーザ評価データを、当該質問の回答評価に用いることで、より精度の高い評価を可能としたものである。また、例えば、同一のユーザでなくとも、同一若しくは類似した部署や業務に携わるユーザによる質問について、直前又は直後の質問を抽出してもよい。質問データや回答データに基づく関連性の判定は、例えば自然言語処理を用いて抽出されたキーワードの類似度を参照することで行う。
【0015】
本発明の自動応答データ改善装置において、回答評価手段は、質問データが有するユーザ情報、質問日時、質問内容、回答データ有する回答内容、の少なくとも何れかに基づき、質問群における複数の質問をグループとするグループ化手段を備え、グループ中におけるユーザ評価データの種別、数、順序の少なくとも何れかに基づき、回答の評価を行うことでもよい。一般に、ユーザが質問を行う場合においては、十分な理解が得られるまで複数回にわたって質問が継続されることが存在する。そこで、当該質問の直前又は直後に限らず、複数の質問につき、同一のグループに属する質問であるとし、グループ中のユーザ評価データを利用することで、より精度の高い評価を可能としたものである。
グループ化に当たっては、ユーザ情報としては、ユーザの同一性や、部署や業務の同一性・類似性を考慮する。質問日時については日時の近接性、質問内容や回答内容については、自然言語処理を用いて抽出されたキーワードの類似度を参照する等により行う。グループを構成する質問の数は特に限定されない。また、グループ中におけるユーザ評価データの扱い方については、当該ユーザの評価傾向を参照してもよい。
グループ化に当たっては、ユーザ情報としては、ユーザの同一性や、部署や業務の同一性・類似性を考慮する。質問日時については日時の近接性、質問内容や回答内容については、自然言語処理を用いて抽出されたキーワードの類似度を参照する等により行う。グループを構成する質問の数は特に限定されない。また、グループ中におけるユーザ評価データの扱い方については、当該ユーザの評価傾向を参照してもよい。
【0016】
本発明の自動応答データ改善方法は、予め入力された学習データと生成ＡＩを用いて、ユーザからの質問に対して自動応答する装置を改善する方法であって、回答データに関するユーザ評価を受け付け、ユーザ評価データとしてデータベースに記憶させるユーザ評価ステップと、質問データ、回答データ及びユーザ評価データを用いて自動回答の良否を評価した回答評価データを生成する回答評価ステップと、質問データ及び回答データに自然言語処理を行い、トピックモデリングを用いてカテゴリに分類し、データベースに記憶させるトピック推定ステップと、回答評価データ及びカテゴリを用いて、少なくともカテゴリ毎の自動回答の良否を解析する評価データ解析ステップを、コンピュータが実行する。
【0017】
本発明の自動応答データ改善プログラムは、上記の自動応答データ改善方法の各ステップを、コンピュータに実行させるものである。
【発明の効果】
【0018】
本発明の自動応答データ改善装置、方法及びプログラムによれば、ユーザに対して、入力に適した学習データの判断の基礎となる情報を効果的に提示できるといった効果がある。また、利便性が高く、回答品質の向上に対するユーザのモチベーションを向上できるといった効果がある。
【図面の簡単な説明】
【0019】
【図1】実施例１の自動応答データ改善装置の機能ブロック図
【図2】自動応答システムのシステム構成図
【図3】実施例１の自動応答データ改善方法の概略フロー図
【図4】ユーザ評価イメージ図
【図5】トピック推定手段の説明図
【図6】学習データの改善イメージ図
【図7】回答評価表示イメージ図
【図8】推薦データの入力シミュレーションイメージ図
【図9】実施例２の自動応答データ改善装置の機能ブロック図
【図10】実施例２の回答評価手段の説明図
【図11】実施例３の自動応答データ改善装置の機能ブロック図
【図12】実施例３の回答評価手段の説明図
【図13】グループ化された場合の評価手法の説明図
【発明を実施するための形態】
【0020】
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【実施例1】
【0021】
図１は、実施例１の自動応答データ改善装置の機能ブロック図を示している。図１に示すように、自動応答システム１００は、自動応答データ改善装置１、自動応答装置２及び生成ＡＩ（ＬＬＭ）３で構成される。
自動応答装置２は、予め入力された学習データ４ａと生成ＡＩ３を用いて、ユーザ（図示せず）からの質問に対して自動応答する装置であり、データベース７を備える。生成ＡＩ３としては、“ＢＥＲＴ”や、“ＧＰＴ”などの公知の大規模言語モデル（ＬＬＭ）を活用した生成ＡＩを幅広く利用できる。
自動応答装置２は、予め入力された学習データ４ａと生成ＡＩ３を用いて、ユーザ（図示せず）からの質問に対して自動応答する装置であり、データベース７を備える。生成ＡＩ３としては、“ＢＥＲＴ”や、“ＧＰＴ”などの公知の大規模言語モデル（ＬＬＭ）を活用した生成ＡＩを幅広く利用できる。
【0022】
自動応答装置２は、ＲＡＧと呼ばれる検索拡張生成技術が用いられている。ＲＡＧ技術は、大規模言語モデルによる回答データの生成において、社内データなどの外部情報の検索を組み合わせることにより、回答精度を向上させる技術である。例えば、自動応答装置２がある企業内で用いられる場合、社内データを学習データ４ａとして入力し、データベース７に保管する。データベース７に保管されるデータは、数値ベクトル（埋め込み）として保存するベクターデータベース構造で、効率良く検索できるように管理されている。ユーザが自動応答装置２に質問データ４ｂを入力すると、自動応答装置２は入力された質問データ４ｂと関連するデータ(word，pdf，pptx，excelなど)を自動検索し、入力された質問データ４ｂと自動検索された関連データをＡＰＩ通信で生成ＡＩ３に入力し、生成ＡＩ３が出力した回答結果を、自動応答装置２が備えるディスプレイ上に表示する。
【0023】
自動応答データ改善装置１は、自動応答装置２の回答精度を向上させるために、入力が推奨される学習データの手掛かりとなる情報を解析・提示する装置であり、ユーザ評価手段１１、回答評価手段１２、評価データ解析手段１３、トピック推定手段１４、回答評価表示手段１５、シミュレーション手段１６及びトピック修正手段１７で構成される。
ユーザ評価手段１１は、回答データ４ｃに関するユーザ評価を受け付け、ユーザ評価データとしてデータベース７に記憶させるものである。
回答評価手段１２は、質問データ４ｂ、回答データ４ｃ及びユーザ評価データを用いて自動回答の良否を評価した回答評価データを生成するものである。
トピック推定手段１４は、質問データ４ｂ及び回答データ４ｃに自然言語処理を行い、トピックモデリングを用いてカテゴリに分類し、質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に記憶させるものである。トピック修正手段１７は、トピック推定手段１４によるカテゴリ分類の修正を受け付け、修正されたカテゴリ分類を質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に記憶させるものである。
評価データ解析手段１３は、回答評価データ及びカテゴリを用いて、少なくともカテゴリ毎の自動回答の良否を解析するものであり、学習データ解析手段１３ａ及び質問データ解析手段１３ｂを備える。学習データ解析手段１３ａは、入力が推奨される学習データを解析する。また、質問データ解析手段１３ｂは、入力が推奨される質問データを解析する。
ユーザ評価手段１１は、回答データ４ｃに関するユーザ評価を受け付け、ユーザ評価データとしてデータベース７に記憶させるものである。
回答評価手段１２は、質問データ４ｂ、回答データ４ｃ及びユーザ評価データを用いて自動回答の良否を評価した回答評価データを生成するものである。
トピック推定手段１４は、質問データ４ｂ及び回答データ４ｃに自然言語処理を行い、トピックモデリングを用いてカテゴリに分類し、質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に記憶させるものである。トピック修正手段１７は、トピック推定手段１４によるカテゴリ分類の修正を受け付け、修正されたカテゴリ分類を質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に記憶させるものである。
評価データ解析手段１３は、回答評価データ及びカテゴリを用いて、少なくともカテゴリ毎の自動回答の良否を解析するものであり、学習データ解析手段１３ａ及び質問データ解析手段１３ｂを備える。学習データ解析手段１３ａは、入力が推奨される学習データを解析する。また、質問データ解析手段１３ｂは、入力が推奨される質問データを解析する。
【0024】
回答評価表示手段１５は、ディスプレイ上に、所定期間中におけるカテゴリ毎の回答成功率と、回答成功率が所定の閾値を下回る質問内容のリスト、の少なくとも何れかが視覚的に表示されるものである。
シミュレーション手段１６は、シミュレーションデータ入力手段１６１、質問内容選択手段１６２及びプレビュー手段１６３を備える。シミュレーションデータ入力手段１６１は、シミュレーション用の学習データ４ａの入力を受け付ける。受け付けた学習データ４ａは、自動応答装置２に送信される。質問内容選択手段１６２は、回答成功率が所定の閾値を下回る質問内容をリストから選択するものである。プレビュー手段１６３は、自動応答装置２から当該学習データ４ａに対する回答データ４ｃを受け付け、シミュレーションデータの入力前後での、回答データ４ｃに関する回答内容を並列的に表示するものである。
シミュレーション手段１６は、シミュレーションデータ入力手段１６１、質問内容選択手段１６２及びプレビュー手段１６３を備える。シミュレーションデータ入力手段１６１は、シミュレーション用の学習データ４ａの入力を受け付ける。受け付けた学習データ４ａは、自動応答装置２に送信される。質問内容選択手段１６２は、回答成功率が所定の閾値を下回る質問内容をリストから選択するものである。プレビュー手段１６３は、自動応答装置２から当該学習データ４ａに対する回答データ４ｃを受け付け、シミュレーションデータの入力前後での、回答データ４ｃに関する回答内容を並列的に表示するものである。
【0025】
図２は、自動応答システムのシステム構成図を示している。図２に示すように、自動応答システム１００は、サーバ（２０，３０）がＰＣ５１や、スマートフォン５２、タブレット端末５３などのクライアント端末とネットワーク６を介してデータの送受信を行うシステムである。サーバ２０は自動応答装置２及び自動応答データ改善装置１として機能する。サーバ３０は生成ＡＩ３として機能する。ＰＣ５１などのクライアント端末を用いて、学習データ４ａや質問データ４ｂの入力を行うことができる。また、自動応答データ改善装置１により提示される解析データや推薦データは、ＰＣ５１などのクライアント端末に出力され、ＰＣ５１のディスプレイ５１ａなどに表示される。解析・推薦データは、視覚的に提示されるだけではなく、音声などで聴覚的に提示されるものでもよい。なお、本実施例では、ユーザはＰＣ５１を用いて自動応答装置２及び自動応答データ改善装置１を利用するものとする。
【0026】
図３は、実施例１の自動応答データ改善方法の概略フロー図を示している。図３に示すように、まず、回答データ４ｃに関するユーザ評価を受け付け、ユーザ評価データとしてデータベース７に記憶させる（ステップＳ０１：ユーザ評価ステップ）。
図４は、ユーザ評価イメージ図を示している。図４に示すように、ユーザによる質問４１ａに対して、生成ＡＩ３による回答４２ａが表示されている。そして、回答４２ａの下方には、“Ｇｏｏｄ”の評価ボタン１１ａと“Ｂａｄ”の評価ボタン１１ｂが表示されている。ユーザは、質問４１ａに対する回答４２ａの内容を吟味した上で、良い回答であると感じた場合は、“Ｇｏｏｄ”の評価ボタン１１ａをクリックし、悪い回答であると感じた場合は、“Ｂａｄ”の評価ボタン１１ｂをクリックして評価を行う。なお、ユーザ評価は必須ではなく、何れの評価ボタンもクリックされなかった場合は、ユーザ評価なしとして扱われる。入力されたユーザ評価データについては、質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に保存される。
図４は、ユーザ評価イメージ図を示している。図４に示すように、ユーザによる質問４１ａに対して、生成ＡＩ３による回答４２ａが表示されている。そして、回答４２ａの下方には、“Ｇｏｏｄ”の評価ボタン１１ａと“Ｂａｄ”の評価ボタン１１ｂが表示されている。ユーザは、質問４１ａに対する回答４２ａの内容を吟味した上で、良い回答であると感じた場合は、“Ｇｏｏｄ”の評価ボタン１１ａをクリックし、悪い回答であると感じた場合は、“Ｂａｄ”の評価ボタン１１ｂをクリックして評価を行う。なお、ユーザ評価は必須ではなく、何れの評価ボタンもクリックされなかった場合は、ユーザ評価なしとして扱われる。入力されたユーザ評価データについては、質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に保存される。
【0027】
次に、図３に示すように、質問データ、回答データ及びユーザ評価データを用いて自動回答の良否を評価した回答評価データを生成する（ステップＳ０２：回答評価ステップ）。自動回答の良否の評価は、回答評価手段１２により行われる。本実施例での自動回答の良否の評価については、例えば、当該回答データに関するユーザ評価が“Ｇｏｏｄ”である場合には、自動応答に成功したと評価して“＋１”とし、ユーザ評価が“Ｂａｄ”である場合には、自動応答に失敗したと評価して“－１”とする。また、ユーザ評価なしの場合は、成功又は失敗の何れでもないと評価して“０”とする。
【0028】
また、質問データ４ｂ及び回答データ４ｃに自然言語処理を行い、トピックモデリングを用いてカテゴリに分類し、データベース７に記憶させる（ステップＳ０３：トピック推定ステップ）。なお、ステップＳ０２とステップＳ０３の順序は問わない。
図５は、トピック推定手段の説明図を示している。図５に示すように、データベース７は、質問履歴データベース７ａ及び回答履歴データベース７ｂを備える。質問履歴データベース７ａは、各質問について、質問ＩＤ、質問日時、質問内容、アカウントＩＤが保存されている。また、回答履歴データベース７ｂには、回答ＩＤ、回答内容、評価、関連する質問ＩＤ及びカテゴリが保存されている。質問ＩＤが「q0000001」の質問を例にすると、当該質問は、質問履歴データベース７ａに保存されており、また回答履歴データベース７ｂにおいても、関連する質問ＩＤとして、「q0000001」が保存されている。
図５は、トピック推定手段の説明図を示している。図５に示すように、データベース７は、質問履歴データベース７ａ及び回答履歴データベース７ｂを備える。質問履歴データベース７ａは、各質問について、質問ＩＤ、質問日時、質問内容、アカウントＩＤが保存されている。また、回答履歴データベース７ｂには、回答ＩＤ、回答内容、評価、関連する質問ＩＤ及びカテゴリが保存されている。質問ＩＤが「q0000001」の質問を例にすると、当該質問は、質問履歴データベース７ａに保存されており、また回答履歴データベース７ｂにおいても、関連する質問ＩＤとして、「q0000001」が保存されている。
【0029】
トピック推定手段１４は、質問ＩＤ「q0000001」の質問内容である「製品Ｘがよく売れる業界を教えてください。」と、その回答内容である「そのような情報はございませんので、回答できません。」とのテキストに対して自然言語処理を行う。具体的には、まず、各質問を単語に分割してベクトル化し、各単語の出現頻度など記録する（ベクトル変換）。その後、文章内であまり意味の持たない単語を除き、品詞の原型を統一するなどの処理を行う（データ前処理）。
ベクトル変換及びデータ前処理を行った後、トピック推定手段１４は、トピックモデリング技術を用いて類似するカテゴリ群に各質問を分類する。なお、トピックモデリングのアルゴリズムは、１つのアルゴリズムだけで判定すると、そのアルゴリズムにバイアスがかかる可能性があるため、本実施例では、“Latent Seman+c Index(LSI)”、“Probabilis+c Latent Seman+c Indexing(PLSI)”、“Latent Dirichlet Alloca+on(LDA)”及び“コサイン類似度”の４つトピックモデリングのアルゴリズムの結果を見て、総合的に最適なトピックを自動で抽出する手法を採用している。
分類されたカテゴリに関するデータについては、質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に保存される。
ベクトル変換及びデータ前処理を行った後、トピック推定手段１４は、トピックモデリング技術を用いて類似するカテゴリ群に各質問を分類する。なお、トピックモデリングのアルゴリズムは、１つのアルゴリズムだけで判定すると、そのアルゴリズムにバイアスがかかる可能性があるため、本実施例では、“Latent Seman+c Index(LSI)”、“Probabilis+c Latent Seman+c Indexing(PLSI)”、“Latent Dirichlet Alloca+on(LDA)”及び“コサイン類似度”の４つトピックモデリングのアルゴリズムの結果を見て、総合的に最適なトピックを自動で抽出する手法を採用している。
分類されたカテゴリに関するデータについては、質問データ４ｂ及び回答データ４ｃと紐付けしてデータベース７に保存される。
【0030】
図６は、学習データの改善イメージ図であり、（１）はカテゴリ分類前、（２）はカテゴリ分類後、（３）は改善データ入力後を示している。図６（１）に示す質問群４１０中の質問（４１ｂ～４１ｅ）の内、質問（４１ｂ，４１ｃ）はユーザ評価が“Ｇｏｏｄ”であり、自動応答に成功したと評価して“＋１”とされたものである。これに対して、質問（４１ｄ，４１ｅ）はユーザ評価が“Ｂａｄ”であり、自動応答に失敗したと評価して“－１”とされたものである。
図６（２）に示すように、図６（１）に示す質問群４１０中の質問（４１ｂ～４１ｅ）を、カテゴリ１４ａとカテゴリ１４ｂに分類した結果、ここでは、カテゴリ１４ａに分類された質問（４１ｂ，４１ｃ）は評価が高いのに対して、カテゴリ１４ｂに分類された質問（４１ｂ，４１ｃ）は評価が低く、改善の必要性が高いことが示唆されている。そこで、カテゴリ１４ｂに関する学習データ４ａの品質を高めることで、図６（３）に示すように、評価を向上させることができる。
図６（２）に示すように、図６（１）に示す質問群４１０中の質問（４１ｂ～４１ｅ）を、カテゴリ１４ａとカテゴリ１４ｂに分類した結果、ここでは、カテゴリ１４ａに分類された質問（４１ｂ，４１ｃ）は評価が高いのに対して、カテゴリ１４ｂに分類された質問（４１ｂ，４１ｃ）は評価が低く、改善の必要性が高いことが示唆されている。そこで、カテゴリ１４ｂに関する学習データ４ａの品質を高めることで、図６（３）に示すように、評価を向上させることができる。
【0031】
回答評価手段１２による評価と、トピック推定手段１４によるカテゴリ分類を用いて、カテゴリ毎の自動回答の良否を解析する（ステップＳ０４：評価データ解析ステップ）。本実施例では、回答評価表示手段１５を用いて、解析結果をディスプレイ５１ａ上に視覚的に表示する。ここで、回答評価表示手段１５を用いた視覚的表示の一例について説明する。図７は、回答評価表示イメージ図を示している。図７に示すように、ディスプレイ５１ａ上には、画面左方に、回答評価結果（１５１ａ，１５１ｂ）が表示され、画面右方に、カテゴリを分析した診断結果１５２が表示されている。なお、回答評価結果（１５１ａ，１５１ｂ）は、上下にスクロールすることで、より多数の回答評価を順次閲覧することが可能である。
【0032】
回答評価結果（１５１ａ，１５１ｂ）の上方には、ボタン（１５ａ～１５ｃ）が配置され、ボタン（１５ａ～１５ｃ）をクリックすることで、「カテゴリ名」毎や、「回答成功率」毎、又は「質問数」の多い順に表示するなど、回答評価結果の表示手法を切り替えることができる。図７に示す例では、ボタン１５ａがクリックされ、「カテゴリ名」毎の表示が選択されている。
回答評価結果（１５１ａ，１５１ｂ）の内、ここでは回答評価結果１５１ａを例に説明する。回答評価結果１５１ａには、「カテゴリ１」として「経費精算」と表示され、「経費精算」のカテゴリに関する情報が表示されている。「経費精算」のカテゴリに関する情報としては、「遠隔地出張時の宿泊客について」などの質問データ中の質問内容や、「〇」又は「×」で表される質問に対する回答評価、円グラフ及び数値で表される「ＡＩ回答成功率」が表示されている。なお、括弧内の数値は、当該カテゴリに関する総質問件数を示している。
回答評価結果（１５１ａ，１５１ｂ）の内、ここでは回答評価結果１５１ａを例に説明する。回答評価結果１５１ａには、「カテゴリ１」として「経費精算」と表示され、「経費精算」のカテゴリに関する情報が表示されている。「経費精算」のカテゴリに関する情報としては、「遠隔地出張時の宿泊客について」などの質問データ中の質問内容や、「〇」又は「×」で表される質問に対する回答評価、円グラフ及び数値で表される「ＡＩ回答成功率」が表示されている。なお、括弧内の数値は、当該カテゴリに関する総質問件数を示している。
【0033】
カテゴリ１の「経費精算」や、カテゴリ２の「製品詳細」は、初期においてはトピック推定手段１４が推定したカテゴリが表示されるが、「経費精算」又は「製品詳細」の右に設けられるボタン１５ｄをクリックすることで、カテゴリ名を編集することが可能である。ボタン１５ｄは、トピック修正手段１７を機能させるものである。
回答評価結果（１５１ａ，１５１ｂ）の下部に設けられるボタン１５ｅは質問内容の表示数を増加させるものであり、カテゴリ１やカテゴリ２に関するより多くの質問を閲覧したい場合は、ボタン１５ｅをクリックする。
回答評価結果１５１ｂの右下に設けられるボタン１５ｆは条件の変更に用いるものであり、ボタン１５ｆをクリックすることで、例えば、分析したい期間や、複数のカテゴリに所属する場合の表示の可否、といった条件で表示内容を絞り込むことができる。
回答評価結果（１５１ａ，１５１ｂ）の下部に設けられるボタン１５ｅは質問内容の表示数を増加させるものであり、カテゴリ１やカテゴリ２に関するより多くの質問を閲覧したい場合は、ボタン１５ｅをクリックする。
回答評価結果１５１ｂの右下に設けられるボタン１５ｆは条件の変更に用いるものであり、ボタン１５ｆをクリックすることで、例えば、分析したい期間や、複数のカテゴリに所属する場合の表示の可否、といった条件で表示内容を絞り込むことができる。
【0034】
質問に対する評価は、ユーザ評価手段１１により付与された“Ｇｏｏｄ”又は“Ｂａｄ”の評価について、回答評価手段１２により、自動応答に成功したと評価して“＋１”とされた評価を「〇」とし、又は自動応答に失敗したと評価して“－１”とされた評価を「×」として表示したものである。なお、図示しないが、ユーザ評価がなされず回答評価手段１２による評価が“０”の場合は「△」と表示してもよい。
質問内容や質問に対する評価は、データベース７に蓄積されたものを出力しディスプレイ５１ａ上に表示したものである。「ＡＩ回答成功率」は、ユーザの質問に対して、生成ＡＩ３が正しく回答できた回答率を示すものであり、データベース７に蓄積されたデータについて、評価データ解析手段１３において解析され、回答評価表示手段１５により画面表示される。図７に示すように、円グラフや％で「ＡＩ回答成功率」が視覚的に表示されることにより、ユーザの直感的な理解を促進し、利便性の高い情報提示が可能となっている。
質問内容や質問に対する評価は、データベース７に蓄積されたものを出力しディスプレイ５１ａ上に表示したものである。「ＡＩ回答成功率」は、ユーザの質問に対して、生成ＡＩ３が正しく回答できた回答率を示すものであり、データベース７に蓄積されたデータについて、評価データ解析手段１３において解析され、回答評価表示手段１５により画面表示される。図７に示すように、円グラフや％で「ＡＩ回答成功率」が視覚的に表示されることにより、ユーザの直感的な理解を促進し、利便性の高い情報提示が可能となっている。
【0035】
画面右方に表示される診断結果１５２は、カテゴリの分析結果を示すものであり、テキストで分かりやすく解説される。表示するテキストは、全文章につき評価データ解析手段１３を用いて自動生成され、これによりバラエティに富んだ推薦が可能となっている。なお、かかる構成とは異なり、例えば、予め固定のフォーマット文を用意し、「製品詳細」などのカテゴリ名や、「“３”ヶ月間」、「“５００”件」、「“５０”％」などの数値に関しては分析結果を基に自動的に入力される構成としてもよい。
質問例１５２ａは、回答に失敗したと評価された質問を抜粋したものである。質問例１５２ａと解説文を併せて読むことで、診断結果とその改善方法に対する理解が促進される。ボタン１５ｇをクリックすると、シミュレーション画面に遷移する。
質問例１５２ａは、回答に失敗したと評価された質問を抜粋したものである。質問例１５２ａと解説文を併せて読むことで、診断結果とその改善方法に対する理解が促進される。ボタン１５ｇをクリックすると、シミュレーション画面に遷移する。
【0036】
図８は、推薦データの入力シミュレーションイメージ図を示している。図８に示すように、ディスプレイ５１ａ上には、画面左方に、データ追加部１６ａ、データ一覧表示部１６ｂ、プルダウン１６ｃ及び質問（４１ｆ～４１ｈ）が表示され、画面右方に、プレビュー表示部１６ｄが表示されている。なお、データ一覧表示部１６ｂ又は質問（４１ｆ～４１ｈ）は、上下にスクロールすることで、より多数のデータや質問を閲覧することが可能である。データ追加部１６ａ、データ一覧表示部１６ｂ、プルダウン１６ｃ、質問（４１ｆ～４１ｈ）及びプレビュー表示部１６ｄは、シミュレーション手段１６を機能させるものである。
ＰＣ５１を操作するユーザは、データ追加部１６ａにおいて、ファイルを選択し、又はドラッグアンドドロップで追加し、シミュレーション用の学習データ４ａをサーバ２０にアップロードする。アップロードされた学習データ４ａは、データ一覧表示部１６ｂに表示される。データ一覧表示部１６ｂでは、詳細の確認やデータの削除等が可能である。
次に、プルダウン１６ｃをクリックして、カテゴリを選択する。ここでは「製品詳細」のカテゴリが選択されている。選択されたカテゴリにおいて生成ＡＩ３が回答に失敗したと評価された質問のリストが表示される。ここでは質問（４１ｆ～４１ｈ）が表示されている。何れかの質問をクリックすると、プレビュー表示部１６ｄにシミュレーション結果が表示される。図８では質問４１ｆがクリックされている。
ＰＣ５１を操作するユーザは、データ追加部１６ａにおいて、ファイルを選択し、又はドラッグアンドドロップで追加し、シミュレーション用の学習データ４ａをサーバ２０にアップロードする。アップロードされた学習データ４ａは、データ一覧表示部１６ｂに表示される。データ一覧表示部１６ｂでは、詳細の確認やデータの削除等が可能である。
次に、プルダウン１６ｃをクリックして、カテゴリを選択する。ここでは「製品詳細」のカテゴリが選択されている。選択されたカテゴリにおいて生成ＡＩ３が回答に失敗したと評価された質問のリストが表示される。ここでは質問（４１ｆ～４１ｈ）が表示されている。何れかの質問をクリックすると、プレビュー表示部１６ｄにシミュレーション結果が表示される。図８では質問４１ｆがクリックされている。
【0037】
プレビュー表示部１６ｄには、質問を入力したユーザのアイコン・ＩＤ、質問４１ｆ、生成ＡＩ３による回答（４２ｂ、４２ｃ）、提案プロンプト表示部１６ｅ及びメッセージボックス１６ｇが表示されている。質問４１ｆに対して、アップロードされた学習データ４ａをＲＡＧ技術で読み込んで回答した場合（ａｆｔｅｒ）の回答４２ｃと、そのデータ無しで回答した場合（ｂｅｆｏｒｅ）の回答４２ｂが並べて表示されるため、データを投入する前と後で、どのように回答が変化するのかをリアルタイムで確認できる。Ｂｅｆｏｒｅ時の回答４２ｂは、データが無いため、ＲＡＧ技術で回答できていないことが分かる。そして、２文目でもハルシネーションが起きていると考えられる。これに対して、Ａｆｔｅｒ時の回答４２ｃは、質問に対して正確に回答できていることが分かる。このように、シミュレーション手段１６が設けられることにより、ユーザは、データ追加による改善結果を一目で確認することができ、改善による効果を実感できる。
【0038】
また、学習データの品質を向上させるだけではなく、質問の品質を向上させることも、回答精度を高めるうえで重要である。そこで、これまでのデータベース７に蓄積された、回答成功している質問の履歴をもとに、より良いプロンプトを自動生成し、提案プロンプト表示部１６ｅに表示する。提案プロンプト表示部１６ｅは、質問データ解析手段１３ｂを機能させるものである。回答が成功しやすいプロンプトを自動推薦してくれるため、ユーザが共通で使用できるプロンプトリストへ登録すると、過去に当該質問で良い回答が得られなかったユーザも利用できるようになり、利便性が向上する。
提案プロンプト表示部１６ｅに設けられた、「チャットへ入力」ボタン１６ｆをクリックすると、当該プロンプトが自動的にメッセージボックスへ入力され、送信ボタン１６ｈをクリックすることでプロンプトリストへ登録できる。これにより、具体的な情報をユーザが埋めるだけでよくなるという利点がある。
提案プロンプト表示部１６ｅに設けられた、「チャットへ入力」ボタン１６ｆをクリックすると、当該プロンプトが自動的にメッセージボックスへ入力され、送信ボタン１６ｈをクリックすることでプロンプトリストへ登録できる。これにより、具体的な情報をユーザが埋めるだけでよくなるという利点がある。
【実施例2】
【0039】
一般に、連続して質問がなされる場合には、関連性の高い質問がなされていることが多いとされる。そこで、本実施例では、同一ユーザによる時間的に近接した質問について、当該質問の評価に用いる構成について説明する。
図９は、実施例２の自動応答データ改善装置の機能ブロック図を示している。図９に示すように、実施例２の自動応答システム１０１は、自動応答データ改善装置１ａ、自動応答装置２及び生成ＡＩ（ＬＬＭ）３で構成される。実施例２の自動応答データ改善装置１ａは、実施例１の自動応答データ改善装置１と異なり、回答評価手段１２０が関連性判定手段１２ａを備える。その他の構成は実施例１と同様である。
関連性判定手段１２ａは、質問データ４ｂが有するユーザ情報及び質問日時に基づき、当該質問の直前又は直後の質問を抽出し、質問データ４ｂと回答データ４ｃの少なくとも何れかに基づき、当該質問と、抽出された直前質問又は直後質問の関連性を判定するものであり、当該質問と関連性が肯定される直前質問又は直後質問のユーザ評価データが、当該質問の回答評価に用いられる。
図９は、実施例２の自動応答データ改善装置の機能ブロック図を示している。図９に示すように、実施例２の自動応答システム１０１は、自動応答データ改善装置１ａ、自動応答装置２及び生成ＡＩ（ＬＬＭ）３で構成される。実施例２の自動応答データ改善装置１ａは、実施例１の自動応答データ改善装置１と異なり、回答評価手段１２０が関連性判定手段１２ａを備える。その他の構成は実施例１と同様である。
関連性判定手段１２ａは、質問データ４ｂが有するユーザ情報及び質問日時に基づき、当該質問の直前又は直後の質問を抽出し、質問データ４ｂと回答データ４ｃの少なくとも何れかに基づき、当該質問と、抽出された直前質問又は直後質問の関連性を判定するものであり、当該質問と関連性が肯定される直前質問又は直後質問のユーザ評価データが、当該質問の回答評価に用いられる。
【0040】
図１０は、実施例２の回答評価手段の説明図であり、（１）は実施例１の回答評価手段１２、（２）は実施例２の回答評価手段１２０の各場合を示している。何れも同一ユーザにより、上から順に９つの質問がなされ、回答に対する各ユーザ評価データ（５ａ～５ｉ）を“Ｇｏｏｄ”、“Ｂａｄ”又は“―”（評価無し）で図示している。図１０（１）に示すように、実施例１の回答評価手段１２は、ユーザ評価データ（５ａ～５ｉ）を個別に判断する。したがって例えば、ユーザ評価データ５ｅについて、回答評価手段１２を用いて評価する場合は、ユーザ評価データ５ｅのみを用いて評価を行う。
【0041】
これに対して、図１０（２）に示すように、実施例２の回答評価手段１２０は、ユーザ評価データ（５ａ～５ｉ）に対応する各質問の直前又は直後の質問を抽出して、関連性を判定する。したがって例えば、ユーザ評価データ５ｅについて、回答評価手段１２０を用いて評価する場合は、ユーザの同一性及び質問日時の近接性に基づき、ユーザ評価データ５ｅの直前のユーザ評価データ５ｄと、直後のユーザ評価データ５ｆを抽出した上で、関連性を判定する。関連性の判定は、質問データと回答データに基づき行われる。ここではユーザ評価データ５ｄとの関連性が肯定され、ユーザ評価データ５ｆとの関連性は否定されている。これに対して、ユーザ評価データ５ｈの場合は、直前のユーザ評価データ５ｇと、直後のユーザ評価データ５ｉの両方の関連性が肯定されている。ユーザ評価データ５ｅと関連性が肯定されたユーザ評価データ５ｄが、ユーザ評価データ５ｅに対応する質問データ及び回答データの評価に用いられる。また、ユーザ評価データ５ｈと関連性が肯定されたユーザ評価データ（５ｇ，５ｉ）が、ユーザ評価データ５ｈに対応する質問データ及び回答データの評価に用いられる。
このように、直前又は直後の質問に関する評価を用いることにより、より正確な評価が可能となり、有益な情報をユーザに提供することができる。
このように、直前又は直後の質問に関する評価を用いることにより、より正確な評価が可能となり、有益な情報をユーザに提供することができる。
【実施例3】
【0042】
図１１は、実施例３の自動応答データ改善装置の機能ブロック図を示している。図１１に示すように、実施例３の自動応答システム１０２は、自動応答データ改善装置１ｂ、自動応答装置２及び生成ＡＩ（ＬＬＭ）３で構成される。実施例３の自動応答データ改善装置１ｂは、実施例１の自動応答データ改善装置１と異なり、回答評価手段１２１が関連性判定手段１２ｂを備える。その他の構成は実施例１と同様である。
グループ化手段１２ｂは、質問データが有するユーザ情報、質問日時、質問内容、回答データ有する回答内容、の少なくとも何れかに基づき、質問群における複数の質問をグループとするものであり、グループ中におけるユーザ評価データの種別、数、順序の少なくとも何れかに基づき、回答の評価を行う。
グループ化手段１２ｂは、質問データが有するユーザ情報、質問日時、質問内容、回答データ有する回答内容、の少なくとも何れかに基づき、質問群における複数の質問をグループとするものであり、グループ中におけるユーザ評価データの種別、数、順序の少なくとも何れかに基づき、回答の評価を行う。
【0043】
図１２は、実施例３の回答評価手段の説明図であり、（１）は実施例１の回答評価手段１２、（２）は実施例３の回答評価手段１２１の各場合を示している。何れも同一ユーザにより、上から順に９つの質問がなされ、回答に対する各ユーザ評価データ（５ａ～５ｉ）を“Ｇｏｏｄ”、“Ｂａｄ”又は“―”（評価無し）で図示している。図１２（１）に示すように、実施例１の回答評価手段１２は、ユーザ評価データ（５ａ～５ｉ）を個別に判断する。
これに対して、図１２（２）に示すように、実施例３の回答評価手段１２１は、ユーザ評価データ（５ａ～５ｉ）に対応する質問をグループ化するものである。グループ化の基準としては、ユーザの同一性、質問日時の近接性、質問内容や回答内容の関連性を基準とする。図１２（２）に示す例では、ユーザ評価データ（５ａ～５ｃ）がグループ８ａ、ユーザ評価データ（５ｄ，５ｅ）がグループ８ｂ、ユーザ評価データ（５ｆ～５ｉ）がグループ８ｃと判定されている。
グループ（８ａ～８ｃ）について、それぞれユーザ評価データの種別や、数、順序に基づき、回答の評価を行う。ユーザ評価データの「種別」とは、“Ｇｏｏｄ”、“Ｂａｄ”又は“―”（評価無し）のことであり、「数」とは“Ｇｏｏｄ”などの数のことである。また数だけではなく、割合も評価に加えてもよい。「順序」とは“Ｇｏｏｄ”、“Ｂａｄ”などの並び順のことである。
これに対して、図１２（２）に示すように、実施例３の回答評価手段１２１は、ユーザ評価データ（５ａ～５ｉ）に対応する質問をグループ化するものである。グループ化の基準としては、ユーザの同一性、質問日時の近接性、質問内容や回答内容の関連性を基準とする。図１２（２）に示す例では、ユーザ評価データ（５ａ～５ｃ）がグループ８ａ、ユーザ評価データ（５ｄ，５ｅ）がグループ８ｂ、ユーザ評価データ（５ｆ～５ｉ）がグループ８ｃと判定されている。
グループ（８ａ～８ｃ）について、それぞれユーザ評価データの種別や、数、順序に基づき、回答の評価を行う。ユーザ評価データの「種別」とは、“Ｇｏｏｄ”、“Ｂａｄ”又は“―”（評価無し）のことであり、「数」とは“Ｇｏｏｄ”などの数のことである。また数だけではなく、割合も評価に加えてもよい。「順序」とは“Ｇｏｏｄ”、“Ｂａｄ”などの並び順のことである。
【0044】
図１３は、グループ化された場合の評価手法の説明図であり、（１）は何れも最終的に“Ｇｏｏｄ”のユーザ評価が得られた場合、（２）は何れも最終的に“Ｂａｄ”のユーザ評価が得られた場合を示している。また、ここでは、全て３つの質問及び回答がグループと判定されている。
図１３（１）に示すグループ８ｄのように、グループ中の評価が全て“Ｇｏｏｄ”である場合は回答に成功したと評価できる。
グループ８ｅとグループ８ｆは何れも、“Ｇｏｏｄ”が２つ、“Ｂａｄ”が１つとなっているが、グループ８ｅでは１回目の質問で“Ｂａｄ”と評価されたが、２回目の質問で“Ｇｏｏｄ”と評価が好転している。そして、３回目の質問でも“Ｇｏｏｄ”と評価されている。このことから１回目の質問では適切な回答が得られなかったが、２回目の質問では適切な回答が得られ、３回目の質問でより理解が深まったことが推察される。
これに対して、グループ８ｆでは、１回目の質問で“Ｇｏｏｄ”と評価されたにもかかわらず、２回目の質問で“Ｂａｄ”と評価されている。そして、３回目の質問では、“Ｇｏｏｄ”と評価されている。１回目の質問では“Ｇｏｏｄ”と評価されているが、直後の質問で“Ｂａｄ”と評価されていることから、１回目の質問に対する評価が正確でなかった可能性が存在する。
以上のことから、グループ８ｆよりもグループ８ｅの方をより高い評価とすることができる。
図１３（１）に示すグループ８ｄのように、グループ中の評価が全て“Ｇｏｏｄ”である場合は回答に成功したと評価できる。
グループ８ｅとグループ８ｆは何れも、“Ｇｏｏｄ”が２つ、“Ｂａｄ”が１つとなっているが、グループ８ｅでは１回目の質問で“Ｂａｄ”と評価されたが、２回目の質問で“Ｇｏｏｄ”と評価が好転している。そして、３回目の質問でも“Ｇｏｏｄ”と評価されている。このことから１回目の質問では適切な回答が得られなかったが、２回目の質問では適切な回答が得られ、３回目の質問でより理解が深まったことが推察される。
これに対して、グループ８ｆでは、１回目の質問で“Ｇｏｏｄ”と評価されたにもかかわらず、２回目の質問で“Ｂａｄ”と評価されている。そして、３回目の質問では、“Ｇｏｏｄ”と評価されている。１回目の質問では“Ｇｏｏｄ”と評価されているが、直後の質問で“Ｂａｄ”と評価されていることから、１回目の質問に対する評価が正確でなかった可能性が存在する。
以上のことから、グループ８ｆよりもグループ８ｅの方をより高い評価とすることができる。
【0045】
また、グループ８ｇとグループ８ｈを比較すると、グループ８ｇは、“Ｇｏｏｄ”が１つ、“Ｂａｄ”が２つ、グループ８ｈは、“Ｇｏｏｄ”が１つ、“―”（評価無し）が２つとなっている。ここで、実施例１と同様に、評価無しの場合を「０」と評価することも可能であるが、一般に、複数の質問を行う際には、最後にしか評価を行わないユーザが多いといわれる。そして、例えば、所定期間における当該ユーザの評価の傾向から、“Ｇｏｏｄ”又は“Ｂａｄ”しかクリックしないことが判別できれば、“―”を最後に行った評価と逆の評価である可能性が高いと判定し、グループ８ｈの“―”を“Ｂａｄ”と同様に扱い、グループ８ｇとグループ８ｈを同様の評価とすることも可能である。
なお、所定期間におけるユーザの評価の傾向からの、“Ｇｏｏｄ”又は“Ｂａｄ”しかクリックしないことの判別手法としては、例えば、ユーザの総質問数中における“Ｇｏｏｄ”又は“Ｂａｄ”の割合が所定の閾値を超えたことなどを基準として判別する。また、ユーザの評価の傾向としては、総質問数中における評価の回数、特定の評価種別の多寡などを判別してもよい。
なお、所定期間におけるユーザの評価の傾向からの、“Ｇｏｏｄ”又は“Ｂａｄ”しかクリックしないことの判別手法としては、例えば、ユーザの総質問数中における“Ｇｏｏｄ”又は“Ｂａｄ”の割合が所定の閾値を超えたことなどを基準として判別する。また、ユーザの評価の傾向としては、総質問数中における評価の回数、特定の評価種別の多寡などを判別してもよい。
【0046】
次に、図１３（２）に示すグループ８ｉのように、グループ中の評価が全て“Ｂａｄ”である場合は回答に失敗したと評価できる。
グループ８ｊとグループ８ｋは何れも、“Ｇｏｏｄ”が１つ、“Ｂａｄ”が２つとなっているが、グループ８ｊでは１回目の質問で“Ｇｏｏｄ”と評価されたが、２回目の質問で“Ｂａｄ”と評価され、そして、３回目の質問でも“Ｂａｄ”と評価されている。
これに対して、グループ８ｋでは１回目の質問で“Ｂａｄ”と評価されたが、２回目の質問で“Ｇｏｏｄ”と評価が好転し、その後、３回目の質問では再度“Ｂａｄ”と評価されている。
ここで例えば、最後に“Ｂａｄ”評価が連続した場合には、回答に対する満足度が低いと評価できる。このことから、ループ８ｊよりもグループ８ｋの方をより高い評価とすることができる。
グループ８ｊとグループ８ｋは何れも、“Ｇｏｏｄ”が１つ、“Ｂａｄ”が２つとなっているが、グループ８ｊでは１回目の質問で“Ｇｏｏｄ”と評価されたが、２回目の質問で“Ｂａｄ”と評価され、そして、３回目の質問でも“Ｂａｄ”と評価されている。
これに対して、グループ８ｋでは１回目の質問で“Ｂａｄ”と評価されたが、２回目の質問で“Ｇｏｏｄ”と評価が好転し、その後、３回目の質問では再度“Ｂａｄ”と評価されている。
ここで例えば、最後に“Ｂａｄ”評価が連続した場合には、回答に対する満足度が低いと評価できる。このことから、ループ８ｊよりもグループ８ｋの方をより高い評価とすることができる。
【0047】
また、グループ８ｌとグループ８ｍを比較すると、グループ８ｌは、“Ｇｏｏｄ”が２つ、“Ｂａｄ”が１つ、グループ８ｍは、“Ｂａｄ”が１つ、“―”（評価無し）が２つとなっている。前述のグループ８ｇとグループ８ｈに対する評価と同様に、所定期間における当該ユーザの評価の傾向から、“Ｇｏｏｄ”又は“Ｂａｄ”しかクリックしないことが判別できれば、“―”を最後に行った評価と逆の評価である可能性が高いと判定し、グループ８ｍの“―”を“Ｇｏｏｄ”と同様に扱い、グループ８ｌとグループ８ｍを同様の評価とすることが可能である。
しかしながら、一般に、評価無しが最初から連続して、最後に“Ｂａｄ”評価がなされた場合は、何度質問をしても満足の得られる回答が得られなかった場合であることが多いといわれる。このことから、特段のユーザの評価傾向が判別されない場合は、グループ８ｍ中の“―”は全て“Ｂａｄ”と同等に評価すべきこととなる。
以上のことから、グループ８ｍよりもグループ８ｌの方をより高い評価とすることができる。
なお、ここで示した評価手法は、あくまでも一例に過ぎず、多様な評価基準を設定することで、より精度の高い評価を実現することが可能である。
しかしながら、一般に、評価無しが最初から連続して、最後に“Ｂａｄ”評価がなされた場合は、何度質問をしても満足の得られる回答が得られなかった場合であることが多いといわれる。このことから、特段のユーザの評価傾向が判別されない場合は、グループ８ｍ中の“―”は全て“Ｂａｄ”と同等に評価すべきこととなる。
以上のことから、グループ８ｍよりもグループ８ｌの方をより高い評価とすることができる。
なお、ここで示した評価手法は、あくまでも一例に過ぎず、多様な評価基準を設定することで、より精度の高い評価を実現することが可能である。
【産業上の利用可能性】
【0048】
本発明は、生成ＡＩを用いた自動応答装置において、回答精度を向上させる技術として有用である。
【符号の説明】
【0049】
１，１ａ，１ｂ 自動応答データ改善装置
２ 自動応答装置
３ 生成ＡＩ
４ａ 学習データ
４ｂ 質問データ
４ｃ 回答データ
５ａ～５ｉ ユーザ評価データ
６ ネットワーク
７ データベース
７ａ 質問履歴データベース
７ｂ 回答履歴データベース
８ａ～８ｍ グループ
１１ ユーザ評価手段
１１ａ，１１ｂ 評価ボタン
１２，１２０，１２１ 回答評価手段
１２ａ 関連性判定手段
１２ｂ グループ化手段
１３ 評価データ解析手段
１３ａ 学習データ解析手段
１３ｂ 質問データ解析手段
１４ トピック推定手段
１４ａ，１４ｂ カテゴリ
１５ 回答評価表示手段
１５ａ～１５ｇ，１６ｆ ボタン
１６ シミュレーション手段
１６ａ データ追加部
１６ｂ データ一覧表示部
１６ｃ プルダウン
１６ｄ プレビュー表示部
１６ｅ 提案プロンプト表示部
１６ｇ メッセージボックス
１６ｈ 送信ボタン
１７ トピック修正手段
２０，３０ サーバ
４１ａ～４１ｈ 質問
４２ａ～４２ｃ 回答
５１ ＰＣ
５１ａ ディスプレイ
５２ スマートフォン
５３ タブレット端末
１００～１０２ 自動応答システム
１５１ａ，１５１ｂ 回答評価結果
１５２ 診断結果
１５２ａ 質問例
１６１ シミュレーションデータ入力手段
１６２ 質問内容選択手段
１６３ プレビュー手段
４１０ 質問群
２ 自動応答装置
３ 生成ＡＩ
４ａ 学習データ
４ｂ 質問データ
４ｃ 回答データ
５ａ～５ｉ ユーザ評価データ
６ ネットワーク
７ データベース
７ａ 質問履歴データベース
７ｂ 回答履歴データベース
８ａ～８ｍ グループ
１１ ユーザ評価手段
１１ａ，１１ｂ 評価ボタン
１２，１２０，１２１ 回答評価手段
１２ａ 関連性判定手段
１２ｂ グループ化手段
１３ 評価データ解析手段
１３ａ 学習データ解析手段
１３ｂ 質問データ解析手段
１４ トピック推定手段
１４ａ，１４ｂ カテゴリ
１５ 回答評価表示手段
１５ａ～１５ｇ，１６ｆ ボタン
１６ シミュレーション手段
１６ａ データ追加部
１６ｂ データ一覧表示部
１６ｃ プルダウン
１６ｄ プレビュー表示部
１６ｅ 提案プロンプト表示部
１６ｇ メッセージボックス
１６ｈ 送信ボタン
１７ トピック修正手段
２０，３０ サーバ
４１ａ～４１ｈ 質問
４２ａ～４２ｃ 回答
５１ ＰＣ
５１ａ ディスプレイ
５２ スマートフォン
５３ タブレット端末
１００～１０２ 自動応答システム
１５１ａ，１５１ｂ 回答評価結果
１５２ 診断結果
１５２ａ 質問例
１６１ シミュレーションデータ入力手段
１６２ 質問内容選択手段
１６３ プレビュー手段
４１０ 質問群
【要約】
【課題】ユーザに対して、入力に適した学習データの判断の基礎となる情報を効果的に提示でき、かつ利便性の高い自動応答データ改善装置、方法及びプログラムを提供する。
【解決手段】自動応答装置２の回答精度を向上させるために、入力が推奨される学習データの手掛かりとなる情報を解析・提示する装置であり、ユーザ評価手段１１、回答評価手段１２、評価データ解析手段１３、トピック推定手段１４、回答評価表示手段１５、シミュレーション手段１６及びトピック修正手段１７で構成される。ユーザ評価手段１１は、ユーザ評価を受け付ける。回答評価手段１２は、自動回答の良否を評価した回答評価データを生成する。トピック推定手段１４は、自然言語処理を行い、トピックモデリングを用いてカテゴリに分類する。評価データ解析手段１３は、カテゴリ毎の自動回答の良否を解析する。
【選択図】図１
【解決手段】自動応答装置２の回答精度を向上させるために、入力が推奨される学習データの手掛かりとなる情報を解析・提示する装置であり、ユーザ評価手段１１、回答評価手段１２、評価データ解析手段１３、トピック推定手段１４、回答評価表示手段１５、シミュレーション手段１６及びトピック修正手段１７で構成される。ユーザ評価手段１１は、ユーザ評価を受け付ける。回答評価手段１２は、自動回答の良否を評価した回答評価データを生成する。トピック推定手段１４は、自然言語処理を行い、トピックモデリングを用いてカテゴリに分類する。評価データ解析手段１３は、カテゴリ毎の自動回答の良否を解析する。
【選択図】図１
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
