知財求人 - 知財ポータルサイト「IP Force」
特開2024-17761情報処理装置、情報処理システム、情報処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024017761
(43)【公開日】2024-02-08
(54)【発明の名称】情報処理装置、情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06F 16/90 20190101AFI20240201BHJP
G06Q 50/10 20120101ALI20240201BHJP
G06F 16/903 20190101ALI20240201BHJP
【ＦＩ】
G06F16/90 100
G06Q50/10
G06F16/903
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2022120616
(22)【出願日】2022-07-28
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】竹原 健
(72)【発明者】
【氏名】清水 尚之
【テーマコード（参考）】
5B175
5L049
【Ｆターム（参考）】
5B175DA01
5B175EA01
5B175HB03
5L049CC12
(57)【要約】
【課題】対話履歴情報に含まれる質問文から除去すべき質問文を判別すること。
【解決手段】利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、除去候補の質問文の特徴量とウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、比較の結果に基づき、除去すべき質問文を除去候補の質問文から判別する判別手段と、を有する情報処理装置により上記課題を解決する。
【選択図】図３
【解決手段】利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、除去候補の質問文の特徴量とウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、比較の結果に基づき、除去すべき質問文を除去候補の質問文から判別する判別手段と、を有する情報処理装置により上記課題を解決する。
【選択図】図３
【特許請求の範囲】
【請求項1】
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有する情報処理装置。
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有する情報処理装置。
【請求項2】
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする請求項１記載の情報処理装置。
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする請求項１記載の情報処理装置。
【請求項3】
前記抽出手段は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする請求項１又は２記載の情報処理装置。
を特徴とする請求項１又は２記載の情報処理装置。
【請求項4】
前記比較手段は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする請求項１又は２記載の情報処理装置。
を特徴とする請求項１又は２記載の情報処理装置。
【請求項5】
前記判別手段は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする請求項４記載の情報処理装置。
を特徴とする請求項４記載の情報処理装置。
【請求項6】
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータであること
を特徴とする請求項１又は２の何れか一項に記載の情報処理装置。
を特徴とする請求項１又は２の何れか一項に記載の情報処理装置。
【請求項7】
情報処理装置と利用者端末とが通信可能に接続された情報処理システムであって、
前記情報処理装置は、
前記利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有し、
前記利用者端末は、利用者から前記質問文の入力を受け付ける入力手段、
を有する情報処理システム。
前記情報処理装置は、
前記利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有し、
前記利用者端末は、利用者から前記質問文の入力を受け付ける入力手段、
を有する情報処理システム。
【請求項8】
前記情報処理装置は、
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする請求項７記載の情報処理システム。
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする請求項７記載の情報処理システム。
【請求項9】
前記抽出手段は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする請求項７又は８記載の情報処理システム。
を特徴とする請求項７又は８記載の情報処理システム。
【請求項10】
前記比較手段は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする請求項７又は８記載の情報処理システム。
を特徴とする請求項７又は８記載の情報処理システム。
【請求項11】
前記判別手段は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする請求項１０記載の情報処理システム。
を特徴とする請求項１０記載の情報処理システム。
【請求項12】
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータである
請求項７又は８記載の情報処理システム。
請求項７又は８記載の情報処理システム。
【請求項13】
情報処理装置が実行する情報処理方法であって、
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順と、
を有する情報処理方法。
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順と、
を有する情報処理方法。
【請求項14】
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手順を更に有し、
前記抽出手順は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする請求項１３記載の情報処理方法。
前記抽出手順は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする請求項１３記載の情報処理方法。
【請求項15】
前記抽出手順は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする請求項１３又は１４記載の情報処理方法。
を特徴とする請求項１３又は１４記載の情報処理方法。
【請求項16】
前記比較手順は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする請求項１３又は１４記載の情報処理方法。
を特徴とする請求項１３又は１４記載の情報処理方法。
【請求項17】
前記判別手順は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする請求項１６記載の情報処理方法。
を特徴とする請求項１６記載の情報処理方法。
【請求項18】
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータである
請求項１３又は１４記載の情報処理方法。
請求項１３又は１４記載の情報処理方法。
【請求項19】
情報処理装置に、
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順、
を実行させるためのプログラム。
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
コンピュータ等の情報処理装置が利用者からの問い合わせ（例えば製品やサービス、制度に関する質問等の入力）に対して応答（回答）する自動応答サービス、いわゆるチャットボット（単にボットと呼ぶことがある。）が従来から知られている。
【0003】
例えば特許文献１には、チャットボットシステムにおいて、ボットによる応答が行われた後に、ボットによるチャットの履歴を保存して、履歴に対して統計処理等の解析を行う技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えばチャットボットシステムを顧客からの問い合わせ対応業務に活用すると、ボットによるチャットの履歴（対話履歴情報）には、集計することでマーケティング活用が可能な顧客からの質問文が含まれている。
【0005】
しかしながら、対話履歴情報に含まれる顧客からの質問文には、いたずら書きなどの集計精度を乱す質問文（除去すべき質問）が含まれている場合がある。集計精度を向上させるためには、対話履歴情報に含まれている顧客からの質問文から、除去すべき質問文を判別して除去する必要があるという問題があった。なお、特許文献１のような従来技術は、このような問題を解決するものではない。
【0006】
本発明の一実施形態は、上記課題に鑑みてなされたものであり、対話履歴情報に含まれる質問文から除去すべき質問文を判別することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態は、利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、を有する情報処理装置である。
【発明の効果】
【0008】
対話履歴情報に含まれる質問文から除去すべき質問文を判別できる。
【図面の簡単な説明】
【0009】
【図1】本実施形態に係る情報処理システムの一例の構成図である。
【図2】本実施形態に係るコンピュータの一例のハードウェア構成図である。
【図3】本実施形態に係る情報処理システムの一例の機能構成図である。
【図4】本実施形態に係るサービス提供システムの処理手順の一例のフローチャートである。
【図5】対話履歴情報の一例の説明図である。
【図6】除去候補の質問文を抽出する処理手順の一例を表したフローチャートである。
【図7】除去候補の質問文の一例の説明図である。
【図8】回答が見つかった質問文の一例の説明図である。
【図9】質問回答データの一例の説明図である。
【図10】質問文に対する回答の確信度の一例の説明図である。
【図11】除去候補の質問文の一例の説明図である。
【図12】除去候補の質問文の特徴量の一例の説明図である。
【図13】ウェブページの文の特徴量の一例の説明図である。
【図14】比較の結果の一例の説明図である。
【図15】除去すべき質問文の一例の説明図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
【0011】
＜システム構成＞
図１は、本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システム１は、サービス提供システム１０、利用者端末１４、及び管理者端末１５が、インターネットやＬＡＮ（Local Area Network）などのネットワーク１８を介して通信可能に接続された構成である。
図１は、本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システム１は、サービス提供システム１０、利用者端末１４、及び管理者端末１５が、インターネットやＬＡＮ（Local Area Network）などのネットワーク１８を介して通信可能に接続された構成である。
【0012】
サービス提供システム１０はチャットボットサービスを提供する。図１のサービス提供システム１０は、ウェブサーバとして機能する情報処理装置１１、チャットボットサーバとして機能する情報処理装置１２、及び集計サーバとして機能する情報処理装置１３を有する。
【0013】
ウェブサーバとして機能する情報処理装置１１は、チャットボットが設置されたホームページなどのウェブページのデータを利用者端末１４に提供する。チャットボットサーバとして機能する情報処理装置１２は、例えば利用者端末１４からの質問文に対して回答を行うチャットボット処理を行う。例えばチャットボットサーバとして機能する情報処理装置１２は、利用者が入力した質問文に対して回答文を応答するチャットボットサービスを提供する。
【0014】
また、チャットボットサーバとして機能する情報処理装置１２は、チャットボットによるチャットの履歴などの質問文及び回答文のやり取りを保存する情報を、対話履歴情報として記憶する。対話履歴情報は呼称の一例である。
【0015】
集計サーバとして機能する情報処理装置１３は、対話履歴情報に含まれる質問文から除去すべき質問文を判別する。除去すべき質問文は、例えばいたずら書きなどの集計精度を乱す質問文である。集計サーバとして機能する情報処理装置１３は、除去すべきと判別した質問文を除去した後の質問文を集計することで、集計精度を向上させることができる。
【0016】
利用者端末１４は、ウェブページを表示させる等の操作、ウェブページに設置されているチャットボットに質問文等を入力する等の操作を利用者から受け付ける。また、利用者端末１４は、チャットボットサーバとして機能する情報処理装置１２のチャットボット処理に従い、利用者がチャットボットに入力した質問文に対する回答文の表示を行う。
【0017】
利用者端末１４は、ノートＰＣ（Personal Computer）、デスクトップＰＣ、スマートフォン、タブレット端末、携帯電話、又はＰＤＡ（Personal Digital Assistant）などである。また、利用者端末１４はプリンタ、スキャナ、ファクシミリ、複合機（Multifunction Peripheral；MFP）、プロジェクタ、電子黒板機能を有する表示装置、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、ゲーム機等であってもよい。
【0018】
管理者端末１５は管理者等によって操作される。管理者端末１５は、例えば集計サーバとして機能する情報処理装置１３が行った集計の結果を表示させる等の操作を管理者から受け付ける。
【0019】
【0020】
＜ハードウェア構成＞
《コンピュータ》
図１の情報処理装置１１、情報処理装置１２、情報処理装置１３、利用者端末１４、及び管理者端末１５は、例えば図２に示すハードウェア構成のコンピュータ５００により実現される。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。
《コンピュータ》
図１の情報処理装置１１、情報処理装置１２、情報処理装置１３、利用者端末１４、及び管理者端末１５は、例えば図２に示すハードウェア構成のコンピュータ５００により実現される。図２は本実施形態に係るコンピュータの一例のハードウェア構成図である。
【0021】
コンピュータ５００は、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤ５０４、ＨＤＤ（Hard Disk Drive）コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。
【0022】
これらのうち、ＣＰＵ５０１は、プログラムに従ってコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。
【0023】
ディスプレイ５０６は、カーソル、メニュー、ウインドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインタフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリ等である。ネットワークＩ／Ｆ５０９はネットワーク１８を利用してデータ通信をするためのインタフェースである。データバス５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0024】
キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0025】
【0026】
【0027】
サービス提供システム１０は、例えば図１の情報処理装置１１、情報処理装置１２、及び情報処理装置１３でＯＳ（Operating System）及びプログラムを実行することにより、図３の機能構成を実現する。
【0028】
図３のサービス提供システム１０は、ウェブページ提供部３０、ウェブページデータ記憶部３２、チャットボット処理部３４、質問回答データ記憶部３６、対話履歴情報記憶部３８、抽出部４０、第１の特徴量算出部４２、第２の特徴量算出部４４、確信度算出部４６、比較部４８、判別部５０、除去部５２、及び集計部５４を有する。
【0029】
また、利用者端末１４はＯＳ及びプログラムを実行することにより、図３の機能構成を実現する。利用者端末１４は入力部６０及び出力部６２を有する。さらに、管理者端末１５はＯＳ及びプログラムを実行することにより、図３の機能構成を実現する。管理者端末１５は入力部８０及び出力部８２を有する。
【0030】
ウェブページ提供部３０は、チャットボットが設置されたウェブページのデータを利用者端末１４に提供する。ウェブページデータ記憶部３２は、チャットボットが設置されたウェブページのデータを記憶する。例えばホームページ（ウェブページの一例）などのコンテンツがその一例である。
【0031】
チャットボット処理部３４は利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行う。質問回答データ記憶部３６はチャットボット処理に利用する質問文と回答文とが対応付けられた質問回答データを記憶する。例えば質問回答データは、質問文及び回答文が対となったＱ＆Ａ（Question and Answer）の形式のデータを利用できる。また、質問回答データは、よくある質問文と、その質問文に対する回答文とを集めたＦＡＱ（Frequently Asked Questions）の形式のデータを利用することもできる。
【0032】
対話履歴情報記憶部３８は、チャットボットによるチャットの履歴などの質問文及び回答文のやり取りを保存する情報を、対話履歴情報として記憶する。抽出部４０は、対話履歴情報から、いたずら書きなどの除去候補の質問文を後述のように抽出する。
【0033】
第１の特徴量算出部４２は、除去候補の質問文の特徴量を算出する。例えば第１の特徴量算出部４２は、除去候補の質問文の特徴量を算出するための文ベクトルを特徴量として算出する。第２の特徴量算出部４４は、チャットボットが設置されたウェブページに含まれている文の特徴量を算出する。例えば第２の特徴量算出部４４は、チャットボットが設置されたウェブページに含まれている文の文ベクトルを特徴量として算出する。
【0034】
確信度算出部４６は、質問文に対してチャットボットが回答できた回答文の確からしさを表す確信度を算出する。例えば確信度算出部４６は対話履歴情報に記憶されていた質問文の文ベクトルと質問回答データ記憶部３６に記憶されている質問回答データの質問文の文ベクトルとの類似度に基づき、回答文の確信度を算出する。
【0035】
比較部４８は、除去候補の質問文の特徴量とチャットボットが設置されたウェブページに含まれている文の特徴量とを比較する。例えば比較部４８は除去候補の質問文の文ベクトルとチャットボットが設置されたウェブページに含まれている文の文ベクトルとを比較する。比較部４８は比較の結果として、除去候補の質問文の特徴量とチャットボットが設置されたウェブページに含まれている文の特徴量との類似度を算出する。
【0036】
判別部５０は、比較部４８の比較の結果に基づき、除去すべき質問文を除去候補の質問文から判別する。例えば判別部５０は、除去候補の質問文の特徴量とチャットボットが設置されたウェブページに含まれている文の特徴量との類似度に基づき、類似度が閾値よりも低い除去候補の質問文を、除去すべき質問文として判別する。なお、本実施形態では類似度が閾値よりも低い場合を所定の条件の一例として説明するが、例えば閾値に対して除去すべき質問文の候補を同様に特定できる「未満」「以下」なども含むものとする。このように判別部５０は類似度と閾値との関係に基づいて除去候補の質問文から除去すべき質問文として判別できる。
【0037】
除去部５２は、集計部５４が集計を行う複数の質問文から判別部５０が判別した除去すべき質問文を除去する。したがって、集計部５４は、除去すべき質問文が除去された後の質問文を集計できるので、集計精度を向上させることができる。
【0038】
利用者端末１４の入力部６０は、ウェブページを表示させる操作、ウェブページに設置されているチャットボットに質問文を入力する操作等を利用者から受け付ける。出力部６２は、ウェブページの表示、利用者がチャットボットに入力した質問文に対する回答文の表示等を行う。
【0039】
管理者端末１５の入力部８０は、集計サーバとして機能する情報処理装置１３が行った集計の結果を表示させる等の操作、除去すべき質問文を表示させる操作等を管理者から受け付ける。出力部８２は、集計の結果の表示、除去すべき質問文の表示等を行う。
【0040】
＜処理＞
以下では、サービス提供システム１０が利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行い、対話履歴情報記憶部３８に対話履歴情報が記憶された後の処理について説明する。サービス提供システム１０は、例えば図４に示す処理手順により、対話履歴情報に含まれる質問文から、いたずら書きなどの集計精度を乱す質問文である除去すべき質問文を判別する。
以下では、サービス提供システム１０が利用者端末１４からの質問文に対する回答文を利用者端末１４に提供するチャットボット処理を行い、対話履歴情報記憶部３８に対話履歴情報が記憶された後の処理について説明する。サービス提供システム１０は、例えば図４に示す処理手順により、対話履歴情報に含まれる質問文から、いたずら書きなどの集計精度を乱す質問文である除去すべき質問文を判別する。
【0041】
図４は、本実施形態に係るサービス提供システムの処理手順の一例のフローチャートである。ステップＳ１０において、サービス提供システム１０の抽出部４０は対話履歴情報記憶部３８から例えば図５に示す対話履歴情報を読み出す。
【0042】
図５は対話履歴情報の一例の説明図である。図５に示すように対話履歴情報は、利用者端末１４からの質問文に対するチャットボットの回答ステータス（回答が見つかった又は回答が見つからなかった）の情報が含まれる。図５に示す対話履歴情報を利用することにより、抽出部４０は回答文が見つかった質問文又は回答が見つからなかった質問文を対話履歴情報から選択できる。
【0043】
【0044】
ステップＳ３０において、抽出部４０は図５の対話履歴情報のチャットボットの回答ステータスを参照し、利用者端末１４からの質問文のうち、チャットボットによる回答が見つからなかった質問文を除去候補の質問文として例えば図７に示すように選択する。図７は除去候補の質問文の一例の説明図である。図７では、図５の対話履歴情報からチャットボットの回答ステータスが「回答が見つからなかった」である２つの質問文が除去候補の質問文として選択されている。
【0045】
ステップＳ３２において、抽出部４０は図５の対話履歴情報のチャットボットの回答ステータスを参照し、利用者端末１４からの質問文のうち、チャットボットによる回答が見つかった質問文を例えば図８に示すように選択する。図８は回答が見つかった質問文の一例の説明図である。図７では、図５の対話履歴情報からチャットボットの回答ステータスが「回答が見つかった」である８つの質問文が選択されている。
【0046】
ステップＳ３４において、抽出部４０は質問回答データ記憶部３６から例えば図９に示す質問回答データを読み出す。図９は質問回答データの一例の説明図である。図９に示すように質問回答データは、チャットボット処理に利用する質問文と回答文とが対応付けられた情報であって、例えばＱ＆Ａ又はＦＡＱなどの形式のデータを利用できる。
【0047】
ステップＳ３６において、確信度算出部４６は図８の質問文に対してチャットボットが回答できた回答文の確からしさを表す確信度を次のように算出する。確信度算出部４６は図８の質問文ごとの文ベクトル（数百～数千次元のベクトルデータ）と、図９の質問文ごとの文ベクトルと、を算出する。
【0048】
確信度算出部４６は、図８の質問文の文ベクトルと図９の質問文の文ベクトルとのコサイン類似度（Cosine Similarity）を総当たりで算出する。コサイン類似度は、２つのベクトルの類似性を表す尺度であって、ベクトル空間における２つのベクトルがなす角のコサイン値である。なお、図８の質問文の文ベクトルと図９の質問文の文ベクトルとのコサイン類似度は、各文の意味が似ている場合に「１．０」に近づき、各文の意味が異なる場合に「－１．０」に近付く。
【0049】
確信度算出部４６は、算出したコサイン類似度のうち最も大きなコサイン類似度を「回答の確信度」として、図８の質問文ごとに選択する。図１０は質問文に対する回答の確信度の一例の説明図である。図１０では図８の質問文ごとに、回答の確信度と、最も大きなコサイン類似度となった質問回答データの質問文と、を表している。
【0050】
ステップＳ３８において、抽出部４０はチャットボットによる回答が見つかった質問文のうち、回答の確信度が閾値よりも低い質問文を除去候補の質問文として選択する。例えば閾値を「０．８」とした場合、抽出部４０は図１０から閾値が「０．８」よりも低い３つの質問文を、図１１に示すように除去候補の質問文として選択する。図１１は除去候補の質問文の一例の説明図である。
【0051】
図６に示した処理により、抽出部４０は図７及び図１１に示した除去候補の質問文を抽出できる。図４に戻り、サービス提供システム１０の第１の特徴量算出部４２はステップＳ１４において、図７及び図１１に示した除去候補の質問文ごとの特徴量として例えば図１２に示すにように文ベクトルを算出する。図１２は除去候補の質問文の特徴量の一例の説明図である。
【0052】
図４の説明に戻り、ステップＳ１６において、第２の特徴量算出部４４はウェブページデータ記憶部３２からチャットボットが設置されたウェブページのデータを取得する。第２の特徴量算出部４４は取得したウェブページのデータから文章データを取得し、文単位に分割する。第２の特徴量算出部４４は、チャットボットが設置されたウェブページに含まれる文ごとの特徴量として例えば図１３に示すように文ベクトルを算出する。図１３はウェブページの文の特徴量の一例の説明図である。なお、本実施形態では特徴量の算出単位を文としたが、ドキュメント単位、センテンス単位、又はワード単位であってもよい。
【0053】
ステップＳ１８において、比較部４８は図１２に示した除去候補の質問文の特徴量と図１３に示したチャットボットが設置されたウェブページの文の特徴量とを比較して次のように類似度を算出する。比較部４８は図１２に示した除去候補の質問文の文ベクトルと図１３に示したチャットボットが設置されたウェブページの文の文ベクトルとのコサイン類似度を総当たりで算出する。
【0054】
なお、図１２に示した除去候補の質問文の文ベクトルと図１３に示したチャットボットが設置されたウェブページの文の文ベクトルとのコサイン類似度は、各文の意味が似ていると「１．０」に近づき、各文の意味が異なると「－１．０」に近付く。
【0055】
比較部４８は、算出したコサイン類似度のうち最も大きなコサイン類似度を図１３に示したチャットボットが設置されたウェブページの文との類似度として、図１４に示すように図１２に示した除去候補の質問文ごとに選択する。図１４は比較の結果の一例の説明図である。
【0056】
ステップＳ２０において、判別部５０はステップＳ１８の比較の結果に基づき、除去すべき質問文を判別する。例えば判別部５０は図１４に示した除去候補の質問文から、類似度が閾値「０．８」よりも低い質問文「ペペロンチーノの作り方を教えて」を除去すべき質問文として図１５に示すように判別できる。図１５は除去すべき質問文の一例の説明図である。
【0057】
ステップＳ２０における判別部５０の処理は、あるウェブページに設置されたチャットボットから入力された質問文が、そのウェブページに含まれている文と類似していない場合に、いたずら書きなどの集計精度を乱す不適切な質問文であると判別する処理である。
【0058】
図４に示した処理により、サービス提供システム１０は対話履歴情報に含まれる利用者からの質問文のうち、集計部５４が行う集計の集計精度を乱すいたずら書きなどの不適切な質問文を判別できる。
【0059】
サービス提供システム１０の除去部５２は、図４に示した処理により判別された除去すべき質問文を、集計部５４が集計を行う複数の質問文から除去する。したがって、集計部５４は、除去すべき質問文が除去された後の質問文を集計できるので、集計精度を向上させることができる。
【0060】
また、本実施形態によれば、チャットボットシステムを顧客からの問い合わせ対応業務に活用した場合であっても、いたずら書きなどの質問文を除去した上で、チャットボットに入力された質問文を高精度に集計し、利用者からの声を認識できる。
【0061】
本実施形態では、チャットボットが設置されたウェブページの内容と類似していない質問文及びチャットボットが利用する質問回答データの内容と類似していない質問文を、除去すべき質問文として判別している。
【0062】
上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
【0063】
実施例に記載された装置群は本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。本実施形態によって本発明が限定されるものではなく、本実施形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、及び、いわゆる均等の範囲のものが含まれる。さらに、本実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。
【0064】
本発明の態様は、例えば、以下の通りである。
＜１＞
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有する情報処理装置。
＜２＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする前記＜１＞記載の情報処理装置。
＜３＞
前記抽出手段は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする前記＜１＞又は＜２＞記載の情報処理装置。
＜４＞
前記比較手段は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする前記＜１＞乃至＜３＞の何れか一項に記載の情報処理装置。
＜５＞
前記判別手段は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする前記＜４＞記載の情報処理装置。
＜６＞
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータであること
を特徴とする前記＜１＞乃至＜５＞の何れか一項に記載の情報処理装置。
＜７＞
情報処理装置と利用者端末とが通信可能に接続された情報処理システムであって、
前記情報処理装置は、
前記利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有し、
前記利用者端末は、利用者から前記質問文の入力を受け付ける入力手段、
を有する情報処理システム。
＜８＞
前記情報処理装置は、
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする前記＜７＞記載の情報処理システム。
＜９＞
前記抽出手段は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする前記＜７＞又は＜８＞記載の情報処理システム。
＜１０＞
前記比較手段は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする前記＜７＞乃至＜９＞の何れか一項に記載の情報処理システム。
＜１１＞
前記判別手段は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする前記＜１０＞記載の情報処理システム。
＜１２＞
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータである
前記＜７＞乃至＜１１＞の何れか一項に記載の情報処理システム。
＜１３＞
情報処理装置が実行する情報処理方法であって、
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順と、
を有する情報処理方法。
＜１４＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手順を更に有し、
前記抽出手順は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする前記＜１３＞記載の情報処理方法。
＜１５＞
前記抽出手順は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする前記＜１３＞又は＜１４＞記載の情報処理方法。
＜１６＞
前記比較手順は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする前記＜１３＞乃至＜１５＞の何れか一項に記載の情報処理方法。
＜１７＞
前記判別手順は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする前記＜１６＞記載の情報処理方法。
＜１８＞
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータである
前記＜１３＞乃至＜１７＞の何れか一項に記載の情報処理方法。
＜１９＞
情報処理装置に、
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順、
を実行させるためのプログラム。
＜１＞
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有する情報処理装置。
＜２＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする前記＜１＞記載の情報処理装置。
＜３＞
前記抽出手段は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする前記＜１＞又は＜２＞記載の情報処理装置。
＜４＞
前記比較手段は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする前記＜１＞乃至＜３＞の何れか一項に記載の情報処理装置。
＜５＞
前記判別手段は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする前記＜４＞記載の情報処理装置。
＜６＞
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータであること
を特徴とする前記＜１＞乃至＜５＞の何れか一項に記載の情報処理装置。
＜７＞
情報処理装置と利用者端末とが通信可能に接続された情報処理システムであって、
前記情報処理装置は、
前記利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手段と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手段と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手段と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手段と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手段と、
を有し、
前記利用者端末は、利用者から前記質問文の入力を受け付ける入力手段、
を有する情報処理システム。
＜８＞
前記情報処理装置は、
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手段を更に有し、
前記抽出手段は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする前記＜７＞記載の情報処理システム。
＜９＞
前記抽出手段は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする前記＜７＞又は＜８＞記載の情報処理システム。
＜１０＞
前記比較手段は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする前記＜７＞乃至＜９＞の何れか一項に記載の情報処理システム。
＜１１＞
前記判別手段は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする前記＜１０＞記載の情報処理システム。
＜１２＞
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータである
前記＜７＞乃至＜１１＞の何れか一項に記載の情報処理システム。
＜１３＞
情報処理装置が実行する情報処理方法であって、
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順と、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順と、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順と、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順と、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順と、
を有する情報処理方法。
＜１４＞
前記質問文に対して前記サービス提供システムが回答できた前記質問文に対する回答文の確信度を算出する確信度算出手順を更に有し、
前記抽出手順は、前記回答文の確信度に基づき、前記対話履歴情報から前記除去候補の質問文を抽出すること
を特徴とする前記＜１３＞記載の情報処理方法。
＜１５＞
前記抽出手順は、前記サービス提供システムが回答できなかった前記質問文を、前記除去候補の質問文として抽出すること
を特徴とする前記＜１３＞又は＜１４＞記載の情報処理方法。
＜１６＞
前記比較手順は、前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較して類似度を算出すること
を特徴とする前記＜１３＞乃至＜１５＞の何れか一項に記載の情報処理方法。
＜１７＞
前記判別手順は、前記類似度と閾値との関係に基づいて前記除去候補の質問文から除去すべき質問文を判別すること
を特徴とする前記＜１６＞記載の情報処理方法。
＜１８＞
前記ウェブページのコンテンツは、前記利用者端末から前記質問文を受け付けたときに前記利用者端末に表示されていたウェブページのデータである
前記＜１３＞乃至＜１７＞の何れか一項に記載の情報処理方法。
＜１９＞
情報処理装置に、
利用者端末からの質問文に対して回答するサービス提供システムの対話履歴情報から、除去候補の質問文を抽出する抽出手順、
前記除去候補の質問文の特徴量を算出する第１の特徴量算出手順、
前記質問文の入力を受け付けたウェブページのコンテンツに含まれている文の特徴量を算出する第２の特徴量算出手順、
前記除去候補の質問文の特徴量と前記ウェブページのコンテンツに含まれている文の特徴量とを比較する比較手順、
前記比較の結果に基づき、除去すべき質問文を前記除去候補の質問文から判別する判別手順、
を実行させるためのプログラム。
【符号の説明】
【0065】
１ 情報処理システム
１０ サービス提供システム
１１－１３ 情報処理装置
１４ 利用者端末
１５ 管理者端末
１８ ネットワーク
３０ ウェブページ提供部
３２ ウェブページデータ記憶部
３４ チャットボット処理部
３６ 質問回答データ記憶部
３８ 対話履歴情報記憶部
４０ 抽出部
４２ 第１の特徴量算出部
４４ 第２の特徴量算出部
４６ 確信度算出部
４８ 比較部
５０ 判別部
５２ 除去部
５４ 集計部
６０、８０ 入力部
６２、８２ 出力部
１０ サービス提供システム
１１－１３ 情報処理装置
１４ 利用者端末
１５ 管理者端末
１８ ネットワーク
３０ ウェブページ提供部
３２ ウェブページデータ記憶部
３４ チャットボット処理部
３６ 質問回答データ記憶部
３８ 対話履歴情報記憶部
４０ 抽出部
４２ 第１の特徴量算出部
４４ 第２の特徴量算出部
４６ 確信度算出部
４８ 比較部
５０ 判別部
５２ 除去部
５４ 集計部
６０、８０ 入力部
６２、８２ 出力部
【先行技術文献】
【特許文献】
【0066】
【特許文献1】特開２０２１－９３１３３号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】