特開2019-215786IP Force 特許公報全文掲載

技術分野

評価装置、評価方法および評価プログラム

要約特許出願時に添付された[要約書]

【課題】対話に対する評価の精度を改善する。
【解決手段】本願に係る評価装置は、対話サービスにおける利用者の発話と当該発話に対する応答とを含むセッションを取得する取得部と、前記セッションに含まれる発話の文字が相互に同一か否かを示す画像を生成する画像生成部と、前記画像生成部により生成された画像に基づいて、前記取得部により取得されたセッションを評価する評価部とを有することを特徴とする。
【選択図】図1

発明が解決しようとする課題[発明の詳細な説明]から抜粋

しかしながら、上述した従来技術では、対話の評価を適切に行っているとは言えない場合がある。 例えば、上述した従来技術では、各発話についての満足度を推定するため、対話の流れから対話の状態を推定し、推定した状態に応じた評価を行っているに過ぎない。このため、利用者が対話全体に対して満足しているか否かを必ずしも精度良く行うことができない場合がある。 本願は、に鑑みてなされたものであって、対話に対する評価の精度を改善することを目的とする。

課題を解決するための手段[発明の詳細な説明]から抜粋

本願に係る評価装置は、対話サービスにおける利用者の発話と当該発話に対する応答とを含むセッションを取得する取得部と、前記セッションに含まれる発話の文字が相互に同一か否かを示す画像を生成する画像生成部と、前記画像生成部により生成された画像に基づいて、前記取得部により取得されたセッションを評価する評価部とを有することを特徴とする。
【発明の効果】
実施形態の一態様によれば、対話に対する評価の精度を改善できる。

この発明についての権利主張の範囲[特許請求の範囲]

知財ポータルサイト IP Force にログインして確認する (無料)

この特許公報に記載されている図面[図面の簡単な説明]から抜粋

【図1】図1は、情報提供装置が実行する処理の一例を示す図である。

【図2】図2は、情報提供装置の構成例を示す図である。

【図3】図3は、セッションログデータベースに登録される情報の一例を示す図である。

【図4】図4は、セッション評価データベースに登録される情報の一例を示す図である。

【図5】図5は、指標発話データベースに登録される情報の一例を示す図である。

【図6】図6は、エンゲージメントデータベースに登録される情報の一例を示す図である。

【図7】図7は、モデルデータベースに登録される情報の一例を示す図である。

【図8】図8は、シードとなる指標発話から新たな指標発話を抽出する処理の概念を示す図である。

【図9】図9は、対話サービスにおける利用態様に基づいて、新たな指標発話を抽出する処理の概念を示す図である。

【図10】図10は、セッションの評価結果に基づいて、新たな指標発話を抽出する処理の概念を示す図である。

【図11】図11は、指標発話抽出処理部の機能構成の一例を示す図である。

【図12】図12は、指標発話に基づいてセッションを評価する処理の概念を示す図である。

【図13】図13は、指標発話に基づいてセッションを評価する処理の概念を示す図である。

【図14】図14は、3種類の対話の特徴を学習させた3値評価モデルを用いてセッションを評価する処理の一例を示す図である。

【図15】図15は、エンゲージメントに基づいてセッションを評価する処理の一例を示す図である。

【図16】図16は、繰り返し発話に基づいてセッションを評価する処理の概念を示す図である。

【図17】図17は、自動生成したデータの特徴を学習させたモデルを用いてセッションを評価する処理の概念を示す図である。

【図18】図18は、画像を用いた繰り返し発話の評価の概念を示す図である。

【図19】図19は、謝罪応答に基づいてセッションを評価する処理の概念を示す図である。

【図20】図20は、複数の評価手法を組み合わせてセッションを評価する処理の概念を示す図である。

【図21】図21は、ラベル付きセッションを自動拡張する処理の概念を示す図である。

【図22】図22は、セッション評価処理部の機能構成の一例を示す図である。

【図23】図23は、指標発話に基づいて将来の利用態様を予測する処理の概念を示す図である。

【図24】図24は、評価結果に基づいて将来の利用態様を予測する処理の概念を示す図である。

【図25】図25は、エンゲージメント予測処理部の機能構成の一例を示す図である。

【図26】図26は、情報提供装置が実行する処理の関連性の一例を示す図である。

【図27】図27は、対話モデルの強化学習を実行する処理の概念を示す図である。

【図28】図28は、強化学習処理部の機能構成の一例を示す図である。

【図29】図29は、情報提供装置が利用態様に基づいて実行する処理の流れの一例を示すフローチャートである。

【図30】図30は、情報提供装置が指標発話を抽出する処理の流れの一例を示すフローチャートである。

【図31】図31は、情報提供装置がセッションを評価する処理の流れの一例を示すフローチャートである。

【図32】図32は、情報提供装置が画像に基づいてセッションを評価する処理の流れの一例を示すフローチャートである。

【図33】図33は、情報提供装置が発話の繰り返しに基づいてセッションを評価する処理の流れの一例を示すフローチャートである。

【図34】図34は、情報提供装置が発話を報酬として実行する強化学習の流れの一例を示すフローチャートである。

【図35】図35は、情報提供装置が共起性に基づいて指標発話を抽出する処理の流れの一例を示すフローチャートである。

【図36】図36は、情報提供装置が3値評価モデルを用いてセッションを評価する処理の流れの一例を示すフローチャートである。

【図37】図37は、情報提供装置が複数のモデルを用いてセッションを評価する処理の流れの一例を示すフローチャートである。

【図38】図38は、ハードウェア構成の一例を示す図である。

【図39】図39は、セッションデータに対するラベル付の結果の一例を示す図である。

【図40】図40は、第1実験の結果を示す図である。

【図41】図41は、第2実験の結果を示す図である。

【図42】図42は、第3実験におけるProp_Dの結果を示す図である。

【図43】図43は、第4実験におけるProp_Sの結果を示す図である。

【図44】図44は、第5実験におけるProp_Eの結果を示す図である。

選択図 図1出願人が指定した本件の代表的な図

10 情報提供装置   20 通信部   30 記憶部   31 セッションログデータベース   32 セッション評価データベース   33 指標発話データベース   34 エンゲージメントデータベース   35 モデルデータベース   40 制御部   41 セッション取得部   42 利用態様特定部   50 指標発話抽出処理部   51 指標発話特定部   52 発話抽出部   53 ネットワーク生成部   60 セッション評価処理部   61 学習データ抽出部   62 学習部   63 画像生成部   64 発話群生成部   65 評価部   70 エンゲージメント予測処理部   71 推定部   80 強化学習処理部   81 指標発話取得部   82 報酬設定部   83 強化学習部   100 端末装置   200 対話装置

全ての図面はログインすると無料で閲覧できます。ログイン・ユーザー登録

[広告欄]

ログインすれば広告は減ります

ログインすれば広告は減ります