特許 7563478 対話評価方法、対話評価装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】対話評価方法、対話評価装置及びプログラム

(51)【国際特許分類】

   G06Q 10/063 20230101AFI20241001BHJP

   G06Q 50/10 20120101ALI20241001BHJP

【ＦＩ】

G06Q10/063

G06Q50/10

【請求項の数】 7

(21)【出願番号】P 2022561734

(86)(22)【出願日】2020-11-10

(86)【国際出願番号】 JP2020041946

(87)【国際公開番号】W WO2022101993

(87)【国際公開日】2022-05-19

【審査請求日】2023-03-08

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】徳永 陽子

(72)【発明者】

【氏名】倉島 健

(72)【発明者】

【氏名】戸田 浩之

【審査官】池田 聡史

(56)【参考文献】

【文献】特開２０１８－２００５９０（ＪＰ，Ａ）

【文献】特開２０１９－２１１９６２（ＪＰ，Ａ）

【文献】長谷川 達也 ほか１名，“話者の性格特性を考慮した対話音声からの対話雰囲気推定”，2019年度人工知能学会全国大会（第33回），一般社団法人人工知能学会，2019年，pp. 1～4

【文献】守屋 悠里英 ほか３名，“ボイスチャット中の音声情報に基づく会話活性度推定方法の検討”，ヒューマンインタフェース学会 論文誌，日本，2012年08月24日，第14巻, 第3号，pp.283～292

【文献】林 佑樹 ほか４名，“グループディスカッションコーパスの構築および性格特性との関連性の分析”，情報処理学会 論文誌（ジャーナル），日本，情報処理学会，2015年04月15日，第56巻, 第4号，pp.1217～1227

【文献】豊田 薫 ほか３名，“発話時間長に着目したTree-Augmented Naive Bayesによる対話雰囲気推定”，２０１１年度人工知能学会全国大会（第２５回）論文集，社団法人 人工知能学会，2011年06月03日，セッションID: 1I2-5，p. 1～4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

グループ対話への参加者に対するアンケートが含む複数の質問のそれぞれに対する回答を数値化した値についての各質問に対する重みを用いた加重和を、前記参加者の性格特性に関する第１のスコアとして計算する第１の計算手順と、
前記グループ対話の内容が記録されたデータから複数種類の特徴量を抽出し、前記特徴量の加重和を前記グループ対話における前記参加者の活性度に関する第２のスコアとして計算する第２の計算手順と、
前記第１のスコア及び前記第２のスコアに基づいて、前記参加者による前記グループ対話に対する評価を示す第３のスコアを計算する第３の計算手順と、
をコンピュータが実行することを特徴とする対話評価方法。

【請求項2】

前記複数種類の特徴量は、前記参加者の発言頻度及び前記参加者の発話時の音量である、
ことを特徴とする請求項１記載の対話評価方法。

【請求項3】

前記第３の計算手順は、更に、前記グループ対話への各参加者についての前記第３のスコアの平均を計算する、
ことを特徴とする請求項１又は２記載の対話評価方法。

【請求項4】

グループ対話への参加者に対するアンケートが含む複数の質問のそれぞれに対する回答を数値化した値についての各質問に対する重みを用いた加重和を、前記参加者の性格特性に関する第１のスコアとして計算する第１の計算部と、
前記グループ対話の内容が記録されたデータから複数種類の特徴量を抽出し、前記特徴量の加重和を前記グループ対話における前記参加者の活性度に関する第２のスコアとして計算する第２の計算部と、
前記第１のスコア及び前記第２のスコアに基づいて、前記参加者による前記グループ対話に対する評価を示す第３のスコアを計算する第３の計算部と、
を有することを特徴とする対話評価装置。

【請求項5】

前記複数種類の特徴量は、前記参加者の発言頻度及び前記参加者の発話時の音量である、
ことを特徴とする請求項４記載の対話評価装置。

【請求項6】

前記第３の計算部は、更に、前記グループ対話への各参加者についての前記第３のスコアの平均を計算する、
ことを特徴とする請求項４又は５記載の対話評価装置。

【請求項7】

請求項１乃至３いずれか一項記載の対話評価方法をコンピュータに実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対話評価方法、対話評価装置及びプログラムに関する。

【背景技術】

【0002】

対話には、人同士で行うグループ対話と、対話システムと人とで行うシステム対話がある。グループ対話における評価については、対話中の発話文に含まれる単語の頻度や、カメラ映像から判別可能なうなずきの回数などからリーダシップ性や貢献度を推定する技術がある（例えば、非特許文献１）。また、参加者に直接どれくらい貢献できたか、満足できたか、などのアンケート評価を行う方法や、対話の成果物を第三者に評価してもらう方法などもある（例えば、非特許文献２）。対話システムによる対話を評価する場合、システムが生成した文を評価する技術がある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－４５７６９号公報

【非特許文献】

【0004】

【文献】A Multimodal-Sensor-Enabled Room for Unobtrusive Group Meeting Analysis,Bhattacharya et al., 2018

【文献】Bot in the Bunch: Facilitating Group Chat Discussion by Improving Efficiency and Participation with a Chatbot, Kim et al., 2020

【発明の概要】

【発明が解決しようとする課題】

【0005】

対話の評価には、参加者それぞれの性格特性が影響を与える。例えば、同じ発言回数でも、話し好きな人には物足りず、十分に貢献できなかったと考え、内向的な人にはいつも以上に話すことができて達成感を感じるなどの違いがある。そのため、性格特性と実際の対話での振る舞いを合わせて考慮することで、対話に対する真の達成度、満足度、貢献度を表す評価をすることができる。

【0006】

特許文献１では、対話の参加者の性格特性や対話における振る舞いは考慮されていない。非特許文献１では、発話文とカメラ映像といった対話での振る舞いは考慮されているが、参加者の性格特性は考慮されていない。非特許文献２では、メッセージのテキストで対話での振る舞いは考慮されているが、参加者の性格特性は考慮されていない。また、非特許文献２でのアンケート評価は、チャットボットがどの程度有効であったかを評価するものであり、対話そのものの評価ではない。成果物の評価では、参加者それぞれが納得のいく内容だったのか、全員が合意形成に貢献できたのかなど、成果物ができる過程を評価することができない。

【0007】

本発明は、上記の点に鑑みてなされたものであって、グループ対話について各参加者による評価の推定精度を向上させることを目的とする。

【課題を解決するための手段】

【0008】

そこで上記課題を解決するため、グループ対話への参加者に対するアンケートが含む複数の質問のそれぞれに対する回答を数値化した値についての各質問に対する重みを用いた加重和を、前記参加者の性格特性に関する第１のスコアとして計算する第１の計算手順と、前記グループ対話の内容が記録されたデータから複数種類の特徴量を抽出し、前記特徴量の加重和を前記グループ対話における前記参加者の活性度に関する第２のスコアとして計算する第２の計算手順と、前記第１のスコア及び前記第２のスコアに基づいて、前記参加者による前記グループ対話に対する評価を示す第３のスコアを計算する第３の計算手順と、をコンピュータが実行する。

【発明の効果】

【0009】

グループ対話について各参加者による評価の推定精度を向上させることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施の形態における対話評価装置１０のハードウェア構成例を示す図である。

【図2】本発明の実施の形態における対話評価装置１０の機能構成例を示す図である。

【図3】対話評価装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0011】

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における対話評価装置１０のハードウェア構成例を示す図である。図１の対話評価装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

【0012】

対話評価装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0013】

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って対話評価装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

【0014】

図２は、本発明の実施の形態における対話評価装置１０の機能構成例を示す図である。図２に示されるように、対話評価装置１０は、複数の参加者によって行われたグループ対話（以下、「対象対話」という。）に対する各参加者の達成度や満足度、貢献度などを反映した評価を数値化したスコアを推定するために、パーソナリティスコア計算部１１、活性度スコア計算部１２及び対話評価計算部１３を有する。これら各部は、対話評価装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。

【0015】

本実施の形態において、対象対話の参加者はＮ人であり、各参加者をそれぞれｈ_１，ｈ_２，...，ｈ_Ｎによって表現する。

【0016】

図３は、対話評価装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【0017】

ステップＳ１０１において、パーソナリティスコア計算部１１は、各参加者の性格特性データを入力とし、各性格特性データに基づいて、各参加者のパーソナリティスコアを計算する。

【0018】

性格特性データとは、参加者の性格特性を表すデータであり、例えば、補助記憶装置１０２に予め記憶される。性格特性データは、例えば、予め各参加者に対してアンケートを行い、アンケート結果に基づいて生成される。アンケートの内容は、例えば、「人前で自分の話をするのが好きだ」という質問に対して「そう思う」、「少し思う」、「あまり思わない」、「全く思わない」などの選択肢から各参加者に該当するものを選ばせたり、「無口」、「話し好き」、「外交的」などの単語の選択肢から、各参加者に該当するものを選ばせたりするものである。

【0019】

性格特性データは、上記のようなアンケートの回答が数値化されたものである。例えば、質問や回答の選択肢に対して複数の段階（例えば、９段階等）の数値が付与され、各参加者が選択した回答がいずれであるのかを含むデータである。回答がＹｅｓ／Ｎｏで答える質問であれば、Ｙｅｓは１に、Ｎｏは０に数値化されてもよい。また、Ｙｅｓ／Ｎｏで答える質問と、複数段階で答える質問など、回答の選択肢が異なる質問が混合していてもよい。

【0020】

ここでは、アンケートとしてＭ問の質問が各参加者に行われているとする。各質問について、重みをｑ_１，ｑ_２，...，ｑ_Ｍとする。参加者ｈ_ｉのアンケートの各質問に対する回答をａ_ｉ１，ａ_ｉ２，...，ａ_ｉＭとする。この場合、性格特性データには、参加者ｈ_ｉごとに、各質問に対する回答ａ_ｉと、重みｑが含まれている。

【0021】

パーソナリティスコア計算部１１は、このような性格特性データに基づいて、以下のように参加者ｉのパーソナリティスコアＰ_ｉを計算する。

【0022】

【数1】

なお、パーソナリティスコアは、１つの数値からなるもの（すなわち、スカラ値）に限られず、ベクトルによって表現されてもよい。アンケート１０問中５問は、性格特性Ａの質問、残り５問は性格特性Ｂの質問として設計し、パーソナリティスコアをその２種類それぞれの平均を要素とする２次元のベクトルで表現することも考えられる。ここでいう性格特性Ａ，Ｂは、同じ性格特性を表す２種類の尺度であってもよいし、異なる２つの性格特性を表す尺度であってもよい。スカラ値及びベクトルのいずれの場合であっても、数値の大きさが表すものはアンケートの設計次第であり、性格特性を表すものであれば詳細は問わない。例えば、外交性若しくは内向性に関する質問がアンケートに含まれていれば、パーソナリティスコアは外交性若しくは内向性の程度を含む数値（又はベクトル）になる。また、協調性に関する質問がアンケートに含まれていれば、パーソナリティスコアは、協調性の有無を含む数値（又はベクトル）になる。パーソナリティスコアは、参加者間における性格特性の違いが区別できればよいため、相対的な値であればよい。

【0023】

パーソナリティスコア計算部１１は、計算結果である各参加者のパーソナリティスコアＰ_ｉを対話評価計算部１３へ入力する。

【0024】

続いて（又は、ステップＳ１０１と並行して）、活性度スコア計算部１２は、対象対話の対話データを入力とし、当該対話データに基づいて、対話の活性度を示すスコア（以下、「活性度スコア」という。）を参加者ごとに計算する（Ｓ１０２）。

【0025】

対話データとは、対象対話全体が時系列で記録されたデータであり、例えば、補助記憶装置１０２に記憶されている。対話データの一例として、マイクで集音された音声データ、各メンバーが発話した内容を書き起こしたテキストデータ、各メンバーの動きを撮影したビデオデータ、各メンバーの心拍などのバイタルデータをスマートウォッチ等の機器を用いて記録したバイタルデータなどが挙げられる。

【0026】

また、対話の活性度とは、対話がどの程度盛り上がっているか、又は参加者の気持ちの高揚感などを表す指標である。音声データの場合は各参加者の音声の大きさや変化及び発言頻度、テキストデータの場合は各参加者の発話回数や発話の長さ及び発話に含まれる単語の意味や出現回数、ビデオデータの場合は身振りの大きさやうなずきの大きさ、バイタルデータの場合は心拍の速さや変化などを活性度として利用することができる。

【0027】

ここでは、参加者の音声データを対話データとして用いた場合の例を示す。活性度スコア計算部１２は、対話データから、次の２つの特徴量を抽出する。
各参加者の発言頻度（回数）Ｔ_１，...，Ｔ_Ｎ
各参加者の発話時の平均音声ボリューム（平均音量）Ｖ_１，...，Ｖ_Ｎ
各参加者の発言頻度（回数）は、音声データに記録されている音声を参加者ごとに分離することで、各参加者に対して分離された音声に基づいて抽出可能である。なお、音声データ内の音声について、参加者ごと（話者ごと）の分離は公知技術を用いて行うことが可能である。各参加者の発話時の平均音声ボリューム（平均音量）についても、各参加者に対して分離された音声に基づいて抽出可能である。

【0028】

なお、音声データ以外の対話データから上記の特徴量が抽出されてもよい。例えば、各参加者の発言頻度（回数）については、対象対話を撮影したビデオデータを解析することで計算されてもよい。各参加者の発話時の平均音声ボリューム（平均音量）は、各参加者にマイクを装着し、マイク別に集音された音声に基づいて計算されてもよい。

【0029】

活性度スコア計算部１２は、これらの特徴量に基づいて、以下のように参加者ｈ_ｉの活性度スコアを計算する。参加者ｈ_ｉの対話の活性度スコアを以下のように表す。
Ｅ_ｉ＝Ｗ_ＴＴ_ｉ＋Ｗ_ＶＶ_ｉ …（２）
但し、Ｗ_Ｔは、発言頻度に対する重みであり、Ｗ_Ｖは、音声ボリュームに対する重みである。

【0030】

なお、活性度スコアは、パーソナリティスコアと同様に、参加者間での相対的な評価が可能な値であればよい。すなわち、活性度が異なれば活性度スコアが異なればよい。

【0031】

上記の例では、参加者ｈ_ｉの活性度スコアに用いる特徴量として、参加者ｈ_ｉ本人の発言頻度と音声ボリュームのみが用いていられているが、同じ対話に参加した他の参加者の対話の振る舞いを表す特徴が、参加者ｈ_ｉの活性度スコアの計算に用いられてもよい。また、発話回数の平均や全員の発話回数に対する割合などの統計的な数値を用いても良いし、発話に含まれる単語の意味やカテゴリといった外部データが組み合わせされてもよい。また、対話データに対話の時間に関する情報がある場合、時間ごとの特徴の変化が活性度スコアに反映されてもよい。また、パーソナリティスコアと同様に、活性度スコアもベクトルで表現されてもよい。活性度スコアをベクトルで表現する場合、例えば、対話全体における発話頻度、特定時間内（１０分間隔など）における発話頻度、など、ベクトルの次元ごとに発話頻度を計算する時間範囲を異なるもの（Ａ）や、全対話を１０分間隔で区切った場合の、時間ｔ１における発言頻度、時間ｔ２における発言頻度、など、各次元を各時間エリアでの発話頻度すること（Ｂ）などが考えられる。また、当人の発言頻度、他３人の発言頻度の平均など、話者によって次元を分けること（Ｃ）も考えられる。また、これらの次元を合わせて、前半α次元は（Ａ）の特徴量、次のβ次元は（Ｂ）の特徴量、残りのγ次元は（Ｃ）の特徴量、などとすることも考えられる。

【0032】

活性度スコア計算部１２は、計算結果である参加者ごとの活性度スコアを対話評価計算部１３へ入力する。

【0033】

続いて、対話評価計算部１３は、各参加者のパーソナリティスコアと各参加者の活性度スコアとに基づいて、対話評価スコアを参加者ごとに計算する（Ｓ１０３）。

【0034】

対話評価スコアとは、対象対話への参加者の達成度、満足度、又は貢献度について前記参加者による評価を表すスコアである。対話評価計算部１３は、参加者ｈ_ｉの対話評価スコアＳ_ｉを以下のように計算する。
Ｓ_ｉ＝Ｐ_ｉＥ_ｉ …（３）
対話評価スコアは、パーソナリティスコアと活性度スコアを用いていれば、計算方法はこの限りではない。例えば、パーソナリティスコアと活性度スコアの重みをＷ_Ｐ，Ｗ_Ｅとして、以下のように計算されてもよい。
Ｓ_ｉ＝Ｗ_ＰＰ_ｉＷ_ＥＥ_ｉ …（３'）
なお、Ｐ_ｉ及びＥ_ｉがベクトルであれば、Ｓ_ｉもベクトルとなる。又は内積によってスカラ値に変換された値がＳ_ｉとされてもよい。

【0035】

なお、対話評価計算部１３は、各参加者の対話評価スコアの平均等を計算することによって、グループ全体の対話評価スコアを計算してもよい。

【0036】

上述したように、本実施の形態によれば、グループ対話の評価において、各参加者の性格特性を示す性格特性データから算出したパーソナリティスコアと、対話が記録された対話データから算出した活性度スコアとに基づいて対話評価スコアが計算される。これによって、参加者個々の貢献度、満足度、達成度を表す評価の推定精度を向上させることができる。すなわち、グループ対話について各参加者による評価の推定精度を向上させることができる。

【0037】

また、推定した評価から、対話の議題や環境に合わせたグループの編成を検討することができる。例えば、教育現場において、積極性が高い子であっても低い子であっても、グループ内で発言し、合意形成に貢献することができたかどうかを対話評価スコアから判断し、性格特性に応じてグループの構成を変えるなどの検討に役立てることができる。

【0038】

また、複数人による対話を長期間にわたって繰り返し行いたい場合、そのモチベーションを保つためには、成果物の良し悪し以上に参加者個々の対話に対する満足度が重要視されることもあり、本実施の形態によって得られる対話評価スコアを、以後のグループ編成の際に重要な判断素材とすることができる。

【0039】

なお、本実施の形態において、パーソナリティスコアは、第１のスコアの一例である。活性度スコアは、第２のスコアの一例である。対話評価スコアは、第３のスコアの一例である。パーソナリティスコア計算部１１は、第１の計算部の一例である。活性度スコア計算部１２は、第２の計算部の一例である。対話評価計算部１３は、第３の計算部の一例である。

【0040】

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0041】

１０ 対話評価装置
１１ パーソナリティスコア計算部
１２ 活性度スコア計算部
１３ 対話評価計算部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
Ｂ バス

【図1】

【図2】

【図3】