特許 6267846 顧客応対制御システム、顧客応対システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6267846

(24)【登録日】2018年1月5日

(45)【発行日】2018年1月24日

(54)【発明の名称】顧客応対制御システム、顧客応対システム及びプログラム

(51)【国際特許分類】

   G06Q 10/00 20120101AFI20180115BHJP

【ＦＩ】

   G06Q10/00

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2016-72915(P2016-72915)

(22)【出願日】2016年3月31日

(65)【公開番号】特開2017-182700(P2017-182700A)

(43)【公開日】2017年10月5日

【審査請求日】2016年6月10日

【前置審査】

(73)【特許権者】

【識別番号】516096726

【氏名又は名称】ｃｏｃｏｒｏ ＳＢ株式会社

(74)【代理人】

【識別番号】110000877

【氏名又は名称】龍華国際特許業務法人

(72)【発明者】

【氏名】孫 正義

(72)【発明者】

【氏名】朝長 康介

(72)【発明者】

【氏名】大浦 清

【審査官】 塩田 徳彦

(56)【参考文献】

【文献】 特開２０１１−００９９０２（ＪＰ，Ａ）

【文献】 特開２０１５−１４１４２８（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／００８９３９９（ＵＳ，Ａ１）

【文献】 特開２０１６−１２３４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００ − ９９／００

(57)【特許請求の範囲】

【請求項1】

複数の顧客応対装置がそれぞれ応対可能な複数の顧客の情報である顧客情報を取得する顧客情報取得部と、
前記複数の顧客応対装置がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を、前記顧客情報に基づいて特定する顧客特定部と、
前記顧客特定部が特定した顧客である特定顧客に応対するオペレータを、複数のオペレータの中から選択する選択部と、
前記選択部が選択したオペレータである選択オペレータに、前記特定顧客への応対を開始すべき旨を通知する応対通知部と、
前記複数の顧客応対装置のうち前記特定顧客に応対可能な顧客応対装置を、前記選択オペレータの動作に基づいて制御する制御部と
を備え、
前記制御部は、前記選択オペレータの発話内容を示すテキストデータを、前記顧客応対装置に送信して、前記顧客応対装置に発話させ、
前記複数の顧客応対装置は、それぞれ顧客に対し自律的に応対し、
前記顧客情報取得部は、前記複数の顧客応対装置がそれぞれ自律的に応対している顧客の状態を示す顧客状態情報を、前記顧客情報として取得し、
前記顧客特定部は、前記顧客状態情報に基づいて、前記複数の顧客応対装置がそれぞれ応対している顧客の感情の種別及び強さを特定し、予め定められた種別の感情の強さが予め定められた値を超えた顧客を、前記特定顧客として特定し、
前記制御部は、前記特定顧客が特定された場合に、前記特定顧客に応対可能な顧客応対装置の制御を、前記自律的な応対から前記選択オペレータの動作に基づく制御に切り換え、前記特定顧客の感情が良くなったことが検出された場合に、前記選択オペレータの動作に基づく制御の終了を許可する旨を前記選択オペレータに通知し、前記選択オペレータによる応対の終了通知を受信すると、前記自律的な応対を再開する旨の指示を、前記特定顧客に応対可能な顧客応対装置に送信する
顧客応対制御システム。

【請求項2】

前記顧客特定部は、前記顧客状態情報に基づいて、前記複数の顧客応対装置がそれぞれ応対している顧客の怒りの強さを特定し、前記怒りの強さが予め定められた値を超えた顧客を、前記特定顧客として特定する
請求項１に記載の顧客応対制御システム。

【請求項3】

前記顧客状態情報に基づいて特定された前記特定顧客の感情の種別を示す情報を、前記選択オペレータに通知する感情通知部
をさらに備える請求項１又は２に記載の顧客応対制御システム。

【請求項4】

前記顧客情報取得部は、前記複数の顧客応対装置がそれぞれ取得した顧客の声及び画像の少なくとも一方を、前記顧客情報として前記複数の顧客応対装置から取得する
請求項１から３のいずれか一項に記載の顧客応対制御システム。

【請求項5】

前記顧客情報取得部は、前記複数の顧客応対装置がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を、前記顧客情報としてさらに取得し、
前記顧客特定部は、前記購入履歴が予め定められた条件を満たす顧客を、前記特定顧客として特定する
請求項１に記載の顧客応対制御システム。

【請求項6】

前記特定顧客に対する前記自律的な応対内容を示す応対履歴情報を、前記選択オペレータに通知する応対履歴通知部
をさらに備える請求項１から５のいずれか一項に記載の顧客応対制御システム。

【請求項7】

請求項１から６のいずれか一項に記載の顧客応対制御システムと、
前記複数の顧客応対装置と
を備える顧客応対システム。

【請求項8】

コンピュータを、請求項１から６のいずれか一項に記載の顧客応対制御システムとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顧客応対制御システム、顧客応対システム及びプログラムに関する。

【背景技術】

【0002】

ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１１−２５３３８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0003】

ユーザに対して機器で応対するシステムにおいては、顧客に対して十分な応対ができない可能性がある。例えば、ユーザの感情が悪化した場合に、機器ではうまく対処することができない場合がある。その対処のために各機器にオペレータを割り当てると、過大な運用コストがかかる。

【課題を解決するための手段】

【0004】

本発明の第１の態様においては、顧客応対制御システムは、複数の顧客応対装置がそれぞれ応対可能な複数の顧客の情報である顧客情報を取得する顧客情報取得部と、複数の顧客応対装置がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を、顧客情報に基づいて特定する顧客特定部と、顧客特定部が特定した顧客である特定顧客に応対するオペレータを、複数のオペレータの中から選択する選択部と、選択部が選択したオペレータである選択オペレータに、特定顧客への応対を開始すべき旨を通知する応対通知部と、複数の顧客応対装置のうち特定顧客に応対可能な顧客応対装置を、選択オペレータの動作に基づいて制御する制御部とを備える。

【0005】

顧客情報取得部は、複数の顧客応対装置がそれぞれ応対している顧客の状態を示す顧客状態情報を、顧客情報として取得し、顧客特定部は、顧客状態情報に基づいて、複数の顧客応対装置がそれぞれ応対している顧客の感情の種別及び強さを特定し、予め定められた種別の感情の強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。

【0006】

顧客特定部は、顧客状態情報に基づいて、複数の顧客応対装置がそれぞれ応対している顧客の怒りの強さを特定し、怒りの強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。

【0007】

顧客状態情報に基づいて特定された特定顧客の感情の種別を示す情報を、選択オペレータに通知する感情通知部をさらに備えてよい。

【0008】

顧客情報取得部は、複数の顧客応対装置がそれぞれ取得した顧客の声及び画像の少なくとも一方を、顧客情報として複数の顧客応対装置から取得してよい。

【0009】

顧客情報取得部は、複数の顧客応対装置がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を顧客情報として取得し、顧客特定部は、当該購入履歴が予め定められた条件を満たす顧客を、特定顧客として特定してよい。

【0010】

複数の顧客応対装置は、それぞれ顧客に対し自律的に応対し、顧客情報取得部は、複数の顧客応対装置がそれぞれ自律的に応対している顧客の情報である顧客情報を取得し、顧客特定部は、複数の顧客応対装置がそれぞれ自律的に応対している顧客のうちオペレータが応対すべき顧客を、顧客情報に基づいて特定してよい。

【0011】

特定顧客に対する自律的な応対内容を示す応対履歴情報を、選択オペレータに通知する応対履歴通知部をさらに備えてよい。

【0012】

制御部は、選択オペレータの発話内容を示すテキストデータを、顧客応対装置に送信して、顧客応対装置に発話させてよい。

【0013】

本発明の第２の態様においては、上記の顧客応対制御システムと、上記の複数の顧客応対装置とを備える顧客応対システムが提供される。

【0014】

本発明の第３の態様においては、コンピュータを、上記の顧客応対制御システムとして機能させるためのプログラムが提供される。

【0015】

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

【図面の簡単な説明】

【0016】

【図1】本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。

【図2】ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。

【図3】顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。

【図4】オペレータ端末７０ａがオペレータ８０ａに応対通知を提示している状況を概略的に示す。

【図5】オペレータ端末７０ａが応対モード中に提示している状況を概略的に示す。

【図6】オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している状況を概略的に示す。

【図7】オペレータ８０ａが応対を終了する場合のシーケンスを概略的に示す。

【図8】適切なオペレータ８０を選択するために用いられる実績テーブルを概略的に示す。

【図9】応対内容を学習するために用いられる応対学習テーブルを概略的に示す。

【発明を実施するための形態】

【0017】

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

【0018】

図１は、本実施形態に係る顧客応対システム１０の利用場面の一例を概略的に示す。顧客応対システム１０は、サーバ６０と、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃと、オペレータ端末７０ａ及びオペレータ端末７０ｂとを備える。

【0019】

ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、オペレータ端末７０ａ及びオペレータ端末７０ｂとは遠隔に設けられる。また、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、サーバ６０とも遠隔に設けられる。オペレータ８０ａは、オペレータ端末７０ａを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。同様に、オペレータ８０ｂは、オペレータ端末７０ｂを用いて、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃのいずれかを、サーバ６０及び通信ネットワーク９０を通じて操作することができる。

【0020】

ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃは、例えば店舗や事務所の受付等に配置されて、来訪した顧客に対して自律的に応対することができる。図１に示す状況において、顧客５０ａに対しては、ロボット４０ａが自律的に応対中である。顧客５０ｂに対しては、ロボット４０ｂが自律的に応対中である。一方、顧客５０ｃに対しては、オペレータ８０ｃが、オペレータ端末７０ｃ及びロボット４０ｃを通じて応対中である。

【0021】

この状況において、顧客５０ａに対してロボット４０ａが適切に応対できていない場合を取り上げて、顧客応対システム１０における動作を概略的に説明する。ロボット４０ａは、カメラ機能及びマイク機能を有しており、撮影した顧客５０ａの画像を、通信ネットワーク９０を通じてサーバ６０に送信する。サーバ６０は、ロボット４０ａから受信した顧客５０ａの画像及び音声に基づいて、顧客５０ａの感情が悪化したと判断すると、顧客応対中でないオペレータ８０ａに、感情が悪化した顧客５０ａに対する応対を依頼する。オペレータ８０ａは、オペレータ端末７０ａを通じてロボット４０ａを操作して、顧客５０ａに対して応対する。

【0022】

ここで、オペレータ端末７０ａによる顧客５０ａに対する応対時の動作を概略的に説明する。オペレータ端末７０ａは、コンピュータ７２ａ及びヘッドセット７４ａを有する。コンピュータ７２ａは、ロボット４０ａにより取得された顧客５０ａの画像及び音声を画像サーバ６０から受信する。コンピュータ７２ａが受信した画像は、コンピュータ７２ａの画面を通じてオペレータ８０ａに提供される。また、コンピュータ７２ａが受信した音声は、ヘッドセット７４ａを通じてオペレータ８０ａに提供される。

【0023】

オペレータ８０ａが発した音声は、ヘッドセット７４ａで取得されて音声データとしてコンピュータ７２ａに供給される。コンピュータ７２ａは、音声データをテキストデータに変換して、サーバ６０及び通信ネットワーク９０を通じてロボット４０ａに送信する。ロボット４０ａは、受信したテキストデータに従って発話する。これにより、オペレータ８０ａは、ロボット４０ａを通じて顧客５０ａに応対することができる。

【0024】

オペレータ８０ａは、感情が悪化した顧客５０ａに対して、面白いことを言う等して、場を和ませる。これにより、顧客５０の感情の悪化を抑える。顧客５０ａの感情の悪化が収まると、オペレータ８０ａは、ロボット４０ａによる自律応対に切り替える。これにより、オペレータによる応対が必要になった場合にオペレータがロボット４０ａに介入して顧客５０ａへの応対を行うことができる。これにより、少数のオペレータで顧客応対システム１０を運用することができる。

【0025】

なお、ロボット４０ｂ及びロボット４０ｃは、ロボット４０ａと略同一の機能を有する。顧客応対システム１０の説明において、ロボット４０ａ、ロボット４０ｂ及びロボット４０ｃを、ロボット４０と総称する場合がある。また、オペレータ端末７０ｂは、コンピュータ７２ｂ及びヘッドセット７４ｂを有し、オペレータ端末７０ａと略同一の機能を有する。顧客応対システム１０の説明において、オペレータ端末７０ａ及びオペレータ端末７０ｂを、オペレータ端末７０と総称する場合がある。

【0026】

なお、顧客応対システム１０の説明において、特にロボット４０ａとオペレータ端末７０ａとの組み合わせの動作を取り上げる場合がある。しかし、ロボット４０とオペレータ端末７０との組み合わせはこの組み合わせのみに限られず、任意の組み合わせにおいて同様の動作を実現できる。

【0027】

図２は、ロボット４０及びサーバ６０の機能ブロック構成を概略的に示す。まず、ロボット４０の機能ブロック構成について説明する。ロボット４０は、センサ部１２０と、情報処理部１３０と、制御対象１６０と、通信部１０２とを有する。情報処理部１３０は、ＭＰＵ等のプロセッサであってよい。通信部１０２は、サーバ６０との通信を担う。通信部１０２は、ネットワークＩＦ等の通信デバイスであってよい。

【0028】

制御対象１６０は、スピーカを含む。制御対象１６０はまた、ロボット４０の肢部や頭部等の可動部を駆動するモータ等を含む。

【0029】

センサ部１２０は、マイク、ジャイロセンサ、モータセンサ、カメラ等の各種のセンサを有する。センサ部１２０のマイクは、周囲の音声を取得する。例えば、センサ部１２０のマイクは、顧客５０の音声を取得する。センサ部１２０のカメラは、可視光によって撮影して画像情報を生成する。センサ部１２０のジャイロセンサは、ロボット４０全体及びロボット４０の各部の角速度を検出する。センサ部１２０のモータセンサは、ロボット４０の可動部を駆動するモータの駆動軸の回転角度を検出する。

【0030】

センサ部１２０は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、モータセンサで検出された回転角度等の各種のセンサデータを、情報処理部１３０に出力する。情報処理部１３０は、取得したセンサ信号を通信部１０２に供給して、サーバ６０へ送信させる。また、情報処理部１３０は、センサ部１２０で検出された各種のセンサデータに基づいて、ロボット４０の行動を決定する。情報処理部１３０は、決定した行動に基づいて制御対象１６０を制御する。

【0031】

例えば、情報処理部１３０は、各種のセンサデータに基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動き等を決定する。具体的には、情報処理部１３０は、センサ部１２０のマイクで取得された音声データを解析して顧客５０の発話内容を特定する。また、情報処理部１３０は、センサ部１２０のカメラで生成された画像情報に基づいて、顧客５０の表情を特定する。情報処理部１３０は、顧客５０の発話内容、顧客５０の表情等に基づいて、ロボット４０の発話内容や、ロボット４０の肢部の動きを決定し、制御対象１６０のスピーカ及びモータを制御して、ロボット４０に発話させ、肢部等を動作させる。これにより、ロボット４０は、顧客５０の発話内容等を理解して、顧客５０と会話したり、顧客５０を案内したりすることができる。このように、ロボット４０は、顧客５０に対し自律的に応対することができる。

【0032】

次に、サーバ６０の機能ブロック構成について説明する。サーバ６０は、情報処理部２３０と、通信部２０２と、通信部２０４と、格納部２８０とを有する。情報処理部２３０は、制御部２４０と、顧客特定部２１０と、選択部２２０とを有する。情報処理部２３０の機能は、ＭＰＵ等のプロセッサによって実装されてよい。例えば、顧客特定部２１０、選択部２２０、制御部２４０の機能は、プロセッサが記録媒体２９０に格納されたプログラムを読み込むことで実装されてよい。

【0033】

通信部２０２は、ロボット４０との通信を担う。通信部２０２は、顧客情報取得部２００を有する。通信部２０４は、オペレータ端末７０との通信を担う。通信部２０４は、通知部２７０を有する。通信部２０２及び通信部２０４は、ネットワークＩＦ等の通信デバイスであってよい。格納部２８０は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部２８０は、ＲＡＭ等の揮発性記憶装置を有する。格納部２８０は、制御部２４０が実行時に読み出すプログラムコードや各種の一時データの他、情報処理部２３０の処理の実行に必要な参照データ等を格納する。

【0034】

顧客情報取得部２００は、複数のロボット４０がそれぞれ応対可能な複数の顧客の情報である顧客情報を取得する。例えば、顧客情報取得部２００は、ロボット４０が取得した顧客の情報を、通信ネットワーク９０を通じて受信する。

【0035】

顧客特定部２１０は、複数のロボット４０がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を、顧客情報取得部２００が取得した顧客情報に基づいて特定する。選択部２２０は、顧客特定部２１０が特定した顧客である特定顧客に応対するオペレータを、複数のオペレータの中から選択する。通知部２７０は、選択部２２０が選択したオペレータである選択オペレータに、特定顧客への応対を開始すべき旨を通知する。制御部２４０は、複数のロボット４０のうち特定顧客に応対可能なロボット４０を、選択オペレータの動作に基づいて制御する。例えば、制御部２４０は、選択オペレータの発話内容を示すテキストデータを、ロボット４０に送信して、ロボット４０に発話させる。

【0036】

なお、顧客情報取得部２００は、複数のロボット４０がそれぞれ応対している顧客の状態を示す顧客状態情報を、顧客情報として取得する。例えば、顧客情報取得部２００は、複数のロボット４０がそれぞれ取得した顧客の声及び画像の少なくとも一方を、顧客情報として複数のロボット４０から取得する。

【0037】

例えば、顧客特定部２１０は、顧客状態情報に基づいて、複数のロボット４０がそれぞれ応対している顧客の感情の種別を特定する。顧客特定部２１０は、顧客状態情報に基づいて、複数の顧客応対装置がそれぞれ応対している顧客のうち、怒りの感情が特定された顧客を、特定顧客として特定してよい。また、顧客特定部２１０は、顧客状態情報に基づいて、複数のロボット４０がそれぞれ応対している顧客の感情の強さを特定する。例えば、顧客特定部２１０は、顧客状態情報に基づいて、複数のロボット４０がそれぞれ応対している顧客の怒りの強さを特定する。なお、顧客特定部２１０は、怒り以外の感情の強さを特定してよい。例えば、顧客特定部２１０は、喜怒哀楽の各感情の種別毎に、感情の強さを特定してよい。顧客特定部２１０は、ロボット４０から取得した顧客の顔画像に基づいて表情解析することによって、顧客の感情の強さを特定してよい。また、顧客特定部２１０は、ロボット４０から取得した顧客の音声に基づいて、発話解析や音声強度の解析をすることによって、顧客の感情の強さを特定してよい。

【0038】

顧客特定部２１０は、特定した怒りの強さが予め定められた値を超えた顧客を、特定顧客として特定する。また、顧客特定部２１０は、特定した哀しみの強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。このように、顧客特定部２１０は、顧客状態情報に基づいて、複数のロボット４０がそれぞれ応対している顧客の感情の種別及び感情の強さの少なくとも一方を特定し、予め定められた種別の感情が特定された顧客及び感情の強さが予め定められた値を超えた顧客の少なくとも一方を、特定顧客として特定する。顧客特定部２１０は、予め定められた種別の感情の強さが予め定められた値を超えた顧客を、特定顧客として特定してよい。

【0039】

通知部２７０は、顧客状態情報に基づいて特定された特定顧客の感情の種別を示す情報を、選択オペレータに通知する。例えば、通知部２７０は、特定顧客の感情の種別を示す情報を顧客特定部２１０から取得して、選択オペレータに通知する。

【0040】

なお、顧客情報取得部２００は、複数のロボット４０がそれぞれ取得した顧客の声の情報を、顧客情報として複数のロボット４０から取得してよい。顧客特定部２１０は、取得した声の情報に基づいて、複数のロボット４０がそれぞれ応対している顧客の声の状態を特定し、予め定められた状態の声が特定された顧客を、特定顧客として特定してよい。例えば、顧客特定部２１０は、取得した声の状態に基づいて、複数のロボット４０がそれぞれ応対している顧客の声が怒気を含むか否かを判断し、声が怒気を含むと判断された顧客を、特定顧客として特定してよい。このように、顧客特定部２１０は、感情そのものを特定しなくてよく、顧客の感情の強さの影響を受ける他の指標を用いて、特定顧客を選択してよい。

【0041】

また、顧客情報取得部２００は、複数のロボット４０がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を、顧客情報として取得してよい。顧客特定部２１０は、取得した購入履歴が予め定められた条件を満たす顧客を、特定顧客として特定してよい。一例として、顧客特定部２１０は、予め定められた商品を購入したことがある顧客を、特定顧客として特定してよい。また、顧客特定部２１０は、予め定められた価格以上の商品を予め定められた回数以上購入したことがある顧客を、特定顧客として特定してよい。また、通知部２７０は、顧客の購入履歴を示す情報を、選択オペレータに通知してよい。例えば、通知部２７０は、取得した購入履歴を示す情報を、オペレータ端末７０に送信することにより、選択オペレータに通知してよい。オペレータ端末７０は、受信した購入履歴を示す情報を、画面に表示してよい。これにより、オペレータ８０は、顧客が購入した商品の購入履歴に基づいて、顧客５０と適切な会話をすることができる。

【0042】

なお、上述したように、複数のロボット４０は、それぞれ顧客に対し自律的に応対することができる。この場合において、顧客情報取得部２００は、複数のロボット４０がそれぞれ自律的に応対している顧客の情報である顧客情報を取得する。顧客特定部２１０は、複数のロボット４０がそれぞれ自律的に応対している顧客のうちオペレータが応対すべき顧客を、顧客情報に基づいて特定する。これにより、例えば、ロボット４０の自律応対中に顧客の感情が悪化した場合には、オペレータに特定顧客への応対させることができる。一方で、ロボット４０の自律応対中に顧客の感情が悪化しなかった場合には、オペレータに応対させずに済む。

【0043】

なお、通知部２７０は、特定顧客に対する自律的な応対内容を示す応対履歴情報を、選択オペレータに通知する。これにより、オペレータは、ロボット４０による応対履歴を確認してから、顧客に応対することができる。

【0044】

図３は、顧客５０ａへの応対をオペレータ８０ａに依頼するまでのシーケンスを概略的に説明する図である。ロボット４０ａは、センサ部１２０で検出した音声、画像等のセンサ情報を、サーバ６０に送信する。サーバ６０において、顧客特定部２１０は、音声、画像等の情報に基づいて、顧客５０ａの感情の強さを、複数の感情の種別毎に特定する。例えば、「喜」「怒」「哀」「楽」のそれぞれの強さを特定する。一例として、顧客特定部２１０は、画像から特定した顔の表情や、音声から特定した声の状態等に基づいて、感情の種別と、その感情の強さを特定してよい。ここで、声の状態としては、怒気を含むか否か、嬉しそうであるか否か等を例示できる。なお、顧客特定部２１０は、音声から基本周波数等の音声特徴量を抽出して、抽出した音声特徴量に基づいて、声の状態を特定してよい。顧客特定部２１０は、最も強い感情を、顧客５０ａの現在の感情として特定してよい。

【0045】

顧客特定部２１０は、「怒」の強さが予め定められた閾値を超えたことを検出すると、オペレータ８０の中から、顧客５０ａへ応対させるべきオペレータ８０を選択する。例えば、顧客特定部２１０は、現在他の顧客５０に応対中のオペレータ以外のオペレータを、顧客５０ａへ応対させるべきオペレータ８０として選択する。顧客特定部２１０は、顧客５０ａの感情の強さが強いほど、応対能力がより高いオペレータ８０を選択してよい。なお、オペレータ８０の応対能力については、応対実績値に関連して後述する。

【0046】

ここで、顧客特定部２１０が、顧客５０ａへ応対させるべきオペレータとしてオペレータ８０ａを選択すると、通知部２７０は、オペレータ８０ａが操作するオペレータ端末７０ａに、応対通知を送信する。この場合、通知部２７０は、応対通知と共に、顧客５０ａの感情を示す情報、及び、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報を、オペレータ端末７０ａに送信する。

【0047】

図４は、オペレータ端末７０ａによる応対通知の表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から応答通知を受信すると、応対が依頼されたことを示すオブジェクト４１０を、コンピュータ７２ａの画面に表示する。なお、コンピュータ７２ａは、オペレータ８０ａが着用しているヘッドセット７４ａに通知音を出力することにより、オペレータ８０ａに通知する。コンピュータ７２ａは、オブジェクト４１０がタッチされたことを検出すると、応対モードに遷移する。

【0048】

図５は、オペレータ端末７０ａによる応対モード中の表示内容を概略的に示す。オペレータ端末７０ａにおいて、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの感情を示す情報を、オブジェクト５１０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した顧客５０ａの顔画像を、オブジェクト５２０に表示する。また、コンピュータ７２ａは、サーバ６０から受信した、ロボット４０ａと顧客５０ａとの間の応対履歴を示す情報を、オブジェクト５３０に表示する。また、コンピュータ７２ａは、コメント入力ボックス５４０及び送信ボタン５５０を、画面に表示する。また、コンピュータ７２ａは、応対終了ボタン５６０を画面に表示する。なお、応対終了ボタン５６０は、サーバ６０から応対を終了することが許可された場合に、有効化される。また、コンピュータ７２ａは、ロボット４０ａにより取得された音声をサーバ６０から取得して、ヘッドセット７４ａに出力する。

【0049】

コンピュータ７２ａは、ヘッドセット７４ａが収集した音声のデータを取得して、オペレータ８０ａの音声情報を生成し、サーバ６０に送信する。具体的には、コンピュータ７２ａは、音声データから言語を抽出してテキスト化して、得られたテキストデータを、サーバ６０に送信する。サーバ６０に送信されたテキストデータは、ロボット４０ａから発話させるべきテキストのデータとして処理される。なお、コンピュータ７２ａは、音声波形を表す音声データそのものを、音声情報としてサーバ６０に送信してもよい。この場合、サーバ６０においてテキスト化される。

【0050】

また、コンピュータ７２ａは、コメント入力ボックス５４０に文字が入力され、送信ボタン５５０が押された場合に、コメント入力ボックス５４０に入力された文字から生成されたテキストデータをサーバ６０に送信してもよい。これにより、オペレータ８０ａは、ロボット４０ａから発話させるべきテキストを、文字によって入力することができる。

【0051】

図６は、オペレータ８０ａの動作に基づいてロボット４０ａが顧客５０ａに応対している状況を概略的に示す。サーバ６０において、通信部２０４が顧客５０ａの発話又は文字入力から生成されたテキストデータを受信すると、制御部２４０は、当該テキストデータに基づいてロボット４０ａに発話させてよいか否かを判断する。例えば、制御部２４０は、予め定められた禁止ワードがテキストデータに含まれていない場合に、テキストデータに基づいてロボット４０ａに発話させてよいと判断する。制御部２４０は、ロボット４０ａに発話させてよいと判断した場合に、当該テキストデータをロボット４０ａへ送信して、ロボット４０ａに発話させる。

【0052】

ロボット４０ａは、テキストデータに基づいて発話した後、センサ部１２０で検出したセンサ情報をサーバ６０に送信する。サーバ６０において、顧客５０ａの感情が良くなったことが検出されると、オペレータ８０ａによる応対終了を許可する旨の応対終了許可通知を、オペレータ端末７０ａに送信する。なお、オペレータ端末７０ａにおいて、コンピュータ７２ａは、応対終了許可通知を受信すると、応対終了ボタン５６０を有効化する。

【0053】

図７は、オペレータ８０ａが応対を終了する場合のシーケンスを概略的に示す。オペレータ８０ａが応対終了ボタン５６０をタッチすると、コンピュータ７２ａは応対終了通知をサーバ６０に送信する。サーバ６０において、通信部２０４が応対終了通知を受信すると、制御部２４０は、自律応対を再開する旨の指示をロボット４０ａに送信する。ロボット４０ａにおいて、通信部１０２が自律応対を再開する指示を受信すると、情報処理部１３０は、センサ部１２０ａのセンサ情報に基づく自律応対処理を再開する。これにより、オペレータ８０による応対とロボット４０の自律応対をシームレスに切り替えることができる。

【0054】

図８は、適切なオペレータ８０を選択するために用いられる実績テーブルを概略的に示す。実績テーブルのデータは、サーバ６０の格納部２８０に格納される。具体的には、格納部２８０は、オペレータ８０を識別するオペレータ識別情報に対応付けて、それぞれのオペレータ８０が応対した顧客５０の属性と、オペレータ８０が応対を開始する前の顧客５０の感情の種別と、応対実績値とを対応づけて格納する。

【0055】

顧客５０の属性は、顧客の年齢層及び顧客の性別等を含む。応対時の顧客の感情の種別は、「怒」や「哀」等、オペレータ８０の応対が必要となる感情の種別を示す。応対実績値は、オペレータ８０の応対によって顧客５０の感情が好転した場合に、加算される。例えば、制御部２４０は、オペレータ８０の応対によって顧客５０の怒りの強さが一定値以上減少した場合に、対応する応答実績値に予め定められた値を加算して、格納部２８０に格納する。また、制御部２４０は、オペレータ８０の応対によって顧客５０の感情が「怒」又は「哀」から「喜」又は「楽」に変わった場合に、対応する応答実績値に予め定められた値を加算して、格納部２８０に格納する。

【0056】

ここで、顧客５０に応対するべきオペレータ８０を新たに選択する場合、選択部２２０は、格納部２８０に格納された実績テーブルのデータを参照して、対象となる顧客５０に適切に応対できるオペレータ８０を選択する。例えば、選択部２２０は、対象となる顧客５０の属性と現在の感情の種別とに適合する情報に対応づけられたオペレータ識別情報を、実績テーブル内のデータから検索する。そして、選択部２２０は、検索されたオペレータ識別情報のうち、より高い応対実績値が対応づけられているオペレータ識別情報を、より優先して抽出する。例えば、選択部２２０は、検索されたオペレータ識別情報のうち、最も高い応対実績値が対応づけられているオペレータ識別情報を抽出する。そして、選択部２２０は、抽出したオペレータ識別情報で識別されるオペレータ８０を、対象となる顧客５０に応対すべきオペレータとして選択する。これにより、対象となる顧客５０の属性や感情に対して応対能力が高いオペレータ８０を選択することができる。

【0057】

図９は、応対内容を学習するために用いられる応対学習テーブルを概略的に示す。応対学習テーブルのデータは、サーバ６０の格納部２８０に格納される。応対学習テーブルは、既に応対が終了した顧客５０の画像と、顧客５０の属性と、オペレータ８０が応対を開始する前の顧客５０の感情の種別と、オペレータ８０がロボット４０から発話させた発話内容とを対応づけて格納する。

【0058】

例えば、サーバ６０の制御部２４０は、オペレータ８０の応対によって顧客５０の感情が好転した場合に、感情が好転する直前にロボット４０から発話させた内容のテキストデータを、応対学習テーブルに格納する。例えば、制御部２４０は、オペレータ８０の応対によって、顧客５０の怒りの強さが予め定められた値以上減少した場合に、怒りの強さが予め定められた強さ以上減少する直前にロボット４０から発話させた内容のテキストデータを、顧客５０の画像と、顧客５０の属性と、オペレータ８０が応対を開始する前の顧客５０の感情の種別に対応づけて格納する。また、制御部２４０は、オペレータ８０の応対によって、顧客５０の感情が「怒」又は「哀」から「喜」又は「楽」に変わった場合に、顧客５０の感情が「喜」又は「楽」に変わる直前にロボット４０から発話させた内容のテキストデータを、顧客５０の画像と、顧客５０の属性と、オペレータ８０が応対を開始する前の顧客５０の感情の種別に対応づけて格納する。

【0059】

これにより、オペレータ８０の応対が成功した時の発話内容を応対学習テーブルに蓄積することができる。応対学習テーブルに蓄積されたデータは、オペレータ８０の教育用のデータや、ロボット４０の学習に入力される教師データとして利用できる。また、サーバ６０において、制御部２４０は、オペレータ８０による応対が必要になった顧客５０に適合する顧客属性及び顧客感情に対応づけられた発話内容を、オペレータ端末７０に送信して、オペレータ８０に提案することもできる。

【0060】

以上に説明したように、顧客応対システム１０によれば、オペレータ８０による応対が必要になった場合にのみロボット４０にオペレータ８０を適切に割り当てることができる。そのため、より多くのロボット４０を少数のオペレータ８０で運用することができる。

【0061】

なお、以上の説明では、主として、顧客５０の感情が悪化した場合や顧客５０の声が大きくなった場合にオペレータ８０が応対に切り替える場合について説明した。その他にも、予め定められた性別の顧客５０が来訪した場合に、オペレータ８０による応対に切り替えてもよい。例えば、女性が来訪した場合に、オペレータ８０による応対に切り替えて良い。例えば、化粧品等の女性用のグッズ売り場においては、男性にはロボット４０が応対して、女性にはオペレータ８０が応対するようにしてもよい。また、予め定められた特定の顧客５０が来訪した場合に、オペレータ８０による応対に切り替えてもよい。例えば、高価な商品を頻繁に購入する顧客５０に対しては、オペレータ８０による応対に切り替えてよい。また、過去にロボット４０による応対によって感情が悪化した顧客５０に対しては、オペレータ８０による応対に切り替えてよい。また、単に顧客５０が来訪した場合に、オペレータ８０による応対に切り替えるようにしてもよい。例えば、顧客５０がいない場合には、ロボット４０は勧誘行動を行い、顧客５０が近づいてきた場合に、オペレータ８０による応対に切り替えてよい。

【0062】

なお、サーバ６０の機能は、１以上のコンピュータによって実装されてよい。サーバ６０の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ６０の機能の少なくとも一部は、クラウドで実装されてよい。なお、ロボット４０は、顧客応対装置の一例である。顧客応対装置として、ロボット以外の様々な形態を採用し得る。

【0063】

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【0064】

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

【符号の説明】

【0065】

１０ 顧客応対システム
４０ ロボット
５０ 顧客
６０ サーバ
９０ 通信ネットワーク
７０ オペレータ端末、７２ コンピュータ、７４ ヘッドセット
８０ オペレータ
１０２ 通信部
１２０ センサ部
１３０ 情報処理部
１６０ 制御対象
２００ 顧客情報取得部
２０２ 通信部
２０４ 通信部
２１０ 顧客特定部
２２０ 選択部
２３０ 情報処理部
２４０ 制御部
２７０ 通知部
２８０ 格納部
２９０ 記録媒体
４１０、５１０ オブジェクト
５２０、５３０ オブジェクト
５４０ コメント入力ボックス、５５０ 送信ボタン
５６０ 応対終了ボタン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】