特許 7637538 接客システム、サーバ、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-19

(45)【発行日】2025-02-28

(54)【発明の名称】接客システム、サーバ、制御方法及びプログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20250220BHJP

   G06Q 10/04 20230101ALI20250220BHJP

   B25J 13/00 20060101ALI20250220BHJP

【ＦＩ】

G06Q50/10

G06Q10/04

B25J13/00 Z

【請求項の数】 12

(21)【出願番号】P 2021042707

(22)【出願日】2021-03-16

(65)【公開番号】P2022142512

(43)【公開日】2022-09-30

【審査請求日】2023-11-28

(73)【特許権者】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】伊藤 玲央

(72)【発明者】

【氏名】韓 セイブン

(72)【発明者】

【氏名】塚本 智宏

(72)【発明者】

【氏名】岡部 英理子

(72)【発明者】

【氏名】川崎 雄一

(72)【発明者】

【氏名】福嶋 美慧

【審査官】田川 泰宏

(56)【参考文献】

【文献】特開２０１８－０４１２３０（ＪＰ，Ａ）

【文献】特開２０１６－２００８５１（ＪＰ，Ａ）

【文献】特開２０１１－２２１６８３（ＪＰ，Ａ）

【文献】特開２０１１－２２１８９１（ＪＰ，Ａ）

【文献】特表２０２０－５０２６４９（ＪＰ，Ａ）

【文献】特開２０２０－１８４２１６（ＪＰ，Ａ）

【文献】特開２００４－２９９０２６（ＪＰ，Ａ）

【文献】特開２０２１－０１８４８２（ＪＰ，Ａ）

【文献】特開２０１８－０４１２３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｂ２５Ｊ １３／００

(57)【特許請求の範囲】

【請求項1】

接客用のロボットを用いた接客を行うための接客システムであって、
対応担当者の行動を認識する認識手段と、
前記ロボットを商談が行われる場所に移動させる指示手段と、
来訪者と前記対応担当者との商談において前記対応担当者が提供した話題に関する第１の情報を取得する第１の取得手段と、
前記ロボットによる前記来訪者の言動に関する検出結果を取得する第２の取得手段と、
前記第２の取得手段により取得された前記検出結果に基づいて、前記来訪者の反応を推定する推定手段と、
前記推定手段により推定された前記反応に関する第２の情報を出力する出力手段と、を備える、
ことを特徴とする接客システム。

【請求項2】

請求項１に記載の接客システムであって、
前記第２の情報は、前記来訪者の感情に関する情報である、
ことを特徴とする接客システム。

【請求項3】

請求項１から２までのいずれか１項に記載の接客システムであって、
前記第１の取得手段は、前記対応担当者が操作する端末装置の操作内容に基づいて前記第１の情報を取得する、
ことを特徴とする接客システム。

【請求項4】

請求項１から３までのいずれか１項に記載の接客システムであって、
前記第１の取得手段は、前記ロボットによる前記対応担当者の音声の検出結果に基づいて前記第１の情報を取得する、
ことを特徴とする接客システム。

【請求項5】

請求項１から４までのいずれか１項に記載の接客システムであって、
前記出力手段は、前記第１の情報及び前記第２の情報を関連付けて記憶部に出力する、
ことを特徴とする接客システム。

【請求項6】

請求項１から５までのいずれか１項に記載の接客システムであって、
前記出力手段は、前記第２の情報を前記ロボットに対して出力する、
ことを特徴とする接客システム。

【請求項7】

請求項１から６までのいずれか１項に記載の接客システムであって、
前記出力手段は、前記第１の情報及び前記第２の情報を関連付けて前記対応担当者が操作する端末装置に出力する、
ことを特徴とする接客システム。

【請求項8】

請求項１から７までのいずれか１項に記載の接客システムであって、
前記来訪者の来訪予約情報を管理する管理手段をさらに備え、
前記認識手段は、前記来訪予約情報に基づいて前記行動を認識する、
ことを特徴とする接客システム。

【請求項9】

請求項１から８までのいずれか１項に記載の接客システムであって、
前記商談における前記来訪者及び前記対応担当者の会話の音声データに基づいてテキストデータを生成する生成手段をさらに備える、
ことを特徴とする接客システム。

【請求項10】

請求項１から９までのいずれか１項に記載の接客システムの各手段として機能することを特徴とするサーバ。

【請求項11】

接客用のロボットを用いた接客を行うための接客システムの制御方法であって、
対応担当者の行動を認識する認識工程と、
前記ロボットを商談が行われる場所に移動させる指示工程と、
来訪者と前記対応担当者との商談において前記対応担当者が提供した話題に関する第１の情報を取得する第１の取得工程と、
前記ロボットによる前記来訪者の言動に関する検出結果を取得する第２の取得工程と、
前記第２の取得工程で取得された前記検出結果に基づいて、前記来訪者の反応を推定する推定工程と、
前記推定工程で推定された前記反応に関する第２の情報を出力する出力工程と、を含む、
ことを特徴とする制御方法。

【請求項12】

コンピュータを、
対応担当者の行動を認識する認識手段、
接客用のロボットを商談が行われる場所に移動させる指示手段、
来訪者と対応担当者との商談において対応担当者が提供した話題に関する第１の情報を取得する第１の取得手段、
前記ロボットによる前記来訪者の言動に関する検出結果を取得する第２の取得手段、
前記第２の取得手段により取得された前記検出結果に基づいて、前記来訪者の反応を推定する推定手段、
前記推定手段により推定された前記反応に関する第２の情報を出力する出力手段、
の各手段として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、接客システム、サーバ、制御方法及びプログラムに関する。

【背景技術】

【0002】

昨今、人手不足を解消する手段の一つとして、接客用のロボットを用いた接客システムに関する様々な技術が提案されている。例えば、特許文献１では、ロボットが来訪者に 対して例えば展示物についての説明をしたり、展示会場を案内したりする。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６１４２３０６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、施設への来訪者とその対応担当者が商談を行う場合に、対応担当者が来訪者の発言を聞き逃したり、来訪者の感情を読み取れなかったりすることがある。その結果として、来訪者に対して適切な提案ができないことがあった。

【0005】

本発明は、来訪者の反応に応じた適切な接客を図ることができる技術を提供する。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、
接客用のロボットを用いた接客を行うための接客システムであって、
対応担当者の行動を認識する認識手段と、
前記ロボットを商談が行われる場所に移動させる指示手段と、
来訪者と前記対応担当者との商談において前記対応担当者が提供した話題に関する第１の情報を取得する第１の取得手段と、
前記ロボットによる前記来訪者の言動に関する検出結果を取得する第２の取得手段と、
前記第２の取得手段により取得された前記検出結果に基づいて、前記来訪者の反応を推定する推定手段と、
前記推定手段により推定された前記反応に関する第２の情報を出力する出力手段と、を備える、
ことを特徴とする接客システムが提供される。

【発明の効果】

【0007】

本発明によれば、来訪者の反応に応じた適切な接客を図ることができる。

【図面の簡単な説明】

【0008】

【図1】接客システムの概略を示す図。

【図2】ロボットの構成を示す概略図。

【図3】接客システムのハードウェア構成を示すブロック図。

【図4】管理サーバによって実現される機能を示すブロック図。

【図5】管理サーバの処理部の処理例を示すフローチャート。

【図6】（ａ）は商談内容取得部が取得する情報を例示する図。（ｂ）は反応推定部が取得する情報を例示する図。（ｃ）は反応情報出力部が来訪者ＤＢに対して出力する情報を例示する図。

【図7】管理サーバの処理部及び端末装置の処理部の処理例を示すフローチャート。

【図8】端末装置の出力部としての表示部に表示される画面例を示す図。

【図9】（ａ）及び（ｂ）は、管理サーバの処理部の処理例を示すフローチャート。

【図10】管理サーバの処理部及びロボットの処理部の処理例を示すフローチャート。

【図11】（ａ）～（ｃ）は、ロボットの顔部の表示例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

【0010】

＜第１実施形態＞
＜接客システムＳＹの概略＞
図１は、接客システムＳＹの概略を示す図である。接客システムＳＹは、ロボット２を用いた接客を行うためのシステムである。図１は、接客システムＳＹが自動車販売店のショールーム５で使用される場合の例を示している。接客システムＳＹは、管理サーバ１と、ロボット２と、端末装置３と、カメラユニット４と、を含む。

【0011】

管理サーバ１は、ショールーム５が設けられる店舗に関する情報又はその店舗の来訪者に関する情報を管理したり、ロボット２、端末装置３及びカメラユニット４の制御を行ったりするサーバである。管理サーバ１は、例えば各店舗のオフィス等に設置される。なお、各店舗に設置される管理サーバ１は、来訪者の予約を受け付けたり個人情報を管理したりする上位のサーバと、インターネット等のネットワークを介して通信可能であってもよい。

【0012】

ロボット２は、ショールーム５において接客を行うためのロボットである。図１では、ショールーム５の入口５１付近において受付を行うロボット２ａと、商談スペース５２ａにおいて対応担当者８と来訪者９との商談に同席しているロボット２ｂが示されている。以下の説明では、これらを区別しない場合にはロボット２と表記する。

【0013】

端末装置３は、対応担当者８が操作する端末である。対応担当者８は、端末装置３を用いて来訪者９に対して各種資料を提示したり、来訪者９の情報等を確認したりする。カメラユニット４は、ショールーム５を撮影するユニットである。図１では、商談スペース５２ａ、５２ｂをそれぞれ撮影するカメラユニット４ａ及びカメラユニット４ｂと、ショールーム５の全体を撮影するカメラユニット４ｃとが設けられている。以下の説明では、商談スペース５２ａ、５２ｂを区別しない場合には商談スペース５２と、カメラユニット４ａ～４ｃを区別しない場合にはカメラユニット４と、それぞれ表記する。

【0014】

＜ロボット２の構成＞
図２は、ロボット２の構成を示す概略図である。ロボット２は、直立させた略ひょうたん型に形成されており、大まかには頭部２０１、括れ部２０２及び胴部２０３から構成される。本実施形態では、ロボット２は１１０ｃｍ前後の身長を有する。またロボット２には手足がなく、胴部２０３の下端に設けられる走行装置２０４により前後左右および斜め方向等、３６０度如何なる方向にも移動自在に構成される。なお、走行装置２０４の具体的構成については、説明を省略する。

【0015】

このようにロボット２は、頭部２０１が胴部３０３よりも若干大きく、かつ手足のない形状を有することで、例えば子供が抱きつき易く、子供とのコミュニケーションを図りやすい形状となっている。またロボット２は、走行装置２０４が前後方向および左右方向に揺れながらの動作を可能とするので、来訪者９が接近等に気付き易く、来訪者９とのコミュニケーションを図りやすい動き等が可能となっている。

【0016】

ロボット２の頭部２０１には、水平方向に長い略楕円形状の顔部２０５が設けられており、顔部２０５はロボット２の表情や簡単な文字画像等を表示可能に構成される。本実施形態では、ロボット２の顔部２０５には眼を表現する一対の疑似眼２０６が表示されており、一対の擬似眼２０６により様々な表情が表現可能となっている（図１１（ａ）～（ｃ）参照）。例えば、一対の疑似眼２０６の形状を変化させることで、喜怒哀楽等の表情が表現可能である。本実施形態では、さらに口を表現する疑似口２０７が表示されており、一対の疑似眼２０６に加えて疑似口２０７の形状も変化させることで、表情の変化を分かり易くさせている。

【0017】

またロボット２は、顔部２０５の中で一対の疑似眼２０６の位置を移動可能に構成される。ロボット２は、顔部２０５内で一対の疑似眼２０６の位置を変えることで視線を動かす動作を表現する。ロボット２は、来訪者９の前で一対の疑似眼２０６の位置を変えて視線を動かす動作を表現することで、来訪者９の視線を誘導する。このときロボット２に視線の移動に連動させて回転動作等を行わせることで、より来訪者９の視線を誘導し易くなる。

【0018】

なお、ロボット２の態様は例示であって、他の態様のロボットも採用可能である。例えば、ロボット２の形状等が適宜変更されてもよい。また、ロボットは据え置き型のロボットでもよく、例えば、ショールーム５の入口５１付近及び各商談スペース５２ａ、５２ｂに据え置き型のロボットがそれぞれ配置されてもよい。

【0019】

＜ハードウェア構成＞
図３は、接客システムＳＹのハードウェア構成を示すブロック図である。管理サーバ１、ロボット２、端末装置３、及びカメラユニット４は、無線ＬＡＮ（Wireless Local Area Network）等のネットワークＮＷを介して通信可能に構成されている。

【0020】

サーバ１は、処理部１１と、記憶部１２と、通信部１３とを含み、これらは不図示のバスにより接続されている。処理部１１はＣＰＵに代表されるプロセッサであり、記憶部１２に記憶されたプログラムを実行することにより、管理サーバ１に係る種々の機能を実現する。すなわち、記憶部１２に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部１３によって具体的に実現されることで、制御部１３に含まれる各機能部として実行されうる。記憶部１２は、例えば、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、ＨＤＤ(Hard Disk Drive)又はＳＳＤ(Solid State Drive)等であり、処理部１１が実行するプログラムの他、各種のデータが格納される。通信部１３は、外部装置との通信インタフェースである。

【0021】

ロボット２は、処理部２１と、記憶部２２と、通信部２３と、入力部２４と、出力部２５と、走行部２６と、センサ群２７と、撮像部２８と、を含む。処理部２１、記憶部２２及び通信部２３は、管理サーバ１の処理部１１、記憶部１２及び通信部１３と同様の構成を有し得るため説明を省略する。

【0022】

入力部２４は、各種入力を受け付ける。入力部２４は、例えば、メンテナンス時等に操作可能な各種のスイッチボタン、来訪者９の音声入力を受け付けるマイク、又は来訪者９による予約情報の入力等を受け付ける操作パネル等であってもよい。

【0023】

出力部２５は、各種情報を出力する。出力部２５は、例えば、音声を出力可能なスピーカや、画像を表示可能なディスプレイ等の表示部であってもよい。本実施形態では、顔部２０５が画像を出力（表示）する出力部２５として機能する。

【0024】

走行部２６は、ロボット２を自走させる前述の走行装置２０４等により構成される。走行部２６は例えばバッテリ及び電動モータを含み、電動モータがバッテリから供給された電力により駆動するように構成される。走行部２６は公知の電動技術を用いて適宜構成可能である。

【0025】

センサ群２７は、走行速度センサ、加速度センサおよびジャイロセンサ等のロボット２の走行及び停止状態を検出するセンサ並びに障害物センサ、人感センサ及び動体センサ等
のロボット２の周囲の状態を検出するセンサ等の各種センサを含み得る。

【0026】

撮像部２８は、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラであり、ショールーム５を訪れた来訪者を撮像可能に構成される。撮像部２８は、例えば、ロボット２の頭部２０１に設けられる。このような配置態様により、来訪者９の顔を撮像し易くなる。また撮像部２８は、来訪者９の顔を撮像する観点から、ロボット２の一対の疑似眼２０６の近くに設けられてもよい。

【0027】

端末装置３は、処理部３１と、記憶部３２と、通信部３３と、入力部３４と、出力部３５とを含む。処理部３１、記憶部３２及び通信部３３は、管理サーバ１の処理部１１、記憶部１２及び通信部１３と同様の構成を有し得るため説明を省略する。

【0028】

入力部３４は、対応担当者８等による各種入力を受け付ける。入力部３４は、例えばタッチパネルである。出力部３５は、各種情報を出力する。出力部３５は、例えば、音声を出力可能なスピーカや、画像を表示可能なディスプレイ等の表示部であってもよい。

【0029】

カメラユニット４は、撮像部４１と、通信部４２とを含む。撮像部４１は、ＣＣＤやＣＭＯＳ等の撮像素子を有するカメラであり、ショールーム５を訪れた来訪者を撮像可能に構成される。通信部４２は、外部装置とのインタフェースであり、撮像部４１の撮像画像をネットワークＮＷを介して管理サーバ１に送信する。

【0030】

＜管理サーバ１の機能構成＞
図４は、管理サーバ１によって実現される機能を示すブロック図である。管理サーバ１の処理部１１は、図４に示す各機能部１１１～１１９として機能する。

【0031】

施設内画像取得部１１１は、ショールーム５内に設置された複数のカメラユニット４により撮像されるショールーム５内画像を取得する。具体的には、施設内画像取得部１１１は、複数のカメラユニット４により撮像されたショールーム５の内部の画像（静止画および動画を含む）データを、通信部１３を介して入力する。例えば、施設内画像取得部１１１は、複数のカメラユニット４にショールーム５を撮像させる制御信号を、通信部１３を介して出力し、複数のカメラユニット４が撮像したショールーム内画像データを、通信部１３を介して入力する。

【0032】

ロボット画像取得部１１２は、ショールーム５に配置されたロボット２が撮像した来訪者９の顔画像を含む画像を取得する。具体的には、ロボット画像取得部１１２は、ロボット２が撮像した来訪者９の顔画像を含む画像（静止画および動画を含む）データを、通信部１３を介して入力する。例えば、ロボット画像取得部１１２は、ロボット２に来訪者９の顔を撮像させる制御信号を、通信部１３を介して出力し、ロボット２が撮像した来訪者９の顔画像を含む画像データを、通信部１３を介して入力する。

【0033】

商談内容取得部１１３は、対応担当者８と来訪者９との商談の内容を取得する。例えば、商談内容取得部１１３は、端末装置３が管理サーバ１に対して送信した商談内容に関するデータを、通信部１３を介して取得する。商談内容に関するデータとしては、出力部３５としての表示部に表示されている内容に関するデータが挙げられる。例えば、商談内容取得部１１３は、対応担当者８と来訪者９との商談中に端末装置３の表示部に表示されている内容（新車のカタログ、見積もり等）を取得する。これにより、処理部１１の側で、商談の内容を把握することができる。或いは、商談内容取得部１１３は、ロボット２から対応担当者８と来訪者９との会話の音声データを取得してもよい。そして、商談内容取得部１１３は、その会話の内容に基づいて、商談の内容を取得してもよい。また、商談内容取得部１１３は、商談が開始したこと及び商談が終了したことについても認識する。

【0034】

来訪者特定部１１４は、施設内画像取得部１１１が取得したショールーム内画像からショールーム５に来訪した来訪者９を特定する。例えば来訪者特定部１１４は、ショールーム内画像から人物を抽出し、抽出した人物から顔画像をさらに抽出（認識）する。そして、来訪者ＤＢ１２３に記憶された来訪者データの中から、抽出した顔画像と一致する顔画像を有する来訪者データを検索し、来訪者９を特定する。抽出した顔画像と一致する顔画像を有する来訪者データがない場合には、新規の来訪者９として、来訪者ＤＢ１２３に記憶させる。

【0035】

反応推定部１１５は、来訪者９の反応を推定する。例えば、反応推定部１１５は、対応担当者８と来訪者９との商談中に、ロボット画像取得部１１２が取得した来訪者９の画像に基づいて、来訪者９の反応を推定する。来訪者９の反応は、例えば、対応担当者８が提供した話題に対する来訪者９の感情であってもよい。

【0036】

感情の特定方法としては、公知の技術を適宜採用可能である。例えば、来訪者９の感情は、来訪者９の仕草や挙動等に基づいて推定することができる。具体的には、反応推定部１１５は、ショールーム５内画像から抽出した来訪者９の顔画像や、来訪者９の動作等から来訪者９の感情を推定してもよい。例えば、反応推定部１１５は、来訪者９が怒った顔をしている場合や、周りを見回していたり、貧乏ゆすりなどしていたりして落ち着きがない場合等は、機嫌が悪いと推定する。一方、反応推定部１１５は、来訪者９がうれしそうな顔をしている場合や、来訪者９同士で会話をしている場合等は、機嫌が良いと推定する。

【0037】

反応情報出力部１１６は、反応情報を出力する。例えば、反応情報出力部１１６は、反応推定部１１５が推定した反応についての情報である反応情報を記憶部１２対して出力し、来訪者ＤＢ１２３に記憶する。また例えば、反応情報出力部１１６は、反応情報を、ロボット２又は端末装置３に対して出力する。反応情報を入力したロボット２又は端末装置３が反応情報を出力（例えば画面表示）することで、対応担当者８は来訪者９の商談内容に対する反応を把握することができる。

【0038】

行動特定部１１７は、ショールーム５の施設員（対応担当者８）の行動を特定する。例えば、行動特定部１１７は、施設内画像取得部１１１が取得したショールーム５内の画像に基づいて認識した対応担当者８の位置又は動線等に基づいて、対応担当者８の行動を特定してもよい。一例として、行動特定部１１７は、対応担当者８が来訪者９とともに商談スペース５２ａに入った場合、対応担当者８が商談を開始すると特定する。或いは、行動特定部１１７は、端末装置３から端末装置３が受け付けた操作内容に関するデータを受信し、受信したデータ内容に基づいて対応担当者８の行動を特定してもよい。

【0039】

ロボット移動指示部１１８は、ロボット２に対して移動指示を行う。例えば、ロボット移動指示部１１８は、施設内画像取得部１１１が取得した画像に基づいて来訪者９が入口５１から入店したことを検知した場合に、ロボット２を入口５１付近に移動させる。また例えば、ロボット移動指示部１１８は、行動特定部１１７により対応担当者８と来訪者９との商談が開始されると特定された場合に、ロボット２を商談スペース５２に移動させる。

【0040】

なお、管理サーバ１の処理部１１が実現する機能の少なくとも一部は、ハードウェアによって実現されてもよい。例えば、処理部１１が実現する機能の少なくとも一部は、ＰＬＤ(Programmable Logic Device)、ＡＳＩＣ(Application Specific Integrated Circuit)等、公知の半導体装置により実現されてもよい。また、ここでは処理部１１を単一の要素として示すが、処理部１１は必要に応じて２以上の要素に分けられてもよい。

【0041】

なお、ロボット２の処理部２１及び端末装置３の処理部３１についても同様であり、これらが実現する機能の少なくとも一部はハードウェアによって実現されてもよい。また、処理部２１及び記憶部２２は必要に応じて２以上の要素に分けられてもよい。

【0042】

次に、管理サーバ１の記憶部１２が構築するデータベースについて説明する。本実施形態では、記憶部１２は、ロボットデータベース（ＤＢ）１２１、ショールームデータベース（ＤＢ）１２２、来訪者データベース（ＤＢ）１２３及び商談内容データベース（ＤＢ）１２４を構築する。

【0043】

ロボットＤＢ１２１は、ロボット２のＩＤ等、ロボット２に関する基本情報又はメンテナンス情報等を管理する。ショールームＤＢ１２２は、ショールーム５内に配置される展示車両５３やその他物品の配置に対応したデータ又は商談スペース５２の利用予約に関するデータ等を記憶する。

【0044】

来訪者ＤＢ１２３は、ショールーム５を来訪する来訪者９の来訪者情報を記憶する。来訪者情報としては、来訪者の住所、氏名、年齢、職業、性別といった来訪者の基本情報に加え、来訪者９の顔画像および来訪履歴等が含まれる。来訪履歴の中には、来訪時における商談内容に加え、商談前の雑談等も含まれ得る。また、本実施形態では、来訪者情報には、ショールーム５への来訪予約が含まれる。来訪予約には、予約日時、担当するショールーム５側の対応担当者８の情報等が含まれる。

【0045】

＜処理例＞
＜反応情報の出力＞
図５は、処理部１１の処理例を示すフローチャートである。図５は、対応担当者８と来訪者９との商談中に、処理部１１が来訪者９の反応を特定しその反応に関する情報を出力する際の処理を示している。本フローチャートは、処理部１１が記憶部１２に記憶されたプログラムを読み出して実行することにより、処理部１１が図４で示す各機能部として機能することにより実現される。

【0046】

本フローチャートは、対応担当者８と来訪者９との商談が開始されたことに基づいて、所定の周期で繰り返し実行される。例えば、商談スペース５２ａにおいて、対応担当者８が商談を開始する旨の入力を端末装置３に対して行うと、端末装置３から管理サーバ１に対して商談が開始される旨の情報が送信される。処理部１１は、この商談が開始される旨の情報を通信部１３により受信したことに基づいて図５のフローチャートを開始する。

【0047】

Ｓ１は、商談が継続しているか否かについての条件分岐である。商談内容取得部１１３は、商談が継続していればＳ２に進み、商談が終了していればＳ５に進む。例えば、商談が終了すると、対応担当者８は、入力部３４により商談が終了した旨の入力を行う。すると、処理部３１は、通信部３３により、商談が終了した旨の情報を管理サーバ１に対して送信する。商談内容取得部１１３は、通信部１３により、商談が終了した旨の情報を端末装置３から受信した場合に、商談が終了したと判断する。或いは、商談内容取得部１１３は、ロボット２ｂから対応担当者８と来訪者９の会話についての音声データを取得し、その会話の内容を解析することで商談が継続しているか終了したかを判断してもよい。

【0048】

Ｓ２で、商談内容取得部１１３は、商談の話題を取得する。さらに言えば、商談内容取得部１１３は、来訪者９と対応担当者８との商談において対応担当者８が提供した話題に関する情報を取得する。

【0049】

具体的には、商談内容取得部１１３は、対応担当者８が操作する端末装置３の操作内容に基づいて対応担当者８が提供した話題に関する情報を取得する。例えば、対応担当者８が端末装置３を操作して、新車Ａのカタログを端末装置３の表示部に表示させたとする。この場合、端末装置３は、管理サーバ１に対して、新車Ａのカタログが表示されたことが認識可能なデータを送信する。商談内容取得部１１３は、受信したデータに基づき、商談の話題の内容が新車Ａの紹介であると認識する。

【0050】

また、具体的には、商談内容取得部１１３は、ロボット２による対応担当者８の音声の検出結果に基づいて対応担当者８が提供した話題に関する情報を取得する。商談内容取得部１１３は、ロボット２から商談中の会話の音声データを取得する。そして、商談内容取得部１１３は、取得した音声データからテキストデータを生成し、生成したテキストデータの内容に基づいて商談の内容を認識する。例えば、商談内容取得部１１３は、テキストから予め登録しておいた特定の用語（「新車Ａ」等の車名、「見積もり」「納期」等）を抽出して、抽出結果に基づいて商談の内容を認識してもよい。

【0051】

図６（ａ）は、商談内容取得部１１３が取得する情報を例示する図である。例えば、商談内容取得部１１３は、取得した話題の内容を、時刻、来訪者９の氏名（或いは識別情報等）と関連付けた情報を取得する。本実施形態では、商談内容取得部１１３は、取得した話題に内容についての情報を、記憶部１２に含まれるＲＡＭ等の一時記憶領域に記憶してもよい。

【0052】

Ｓ３で、ロボット画像取得部１１２は、ロボット２による来訪者９の言動に関する検出結果を取得する。例えば、ロボット画像取得部１１２は、ロボット２に来訪者９の顔を撮像させる制御信号を、通信部１３を介して出力し、ロボット２の撮像部２８が撮像した来訪者９の顔画像を含む画像データを、通信部１３を介して入力する。なお、ここでは来訪者９の言動に関する検出結果として、ロボット２の撮像部２８が撮像した画像データが取得されているが、例えばロボット２の入力部２４としてのマイクにより検出された来訪者９の音声データが取得されてもよい。

【0053】

Ｓ４で、反応推定部１１５は、Ｓ３にて取得された検出結果に基づいて、来訪者９の反応を推定（取得）する。反応推定部１１５は、図４の説明で述べたように、取得した検出結果としての画像データに基づいて、来訪者９の反応を推定する。本実施形態では、反応推定部１１５は、来訪者９の感情が、普通、ポジティブ、ネガティブのいずれに該当するかを判断する。

【0054】

図６（ｂ）は、反応推定部１１５が取得する情報を例示する図である。例えば、反応推定部１１５は、来訪者９の感情の推定結果を、時刻、来訪者９の氏名（或いは識別情報等）と関連付けた情報を取得する。本実施形態では、反応推定部１１５は、取得した情報を、記憶部１２に含まれるＲＡＭ等の一時記憶領域に記憶する。

【0055】

Ｓ５で、反応情報出力部１１６は、Ｓ４で反応推定部１１５により推定された来訪者９の反応に関する情報を出力する。本実施形態では、反応情報出力部１１６は、来訪者９の反応に関する情報を記憶部１２に対して出力する。すなわち、反応情報出力部１１６は、来訪者９の反応に関する情報を記憶部１２の来訪者ＤＢ１２３に記憶させる。本実施形態では、反応情報出力部１１６は、Ｓ２で取得した商談の話題に関する情報と、Ｓ４で取得したロボット２による検出結果に関する情報とを関連付けて来訪者ＤＢ１２３に記憶させる。

【0056】

図６（ｃ）は、反応情報出力部１１６が来訪者ＤＢ１２３に対して出力する情報を例示する図である。反応情報出力部１１６は、Ｓ２及びＳ４で一時記憶領域に保存した情報を関連付けて、来訪者ＤＢ１２３に対して出力する。具体的には、反応情報出力部１１６は、Ｓ２で取得された商談の話題と、話題に対する来訪者９の反応を関連付けた情報を来訪者ＤＢ１２３に記憶させる。このときの関連付けは、各情報に含まれる時刻に基づいて行われてもよい。例えば、反応情報出力部１１６は、Ｓ２で取得された情報から、１３：００～１３：１５の間の話題が新車Ａの紹介であったことを認識する。また、反応情報出力部１１６は、Ｓ４において、１３：００～１３：１５の間の来訪者９の感情の推定結果が、普通、ネガティブ、ポジティブそれぞれ１回ずつであったことを認識する。反応情報出力部１１６は、この合計３回の推定結果を踏まえ、話題「新車Ａの紹介」に対する来訪者９の反応（感情）はトータルで「普通」と関連付けてもよい。

【0057】

なお、本処理例では、商談が終了した後に、来訪者９の反応に関する情報が反応情報出力部１１６により出力されているが、処理の中で取得された情報が随時来訪者ＤＢ１２３に対して出力され、登録されてもよい。

【0058】

＜端末装置３への表示指示＞
図７は、管理サーバ１の処理部１１及び端末装置３の処理部３１の処理例を示すフローチャートである。図７は、反応情報出力部１１６による反応情報の出力の一態様として、反応情報を端末装置３へ表示させる場合の処理部１１及び処理部３１の処理例を示している。

【0059】

Ｓ１１で、処理部３１は、通信部３３により商談内容表示要求を管理サーバ１に送信する。この要求は、商談の終了後、或いは商談中に、端末装置３の出力部３５としての表示部に商談内容を表示させるための要求である。

【0060】

Ｓ１２で、処理部１１は、通信部１３を介して処理部３１からの商談内容表示要求を受信する。その後、Ｓ１３で、処理部１１の反応情報出力部１１６は、商談内容を出力部３５としての表示部に表示させるための表示データを生成する。反応情報出力部１１６は、来訪者ＤＢ１２３に記憶された図６（ｃ）に示すデータに基づいて、この表示データを生成する。すなわち、表示データは、商談の話題に関する情報と、話題に対する来訪者９の反応に関する情報が関連付けられたデータである。Ｓ１４で、反応情報出力部１１６は、通信部１３により商談内容の表示指示を端末装置３に対して送信する。ここでの表示指示には、商談内容についての画面を出力部３５としての表示部に表示させる旨の命令に加え、Ｓ１３で生成された表示データが含まれ得る。

【0061】

Ｓ１５で、処理部３１は、処理部１１から送信された表示指示を通信部３３により受信する。Ｓ１６で、処理部３１は、Ｓ１５で受信した表示データに基づき商談内容を出力部３５としての表示部に表示部に表示させる。図８は、端末装置３の出力部３５としての表示部に表示される画面例３５ａを示す図である。画面例３５ａには、面談の概略（日時、お客様氏名、担当者氏名）、商談の話題に対するお客様の反応、及びコメントが表示されている。このように、商談での話題に対する来訪者９の反応や、それに応じた対応を促すコメント等が端末装置３に表示されることにより、対応担当者８は、来訪者９の反応をより高精度に認識でき、来訪者９の反応に応じた接客を図ることができる。

【0062】

＜ロボットの移動指示＞
図９（ａ）は、処理部１１の処理例を示すフローチャートである。図９（ａ）は、管理サーバ１が商談の場にロボット２を移動させるための指示を行う際の、処理部１１の処理例を示している。例えば本フローチャートは、ショールーム５を有する店舗の営業時間中に所定の周期で繰り返し実行される。

【0063】

Ｓ１１１で、施設内画像取得部１１１は、ショールーム５内に設置された複数のカメラユニット４により撮像されるショールーム５内画像を取得する。Ｓ１１２で、行動特定部１１７は、Ｓ１１１で取得した画像に基づいて、対応担当者８の行動認識処理を行う。

【0064】

図９（ｂ）は、Ｓ１１２の行動認識処理の具体例を示すフローチャートである。
Ｓ１１２１は、対応担当者８の移動に基づく条件分岐である。行動特定部１１７は、対応担当者８が商談ルームに移動していればＳ１１２２に進み、そうでなければ図９（ｂ）のフローチャートを終了して図９（ａ）のフローチャートに戻る。例えば、行動特定部１１７は、商談スペース５２に設けられたカメラユニット４により対応担当者８を特定できた場合には対応担当者８が商談ルームに移動していると判断してもよい。或いは、行動特定部１１７は、カメラユニット４により取得された動画又は時系列で取得された複数の静止画のデータに基づき、対応担当者８が商談スペース５２に接近していることが認識できた場合には対応担当者８が商談ルームに移動していると判断してもよい。

【0065】

Ｓ１１２２は、商談の予約状況に基づく条件分岐である。行動特定部１１７は、対象の対応担当者８が担当する商談の予約がある場合にはＳ１１２３に進み対応担当者８が商談を行うと認識し、そうでなければ図９（ｂ）のフローチャートを終了して図９（ａ）のフローチャートに戻る。例えば、行動特定部１１７は、来訪者ＤＢ１２３に記憶されている、対応担当者８の商談予約を確認する。行動特定部１１７は、現在の時刻の前後所定時間内に対応担当者８の商談予約があればＳ１１２３に進む。このように、行動特定部１１７は、来訪者９の来訪予約情報に基づいて対応担当者８の行動を認識してもよい。

【0066】

Ｓ１１３は、Ｓ１１２での認識結果に基づく条件分岐である。行動特定部１１７は、Ｓ１１２で対応担当者８が商談を行うと認識した場合はＳ１１４に進み、そうでない場合はフローチャートを終了する。

【0067】

Ｓ１１４で、ロボット移動指示部１１８は、ロボット２に対する移動指示を行う。ロボット移動指示部１１８は、ロボット２に対して、対応担当者８が商談を行う商談スペース５２に移動するよう移動指示を行う。このとき、ロボット移動指示部１１８は、ショールーム５に配備されているロボット２のうち、他の商談や受付対応を行っていないロボット２に対して移動指示を行ってもよい。具体的には、ロボットＤＢ１２１に、受付対応中、商談対応中、待機中等、現在のロボット２のステータスが記憶されてもよい。そして、ロボット移動指示部１１８は、ロボットＤＢ１２１に記憶されている各ロボット２のステータスに基づき、ステータスが待機中のロボット２に対して移動指示を出してもよい。或いは、ロボット移動指示部１１８は、商談を行う来訪者９の受付対応を行ったロボット２に対して、来訪者９に対する商談スペース５２への案内も兼ねて、商談スペース５２への移動指示を行ってもよい。

【0068】

このように、対応担当者８の行動に応じてロボット２を商談場所に移動させることにより、商談にロボット２を同席させることができる。これにより、商談に同席したロボット２が来訪者９の反応に関する情報を取得することができる。

【0069】

以上説明したように、本実施形態によれば、反応推定部１１５により推定された来訪者９の反応に関する情報が反応情報出力部１１６により出力される。したがって、対応担当者８は、出力された情報を用いて来訪者の反応に応じた適切な接客を図ることができる。また、本実施形態では、商談の話題と、その話題に対する来訪者９の反応を関連付けた情報が出力される。したがって、対応担当者８は、商談の内容に対する来訪者９の反応に基づいてより適切な接客を図ることができる。

【0070】

＜第２実施形態＞
次に、第２実施形態について説明する。概略として、第２実施形態は、商談の最中に来訪者９の反応に関する情報が出力される態様が第１実施形態と異なる。以下、第１実施形態と同様の構成については同様の符号を付して説明を省略する。

【0071】

図１０は、管理サーバ１の処理部１１及びロボット２の処理部２１の処理例を示すフローチャートである。本フローチャートは、対応担当者８と来訪者９との商談の間に、ロボット２が来訪者９の反応を適宜出力する際の処理を示している。すなわち、本フローチャートは、対応担当者８と来訪者９との商談が行われている間、所定の周期で繰り返し実行される。

【0072】

Ｓ２１１で、商談内容取得部１１３は、端末装置３から送信された情報を受信（取得）する。Ｓ２１２で、ロボット画像取得部１１２は、来訪者９の言動情報としてのロボット２による来訪者９の撮影画像を要求する。なお、処理部１１は、来訪者９の言動情報として来訪者９の音声データを要求してもよい。

【0073】

Ｓ２２１で、処理部２１は、管理サーバ１からの要求を受け付ける。Ｓ２２２で、処理部２１は、通信部２３により、言動情報の検出結果を管理サーバ１に送信する。本実施形態では、言動情報の検出結果は、撮像部２８による来訪者９の撮影画像の画像データである。

【0074】

Ｓ２１３で、商談内容取得部１１３は、通信部１３により、Ｓ２２２でロボット２から送信された情報を受信する。なお、Ｓ２１２及びＳ２１３のステップは、図５のＳ３と同様のステップであってもよい。

【0075】

Ｓ２１４で、反応推定部１１５は、Ｓ２１３で取得した情報に基づき来訪者９の反応を推定（取得）する。本ステップは、図５のＳ４と同様のステップであってもよい。その後、Ｓ２１５で、反応情報出力部１１６は、Ｓ２１４で取得した反応に関する反応情報の出力として、通信部１３によりロボット２に対して反応情報の表示指示を行う。例えば、反応情報出力部１１６は、現在の来訪者９の感情が、普通、ポジティブ、ネガティブのいずれに該当するかについての情報を、表示指示とともにロボット２に対して送信する。

【0076】

Ｓ２２３で、処理部２１は、通信部２３によりＳ２１５で管理サーバ１から送信された表示指示を受信する。Ｓ２２４で、処理部２１は、受信した表示指示に基づく表示を行う。具体的には、処理部２１は、ロボット２の出力部２５として機能する顔部２０５に、来訪者９の感情に対応する表示を行わせる。

【0077】

図１１（ａ）～図１１（ｃ）は、ロボット２の顔部２０５の表示例を示す図である。図１１（ａ）は、Ｓ２１４で推定された来訪者９の感情がポジティブである場合の表示例を示している。図１１（ｂ）は、Ｓ２１４で推定された来訪者９の感情が普通である場合の表示例を示している。図１１（ｃ）は、Ｓ２１４で推定された来訪者９の感情がネガティブである場合の表示例を示している。このように、ロボット２の表情を来訪者９の感情に合わせた表情とすることにより、対応担当者８が来訪者９の反応をより直感的に把握することができる。

【0078】

以上説明したように、本実施形態によれば、対応担当者８は商談の実施中に来訪者９の反応を確認することができる。したがって、対応担当者８は、商談の内容に対する来訪者９の反応に基づいてより適切な接客を図ることができる。なお、本実施形態では、来訪者９の反応に関する情報と商談の話題に関する情報の関連付けは実行されないが、対応担当者８はリアルタイムで来訪者９の反応を確認できるため、対応担当者８は話題の内容に対する来訪者９の反応を把握することができる。
なお、第１実施形態及び第２実施形態の構成は、適宜組み合わせ可能である。

【0079】

＜他の実施形態＞
上記実施形態の説明では、接客システムＳＹが自動車販売店のショールーム５で使用される場合の例が示されていた。しかしながら、接客システムＳＹは、例えば、各種商品を小売販売する販売店、美術館、博物館、画廊およびギャラリー等の美術関連施設、科学館、記念館、展覧会、ワークショップ等の事業体において使用可能である。各種商品を小売販売する販売店としては、例えば、デパート、スーパー、専門販売店等が挙げられる。

【0080】

また、接客システムＳＹ内において、各装置が担う機能の分担は適宜変更されてもよい。例えば、管理サーバ１の処理の一部をロボット２が実行してもよい。一例として、図５のＳ４で示す来訪者９の反応の推定処理を、ロボット２の処理部２１が実行してもよい。この場合、処理部１１が処理部２１に対して来訪者９の反応についての情報を要求したことに応じて、処理部２１が来訪者９の撮影画像に基づいて来訪者９の反応を推定してもよい。

【0081】

また、処理部２１は、ロボット２から、ロボット２の入力部２４としてのマイクで検出された商談中の音声データを取得して、取得した音声データに基づいてテキストデータを生成してもよい。すなわち、処理部２１は、商談中の音声の文字起こしを行ってもよい。そして、処理部２１は、生成したテキストデータを来訪者ＤＢ１２３に来訪記録として記憶してもよい。このテキストデータが記憶されることで、例えば対応担当者８が来訪者９の反応の良くなかった話題を詳細に振り返りたい場合に、具体的な会話内容を参照することができる。

【0082】

＜実施形態のまとめ＞
上記実施形態は以下の接客システム、サーバ、制御方法及びプログラムを少なくとも開示する。

【0083】

１．上記実施形態の接客システムは、
接客用のロボットを用いた接客を行うための接客システム(SY)であって、
来訪者と対応担当者との商談において対応担当者が提供した話題に関する第１の情報を取得する第１の取得手段(11,S2)と、
前記ロボットによる前記来訪者の言動に関する検出結果を取得する第２の取得手段(11,S3)と、
前記第２の取得手段により取得された前記検出結果に基づいて、前記来訪者の反応を推定する推定手段(11,S4)と、
前記推定手段により推定された前記反応に関する第２の情報を出力する出力手段(11,S5)と、を備える。

【0084】

この実施形態によれば、推定手段により推定された来訪者の反応に関する情報が出力手段により出力される。したがって、対応担当者は、出力手段により出力された情報を用いて来訪者の反応に応じた適切な接客を図ることができる。

【0085】

２．上記実施形態によれば、
前記第２の情報は、前記来訪者の感情に関する情報である。

【0086】

この実施形態によれば、来訪者の感情に応じた接客を図ることができる。

【0087】

３．上記実施形態によれば、
前記第１の取得手段は、前記対応担当者が操作する端末装置の操作内容に基づいて前記第１の情報を取得する。

【0088】

この実施形態によれば、対応担当者の端末装置の操作内容により、商談の内容を認識することができる。

【0089】

４．上記実施形態によれば、
前記第１の取得手段は、前記ロボットによる前記対応担当者の音声の検出結果に基づいて前記第１の情報を取得する。

【0090】

この実施形態によれば、対応担当者が端末装置の操作等の特定の処理を行うことなく、商談内容を認識することができる。

【0091】

５．上記実施形態によれば、
前記出力手段は、前記第１の情報及び前記第２の情報を関連付けて記憶部に出力する。

【0092】

この実施形態によれば、第１の情報及び第２の情報が関連付けられた情報が利用可能となるので、商談の内容に対する来訪者の対応に基づいてより適切な接客を図ることができる。

【0093】

６．上記実施形態によれば、
前記出力手段は、前記第２の情報を前記ロボットに対して出力する。

【0094】

この実施形態によれば、対応担当者がロボットを介して来訪者の反応を確認することができる。

【0095】

７．上記実施形態によれば、
前記出力手段は、前記第１の情報及び前記第２の情報を関連付けて前記対応担当者が操作する端末装置に出力する。

【0096】

この実施形態によれば、対応担当者が、端末装置により商談の内容に対する来訪者の反応を確認することができる。

【0097】

８．上記実施形態によれば、
前記対応担当者の行動を認識する認識手段(11,S112)と、
前記ロボットを前記商談が行われる場所に移動させる指示手段(11,S114)と、をさらに備える。

【0098】

この実施形態によれば、商談が行われる場所にロボットが移動するので、商談中に来訪者の反応に関する情報をロボットにより取得することができる。

【0099】

９．上記実施形態によれば、
前記来訪者の来訪予約情報を管理する管理手段(123)をさらに備え、
前記認識手段は、前記来訪予約情報に基づいて前記行動を認識する。

【0100】

この実施形態によれば、認識手段はより高精度に対応担当者の行動を認識することができる。

【0101】

１０．上記実施形態によれば、
前記商談における前記来訪者及び前記対応担当者の会話の音声データに基づいてテキストデータを生成する生成手段をさらに備える。

【0102】

この実施形態によれば、対応担当者が商談中の会話の内容をテキストで確認できるので、効率的に商談の内容を確認することができる。

【0103】

１１．上記実施形態のサーバ(1)は、
上述の１．～１０．の接客システムの各手段として機能する

【0104】

この実施形態によれば、商談の内容に対する来訪９の反応に基づいてより適切な接客を図るためのサーバが提供される。

【0105】

１２．上記実施形態の制御方法は、
接客用のロボットを用いた接客を行うための接客システムの制御方法であって、
来訪者と対応担当者との商談において対応担当者が提供した話題に関する第１の情報を取得する第１の取得工程(S2)と、
前記ロボットによる前記来訪者の言動に関する検出結果を取得する第２の取得工程(S3)と、
前記第２の取得工程で取得された前記検出結果に基づいて、前記来訪者の反応を推定する推定工程(S4)と、
前記推定工程で推定された前記反応に関する第２の情報を出力する出力工程(S5)と、を含む。

【0106】

この実施形態によれば、対応担当者は、出力工程で出力された情報を用いて来訪者の反応に応じた適切な接客を図ることができる。

【0107】

１３．上記実施形態のプログラムは、
コンピュータを、
来訪者と対応担当者との商談において対応担当者が提供した話題に関する第１の情報を取得する第１の取得手段(S2)、
接客用のロボットによる前記来訪者の言動に関する検出結果を取得する第２の取得手段(S3)、
前記第２の取得手段により取得された前記検出結果に基づいて、前記来訪者の反応を推定する推定手段(S4)、
前記推定手段により推定された前記反応に関する第２の情報を出力する出力手段(S5)、
の各手段として機能させる。

【0108】

この実施形態によれば、対応担当者は、出力手段により出力された情報を用いて来訪者の反応に応じた適切な接客を図ることができる。

【0109】

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【符号の説明】

【0110】

１：管理サーバ、２：ロボット、３：端末装置、１１：処理部、ＳＹ：接客システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】