特開 2024-100374 遠隔接客システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024100374

(43)【公開日】2024-07-26

(54)【発明の名称】遠隔接客システム

(51)【国際特許分類】

   G06Q 30/01 20230101AFI20240719BHJP

【ＦＩ】

G06Q30/01

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023004330

(22)【出願日】2023-01-16

(71)【出願人】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100147304

【弁理士】

【氏名又は名称】井上 知哉

(74)【代理人】

【識別番号】100148493

【弁理士】

【氏名又は名称】加藤 浩二

(74)【代理人】

【識別番号】100168583

【弁理士】

【氏名又は名称】前井 宏之

(72)【発明者】

【氏名】裏谷 治

(72)【発明者】

【氏名】西浦 一夫

【テーマコード（参考）】

5L030

5L049

【Ｆターム（参考）】

5L030BB00

5L049BB00

(57)【要約】

【課題】顧客が必要とする際に顧客への接客を開始可能な遠隔接客システムを提供する。
【解決手段】遠隔接客システム１０は、店舗Ｓｔに備えられた接客用端末装置１００を介して、店舗Ｓｔに来店した顧客Ｃｕに対して遠隔地に在るオペレータＯｐが接客を行う。遠隔接客システム１０は、接客用端末装置１００と、店舗Ｓｔの内部を撮像する撮像装置２００と、制御装置３００とを備える。制御装置３００は、撮像装置２００の撮像画像に含まれる被写体をトラッキング対象として認識し、撮像画像からトラッキング対象に関する情報を取得する画像認識部３０２ａと、トラッキング対象に関する情報に基づいて、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する制御情報生成部３０２ｂとを備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

店舗に備えられた接客用端末装置を介して、前記店舗に来店した顧客に対して遠隔地に在るオペレータが接客を行う遠隔接客システムであって、
前記接客用端末装置と、
前記店舗の内部を撮像する撮像装置と、
制御装置と、
を備え、
前記制御装置は、
前記撮像装置の撮像画像に含まれる被写体をトラッキング対象として認識し、前記撮像画像から前記トラッキング対象に関する情報を取得する画像認識部と、
前記トラッキング対象に関する情報に基づいて、前記オペレータに対して接客の開始を促す報知を実行する制御情報を生成する制御情報生成部と
を備える、遠隔接客システム。

【請求項2】

前記制御装置は、前記トラッキング対象に関する情報に基づいて、前記トラッキング対象が接客を求めているか否かを判定する判定部を更に備え、
前記トラッキング対象が接客を求めていると前記判定部が判定する場合、前記制御情報生成部は前記制御情報を生成する、請求項１に記載の遠隔接客システム。

【請求項3】

前記判定部は、所定の場所における前記トラッキング対象の滞在時間が第１閾値を超えるか否かを判定し、
前記滞在時間が前記第１閾値を超える場合、前記制御情報生成部は前記制御情報を生成する、請求項２に記載の遠隔接客システム。

【請求項4】

前記判定部は、前記トラッキング対象の所定の場所への訪問頻度が第２閾値を超えるか否かを判定し、前記訪問頻度が前記第２閾値を超える場合、前記制御情報生成部は前記制御情報を生成する、請求項２に記載の遠隔接客システム。

【請求項5】

前記接客用端末装置を介して接客を行う操作を前記オペレータから受け付けるオペレータ用端末装置を更に備え、
前記制御装置は、前記オペレータ用端末装置と通信する第１通信部を更に備え、
前記第１通信部は、前記制御情報を前記オペレータ用端末装置に送信する、請求項１から請求項４のいずれか１項に記載の遠隔接客システム。

【請求項6】

前記オペレータ用端末装置は、前記制御装置と通信し、前記制御情報を受信する第２通信部と、
前記制御情報を受信した場合に、前記オペレータに対して接客の開始を促すように報知する報知部と
を備える、請求項５に記載の遠隔接客システム。

【請求項7】

前記オペレータ用端末装置は、前記オペレータからの操作を受け付ける第１操作部を更に備え、
前記第１操作部が前記オペレータから前記操作を受け付けた場合、前記第２通信部は前記トラッキング対象が存在する場所の接客用端末装置と通信する、請求項６に記載の遠隔接客システム。

【請求項8】

前記接客用端末装置は、前記顧客からの操作を受け付ける第２操作部と、第３通信部と、を更に備え、
前記第２操作部が前記顧客から操作を受け付けた場合、前記第３通信部は前記オペレータ用端末装置と通信する、請求項６に記載の遠隔接客システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔接客システムに関する。

【背景技術】

【0002】

近年、インターネットまたは専用回線等の通信回線を介して顧客を遠隔のオペレータが接客するケースが増えており、遠隔接客をスムーズに進行させるための様々な技術が提案されている。例えば、特許文献１には、顧客の端末から商品および商品を使用する予定の地域を受け付けることにより、商品を使用する予定の地域に基づいて対応する販売員を特定し、顧客の端末と販売員の端末との間で通信を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－７６２６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の遠隔接客システムでは、顧客は、顧客の端末から商品および商品を使用する予定の地域を入力することが必要であり、顧客がこれらの情報を入力しないと、販売員は、顧客への接客を開始できない。

【0005】

本発明は、顧客が必要とする際に顧客への接客を開始可能な遠隔接客システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る遠隔接客システムは、店舗に備えられた接客用端末装置を介して、前記店舗に来店した顧客に対して遠隔地に在るオペレータが接客を行う。前記遠隔接客システムは、前記接客用端末装置と、前記店舗の内部を撮像する撮像装置と、制御装置とを備える。前記制御装置は、前記撮像装置の撮像画像に含まれる被写体をトラッキング対象として認識し、前記撮像画像から前記トラッキング対象に関する情報を取得する画像認識部と、前記トラッキング対象に関する情報に基づいて、前記オペレータに対して接客の開始を促す報知を実行する制御情報を生成する制御情報生成部とを備える。

【発明の効果】

【0007】

本発明に係る遠隔接客システムによれば、顧客が必要とする際に顧客への接客を開始できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態の遠隔接客システムの模式図である。

【図2】図２は、本実施形態の遠隔接客システムのブロック図である。

【図3A】図３Ａは、本実施形態の遠隔接客システムの模式図である。

【図3B】図３Ｂは、本実施形態の遠隔接客システムの模式図である。

【図3C】図３Ｃは、本実施形態の遠隔接客システムの模式図である。

【図3D】図３Ｄは、本実施形態の遠隔接客システムの模式図である。

【図3E】図３Ｅは、本実施形態の遠隔接客システムの模式図である。

【図4】図４は、本実施形態の遠隔接客システムにおける制御装置のフローである。

【図5A】図５Ａは、本実施形態の遠隔接客システムの模式図である。

【図5B】図５Ｂは、本実施形態の遠隔接客システムの模式図である。

【図5C】図５Ｃは、本実施形態の遠隔接客システムの模式図である。

【図5D】図５Ｄは、本実施形態の遠隔接客システムの模式図である。

【図5E】図５Ｅは、本実施形態の遠隔接客システムの模式図である。

【図5F】図５Ｆは、本実施形態の遠隔接客システムの模式図である。

【図6】図６は、本実施形態の遠隔接客システムにおいてオペレータ用端末装置の一例を示す模式図である。

【図7】図７は、本実施形態の遠隔接客システムにおいてオペレータ用端末装置の一例を示す模式図である。

【図8】図８は、本実施形態の遠隔接客システムにおいてオペレータ用端末装置の一例を示す模式図である。

【図9】図９は、本実施形態の遠隔接客システムにおいてオペレータ用端末装置の一例を示す模式図である。

【図10】図１０は、本実施形態の遠隔接客システムの模式図である。

【図11A】図１１Ａは、本実施形態の遠隔接客システムの模式図である。

【図11B】図１１Ｂは、本実施形態の遠隔接客システムにおいてオペレータ用端末装置の一例を示す模式図である。

【図12】図１２は、本実施形態の遠隔接客システムのブロック図である。

【図13】図１３は、本実施形態の遠隔接客システムのブロック図である。

【図14】図１４は、本実施形態の遠隔接客システムのブロック図である。

【発明を実施するための形態】

【0009】

以下、図面を参照して、実施形態に係る遠隔接客システム１０について説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

【0010】

まず、図１を参照して、本実施形態における遠隔接客システム１０を説明する。図１は、本実施形態における遠隔接客システム１０の構成を示す模式図である。

【0011】

図１に示すように、遠隔接客システム１０は、店舗Ｓｔにいる顧客Ｃｕに対して、店舗Ｓｔから離れた遠隔地のオペレータＯｐが接客することを可能にするシステムである。例えば、遠隔接客システム１０は、店舗Ｓｔにいる顧客Ｃｕと、店舗Ｓｔから離れた場所にあるコールセンターＣｃのオペレータＯｐとの間での音声、映像および／またはメッセージをやり取りする。

【0012】

遠隔接客システム１０は、接客用端末装置１００と、撮像装置２００と、制御装置３００とを備える。接客用端末装置１００は、店舗Ｓｔに配置される。接客用端末装置１００は、顧客Ｃｕの接客に用いられる。

【0013】

例えば、接客用端末装置１００は、顧客Ｃｕに、店舗Ｓｔ内の商品についての情報を提示する。また、接客用端末装置１００は、顧客Ｃｕに、店舗Ｓｔ自体についての情報を提示する。

【0014】

例えば、接客用端末装置１００は、顧客Ｃｕに音声を出力する。接客用端末装置１００は、オペレータＯｐの音声を出力してもよい。あるいは、接客用端末装置１００は、あらかじめ記憶された所定の音声を出力してもよい。

【0015】

また、接客用端末装置１００は、顧客Ｃｕに映像を表示する。接客用端末装置１００は、オペレータＯｐの映像を表示してもよい。あるいは、接客用端末装置１００は、あらかじめ記憶された所定の映像を表示してもよい。

【0016】

接客用端末装置１００は、本実施形態において、パソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、タブレット端末、又はスマートフォン等の装置であってもよい。また、接客用端末装置１００は、デジタルサイネージであってもよい。

【0017】

撮像装置２００は、店舗Ｓｔの内部を撮像する。撮像装置２００は、店舗Ｓｔ内に配置される。

【0018】

撮像装置２００は、店舗Ｓｔ内を撮像する。撮像装置２００は、撮像に基づいて撮像画像情報を生成する。撮像装置２００は、店舗Ｓｔ内の所定範囲を撮像する。店舗Ｓｔ内の所定範内に顧客Ｃｕが入ると、撮像装置２００は、店舗Ｓｔ内の顧客Ｃｕを撮像する。

【0019】

典型的には、撮像装置２００は、接客用端末装置１００の近くに設置される。また、撮像装置２００は、接客用端末装置１００と連動して動作してもよい。

【0020】

制御装置３００は、店舗ＳｔおよびコールセンターＣｃとは別の場所に配置される。制御装置３００は、店舗Ｓｔ内の顧客Ｃｕに対して対応するオペレータＯｐを割り当てる。例えば、制御装置３００は、いわゆるサーバである。

【0021】

制御装置３００は、撮像装置２００と接続する。撮像装置２００と制御装置３００とは、公衆回線又は専用回線等の通信回線に接続されている。

【0022】

制御装置３００は、撮像装置２００から撮像情報を受信する。制御装置３００は、撮像装置２００から接客用端末装置１００付近を撮像した撮像情報を受信する。

【0023】

遠隔接客システム１０は、オペレータ用端末装置４００をさらに備える。オペレータ用端末装置４００は、コールセンターＣｃに配置される。オペレータ用端末装置４００は、オペレータＯｐに用いられる。オペレータ用端末装置４００は、本実施形態において、パソコン（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ：ＰＣ）、タブレット端末、又はスマートフォン等の装置であってもよい。

【0024】

オペレータＯｐは、オペレータ用端末装置４００を用い、接客用端末装置１００を介して顧客Ｃｕと映像および音声をやり取りすることにより遠隔接客を行う。

【0025】

また、制御装置３００は、オペレータ用端末装置４００と接続する。制御装置３００とオペレータ用端末装置４００とは、公衆回線又は専用回線等の通信回線に接続されている。

【0026】

制御装置３００は、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報をオペレータ用端末装置４００に送信する。また、制御装置３００は、オペレータＯｐによる接客の開始を示す接客開始情報をオペレータ用端末装置４００から受信する。

【0027】

また、制御装置３００は、接客用端末装置１００と接続してもよい。接客用端末装置１００と制御装置３００とは、公衆回線又は専用回線等の通信回線に接続されている。

【0028】

制御装置３００は、接客開始情報に基づいて、接客用端末装置１００とオペレータ用端末装置４００とを接続する。また、制御装置３００は、オペレータ用端末装置４００からの画像、音声およびメッセージを含む接客情報を接客用端末装置１００に送信する。制御装置３００は、接客用端末装置１００および／または撮像装置２００からの画像、音声およびメッセージを含む接客情報をオペレータ用端末装置４００に送信する。

【0029】

本実施形態の遠隔接客システム１０によれば、顧客Ｃｕが必要とする際に顧客Ｃｕへの接客を開始できる。遠隔接客システム１０により、店舗Ｓｔに来店した顧客Ｃｕに対して遠隔地に在るオペレータＯｐが、店舗Ｓｔの顧客Ｃｕに接客できる。

【0030】

なお、接客用端末装置１００の数は、１台に限らず、２台以上であってもよい。以下、遠隔接客システム１０の構成について具体的に説明する。

【0031】

次に、図１および図２を参照して、本実施形態における遠隔接客システム１０を説明する。図２は、本実施形態における遠隔接客システム１０のブロック図である。

【0032】

図２に示すように、遠隔接客システム１０は、接客用端末装置１００と、撮像装置２００と、制御装置３００と、オペレータ用端末装置４００とを備える。制御装置３００は、接客用端末装置１００、撮像装置２００、および、オペレータ用端末装置４００を制御する。

【0033】

接客用端末装置１００は、制御部１０２と、記憶部１０４と、表示部１１０と、操作部１２０と、音声入力部１３０と、音声出力部１４０と、通信部１８０とを備える。制御部１０２は、記憶部１０４、表示部１１０、操作部１２０、音声入力部１３０、音声出力部１４０および通信部１８０を制御する。

【0034】

制御部１０２は、中央処理演算素子（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）を含む。

【0035】

記憶部１０４は、ハードディスク等の不揮発性記憶媒体を含む。記憶部１０４は、遠隔接客のための自端末のＩＰアドレス、ならびに、撮像装置２００、制御装置３００およびオペレータ用端末装置４００のアドレス等のアドレス情報を記憶する。記憶部１０４は、メモリ（読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）およびランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ））を含む。制御部１０２は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0036】

表示部１１０は、画像を表示する。例えば、表示部１１０は、オペレータＯｐ、店舗Ｓｔ内の商品、および／または、店舗Ｓｔに関する画像を表示する。表示部１１０により、顧客Ｃｕは、オペレータＯｐ、店舗Ｓｔ内の商品、および／または、店舗Ｓｔに関する画像を視認できる。

【0037】

表示部１１０は、液晶パネル等の表示パネルと、表示パネルを駆動する駆動回路とを含む（いずれも図示略）。駆動回路は、制御部１０２の制御の下、撮像装置２００で撮像された被写体の映像や、通信部１８０を介して取得された通信相手の映像等を表示するための駆動信号を表示パネルに供給する。表示パネルは、駆動回路から供給される駆動信号に応じた画像を表示する。

【0038】

操作部１２０は、顧客Ｃｕからの操作を受け付ける。操作部１２０は、マウス、キーボード、又はタッチパネル等を含む（いずれも図示略）。例えば、タッチパネルは、表示部１１０に設けられる。操作部１２０は、顧客Ｃｕの操作を受け付け、受け付けた操作を示す操作信号を制御部１０２へ出力する。

【0039】

音声入力部１３０は、店舗Ｓｔ内の音声を受け付ける。例えば、音声入力部１３０は、顧客Ｃｕの音声を受け付けて電気信号に変換する。一例では、音声入力部１３０は、マイクロフォンである。

【0040】

音声入力部１３０は、接客用端末装置１００周辺の音声を集音して電気信号に変換した音声信号を制御部１０２へ出力する。このため、音声入力部１３０は、接客用端末装置１００Ａ周辺の音声を集音できる。

【0041】

音声出力部１４０は、店舗Ｓｔ内に音声を出力する。例えば、音声出力部１４０は、オペレータＯｐの音声を示す音声情報を示す電気信号を音声に変換して出力する。一例では、音声出力部１４０は、スピーカである。

【0042】

音声出力部１４０は、制御部１０２から出力された音声データをＤ／Ａ変換し、増幅して音声を出力する。

【0043】

通信部１８０は、通信回線を介して制御装置３００と通信するための通信インタフェースである。通信部１８０は、制御部１０２の制御の下、リアルタイム トランスポート プロトコル（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ：ＲＴＰ）等の通信プロトコルを用い、制御装置３００との間で通信を確立する。具体的には、通信部１８０は、制御装置３００から受信したデータを制御部１０２へ出力し、制御部１０２から入力されるデータを制御装置３００へ送信する。

【0044】

通信部１８０は、制御装置３００を介してオペレータ用端末装置４００との間でデータを送受信する。なお、通信部１８０は、制御装置３００を介して撮像装置２００との間でデータを送受信してもよい。

【0045】

なお、制御部１０２は、操作部１２０を介した顧客Ｃｕの操作に応じて、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0046】

撮像装置２００は、制御部２０２と、記憶部２０４と、撮像部２１０と、通信部２８０とを備える。制御部２０２は、記憶部２０４、撮像部２１０および通信部２８０を制御する。制御部２０２は、中央処理演算素子（ＣＰＵ）を含む。

【0047】

記憶部２０４は、ハードディスク等の不揮発性記憶媒体を含む。記憶部２０４は、遠隔接客のための自端末のＩＰアドレス、ならびに、接客用端末装置１００、制御装置３００およびオペレータ用端末装置４００のアドレス等のアドレス情報を記憶する。記憶部２０４は、メモリ（ＲＯＭおよびＲＡＭ）を含む。制御部２０２は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0048】

撮像部２１０は、デジタルカメラで構成される。撮像部２１０は、撮像部２１０の画角の範囲に写る被写体を撮像した撮像画像情報を制御部２０２へ出力する。つまり、撮像装置２００は、顧客Ｃｕ等の被写体を撮像する。また、撮像装置２００は、撮影モードとして、通常モードと追従モードとを有する。追従モードは、制御部２０２から指示された被写体部分（トラッキング対象）をフォーカスし、制御部２０２から追従モード終了の指示がなされるまで、トラッキング対象を追従して撮影するモードである。追従モードでは、撮影画像において、トラッキング対象を含む所定領域を囲う画像（以下、トラッキング画像）が重畳される。通常モードは、画角内の被写体を自動的にオートフォーカスして撮影するモードである。

【0049】

通信部２８０は、通信回線を介して制御装置３００と通信するための通信インタフェースである。通信部２８０は、制御部２０２の制御の下、リアルタイム トランスポート プロトコル（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ：ＲＴＰ）等の通信プロトコルを用い、制御装置３００との間で通信を確立する。具体的には、通信部２８０は、制御装置３００から受信したデータを制御部２０２へ出力し、制御部２０２から入力されるデータを制御装置３００へ送信する。

【0050】

通信部２８０は、制御装置３００を介して撮像装置２００との間でデータを送受信する。なお、通信部２８０は、制御装置３００を介してオペレータ用端末装置４００との間でデータを送受信してもよい。

【0051】

なお、制御部２０２は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0052】

制御装置３００は、制御部３０２と、記憶部３０４と、通信部３８０とを備える。制御部３０２は、記憶部３０４および通信部３８０を制御する。制御部３０２は、ＣＰＵを含む。

【0053】

記憶部３０４は、ハードディスク等の不揮発性記憶媒体を含む。記憶部３０４は、遠隔接客のための自端末のＩＰアドレス、ならびに、接客用端末装置１００、撮像装置２００およびオペレータ用端末装置４００のアドレス等のアドレス情報を記憶する。記憶部３０４は、メモリ（ＲＯＭおよびＲＡＭ）を含む。制御部３０２は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0054】

制御部３０２は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。制御部３０２は、ＣＰＵが制御プログラムを実行することにより、撮像装置２００の撮像画像に含まれる被写体をトラッキング対象として認識し、撮像画像からトラッキング対象に関する情報を取得する。また、制御部３０２は、ＣＰＵが制御プログラムを実行することにより、トラッキング対象に関する情報に基づいて、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する。さらに、制御部３０２は、ＣＰＵが制御プログラムを実行することにより、トラッキング対象に関する情報に基づいて、トラッキング対象が接客を求めているか否かを判定する。

【0055】

このように、制御部３０２は、ＣＰＵが制御プログラムを実行することにより、画像認識部３０２ａ、制御情報生成部３０２ｂおよび判定部３０２ｃとして機能し、遠隔接客処理を行う。

【0056】

画像認識部３０２ａは、撮像装置２００の撮像画像に含まれる被写体をトラッキング対象として認識し、撮像画像からトラッキング対象に関する情報を取得する。制御情報生成部３０２ｂは、トラッキング対象に関する情報に基づいて、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する。判定部３０２ｃは、トラッキング対象に関する情報に基づいて、トラッキング対象が接客を求めているか否かを判定する。

【0057】

通信部３８０は、通信回線を介して撮像装置２００と通信するための通信インタフェースである。通信部３８０は、制御部３０２の制御の下、ＲＴＰ等の通信プロトコルを用い、撮像装置２００との間で通信を確立する。具体的には、通信部３８０は、撮像装置２００から受信したデータを制御部３０２へ出力し、制御部３０２から入力されるデータを撮像装置２００へ送信する。

【0058】

通信部３８０は、接客用端末装置１００との間でデータを送受信する。

【0059】

通信部３８０は、オペレータ用端末装置４００との間でデータを送受信する。本明細書において、通信部３８０を第１通信部と記載することがある。

【0060】

なお、制御部３０２は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0061】

オペレータ用端末装置４００は、制御部４０２と、記憶部４０４と、表示部４１０と、操作部４２０と、音声入力部４３０と、音声出力部４４０と、撮像部４５０と、通信部４８０とを備える。制御部４０２は、記憶部４０４、表示部４１０、操作部４２０、音声入力部４３０、音声出力部４４０、撮像部４５０および通信部４８０を制御する。

【0062】

制御部４０２は、中央処理演算素子（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）を含む。

【0063】

記憶部４０４は、ハードディスク等の不揮発性記憶媒体を含む。記憶部４０４は、遠隔接客のための自端末のＩＰアドレス、ならびに、接客用端末装置１００、撮像装置２００および制御装置３００のアドレス等のアドレス情報を記憶する。記憶部４０４は、メモリ（ＲＯＭおよびＲＡＭ）を含む。制御部４０２は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0064】

表示部４１０は、店舗Ｓｔに関する画像を表示する。表示部４１０により、オペレータＯｐは、顧客Ｃｕに関する画像を視認できる。

【0065】

制御情報を受信した場合に、表示部４１０は、オペレータＯｐに対して接客の開始を促すようにメッセージを表示する。表示部４１０は、報知部の一例である。

【0066】

表示部４１０は、液晶パネル等の表示パネルと、表示パネルを駆動する駆動回路とを含む（いずれも図示略）。駆動回路は、制御部４０２の制御の下、撮像装置２００で撮像された被写体の映像や、通信部４８０を介して取得された通信相手の映像等を表示するための駆動信号を表示パネルに供給する。表示パネルは、駆動回路から供給される駆動信号に応じた画像を表示する。

【0067】

操作部４２０は、オペレータＯｐからの操作を受け付ける。操作部４２０は、マウス、キーボード、又はタッチパネル等を含む（いずれも図示略）。タッチパネルは、表示部４１０に設けられる。操作部４２０は、オペレータＯｐの操作を受け付け、オペレータＯｐの操作を示す操作信号を制御部４０２へ出力する。本明細書において、操作部４２０を第１操作部と記載することがある。また、本明細書において、接客用端末装置１００の操作部１２０を第２操作部と記載することがある。

【0068】

音声入力部４３０は、コールセンターＣｃ内の音声を受け付ける。例えば、音声入力部４３０は、オペレータＯｐの音声を受け付けて電気信号に変換する。一例では、音声入力部４３０は、マイクロフォンである。

【0069】

音声入力部４３０は、オペレータ用端末装置４００周辺の音声を集音して電気信号に変換した音声信号を制御部４０２へ出力する。このため、音声入力部４３０は、オペレータ用端末装置４００の周辺の音声を集音できる。

【0070】

音声出力部４４０は、コールセンターＣｃ内に音声を出力する。例えば、音声出力部４４０は、顧客Ｃｕの音声を示す音声情報を示す電気信号を音声に変換して出力する。一例では、音声出力部４４０は、スピーカである。

【0071】

音声出力部４４０は、制御部４０２から出力された音声データをＤ／Ａ変換し、増幅して音声を出力する。

【0072】

制御情報を受信した場合に、音声出力部４４０は、オペレータＯｐに対して接客の開始を促すように音声を出力する。音声出力部４４０は、報知部の一例である。

【0073】

撮像部４５０は、デジタルカメラで構成される。撮像部４５０は、撮像部４５０の画角の範囲に写る被写体を撮像した撮像画像情報を制御部４０２へ出力する。撮像部４５０は、撮像装置２００の撮像部２１０と同様に、トラッキング可能であってもよい。

【0074】

通信部４８０は、通信回線を介して制御装置３００と通信するための通信インタフェースである。通信部４８０は、制御部４０２の制御の下、ＲＴＰ等の通信プロトコルを用い、制御装置３００との間で通信を確立する。具体的には、通信部４８０は、制御装置３００から受信したデータを制御部４０２へ出力し、制御部４０２から入力されるデータを制御装置３００へ送信する。

【0075】

通信部４８０は、制御装置３００を介して接客用端末装置１００との間でデータを送受信する。なお、通信部４８０は、制御装置３００を介して撮像装置２００との間でデータを送受信してもよい。本明細書において、通信部４８０を第２通信部と記載することがある。また、本明細書において、接客用端末装置１００の通信部１８０を第３通信部と記載することがある。

【0076】

なお、制御部４０２は、操作部４２０を介したオペレータＯｐの操作に応じて、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。

【0077】

次に、図１～図３Ｅを参照して、本実施形態の遠隔接客システム１０を説明する。図３Ａ～図３Ｅは、本実施形態の遠隔接客システム１０の模式図である。

【0078】

図３Ａに示すように、撮像装置２００は、店舗Ｓｔ内を撮像する。撮像装置２００は、店舗Ｓｔ内の所定領域を撮像する。典型的には、撮像装置２００は、店舗Ｓｔ内の接客用端末装置１００の近傍を撮像する。撮像装置２００は、店舗Ｓｔ内を撮像した撮像画像情報を生成する。撮像装置２００は、撮像画像を示す撮像画像情報を制御装置３００に送信する。

【0079】

制御装置３００は、撮像画像内の被写体にトラッキング対象がないことを認識する。例えば、画像認識部３０２ａは、撮像画像内の被写体にトラッキング対象がないことを認識する。

【0080】

図３Ｂに示すように、顧客Ｃｕが接客用端末装置１００の近くに来ると、撮像装置２００は、店舗Ｓｔ内の顧客Ｃｕを撮像する。撮像装置２００は、顧客Ｃｕの画像を含む撮像画像を示す撮像画像情報を制御装置３００に送信する。

【0081】

制御装置３００は、撮像画像内に含まれる被写体をトラッキング対象として認識する。例えば、画像認識部３０２ａは、撮像画像内の被写体（顧客Ｃｕ）をトラッキング対象として認識する。

【0082】

図３Ｃに示すように、制御装置３００は、顧客Ｃｕが接客を求めているか否かを判定する。制御装置３００は、顧客Ｃｕが接客を求めていると判定すると、制御装置３００は、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報をオペレータ用端末装置４００に送信する。

【0083】

例えば、判定部３０２ｃは、所定の場所におけるトラッキング対象の滞在時間が第１閾値を超えるか否かを判定する。滞在時間が前記第１閾値を超える場合、制御情報生成部３０２ｂは、制御情報を生成し、オペレータ用端末装置４００に送信する。

【0084】

あるいは、判定部３０２ｃは、トラッキング対象の所定の場所への訪問頻度が第２閾値を超えるか否かを判定する。訪問頻度が第２閾値を超える場合、制御情報生成部３０２ｂは、制御情報を生成し、オペレータ用端末装置４００に送信する。

【0085】

図３Ｄに示すように、オペレータ用端末装置４００は、制御情報に基づいて接客の開始を促す報知を実行する。オペレータＯｐがオペレータ用端末装置４００からの報知に基づいて接客を開始することを希望すると、オペレータ用端末装置４００は、制御装置３００に接客開始情報を送信する。

【0086】

図３Ｅに示すように、オペレータ用端末装置４００は、接客用端末装置１００と通信する。例えば、オペレータ用端末装置４００は、制御装置３００を介して接客用端末装置１００と通信する。あるいは、オペレータ用端末装置４００は、制御装置３００を介さずに接客用端末装置１００と通信してもよい。オペレータＯｐは、オペレータ用端末装置４００を用いて接客用端末装置１００の前の顧客Ｃｕを接客できる。

【0087】

以上のように、本実施形態によれば、顧客Ｃｕが必要とする際にオペレータＯｐが顧客Ｃｕへの接客を開始できる。

【0088】

次に、図１～図４を参照して、本実施形態の遠隔接客システム１０を説明する。図４は、本実施形態の遠隔接客システム１０における制御装置３００のフローである。

【0089】

図４に示すように、ステップＳ１０２において、制御装置３００は、撮像装置２００から撮像画像情報を受信する。撮像装置２００は、撮像画像を示す撮像画像情報を生成し、制御装置３００は、撮像装置２００から撮像画像情報を受信する。

【0090】

ステップＳ１０４において、撮像画像情報に示された撮像画像に含まれる被写体にトラッキング対象が含まれるか否かを判定する。例えば、制御部３０２は、撮像画像にトラッキング対象として人物が含まれるか否かを判定する。あるいは、制御部３０２は、撮像画像にトラッキング対象として特定の人物が含まれるか否かを判定する。

【0091】

撮像画像にトラッキング対象が含まれる場合（ステップＳ１０４においてＹｅｓ）、処理は、ステップＳ１０６に進む。一方、撮像画像にトラッキング対象が含まれない場合（ステップＳ１０４おいてＮｏ）、ステップＳ１０２に戻る。この場合、制御部３０２は、撮像画像にトラッキング対象として被写体（顧客Ｃｕ）が含まれると判定されるまでステップＳ１０２およびステップＳ１０４を繰り返す。

【0092】

ステップＳ１０６において、トラッキング対象に関する情報を取得する。

【0093】

ステップＳ１０８において、トラッキング対象が接客を求めているか否かを判定する。例えば、制御部３０２は、トラッキング対象が接客を求めているか否かを判定する。一例では、判定部３０２ｃは、トラッキング対象に関する情報に基づいて、トラッキング対象が接客を求めているか否かを判定する。

【0094】

トラッキング対象が接客を求めていると判定された場合（ステップＳ１０８においてＹｅｓ）、処理は、ステップＳ１１０に進む。一方、トラッキング対象が接客を求めていないと判定された場合（ステップＳ１０８おいてＮｏ）、ステップＳ１０２に戻る。この場合、制御部３０２は、トラッキング対象が接客を求めていると判定されるまでステップＳ１０２～ステップＳ１０８を繰り返す。

【0095】

ステップＳ１１０において、制御装置３００は、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する。また、制御装置３００は、オペレータ用端末装置４００に制御情報を送信する。例えば、制御部３０２は、制御情報を生成して、オペレータ用端末装置４００に制御情報を送信する。

【0096】

この場合、オペレータ用端末装置４００は、オペレータＯｐに対して接客の開始を促す報知を実行する。例えば、オペレータ用端末装置４００において、表示部４１０が、接客の開始を促すメッセージを表示する。あるいは、オペレータ用端末装置４００において、音声出力部４４０が、接客の開始を促す音声を出力する。

【0097】

ステップＳ１１２において、制御装置３００は、オペレータ用端末装置４００から接客の開始を示す接客開始情報を受信する。オペレータ用端末装置４００は、接客開始情報を生成し、制御装置３００は、オペレータ用端末装置４００から接客開始情報を受信する。

【0098】

典型的には、オペレータ用端末装置４００において、操作部４２０が、オペレータＯｐから接客の開始を許可する操作を受け付けると、通信部４８０は、制御装置３００に接客開始情報を送信する。

【0099】

ステップＳ１１４において、制御装置３００は、オペレータ用端末装置４００と接客用端末装置１００とを接続する。制御部３０２は、オペレータ用端末装置４００のオペレータＯｐが接客用端末装置１００の顧客Ｃｕに接客できるようにオペレータ用端末装置４００と接客用端末装置１００とを接続する。

【0100】

ステップＳ１１６において、制御装置３００は、オペレータＯｐによる顧客Ｃｕの接客を開始する。制御部３０２は、オペレータ用端末装置４００と接客用端末装置１００とを接続し続ける。

【0101】

ステップＳ１１８において接客が完了した否かを判定する。例えば、制御部３０２は、撮像画像のトラッキング対象が画角内にいるか否かを判定する。

【0102】

ステップＳ１１８において接客が完了したと判定された場合（ステップＳ１１８においてＹｅｓ）、処理は、ステップＳ１２０に進む。一方、ステップＳ１１８において接客が完了していないと判定された場合（ステップＳ１１８おいてＮｏ）、ステップＳ１１８に戻る。この場合、制御部３０２は、接客が完了したと判定されるまでステップＳ１１８を繰り返す。

【0103】

ステップＳ１２０において撮影情報の受信が完了した否かを判定する。例えば、制御部３０２は、撮影情報の受信が完了したか否かを判定する。典型的には、撮像装置２００がオフになった場合、制御部３０２は、撮影情報の受信が完了したと判定する。

【0104】

ステップＳ１２０において撮影情報の受信が完了したと判定された場合（ステップＳ１２０においてＹｅｓ）、処理は、終了する。一方、ステップＳ１２０において撮影情報の受信が完了していないと判定された場合（ステップＳ１２０おいてＮｏ）、ステップＳ１０２に戻る。この場合、制御部３０２は、撮影情報の受信が完了したと判定されるまでステップＳ１０２～ステップＳ１２０を繰り返す。

【0105】

本実施形態によれば、以上のようにして、顧客Ｃｕが必要とする際に顧客Ｃｕへの接客を開始できる。

【0106】

次に、図１～図５Ｆを参照して、本実施形態の遠隔接客システム１０を説明する。図５Ａ～図５Ｆは、本実施形態の遠隔接客システム１０の模式図である。

【0107】

図５Ａに示すように、撮像装置２００は、店舗Ｓｔ内を撮像する。撮像装置２００は、店舗Ｓｔ内の接客用端末装置１００の近傍を撮像する。典型的には、撮像装置２００は、店舗Ｓｔ内の所定領域を撮像する。撮像装置２００は、接客用端末装置１００の近傍を撮像した撮像画像情報を生成する。撮像装置２００は、撮像画像情報を制御装置３００に送信する。

【0108】

制御装置３００は、撮像画像情報内の被写体としてトラッキング対象が存在するか否かを判定する。

【0109】

図５Ｂに示すように、顧客Ｃｕが接客用端末装置１００の近くに来ると、撮像装置２００は、店舗Ｓｔ内の顧客Ｃｕを撮像する。撮像装置２００は、顧客Ｃｕの画像を含む撮像画像を示す撮像画像情報を制御装置３００に送信する。制御装置３００は、顧客Ｃｕをトラッキング対象として認識する。

【0110】

図５Ｃに示すように、制御装置３００は、顧客Ｃｕが接客を求めているか否かを判定する。制御装置３００は、トラッキング対象として顧客Ｃｕが接客を求めていると判定すると、制御装置３００は、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報をオペレータ用端末装置４００に送信する。

【0111】

例えば、撮像画像情報に示された撮像画像内に顧客Ｃｕが所定期間存在する場合、制御装置３００は、顧客Ｃｕが接客を求めていると判定する。一例では、撮像画像情報に示された撮像画像内に顧客Ｃｕが１０秒以上１０分以下の所定の期間にわたって存在する場合、制御装置３００は、顧客Ｃｕが接客を求めていると判定する。

【0112】

あるいは、撮像画像情報に示された撮像画像内に顧客Ｃｕが複数回表れる場合、制御装置３００は、顧客Ｃｕが接客を求めていると判定する。一例では、撮像画像情報に示された撮像画像内に顧客Ｃｕが１時間に３回現れた場合、制御装置３００は、顧客Ｃｕが接客を求めていると判定する。

【0113】

制御装置３００は、トラッキング対象として顧客Ｃｕが接客を求めていると判定すると、制御装置３００は、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報をオペレータ用端末装置４００に送信する。

【0114】

図５Ｄに示すように、オペレータ用端末装置４００は、制御情報に基づいて接客の開始を促す報知を実行する。例えば、オペレータ用端末装置４００は、オペレータＯｐに、接客を開始すべき顧客Ｃｕが存在することを報知する。一例では、オペレータ用端末装置４００において、音声出力部４４０は、オペレータＯｐに、接客を開始すべき顧客Ｃｕが存在する旨の音声を出力する。

【0115】

図５Ｆに示すように、オペレータＯｐがオペレータ用端末装置４００から接客を開始することを希望すると、制御装置３００は、オペレータ用端末装置４００から接客開始情報を受信する。例えば、オペレータＯｐがオペレータ用端末装置４００において操作部４２０を操作して接客の開始を希望すると、オペレータ用端末装置４００は、制御装置３００に接客開始情報を送信する。

【0116】

図５Ｆに示すように、制御装置３００は接客開始情報に基づいて、オペレータ用端末装置４００と接客用端末装置１００とを接続する。例えば、オペレータ用端末装置４００は、制御装置３００を介して接客用端末装置１００と通信する。オペレータＯｐは、オペレータ用端末装置４００を用いて接客用端末装置１００の前の顧客Ｃｕを接客できる。

【0117】

以上のように、本実施形態によれば、顧客Ｃｕが必要とする際にオペレータＯｐが顧客Ｃｕへの接客を開始できる。

【0118】

次に、図１～図６を参照して、本実施形態の遠隔接客システム１０を説明する。図６は、本実施形態の遠隔接客システム１０においてオペレータ用端末装置４００の一例を示す模式図である。

【0119】

図６に示すように、オペレータ用端末装置４００は、撮像装置２００において撮像された撮像画像情報を表示してもよい。例えば、撮像装置２００が顧客Ｃｕを撮像する場合、オペレータ用端末装置４００は、撮像装置２００において撮像された顧客Ｃｕを表示してもよい。

【0120】

なお、オペレータ用端末装置４００は、制御情報を受信した後で、顧客Ｃｕを表示してもよい。この場合、オペレータ用端末装置４００は制御情報を受信したことにより、オペレータＯｐは、顧客Ｃｕを視認できる。

【0121】

あるいは、オペレータ用端末装置４００は、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を受信する前に顧客Ｃｕを表示してもよい。この場合、オペレータ用端末装置４００は、顧客Ｃｕを表示した状態で制御情報を受信すると、顧客Ｃｕに対して接客の開始をするようにオペレータＯｐに対して報知する。

【0122】

例えば、図７に示すように、オペレータ用端末装置４００は、顧客Ｃｕを表示した状態で制御情報を受信すると、顧客Ｃｕが所定時間以上滞在していることを示すメッセージを表示してもよい。

【0123】

または、図８に示すように、オペレータ用端末装置４００は、顧客Ｃｕを含む撮像画像を複数回受信したことを示す制御情報を受信すると、顧客Ｃｕを所定回数トラッキングしたことを示すメッセージを表示してもよい。

【0124】

なお、上述した説明では、接客用端末装置１００は、オペレータ用端末装置４００を用いるオペレータＯｐを表示し、オペレータ用端末装置４００のオペレータＯｐは、接客用端末装置１００の前の顧客Ｃｕに対して接客を開始したが、本実施形態はこれに限定されない。オペレータ用端末装置４００のオペレータＯｐは、接客用端末装置１００の前の顧客Ｃｕからの動作に基づいて接客を開始してもよい。例えば、オペレータ用端末装置４００が接客開始情報を送信すると、接客用端末装置１００は顧客Ｃｕからの接客を要望する動作を受け付けてもよい。

【0125】

例えば、図９に示すように、オペレータ用端末装置４００が接客開始情報を送信すると、接客用端末装置１００は、顧客ＣｕがオペレータＯｐによる接客を要望するか否かを確認するメッセージを表示する。顧客Ｃｕが接客用端末装置１００の操作部１２０を操作すると、オペレータＯｐは、接客用端末装置１００の前の顧客Ｃｕに対して接客を開始できる。

【0126】

なお、上述した説明では、発明が過度に複雑になることを避ける目的で、制御装置３００が、１つの接客用端末装置１００、１つの撮像装置２００、および、１つのオペレータ用端末装置４００を接続したが、本実施形態はこれに限定されない。制御装置３００は、複数の接客用端末装置１００、複数の撮像装置２００、および、複数のオペレータ用端末装置４００を接続してもよい。

【0127】

次に、図１～図１０を参照して、本実施形態の遠隔接客システム１０を説明する。図１０は、本実施形態の遠隔接客システム１０においてオペレータ用端末装置４００の一例を示す模式図である。

【0128】

図１０に示すように、遠隔接客システム１０は、複数の接客用端末装置１００と、複数の撮像装置２００と、制御装置３００と、複数のオペレータ用端末装置４００とを備える。ここで、接客用端末装置１００は、接客用端末装置１００Ａ、接客用端末装置１００Ｂおよび接客用端末装置１００Ｃを含み、撮像装置２００は、撮像装置２００Ａ、撮像装置２００Ｂおよび撮像装置２００Ｃを含む。また、オペレータ用端末装置４００は、オペレータ用端末装置４００Ａ、オペレータ用端末装置４００Ｂおよびオペレータ用端末装置４００Ｃを含む。撮像装置２００Ａは、ある場所の顧客Ｃｕ等の被写体を撮像し、撮像装置２００Ｂは、別の場所の顧客Ｃｕ等の被写体を撮像する。

【0129】

例えば、オペレータ用端末装置４００Ａ、オペレータ用端末装置４００Ｂおよびオペレータ用端末装置４００Ｃは、１人のオペレータＯｐによって操作されてもよい。

【0130】

撮像装置２００Ａが、接客用端末装置１００Ａ近傍の顧客Ｃｕを撮像する場合、制御装置３００は、オペレータ用端末装置４００Ａに制御情報を送信する。また、撮像装置２００Ｂが、接客用端末装置１００Ｂ近傍の顧客Ｃｕを撮像する場合、制御装置３００は、オペレータ用端末装置４００Ｂに制御情報を送信する。同様に、撮像装置２００Ｃが、接客用端末装置１００Ｃ近傍の顧客Ｃｕを撮像する場合、制御装置３００は、オペレータ用端末装置４００Ｃに制御情報を送信する。このように、制御装置３００は、撮像装置２００に応じて、オペレータ用端末装置４００に制御情報を送信するため、オペレータＯｐは、店舗Ｓｔ内のどの場所の顧客Ｃｕが接客を求めているか把握できる。

【0131】

次に、図１～図１１Ｂを参照して、本実施形態の遠隔接客システム１０を説明する。図１１Ａは、本実施形態の遠隔接客システム１０の模式図である。図１１Ｂは、本実施形態の遠隔接客システム１０においてオペレータ用端末装置４００の一例を示す模式図である。

【0132】

図１１Ａに示すように、遠隔接客システム１０は、接客用端末装置１００Ａ～１００Ｄと、撮像装置２００Ａ～２００Ｄと、制御装置３００と、オペレータ用端末装置４００とを備える。制御装置３００は、接客用端末装置１００Ａ～１００Ｄ、撮像装置２００Ａ～２００Ｄ、および、オペレータ用端末装置４００を制御する。

【0133】

撮像装置２００Ａは、接客用端末装置１００Ａの近傍を撮像する。同様に、撮像装置２００Ｂ～２００Ｄは、接客用端末装置１００Ｂ～１００Ｄの近傍をそれぞれ撮像する。

【0134】

図１１Ｂに示すように、オペレータ用端末装置４００において、表示部４１０は、店舗Ｓｔ内の所定の領域を表示する。表示部４１０は、撮像装置２００Ａによって撮像された撮像画像を領域４１０ａに表示する。同様に、表示部４１０は、撮像装置２００～２００Ｄによって撮像された撮像画像を領域４１０ｂ～４１０ｄに表示する。

【0135】

また、表示部４１０は、店舗Ｓｔ内の接客用端末装置１００Ａ～１００Ｄおよび撮像装置２００Ａ～２００Ｄの配置位置を示すフロアマップを領域４１０ｆに表示する。

【0136】

接客用端末装置１００Ａおよび接客用端末装置１００Ｂは、店舗Ｓｔ内の棚Ｓｈａと棚Ｓｈｂとの間に位置し、接客用端末装置１００Ｃおよび接客用端末装置１００Ｄは、店舗Ｓｔ内の棚Ｓｈｂと棚Ｓｈｃとの間に位置する。

【0137】

なお、図１～図１１Ｂを参照した上述の説明では、撮像装置２００は、接客用端末装置１００から離れて配置されていたが、本実施形態はこれに限定されない。撮像装置２００は、接客用端末装置１００に隣接して配置されてもよい。あるいは、撮像装置２００は、接客用端末装置１００に組み込まれてもよい。

【0138】

次に、図１～図１２を参照して、本実施形態の遠隔接客システム１０を説明する。図１２は、本実施形態の遠隔接客システム１０のブロック図である。図１２の遠隔接客システム１０は、撮像装置２００が接客用端末装置１００に組み込まれている点を除いて、図２に示した遠隔接客システム１０と同様の構成を有しており、冗長を避ける目的で重複する説明を省略する。

【0139】

図１２に示すように、遠隔接客システム１０は、接客用端末装置１００と、撮像装置２００と、制御装置３００と、オペレータ用端末装置４００とを備える。接客用端末装置１００は、店舗Ｓｔに配置される。接客用端末装置１００は、顧客Ｃｕの接客に用いられる。

【0140】

撮像装置２００は、店舗Ｓｔの内部を撮像する。撮像装置２００は、店舗Ｓｔ内に配置される。

【0141】

接客用端末装置１００は、制御部１０２と、記憶部１０４と、表示部１１０と、操作部１２０と、音声入力部１３０と、音声出力部１４０と、通信部１８０とを備える。ここでは、撮像装置２００は、接客用端末装置１００に組み込まれる。制御部１０２は、記憶部１０４、表示部１１０、操作部１２０、音声入力部１３０、音声出力部１４０および通信部１８０にくわえて撮像装置２００を制御する。

【0142】

通信部１８０は、通信回線を介して制御装置３００と通信するための通信インタフェースである。通信部１８０は、制御部１０２の制御の下、リアルタイム トランスポート プロトコル（Ｒｅａｌ－ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ：ＲＴＰ）等の通信プロトコルを用い、制御装置３００との間で通信を確立する。具体的には、通信部１８０は、撮像装置２００から受信した撮像画像情報を制御装置３００に送信する。

【0143】

なお、図１２を参照した上述の説明では、撮像装置２００は、接客用端末装置１００に組み込まれていたが、本実施形態はこれに限定されない。制御装置３００が、接客用端末装置１００に組み込まれてもよい。

【0144】

次に、図１～図１３を参照して、本実施形態の遠隔接客システム１０を説明する。図１３は、本実施形態の遠隔接客システム１０のブロック図である。図１３の遠隔接客システム１０は、制御装置３００が接客用端末装置１００に組み込まれている点を除いて、図２に示した遠隔接客システム１０と同様の構成を有しており、冗長を避ける目的で重複する説明を省略する。

【0145】

図１３に示すように、遠隔接客システム１０は、接客用端末装置１００と、撮像装置２００と、制御装置３００と、オペレータ用端末装置４００とを備える。接客用端末装置１００は、店舗Ｓｔに配置される。接客用端末装置１００は、顧客Ｃｕの接客に用いられる。

【0146】

撮像装置２００は、店舗Ｓｔの内部を撮像する。撮像装置２００は、店舗Ｓｔ内に配置される。

【0147】

接客用端末装置１００は、制御部１０２と、記憶部１０４と、表示部１１０と、操作部１２０と、音声入力部１３０と、音声出力部１４０と、通信部１８０とを備える。ここでは、制御装置３００は、制御部１０２に組み込まれる。制御装置３００は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。制御装置３００は、ＣＰＵが制御プログラムを実行することにより、撮像装置２００の撮像画像に含まれる被写体をトラッキング対象として認識し、撮像画像からトラッキング対象に関する情報を取得する。また、制御装置３００は、ＣＰＵが制御プログラムを実行することにより、トラッキング対象に関する情報に基づいて、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する。さらに、制御装置３００は、ＣＰＵが制御プログラムを実行することにより、トラッキング対象に関する情報に基づいて、トラッキング対象が接客を求めているか否かを判定する。

【0148】

このように、制御装置３００は、ＣＰＵが制御プログラムを実行することにより、画像認識部３０２ａ、制御情報生成部３０２ｂおよび判定部３０２ｃとして機能し、遠隔接客処理を行う。

【0149】

画像認識部３０２ａは、撮像装置２００の撮像画像に含まれる被写体をトラッキング対象として認識し、撮像画像からトラッキング対象に関する情報を取得する。制御情報生成部３０２ｂは、トラッキング対象に関する情報に基づいて、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する。判定部３０２ｃは、トラッキング対象に関する情報に基づいて、トラッキング対象が接客を求めているか否かを判定する。

【0150】

なお、図１３を参照した上述の説明では、制御装置３００は、接客用端末装置１００に組み込まれていたが、本実施形態はこれに限定されない。制御装置３００は、オペレータ用端末装置４００に組み込まれてもよい。

【0151】

次に、図１～図１４を参照して、本実施形態の遠隔接客システム１０を説明する。図１４は、本実施形態の遠隔接客システム１０のブロック図である。図１４の遠隔接客システム１０は、制御装置３００がオペレータ用端末装置４００に組み込まれている点を除いて、図２に示した遠隔接客システム１０と同様の構成を有しており、冗長を避ける目的で重複する説明を省略する。

【0152】

図１４に示すように、遠隔接客システム１０は、接客用端末装置１００と、撮像装置２００と、制御装置３００と、オペレータ用端末装置４００とを備える。接客用端末装置１００は、店舗Ｓｔに配置される。接客用端末装置１００は、顧客Ｃｕの接客に用いられる。

【0153】

撮像装置２００は、店舗Ｓｔの内部を撮像する。撮像装置２００は、店舗Ｓｔ内に配置される。

【0154】

オペレータ用端末装置４００は、制御部４０２と、記憶部４０４と、表示部４１０と、操作部４２０と、音声入力部４３０と、音声出力部４４０と、通信部４８０とを備える。ここでは、制御装置３００は、制御部４０２に組み込まれる。制御装置３００は、ＣＰＵがＲＯＭに記憶された遠隔接客アプリケーションの制御プログラムを実行する。制御装置３００は、ＣＰＵが制御プログラムを実行することにより、撮像装置２００の撮像画像に含まれる被写体をトラッキング対象として認識し、撮像画像からトラッキング対象に関する情報を取得する。また、制御装置３００は、ＣＰＵが制御プログラムを実行することにより、トラッキング対象に関する情報に基づいて、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する。さらに、制御装置３００は、ＣＰＵが制御プログラムを実行することにより、トラッキング対象に関する情報に基づいて、トラッキング対象が接客を求めているか否かを判定する。

【0155】

このように、制御装置３００は、ＣＰＵが制御プログラムを実行することにより、画像認識部３０２ａ、制御情報生成部３０２ｂおよび判定部３０２ｃとして機能し、遠隔接客処理を行う。

【0156】

画像認識部３０２ａは、撮像装置２００の撮像画像に含まれる被写体をトラッキング対象として認識し、撮像画像からトラッキング対象に関する情報を取得する。制御情報生成部３０２ｂは、トラッキング対象に関する情報に基づいて、オペレータＯｐに対して接客の開始を促す報知を実行する制御情報を生成する。判定部３０２ｃは、トラッキング対象に関する情報に基づいて、トラッキング対象が接客を求めているか否かを判定する。

【0157】

以上、本発明に係る実施形態について説明した。但し、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。図面は、理解しやすくするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚み、長さ、個数等は、図面作成の都合上から実際とは異なる。また、上記の実施形態で示す各構成要素の形状、寸法等は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能である。

【産業上の利用可能性】

【0158】

本発明は、遠隔接客に利用可能である。

【符号の説明】

【0159】

１０ 遠隔接客システム
１００ 接客用端末装置
１０２ 制御部
１０４ 記憶部
１１０ 表示部
１２０ 操作部
１３０ 音声入力部
１４０ 音声出力部
１８０ 通信部
２００ 撮像装置
２０２ 制御部
２０４ 記憶部
３００ 制御装置
３０２ 制御部
３０２ａ 画像認識部
３０２ｂ 制御情報生成部
３０２ｃ 判定部
３０４ 記憶部
３８０ 通信部
３００ 制御装置
４００ オペレータ用端末装置
４０２ 制御部
４０４ 記憶部
４１０ 表示部
４２０ 操作部
４３０ 音声入力部
４４０ 音声出力部
４５０ 撮像部
４８０ 通信部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11A】

【図11B】

【図12】

【図13】

【図14】