(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-11-13
(45)【発行日】2024-11-21
(54)【発明の名称】遠隔接客システム、遠隔接客方法、および遠隔接客プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20241114BHJP
【FI】
G06Q50/10
(21)【出願番号】P 2024088426
(22)【出願日】2024-05-30
【審査請求日】2024-06-04
【早期審査対象出願】
(73)【特許権者】
【識別番号】519384415
【氏名又は名称】タイムリープ株式会社
(73)【特許権者】
【識別番号】515029558
【氏名又は名称】セーフィー株式会社
(74)【代理人】
【識別番号】100190414
【氏名又は名称】芹澤 友之
(72)【発明者】
【氏名】井本 賢
(72)【発明者】
【氏名】郷 直美
【審査官】佐藤 光起
(56)【参考文献】
【文献】特開2006-140652(JP,A)
【文献】特開2012-039468(JP,A)
【文献】特開2013-051678(JP,A)
【文献】特開2020-074506(JP,A)
【文献】特開2015-103104(JP,A)
【文献】特開2021-153294(JP,A)
【文献】国際公開第2008/072374(WO,A1)
【文献】特開2019-010909(JP,A)
【文献】特開平11-164288(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00
(57)【特許請求の範囲】
【請求項1】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させ、
前記情報端末に対する入力操作に応じて、前
記第2映
像のうち何れかが指定された場合に、
前記第1映像とともに、前記指定され
た第2映像を拡大表示した状態で、前記情報端末に表示させる
、
遠隔接客システム。
【請求項2】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された複数の遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数の遠隔接客装置により撮影された複数の第1映像を、前記情報端末に表示させ、
前記情報端末に対する入力操作に応じて、前記複数の遠隔接客装置のうち第1遠隔接客装置
の指定
を受け付け、
前記複数のカメラのうち前記第1遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記第1遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させる
、
遠隔接客システム。
【請求項3】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記カメラの識別情報に基づいて、
前記複数のカメラのうち前記遠隔接客装置に関連付けられ
た少なくとも一つのカメラを特定
し、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させる、
遠隔接客システム。
【請求項4】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
ユーザの指示に応じて、前記カメラと前記遠隔接客装置との間との対応関係を示す情報を登録し、
前記対応関係を示す情報に基づいて、
前記複数のカメラのうち前記遠隔接客装置に関連付けられ
た少なくとも一つのカメラを特定
し、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させる、
遠隔接客システム。
【請求項5】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記第2映像を解析することにより、
前記複数のカメラのうち前記遠隔接客装置に関連付けられ
た少なくとも一つのカメラを特定
し、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させる、
遠隔接客システム。
【請求項6】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させ、
前記第2映像に示された前記遠隔接客装置を強調表示させる
、
遠隔接客システム。
【請求項7】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させ、
前記第2映像において所定のイベントが発生したことに応じて、前記所定のイベントが発生した第2映像に対応する第1映像を強調表示させる
、
遠隔接客システム。
【請求項8】
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させ、
前記第2映像において所定のイベントが発生したことに応じて、前記所定のイベントが発生した第2映像に対応する第1映像
上に当該第2映像をワイプ映像として重畳表示させる、
遠隔接客システム。
【請求項9】
前記遠隔接客装置に関連付けられたカメラとして複数のカメラが特定された場合に、
前記第1映像とともに、前記特定された複数のカメラにより撮影された複数の第2映像のサムネイルを、前記情報端末に表示させる、
請求項1乃至8の何れか一項に記載の遠隔接客システム。
【請求項10】
前記遠隔接客装置及び前記情報端末に通信可能な第1サーバと、
前記複数のカメラ及び前記第1サーバに通信可能な第2サーバと、
に接続され、
前記第1映像は、前記遠隔接客装置から前記第1サーバを介して前記情報端末に提供され、
前記第2映像は、前記カメラから前記第2サーバ及び前記第1サーバを介して前記情報端末に提供される、
請求項1乃至8の何れか一項に記載の遠隔接客システム。
【請求項11】
ユーザの指示に応じて、前記遠隔接客装置の存在領域を特定し、
前記遠隔接客装置の存在領域を強調表示させる、
請求項6に記載の遠隔接客システム。
【請求項12】
前記第2映像を解析することにより、前記遠隔接客装置の存在領域を特定し、
前記遠隔接客装置の存在領域を強調表示させる、
請求項6に記載の遠隔接客システム。
【請求項13】
前記第2映像に示された前記遠隔接客装置の周辺に存在する人を強調表示させる、
請求項1乃至8の何れか一項に記載の遠隔接客システム。
【請求項14】
ユーザの指示に応じて、前記遠隔接客装置の周辺領域を特定し、
前記周辺領域に存在する人を強調表示させる、
請求項13に記載の遠隔接客システム。
【請求項15】
前記第2映像を解析することにより、前記遠隔接客装置の周辺領域に存在する人を検出し、
前記周辺領域に存在する人を強調表示させる、
請求項13に記載の遠隔接客システム。
【請求項16】
前記第2映像において所定のイベントが発生したことに応じて、前記情報端末において所定の表示処理を実行する、
請求項1乃至8の何れか一項に記載の遠隔接客システム。
【請求項17】
前記所定のイベントは、前記第2映像の注目領域において存在する人の人数および滞在時間のうちの少なくとも一つに関連する判定条件が満たされたことである、
請求項16に記載の遠隔接客システム。
【請求項18】
前記所定の表示処理は、前記所定のイベントが発生した第2映像を強調表示させることである、
請求項16に記載の遠隔接客システム。
【請求項19】
前記情報端末は、前記オペレータを示す第3映像を撮影するように構成され、
前記遠隔接客システムは、前記情報端末により撮影された前記第3映像を前記遠隔接客装置に表示させる、
請求項1乃至8の何れか一項に記載の遠隔接客システム。
【請求項20】
遠隔接客システムによって実行される遠隔接客方法であって、
前記遠隔接客システムは、
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された複数の遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行い、
前記遠隔接客方法は、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定するステップと、
前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させるステップと、
前記情報端末に対する入力操作に応じて、前記第2映像のうち何れかが指定された場合に、
前記第1映像とともに、前記指定された第2映像を拡大表示した状態で、前記情報端末に表示させるステップと、
を含む、
遠隔接客方法。
【請求項21】
遠隔接客システムによって実行される遠隔接客方法であって、
前記遠隔接客システムは、
遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された複数の遠隔接客装置と、
所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行い、
前記遠隔接客方法は、
前記複数の遠隔接客装置により撮影された複数の第1映像を、前記情報端末に表示させるステップと、
前記情報端末に対する入力操作に応じて、前記複数の遠隔接客装置のうち第1遠隔接客装置の指定を受け付けるステップと、
前記複数のカメラのうち前記第1遠隔接客装置に関連付けられた少なくとも一つのカメラを特定するステップと、
前記第1遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させるステップと、
を含む、
遠隔接客方法。
【請求項22】
請求項
20又は21に記載の遠隔接客方法を遠隔接客システムに実行させる遠隔接客プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、遠隔接客システム、遠隔接客方法、および遠隔接客プログラムに関する。
【背景技術】
【0002】
コロナ禍の影響も相俟って社会全体の大部分においてデジタルトランスフォーメーション(DX)化が加速度的に現在進んできている。特に、人手不足による影響が大きい接客サービス業においてもDX化が進んでおり、生産性の向上と人手不足の解消の観点より遠隔接客システムの導入が現在脚光を浴びている。
【0003】
この点において、特許文献1では、店舗に配置された店舗端末と、オペレータ端末と、管理装置とを備えた遠隔接客システムが開示されている。特許文献1に開示された遠隔接客システムでは、オペレータ端末に表示された待機画面上に、複数の店舗に配置された複数の店舗端末により撮影された映像のサムネイルが並んで表示される。複数の映像のサムネイルの一つがオペレータによって指定された場合に、指定されたサムネイルの映像を撮影する店舗端末とオペレータ端末が通信可能に接続される。その後、オペレータ端末により撮影されたオペレータを示す映像が店舗端末に表示されると共に、店舗端末により撮影された客を示す映像がオペレータ端末に表示される。このように、オペレータは、オペレータ端末と店舗端末を通じて、物理的に店舗から離れた地点から店舗内にいる客に対して遠隔接客を行うことが可能となる。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に開示された遠隔接客システムは、少人数のオペレータによって多くの店舗における遠隔接客を行うことができることから、接客業における生産性の向上や人手不足の解消に大きく貢献するものである。その一方で、当該遠隔接客システムを用いた遠隔接客は通常の対面接客と比べた欠点も存在する。特に、店舗端末により撮影された映像では、店舗端末のカメラの視野内に存在する客を認識できる一方で、店舗端末のカメラの視野外に存在する客を認識することができない。このため、オペレータは、店舗端末を通じて俯瞰的な店舗状況を十分に把握することができない故に、店舗端末の周辺の店舗状況を考慮した遠隔接客を行うことができない。さらに、オペレータは、遠隔での接客を受けたい視野外の客の存在に気が付かないため、視野外にいる客に対する遠隔接客の機会を見逃してしまう。このように、上記観点より遠隔接客システムを更に改善する余地がある。
【0006】
本開示は、上記観点に鑑み、遠隔接客の質を向上させることが可能な遠隔接客システム、遠隔接客方法、および遠隔接客プログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示の一態様に係る遠隔接客システムは、遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、遠隔接客を行うオペレータにより操作される情報端末と、により遠隔接客を行う遠隔接客システムである。前記遠隔接客システムは、前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させる。
【0008】
上記構成によれば、オペレータは、情報端末に表示された第1映像と第2映像の両方を確認することで、遠隔接客装置の周辺の状況を考慮した遠隔接客を提供することが可能となる。この点において、オペレータは、カメラにより撮影された第2映像を通じて遠隔接客装置の周辺における状況を確認することができる。一方、従来の遠隔接客システムでは、遠隔接客装置により撮影された第1映像のみが情報端末上に表示されるため、オペレータは遠隔接客装置の前方の一部領域しか確認することができなかった。このため、オペレータは、情報端末を通じて俯瞰的な状況を十分に把握することができなかった。本開示に係る遠隔接客システムによれば、第1映像及び第2映像の両方を通じて、遠隔接客装置の周辺の俯瞰的な状況を考慮した遠隔接客を提供することが可能となる。したがって、遠隔接客の質を向上させることが可能な遠隔接客システムが提供することができる。
【0009】
また、前記遠隔接客装置に関連付けられたカメラとして複数のカメラが特定された場合に、前記遠隔接客システムは、前記第1映像とともに、前記特定された複数のカメラにより撮影された複数の第2映像のサムネイルを、前記情報端末に表示させてもよい。
【0010】
上記構成によれば、情報端末に表示された第1映像と第2映像を通じて、遠隔接客装置の周辺の俯瞰的な状況を考慮した遠隔接客を提供することが可能となる。
【0011】
また、前記遠隔接客システムは、前記情報端末に対する入力操作に応じて、前記複数の第2映像のサムネイルのうち何れかが指定された場合に、前記第1映像とともに、前記指定されたサムネイルに対応する第2映像を拡大表示した状態で、前記情報端末に表示させてもよい。
【0012】
上記構成によれば、オペレータは、拡大表示された第2映像を通じて、遠隔接客装置の周辺の俯瞰的な状況を詳細に確認することができる。
【0013】
また、前記遠隔接客システムは、複数の遠隔接客装置を含んでもよい。前記遠隔接客システムは、前記複数の遠隔接客装置により撮影された複数の第1映像を、前記情報端末に表示させ、前記情報端末に対する入力操作に応じて、前記複数の遠隔接客装置のうち第1遠隔接客装置が指定された場合に、前記第1遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、前記第1遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させてもよい。
【0014】
上記構成によれば、入力操作によって複数の遠隔接客装置から第1遠隔接客装置が指定された場合に、オペレータは、第1遠隔接客装置の周辺の俯瞰的な状況を考慮した上で、第1遠隔接客装置を通じて遠隔接客を提供することが可能となる。したがって、情報端末と第1遠隔接客装置とを通じて実行される遠隔接客の質を向上させることができる。
【0015】
また、前記遠隔接客システムは、前記遠隔接客装置及び前記情報端末に通信可能な第1サーバと、前記複数のカメラ及び前記第1サーバに通信可能な第2サーバと、に接続されてもよい。前記第1映像は、前記遠隔接客装置から前記第1サーバを介して前記情報端末に提供されてもよい。前記第2映像は、前記カメラから前記第2サーバ及び前記第1サーバを介して前記情報端末に提供されてもよい。
【0016】
また、前記遠隔接客システムは、前記カメラの識別情報に基づいて、前記遠隔接客装置に関連付けられた前記少なくとも一つのカメラを特定してもよい。
【0017】
また、前記遠隔接客システムは、ユーザの指示に応じて、前記カメラと前記遠隔接客装置との間との対応関係を示す情報を登録し、前記対応関係を示す情報に基づいて、前記遠隔接客装置に関連付けられた前記少なくとも一つのカメラを特定してもよい。
【0018】
また、前記遠隔接客システムは、前記第2映像を解析することにより、前記遠隔接客装置に関連付けられた前記少なくとも一つのカメラを特定してもよい。
【0019】
また、前記遠隔接客システムは、前記第2映像に示された前記遠隔接客装置を強調表示させてもよい。
【0020】
上記構成によれば、オペレータは、第2映像中に存在する遠隔接客装置を明確に認識することができる。
【0021】
また、前記遠隔接客システムは、ユーザの指示に応じて、前記遠隔接客装置の存在領域を特定し、前記遠隔接客装置の存在領域を強調表示させてもよい。
【0022】
また、前記遠隔接客システムは、前記第2映像を解析することにより、前記遠隔接客装置の存在領域を特定し、前記遠隔接客装置の存在領域を強調表示させてもよい。
【0023】
また、前記遠隔接客システムは、前記第2映像に示された前記遠隔接客装置の周辺に存在する人を強調表示させてもよい。
【0024】
上記構成によれば、オペレータは、第2映像を通じて、遠隔接客装置の周辺に存在する人を明確に認識することができる。
【0025】
また、前記遠隔接客システムは、ユーザの指示に応じて、前記遠隔接客装置の周辺領域を特定し、前記周辺領域に存在する人を強調表示させてもよい。
【0026】
また、前記遠隔接客システムは、前記第2映像を解析することにより、前記遠隔接客装置の周辺領域に存在する人を検出し、前記周辺領域に存在する人を強調表示させてもよい。
【0027】
また、前記遠隔接客システムは、前記第2映像において所定のイベントが発生したことに応じて、前記情報端末において所定の表示処理を実行してもよい。
【0028】
上記構成によれば、オペレータは、情報端末における所定の表示処理を通じて、所定のイベント(例えば、注目領域が混雑している等)が発生していることを明確に認識することができる。
【0029】
また、前記所定のイベントは、前記第2映像の注目領域において存在する人の人数および滞在時間のうちの少なくとも一つに関連する判定条件が満たされたことであってもよい。
【0030】
上記構成によれば、注目領域に存在する人の人数や滞在時間に関連した判定条件に基づいて第2映像における所定のイベント(例えば、注目領域が混雑している等)の発生が決定されるため、オペレータは、注目領域に存在する人の人数や滞在時間を考慮した遠隔接客を提供することが可能となる。
【0031】
また、前記所定の表示処理は、前記所定のイベントが発生した第2映像を強調表示させることであってもよい。
【0032】
上記構成によれば、オペレータは、強調表示された第2映像を通じて、当該第2映像に所定のイベント(例えば、注目領域が混雑している等)が発生していることを明確に認識することができる。
【0033】
また、前記所定の表示処理は、前記所定のイベントが発生した第2映像に対応する第1映像を強調表示させることであってもよい。
【0034】
上記構成によれば、オペレータは、強調表示された第1映像を通じて、第1映像を撮影する遠隔接客装置が配置された店舗等において所定のイベントが発生していることを明確に認識することが可能となる。このため、オペレータは、当該店舗における遠隔接客の必要性を把握することができるため、遠隔接客による営業や販売の機会損失を好適に防ぐことができる。このように、遠隔接客の質を向上させることが可能な遠隔接客システムが提供することができる。
【0035】
また、前記所定の表示処理は、前記所定のイベントが発生した第2映像に対応する第1映像とともに、前記所定のイベントが発生した第2映像を表示させることであってもよい。
【0036】
上記構成によれば、オペレータは、第1映像と第2映像を通じて、所定のイベント(例えば、注目領域が混雑している等)が発生している店舗等の状況を明確に認識することが可能となり、当該店舗における遠隔接客の必要性を直ぐに把握することができる。
【0037】
また、前記情報端末は、前記オペレータを示す第3映像を撮影するように構成されてもよい。前記遠隔接客システムは、前記情報端末により撮影された前記第3映像を前記遠隔接客装置に表示させてもよい。
【0038】
本開示の一態様に係る遠隔接客システムは、遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された複数の遠隔接客装置と、所定のエリアの様子を示す第2映像を撮影するように構成されたカメラと、遠隔接客を行うオペレータにより操作される情報端末と、により遠隔接客を行う遠隔接客システムである。前記遠隔接客システムは、前記複数の遠隔接客装置のうち前記カメラに関連付けられた少なくとも一つの遠隔接客装置を特定し、前記カメラにより撮影された第2映像と、前記特定された遠隔接客装置により撮影された第1映像とを、前記情報端末に表示させる。
【0039】
本開示の一態様に係る遠隔接客方法は、遠隔接客システムによって実行される。前記遠隔接客システムは、遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置と、所定のエリアの様子を示す第2映像を撮影するように構成された複数のカメラと、遠隔接客を行うオペレータにより操作される情報端末と、により遠隔接客を行う。前記遠隔接客方法は、前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定するステップと、前記遠隔接客装置により撮影された第1映像と、前記特定されたカメラにより撮影された第2映像とを、前記情報端末に表示させるステップと、を含む。
【0040】
上記方法によれば、第1映像及び第2映像の両方を通じて、遠隔接客装置の周辺の俯瞰的な状況を考慮した遠隔接客を提供することが可能となる。したがって、遠隔接客の質を向上させることが可能な遠隔接客方法を提供することができる。
【0041】
また、上記遠隔接客方法を遠隔接客システムに実行させる遠隔接客プログラムが提供されてもよい。
【発明の効果】
【0042】
本開示によれば、遠隔接客の質を向上させることが可能な遠隔接客システム、遠隔接客方法、および遠隔接客プログラムを提供することができる。
【図面の簡単な説明】
【0043】
【
図1】本開示の実施形態(以下、本実施形態という。)に係る遠隔接客システムを示す図である。
【
図2】遠隔接客装置のハードウェア構成の一例を示す図である。
【
図3】カメラのハードウェア構成の一例を示す図である。
【
図4】第1サーバのハードウェア構成の一例を示す図である。
【
図5】情報端末のハードウェア構成の一例を示す図である。
【
図6】複数の遠隔接客装置と、複数のカメラと、情報端末と、第1サーバと、第2サーバとの接続関係を説明するための図である。
【
図7】本実施形態に係る遠隔接客システムによって実行される一連の処理を説明するためのフローチャート(その1)である。
【
図8】本実施形態に係る遠隔接客システムによって実行される一連の処理を説明するためのフローチャート(その2)である。
【
図9】(a)は、オペレータ管理テーブルの一例を示す図である。(b)は、企業管理テーブルの一例を示す図である。(c)は、店舗管理テーブルの一例を示す図である。
【
図10】複数の遠隔接客装置により撮影された複数の映像のサムネイルが表示された待機画面の一例を示す図である。
【
図11】オペレータにより指定された遠隔接客装置の映像が表示された接客画面の一例を示す図である。
【
図12】オペレータにより指定された遠隔接客装置の映像と複数のカメラの映像のサムネイルとが表示された接客画面の一例を示す図である。
【
図13】オペレータにより指定されたカメラの映像が拡大表示された接客画面の一例を示す図である。
【
図14】カメラの映像中において設定された注目領域の混雑に応じて遠隔接客装置の映像のサムネイルを強調表示する処理を説明するためのフローチャートである。
【
図15】カメラの映像中において設定された注目領域の混雑に応じて複数の遠隔接客装置の映像のサムネイルの一つが強調表示されている様子を示す図である。
【発明を実施するための形態】
【0044】
(遠隔接客システム1の構成)
以下、本実施形態に係る遠隔接客システム1について図面を参照しながら説明する。
図1は、本実施形態に係る遠隔接客システム1を示す図である。
図1に示すように、遠隔接客システム1は、遠隔接客装置2a~2cと、カメラ3a-1~3c-10と、第1サーバ4と、第2サーバ5と、情報端末6e~6gとを備える。これらの各要素は、通信ネットワーク7に接続されている。通信ネットワーク7は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、無線コアネットワークのうちの少なくとも一つによって構成されている。尚、遠隔接客システム1に設けられる要素は、これらの要素に限定されるものではなく、
図1に図示されていない他の要素が遠隔接客システム1に更に設けられてもよい。
【0045】
遠隔接客システム1では、店舗から物理的に離れた位置にいるオペレータUe~Ugは、情報端末6e~6gを通じて各店舗に来店した客に対して遠隔での接客を行うことができる。例えば、オペレータUeは、情報端末6e及び店舗Aに設置された遠隔接客装置2aを通じて店舗Aに来店した客に対して遠隔接客を行うことができる。同様に、オペレータUfは、情報端末6f及び店舗Bに設置された遠隔接客装置2bを通じて店舗Bに来店した客に対して遠隔接客を行うことができる。オペレータUgは、情報端末6g及び店舗Cに設置された遠隔接客装置2cを通じて店舗Cに来店した客に対して遠隔接客を行うことができる。なお、店舗は、屋内/屋外の何れでもよい。また、遠隔接客システム1の設置場所としては、店舗のみならず、ビルの受付/インフォメーションセンター/各種交通機関の窓口/イベント会場/チケット売り場/駐車場/倉庫/工場/守衛所/大学構内等、様々な場所が想定され得る。また、客とは、これら様々な場所において、有料/無料を問わず、夫々の場所に応じて様々なサービスを受ける者が想定され得る。
【0046】
また、以降の説明では、説明の便宜上、遠隔接客装置2a~2cを単に遠隔接客装置2と総称する場合がある。同様に、カメラ3a-1~3c-10を単にカメラ3と総称すると共に、情報端末6e~6gを単に情報端末6と総称する場合がある。さらに、情報端末6e~6gを操作するオペレータUe~Ugを単にオペレータUと総称する場合がある。
図1では、3台の遠隔接客装置2、30台のカメラ3、3台の情報端末6がそれぞれ図示されているが、これらの装置の台数は特に限定されるものではない。
【0047】
(遠隔接客装置2の構成)
次に、
図2を参照して遠隔接客装置2のハードウェア構成について以下に説明する。本実施形態では、遠隔接客装置2a~2cは同一の構成を備えるものとする。
図2は、遠隔接客装置2のハードウェア構成の一例を示す図である。遠隔接客装置2a~2cは、通信ネットワーク7を介して第1サーバ4に通信可能に接続されている。遠隔接客装置2は、遠隔からの接客を支援するように構成されており、遠隔接客を行うオペレータUe~Ugが所属する企業の各店舗(例えば、飲食店や小売店等)に配置されている。より具体的には、遠隔接客装置2aは、店舗Aに配置され、店舗Aに来店する客に対しての遠隔接客を支援するように構成される。遠隔接客装置2bは、店舗Bに配置され、店舗Bに来店する客に対しての遠隔接客を支援するように構成されている。遠隔接客装置2cは、店舗Cに配置され、店舗Cに来店する客に対しての遠隔接客を支援するように構成される。来店客は、遠隔接客装置2の表示部26及びスピーカ29を通じて、オペレータUによる遠隔接客を受けることができる。
【0048】
図2に示すように、遠隔接客装置2は、制御部21と、記憶装置22と、入出力インターフェース23と、通信部24と、入力操作部25と、表示部26と、撮像部27と、マイク28と、スピーカ29とを備える。これらの要素は、通信バス20に接続されている。
【0049】
制御部21は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令(プログラム)を記憶するように構成されている。例えば、メモリは、各種プログラム等が格納されたROM(Read Only Memory)やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するRAM(Random Access Memory)等から構成される。プロセッサは、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)及びGPU(Graphics Processing Unit)のうちの少なくとも一つにより構成される。CPUは、複数のCPUコアによって構成されてもよい。GPUは、複数のGPUコアによって構成されてもよい。プロセッサは、記憶装置22又はROMに組み込まれた各種プログラムから指定されたプログラムをRAM上に展開し、RAMとの協働で各種処理を実行するように構成されてもよい。
【0050】
記憶装置22は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等の記憶装置(ストレージ)であって、プログラムや各種データを格納するように構成されている。入出力インターフェース23は、外部装置と遠隔接客装置2との間の接続を可能とするインターフェースであって、USB規格やHDMI(登録商標)規格等の所定の通信規格に応じたインターフェースを含む。通信部24は、遠隔接客装置2を通信ネットワーク7に接続するように構成されている。通信部24は、例えば、無線基地局や無線LANルータ等の外部機器と無線通信するための無線通信モジュール及び/又は有線通信モジュールとを含んでいる。無線通信モジュールは、送受信アンテナと、信号処理回路とを備える。無線通信モジュールは、Wi-Fi(登録商標)やBluetooth(登録商標)等の近距離無線通信規格に対応した無線通信モジュールであってもよいし、SIM(Subscriber Identity Module)を用いた第X世代移動体通信システム(例えば、LTE等の第4世代移動通信システム)に対応する無線通信モジュールであってもよい。
【0051】
入力操作部25は、例えば、表示部26の映像表示ディスプレイに重ねて配置されたタッチパネル、マウス、及び/又はキーボードであって、来店客の入力操作を受け付けると共に、当該入力操作に応じた操作信号を生成するように構成されている。表示部26は、例えば、映像表示ディスプレイと、当該映像表示ディスプレイを駆動制御する映像表示回路とによって構成される。
【0052】
撮像部27は、遠隔接客装置2の周辺環境(特に、正面領域)を撮像するように構成されている。特に、撮像部27は、遠隔接客装置2の周辺環境を示す映像信号を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。光学系は、例えば、光学レンズと、カラーフィルタとを含む。イメージセンサは、CCD(Charge-Coupled Device)又はCMOS(相補型MOS)等によって構成される。アナログ処理回路は、イメージセンサによって光電変換された映像信号(アナログ信号)を処理するように構成され、例えば、増幅器及びAD変換器を含む。
【0053】
本実施形態では、撮像部27は、遠隔接客装置2の筐体202の正面上に設けられてもよい(
図6参照)。この場合、撮像部27は、遠隔接客装置2の正面領域に存在する客を撮影することができる。つまり、撮像部27の視野は遠隔接客装置2の正面領域の一部となるため、遠隔接客装置2は正面領域を除く周辺領域の映像を撮影することができないものとする。尚、筐体202上における撮像部27の取付位置は特に限定されるものではない。
【0054】
マイク28は、来店客から発声された音声を収集し、当該収集された音声に基づいて音声信号(デジタル信号)を生成するように構成されている。スピーカ29は、制御部21から音声データを受信した上で、当該受信した音声データに基づいて音声を外部に出力するように構成されている。
【0055】
(カメラ3の構成)
次に、
図3を参照してカメラ3のハードウェア構成について以下に説明する。本実施形態では、カメラ3a-1~3c-10は同一の構成を備えるものとする。
図3は、カメラ3のハードウェア構成の一例を示す図である。カメラ3は、撮影を通じて自身の周辺環境を示す映像を取得するように構成されており、店舗(所定のエリアの一例)の内部若しくは周辺に配置されてもよい。カメラ3は、店舗の状況を監視するネットワーク型の監視カメラであって、通信ネットワーク7を介して第2サーバ5に通信可能に接続されている。
【0056】
図1に示すように、カメラ3a-1~3a-10の各々は、店舗Aの所定の場所に固定的に設置されており、撮影を通じて店舗Aの俯瞰的な状況を示す映像を取得するように構成されている。同様に、カメラ3b-1~3b-10の各々は、店舗Bの所定の場所に固定的に設置されており、撮影を通じて店舗Bの俯瞰的な状況を示す映像を取得するように構成されている。カメラ3c-1~3c-10の各々は、店舗Cの所定の場所に固定的に設置されており、撮影を通じて店舗Cの俯瞰的な状況を示す映像を取得するように構成されている。各カメラ3は、通信ネットワーク7を介して第2サーバ5に映像データを送信する。第2サーバ5は、各カメラ3により送信された映像データを保存する。
【0057】
図3に示すように、カメラ3は、制御部31と、記憶装置32と、位置情報取得部33と、通信部34と、入力操作部35と、撮像部36と、PTZ機構37とを備える、これらの要素は通信バス30に接続されている。また、カメラ3にはバッテリ(図示せず)が内蔵されてもよい。さらに、カメラ3にはマイクやスピーカが設けられてもよい。
【0058】
制御部31は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令(プログラム)を記憶するように構成されている。例えば、メモリは、ROMとRAMとから構成される。プロセッサは、例えば、CPU、MPU及びGPUのうちの少なくとも一つにより構成される。記憶装置32は、例えば、HDD、SSD、フラッシュメモリ等の記憶装置(ストレージ)であって、プログラムや各種データを格納するように構成されている。位置情報取得部33は、カメラ3の位置情報(経度、緯度)を取得するように構成されており、例えば、GPS(Global Positioning System)受信機である。
【0059】
通信部34は、カメラ3を通信ネットワーク7に接続するように構成されている。通信部34は、例えば、無線基地局や無線LANルータ等の外部機器と無線通信するための無線通信モジュール及び/又は有線通信モジュールを含んでいる。入力操作部35は、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。撮像部36は、カメラ3の周辺環境を撮像するように構成されている。特に、撮像部36は、カメラ3の周辺環境を示す映像信号を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。
【0060】
PTZ機構37は、パン(Panoramac)機構と、チルト(Tilt)機構と、ズーム(Zoom)機構とを備える。パン機構は、水平方向におけるカメラ3の向きを変更するように構成されている。チルト機構は、垂直方向におけるカメラ3の向きを変更するように構成されている。ズーム機構は、カメラ3の画角を変更することで、撮像対象物を示す画像を拡大(ズームイン)または縮小(ズームアウト)するように構成されている。ズーム機構は、撮像部36に含まれる光学レンズの焦点距離を変更することで光学的にカメラ3の画角を変更してもよいし、デジタル的にカメラ3の画角を変更してもよい。本実施形態では、情報端末6に対するオペレータUの入力操作に応じて、カメラ3をパン、チルト及び/又はチルトを指示する指示信号が情報端末6から第2サーバ5を介してカメラ3に送信される。この場合、制御部31は、受信した指示信号に応じてPTZ機構37を駆動させることで、カメラ3のパン・チルト・ズームの各機能(PTZ機能)をリアルタイムで実現させる。このように、情報端末6の遠隔操作を通じてカメラ3のPTZ機能を実現することができる。
【0061】
カメラ3は、通信ネットワーク7を介してカメラ3の周辺環境を示す映像(映像ストリーム)を第2サーバ5にリアルタイムに送信することができる。
【0062】
(第1サーバ4の構成)
次に、
図4を参照して第1サーバ4のハードウェア構成について以下に説明する。
図4は、第1サーバ4のハードウェア構成の一例を示す図である。本実施形態では、第1サーバ4は、WEBサーバと、アプリケーションサーバと、映像データサーバとして構成されてもよい。換言すれば、第1サーバ4は、WEBページを提供する機能と、遠隔接客アプリケーションを提供する機能と、映像データを提供する機能とを有する。
【0063】
この点において、第1サーバ4は、待機画面100(
図10参照)及び接客画面200(
図11参照)を情報端末6のWEBブラウザに表示するためのデータ(例えば、HTMLファイル、CSSファイル、画像・映像ファイル、プログラムファイル等)を送信するように構成されている。このように、第1サーバ4は、SaaS(System as a Service)を提供するためのサーバとして機能している。第1サーバ4は、複数のサーバにより構成されてもよい。第1サーバ4は、オンプレミスで構築されてもよいし、クラウドサーバとして構築されてもよい。第1サーバ4は、通信ネットワーク7を介して遠隔接客装置2a~2c及び情報端末6e~6gに通信可能に接続されている。第1サーバ4は、遠隔接客装置2a~2cにより撮影された映像データを各情報端末6e~6gに送信するように構成されている。
【0064】
図4に示すように、第1サーバ4は、制御部41と、記憶装置42と、入出力インターフェース43と、通信部44とを備える。これらの要素は通信バス40に接続されている。制御部41は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令を記憶するように構成されている。特に、メモリには、第1サーバ4によって実行される一連の処理をプロセッサに実行させるためのプログラムが記憶されてもよい。メモリは、ROM及びRAMにより構成されている。プロセッサは、CPU、MPU及びGPUのうちの少なくとも一つにより構成される。
【0065】
記憶装置42は、例えば、HDD、SSD、フラッシュメモリ等の記憶装置(ストレージ)であって、プログラムや各種データを格納するように構成されている。記憶装置42には、後述するオペレータ管理テーブルと、企業管理テーブルと、店舗管理テーブルとが保存されている(
図9参照)。また、記憶装置42には、遠隔接客装置2a~2cにより撮影された映像及び/又は情報端末6e~6gにより撮影された映像が保存されてもよい。入出力インターフェース43は、外部装置と第1サーバ4との間の接続を可能とするインターフェースである。通信部44は、通信ネットワーク7上の外部装置と通信するための各種有線通信モジュールを含んでもよい。
【0066】
(第2サーバ5の構成)
第2サーバ5は、
図4に示す第1サーバ4のハードウェア構成と同一の構成を有してもよい。即ち、第2サーバ5は、第1サーバ4と同様に、制御部と、記憶装置と、入出力インターフェースと、通信部とを備え、これらの要素は通信バスに接続されている。第2サーバ5は、通信ネットワーク7を介してカメラ3b-1~3b-10の各々に通信可能に接続されている。第2サーバ5は、カメラ3により撮影された映像を受信した上で、当該受信した映像を保存及び管理するように構成されている。第2サーバ5には、カメラ3を管理するカメラ管理テーブルと、カメラ3の映像を管理する映像管理テーブルとが保存されてもよい。カメラ管理テーブルは、各店舗に配置されたカメラ3に関する情報を含む。映像管理テーブルは、各カメラ3の映像データに関する情報を含む。第2サーバ5は、API(Application Programming Interface)連携により第1サーバ4に通信可能に接続されている。即ち、第2サーバ5は、第1サーバ4からの映像の送信要求に応じて、所望の映像を第1サーバ4に送信するように構成されている。
【0067】
(情報端末6の構成)
次に、
図5を参照して情報端末6のハードウェア構成について以下に説明する。本実施形態では、情報端末6e~6gは同一の構成を備えるものとする。
図5は、情報端末6のハードウェア構成の一例を示す図である。情報端末6は、遠隔接客を行うオペレータUにより操作される。情報端末6は、オペレータUを示す映像を撮影すると共に、オペレータUの音声を取得するように構成されている。情報端末6は、遠隔接客装置2から物理的に離れた位置に配置されている。本実施形態では、情報端末6eはオペレータUeにより操作され、情報端末6fはオペレータUfにより操作され、情報端末6gはオペレータUgにより操作される。
【0068】
情報端末6は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はオペレータUに装着されたウェアラブルデバイス(例えば、AR/VR/MRグラス等)であってもよい。情報端末6は、WEBブラウザを有する。第1サーバ4によって提供される遠隔接客アプリケーションは、情報端末6のWEBブラウザ上で動作してもよい。また、遠隔接客アプリケーションは、ダウンロードされた後に情報端末6にインストールされてもよい。
【0069】
図5に示すように、情報端末6は、制御部61と、記憶装置62と、入出力インターフェース63と、通信部64と、入力操作部65と、表示部66と、撮像部67と、マイク68と、スピーカ69とを備えている。これらの要素は通信バス60に接続されている。
【0070】
制御部61は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令を記憶するように構成されている。特に、メモリには、情報端末6によって実行される一連の処理をプロセッサに実行させるためのプログラムが記憶されてもよい。メモリは、ROM及びRAMにより構成されている。プロセッサは、CPU、MPU及びGPUのうちの少なくとも一つにより構成される。記憶装置62は、例えば、HDD、SSD、フラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。
【0071】
入出力インターフェース63は、外部装置と情報端末6との間の接続を可能とするインターフェースである。通信部64は、情報端末6を通信ネットワーク7に接続するように構成されている。通信部64は、例えば、無線通信モジュール及び/又は有線通信モジュールを含んでいる。入力操作部65は、例えば、表示部66の映像表示ディスプレイに重ねて配置されたタッチパネル、マウス、及び/又はキーボードであって、オペレータUの入力操作を受け付けると共に、当該入力操作に応じた操作信号を生成するように構成されている。表示部66は、例えば、映像表示ディスプレイと、当該映像表示ディスプレイを駆動制御する映像表示回路とによって構成される。
【0072】
撮像部67は、情報端末6の周辺環境を示す映像信号(特に、オペレータUを示す映像信号)を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。マイク68は、オペレータUの音声を収集し、当該収集された音声に基づいて音声信号を生成するように構成されている。スピーカ69は、制御部61から音声データを受信した上で、当該受信した音声データに基づいて音声を外部に出力するように構成されている。本実施形態では、マイク68により取得されたオペレータUの音声データが通信ネットワーク7を介して情報端末6から遠隔接客装置2に送信された後に、オペレータUの音声が遠隔接客装置2のスピーカ29から出力される。同様に、マイク28により取得された客の音声データが通信ネットワーク7を介して遠隔接客装置2から情報端末6に送信された後に、客の音声が情報端末6のスピーカ69から出力される。
【0073】
(本実施形態に係る遠隔接客方法:遠隔接客システム1によって実行される一連の処理の流れ)
次に、
図6~
図8を主に参照して本実施形態に係る遠隔接客システム1によって実行される一連の処理(本実施形態に係る遠隔接客方法)について以下に説明する。
図6は、遠隔接客装置2a~2cと、カメラ3a-1~3a-10と、情報端末6eと、第1サーバ4と、第2サーバ5との接続関係を説明するための図である。
図7及び
図8は、遠隔接客システム1によって実行される一連の処理を説明するためのフローチャートである。
【0074】
本例では、情報端末6e(第1情報端末の一例)を操作するオペレータUeが遠隔接客装置2a(第1遠隔接客装置の一例)を指定した上で、店舗Aにいる客に対して遠隔接客を行うものとする。この場合、店舗Aに配置されたカメラ3a-1~3a-10のうち遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8の映像が情報端末6e上に表示されるものとする。
図6に示すように、第1サーバ4は、情報端末6eおよび遠隔接客装置2a~2cに通信可能に接続されている。第1サーバ4はAPI連携により第2サーバ5に通信可能に接続されている。第2サーバ5は、カメラ3a-1~3a-10に通信可能に接続されている。
【0075】
図7に示すように、ステップS1において、情報端末6eは、オペレータUeの入力操作を通じて、遠隔接客アプリケーションにログインするためのオペレータUeのログイン情報を受け付けた上で、当該ログイン情報を第1サーバ4に送信する。第1サーバ4は、オペレータUeのログイン情報とオペレータ管理テーブル(
図9(a)参照)に基づいて、オペレータUeのログイン認証を実行する。さらに、第1サーバ4は、オペレータ管理テーブルを参照することで、オペレータUeが所属する企業の企業IDを特定した後に、企業管理テーブル(
図9(b)参照)を参照することで、企業IDに対応する各店舗の店舗IDを特定する。その後、第1サーバ4は、店舗管理テーブル(
図9(c)参照)を参照することで、各店舗IDに対応する遠隔接客装置2の遠隔接客装置IDを特定する。このように、第1サーバ4は、オペレータUeが管理する店舗A~Cに設置された遠隔接客装置2a~2cを特定する(ステップS2)。なお、ここでいう企業とは、単に企業そのもののみならず、企業が有するブランド等も含む広い概念を示す。また、ここでいう店舗とは、単に店舗そのもののみならず、店舗が有するエリア等も含む広い概念を示す。さらに、企業ごとにルームという概念を設け、ルーム毎に複数の店舗を対応付けて管理してもよい。例えば、多店舗(又は複数業態)で展開している企業の場合、管轄地域(又は管轄業態)でルームを分ければ、利便性が向上するであろう。その場合、予めルームテーブル(不図示)として企業IDとルームIDの対応関係を記憶しておき、
図9(b)の企業IDはルームIDに読み替える。そして、企業IDを特定した後に、それに対応するルームの一覧を情報端末に表示させ(不図示)、その中からオペレータの選択に応じてルームIDを特定し、それに対応する店舗ID及び遠隔接客装置IDを特定すればよい。
【0076】
次に、第1サーバ4は、遠隔接客装置2a~2cに映像要求を送信する(ステップS3)。遠隔接客装置2a~2cは、第1サーバ4から送信された映像要求に応じて、遠隔接客装置2の周辺環境を示す映像(第1映像の一例)を第1サーバ4に送信する(ステップS4)。ステップS5において、第1サーバ4は、遠隔接客装置2a~2cにより撮影された映像(映像ストリーム)を受信した上で、待機画面100(
図10参照)を表示するためのデータ(例えば、HTMLファイル、CSSファイル、画像・映像ファイル、プログラムファイル等)を情報端末6eに送信する。その後、待機画面100が情報端末6eの表示部66に表示される(ステップS6)。特に、待機画面100は情報端末6eのWEBブラウザ上に表示されてもよい。
【0077】
図10に示すように、待機画面100では、映像表示領域120とオペレータ表示領域130が設けられている。映像表示領域120には、遠隔接客装置2a~2cにより撮影された映像110a~110cのサムネイルが表示される。オペレータ表示領域130には、遠隔接客アプリケーションにログイン中であって同じ企業IDに対応するオペレータUe~Ugの情報が表示される。
【0078】
次に、ステップS7では、第1サーバ4は、画像認識モデル等を利用して遠隔接客装置2aにより撮影された映像110aにおいて人Kを検出した上で、映像110aのサムネイルを強調表示するための強調表示指示を情報端末6eに送信する。その後、ステップS8において、情報端末6eは、第1サーバ4から送信された強調表示指示に応じて遠隔接客装置2aの映像110aのサムネイルを強調表示する(
図10参照)。例えば、映像110aのサムネイルの強調表示の視覚的態様としては、映像110aのサムネイルの外枠を太く目立つ色にする等して強調表示されてもよい。
【0079】
尚、ステップS6の処理では、待機画面100が情報端末6eの表示部66に表示される点のみが説明されているが、オペレータUf,Ugも遠隔接客アプリケーションにログインしている場合では、待機画面100が情報端末6e,6fの表示部66にも表示される。即ち、第1サーバ4は、待機画面100を表示するためのデータを情報端末6e~6gの各々に送信する。同様に、ステップS7の処理では、映像110aのサムネイルを強調表示するための強調表示指示は情報端末6e~6gの各々に送信される。その後、ステップS8において、情報端末6e~6gの各々は、強調表示指示に応じて映像110aのサムネイルを強調表示する。
【0080】
次に、ステップS9において、オペレータUeは、店舗Aにおける遠隔接客を行いたい場合に、入力操作部65を通じて待機画面100に表示された映像110aのサムネイルを指定する。具体的には、
図10に示すように、映像110aのサムネイルがダブルクリック操作される。このとき、情報端末6eは、オペレータUeの入力操作に応じて遠隔接客装置2aの指定を受け付けた上で、遠隔接客装置2aの指定情報を第1サーバ4に送信する(ステップS10)。次に、第1サーバ4は、指定情報に応じて遠隔接客装置2aの接客画面200(
図11参照)を表示するためのデータ(例えば、HTMLファイル、CSSファイル、画像・映像ファイル、プログラムファイル等)を送信する(ステップS11)。その後、接客画面200が情報端末6eの表示部66に表示される(ステップS12)。
【0081】
図11に示すように、接客画面200では、映像表示領域210と、店舗マニュアル表示領域212と、オペレータ映像表示領域220と、店舗説明資料一覧領域230と、チャット表示領域240とが設けられている。映像表示領域210では、遠隔接客装置2aにより撮影された映像110aが表示される。店舗マニュアル表示領域212では、店舗Aの接客マニュアルが表示される。オペレータ映像表示領域220では、情報端末6eの撮像部67によって撮影されたオペレータUeを示す映像223eが表示される。店舗説明資料一覧領域230には、店舗Aの説明資料の一覧が表示され、この中からオペレータの指示に応じて遠隔接客装置の表示部に表示すべきコンテンツを選択して表示することができる。チャット表示領域240には、オペレータUeと店舗Aにいる客との間のチャット内容が表示される。
【0082】
また、接客画面200には、ホームボタン260と、カメラボタン250と、保留ボタン265と、接客終了ボタン263とが設けられている。ホームボタン260がオペレータUeにより操作される場合には、
図11に示す接客画面200が表示される。カメラボタン250がオペレータUeにより操作される場合には、
図12に示す接客画面200が表示される。保留ボタン265がオペレータUeにより操作される場合には、店舗Aにいる客に対する遠隔接客が保留される。この場合、遠隔接客装置2aにおけるオペレータUeを示す映像の表示が中断されてもよい。接客終了ボタン263がオペレータUeにより操作される場合には、情報端末6eに表示される画面が接客画面200から
図10に示す待機画面100に切り替わる。
【0083】
次に、ステップS13において、情報端末6eは、情報端末6eにより撮影され、オペレータUeを示す映像223e(第3映像の一例)を遠隔接客装置2aに送信する。その後、情報端末6eにより撮影された映像223e(映像ストリーム)が遠隔接客装置2aの表示部26に表示される(ステップS14)。このように、オペレータUeが店舗Aにおける遠隔接客を行う場合に、第1サーバ4は、情報端末6eと遠隔接客装置2aとの間の通信を開始させることで、遠隔接客装置2aにより撮影された客を含む映像110aが情報端末6eに表示されると共に、情報端末6eにより撮影されたオペレータを含む映像223eが遠隔接客装置2aに表示される。この場合、遠隔接客装置2aは、第1サーバ4を介して映像110aを情報端末6eに送信してもよいし、第1サーバ4を介さずにP2P(Peer to Peer)で映像110aを情報端末6eに直接送信してもよい。同様に、情報端末6eは、第1サーバ4を介して映像223eを遠隔接客装置2aに送信してもよいし、第1サーバ4を介さずにP2Pで映像223eを遠隔接客装置2aに直接送信してもよい。
【0084】
また、映像データと同様に、音声データも情報端末6eと遠隔接客装置2aとの間で送受信される。即ち、遠隔接客装置2aのマイク28により取得された客の音声データが情報端末6eのスピーカ69から出力されると共に、情報端末6eのマイク68により取得されたオペレータUeの音声データが遠隔接客装置2aのスピーカ29から出力される。
【0085】
次に、ステップS15において、情報端末6eは、オペレータUeの入力操作に応じてカメラ映像の表示要求を第1サーバ4に送信する。具体的には、
図11に示すように、接客画面200に設けられたカメラボタン250がオペレータUeにより操作されることで、カメラ映像の表示要求が情報端末6eから第1サーバ4に送信される。
【0086】
ステップS16において、第1サーバ4は、カメラ映像の表示要求に応じて、遠隔接客装置2aに関連付けられたカメラ映像の送信要求を第2サーバ5に送信する。ここで、カメラ映像の送信要求は、店舗Aに設置されたカメラ3a-1~3a-10に関する情報(例えば、カメラ3a-1~3a-10のカメラID)を含んでもよい。この場合、第1サーバ4は、店舗管理テーブル(
図9(c))を参照することで、店舗Aに設置されたカメラ3a-1~3a-10に関する情報を取得した上で、店舗Aに設置されたカメラ3a-1~3a-10に関する情報を含むカメラ映像の送信要求を第2サーバ5に送信する。
【0087】
ステップS17において、第2サーバ5は、第1サーバ4から送信されたカメラ映像の送信要求に応じて、遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定する。ここで、遠隔接客装置2aに関連付けられたカメラ3とは、遠隔接客装置2aの周辺に配置されているカメラ3及び/又は遠隔接客装置2aの存在を含む映像を撮影するカメラ3として定義されてもよい。
【0088】
(遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定する処理の第1例)
第1例は、カメラ名称に基づいて、遠隔接客装置2aとカメラ3a-3~3a-8とを自動的に対応付けるものである。具体的には、第2サーバ5は、カメラ映像の送信要求に含まれるカメラ3a-1~3a-10のカメラIDおよびカメラIDとカメラ名称(カメラの識別情報の一例)との間の対応関係を示すデータに基づいて、カメラ3a-1~3a-10の名称を特定してもよい。次に、第2サーバ5は、カメラ3a-1~3a-10の名称に基づいて、遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定してもよい。例えば、カメラ3a-3~3a-8の名称に遠隔接客装置2aに関する情報(例えば、遠隔接客装置2aを示す文字列)が含まれている場合に、カメラ3a-3~3a-8が遠隔接客装置2aに関連付けられたカメラとして特定されてもよい。カメラIDとカメラ名称(カメラの識別情報の一例)との間の対応関係を示すデータはオペレータUによって予め登録されてもよい。尚、本例では、カメラ3の識別情報の一例としてカメラの名称に基づいて遠隔接客装置2に関連付けられたカメラ3が特定されているが、カメラ3の識別情報はカメラの名称に限定されるものではない。
【0089】
(遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定する処理の第2例)
第2例は、ユーザ指示に基づいて、遠隔接客装置2aとカメラ3a-3~3a-8とを手動で対応付けるものである。なお、このユーザ指示は、主にオペレータUの情報端末6から行う想定であるが、それらを統括管理する企業側の情報処理装置等(不図示)から行ってもよい。具体的には、カメラ映像の送信要求は、遠隔接客装置2aに関する情報(例えば、遠隔接客装置2aのID)を含んでもよい。この場合、第2サーバ5は、カメラ映像の送信要求に含まれる遠隔接客装置2aのIDおよび複数の遠隔接客装置2と複数のカメラ3との間の対応関係を示すデータに基づいて、遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定してもよい。
【0090】
複数の遠隔接客装置2と複数のカメラ3との間の対応関係を示すデータでは、複数の遠隔接客装置2のIDと複数のカメラIDとの間の対応関係が示されてもよい。また、当該対応関係を示すデータでは、各遠隔接客装置2に関連付けられた複数のカメラ3に関する情報を含む。例えば、当該対応関係を示すデータでは、遠隔接客装置2aのIDとカメラ3a-3~3a-8のIDとの間の対応関係が示されてもよい。このように、当該対応関係を示すデータに基づいて、遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定することが可能となる。また、複数の遠隔接客装置2と複数のカメラ3との間の対応関係を示すデータはオペレータUにより予め登録されてもよい。
【0091】
(遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定する処理の第3例)
第3例は、映像解析に基づいて、遠隔接客装置2aとカメラ3a-3~3a-8とを自動的に対応付けるものである。具体的には、カメラ映像の送信要求は、店舗Aに設置されたカメラ3a-1~3a-10に関する情報(例えば、カメラ3a-1~3a-10のカメラID)を含んでもよい。この場合、第2サーバ5は、カメラ映像の送信要求に含まれるカメラ3a-1~3a-10のカメラIDに基づいて、カメラ3a-1~3a-10により撮影された映像を取得する。その後、第2サーバ5は、カメラ3a-1~3a-10により撮影された映像を解析することで、カメラ3a-1~3a-10により撮影された映像のうち遠隔接客装置2aを示す映像を抽出する。その後、第2サーバ5は、遠隔接客装置2aの存在を示す映像を撮影するカメラ3a-3~3a-8を遠隔接客装置2aに関連付けられたカメラとして特定する。尚、第2サーバ5は、遠隔接客装置2aを示す映像を抽出する際に、機械学習により構築された学習済みモデルである画像認識モデルを用いてもよい。この場合、当該画像認識モデルは、画像データと、当該画像データに含まれる遠隔接客装置2aに関する情報とからなる学習データにより構築されてもよい。
【0092】
次に、ステップS18において、第2サーバ5は、遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8の映像(サムネイル表示)を第1サーバ4に送信する。次に、第1サーバ4は、カメラ3a-3~3a-8の映像を情報端末6eに送信する(ステップS19)。その後、
図12に示すように、情報端末6eは、カメラ3a-3~3a-8により撮影された映像320a~320f(第2映像の一例)のサムネイルを接客画面200上に表示する(ステップS20)。なお、ステップS17において特定されたカメラが1台だった場合には、
図12を省略して
図13を表示してもよい。その場合、ステップS18~S22は省略し、特定されたカメラの映像を拡大表示してカメラ映像表示領域310に表示すればよい。
【0093】
図12に示す接客画面200では、映像表示領域210と、店舗マニュアル表示領域212と、カメラ映像表示領域310とが設けられている。カメラ映像表示領域310では、カメラ3a-3~3a-8により撮影された映像320a~320fのサムネイルが並んで表示される。ここで、映像320aは、カメラ3a-3により撮影された映像である。映像320fは、カメラ3a-8により撮影された映像である。このように、
図12に示す接客画面200上では、遠隔接客装置2aにより撮影された映像110aと、遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8により撮影された映像320a~320fのサムネイルが同一画面上に同時に表示される。
【0094】
図12に示すように、映像320a~320fでは、遠隔接客装置2aおよび遠隔接客装置2aの周辺に存在する人Kが強調表示されている。例えば、カメラ3a-4により撮影された映像320bでは、遠隔接客装置2aの存在領域が強調表示されるように、遠隔接客装置2aの存在領域を取り囲む矩形マークW1が表示されている。同様に、遠隔接客装置2aの付近に存在する人Kが強調表示されるように、人Kを囲む矩形マークW2が映像320bに表示されている。なお、矩形マークW2は、単に人Kを映像内で検知した段階で表示され、さらに人Kが遠隔接客装置2aの付近に入った段階で注目色等により強調表示されてもよい。
【0095】
(カメラ映像中における遠隔接客装置2aの存在領域を取り囲む矩形マークW1の表示処理)
例えば、遠隔接客装置2aの存在領域は、情報端末6に対するオペレータUの入力操作に応じて設定されてもよい。なお、このようなユーザ指示は、主にオペレータUの情報端末6から行う想定であるが、それらを統括管理する企業側の情報処理装置等(不図示)から行ってもよい。例えば、情報端末6に映像320bが表示された状態で、オペレータUが映像320bにおける遠隔接客装置2aの存在領域を指定したときに、映像320bにおける遠隔接客装置2aの存在領域を示す情報(例えば、映像320bにおける当該存在領域を規定する座標情報)が情報端末6から第2サーバ5に送信される。その後、第2サーバ5は、当該存在領域を示す情報に基づいて、遠隔接客装置2aの存在領域を特定した上で、映像320bにおいて遠隔接客装置2aの存在領域を取り囲む矩形マークW1を表示する。その後、矩形マークW1が表示された映像320bのサムネイルが接客画面200上に表示される。さらに、上記と同様の手法で、映像320a,320d,320eのそれぞれにおいて矩形マークW1が設定及び表示される。尚、第2サーバ5は、画像認識モデルを用いて映像320bを解析することで、映像320bに示された遠隔接客装置2aの存在領域を特定した上で、特定された遠隔接客装置2aの存在領域を取り囲む矩形マークW1を表示してもよい。
【0096】
(カメラ映像中における人Kを囲む矩形マークW2の表示処理)
また、情報端末6に対するオペレータUの入力操作に応じて、遠隔接客装置2aの周辺領域が設定されてもよい。なお、このようなユーザ指示は、主にオペレータUの情報端末6から行う想定であるが、それらを統括管理する企業側の情報処理装置等(不図示)から行ってもよい。例えば、情報端末6に映像320bが表示された状態で、オペレータUが映像320bにおける遠隔接客装置2aの周辺領域を指定したときに、映像320bにおける遠隔接客装置2aの周辺領域を示す情報(例えば、映像320bにおける当該周辺領域を規定する座標情報)が情報端末6から第2サーバ5に送信される。なお、周辺領域は、遠隔接客装置2aからの距離が所定以内の領域や、人の滞留等が過去に所定頻度以上で発生している領域を、自動又は手動で設定してもよい。その後、第2サーバ5は、情報端末6から送信された情報に基づいて、映像320bにおける周辺領域を設定する。その後、第2サーバ5は、人Kが周辺領域内に存在することを検出した場合に、人Kを強調表示するために、人Kを取り囲む矩形マークW2を映像320b上に表示する。その後、矩形マークW2が表示された映像320bのサムネイルが接客画面200上に表示される。なお、単に人Kを映像内で検知した段階で矩形マークW2を表示し、さらに人Kが周辺領域内に存在することを検出した段階で矩形マークW2を注目色等により強調表示してもよい。さらに、上記と同様の手法で、映像320a,320d,320eのそれぞれにおいて遠隔接客装置2aの周辺領域が設定されると共に、当該設定された周辺領域内に存在する人Kを取り囲む矩形マークW2が表示される。尚、第2サーバ5は、人Kが周辺領域内に存在することを検出する際に画像認識モデルを用いてもよい。この場合、当該画像認識モデルは、画像データと、当該画像データに含まれる人に関する情報とからなる学習データにより構築されてもよい。特に、第2サーバ5は、画像認識モデルを用いて映像320bを解析することで、遠隔接客装置2aの周辺領域内に存在する人を検出した上で、当該検出した人を取り囲む矩形マークW2を映像320b上に表示してもよい。
【0097】
このように、映像320a~320fの幾つかにおいて矩形マークW1,W2が表示されているため、オペレータUeは、矩形マークW1によって各映像中に存在する遠隔接客装置2aを明確に認識することが可能となる。同様に、オペレータUeは、矩形マークW2によって各映像中に示された遠隔接客装置2aの周辺に存在する人Kを明確に認識することができる。したがって、オペレータUeは、遠隔接客装置2a及びその周辺にいる人Kを視認できるため、遠隔接客装置2aの周辺状況を瞬時に把握することができる。尚、本実施形態では、矩形マークW1,W2によってカメラ3の映像中の遠隔接客装置2a及び人Kが強調表示されているが、遠隔接客装置2a及び人Kの強調表示の視覚的態様は矩形マークW1,W2に限定されるものではない。
【0098】
本実施形態によれば、オペレータUeは、情報端末6eに表示された映像110a(第1映像の一例)と映像320a~320f(第2映像の一例)のサムネイルの両方を確認することで、遠隔接客装置2aの周辺の店舗状況を考慮した遠隔接客を提供することが可能となる。この点において、オペレータUeは、映像320a~320fを通じて遠隔接客装置2aの周辺における店舗状況を確認することができる。一方で、従来では、遠隔接客装置2aにより撮影された映像のみが情報端末6e上に表示されるため、オペレータUeは遠隔接客装置2aの前方の一部領域しか確認することができなかった。このため、オペレータUeは、情報端末6eを通じて俯瞰的な店舗状況を十分に把握することができなかった。本開示に係る遠隔接客システム1によれば、映像110a及び映像320a~320fの両方を通じて、遠隔接客装置2aの周辺の店舗状況を考慮した遠隔接客を提供することが可能となる。したがって、遠隔接客の質を向上させることが可能な遠隔接客システム1が提供されうる。
【0099】
次に、
図8に戻ると、ステップS21において、情報端末6eは、オペレータUeの入力操作に応じてカメラ3a-4の映像320bのサムネイルの指定を受け付けた上で、映像320bの拡大表示要求を第1サーバ4に送信する。例えば、
図12に示すように、映像320bのサムネイルがダブルクリック操作される。
【0100】
ステップS22において、第1サーバ4は、情報端末6eからの拡大表示要求に応じて、拡大表示されたカメラ3a-4の映像320bの送信要求を第2サーバ5に送信する。ステップS23において、第2サーバ5は、第1サーバ4からの送信要求に応じて、拡大表示された映像320bを第1サーバ4に送信する。その後、第1サーバ4は、拡大表示された映像320bを情報端末6eに送信する(ステップS24)。この結果、
図13の接客画面200に示すように、拡大表示された映像320bが情報端末6eに表示される(ステップS25)。なお、ここでいう拡大表示とは、映像320bのサムネイルに対するオリジナルの映像の表示を意味するが、その他に当該オリジナル映像の一部(例えば遠隔接客装置2aや客を含む領域)をズームアップした映像等でもよい。
【0101】
図13に示す接客画面200では、カメラ映像表示領域310において、映像320bのビューアが表示される。映像320bのビューアは、拡大表示された映像320bと、映像320bの再生時間を示すタイムライン350と、タイムライン350上をスライド可能なスライダ340とを有する。オペレータUeは、映像320bのビューアのタイムライン350上においてスライダ340を移動させることで、映像320bの再生時刻を変更することができる。例えば、オペレータUeがスライダ340を10:30の位置に移動した場合、情報端末6eは、10:30の前後の時間帯における映像320bの送信要求を第1サーバ4に送信する。第1サーバ4は、当該送信要求に応じて、10:30の前後の時間帯における映像320bを第2サーバ5から取得した上で、当該取得した映像320bを情報端末6eに送信する。このように、10:30の前後の時間帯における映像320bがカメラ映像表示領域310に表示される。
【0102】
このように、オペレータUeは、映像100aと拡大表示された映像320bの両方を通じて、遠隔接客装置2aの周辺の店舗状況(特に、遠隔接客装置2aの付近にいる人の様子等)を詳細に確認することができる。したがって、遠隔接客装置2aの周辺の店舗状況を考慮した遠隔接客を提供することが可能となり、遠隔接客の質を向上させることが可能な遠隔接客システム1が提供されうる。
【0103】
(本実施形態の変形例に係る遠隔接客方法:注目領域の混雑に応じて映像110aのサムネイルを強調表示する処理)
次に、
図14及び
図15を主に参照することで、カメラ3a-3により撮影された映像320a中において設定された注目領域S(
図15参照)の混雑に応じて、遠隔接客装置2aの映像110aのサムネイルを強調表示する処理(本実施形態の変形例に係る遠隔接客方法)について以下に説明する。
図14は、カメラ3a-3の映像320a中において設定された注目領域Sの混雑に応じて遠隔接客装置2aの映像110aのサムネイルを強調表示する処理を説明するためのフローチャートである。
図15は、カメラ3a-3の映像320a中において設定された注目領域Sの混雑に応じて、遠隔接客装置2a~2cの映像110a~110cのサムネイルのうち映像110aが強調表示されている様子を示す図である。
【0104】
尚、
図7に示すフローチャートでは、ステップS7及びS8において、映像110aにおける人Kの検出に応じて映像110aのサムネイルが強調表示されている。一方で、本変形例では、映像110aにおいて人Kが検出されない場合であっても、映像110aのサムネイルが強調表示される点でステップS7及びS8の処理とは相違する。この点において、本変形例では、遠隔接客装置2aに関連付けられたカメラ3a-3の映像320a中に設定された注目領域Sの状況に応じて、映像110aのサムネイルが強調表示される点でステップS7及びS8とは相違する。
【0105】
図14において、ステップS31~S34は、
図7のステップS1~S4と同様であるため、説明を省略する。ステップS35において、第1サーバ4は、遠隔接客装置2a~2cにより撮影された映像を受信した上で、待機画面100(
図15参照)を表示するためのデータを情報端末6eに送信する。その後、
図15に示す待機画面100が情報端末6eの表示部66に表示される(ステップS36)。
【0106】
図15に示すように、待機画面100では、映像表示領域120とオペレータ表示領域130が設けられている。映像表示領域120には、遠隔接客装置2a~2cにより撮影された映像110a~110cのサムネイルが表示される。尚、この時点では、映像110aのサムネイルの外枠は強調表示されておらず、映像320aがワイプ映像として映像110aに重畳表示されていない。
【0107】
次に、ステップS37では、第2サーバ5は、映像320aにおいて設定された注目領域S(
図15参照)に関連付けられた判定条件に基づいて、注目領域Sが混雑していること(所定のイベントの一例)を決定する。その後、第2サーバ5は、映像320aを撮影するカメラ3a-3に関する情報(例えば、カメラ3a-3のID)を含む強調表示指示を第1サーバ4に送信する。ここで、注目領域Sは、遠隔接客装置2aの周辺であって、遠隔接客装置2aの撮像部27の視野外に設定されてもよい。
【0108】
また、映像320a中の注目領域Sは、情報端末6に対するオペレータUの入力操作に応じて設定されてもよい。例えば、情報端末6に映像320aが表示された状態で、オペレータUが映像320aにおける注目領域Sを指定したときに、映像320aにおける注目領域Sを示す情報(例えば、映像320aにおける注目領域Sを規定する座標情報)が情報端末6から第2サーバ5に送信される。その後、第2サーバ5は、映像320aにおける注目領域Sを設定する。なお、注目領域Sは、遠隔接客装置2aからの距離が所定以内の領域や、人の滞留等が過去に所定頻度以上で発生している領域を、自動又は手動で設定してもよい。
【0109】
また、注目領域Sに関連付けられた判定条件とは、注目領域Sに存在する人の人数および滞在時間のうちの少なくとも一つに関連する判定条件である。例えば、判定条件は、注目領域Sに存在する人の人数がN人以上(Nは自然数)、且つ注目領域Sにいる人の滞在時間がM秒以上(Mは自然数)であることを示す判定条件であってもよい。この場合、第2サーバ5は、映像320aにおいて設定された注目領域S内にいる人の人数がN人以上、且つ滞在時間がM秒以上であることを検出したときに、注目領域Sが混雑していることを決定してもよい。ここで、第2サーバ5は、注目領域S内に存在する人Kを検出する際に画像認識モデルを用いてもよい。尚、本例では、注目領域Sにおける所定のイベントの一例として、注目領域Sの混雑が挙げられているが、所定のイベントはこれに限定されるものではない。
【0110】
図14に戻ると、ステップS38において、第1サーバ4は、第2サーバ5からの強調表示指示と店舗管理テーブル(
図9(c)参照)に基づいて、カメラ3a-3に関連付けられた遠隔接客装置2aを特定する。次に、第1サーバ4は、遠隔接客装置2aにより撮影された映像110aのサムネイルを強調表示するための強調表示指示を情報端末6eに送信する(ステップS39)。その後、ステップS40において、情報端末6eは、第1サーバ4から送信された強調表示指示に応じて遠隔接客装置2aの映像110aのサムネイルを強調表示する(
図15参照)。例えば、映像110aのサムネイルの強調表示の視覚的態様としては、映像110aのサムネイルの外枠を太く目立つ色にする等して強調表示されてもよい。なお、ステップS40以降は
図8のS15~S25と同様であるため、説明を省略する。
【0111】
図15に示すように、映像110aのサムネイルが強調表示された状態で、映像320aがワイプ映像として映像110a上に重畳表示されてもよい。この場合、ステップS37において、第2サーバ5は、カメラ3a-3に関する情報を含む強調表示指示とともに映像320aを第1サーバ4に送信してもよい。なお、ワイプ映像は、映像110a上への重畳表示のみならず、プッシュ通知やポップアップ通知により表示してもよい。また、ワイプ映像は、
図10で示した例において、強調表示される条件で表示してもよい。
【0112】
本変形例によれば、映像320aにおける注目領域Sの混雑の検出に応じて、映像320aを撮影するカメラ3a-3に関連付けられた遠隔接客装置2aが特定された上で、遠隔接客装置2aにより撮影された映像110aのサムネイルが強調表示される。このように、オペレータUeは、強調表示された映像110aのサムネイルを通じて、遠隔接客装置2aが配置された店舗Aの注目領域Sにおいて混雑が発生していることを明確に認識することが可能となる。このため、オペレータUeは、遠隔接客装置2aの視野内に人がいない場合であっても、店舗Aにおける遠隔接客の必要性を把握することができるため、遠隔接客による営業や販売の機会損失を好適に防ぐことができる。このように、遠隔接客の質を向上させることが可能な遠隔接客システム1が提供することができる。
【0113】
また、本変形例では、映像320aが映像110a上に重畳表示されているため、オペレータUeは、情報端末6e上に同時に表示された映像320aと映像110aを視認することで、店舗Aの注目領域Sにおいて混雑が発生していることが認識できる。このように、オペレータUeは、店舗Aにおける遠隔接客の必要性を直ぐに把握することができる。
【0114】
尚、本変形例では、待機画面100が情報端末6eの表示部66に表示される点のみが説明されているが、オペレータUf,Ugも遠隔接客アプリケーションにログインしている場合では、待機画面100は情報端末6e,6fの表示部66にも表示される。即ち、ステップS35において、第1サーバ4は、待機画面100を表示するためのデータを情報端末6e~6gのそれぞれに送信する。同様に、ステップS39では、映像110aのサムネイルを強調表示するための強調表示指示は情報端末6e~6gのそれぞれに送信される。その後、ステップS40において、情報端末6e~6gの各々は、強調表示指示に応じて映像110aのサムネイルを強調表示する。
【0115】
また、本変形例では、映像320aのみに注目領域Sが設定されているが、注目領域Sは映像320a以外の他のカメラ映像(具体的には、映像320b~320f)にも設定されてもよい。即ち、複数の注目領域Sが店舗A内に設定されてもよい。さらに、待機画面100上に表示された映像110aが強調表示されているが、
図12に示す接客画面200上に表示された映像320aのサムネイルが強調表示されてもよい。この場合、
図14のステップS39において、第1サーバ4は、映像320aのサムネイルを強調表示するための強調表示指示を情報端末6eに送信する。その後、ステップS40において、情報端末6eは、第1サーバ4から送信された強調表示指示に応じて、接客画面200上の映像320aのサムネイルを強調表示する。接客画面200上に表示された映像320aのサムネイルが強調表示されている場合も同様に、オペレータUeは、注目領域Sにおいて混雑が発生していることを明確に認識することができる。
【0116】
(遠隔接客装置2で撮影した映像とカメラ3で撮影した映像とを入れ替えて表示する変形例)
以上の説明では、遠隔接客装置2で撮影した映像をメインで表示し、カメラ3で撮影した映像をサブで表示するものとしたが、このメイン/サブの関係を入れ替えてもよい。即ち、カメラ3で撮影した映像をメインで表示しつつ、遠隔接客装置2で撮影した映像をサブで表示してもよい。これは、カメラ3で撮影した映像をオペレータUが情報端末6からビューア等を介して閲覧するようなシステムを前提として、あるカメラ3の映像とともに、それに対応する遠隔接客装置2の映像を表示するものである。その場合、
図6以降の説明において、遠隔接客装置2とカメラ3、第1サーバ4と第2サーバ5を、それぞれ入れ替える。また、
図9(c)のデータ構造では、遠隔接客装置IDとカメラIDを入れ替える。
図10~
図13,
図15のUI図では、遠隔接客装置2により撮影された映像とカメラ3により撮影された映像を入れ替える。
【0117】
以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。
【符号の説明】
【0118】
1:遠隔接客システム、2,2a,2b,2c:遠隔接客装置、3,3a-1~3c-10:カメラ、4:第1サーバ、5:第2サーバ、6,6e,6f,6g:情報端末、7:通信ネットワーク、20:通信バス、21:制御部、22:記憶装置、23:入出力インターフェース、24:通信部、25:入力操作部、26:表示部、27:撮像部、28:マイク、29:スピーカ、30:通信バス、31:制御部、32:記憶装置、33:位置情報取得部、34:通信部、35:入力操作部、36:撮像部、37:PTZ機構、40:通信バス、41:制御部、42:記憶装置、43:入出力インターフェース、44:通信部、60:通信バス、61:制御部、62:記憶装置、63:入出力インターフェース、64:通信部、65:入力操作部、66:表示部、67:撮像部、68:マイク、69:スピーカ、100:待機画面、100a,110a,110b,11c:映像、120:映像表示領域、130:オペレータ表示領域、200:接客画面、202:筐体、210:映像表示領域、212:店舗マニュアル表示領域、220:オペレータ映像表示領域、223e:映像、230:店舗説明資料一覧領域、240:チャット表示領域、250:カメラボタン、260:ホームボタン、263:接客終了ボタン、265:保留ボタン、310:カメラ映像表示領域、320,320a,320b,320c,320d,320e,320f:映像、340:スライダ、350:タイムライン、K:人、S:注目領域、U,Ue,Uf,Ug:オペレータ、W1,W2:矩形マーク
【要約】
【課題】遠隔接客の質を向上させることが可能な遠隔接客システムを提供する。
【解決手段】遠隔接客システム1は、遠隔接客を支援すると共に、客を示す第1映像を撮影するように構成された遠隔接客装置2aと、店舗の様子を示す第2映像を撮影するように構成された複数のカメラ3a-1~3a-10と、遠隔接客を行うオペレータUeにより操作される情報端末6eとにより遠隔接客を行う。遠隔接客システム1は、複数のカメラ3a-1~3a-10のうち遠隔接客装置2aに関連付けられたカメラ3a-3~3a-8を特定し、遠隔接客装置2aにより撮影された第1映像と、前記特定されたカメラ3a-3~3a-8により撮影された第2映像とを、情報端末6eに表示させる。
【選択図】
図6