特許 7587779 遠隔接客システム、遠隔接客方法、および遠隔接客プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-13

(45)【発行日】2024-11-21

(54)【発明の名称】遠隔接客システム、遠隔接客方法、および遠隔接客プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20241114BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 22

(21)【出願番号】P 2024088426

(22)【出願日】2024-05-30

【審査請求日】2024-06-04

【早期審査対象出願】

(73)【特許権者】

【識別番号】519384415

【氏名又は名称】タイムリープ株式会社

(73)【特許権者】

【識別番号】515029558

【氏名又は名称】セーフィー株式会社

(74)【代理人】

【識別番号】100190414

【弁理士】

【氏名又は名称】芹澤 友之

(72)【発明者】

【氏名】井本 賢

(72)【発明者】

【氏名】郷 直美

【審査官】佐藤 光起

(56)【参考文献】

【文献】特開２００６－１４０６５２（ＪＰ，Ａ）

【文献】特開２０１２－０３９４６８（ＪＰ，Ａ）

【文献】特開２０１３－０５１６７８（ＪＰ，Ａ）

【文献】特開２０２０－０７４５０６（ＪＰ，Ａ）

【文献】特開２０１５－１０３１０４（ＪＰ，Ａ）

【文献】特開２０２１－１５３２９４（ＪＰ，Ａ）

【文献】国際公開第２００８／０７２３７４（ＷＯ，Ａ１）

【文献】特開２０１９－０１０９０９（ＪＰ，Ａ）

【文献】特開平１１－１６４２８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させ、
前記情報端末に対する入力操作に応じて、前記第２映像のうち何れかが指定された場合に、
前記第１映像とともに、前記指定された第２映像を拡大表示した状態で、前記情報端末に表示させる、
遠隔接客システム。

【請求項2】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された複数の遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数の遠隔接客装置により撮影された複数の第１映像を、前記情報端末に表示させ、
前記情報端末に対する入力操作に応じて、前記複数の遠隔接客装置のうち第１遠隔接客装置の指定を受け付け、
前記複数のカメラのうち前記第１遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記第１遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させる、
遠隔接客システム。

【請求項3】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記カメラの識別情報に基づいて、前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させる、
遠隔接客システム。

【請求項4】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
ユーザの指示に応じて、前記カメラと前記遠隔接客装置との間との対応関係を示す情報を登録し、
前記対応関係を示す情報に基づいて、前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させる、
遠隔接客システム。

【請求項5】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記第２映像を解析することにより、前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させる、
遠隔接客システム。

【請求項6】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させ、
前記第２映像に示された前記遠隔接客装置を強調表示させる、
遠隔接客システム。

【請求項7】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させ、
前記第２映像において所定のイベントが発生したことに応じて、前記所定のイベントが発生した第２映像に対応する第１映像を強調表示させる、
遠隔接客システム。

【請求項8】

遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行う遠隔接客システムであって、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させ、
前記第２映像において所定のイベントが発生したことに応じて、前記所定のイベントが発生した第２映像に対応する第１映像上に当該第２映像をワイプ映像として重畳表示させる、
遠隔接客システム。

【請求項9】

前記遠隔接客装置に関連付けられたカメラとして複数のカメラが特定された場合に、
前記第１映像とともに、前記特定された複数のカメラにより撮影された複数の第２映像のサムネイルを、前記情報端末に表示させる、
請求項１乃至８の何れか一項に記載の遠隔接客システム。

【請求項10】

前記遠隔接客装置及び前記情報端末に通信可能な第１サーバと、
前記複数のカメラ及び前記第１サーバに通信可能な第２サーバと、
に接続され、
前記第１映像は、前記遠隔接客装置から前記第１サーバを介して前記情報端末に提供され、
前記第２映像は、前記カメラから前記第２サーバ及び前記第１サーバを介して前記情報端末に提供される、
請求項１乃至８の何れか一項に記載の遠隔接客システム。

【請求項11】

ユーザの指示に応じて、前記遠隔接客装置の存在領域を特定し、
前記遠隔接客装置の存在領域を強調表示させる、
請求項６に記載の遠隔接客システム。

【請求項12】

前記第２映像を解析することにより、前記遠隔接客装置の存在領域を特定し、
前記遠隔接客装置の存在領域を強調表示させる、
請求項６に記載の遠隔接客システム。

【請求項13】

前記第２映像に示された前記遠隔接客装置の周辺に存在する人を強調表示させる、
請求項１乃至８の何れか一項に記載の遠隔接客システム。

【請求項14】

ユーザの指示に応じて、前記遠隔接客装置の周辺領域を特定し、
前記周辺領域に存在する人を強調表示させる、
請求項１３に記載の遠隔接客システム。

【請求項15】

前記第２映像を解析することにより、前記遠隔接客装置の周辺領域に存在する人を検出し、
前記周辺領域に存在する人を強調表示させる、
請求項１３に記載の遠隔接客システム。

【請求項16】

前記第２映像において所定のイベントが発生したことに応じて、前記情報端末において所定の表示処理を実行する、
請求項１乃至８の何れか一項に記載の遠隔接客システム。

【請求項17】

前記所定のイベントは、前記第２映像の注目領域において存在する人の人数および滞在時間のうちの少なくとも一つに関連する判定条件が満たされたことである、
請求項１６に記載の遠隔接客システム。

【請求項18】

前記所定の表示処理は、前記所定のイベントが発生した第２映像を強調表示させることである、
請求項１６に記載の遠隔接客システム。

【請求項19】

前記情報端末は、前記オペレータを示す第３映像を撮影するように構成され、
前記遠隔接客システムは、前記情報端末により撮影された前記第３映像を前記遠隔接客装置に表示させる、
請求項１乃至８の何れか一項に記載の遠隔接客システム。

【請求項20】

遠隔接客システムによって実行される遠隔接客方法であって、
前記遠隔接客システムは、
遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された複数の遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行い、
前記遠隔接客方法は、
前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定するステップと、
前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させるステップと、
前記情報端末に対する入力操作に応じて、前記第２映像のうち何れかが指定された場合に、
前記第１映像とともに、前記指定された第２映像を拡大表示した状態で、前記情報端末に表示させるステップと、
を含む、
遠隔接客方法。

【請求項21】

遠隔接客システムによって実行される遠隔接客方法であって、
前記遠隔接客システムは、
遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された複数の遠隔接客装置と、
所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、
遠隔接客を行うオペレータにより操作される情報端末と、
により遠隔接客を行い、
前記遠隔接客方法は、
前記複数の遠隔接客装置により撮影された複数の第１映像を、前記情報端末に表示させるステップと、
前記情報端末に対する入力操作に応じて、前記複数の遠隔接客装置のうち第１遠隔接客装置の指定を受け付けるステップと、
前記複数のカメラのうち前記第１遠隔接客装置に関連付けられた少なくとも一つのカメラを特定するステップと、
前記第１遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させるステップと、
を含む、
遠隔接客方法。

【請求項22】

請求項２０又は２１に記載の遠隔接客方法を遠隔接客システムに実行させる遠隔接客プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、遠隔接客システム、遠隔接客方法、および遠隔接客プログラムに関する。

【背景技術】

【0002】

コロナ禍の影響も相俟って社会全体の大部分においてデジタルトランスフォーメーション（ＤＸ）化が加速度的に現在進んできている。特に、人手不足による影響が大きい接客サービス業においてもＤＸ化が進んでおり、生産性の向上と人手不足の解消の観点より遠隔接客システムの導入が現在脚光を浴びている。

【0003】

この点において、特許文献１では、店舗に配置された店舗端末と、オペレータ端末と、管理装置とを備えた遠隔接客システムが開示されている。特許文献１に開示された遠隔接客システムでは、オペレータ端末に表示された待機画面上に、複数の店舗に配置された複数の店舗端末により撮影された映像のサムネイルが並んで表示される。複数の映像のサムネイルの一つがオペレータによって指定された場合に、指定されたサムネイルの映像を撮影する店舗端末とオペレータ端末が通信可能に接続される。その後、オペレータ端末により撮影されたオペレータを示す映像が店舗端末に表示されると共に、店舗端末により撮影された客を示す映像がオペレータ端末に表示される。このように、オペレータは、オペレータ端末と店舗端末を通じて、物理的に店舗から離れた地点から店舗内にいる客に対して遠隔接客を行うことが可能となる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２１－１５３２９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に開示された遠隔接客システムは、少人数のオペレータによって多くの店舗における遠隔接客を行うことができることから、接客業における生産性の向上や人手不足の解消に大きく貢献するものである。その一方で、当該遠隔接客システムを用いた遠隔接客は通常の対面接客と比べた欠点も存在する。特に、店舗端末により撮影された映像では、店舗端末のカメラの視野内に存在する客を認識できる一方で、店舗端末のカメラの視野外に存在する客を認識することができない。このため、オペレータは、店舗端末を通じて俯瞰的な店舗状況を十分に把握することができない故に、店舗端末の周辺の店舗状況を考慮した遠隔接客を行うことができない。さらに、オペレータは、遠隔での接客を受けたい視野外の客の存在に気が付かないため、視野外にいる客に対する遠隔接客の機会を見逃してしまう。このように、上記観点より遠隔接客システムを更に改善する余地がある。

【0006】

本開示は、上記観点に鑑み、遠隔接客の質を向上させることが可能な遠隔接客システム、遠隔接客方法、および遠隔接客プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本開示の一態様に係る遠隔接客システムは、遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、遠隔接客を行うオペレータにより操作される情報端末と、により遠隔接客を行う遠隔接客システムである。前記遠隔接客システムは、前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させる。

【0008】

上記構成によれば、オペレータは、情報端末に表示された第１映像と第２映像の両方を確認することで、遠隔接客装置の周辺の状況を考慮した遠隔接客を提供することが可能となる。この点において、オペレータは、カメラにより撮影された第２映像を通じて遠隔接客装置の周辺における状況を確認することができる。一方、従来の遠隔接客システムでは、遠隔接客装置により撮影された第１映像のみが情報端末上に表示されるため、オペレータは遠隔接客装置の前方の一部領域しか確認することができなかった。このため、オペレータは、情報端末を通じて俯瞰的な状況を十分に把握することができなかった。本開示に係る遠隔接客システムによれば、第１映像及び第２映像の両方を通じて、遠隔接客装置の周辺の俯瞰的な状況を考慮した遠隔接客を提供することが可能となる。したがって、遠隔接客の質を向上させることが可能な遠隔接客システムが提供することができる。

【0009】

また、前記遠隔接客装置に関連付けられたカメラとして複数のカメラが特定された場合に、前記遠隔接客システムは、前記第１映像とともに、前記特定された複数のカメラにより撮影された複数の第２映像のサムネイルを、前記情報端末に表示させてもよい。

【0010】

上記構成によれば、情報端末に表示された第１映像と第２映像を通じて、遠隔接客装置の周辺の俯瞰的な状況を考慮した遠隔接客を提供することが可能となる。

【0011】

また、前記遠隔接客システムは、前記情報端末に対する入力操作に応じて、前記複数の第２映像のサムネイルのうち何れかが指定された場合に、前記第１映像とともに、前記指定されたサムネイルに対応する第２映像を拡大表示した状態で、前記情報端末に表示させてもよい。

【0012】

上記構成によれば、オペレータは、拡大表示された第２映像を通じて、遠隔接客装置の周辺の俯瞰的な状況を詳細に確認することができる。

【0013】

また、前記遠隔接客システムは、複数の遠隔接客装置を含んでもよい。前記遠隔接客システムは、前記複数の遠隔接客装置により撮影された複数の第１映像を、前記情報端末に表示させ、前記情報端末に対する入力操作に応じて、前記複数の遠隔接客装置のうち第１遠隔接客装置が指定された場合に、前記第１遠隔接客装置に関連付けられた少なくとも一つのカメラを特定し、前記第１遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させてもよい。

【0014】

上記構成によれば、入力操作によって複数の遠隔接客装置から第１遠隔接客装置が指定された場合に、オペレータは、第１遠隔接客装置の周辺の俯瞰的な状況を考慮した上で、第１遠隔接客装置を通じて遠隔接客を提供することが可能となる。したがって、情報端末と第１遠隔接客装置とを通じて実行される遠隔接客の質を向上させることができる。

【0015】

また、前記遠隔接客システムは、前記遠隔接客装置及び前記情報端末に通信可能な第１サーバと、前記複数のカメラ及び前記第１サーバに通信可能な第２サーバと、に接続されてもよい。前記第１映像は、前記遠隔接客装置から前記第１サーバを介して前記情報端末に提供されてもよい。前記第２映像は、前記カメラから前記第２サーバ及び前記第１サーバを介して前記情報端末に提供されてもよい。

【0016】

また、前記遠隔接客システムは、前記カメラの識別情報に基づいて、前記遠隔接客装置に関連付けられた前記少なくとも一つのカメラを特定してもよい。

【0017】

また、前記遠隔接客システムは、ユーザの指示に応じて、前記カメラと前記遠隔接客装置との間との対応関係を示す情報を登録し、前記対応関係を示す情報に基づいて、前記遠隔接客装置に関連付けられた前記少なくとも一つのカメラを特定してもよい。

【0018】

また、前記遠隔接客システムは、前記第２映像を解析することにより、前記遠隔接客装置に関連付けられた前記少なくとも一つのカメラを特定してもよい。

【0019】

また、前記遠隔接客システムは、前記第２映像に示された前記遠隔接客装置を強調表示させてもよい。

【0020】

上記構成によれば、オペレータは、第２映像中に存在する遠隔接客装置を明確に認識することができる。

【0021】

また、前記遠隔接客システムは、ユーザの指示に応じて、前記遠隔接客装置の存在領域を特定し、前記遠隔接客装置の存在領域を強調表示させてもよい。

【0022】

また、前記遠隔接客システムは、前記第２映像を解析することにより、前記遠隔接客装置の存在領域を特定し、前記遠隔接客装置の存在領域を強調表示させてもよい。

【0023】

また、前記遠隔接客システムは、前記第２映像に示された前記遠隔接客装置の周辺に存在する人を強調表示させてもよい。

【0024】

上記構成によれば、オペレータは、第２映像を通じて、遠隔接客装置の周辺に存在する人を明確に認識することができる。

【0025】

また、前記遠隔接客システムは、ユーザの指示に応じて、前記遠隔接客装置の周辺領域を特定し、前記周辺領域に存在する人を強調表示させてもよい。

【0026】

また、前記遠隔接客システムは、前記第２映像を解析することにより、前記遠隔接客装置の周辺領域に存在する人を検出し、前記周辺領域に存在する人を強調表示させてもよい。

【0027】

また、前記遠隔接客システムは、前記第２映像において所定のイベントが発生したことに応じて、前記情報端末において所定の表示処理を実行してもよい。

【0028】

上記構成によれば、オペレータは、情報端末における所定の表示処理を通じて、所定のイベント（例えば、注目領域が混雑している等）が発生していることを明確に認識することができる。

【0029】

また、前記所定のイベントは、前記第２映像の注目領域において存在する人の人数および滞在時間のうちの少なくとも一つに関連する判定条件が満たされたことであってもよい。

【0030】

上記構成によれば、注目領域に存在する人の人数や滞在時間に関連した判定条件に基づいて第２映像における所定のイベント（例えば、注目領域が混雑している等）の発生が決定されるため、オペレータは、注目領域に存在する人の人数や滞在時間を考慮した遠隔接客を提供することが可能となる。

【0031】

また、前記所定の表示処理は、前記所定のイベントが発生した第２映像を強調表示させることであってもよい。

【0032】

上記構成によれば、オペレータは、強調表示された第２映像を通じて、当該第２映像に所定のイベント（例えば、注目領域が混雑している等）が発生していることを明確に認識することができる。

【0033】

また、前記所定の表示処理は、前記所定のイベントが発生した第２映像に対応する第１映像を強調表示させることであってもよい。

【0034】

上記構成によれば、オペレータは、強調表示された第１映像を通じて、第１映像を撮影する遠隔接客装置が配置された店舗等において所定のイベントが発生していることを明確に認識することが可能となる。このため、オペレータは、当該店舗における遠隔接客の必要性を把握することができるため、遠隔接客による営業や販売の機会損失を好適に防ぐことができる。このように、遠隔接客の質を向上させることが可能な遠隔接客システムが提供することができる。

【0035】

また、前記所定の表示処理は、前記所定のイベントが発生した第２映像に対応する第１映像とともに、前記所定のイベントが発生した第２映像を表示させることであってもよい。

【0036】

上記構成によれば、オペレータは、第１映像と第２映像を通じて、所定のイベント（例えば、注目領域が混雑している等）が発生している店舗等の状況を明確に認識することが可能となり、当該店舗における遠隔接客の必要性を直ぐに把握することができる。

【0037】

また、前記情報端末は、前記オペレータを示す第３映像を撮影するように構成されてもよい。前記遠隔接客システムは、前記情報端末により撮影された前記第３映像を前記遠隔接客装置に表示させてもよい。

【0038】

本開示の一態様に係る遠隔接客システムは、遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された複数の遠隔接客装置と、所定のエリアの様子を示す第２映像を撮影するように構成されたカメラと、遠隔接客を行うオペレータにより操作される情報端末と、により遠隔接客を行う遠隔接客システムである。前記遠隔接客システムは、前記複数の遠隔接客装置のうち前記カメラに関連付けられた少なくとも一つの遠隔接客装置を特定し、前記カメラにより撮影された第２映像と、前記特定された遠隔接客装置により撮影された第１映像とを、前記情報端末に表示させる。

【0039】

本開示の一態様に係る遠隔接客方法は、遠隔接客システムによって実行される。前記遠隔接客システムは、遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置と、所定のエリアの様子を示す第２映像を撮影するように構成された複数のカメラと、遠隔接客を行うオペレータにより操作される情報端末と、により遠隔接客を行う。前記遠隔接客方法は、前記複数のカメラのうち前記遠隔接客装置に関連付けられた少なくとも一つのカメラを特定するステップと、前記遠隔接客装置により撮影された第１映像と、前記特定されたカメラにより撮影された第２映像とを、前記情報端末に表示させるステップと、を含む。

【0040】

上記方法によれば、第１映像及び第２映像の両方を通じて、遠隔接客装置の周辺の俯瞰的な状況を考慮した遠隔接客を提供することが可能となる。したがって、遠隔接客の質を向上させることが可能な遠隔接客方法を提供することができる。

【0041】

また、上記遠隔接客方法を遠隔接客システムに実行させる遠隔接客プログラムが提供されてもよい。

【発明の効果】

【0042】

本開示によれば、遠隔接客の質を向上させることが可能な遠隔接客システム、遠隔接客方法、および遠隔接客プログラムを提供することができる。

【図面の簡単な説明】

【0043】

【図1】本開示の実施形態（以下、本実施形態という。）に係る遠隔接客システムを示す図である。

【図2】遠隔接客装置のハードウェア構成の一例を示す図である。

【図3】カメラのハードウェア構成の一例を示す図である。

【図4】第１サーバのハードウェア構成の一例を示す図である。

【図5】情報端末のハードウェア構成の一例を示す図である。

【図6】複数の遠隔接客装置と、複数のカメラと、情報端末と、第１サーバと、第２サーバとの接続関係を説明するための図である。

【図7】本実施形態に係る遠隔接客システムによって実行される一連の処理を説明するためのフローチャート（その１）である。

【図8】本実施形態に係る遠隔接客システムによって実行される一連の処理を説明するためのフローチャート（その２）である。

【図9】（ａ）は、オペレータ管理テーブルの一例を示す図である。（ｂ）は、企業管理テーブルの一例を示す図である。（ｃ）は、店舗管理テーブルの一例を示す図である。

【図10】複数の遠隔接客装置により撮影された複数の映像のサムネイルが表示された待機画面の一例を示す図である。

【図11】オペレータにより指定された遠隔接客装置の映像が表示された接客画面の一例を示す図である。

【図12】オペレータにより指定された遠隔接客装置の映像と複数のカメラの映像のサムネイルとが表示された接客画面の一例を示す図である。

【図13】オペレータにより指定されたカメラの映像が拡大表示された接客画面の一例を示す図である。

【図14】カメラの映像中において設定された注目領域の混雑に応じて遠隔接客装置の映像のサムネイルを強調表示する処理を説明するためのフローチャートである。

【図15】カメラの映像中において設定された注目領域の混雑に応じて複数の遠隔接客装置の映像のサムネイルの一つが強調表示されている様子を示す図である。

【発明を実施するための形態】

【0044】

（遠隔接客システム１の構成）
以下、本実施形態に係る遠隔接客システム１について図面を参照しながら説明する。図１は、本実施形態に係る遠隔接客システム１を示す図である。図１に示すように、遠隔接客システム１は、遠隔接客装置２ａ～２ｃと、カメラ３ａ－１～３ｃ－１０と、第１サーバ４と、第２サーバ５と、情報端末６ｅ～６ｇとを備える。これらの各要素は、通信ネットワーク７に接続されている。通信ネットワーク７は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、無線コアネットワークのうちの少なくとも一つによって構成されている。尚、遠隔接客システム１に設けられる要素は、これらの要素に限定されるものではなく、図１に図示されていない他の要素が遠隔接客システム１に更に設けられてもよい。

【0045】

遠隔接客システム１では、店舗から物理的に離れた位置にいるオペレータＵｅ～Ｕｇは、情報端末６ｅ～６ｇを通じて各店舗に来店した客に対して遠隔での接客を行うことができる。例えば、オペレータＵｅは、情報端末６ｅ及び店舗Ａに設置された遠隔接客装置２ａを通じて店舗Ａに来店した客に対して遠隔接客を行うことができる。同様に、オペレータＵｆは、情報端末６ｆ及び店舗Ｂに設置された遠隔接客装置２ｂを通じて店舗Ｂに来店した客に対して遠隔接客を行うことができる。オペレータＵｇは、情報端末６ｇ及び店舗Ｃに設置された遠隔接客装置２ｃを通じて店舗Ｃに来店した客に対して遠隔接客を行うことができる。なお、店舗は、屋内／屋外の何れでもよい。また、遠隔接客システム１の設置場所としては、店舗のみならず、ビルの受付／インフォメーションセンター／各種交通機関の窓口／イベント会場／チケット売り場／駐車場／倉庫／工場／守衛所／大学構内等、様々な場所が想定され得る。また、客とは、これら様々な場所において、有料／無料を問わず、夫々の場所に応じて様々なサービスを受ける者が想定され得る。

【0046】

また、以降の説明では、説明の便宜上、遠隔接客装置２ａ～２ｃを単に遠隔接客装置２と総称する場合がある。同様に、カメラ３ａ－１～３ｃ－１０を単にカメラ３と総称すると共に、情報端末６ｅ～６ｇを単に情報端末６と総称する場合がある。さらに、情報端末６ｅ～６ｇを操作するオペレータＵｅ～Ｕｇを単にオペレータＵと総称する場合がある。図１では、３台の遠隔接客装置２、３０台のカメラ３、３台の情報端末６がそれぞれ図示されているが、これらの装置の台数は特に限定されるものではない。

【0047】

（遠隔接客装置２の構成）
次に、図２を参照して遠隔接客装置２のハードウェア構成について以下に説明する。本実施形態では、遠隔接客装置２ａ～２ｃは同一の構成を備えるものとする。図２は、遠隔接客装置２のハードウェア構成の一例を示す図である。遠隔接客装置２ａ～２ｃは、通信ネットワーク７を介して第１サーバ４に通信可能に接続されている。遠隔接客装置２は、遠隔からの接客を支援するように構成されており、遠隔接客を行うオペレータＵｅ～Ｕｇが所属する企業の各店舗（例えば、飲食店や小売店等）に配置されている。より具体的には、遠隔接客装置２ａは、店舗Ａに配置され、店舗Ａに来店する客に対しての遠隔接客を支援するように構成される。遠隔接客装置２ｂは、店舗Ｂに配置され、店舗Ｂに来店する客に対しての遠隔接客を支援するように構成されている。遠隔接客装置２ｃは、店舗Ｃに配置され、店舗Ｃに来店する客に対しての遠隔接客を支援するように構成される。来店客は、遠隔接客装置２の表示部２６及びスピーカ２９を通じて、オペレータＵによる遠隔接客を受けることができる。

【0048】

図２に示すように、遠隔接客装置２は、制御部２１と、記憶装置２２と、入出力インターフェース２３と、通信部２４と、入力操作部２５と、表示部２６と、撮像部２７と、マイク２８と、スピーカ２９とを備える。これらの要素は、通信バス２０に接続されている。

【0049】

制御部２１は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、各種プログラム等が格納されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やプロセッサにより実行される各種プログラム等が格納される複数ワークエリアを有するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される。プロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のうちの少なくとも一つにより構成される。ＣＰＵは、複数のＣＰＵコアによって構成されてもよい。ＧＰＵは、複数のＧＰＵコアによって構成されてもよい。プロセッサは、記憶装置２２又はＲＯＭに組み込まれた各種プログラムから指定されたプログラムをＲＡＭ上に展開し、ＲＡＭとの協働で各種処理を実行するように構成されてもよい。

【0050】

記憶装置２２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。入出力インターフェース２３は、外部装置と遠隔接客装置２との間の接続を可能とするインターフェースであって、ＵＳＢ規格やＨＤＭＩ（登録商標）規格等の所定の通信規格に応じたインターフェースを含む。通信部２４は、遠隔接客装置２を通信ネットワーク７に接続するように構成されている。通信部２４は、例えば、無線基地局や無線ＬＡＮルータ等の外部機器と無線通信するための無線通信モジュール及び／又は有線通信モジュールとを含んでいる。無線通信モジュールは、送受信アンテナと、信号処理回路とを備える。無線通信モジュールは、Ｗｉ－Ｆｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信規格に対応した無線通信モジュールであってもよいし、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ）を用いた第Ｘ世代移動体通信システム（例えば、ＬＴＥ等の第４世代移動通信システム）に対応する無線通信モジュールであってもよい。

【0051】

入力操作部２５は、例えば、表示部２６の映像表示ディスプレイに重ねて配置されたタッチパネル、マウス、及び／又はキーボードであって、来店客の入力操作を受け付けると共に、当該入力操作に応じた操作信号を生成するように構成されている。表示部２６は、例えば、映像表示ディスプレイと、当該映像表示ディスプレイを駆動制御する映像表示回路とによって構成される。

【0052】

撮像部２７は、遠隔接客装置２の周辺環境（特に、正面領域）を撮像するように構成されている。特に、撮像部２７は、遠隔接客装置２の周辺環境を示す映像信号を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。光学系は、例えば、光学レンズと、カラーフィルタとを含む。イメージセンサは、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（相補型ＭＯＳ）等によって構成される。アナログ処理回路は、イメージセンサによって光電変換された映像信号（アナログ信号）を処理するように構成され、例えば、増幅器及びＡＤ変換器を含む。

【0053】

本実施形態では、撮像部２７は、遠隔接客装置２の筐体２０２の正面上に設けられてもよい（図６参照）。この場合、撮像部２７は、遠隔接客装置２の正面領域に存在する客を撮影することができる。つまり、撮像部２７の視野は遠隔接客装置２の正面領域の一部となるため、遠隔接客装置２は正面領域を除く周辺領域の映像を撮影することができないものとする。尚、筐体２０２上における撮像部２７の取付位置は特に限定されるものではない。

【0054】

マイク２８は、来店客から発声された音声を収集し、当該収集された音声に基づいて音声信号（デジタル信号）を生成するように構成されている。スピーカ２９は、制御部２１から音声データを受信した上で、当該受信した音声データに基づいて音声を外部に出力するように構成されている。

【0055】

（カメラ３の構成）
次に、図３を参照してカメラ３のハードウェア構成について以下に説明する。本実施形態では、カメラ３ａ－１～３ｃ－１０は同一の構成を備えるものとする。図３は、カメラ３のハードウェア構成の一例を示す図である。カメラ３は、撮影を通じて自身の周辺環境を示す映像を取得するように構成されており、店舗（所定のエリアの一例）の内部若しくは周辺に配置されてもよい。カメラ３は、店舗の状況を監視するネットワーク型の監視カメラであって、通信ネットワーク７を介して第２サーバ５に通信可能に接続されている。

【0056】

図１に示すように、カメラ３ａ－１～３ａ－１０の各々は、店舗Ａの所定の場所に固定的に設置されており、撮影を通じて店舗Ａの俯瞰的な状況を示す映像を取得するように構成されている。同様に、カメラ３ｂ－１～３ｂ－１０の各々は、店舗Ｂの所定の場所に固定的に設置されており、撮影を通じて店舗Ｂの俯瞰的な状況を示す映像を取得するように構成されている。カメラ３ｃ－１～３ｃ－１０の各々は、店舗Ｃの所定の場所に固定的に設置されており、撮影を通じて店舗Ｃの俯瞰的な状況を示す映像を取得するように構成されている。各カメラ３は、通信ネットワーク７を介して第２サーバ５に映像データを送信する。第２サーバ５は、各カメラ３により送信された映像データを保存する。

【0057】

図３に示すように、カメラ３は、制御部３１と、記憶装置３２と、位置情報取得部３３と、通信部３４と、入力操作部３５と、撮像部３６と、ＰＴＺ機構３７とを備える、これらの要素は通信バス３０に接続されている。また、カメラ３にはバッテリ（図示せず）が内蔵されてもよい。さらに、カメラ３にはマイクやスピーカが設けられてもよい。

【0058】

制御部３１は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令（プログラム）を記憶するように構成されている。例えば、メモリは、ＲＯＭとＲＡＭとから構成される。プロセッサは、例えば、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。記憶装置３２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。位置情報取得部３３は、カメラ３の位置情報（経度、緯度）を取得するように構成されており、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機である。

【0059】

通信部３４は、カメラ３を通信ネットワーク７に接続するように構成されている。通信部３４は、例えば、無線基地局や無線ＬＡＮルータ等の外部機器と無線通信するための無線通信モジュール及び／又は有線通信モジュールを含んでいる。入力操作部３５は、操作者の入力操作を受け付けると共に、操作者の入力操作に応じた操作信号を生成するように構成されている。撮像部３６は、カメラ３の周辺環境を撮像するように構成されている。特に、撮像部３６は、カメラ３の周辺環境を示す映像信号を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。

【0060】

ＰＴＺ機構３７は、パン（Ｐａｎｏｒａｍａｃ）機構と、チルト（Ｔｉｌｔ）機構と、ズーム（Ｚｏｏｍ）機構とを備える。パン機構は、水平方向におけるカメラ３の向きを変更するように構成されている。チルト機構は、垂直方向におけるカメラ３の向きを変更するように構成されている。ズーム機構は、カメラ３の画角を変更することで、撮像対象物を示す画像を拡大（ズームイン）または縮小（ズームアウト）するように構成されている。ズーム機構は、撮像部３６に含まれる光学レンズの焦点距離を変更することで光学的にカメラ３の画角を変更してもよいし、デジタル的にカメラ３の画角を変更してもよい。本実施形態では、情報端末６に対するオペレータＵの入力操作に応じて、カメラ３をパン、チルト及び／又はチルトを指示する指示信号が情報端末６から第２サーバ５を介してカメラ３に送信される。この場合、制御部３１は、受信した指示信号に応じてＰＴＺ機構３７を駆動させることで、カメラ３のパン・チルト・ズームの各機能（ＰＴＺ機能）をリアルタイムで実現させる。このように、情報端末６の遠隔操作を通じてカメラ３のＰＴＺ機能を実現することができる。

【0061】

カメラ３は、通信ネットワーク７を介してカメラ３の周辺環境を示す映像（映像ストリーム）を第２サーバ５にリアルタイムに送信することができる。

【0062】

（第１サーバ４の構成）
次に、図４を参照して第１サーバ４のハードウェア構成について以下に説明する。図４は、第１サーバ４のハードウェア構成の一例を示す図である。本実施形態では、第１サーバ４は、ＷＥＢサーバと、アプリケーションサーバと、映像データサーバとして構成されてもよい。換言すれば、第１サーバ４は、ＷＥＢページを提供する機能と、遠隔接客アプリケーションを提供する機能と、映像データを提供する機能とを有する。

【0063】

この点において、第１サーバ４は、待機画面１００（図１０参照）及び接客画面２００（図１１参照）を情報端末６のＷＥＢブラウザに表示するためのデータ（例えば、ＨＴＭＬファイル、ＣＳＳファイル、画像・映像ファイル、プログラムファイル等）を送信するように構成されている。このように、第１サーバ４は、ＳａａＳ（Ｓｙｓｔｅｍ ａｓ ａ Ｓｅｒｖｉｃｅ）を提供するためのサーバとして機能している。第１サーバ４は、複数のサーバにより構成されてもよい。第１サーバ４は、オンプレミスで構築されてもよいし、クラウドサーバとして構築されてもよい。第１サーバ４は、通信ネットワーク７を介して遠隔接客装置２ａ～２ｃ及び情報端末６ｅ～６ｇに通信可能に接続されている。第１サーバ４は、遠隔接客装置２ａ～２ｃにより撮影された映像データを各情報端末６ｅ～６ｇに送信するように構成されている。

【0064】

図４に示すように、第１サーバ４は、制御部４１と、記憶装置４２と、入出力インターフェース４３と、通信部４４とを備える。これらの要素は通信バス４０に接続されている。制御部４１は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令を記憶するように構成されている。特に、メモリには、第１サーバ４によって実行される一連の処理をプロセッサに実行させるためのプログラムが記憶されてもよい。メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。

【0065】

記憶装置４２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置（ストレージ）であって、プログラムや各種データを格納するように構成されている。記憶装置４２には、後述するオペレータ管理テーブルと、企業管理テーブルと、店舗管理テーブルとが保存されている（図９参照）。また、記憶装置４２には、遠隔接客装置２ａ～２ｃにより撮影された映像及び／又は情報端末６ｅ～６ｇにより撮影された映像が保存されてもよい。入出力インターフェース４３は、外部装置と第１サーバ４との間の接続を可能とするインターフェースである。通信部４４は、通信ネットワーク７上の外部装置と通信するための各種有線通信モジュールを含んでもよい。

【0066】

（第２サーバ５の構成）
第２サーバ５は、図４に示す第１サーバ４のハードウェア構成と同一の構成を有してもよい。即ち、第２サーバ５は、第１サーバ４と同様に、制御部と、記憶装置と、入出力インターフェースと、通信部とを備え、これらの要素は通信バスに接続されている。第２サーバ５は、通信ネットワーク７を介してカメラ３ｂ－１～３ｂ－１０の各々に通信可能に接続されている。第２サーバ５は、カメラ３により撮影された映像を受信した上で、当該受信した映像を保存及び管理するように構成されている。第２サーバ５には、カメラ３を管理するカメラ管理テーブルと、カメラ３の映像を管理する映像管理テーブルとが保存されてもよい。カメラ管理テーブルは、各店舗に配置されたカメラ３に関する情報を含む。映像管理テーブルは、各カメラ３の映像データに関する情報を含む。第２サーバ５は、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）連携により第１サーバ４に通信可能に接続されている。即ち、第２サーバ５は、第１サーバ４からの映像の送信要求に応じて、所望の映像を第１サーバ４に送信するように構成されている。

【0067】

（情報端末６の構成）
次に、図５を参照して情報端末６のハードウェア構成について以下に説明する。本実施形態では、情報端末６ｅ～６ｇは同一の構成を備えるものとする。図５は、情報端末６のハードウェア構成の一例を示す図である。情報端末６は、遠隔接客を行うオペレータＵにより操作される。情報端末６は、オペレータＵを示す映像を撮影すると共に、オペレータＵの音声を取得するように構成されている。情報端末６は、遠隔接客装置２から物理的に離れた位置に配置されている。本実施形態では、情報端末６ｅはオペレータＵｅにより操作され、情報端末６ｆはオペレータＵｆにより操作され、情報端末６ｇはオペレータＵｇにより操作される。

【0068】

情報端末６は、例えば、パーソナルコンピュータ、スマートフォン、タブレット又はオペレータＵに装着されたウェアラブルデバイス（例えば、ＡＲ／ＶＲ／ＭＲグラス等）であってもよい。情報端末６は、ＷＥＢブラウザを有する。第１サーバ４によって提供される遠隔接客アプリケーションは、情報端末６のＷＥＢブラウザ上で動作してもよい。また、遠隔接客アプリケーションは、ダウンロードされた後に情報端末６にインストールされてもよい。

【0069】

図５に示すように、情報端末６は、制御部６１と、記憶装置６２と、入出力インターフェース６３と、通信部６４と、入力操作部６５と、表示部６６と、撮像部６７と、マイク６８と、スピーカ６９とを備えている。これらの要素は通信バス６０に接続されている。

【0070】

制御部６１は、メモリとプロセッサを備えている。メモリは、コンピュータ可読命令を記憶するように構成されている。特に、メモリには、情報端末６によって実行される一連の処理をプロセッサに実行させるためのプログラムが記憶されてもよい。メモリは、ＲＯＭ及びＲＡＭにより構成されている。プロセッサは、ＣＰＵ、ＭＰＵ及びＧＰＵのうちの少なくとも一つにより構成される。記憶装置６２は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等の記憶装置であって、プログラムや各種データを格納するように構成されている。

【0071】

入出力インターフェース６３は、外部装置と情報端末６との間の接続を可能とするインターフェースである。通信部６４は、情報端末６を通信ネットワーク７に接続するように構成されている。通信部６４は、例えば、無線通信モジュール及び／又は有線通信モジュールを含んでいる。入力操作部６５は、例えば、表示部６６の映像表示ディスプレイに重ねて配置されたタッチパネル、マウス、及び／又はキーボードであって、オペレータＵの入力操作を受け付けると共に、当該入力操作に応じた操作信号を生成するように構成されている。表示部６６は、例えば、映像表示ディスプレイと、当該映像表示ディスプレイを駆動制御する映像表示回路とによって構成される。

【0072】

撮像部６７は、情報端末６の周辺環境を示す映像信号（特に、オペレータＵを示す映像信号）を生成するように構成されており、光学系と、イメージセンサと、アナログ処理回路とを備える。マイク６８は、オペレータＵの音声を収集し、当該収集された音声に基づいて音声信号を生成するように構成されている。スピーカ６９は、制御部６１から音声データを受信した上で、当該受信した音声データに基づいて音声を外部に出力するように構成されている。本実施形態では、マイク６８により取得されたオペレータＵの音声データが通信ネットワーク７を介して情報端末６から遠隔接客装置２に送信された後に、オペレータＵの音声が遠隔接客装置２のスピーカ２９から出力される。同様に、マイク２８により取得された客の音声データが通信ネットワーク７を介して遠隔接客装置２から情報端末６に送信された後に、客の音声が情報端末６のスピーカ６９から出力される。

【0073】

（本実施形態に係る遠隔接客方法：遠隔接客システム１によって実行される一連の処理の流れ）
次に、図６～図８を主に参照して本実施形態に係る遠隔接客システム１によって実行される一連の処理（本実施形態に係る遠隔接客方法）について以下に説明する。図６は、遠隔接客装置２ａ～２ｃと、カメラ３ａ－１～３ａ－１０と、情報端末６ｅと、第１サーバ４と、第２サーバ５との接続関係を説明するための図である。図７及び図８は、遠隔接客システム１によって実行される一連の処理を説明するためのフローチャートである。

【0074】

本例では、情報端末６ｅ（第１情報端末の一例）を操作するオペレータＵｅが遠隔接客装置２ａ（第１遠隔接客装置の一例）を指定した上で、店舗Ａにいる客に対して遠隔接客を行うものとする。この場合、店舗Ａに配置されたカメラ３ａ－１～３ａ－１０のうち遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８の映像が情報端末６ｅ上に表示されるものとする。図６に示すように、第１サーバ４は、情報端末６ｅおよび遠隔接客装置２ａ～２ｃに通信可能に接続されている。第１サーバ４はＡＰＩ連携により第２サーバ５に通信可能に接続されている。第２サーバ５は、カメラ３ａ－１～３ａ－１０に通信可能に接続されている。

【0075】

図７に示すように、ステップＳ１において、情報端末６ｅは、オペレータＵｅの入力操作を通じて、遠隔接客アプリケーションにログインするためのオペレータＵｅのログイン情報を受け付けた上で、当該ログイン情報を第１サーバ４に送信する。第１サーバ４は、オペレータＵｅのログイン情報とオペレータ管理テーブル（図９（ａ）参照）に基づいて、オペレータＵｅのログイン認証を実行する。さらに、第１サーバ４は、オペレータ管理テーブルを参照することで、オペレータＵｅが所属する企業の企業ＩＤを特定した後に、企業管理テーブル（図９（ｂ）参照）を参照することで、企業ＩＤに対応する各店舗の店舗ＩＤを特定する。その後、第１サーバ４は、店舗管理テーブル（図９（ｃ）参照）を参照することで、各店舗ＩＤに対応する遠隔接客装置２の遠隔接客装置ＩＤを特定する。このように、第１サーバ４は、オペレータＵｅが管理する店舗Ａ～Ｃに設置された遠隔接客装置２ａ～２ｃを特定する（ステップＳ２）。なお、ここでいう企業とは、単に企業そのもののみならず、企業が有するブランド等も含む広い概念を示す。また、ここでいう店舗とは、単に店舗そのもののみならず、店舗が有するエリア等も含む広い概念を示す。さらに、企業ごとにルームという概念を設け、ルーム毎に複数の店舗を対応付けて管理してもよい。例えば、多店舗（又は複数業態）で展開している企業の場合、管轄地域（又は管轄業態）でルームを分ければ、利便性が向上するであろう。その場合、予めルームテーブル（不図示）として企業ＩＤとルームＩＤの対応関係を記憶しておき、図９（ｂ）の企業ＩＤはルームＩＤに読み替える。そして、企業ＩＤを特定した後に、それに対応するルームの一覧を情報端末に表示させ（不図示）、その中からオペレータの選択に応じてルームＩＤを特定し、それに対応する店舗ＩＤ及び遠隔接客装置ＩＤを特定すればよい。

【0076】

次に、第１サーバ４は、遠隔接客装置２ａ～２ｃに映像要求を送信する（ステップＳ３）。遠隔接客装置２ａ～２ｃは、第１サーバ４から送信された映像要求に応じて、遠隔接客装置２の周辺環境を示す映像（第１映像の一例）を第１サーバ４に送信する（ステップＳ４）。ステップＳ５において、第１サーバ４は、遠隔接客装置２ａ～２ｃにより撮影された映像（映像ストリーム）を受信した上で、待機画面１００（図１０参照）を表示するためのデータ（例えば、ＨＴＭＬファイル、ＣＳＳファイル、画像・映像ファイル、プログラムファイル等）を情報端末６ｅに送信する。その後、待機画面１００が情報端末６ｅの表示部６６に表示される（ステップＳ６）。特に、待機画面１００は情報端末６ｅのＷＥＢブラウザ上に表示されてもよい。

【0077】

図１０に示すように、待機画面１００では、映像表示領域１２０とオペレータ表示領域１３０が設けられている。映像表示領域１２０には、遠隔接客装置２ａ～２ｃにより撮影された映像１１０ａ～１１０ｃのサムネイルが表示される。オペレータ表示領域１３０には、遠隔接客アプリケーションにログイン中であって同じ企業ＩＤに対応するオペレータＵｅ～Ｕｇの情報が表示される。

【0078】

次に、ステップＳ７では、第１サーバ４は、画像認識モデル等を利用して遠隔接客装置２ａにより撮影された映像１１０ａにおいて人Ｋを検出した上で、映像１１０ａのサムネイルを強調表示するための強調表示指示を情報端末６ｅに送信する。その後、ステップＳ８において、情報端末６ｅは、第１サーバ４から送信された強調表示指示に応じて遠隔接客装置２ａの映像１１０ａのサムネイルを強調表示する（図１０参照）。例えば、映像１１０ａのサムネイルの強調表示の視覚的態様としては、映像１１０ａのサムネイルの外枠を太く目立つ色にする等して強調表示されてもよい。

【0079】

尚、ステップＳ６の処理では、待機画面１００が情報端末６ｅの表示部６６に表示される点のみが説明されているが、オペレータＵｆ，Ｕｇも遠隔接客アプリケーションにログインしている場合では、待機画面１００が情報端末６ｅ，６ｆの表示部６６にも表示される。即ち、第１サーバ４は、待機画面１００を表示するためのデータを情報端末６ｅ～６ｇの各々に送信する。同様に、ステップＳ７の処理では、映像１１０ａのサムネイルを強調表示するための強調表示指示は情報端末６ｅ～６ｇの各々に送信される。その後、ステップＳ８において、情報端末６ｅ～６ｇの各々は、強調表示指示に応じて映像１１０ａのサムネイルを強調表示する。

【0080】

次に、ステップＳ９において、オペレータＵｅは、店舗Ａにおける遠隔接客を行いたい場合に、入力操作部６５を通じて待機画面１００に表示された映像１１０ａのサムネイルを指定する。具体的には、図１０に示すように、映像１１０ａのサムネイルがダブルクリック操作される。このとき、情報端末６ｅは、オペレータＵｅの入力操作に応じて遠隔接客装置２ａの指定を受け付けた上で、遠隔接客装置２ａの指定情報を第１サーバ４に送信する（ステップＳ１０）。次に、第１サーバ４は、指定情報に応じて遠隔接客装置２ａの接客画面２００（図１１参照）を表示するためのデータ（例えば、ＨＴＭＬファイル、ＣＳＳファイル、画像・映像ファイル、プログラムファイル等）を送信する（ステップＳ１１）。その後、接客画面２００が情報端末６ｅの表示部６６に表示される（ステップＳ１２）。

【0081】

図１１に示すように、接客画面２００では、映像表示領域２１０と、店舗マニュアル表示領域２１２と、オペレータ映像表示領域２２０と、店舗説明資料一覧領域２３０と、チャット表示領域２４０とが設けられている。映像表示領域２１０では、遠隔接客装置２ａにより撮影された映像１１０ａが表示される。店舗マニュアル表示領域２１２では、店舗Ａの接客マニュアルが表示される。オペレータ映像表示領域２２０では、情報端末６ｅの撮像部６７によって撮影されたオペレータＵｅを示す映像２２３ｅが表示される。店舗説明資料一覧領域２３０には、店舗Ａの説明資料の一覧が表示され、この中からオペレータの指示に応じて遠隔接客装置の表示部に表示すべきコンテンツを選択して表示することができる。チャット表示領域２４０には、オペレータＵｅと店舗Ａにいる客との間のチャット内容が表示される。

【0082】

また、接客画面２００には、ホームボタン２６０と、カメラボタン２５０と、保留ボタン２６５と、接客終了ボタン２６３とが設けられている。ホームボタン２６０がオペレータＵｅにより操作される場合には、図１１に示す接客画面２００が表示される。カメラボタン２５０がオペレータＵｅにより操作される場合には、図１２に示す接客画面２００が表示される。保留ボタン２６５がオペレータＵｅにより操作される場合には、店舗Ａにいる客に対する遠隔接客が保留される。この場合、遠隔接客装置２ａにおけるオペレータＵｅを示す映像の表示が中断されてもよい。接客終了ボタン２６３がオペレータＵｅにより操作される場合には、情報端末６ｅに表示される画面が接客画面２００から図１０に示す待機画面１００に切り替わる。

【0083】

次に、ステップＳ１３において、情報端末６ｅは、情報端末６ｅにより撮影され、オペレータＵｅを示す映像２２３ｅ（第３映像の一例）を遠隔接客装置２ａに送信する。その後、情報端末６ｅにより撮影された映像２２３ｅ（映像ストリーム）が遠隔接客装置２ａの表示部２６に表示される（ステップＳ１４）。このように、オペレータＵｅが店舗Ａにおける遠隔接客を行う場合に、第１サーバ４は、情報端末６ｅと遠隔接客装置２ａとの間の通信を開始させることで、遠隔接客装置２ａにより撮影された客を含む映像１１０ａが情報端末６ｅに表示されると共に、情報端末６ｅにより撮影されたオペレータを含む映像２２３ｅが遠隔接客装置２ａに表示される。この場合、遠隔接客装置２ａは、第１サーバ４を介して映像１１０ａを情報端末６ｅに送信してもよいし、第１サーバ４を介さずにＰ２Ｐ（Ｐｅｅｒ ｔｏ Ｐｅｅｒ）で映像１１０ａを情報端末６ｅに直接送信してもよい。同様に、情報端末６ｅは、第１サーバ４を介して映像２２３ｅを遠隔接客装置２ａに送信してもよいし、第１サーバ４を介さずにＰ２Ｐで映像２２３ｅを遠隔接客装置２ａに直接送信してもよい。

【0084】

また、映像データと同様に、音声データも情報端末６ｅと遠隔接客装置２ａとの間で送受信される。即ち、遠隔接客装置２ａのマイク２８により取得された客の音声データが情報端末６ｅのスピーカ６９から出力されると共に、情報端末６ｅのマイク６８により取得されたオペレータＵｅの音声データが遠隔接客装置２ａのスピーカ２９から出力される。

【0085】

次に、ステップＳ１５において、情報端末６ｅは、オペレータＵｅの入力操作に応じてカメラ映像の表示要求を第１サーバ４に送信する。具体的には、図１１に示すように、接客画面２００に設けられたカメラボタン２５０がオペレータＵｅにより操作されることで、カメラ映像の表示要求が情報端末６ｅから第１サーバ４に送信される。

【0086】

ステップＳ１６において、第１サーバ４は、カメラ映像の表示要求に応じて、遠隔接客装置２ａに関連付けられたカメラ映像の送信要求を第２サーバ５に送信する。ここで、カメラ映像の送信要求は、店舗Ａに設置されたカメラ３ａ－１～３ａ－１０に関する情報（例えば、カメラ３ａ－１～３ａ－１０のカメラＩＤ）を含んでもよい。この場合、第１サーバ４は、店舗管理テーブル（図９（ｃ））を参照することで、店舗Ａに設置されたカメラ３ａ－１～３ａ－１０に関する情報を取得した上で、店舗Ａに設置されたカメラ３ａ－１～３ａ－１０に関する情報を含むカメラ映像の送信要求を第２サーバ５に送信する。

【0087】

ステップＳ１７において、第２サーバ５は、第１サーバ４から送信されたカメラ映像の送信要求に応じて、遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定する。ここで、遠隔接客装置２ａに関連付けられたカメラ３とは、遠隔接客装置２ａの周辺に配置されているカメラ３及び／又は遠隔接客装置２ａの存在を含む映像を撮影するカメラ３として定義されてもよい。

【0088】

（遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定する処理の第１例）
第１例は、カメラ名称に基づいて、遠隔接客装置２ａとカメラ３ａ－３～３ａ－８とを自動的に対応付けるものである。具体的には、第２サーバ５は、カメラ映像の送信要求に含まれるカメラ３ａ－１～３ａ－１０のカメラＩＤおよびカメラＩＤとカメラ名称（カメラの識別情報の一例）との間の対応関係を示すデータに基づいて、カメラ３ａ－１～３ａ－１０の名称を特定してもよい。次に、第２サーバ５は、カメラ３ａ－１～３ａ－１０の名称に基づいて、遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定してもよい。例えば、カメラ３ａ－３～３ａ－８の名称に遠隔接客装置２ａに関する情報（例えば、遠隔接客装置２ａを示す文字列）が含まれている場合に、カメラ３ａ－３～３ａ－８が遠隔接客装置２ａに関連付けられたカメラとして特定されてもよい。カメラＩＤとカメラ名称（カメラの識別情報の一例）との間の対応関係を示すデータはオペレータＵによって予め登録されてもよい。尚、本例では、カメラ３の識別情報の一例としてカメラの名称に基づいて遠隔接客装置２に関連付けられたカメラ３が特定されているが、カメラ３の識別情報はカメラの名称に限定されるものではない。

【0089】

（遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定する処理の第２例）
第２例は、ユーザ指示に基づいて、遠隔接客装置２ａとカメラ３ａ－３～３ａ－８とを手動で対応付けるものである。なお、このユーザ指示は、主にオペレータＵの情報端末６から行う想定であるが、それらを統括管理する企業側の情報処理装置等（不図示）から行ってもよい。具体的には、カメラ映像の送信要求は、遠隔接客装置２ａに関する情報（例えば、遠隔接客装置２ａのＩＤ）を含んでもよい。この場合、第２サーバ５は、カメラ映像の送信要求に含まれる遠隔接客装置２ａのＩＤおよび複数の遠隔接客装置２と複数のカメラ３との間の対応関係を示すデータに基づいて、遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定してもよい。

【0090】

複数の遠隔接客装置２と複数のカメラ３との間の対応関係を示すデータでは、複数の遠隔接客装置２のＩＤと複数のカメラＩＤとの間の対応関係が示されてもよい。また、当該対応関係を示すデータでは、各遠隔接客装置２に関連付けられた複数のカメラ３に関する情報を含む。例えば、当該対応関係を示すデータでは、遠隔接客装置２ａのＩＤとカメラ３ａ－３～３ａ－８のＩＤとの間の対応関係が示されてもよい。このように、当該対応関係を示すデータに基づいて、遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定することが可能となる。また、複数の遠隔接客装置２と複数のカメラ３との間の対応関係を示すデータはオペレータＵにより予め登録されてもよい。

【0091】

（遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定する処理の第３例）
第３例は、映像解析に基づいて、遠隔接客装置２ａとカメラ３ａ－３～３ａ－８とを自動的に対応付けるものである。具体的には、カメラ映像の送信要求は、店舗Ａに設置されたカメラ３ａ－１～３ａ－１０に関する情報（例えば、カメラ３ａ－１～３ａ－１０のカメラＩＤ）を含んでもよい。この場合、第２サーバ５は、カメラ映像の送信要求に含まれるカメラ３ａ－１～３ａ－１０のカメラＩＤに基づいて、カメラ３ａ－１～３ａ－１０により撮影された映像を取得する。その後、第２サーバ５は、カメラ３ａ－１～３ａ－１０により撮影された映像を解析することで、カメラ３ａ－１～３ａ－１０により撮影された映像のうち遠隔接客装置２ａを示す映像を抽出する。その後、第２サーバ５は、遠隔接客装置２ａの存在を示す映像を撮影するカメラ３ａ－３～３ａ－８を遠隔接客装置２ａに関連付けられたカメラとして特定する。尚、第２サーバ５は、遠隔接客装置２ａを示す映像を抽出する際に、機械学習により構築された学習済みモデルである画像認識モデルを用いてもよい。この場合、当該画像認識モデルは、画像データと、当該画像データに含まれる遠隔接客装置２ａに関する情報とからなる学習データにより構築されてもよい。

【0092】

次に、ステップＳ１８において、第２サーバ５は、遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８の映像（サムネイル表示）を第１サーバ４に送信する。次に、第１サーバ４は、カメラ３ａ－３～３ａ－８の映像を情報端末６ｅに送信する（ステップＳ１９）。その後、図１２に示すように、情報端末６ｅは、カメラ３ａ－３～３ａ－８により撮影された映像３２０ａ～３２０ｆ（第２映像の一例）のサムネイルを接客画面２００上に表示する（ステップＳ２０）。なお、ステップＳ１７において特定されたカメラが１台だった場合には、図１２を省略して図１３を表示してもよい。その場合、ステップＳ１８～Ｓ２２は省略し、特定されたカメラの映像を拡大表示してカメラ映像表示領域３１０に表示すればよい。

【0093】

図１２に示す接客画面２００では、映像表示領域２１０と、店舗マニュアル表示領域２１２と、カメラ映像表示領域３１０とが設けられている。カメラ映像表示領域３１０では、カメラ３ａ－３～３ａ－８により撮影された映像３２０ａ～３２０ｆのサムネイルが並んで表示される。ここで、映像３２０ａは、カメラ３ａ－３により撮影された映像である。映像３２０ｆは、カメラ３ａ－８により撮影された映像である。このように、図１２に示す接客画面２００上では、遠隔接客装置２ａにより撮影された映像１１０ａと、遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８により撮影された映像３２０ａ～３２０ｆのサムネイルが同一画面上に同時に表示される。

【0094】

図１２に示すように、映像３２０ａ～３２０ｆでは、遠隔接客装置２ａおよび遠隔接客装置２ａの周辺に存在する人Ｋが強調表示されている。例えば、カメラ３ａ－４により撮影された映像３２０ｂでは、遠隔接客装置２ａの存在領域が強調表示されるように、遠隔接客装置２ａの存在領域を取り囲む矩形マークＷ１が表示されている。同様に、遠隔接客装置２ａの付近に存在する人Ｋが強調表示されるように、人Ｋを囲む矩形マークＷ２が映像３２０ｂに表示されている。なお、矩形マークＷ２は、単に人Ｋを映像内で検知した段階で表示され、さらに人Ｋが遠隔接客装置２ａの付近に入った段階で注目色等により強調表示されてもよい。

【0095】

（カメラ映像中における遠隔接客装置２ａの存在領域を取り囲む矩形マークＷ１の表示処理）
例えば、遠隔接客装置２ａの存在領域は、情報端末６に対するオペレータＵの入力操作に応じて設定されてもよい。なお、このようなユーザ指示は、主にオペレータＵの情報端末６から行う想定であるが、それらを統括管理する企業側の情報処理装置等（不図示）から行ってもよい。例えば、情報端末６に映像３２０ｂが表示された状態で、オペレータＵが映像３２０ｂにおける遠隔接客装置２ａの存在領域を指定したときに、映像３２０ｂにおける遠隔接客装置２ａの存在領域を示す情報（例えば、映像３２０ｂにおける当該存在領域を規定する座標情報）が情報端末６から第２サーバ５に送信される。その後、第２サーバ５は、当該存在領域を示す情報に基づいて、遠隔接客装置２ａの存在領域を特定した上で、映像３２０ｂにおいて遠隔接客装置２ａの存在領域を取り囲む矩形マークＷ１を表示する。その後、矩形マークＷ１が表示された映像３２０ｂのサムネイルが接客画面２００上に表示される。さらに、上記と同様の手法で、映像３２０ａ，３２０ｄ，３２０ｅのそれぞれにおいて矩形マークＷ１が設定及び表示される。尚、第２サーバ５は、画像認識モデルを用いて映像３２０ｂを解析することで、映像３２０ｂに示された遠隔接客装置２ａの存在領域を特定した上で、特定された遠隔接客装置２ａの存在領域を取り囲む矩形マークＷ１を表示してもよい。

【0096】

（カメラ映像中における人Ｋを囲む矩形マークＷ２の表示処理）
また、情報端末６に対するオペレータＵの入力操作に応じて、遠隔接客装置２ａの周辺領域が設定されてもよい。なお、このようなユーザ指示は、主にオペレータＵの情報端末６から行う想定であるが、それらを統括管理する企業側の情報処理装置等（不図示）から行ってもよい。例えば、情報端末６に映像３２０ｂが表示された状態で、オペレータＵが映像３２０ｂにおける遠隔接客装置２ａの周辺領域を指定したときに、映像３２０ｂにおける遠隔接客装置２ａの周辺領域を示す情報（例えば、映像３２０ｂにおける当該周辺領域を規定する座標情報）が情報端末６から第２サーバ５に送信される。なお、周辺領域は、遠隔接客装置２ａからの距離が所定以内の領域や、人の滞留等が過去に所定頻度以上で発生している領域を、自動又は手動で設定してもよい。その後、第２サーバ５は、情報端末６から送信された情報に基づいて、映像３２０ｂにおける周辺領域を設定する。その後、第２サーバ５は、人Ｋが周辺領域内に存在することを検出した場合に、人Ｋを強調表示するために、人Ｋを取り囲む矩形マークＷ２を映像３２０ｂ上に表示する。その後、矩形マークＷ２が表示された映像３２０ｂのサムネイルが接客画面２００上に表示される。なお、単に人Ｋを映像内で検知した段階で矩形マークＷ２を表示し、さらに人Ｋが周辺領域内に存在することを検出した段階で矩形マークＷ２を注目色等により強調表示してもよい。さらに、上記と同様の手法で、映像３２０ａ，３２０ｄ，３２０ｅのそれぞれにおいて遠隔接客装置２ａの周辺領域が設定されると共に、当該設定された周辺領域内に存在する人Ｋを取り囲む矩形マークＷ２が表示される。尚、第２サーバ５は、人Ｋが周辺領域内に存在することを検出する際に画像認識モデルを用いてもよい。この場合、当該画像認識モデルは、画像データと、当該画像データに含まれる人に関する情報とからなる学習データにより構築されてもよい。特に、第２サーバ５は、画像認識モデルを用いて映像３２０ｂを解析することで、遠隔接客装置２ａの周辺領域内に存在する人を検出した上で、当該検出した人を取り囲む矩形マークＷ２を映像３２０ｂ上に表示してもよい。

【0097】

このように、映像３２０ａ～３２０ｆの幾つかにおいて矩形マークＷ１，Ｗ２が表示されているため、オペレータＵｅは、矩形マークＷ１によって各映像中に存在する遠隔接客装置２ａを明確に認識することが可能となる。同様に、オペレータＵｅは、矩形マークＷ２によって各映像中に示された遠隔接客装置２ａの周辺に存在する人Ｋを明確に認識することができる。したがって、オペレータＵｅは、遠隔接客装置２ａ及びその周辺にいる人Ｋを視認できるため、遠隔接客装置２ａの周辺状況を瞬時に把握することができる。尚、本実施形態では、矩形マークＷ１，Ｗ２によってカメラ３の映像中の遠隔接客装置２ａ及び人Ｋが強調表示されているが、遠隔接客装置２ａ及び人Ｋの強調表示の視覚的態様は矩形マークＷ１，Ｗ２に限定されるものではない。

【0098】

本実施形態によれば、オペレータＵｅは、情報端末６ｅに表示された映像１１０ａ（第１映像の一例）と映像３２０ａ～３２０ｆ（第２映像の一例）のサムネイルの両方を確認することで、遠隔接客装置２ａの周辺の店舗状況を考慮した遠隔接客を提供することが可能となる。この点において、オペレータＵｅは、映像３２０ａ～３２０ｆを通じて遠隔接客装置２ａの周辺における店舗状況を確認することができる。一方で、従来では、遠隔接客装置２ａにより撮影された映像のみが情報端末６ｅ上に表示されるため、オペレータＵｅは遠隔接客装置２ａの前方の一部領域しか確認することができなかった。このため、オペレータＵｅは、情報端末６ｅを通じて俯瞰的な店舗状況を十分に把握することができなかった。本開示に係る遠隔接客システム１によれば、映像１１０ａ及び映像３２０ａ～３２０ｆの両方を通じて、遠隔接客装置２ａの周辺の店舗状況を考慮した遠隔接客を提供することが可能となる。したがって、遠隔接客の質を向上させることが可能な遠隔接客システム１が提供されうる。

【0099】

次に、図８に戻ると、ステップＳ２１において、情報端末６ｅは、オペレータＵｅの入力操作に応じてカメラ３ａ－４の映像３２０ｂのサムネイルの指定を受け付けた上で、映像３２０ｂの拡大表示要求を第１サーバ４に送信する。例えば、図１２に示すように、映像３２０ｂのサムネイルがダブルクリック操作される。

【0100】

ステップＳ２２において、第１サーバ４は、情報端末６ｅからの拡大表示要求に応じて、拡大表示されたカメラ３ａ－４の映像３２０ｂの送信要求を第２サーバ５に送信する。ステップＳ２３において、第２サーバ５は、第１サーバ４からの送信要求に応じて、拡大表示された映像３２０ｂを第１サーバ４に送信する。その後、第１サーバ４は、拡大表示された映像３２０ｂを情報端末６ｅに送信する（ステップＳ２４）。この結果、図１３の接客画面２００に示すように、拡大表示された映像３２０ｂが情報端末６ｅに表示される（ステップＳ２５）。なお、ここでいう拡大表示とは、映像３２０ｂのサムネイルに対するオリジナルの映像の表示を意味するが、その他に当該オリジナル映像の一部（例えば遠隔接客装置２ａや客を含む領域）をズームアップした映像等でもよい。

【0101】

図１３に示す接客画面２００では、カメラ映像表示領域３１０において、映像３２０ｂのビューアが表示される。映像３２０ｂのビューアは、拡大表示された映像３２０ｂと、映像３２０ｂの再生時間を示すタイムライン３５０と、タイムライン３５０上をスライド可能なスライダ３４０とを有する。オペレータＵｅは、映像３２０ｂのビューアのタイムライン３５０上においてスライダ３４０を移動させることで、映像３２０ｂの再生時刻を変更することができる。例えば、オペレータＵｅがスライダ３４０を１０：３０の位置に移動した場合、情報端末６ｅは、１０：３０の前後の時間帯における映像３２０ｂの送信要求を第１サーバ４に送信する。第１サーバ４は、当該送信要求に応じて、１０：３０の前後の時間帯における映像３２０ｂを第２サーバ５から取得した上で、当該取得した映像３２０ｂを情報端末６ｅに送信する。このように、１０：３０の前後の時間帯における映像３２０ｂがカメラ映像表示領域３１０に表示される。

【0102】

このように、オペレータＵｅは、映像１００ａと拡大表示された映像３２０ｂの両方を通じて、遠隔接客装置２ａの周辺の店舗状況（特に、遠隔接客装置２ａの付近にいる人の様子等）を詳細に確認することができる。したがって、遠隔接客装置２ａの周辺の店舗状況を考慮した遠隔接客を提供することが可能となり、遠隔接客の質を向上させることが可能な遠隔接客システム１が提供されうる。

【0103】

（本実施形態の変形例に係る遠隔接客方法：注目領域の混雑に応じて映像１１０ａのサムネイルを強調表示する処理）
次に、図１４及び図１５を主に参照することで、カメラ３ａ－３により撮影された映像３２０ａ中において設定された注目領域Ｓ（図１５参照）の混雑に応じて、遠隔接客装置２ａの映像１１０ａのサムネイルを強調表示する処理（本実施形態の変形例に係る遠隔接客方法）について以下に説明する。図１４は、カメラ３ａ－３の映像３２０ａ中において設定された注目領域Ｓの混雑に応じて遠隔接客装置２ａの映像１１０ａのサムネイルを強調表示する処理を説明するためのフローチャートである。図１５は、カメラ３ａ－３の映像３２０ａ中において設定された注目領域Ｓの混雑に応じて、遠隔接客装置２ａ～２ｃの映像１１０ａ～１１０ｃのサムネイルのうち映像１１０ａが強調表示されている様子を示す図である。

【0104】

尚、図７に示すフローチャートでは、ステップＳ７及びＳ８において、映像１１０ａにおける人Ｋの検出に応じて映像１１０ａのサムネイルが強調表示されている。一方で、本変形例では、映像１１０ａにおいて人Ｋが検出されない場合であっても、映像１１０ａのサムネイルが強調表示される点でステップＳ７及びＳ８の処理とは相違する。この点において、本変形例では、遠隔接客装置２ａに関連付けられたカメラ３ａ－３の映像３２０ａ中に設定された注目領域Ｓの状況に応じて、映像１１０ａのサムネイルが強調表示される点でステップＳ７及びＳ８とは相違する。

【0105】

図１４において、ステップＳ３１～Ｓ３４は、図７のステップＳ１～Ｓ４と同様であるため、説明を省略する。ステップＳ３５において、第１サーバ４は、遠隔接客装置２ａ～２ｃにより撮影された映像を受信した上で、待機画面１００（図１５参照）を表示するためのデータを情報端末６ｅに送信する。その後、図１５に示す待機画面１００が情報端末６ｅの表示部６６に表示される（ステップＳ３６）。

【0106】

図１５に示すように、待機画面１００では、映像表示領域１２０とオペレータ表示領域１３０が設けられている。映像表示領域１２０には、遠隔接客装置２ａ～２ｃにより撮影された映像１１０ａ～１１０ｃのサムネイルが表示される。尚、この時点では、映像１１０ａのサムネイルの外枠は強調表示されておらず、映像３２０ａがワイプ映像として映像１１０ａに重畳表示されていない。

【0107】

次に、ステップＳ３７では、第２サーバ５は、映像３２０ａにおいて設定された注目領域Ｓ（図１５参照）に関連付けられた判定条件に基づいて、注目領域Ｓが混雑していること（所定のイベントの一例）を決定する。その後、第２サーバ５は、映像３２０ａを撮影するカメラ３ａ－３に関する情報（例えば、カメラ３ａ－３のＩＤ）を含む強調表示指示を第１サーバ４に送信する。ここで、注目領域Ｓは、遠隔接客装置２ａの周辺であって、遠隔接客装置２ａの撮像部２７の視野外に設定されてもよい。

【0108】

また、映像３２０ａ中の注目領域Ｓは、情報端末６に対するオペレータＵの入力操作に応じて設定されてもよい。例えば、情報端末６に映像３２０ａが表示された状態で、オペレータＵが映像３２０ａにおける注目領域Ｓを指定したときに、映像３２０ａにおける注目領域Ｓを示す情報（例えば、映像３２０ａにおける注目領域Ｓを規定する座標情報）が情報端末６から第２サーバ５に送信される。その後、第２サーバ５は、映像３２０ａにおける注目領域Ｓを設定する。なお、注目領域Ｓは、遠隔接客装置２ａからの距離が所定以内の領域や、人の滞留等が過去に所定頻度以上で発生している領域を、自動又は手動で設定してもよい。

【0109】

また、注目領域Ｓに関連付けられた判定条件とは、注目領域Ｓに存在する人の人数および滞在時間のうちの少なくとも一つに関連する判定条件である。例えば、判定条件は、注目領域Ｓに存在する人の人数がＮ人以上（Ｎは自然数）、且つ注目領域Ｓにいる人の滞在時間がＭ秒以上（Ｍは自然数）であることを示す判定条件であってもよい。この場合、第２サーバ５は、映像３２０ａにおいて設定された注目領域Ｓ内にいる人の人数がＮ人以上、且つ滞在時間がＭ秒以上であることを検出したときに、注目領域Ｓが混雑していることを決定してもよい。ここで、第２サーバ５は、注目領域Ｓ内に存在する人Ｋを検出する際に画像認識モデルを用いてもよい。尚、本例では、注目領域Ｓにおける所定のイベントの一例として、注目領域Ｓの混雑が挙げられているが、所定のイベントはこれに限定されるものではない。

【0110】

図１４に戻ると、ステップＳ３８において、第１サーバ４は、第２サーバ５からの強調表示指示と店舗管理テーブル（図９（ｃ）参照）に基づいて、カメラ３ａ－３に関連付けられた遠隔接客装置２ａを特定する。次に、第１サーバ４は、遠隔接客装置２ａにより撮影された映像１１０ａのサムネイルを強調表示するための強調表示指示を情報端末６ｅに送信する（ステップＳ３９）。その後、ステップＳ４０において、情報端末６ｅは、第１サーバ４から送信された強調表示指示に応じて遠隔接客装置２ａの映像１１０ａのサムネイルを強調表示する（図１５参照）。例えば、映像１１０ａのサムネイルの強調表示の視覚的態様としては、映像１１０ａのサムネイルの外枠を太く目立つ色にする等して強調表示されてもよい。なお、ステップＳ４０以降は図８のＳ１５～Ｓ２５と同様であるため、説明を省略する。

【0111】

図１５に示すように、映像１１０ａのサムネイルが強調表示された状態で、映像３２０ａがワイプ映像として映像１１０ａ上に重畳表示されてもよい。この場合、ステップＳ３７において、第２サーバ５は、カメラ３ａ－３に関する情報を含む強調表示指示とともに映像３２０ａを第１サーバ４に送信してもよい。なお、ワイプ映像は、映像１１０ａ上への重畳表示のみならず、プッシュ通知やポップアップ通知により表示してもよい。また、ワイプ映像は、図１０で示した例において、強調表示される条件で表示してもよい。

【0112】

本変形例によれば、映像３２０ａにおける注目領域Ｓの混雑の検出に応じて、映像３２０ａを撮影するカメラ３ａ－３に関連付けられた遠隔接客装置２ａが特定された上で、遠隔接客装置２ａにより撮影された映像１１０ａのサムネイルが強調表示される。このように、オペレータＵｅは、強調表示された映像１１０ａのサムネイルを通じて、遠隔接客装置２ａが配置された店舗Ａの注目領域Ｓにおいて混雑が発生していることを明確に認識することが可能となる。このため、オペレータＵｅは、遠隔接客装置２ａの視野内に人がいない場合であっても、店舗Ａにおける遠隔接客の必要性を把握することができるため、遠隔接客による営業や販売の機会損失を好適に防ぐことができる。このように、遠隔接客の質を向上させることが可能な遠隔接客システム１が提供することができる。

【0113】

また、本変形例では、映像３２０ａが映像１１０ａ上に重畳表示されているため、オペレータＵｅは、情報端末６ｅ上に同時に表示された映像３２０ａと映像１１０ａを視認することで、店舗Ａの注目領域Ｓにおいて混雑が発生していることが認識できる。このように、オペレータＵｅは、店舗Ａにおける遠隔接客の必要性を直ぐに把握することができる。

【0114】

尚、本変形例では、待機画面１００が情報端末６ｅの表示部６６に表示される点のみが説明されているが、オペレータＵｆ，Ｕｇも遠隔接客アプリケーションにログインしている場合では、待機画面１００は情報端末６ｅ，６ｆの表示部６６にも表示される。即ち、ステップＳ３５において、第１サーバ４は、待機画面１００を表示するためのデータを情報端末６ｅ～６ｇのそれぞれに送信する。同様に、ステップＳ３９では、映像１１０ａのサムネイルを強調表示するための強調表示指示は情報端末６ｅ～６ｇのそれぞれに送信される。その後、ステップＳ４０において、情報端末６ｅ～６ｇの各々は、強調表示指示に応じて映像１１０ａのサムネイルを強調表示する。

【0115】

また、本変形例では、映像３２０ａのみに注目領域Ｓが設定されているが、注目領域Ｓは映像３２０ａ以外の他のカメラ映像（具体的には、映像３２０ｂ～３２０ｆ）にも設定されてもよい。即ち、複数の注目領域Ｓが店舗Ａ内に設定されてもよい。さらに、待機画面１００上に表示された映像１１０ａが強調表示されているが、図１２に示す接客画面２００上に表示された映像３２０ａのサムネイルが強調表示されてもよい。この場合、図１４のステップＳ３９において、第１サーバ４は、映像３２０ａのサムネイルを強調表示するための強調表示指示を情報端末６ｅに送信する。その後、ステップＳ４０において、情報端末６ｅは、第１サーバ４から送信された強調表示指示に応じて、接客画面２００上の映像３２０ａのサムネイルを強調表示する。接客画面２００上に表示された映像３２０ａのサムネイルが強調表示されている場合も同様に、オペレータＵｅは、注目領域Ｓにおいて混雑が発生していることを明確に認識することができる。

【0116】

（遠隔接客装置２で撮影した映像とカメラ３で撮影した映像とを入れ替えて表示する変形例）
以上の説明では、遠隔接客装置２で撮影した映像をメインで表示し、カメラ３で撮影した映像をサブで表示するものとしたが、このメイン／サブの関係を入れ替えてもよい。即ち、カメラ３で撮影した映像をメインで表示しつつ、遠隔接客装置２で撮影した映像をサブで表示してもよい。これは、カメラ３で撮影した映像をオペレータＵが情報端末６からビューア等を介して閲覧するようなシステムを前提として、あるカメラ３の映像とともに、それに対応する遠隔接客装置２の映像を表示するものである。その場合、図６以降の説明において、遠隔接客装置２とカメラ３、第１サーバ４と第２サーバ５を、それぞれ入れ替える。また、図９（ｃ）のデータ構造では、遠隔接客装置ＩＤとカメラＩＤを入れ替える。図１０～図１３，図１５のＵＩ図では、遠隔接客装置２により撮影された映像とカメラ３により撮影された映像を入れ替える。

【0117】

以上、本発明の実施形態について説明をしたが、本発明の技術的範囲が本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は特許請求の範囲に記載された発明の範囲及びその均等の範囲に基づいて定められるべきである。

【符号の説明】

【0118】

１：遠隔接客システム、２，２ａ，２ｂ，２ｃ：遠隔接客装置、３，３ａ－１～３ｃ－１０：カメラ、４：第１サーバ、５：第２サーバ、６，６ｅ，６ｆ，６ｇ：情報端末、７：通信ネットワーク、２０：通信バス、２１：制御部、２２：記憶装置、２３：入出力インターフェース、２４：通信部、２５：入力操作部、２６：表示部、２７：撮像部、２８：マイク、２９：スピーカ、３０：通信バス、３１：制御部、３２：記憶装置、３３：位置情報取得部、３４：通信部、３５：入力操作部、３６：撮像部、３７：ＰＴＺ機構、４０：通信バス、４１：制御部、４２：記憶装置、４３：入出力インターフェース、４４：通信部、６０：通信バス、６１：制御部、６２：記憶装置、６３：入出力インターフェース、６４：通信部、６５：入力操作部、６６：表示部、６７：撮像部、６８：マイク、６９：スピーカ、１００：待機画面、１００ａ，１１０ａ，１１０ｂ，１１ｃ：映像、１２０：映像表示領域、１３０：オペレータ表示領域、２００：接客画面、２０２：筐体、２１０：映像表示領域、２１２：店舗マニュアル表示領域、２２０：オペレータ映像表示領域、２２３ｅ：映像、２３０：店舗説明資料一覧領域、２４０：チャット表示領域、２５０：カメラボタン、２６０：ホームボタン、２６３：接客終了ボタン、２６５：保留ボタン、３１０：カメラ映像表示領域、３２０，３２０ａ，３２０ｂ，３２０ｃ，３２０ｄ，３２０ｅ，３２０ｆ：映像、３４０：スライダ、３５０：タイムライン、Ｋ：人、Ｓ：注目領域、Ｕ，Ｕｅ，Ｕｆ，Ｕｇ：オペレータ、Ｗ１，Ｗ２：矩形マーク

【要約】

【課題】遠隔接客の質を向上させることが可能な遠隔接客システムを提供する。
【解決手段】遠隔接客システム１は、遠隔接客を支援すると共に、客を示す第１映像を撮影するように構成された遠隔接客装置２ａと、店舗の様子を示す第２映像を撮影するように構成された複数のカメラ３ａ－１～３ａ－１０と、遠隔接客を行うオペレータＵｅにより操作される情報端末６ｅとにより遠隔接客を行う。遠隔接客システム１は、複数のカメラ３ａ－１～３ａ－１０のうち遠隔接客装置２ａに関連付けられたカメラ３ａ－３～３ａ－８を特定し、遠隔接客装置２ａにより撮影された第１映像と、前記特定されたカメラ３ａ－３～３ａ－８により撮影された第２映像とを、情報端末６ｅに表示させる。
【選択図】図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】