IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社 資生堂の特許一覧

特許7339092情報処理装置及びバーチャル接客システム
<>
  • 特許-情報処理装置及びバーチャル接客システム 図1
  • 特許-情報処理装置及びバーチャル接客システム 図2
  • 特許-情報処理装置及びバーチャル接客システム 図3
  • 特許-情報処理装置及びバーチャル接客システム 図4
  • 特許-情報処理装置及びバーチャル接客システム 図5
  • 特許-情報処理装置及びバーチャル接客システム 図6
  • 特許-情報処理装置及びバーチャル接客システム 図7
  • 特許-情報処理装置及びバーチャル接客システム 図8
  • 特許-情報処理装置及びバーチャル接客システム 図9
  • 特許-情報処理装置及びバーチャル接客システム 図10
  • 特許-情報処理装置及びバーチャル接客システム 図11
  • 特許-情報処理装置及びバーチャル接客システム 図12
  • 特許-情報処理装置及びバーチャル接客システム 図13
  • 特許-情報処理装置及びバーチャル接客システム 図14
  • 特許-情報処理装置及びバーチャル接客システム 図15
  • 特許-情報処理装置及びバーチャル接客システム 図16
  • 特許-情報処理装置及びバーチャル接客システム 図17
  • 特許-情報処理装置及びバーチャル接客システム 図18
  • 特許-情報処理装置及びバーチャル接客システム 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-28
(45)【発行日】2023-09-05
(54)【発明の名称】情報処理装置及びバーチャル接客システム
(51)【国際特許分類】
   G09F 27/00 20060101AFI20230829BHJP
   G06Q 30/015 20230101ALI20230829BHJP
   H04N 21/462 20110101ALI20230829BHJP
   H04N 21/442 20110101ALI20230829BHJP
   G09G 5/00 20060101ALI20230829BHJP
【FI】
G09F27/00 G
G06Q30/015
H04N21/462
H04N21/442
G09G5/00 550C
G09G5/00 530T
G09G5/00 510M
G09G5/00 510A
【請求項の数】 10
(21)【出願番号】P 2019171365
(22)【出願日】2019-09-20
(65)【公開番号】P2021047369
(43)【公開日】2021-03-25
【審査請求日】2022-07-20
(73)【特許権者】
【識別番号】000001959
【氏名又は名称】株式会社 資生堂
(74)【代理人】
【識別番号】230116816
【弁護士】
【氏名又は名称】成川 弘樹
(74)【代理人】
【識別番号】100146123
【弁理士】
【氏名又は名称】木本 大介
(74)【代理人】
【識別番号】100174850
【弁理士】
【氏名又は名称】大崎 絵美
(72)【発明者】
【氏名】中村 均
【審査官】藤井 達也
(56)【参考文献】
【文献】特開平07-325868(JP,A)
【文献】特開2006-251300(JP,A)
【文献】特開2009-169109(JP,A)
【文献】特開2010-020053(JP,A)
【文献】特開2014-095853(JP,A)
【文献】特開2015-064513(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09F 19/00- 27/00
G06Q 10/00- 10/30
G06Q 30/00- 30/08
G06Q 50/00- 50/20
G06Q 50/26- 99/00
G16Z 99/00
G09G 1/00- 5/42
H04N 1/00-101/00
(57)【特許請求の範囲】
【請求項1】
ディスプレイと、前記ディスプレイと接客対象者との間の対象距離を検出するセンサと、に接続された情報処理装置であって、
非接客行動中のスタッフの非接客動画像及び接客行動中のスタッフの接客動画像を記憶する手段を備え、
前記記憶された非接客動画像又は接客動画像を前記ディスプレイに表示させる手段を備え、
前記表示させる手段は、
前記対象距離が所定距離以上である場合、前記非接客動画像を前記ディスプレイに表示させ、
前記対象距離が前記所定距離未満である場合、前記接客動画像を前記ディスプレイに表示させる、
情報処理装置。
【請求項2】
前記接客動画像を記憶する手段は、複数の接客動画像を記憶し、
前記表示させる手段は、前記対象距離が前記所定距離未満である場合、前記複数の接客動画像のうち前記接客対象者に応じた接客動画像を前記ディスプレイに表示させる、
請求項1に記載の情報処理装置。
【請求項3】
前記表示させる手段は、前記対象距離に応じた接客動画像を前記ディスプレイに表示させる、
請求項2に記載の情報処理装置。
【請求項4】
前記センサは、前記接客対象者の目の位置を検知し、
前記表示させる手段は、前記センサによって検知された目の位置に応じた接客動画像を前記ディスプレイに表示させる、
請求項2又は3に記載の情報処理装置。
【請求項5】
前記表示させる手段は、前記ディスプレイのサイズ及び設置位置を参照して、前記スタッフの等身大のサイズで、前記非接客動画像又は前記接客動画像を前記ディスプレイに表示させる、
請求項1~4の何れかに記載の情報処理装置。
【請求項6】
前記非接客動画像は、前記スタッフの非接客行動を録画することによって生成された動画像であり、
前記接客動画像は、前記スタッフの接客行動を録画することによって生成された動画像である、
請求項1~5の何れかに記載の情報処理装置。
【請求項7】
前記センサは、前記接客対象者の顔の画像を取得し、
前記顔の画像を解析することにより、前記接客対象者の顔の向きを特定する手段を備え、
前記ディスプレイに表示させる手段は、前記対象距離及び前記特定された顔の向きの組合せに応じた接客動画像を表示させる、
請求項1~6の何れかに記載の情報処理装置。
【請求項8】
前記センサは、前記接客対象者の顔の画像を取得し、
前記顔の画像を解析することにより、前記接客対象者の表情を特定する手段を備え、
前記ディスプレイに表示させる手段は、前記対象距離及び前記特定された表情に応じた接客動画像を表示させる、
請求項1~7の何れかに記載の情報処理装置。
【請求項9】
請求項1~8の何れかに記載の情報処理装置を備え、
前記ディスプレイを備える、
バーチャル接客システム。
【請求項10】
前記ディスプレイは、前記接客対象者の接地面に表示面の下端が位置するように配置され、
前記接客動画像及び前記非接客動画像は、等身大のスタッフが床に立っている様子の動画像であり、
前記表示させる手段は、前記床が前記表示面の下端に位置するように、前記接客動画像又は前記非接客動画像を前記ディスプレイに表示させる、
請求項9に記載のバーチャル接客システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置及びバーチャル接客システムに関する。
【背景技術】
【0002】
近年、小売業界では、人手不足が深刻となっており、店舗で接客を行う人員の確保が難しくなってきている。そこで、店舗においてバーチャルな店員による接客を実現する技術が開発されている。
例えば、非特許文献1には、遠隔の人の動きをリアルタイムでバーチャルキャラクターに反映させ、ディスプレイを通して商品紹介などの接客やデモンストレーションを行うことが記載されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】https://www.dnp.co.jp/news/detail/1191078_1587.html
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしなら、非特許文献1では、店員はキャラクターで表示されるため、接客対象者に提供されるユーザ体験は、現実の接客とは乖離している。
【0005】
本発明の目的は、接客対象者に対して、現実の接客と同等のユーザ体験を提供することである。
【課題を解決するための手段】
【0006】
本発明の一態様は、
ディスプレイと、前記ディスプレイと接客対象者との間の対象距離を検出するセンサと、に接続された情報処理装置であって、
非接客行動中のスタッフの非接客動画像又は接客行動中のスタッフの接客動画像を記憶する手段を備え、
前記記憶された非接客動画像又は接客動画像を前記ディスプレイに表示させる手段を備え、
前記表示させる手段は、
前記対象距離が所定距離以上である場合、前記非接客動画像を前記ディスプレイに表示させ、
前記対象距離が前記所定距離未満である場合、前記接客動画像を前記ディスプレイに表示させる、
情報処理装置である。
【発明の効果】
【0007】
本発明によれば、接客対象者に対して、現実の接客と同等のユーザ体験を提供することができる。
【図面の簡単な説明】
【0008】
図1】本実施形態のバーチャル接客システムの構成を示すブロック図である。
図2図1のバーチャル接客システムの機能ブロック図である。
図3】本実施形態の概要の説明図である。
図4】本実施形態の非接客動画像データベースのデータ構造を示す図である。
図5】本実施形態の接客動画像データベースのデータ構造を示す図である。
図6】本実施形態のサービス動画像データベースのデータ構造を示す図である。
図7】本実施形態の情報処理のシーケンス図である。
図8図7の情報処理において表示される画面例を示す図である。
図9図7の情報処理において表示される画面例を示す図である。
図10図7の情報処理において表示される画面例を示す図である。
図11図7の情報処理において表示される画面例を示す図である。
図12】変形例1の概要の説明図である。
図13】変形例2のディスプレイの配置の説明図である。
図14】変形例2のディスプレイの配置の説明図である。
図15】変形例2の情報処理において表示される画面の例を示す図である。
図16】変形例3の接客動画像データベースのデータ構造を示す図である。
図17】変形例4のバーチャル接客システムの機能ブロック図である。
図18】変形例4の情報処理において表示される画面の例を示す図である。
図19】変形例5の概要の説明図である。
【発明を実施するための形態】
【0009】
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
【0010】
本実施形態では、Xは水平方向を示している。Yは、鉛直方向を示している。Zは、ディスプレイ30の表示面の法線方向を示している。
【0011】
(1)バーチャル接客システムの構成
バーチャル接客システムの構成を説明する。図1は、本実施形態のバーチャル接客システムの構成を示すブロック図である。図2は、図1のバーチャル接客システムの機能ブロック図である。
【0012】
図1に示すように、バーチャル接客システム1は、コントローラ10と、センサ20と、ディスプレイ30と、スピーカ40と、マイクロフォン50と、を備える。
【0013】
コントローラ10は、情報処理を実行するコンピュータ(「情報処理装置」の一例)である。
【0014】
センサ20は、接客対象者CUとディスプレイ30との間の距離(以下「対象距離」という)を検知するように構成される。センサ20は、例えば、以下の少なくとも1つを含む。
・赤外線センサ
・イメージセンサ
・反射型光学センサ
・デプスセンサ
【0015】
ディスプレイ30は、動画像を表示するように構成される。ディスプレイ30は、例えば、以下の何れかである。
・タッチパネル式液晶ディスプレイ
・タッチパネル式有機ELディスプレイ
【0016】
スピーカ40は、音声を出力するように構成される。スピーカ40は、例えば、指向性スピーカである。
【0017】
マイクロフォン50は、音声を入力するように構成される。マイクロフォン50は、例えば、指向性マイクロフォンである。
【0018】
ディスプレイ30を基準として、Z方向に離間した位置には、カウンタCOが配置される。接客対象者CUは、カウンタCO越しでディスプレイ30に表示された画像を視認することができる。
【0019】
(1-1)コントローラの構成
コントローラ10の構成を説明する。
【0020】
図2に示すように、コントローラ10は、記憶装置11と、プロセッサ12と、入出力インタフェース13と、通信インタフェース14とを備える。
【0021】
記憶装置11は、プログラム及びデータを記憶するように構成される。記憶装置11は、例えば、ROM(Read Only Memory)、AM(Random Access Memory)、及び、ストレージ(例えば、フラッシュメモリ又はハードディスク)の組合せである。
【0022】
プログラムは、例えば、以下のプログラムを含む。
・OS(Operating System)のプログラム
・情報処理を実行するアプリケーションのプログラム
【0023】
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ(つまり、情報処理の実行結果)
【0024】
プロセッサ12は、記憶装置11に記憶されたプログラムを起動することによって、コントローラ10の機能を実現するように構成される。プロセッサ12は、例えば、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、又は、これらの組み合わせである。
【0025】
入出力インタフェース13は、コントローラ10に接続される入力デバイスからユーザの指示を取得し、かつ、コントローラ10に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、マイクロフォン50、センサ20、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ30及びスピーカ40である。
【0026】
通信インタフェース14は、コントローラ10と他の装置(例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータ)との間の通信を制御するように構成される。
【0027】
(2)実施形態の概要
本実施形態の概要を説明する。図3は、本実施形態の概要の説明図である。
【0028】
図2に示すように、コントローラ10は、ディスプレイ30と、ディスプレイ30と接客対象者CUとの間の対象距離を検出するセンサ20と、に接続された情報処理装置である。
記憶装置11には、店舗のスタッフが接客していないときにとる行動(以下「非接客行動」という)中のスタッフの非接客動画像、又は、店舗のスタッフが接客しているときにとる行動(以下「接客行動」という)中のスタッフの接客動画像が記憶されている。
コントローラ10は、記憶装置11に記憶された非接客動画像又は接客動画像をディスプレイ30に表示させる。具体的には、コントローラ10は、対象距離Dが所定距離Dth以上である場合、非接客動画像をディスプレイ30に表示させる(図3A)。コントローラ10は、対象距離Dが所定距離Dth未満である場合、接客動画像をディスプレイ30に表示させる(図3B)。
【0029】
このように、対象距離に応じて、非接客動画像又は接客動画像を接客対象者に提示する。これにより、接客対象者に対して、現実の接客と同等のユーザ体験を提供することができる。
【0030】
(3)データベース
本実施形態のデータベースを説明する。以下のデータベースは、記憶装置11に記憶される。
【0031】
(3-1)非接客動画像データベース
本実施形態の非接客動画像データベースを説明する。図4は、本実施形態の非接客動画像データベースのデータ構造を示す図である。
【0032】
図4の非接客動画像データベースには、非接客動画像のデータが格納されている。
非接客動画像データベースは、「非接客動画像ID」フィールドと、「非接客動画像」フィールドと、「非接客音声」フィールドと、「条件」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0033】
「非接客動画像ID」フィールドには、非接客動画像を識別する非接客動画像IDが格納される。
【0034】
「非接客動画像」フィールドには、非接客行動中のスタッフの非接客動画像が格納される。非接客動画像は、例えば、スタッフ(例えば、実際の店舗で業務を行っている実在のスタッフ)の非接客行動を録画することによって得られる。
【0035】
「非接客音声」フィールドには、非接客行動中のスタッフの非接客音声が格納される。非接客音声は、例えば、スタッフの非接客行動中の音声を録音することによって得られる。
【0036】
「条件」フィールドには、非接客動画像の表示条件に関する情報が格納される。
【0037】
非接客行動は、例えば、以下の行動を含む。
・商品を棚に陳列する行動
・レジを使用する行動
【0038】
(3-2)接客動画像データベース
本実施形態の接客動画像データベースを説明する。図5は、本実施形態の接客動画像データベースのデータ構造を示す図である。
【0039】
図5の接客動画像データベースには、複数の接客動画像データが格納されている。
接客動画像データベースは、「接客動画像ID」フィールドと、「接客動画像」フィールドと、「接客音声」フィールドと、「条件」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0040】
「接客動画像ID」フィールドには、接客動画像を識別する接客動画像IDが格納される。
【0041】
「接客動画像」フィールドには、接客行動中のスタッフの接客動画像が格納される。接客動画像は、例えば、スタッフの接客行動を録画することによって得られる。
【0042】
「接客音声」フィールドには、接客行動中のスタッフの接客音声が格納される。接客音声は、例えば、スタッフの接客行動中の音声を録音することによって得られる。
【0043】
「条件」フィールドには、接客動画像の表示条件に関する情報が格納される。表示条件は、例えば、ディスプレイ30と接客対象者CUとの間の対象距離に関する条件である。
【0044】
本実施形態では、対象距離Dに応じて、異なる接客動画像及び接客音声が格納されている。例えば、図5において、「10m未満かつ5m以上」の条件(接客動画像ID:V001)には、スタッフが来店の挨拶を行う動画像及び音声が格納されている。「1m未満以内」の条件(接客動画像ID:V002)には、スタッフが具体的なサービス内容の選択を案内する動画像及び音声が格納されている。
【0045】
(3-3)サービス動画像データベース
本実施形態のサービス動画像データベースを説明する。図6は、本実施形態のサービス動画像データベースのデータ構造を示す図である。
【0046】
図6のサービス動画像データベースには、サービス動画像(「接客動画像」の一例)のデータが格納されている。
サービス動画像データベースは、「サービス動画像ID」フィールドと、「サービス動画像」フィールドと、「サービス音声」フィールドと、「サービス名」フィールドと、を含む。各フィールドは、互いに関連付けられている。
【0047】
「サービス動画像ID」フィールドには、サービス動画像を識別するサービス動画像IDが格納される。
【0048】
「サービス動画像」フィールドには、サービス行動中のスタッフのサービス動画像が格納される。サービス動画像は、例えば、スタッフのサービス行動を録画することによって得られる。
【0049】
「接客音声」フィールドには、サービス行動中のスタッフのサービス音声が格納される。サービス音声は、例えば、スタッフのサービス行動中の音声を録音することによって得られる。
【0050】
「サービス名」フィールドには、サービスの名称に関する情報(例えば、テキスト)が格納される。
【0051】
(4)情報処理
本実施形態の情報処理を説明する。図7は、本実施形態の情報処理のシーケンス図である。図8は、図7の情報処理において表示される画面例を示す図である。図9は、図7の情報処理において表示される画面例を示す図である。図10は、図7の情報処理において表示される画面例を示す図である。図11は、図7の情報処理において表示される画面例を示す図である。
【0052】
図7に示すように、コントローラ10は、センサ情報の取得(S100)を実行する。
具体的には、プロセッサ12は、センサ20から、ディスプレイ30と接客対象者CUとの間の対象距離に関する距離情報を取得する。
【0053】
ステップS100の後、コントローラ10は、接客対象者が接客範囲にいるか否かの判定(S101)を実行する。「接客範囲」とは、対象距離Dが所定距離Dth未満である範囲を意味する。
具体的には、プロセッサ12は、ステップS101で得られた距離情報を参照して、対象距離を特定する。
プロセッサ12は、対象距離が所定距離(例えば、10m)未満である場合、「接客対象者CUが接客範囲にいる」と判定する。プロセッサ12は、対象距離が所定距離以上である場合、「接客対象者CUが接客範囲にいない」と判定する。
【0054】
コントローラ10は、ステップS101において、「接客対象者CUが接客範囲にいない」と判定した場合、非接客動画像の表示(S102a)を実行する。
具体的には、プロセッサ12は、非接客動画像データベース(図4)に格納された非接客動画を用いて、画面P10(図7)をディスプレイ30に表示させる。
プロセッサ12は、非接客動画像データベース(図4)に格納された非接客音声をスピーカ40から出力させる。
【0055】
画面P10は、画像オブジェクトIMG10と、表示オブジェクトA10と、を含む。
画像オブジェクトIMG10は、非接客動画像である。
表示オブジェクトA10には、日時、気温、湿度、及び、天気に関する情報が表示される。
【0056】
コントローラ10は、ステップS101において、「接客対象者CUが接客範囲にいる」と判定した場合(つまり、対象距離Dが所定距離Th未満である場合)、接客動画像の表示(S102b)を実行する。
具体的には、プロセッサ12は、接客動画像情報データベース(図5)を参照して、対象距離Dに対応する接客動画像及び接客音声を特定する。例えば、対象距離Dが8mである場合、プロセッサ12は、対象距離「8m」に対応する接客動画像V1及び接客音声A1を特定する。
プロセッサ12は、特定された接客動画像を用いて、画面P11(図8)をディスプレイ30に表示させ、且つ、特定された接客音声(例えば、「いらっしゃいませ」という音声)をスピーカ40から出力させる。
【0057】
画面P11は、画像オブジェクトIMG11と、操作オブジェクトB11a~B11bと、を含む。
画像オブジェクトIMG11は、接客動画像である。
操作オブジェクトB11a~B11bには、それぞれ、サービス動画像を識別するサービス動画像IDが割り当てられている。操作オブジェクトB11a~B11bは、サービスを指定するためのユーザ指示を受け付けるオブジェクトである。操作オブジェクトB11a~B11bには、それぞれ、サービス名に対応するサービス動画像IDが割り当てられている。
【0058】
サービスは、例えば、以下のサービスを含む。
・カラー診断(一例として、接客対象者CUに似合う色を診断するサービス)
・メイクレッスン(一例として、接客対象者CUに似合うメーキャップを提案するサービス)
・コスメ情報提供(一例として、流行のコスメ情報を提供するサービス)
・肌解析(一例として、接客対象者CUの肌を解析するサービス)
・顔バランス診断(一例として、接客対象者CUの顔のバランスを診断するサービス)
【0059】
ステップS102bの後、コントローラ10は、サービス指定の受付(S103)を実行する。
具体的には、プロセッサ12は、画面P11(図8)をディスプレイ30に表示する。
【0060】
例えば、接客対象者CUが、操作オブジェクトB11aを操作すると、プロセッサ12は、サービス動画像情報データベース(図6)を参照して、操作された操作オブジェクトB11aに割り当てられたサービス動画像ID(例えば、「カラー診断」のサービス動画像ID)に関連付けられたサービス動画像及びサービス音声を特定する。
【0061】
ステップS103の後、コントローラ10は、サービス動画像の表示(S104)を実行する。
具体的には、プロセッサ12は、特定された接客動画像を用いて、画面P12(図8)をディスプレイ30に表示し、且つ、特定された接客音声(例えば、「カラー診断を始めます。」という特定された接客動画像を用いて、音声)をスピーカ40から出力させる。
【0062】
画面P12は、画像オブジェクトIMG12a~IMG12cと、操作オブジェクトB12と、を含む。
画像オブジェクトIMG12aは、ステップS103で特定されたサービス動画像である。
画像オブジェクトIMG12bは、パネル画像である。パネル画像は、印字可能なパネルの画像である。パネル画像は、印字可能なパネルを撮影することによって得られる。画像オブジェクトIMG12bには、接客対象者CUに対して提案される商品に関する商品情報(例えば、商品を識別する商品識別情報及び商品の名称)が重畳表示される。
画像オブジェクトIMG12cは、コード画像(例えば、二次元バーコード又は三次元バーコードの画像)である。画像オブジェクトIMG12cには、例えば、画像オブジェクトIMG12bに重畳表示された商品識別情報に対応する商品情報が含まれるウェブサイトのURL(Uniform Resource Locator)が割り当てられる。接客対象者CUは、カメラ(例えば、スマートフォンのカメラ)を用いて画像オブジェクトIMG12cを読み取ることにより、URLに対応するウェブサイトにアクセスすることができる。
操作オブジェクトB12は、サービスを終了させるためのユーザ指示を受け付けるオブジェクトである。
【0063】
ステップS104の後、コントローラ10は、終了動画像の表示(S105)を実行する。
具体的には、接客対象者CUが操作オブジェクトB12を操作すると、プロセッサ12は、画面P13をディスプレイ30に表示し、且つ、サービスの終了に対応するサービス音声(例えば、「サービスを終了します。」という音声)をスピーカ40から出力する。
【0064】
画面P13は、画像オブジェクトIMG13と、表示オブジェクトA13と、を含む。
画像オブジェクトIMG13は、サービスの終了に対応するサービス動画像である。
表示オブジェクトA13には、サービスの終了に対応するメッセージが表示される。
【0065】
コントローラ10は、ステップS101と、ステップS102a、S102b、又は、S104は同時に実行する。
【0066】
コントローラは、ステップS102aの実行中に接客対象者CUが接客範囲に入ったと判定した場合(つまり、非接客動画像を表示している間に、接客対象者CUがディスプレイ30から所定距離Dth未満になるまで近づいた場合)、ステップS102bを実行する。この場合、ディスプレイ30に表示される動画像は、非接客動画像から接客動画像に切り替わる。
【0067】
コントローラ10は、ステップS102bの実行中に接客対象者CUが接客範囲から出たと判定した場合(つまり、接客動画像を表示している間に、接客対象者CUがディスプレイ30から所定距離Dth以上になるまで遠ざかった場合)、ステップS102aを実行する。この場合、ディスプレイ30に表示される動画像は、接客動画像から非接客動画像に切り替わる。
【0068】
コントローラ10は、ステップS102bの実行中に、接客範囲内で対象距離Dが変化した場合(つまり、接客動画像を表示している間に、接客対象者CUが接客範囲内で移動した場合)、変化後の対象距離Dに応じた接客動画像をディスプレイ30に表示し、且つ、且つ、変化後の対象距離Dに応じた接客音声をスピーカ40から出力する。
【0069】
本実施形態によれば、対象距離Dに応じて、接客対象者CUに対して、非接客動画像又は接客動画像を提示する。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
【0070】
(5)変形例
本実施形態の変形例を説明する。
【0071】
(5-1)変形例1
変形例1を説明する。変形例1は、接客対象者CUの目線の高さに応じた接客動画像を表示する例である。図12は、変形例1の概要の説明図である。
【0072】
センサ20は、対象距離、及び、接客対象者CUの目の位置(例えば、ディスプレイ30の表示面の中心を原点とする座標系における目の3次元座標)を計測するように構成される。
【0073】
コントローラ10は、センサ20によって得られた目の位置に基づいて、目線の高さ(例えば、接客対象者CUの足元から目までの高さ)を計算する。
コントローラ10は、計算によって得られた目線の高さに応じた接客動画像をディスプレイ30に表示する。
【0074】
図12Aに示すように、目線の高さがH1である場合、コントローラ10は、スタッフの目線が高さH1に一致するように、接客動画像をディスプレイ30に表示する。
図12Bに示すように、目線の高さがH2である場合、コントローラ10は、スタッフの目線が高さH2に一致するように、接客動画像をディスプレイ30に表示する。
【0075】
変形例1によれば、接客対象者CUの目線と接客動画像のスタッフの目線が略一致する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0076】
(5-2)変形例2
変形例2を説明する。変形例2は、スタッフの全身をディスプレイ30に表示させる例である。
【0077】
(5-2-1)ディスプレイの配置
変形例2のディスプレイ30の配置を説明する。図13は、変形例2のディスプレイの配置の説明図である。図14は、変形例2のディスプレイの配置の説明図である。
【0078】
図13及び図14に示すように、ディスプレイ30は、接客対象者CUの足が接地する面(以下「接地面」という)FLに表示面の下端30bが位置するように配置される。つまり、Y方向について、表示面の下端30bの位置は、接客対象者CUの足裏の位置と一致する。
ディスプレイ30のY方向の高さは、一般的な人物の身長よりも十分高い(例えば、200cmである)。
【0079】
(5-2-2)情報処理
変形例2の情報処理を説明する。図15は、変形例2の情報処理において表示される画面の例を示す図である。
【0080】
プロセッサ12は、ステップS102a~S102b及びS104~S105において、スタッフの全身を含む非接客動画像又は接客動画像をディスプレイ30に表示する。
【0081】
例えば、プロセッサ12は、ステップS102bにおいて、画面P20(図15)をディスプレイ30に表示する。
【0082】
画面P20は、画像オブジェクトIMG20を含む。画像オブジェクトIMG20は、等身大のスタッフの全身を含み、且つ、スタッフが床に立っている様子の接客動画像である。
【0083】
プロセッサ12は、接客動画像と同様に、非接客動画像及びサービス動画像をディスプレイ30に表示する。
【0084】
変形例2によれば、スタッフの全身を含む非接客動画像、接客動画像、及び、サービス動画像がディスプレイ30に表示される。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0085】
(5-3)変形例3
変形例3を説明する。変形例3は、接客対象者CUの属性に応じた接客動画像及びサービス動画像の少なくとも1つを表示する例である。
【0086】
(5-3-1)接客動画像データベース
変形例3の接客動画像データベースを説明する。図16は、変形例3の接客動画像データベースのデータ構造を示す図である。
【0087】
図16の接客動画像データベースには、複数の接客動画像データが格納されている。
接客動画像データベースは、「接客動画像ID」フィールドと、「接客動画像」フィールドと、「接客音声」フィールドと、「条件」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「接客動画像ID」フィールド、「接客動画像」フィールド、及び、「接客音声」フィールドは、本実施形態(図6)と同様である。
【0088】
「条件」フィールドは、複数のサブフィールド(「性別」フィールド及び「年代」フィールド)を含む。
【0089】
「性別」フィールドには、接客対象者CUの性別に関する条件情報が格納される。
【0090】
「年代」フィールドには、接客対象者CUの年代に関する条件情報が格納される。
【0091】
「接客動画像ID」フィールドには、接客動画像を識別する接客動画像IDが格納される。
【0092】
「接客動画像」フィールドには、接客行動中のスタッフの接客動画像が格納される。接客動画像は、例えば、スタッフの接客行動を録画することによって得られる。
【0093】
「接客音声」フィールドには、接客行動中のスタッフの接客音声が格納される。接客音声は、例えば、スタッフの接客行動中の音声を録音することによって得られる。
【0094】
「条件」フィールドには、接客動画像の表示条件に関する情報が格納される。表示条件は、例えば、ディスプレイ30と接客対象者CUとの間の対象距離に関する条件である。
【0095】
変形例3では、対象距離、及び、接客対象者CUの属性(例えば、性別及び年代)の組合せに応じて、異なる接客動画像及び接客音声が格納されている。例えば、図16において、対象距離「10m未満かつ5m以上」、性別「FEMALE」、及び、年代「20~29」の条件(接客動画像ID:V001)には、20代の女性スタッフが来店の挨拶を行う動画像及び音声が格納されている。対象距離「10m未満かつ5m以上」、性別「FEMALE」、及び、年代「30~39」の条件(接客動画像ID:V003)には、30代の女性スタッフが来店の挨拶を行う動画像及び音声が格納されている。
【0096】
(5-3-2)情報処理
変形例3の情報処理を説明する。
【0097】
変形例3のセンサ20は、例えば、イメージセンサである。
【0098】
ステップS100(図8)において、プロセッサ12は、センサ20から画像情報を取得する。
プロセッサ12は、センサ20から得られた画像情報を解析することにより、対象距離Dと、接客対象者CUの属性(例えば、性別及び年代)を特定する。
【0099】
プロセッサ12は、ステップS102b(図8)において、接客動画像情報データベース(図16)を参照して、対象距離Dに対応する接客動画像及び接客音声を特定する。例えば、対象距離Dが8mであり、接客対象者CUの性別が「女性」であり、且つ、接客対象者CUの年代が「20代」である場合、プロセッサ12は、対象距離「8m」、性別「FEMALE」、及び、年代「20~29」の組合せに対応する接客動画像V1及び接客音声A1を特定する。
【0100】
変形例3によれば、対象距離D、並びに、接客対象者CUの性別及び年代の組合せに応じた接客動画像を提示する。これにより、個々の接客対象者CUに最適な接客のユーザ体験を提供することができる。
【0101】
なお、変形例3は、以下の場合にも適用可能である。
・接客対象者CUの性別及び年代の組合せに応じた非接客対象動画像を提示する場合。
・対象距離D、並びに、接客対象者CUの性別及び年代の組合せに応じたサービス動画像を提示する場合。
【0102】
(5-4)変形例4
変形例4を説明する。変形例4は、複数のディスプレイの組合せを用いる例である。
【0103】
(5-4-1)バーチャル接客システムの構成
変形例4のバーチャル接客システム1の構成を説明する。図17は、変形例4のバーチャル接客システムの機能ブロック図である。
【0104】
図17に示すように、バーチャル接客システム1は、本実施形態(図3)と同様の構成(コントローラ10、センサ20、スピーカ40、及び、マイクロフォン50)に加えて、第1ディスプレイ31と、第2ディスプレイ32と、を備える。
第1ディスプレイ31は、ディスプレイ30と同様である。
【0105】
第2ディスプレイ32は、第1ディスプレイ31より小型のディスプレイである。第2ディスプレイ32は、通信インタフェース14を介して、コントローラ10と接続される。第2ディスプレイ32は、例えば、以下の少なくとも1つである。
・通信機能を備えるタッチパネルディスプレイ
・接客対象者CUのスマートフォン又はタブレット端末
【0106】
(5-4-2)情報処理
変形例4の情報処理を説明する。図18は、変形例4の情報処理において表示される画面の例を示す図である。
【0107】
ステップS102aにおいて、プロセッサ12は、第1ディスプレイ31に画面P31(図18A)を表示し、且つ、第2ディスプレイ32に画面P32(図18B)を表示する。
【0108】
画面P31は、画像オブジェクトIMG11を含む。
【0109】
画面P32は、操作オブジェクトB11a~B11bを含む。
【0110】
変形例4によれば、現実に存在し得るスタッフの動画像と、現実に存在し得ない操作オブジェクトB11a~B11bと、を異なるディスプレイを介して提示する。これにより、実際のスタッフが目の前に存在するユーザ体験のリアリティを向上させることができる。
【0111】
(5-5)変形例5
変形例5を説明する。変形例5は、接客対象者CUの顔の向きに応じた接客動画像を表示する例である。図19は、変形例5の概要の説明図である。
【0112】
センサ20は、対象距離を計測し、且つ、接客対象者CUの顔の画像を取得する。
プロセッサ12は、センサ20によって得られた画像に対して画像解析を適用することにより、接客対象者CUの顔の向き及び対象距離(例えば、ディスプレイ30の表示面の中心を原点とする座標系における顔の中心線の3次元ベクトル)を特定する。
プロセッサ12は、特定された顔の向き、及び、対象距離の組合せに応じた接客動画像をディスプレイ30に表示する。
【0113】
図19Aに示すように、顔の向き及び対象距離を示すベクトルがV1である(例えば、接客対象者CUを基準としてディスプレイ30を向いている)場合、コントローラ10は、接客対象者CUのベクトルVEC1に応じた接客動画像(例えば、ディスプレイ30を基準として接客対象者CUの方向を向く顔の動画像)をディスプレイ30に表示する。
図19Bに示すように、顔の向き及び対象距離を示すベクトルがV2である(例えば、接客対象者CUを基準としてディスプレイ30とは異なる方向を向いている)場合、コントローラ10は、接客対象者CUのベクトルVEC2に応じた接客動画像(例えば、ディスプレイ30を基準として接客対象者CUとは異なる方向を向く顔の動画像)をディスプレイ30に表示する。
【0114】
変形例5によれば、接客対象者CUの対象距離及び顔の向きの組合せに応じた接客動画像を表示する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0115】
(5-6)変形例6
変形例6を説明する。変形例6は、接客対象者CUの表情に応じた接客動画像を表示する例である。
【0116】
センサ20は、対象距離を計測し、且つ、接客対象者CUの顔の画像を取得するように構成される。
【0117】
プロセッサ12は、センサ20によって得られた画像に対して画像解析を適用することによって、接客対象者CUの表情を特定する。
プロセッサ12は、特定された表情、及び、対象距離の組合せに応じた接客動画像をディスプレイ30に表示する。
【0118】
変形例6によれば、接客対象者CUの対象距離及び表情の組合せに応じた接客動画像を表示する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0119】
(6)本実施形態の小括
本実施形態について小括する。
【0120】
本実施形態の第1態様は、
ディスプレイ30と、ディスプレイ30と接客対象者CUとの間の対象距離Dを検出するセンサ20と、に接続された情報処理装置(例えば、コントローラ10)であって、
非接客行動中のスタッフの非接客動画像又は接客行動中のスタッフの接客動画像を記憶する手段(例えば、記憶装置11)を備え、
記憶された非接客動画像又は接客動画像をディスプレイ30に表示させる手段を備え、
表示させる手段は、
対象距離Dが所定距離Dth以上である場合、非接客動画像をディスプレイ30に表示させ、
対象距離Dが所定距離Dth未満である場合、接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
【0121】
第1態様によれば、対象距離Dに応じて、非接客動画像又は接客動画像がディスプレイ30に表示される。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
【0122】
本実施形態の第2態様では、
接客動画像を記憶する手段(例えば、記憶装置11)は、複数の接客動画像を記憶し、
表示させる手段は、対象距離Dが所定距離Dth未満である場合、複数の接客動画像のうち接客対象者CUに応じた接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
【0123】
第2態様によれば、複数の接客動画像のうち、接客対象者CUに応じた接客動画像が表示される。これにより、ディスプレイ30に表示されたスタッフが、接客対象者CUに応じて行動するユーザ体験を提供することができる。
【0124】
本実施形態の第3態様では、
表示させる手段は、対象距離Dに応じた接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
【0125】
第3態様によれば、複数の接客動画像のうち、対象距離Dに応じた接客動画像が表示される。これにより、ディスプレイ30に表示されたスタッフが、接客対象者CUとディスプレイ30との間の距離に応じて行動するユーザ体験を提供することができる。
【0126】
本実施形態の第4態様では、
センサ20は、接客対象者CUの目の位置を検知し、
表示させる手段は、センサ20によって検知された目の位置に応じた接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
【0127】
第4態様によれば、ディスプレイ30に表示されるスタッフの目線の高さと、接客対象者CUの目線の高さと、が略一致する。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0128】
本実施形態の第5態様では、
表示させる手段は、ディスプレイ30のサイズ及び設置位置を参照して、スタッフの等身大のサイズで、非接客動画像又は接客動画像をディスプレイ30に表示させる、
情報処理装置(例えば、コントローラ10)である。
【0129】
第5態様によれば、等身大のスタッフがディスプレイ30に表示される。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0130】
本実施形態の第6態様では、
非接客動画像は、スタッフの非接客行動を録画することによって生成された動画像であり、
接客動画像は、スタッフの非接客行動を録画することによって生成された動画像である、
情報処理装置(例えば、コントローラ10)である。
【0131】
第6態様によれば、実在のスタッフの行動が録画された動画像がディスプレイ30に表示される。実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0132】
本実施形態の第7態様では、
センサ20は、接客対象者の顔の画像を取得し、
顔の画像を解析することにより、接客対象者の顔の向きを特定する手段(例えば、プロセッサ12)を備え、
ディスプレイ30に表示させる手段は、対象距離及び特定された顔の向きの組合せに応じた接客動画像を表示させる、
情報処理装置(例えば、コントローラ10)である。
【0133】
第7態様によれば、接客対象者CUの対象距離及び顔の向きの組合せに応じた接客動画像を表示する。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
【0134】
本実施形態の第8態様では、
センサ20は、接客対象者の顔の画像を取得し、
顔の画像を解析することにより、接客対象者の表情を特定する手段(例えば、プロセッサ12)を備え、
ディスプレイ30に表示させる手段は、対象距離及び特定された表情に応じた接客動画像を表示させる、
情報処理装置(例えば、コントローラ10)である。
【0135】
第8態様によれば、接客対象者CUの対象距離及び表情の組合せに応じた接客動画像を表示させる。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
【0136】
本実施形態の第9態様では、
情報処理装置(例えば、コントローラ10)を備え、
ディスプレイ30を備える、
バーチャル接客システム1である。
【0137】
第9態様によれば、対象距離Dに応じて、非接客動画像又は接客動画像がディスプレイ30に表示される。これにより、接客対象者CUに対して、現実の接客と同等のユーザ体験を提供することができる。
【0138】
本実施形態の第10態様では、
ディスプレイ30は、接客対象者CUの接地面に表示面の下端30bが位置するように配置され、
接客動画像又は非接客動画像は、等身大のスタッフが床に立っている様子の動画像であり、
表示させる手段は、床が表示面の下端30bに位置するように、接客動画像又は非接客動画像をディスプレイ30に表示させる、
バーチャル接客システム1である。
【0139】
第10態様によれば、スタッフの全身を含む動画像がディスプレイ30に表示される。これにより、実際のスタッフが目の前に存在するユーザ体験を提供することができる。
【0140】
(7)その他の変形例
その他の変形例を説明する。
【0141】
記憶装置11は、ネットワークNWを介して、コントローラ10と接続されてもよい。
また、記憶装置11に記憶された情報のうち比較的大容量の情報は、ネットワークNWを介してコントローラ10と接続された記憶装置に記憶されてもよい。比較的大容量の情報は、例えば、以下の少なくとも1つである。
・非接客動画像及び非接客音声の組合せ
・接客動画像及び接客音声の組合せ
・サービス動画像及びサービス音声の組合せ
【0142】
本実施形態では、Z方向について、ディスプレイ30とカウンタCOが離間する例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、カウンタCO上にディスプレイ30が配置される場合にも適用可能である。
【0143】
本実施形態では、ディスプレイ30に表示された操作オブジェクトに対する操作を介してユーザ指示を受け付ける例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、マイクロフォン50によって取得された接客対象者CUの音声を介してユーザ指示を受け付ける場合にも適用可能である。
【0144】
本実施形態では、記憶装置11に記憶された非接客動画像及び接客動画像をディスプレイ30に表示する例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、記憶装置11に記憶された非接客動画像及び接客動画像の少なくとも1つに対して画像処理(例えば、リサイズ処理、及び、トリミング処理の少なくとも1つ)を実行し、且つ、画像処理後の画像をディスプレイ30に表示する場合にも適用可能である。
一例として、プロセッサ12は、ディスプレイ30のサイズ及び設置位置を参照して、スタッフが等身大で表示されるように、非接客動画像、接客動画像、及び、サービス動画像をディスプレイ30に表示させる。
【0145】
本実施形態では、接客対象者CUがサービスを終了させるためのユーザ指示を与える前に非接客動画像又は接客動画像の再生が終了した場合、コントローラ10は、例えば、接客対象者CUによるユーザ操作に応じて、以下の何れかの処理を実行しても良い。
・所定の差込動画像の表示
・非接客動画像又は接客動画像の巻き戻し
・非接客動画像又は接客動画像のループ再生
【0146】
本実施形態では、サービス動画像がコード画像を含む例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、サービス動画像は、コード画像に代えて、接客対象者CUを識別するユーザ識別情報を提示しても良い。
【0147】
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
【符号の説明】
【0148】
1 :バーチャル接客システム
10 :コントローラ
11 :記憶装置
12 :プロセッサ
13 :入出力インタフェース
14 :通信インタフェース
20 :センサ
30 :ディスプレイ
31 :第1ディスプレイ
32 :第2ディスプレイ
40 :スピーカ
50 :マイクロフォン
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19