IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ サントリーホールディングス株式会社の特許一覧 ▶ AVITA株式会社の特許一覧

特開2024-78515情報処理装置、情報処理方法、およびプログラム
<>
  • 特開-情報処理装置、情報処理方法、およびプログラム 図1
  • 特開-情報処理装置、情報処理方法、およびプログラム 図2
  • 特開-情報処理装置、情報処理方法、およびプログラム 図3
  • 特開-情報処理装置、情報処理方法、およびプログラム 図4
  • 特開-情報処理装置、情報処理方法、およびプログラム 図5
  • 特開-情報処理装置、情報処理方法、およびプログラム 図6
  • 特開-情報処理装置、情報処理方法、およびプログラム 図7
  • 特開-情報処理装置、情報処理方法、およびプログラム 図8
  • 特開-情報処理装置、情報処理方法、およびプログラム 図9
  • 特開-情報処理装置、情報処理方法、およびプログラム 図10
  • 特開-情報処理装置、情報処理方法、およびプログラム 図11
  • 特開-情報処理装置、情報処理方法、およびプログラム 図12
  • 特開-情報処理装置、情報処理方法、およびプログラム 図13
  • 特開-情報処理装置、情報処理方法、およびプログラム 図14
  • 特開-情報処理装置、情報処理方法、およびプログラム 図15
  • 特開-情報処理装置、情報処理方法、およびプログラム 図16
  • 特開-情報処理装置、情報処理方法、およびプログラム 図17
  • 特開-情報処理装置、情報処理方法、およびプログラム 図18
  • 特開-情報処理装置、情報処理方法、およびプログラム 図19
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024078515
(43)【公開日】2024-06-11
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
   G06Q 50/10 20120101AFI20240604BHJP
【FI】
G06Q50/10
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2022190936
(22)【出願日】2022-11-30
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.TENSORFLOW
(71)【出願人】
【識別番号】309007911
【氏名又は名称】サントリーホールディングス株式会社
(71)【出願人】
【識別番号】521413866
【氏名又は名称】AVITA株式会社
(74)【代理人】
【識別番号】100115749
【弁理士】
【氏名又は名称】谷川 英和
(72)【発明者】
【氏名】北垣 歩武
(72)【発明者】
【氏名】大窪 信一
(72)【発明者】
【氏名】西口 昇吾
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC11
5L050CC11
(57)【要約】      (修正有)
【課題】顧客を接客する接客者とアバターとを適切に決定できる情報処理装置、情報処理方法およびプログラムを提供する。
【解決手段】情報処理装置、1または2以上の接客者端末、1または2以上の店舗端末及び1また2は以上の顧客端末を備える店舗システムにおいて、顧客を接客する接客者とアバターとを適切に決定する情報処理装置1は、1または2以上の顧客に対する接客者を識別する接客者識別子とアバターを識別するアバター識別子とを有する接客側情報を決定するマッチング部132と、接客側情報が有する接客者識別子で識別される接客者端末2に、接客の開始に関する開始情報を送信する開始情報送信部142と、接客側情報が有するアバター識別子で識別されるアバターを顧客が視聴する端末に出力するための出力情報を送信する出力情報送信部144と、を具備する。
【選択図】図3
【特許請求の範囲】
【請求項1】
1または2以上の顧客に対する接客者を識別する接客者識別子とアバターを識別するアバター識別子とを有する接客側情報を決定するマッチング部と、
前記接客側情報が有する接客者識別子で識別される接客者端末に、接客の開始に関する開始情報を送信する開始情報送信部と、
前記接客側情報が有するアバター識別子で識別されるアバターを前記顧客が視聴する端末に出力するための出力情報を送信する出力情報送信部とを具備する情報処理装置。
【請求項2】
前記マッチング部は、
接客者識別子に対応付く接客者評価情報、アバター識別子に対応付くアバター評価情報のうちの1種類以上の評価情報が格納される評価管理部を参照し、前記接客側情報を決定する、請求項1記載の情報処理装置。
【請求項3】
前記1または2以上の顧客を撮影した画像である顧客画像、前記1または2以上の顧客が発声した音声情報、前記接客者が発声した音声情報のうちの1または2種類以上の情報を用いて、前記接客者評価情報または前記アバター評価情報のうちの1または2種類の評価情報を取得し、当該1または2種類の評価情報を蓄積する評価取得部をさらに具備し、
前記マッチング部は、
前記評価取得部が蓄積した前記接客者評価情報または前記アバター評価情報のうちの1種類以上の評価情報を用いて、前記接客側情報を決定する、請求項2記載の情報処理装置。
【請求項4】
前記マッチング部は、
顧客識別子と接客者識別子とを有し、アバター識別子に対応付く1以上の接客履歴情報が格納される接客履歴管理部を参照し、当該1以上の接客履歴情報を用いて、前記接客側情報を決定する、請求項1記載の情報処理装置。
【請求項5】
前記マッチング部は、
顧客識別子と1以上の顧客属性値とを有する1以上の顧客管理情報が格納される顧客管理部と、接客者識別子と1以上の接客者属性値とを有する接客者管理情報またはアバター識別子と1以上のアバター属性値とを有するアバター管理情報のうちの1種類以上の情報を有する1以上の接客側管理情報が格納される接客側管理部とを参照し、前記接客側情報を決定する、請求項1記載の情報処理装置。
【請求項6】
顧客識別子を受信する顧客識別子受信部をさらに具備し、
前記マッチング部は、
前記顧客識別子受信部が受け付けた前記顧客識別子を用いて、1以上の接客者識別子で識別される接客者または1以上のアバター識別子で識別されるアバターを推薦する推薦情報を取得し、当該推薦情報を前記端末に送信し、
前記推薦情報の送信に応じた、接客者またはアバターの選択を示す選択情報を受信する選択受信部をさらに具備し、
前記マッチング部は、
前記選択受信部が受信した前記選択情報が示す接客者またはアバターに対応する前記接客側情報を決定する、請求項1記載の情報処理装置。
【請求項7】
顧客識別子を受信する顧客識別子受信部をさらに具備し、
前記マッチング部は、
前記顧客識別子受信部が受信した前記顧客識別子を用いて、一の接客者識別子を含む接客側情報、または一のアバター識別子を含む接客側情報を決定する、請求項1記載の情報処理装置。
【請求項8】
前記顧客識別子受信部は、
店舗識別子をも受信し、
前記マッチング部は、
前記顧客識別子受信部が受信した前記顧客識別子と前記店舗識別子とを用いて、一の接客者識別子を含む接客側情報、または一のアバター識別子を含む接客側情報を決定する、請求項7記載の情報処理装置。
接客者識別子と1以上の接客者属性値とを有する接客者管理情報またはアバター識別子と1以上のアバター属性値とを有するアバター管理情報である1以上の接客側管理情報が格納される接客側管理部を参照し、接客者またはアバターを選択するためのメニューを構成するメニュー構成部と、
前記メニューを前記端末に送信するメニュー送信部と、
前記メニューに対応する接客者またはアバターの選択を示す選択情報を受信する選択受信部と、
前記マッチング部は、
前記選択受信部が受信した前記選択情報が示す接客者またはアバターに対応する前記接客側情報を決定する、請求項1記載の情報処理装置。
【請求項9】
マッチング部と、開始情報送信部と、出力情報送信部とにより実現される情報処理方法であって、
前記マッチング部が、1または2以上の顧客に対する接客者を識別する接客者識別子とアバターを識別するアバター識別子とを有する接客側情報を決定するマッチングステップと、
前記開始情報送信部が、前記接客側情報が有する接客者識別子で識別される接客者端末に、接客の開始に関する開始情報を送信する開始情報送信ステップと、
前記出力情報送信部が、前記接客側情報が有するアバター識別子で識別されるアバターを前記顧客が視聴する端末に出力するための出力情報を送信する出力情報送信ステップとを具備する情報処理装置。
【請求項10】
コンピュータを、
1または2以上の顧客に対する接客者を識別する接客者識別子とアバターを識別するアバター識別子とを有する接客側情報を決定するマッチング部と、
前記接客側情報が有する接客者識別子で識別される接客者端末に、接客の開始に関する開始情報を送信する開始情報送信部と、
前記接客側情報が有するアバター識別子で識別されるアバターを前記顧客が視聴する端末に出力するための出力情報を送信する出力情報送信部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、アバター技術を活用し、顧客に対して接客を行うことを支援する情報処理装置等に関するものである。
【背景技術】
【0002】
従来、キャラクター画像を介した顧客との応答においてオペレータと顧客との間で自然で円滑なコミュニケーションを成立させることが可能である、とする顧客応対システムがあった(特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-86858号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来技術においては、顧客を接客する接客者とアバターとを適切に決定できなかった、という課題があった。
【課題を解決するための手段】
【0005】
本第一の発明の情報処理装置は、1または2以上の顧客に対する接客者を識別する接客者識別子とアバターを識別するアバター識別子とを有する接客側情報を決定するマッチング部と、接客側情報が有する接客者識別子で識別される接客者端末に、接客の開始に関する開始情報を送信する開始情報送信部と、接客側情報が有するアバター識別子で識別されるアバターを顧客が視聴する端末に出力するための出力情報を送信する出力情報送信部とを具備する情報処理装置である。
【0006】
かかる構成により、顧客を接客する接客者とアバターとを適切に決定できる。
【0007】
また、本第二の発明の情報処理装置は、第一の発明に対して、マッチング部は、接客者識別子に対応付く接客者評価情報、アバター識別子に対応付くアバター評価情報のうちの1種類以上の評価情報が格納される評価管理部を参照し、接客側情報を決定する、情報処理装置である。
【0008】
かかる構成により、接客者の評価とアバターの評価のうちの1以上の評価を用いて、顧客を接客する接客者とアバターとを適切に決定できる。
【0009】
また、本第三の発明の情報処理装置は、第二の発明に対して、1または2以上の顧客を撮影した画像である顧客画像、1または2以上の顧客が発声した音声情報、接客者が発声した音声情報のうちの1または2種類以上の情報を用いて、接客者評価情報またはアバター評価情報のうちの1または2種類の評価情報を取得し、1または2種類の評価情報を蓄積する評価取得部をさらに具備し、マッチング部は、評価取得部が蓄積した接客者評価情報またはアバター評価情報のうちの1種類以上の評価情報を用いて、接客側情報を決定する、情報処理装置である。
【0010】
かかる構成により、接客者の評価とアバターの評価のうちの1以上の評価を容易に取得できる。
【0011】
また、本第四の発明の情報処理装置は、第一の発明に対して、マッチング部は、顧客識別子と接客者識別子とを有し、アバター識別子に対応付く1以上の接客履歴情報が格納される接客履歴管理部を参照し、1以上の接客履歴情報を用いて、接客側情報を決定する、情報処理装置である。
【0012】
かかる構成により、過去の接客の情報を用いて、顧客を接客する接客者とアバターとを適切に決定できる。
【0013】
また、本第五の発明の情報処理装置は、第一の発明に対して、マッチング部は、顧客識別子と1以上の顧客属性値とを有する1以上の顧客管理情報が格納される顧客管理部と、接客者識別子と1以上の接客者属性値とを有する接客者管理情報またはアバター識別子と1以上のアバター属性値とを有するアバター管理情報のうちの1種類以上の情報を有する1以上の接客側管理情報が格納される接客側管理部とを参照し、接客側情報を決定する、情報処理装置である。
【0014】
かかる構成により、顧客属性値と接客者属性値とを用いて、顧客を接客する接客者とアバターとを適切に決定できる。
【0015】
また、本第六の発明の情報処理装置は、第一の発明に対して、顧客識別子を受信する顧客識別子受信部をさらに具備し、マッチング部は、顧客識別子受信部が受け付けた顧客識別子を用いて、1以上の接客者識別子で識別される接客者または1以上のアバター識別子で識別されるアバターを推薦する推薦情報を取得し、推薦情報を端末に送信し、推薦情報の送信に応じた、接客者またはアバターの選択を示す選択情報を受信する選択受信部をさらに具備し、マッチング部は、選択受信部が受信した選択情報が示す接客者またはアバターに対応する接客側情報を決定する、情報処理装置である。
【0016】
かかる構成により、顧客に合うと判断された接客者またはアバターを推薦できる。
【0017】
また、本第七の発明の情報処理装置は、第一の発明に対して、顧客識別子を受信する顧客識別子受信部をさらに具備し、マッチング部は、顧客識別子受信部が受信した顧客識別子を用いて、一の接客者識別子を含む接客側情報、または一のアバター識別子を含む接客側情報を決定する、情報処理装置である。
【0018】
かかる構成により、顧客に合うと判断された接客者またはアバターを自動的に決定できる。
【0019】
また、本第八の発明の情報処理装置は、第七の発明に対して、顧客識別子受信部は、店舗識別子をも受信し、マッチング部は、顧客識別子受信部が受信した顧客識別子と店舗識別子とを用いて、一の接客者識別子を含む接客側情報、または一のアバター識別子を含む接客側情報を決定する、情報処理装置である。
【0020】
かかる構成により、店舗と顧客とに合うと判断された接客者またはアバターを自動的に決定できる。
【0021】
また、本第九の発明の情報処理装置は、第一の発明に対して、接客者識別子と1以上の接客者属性値とを有する接客者管理情報またはアバター識別子と1以上のアバター属性値とを有するアバター管理情報である1以上の接客側管理情報が格納される接客側管理部を参照し、接客者またはアバターを選択するためのメニューを構成するメニュー構成部と、メニューを端末に送信するメニュー送信部と、メニューに対応する接客者またはアバターの選択を示す選択情報を受信する選択受信部と、マッチング部は、選択受信部が受信した選択情報が示す接客者またはアバターに対応する前記接客側情報を決定する、情報処理装置である。
【0022】
かかる構成により、接客者またはアバターを選択するためのメニューを顧客に提示できる。
【発明の効果】
【0023】
本発明による情報処理装置によれば、顧客を接客する接客者とアバターとを適切に決定できる。
【図面の簡単な説明】
【0024】
図1】実施の形態1における店舗システムAの概念図
図2】同店舗システムAのブロック図
図3】同情報処理装置1のブロック図
図4】同情報処理装置1の動作例について説明するフローチャート
図5】同マッチング処理の第一の例について説明するフローチャート
図6】同マッチング処理の第二の例について説明するフローチャート
図7】同評価取得処理の例について説明するフローチャート
図8】同画像特徴量取得処理の例について説明するフローチャート
図9】同接客者端末2の動作例について説明するフローチャート
図10】同店舗端末3の動作例について説明するフローチャート
図11】同顧客端末4の動作例について説明するフローチャート
図12】同店舗管理表を示す図
図13】同接客者管理表を示す図
図14】同アバター管理表を示す図
図15】同顧客管理表を示す図
図16】同接客履歴管理表を示す図
図17】同推薦条件管理表を示す図
図18】同店舗システムAのフロー図
図19】同店舗システムAの動作中の概念図
【発明を実施するための形態】
【0025】
以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0026】
(実施の形態1)
本実施の形態において、顧客に対する接客者を識別する接客者識別子と、当該接客者の分身のキャラクターであるアバターを識別するアバター識別子とを取得し、当該接客者識別子で識別される接客者端末に接客の開始を通知し、当該アバター識別子で識別されるアバターを端末に送信する情報処理装置を具備する店舗システムについて説明する。なお、端末は、顧客がアバターを視聴するための端末であり、店舗端末または顧客端末である。また、アバターの視聴とは、アバターを見ること、およびアバターに対応する接客者の音声を聴くことである。
【0027】
また、本実施の形態において、接客者識別子に対応付く接客者評価情報、アバター識別子に対応付くアバター評価情報を用いて、顧客に対する接客者とアバターとを決定するための処理を行う情報処理装置を具備する店舗システムについて説明する。
【0028】
また、本実施の形態において、顧客を撮影した画像、顧客または接客者の音声情報のうちの1以上の情報を用いて、接客評価情報または/およびアバター評価情報を自動取得する情報処理装置を具備する店舗システムについて説明する。
【0029】
また、本実施の形態において、顧客に対する過去の接客に関する接客履歴情報を管理しており、当該接客履歴情報を用いて、顧客に対する接客者とアバターとを決定するための処理を行う情報処理装置を具備する店舗システムについて説明する。
【0030】
さらに、本実施の形態において、顧客属性値と、接客者属性値または/およびアバター属性値を用いて、顧客に対する接客者とアバターとを決定するための処理を行う情報処理装置を具備する店舗システムについて説明する。なお、決定するための処理は、例えば、接客者または/およびアバターを推薦すること、接客者または/およびアバターを自動決定すること、接客者または/およびアバターの候補を選択するためのメニューを構成し、出力することである。
【0031】
なお、本実施の形態において、情報Xが情報Yに対応付いていることは、情報Xから情報Yを取得できること、または情報Yから情報Xを取得できることであり、その対応付けの方法は問わない。情報Xと情報Yとがリンク付いていても良いし、同じバッファに存在していても良いし、情報Xが情報Yに含まれていても良いし、情報Yが情報Xに含まれている等でも良い。
【0032】
図1は、本実施の形態における店舗システムAの概念図である。店舗システムAは、例えば、情報処理装置1、1または2以上の接客者端末2、1または2以上の店舗端末3、および1または2以上の顧客端末4を備える。また、ここでは、2以上の店舗端末3が設置されている店舗は、1または2以上である。図1において、店舗システムAは、例えば、店舗S1、店舗SN等の各店舗において、1または2以上の店舗端末3が設置されている、とする。なお、ここでの店舗は、通常、飲食店であるが、問わない。また、飲食店は、例えば、スナック、クラブ、バーであるが、その種類は問わない。ここでの店舗は、接客が発生する事業体であれば良い。
【0033】
情報処理装置1は、顧客に対するアバターによる接客を支援するサーバである。情報処理装置1は、ここでは、顧客と、アバターおよび接客者とのマッチングを支援する機能を有する。かかる機能をマッチング機能という。情報処理装置1は、ここでは、例えば、顧客の映像を店舗端末3から受信し、接客者端末2に送信する機能を有する。情報処理装置1は、ここでは、例えば、アバターのモデル情報を接客者端末2から受信し、店舗端末3に送信する機能を有する。
【0034】
情報処理装置1は、通常、サーバであり、例えば、クラウドサーバ、ASPサーバであるが、その種類は問わない。
【0035】
接客者端末2は、顧客を接客する接客者が使用する端末である。接客者端末2は、接客者の音声を集音する。なお、その音声情報は、店舗端末3または顧客端末4で出力される。接客者端末2は、例えば、接客者を撮影する端末である。接客者端末2は、例えば、撮影している接客者の動きに応じたアバターのモデル情報を構成し、当該モデル情報を送信する端末である。なお、アバターのモデル情報は、店舗端末3または顧客端末4で出力される。接客者端末2は、例えば、いわゆるパソコン、タブレット端末、スマートフォン等であり、その種類は問わない。また、店舗端末3または顧客端末4で出力されるモデル情報は、接客者端末2が構成しても良いし、情報処理装置1が構成しても良いし、店舗端末3または顧客端末4が構成しても良い。
【0036】
店舗端末3は、店舗に存在する端末である。店舗端末3は、通常、店舗に設置されている端末である。1または2以上の各店舗に、1または2以上の店舗端末3が設置されていることは好適である。店舗端末3には、顧客に接客中のアバターが出力される。店舗端末3は、例えば、いわゆるパソコン、タブレット端末、スマートフォン等であり、その種類は問わない。
【0037】
顧客端末4は、顧客が使用する端末である。顧客端末4は、例えば、顧客が接客者または/およびアバターを選択するために使用する端末である。顧客端末4は、例えば、いわゆるパソコン、タブレット端末、スマートフォン等であり、その種類は問わない。
【0038】
なお、店舗端末3と顧客端末4とは、両方、店舗で使用される端末である。ここでは、主に、店舗システムAが店舗端末3と顧客端末4の両方を備える場合について説明するが、店舗システムAは、店舗端末3と顧客端末4とのうちの一方の種類の端末のみを有する構成でも良い。店舗システムAが顧客端末4を有しない場合、例えば、店舗端末3が使用されることにより接客が開始される。また、店舗システムAが店舗端末3を有しない場合、店舗において端末を設置する必要がなく、顧客端末4を用いて接客が行われる。
【0039】
情報処理装置1と1以上の各接客者端末2、情報処理装置1と1以上の各店舗端末3、情報処理装置1と1以上の各顧客端末4とは、通常、インターネットやLAN等により通信可能である。
【0040】
図2は、本実施の形態における店舗システムAのブロック図である。図3は、情報処理装置1のブロック図である。
【0041】
情報処理装置1は、格納部11、受信部12、処理部13、および送信部14を備える。格納部11は、店舗管理部111、接客側管理部112、顧客管理部113、接客履歴管理部114、評価管理部115、および出納管理部116を備える。接客側管理部112は、接客者管理部1121、およびアバター管理部1122を備える。受信部12は、顧客識別子受信部121、選択受信部122、顧客端末情報受信部123、および接客者端末情報受信部124を備える。処理部13は、メニュー構成部131、マッチング部132、および評価取得部133を備える。送信部14は、メニュー送信部141、開始情報送信部142、顧客端末情報送信部143、および出力情報送信部144を備える。
【0042】
接客者端末2は、接客格納部21、接客受付部22、接客処理部23、接客送信部24、接客受信部25、および接客出力部26を備える。接客処理部23は、接客撮影部231、接客音声取得部232、およびアバター変換処理部233を備える。
【0043】
店舗端末3は、店舗格納部31、店舗受付部32、店舗処理部33、店舗送信部34、店舗受信部35、および店舗出力部36を備える。店舗処理部33は、店舗撮影部331、店舗音声取得部332、および出力情報構成部333を備える。
【0044】
顧客端末4は、顧客格納部41、顧客受付部42、顧客処理部43、顧客送信部44、顧客受信部45、および顧客出力部46を備える。
【0045】
情報処理装置1を構成する格納部11には、各種の情報が格納される。各種の情報は、例えば、後述する店舗情報、後述する接客者情報、後述する顧客情報、後述する接客履歴情報、後述する評価情報、後述する出納情報である。
【0046】
店舗管理部111には、1または2以上の店舗情報が格納される。店舗情報とは、店舗に関する情報である。店舗情報は、店舗識別子と1または2以上の店舗属性値とを有する。店舗情報は、1または2以上の座席識別子を有することは好適である。店舗識別子とは、店舗を識別する情報である。店舗識別子は、例えば、ID、店舗名、住所である。店舗属性値とは、店舗の属性値である。店舗属性値は、例えば、住所、都道府県、地区識別子、場所のレベル、業態(例えば、スナック、クラブ)、高級度、店舗の広さ、接客する顧客の平均人数、接客できる顧客の最大人数である。地区識別子とは、店舗が設置されている地区を識別する情報(例えば、新橋、渋谷、六本木)、場所のレベルは、例えば、1~5の5段階またはA,B,Cの3段階、高級度は、例えば、1~10の10段階またはA,B,Cの3段階である。座席識別子とは、座席を識別する情報であり、例えば、ID、座席名である。
【0047】
接客側管理部112には、1または2以上の接客者情報、および1または2以上のアバター情報が格納される。
【0048】
接客者とアバターとの対応は固定でも良いし、動的に対応付けても良い。接客者とアバターとの対応が固定である場合、接客側管理部112には、接客者情報とアバター情報との対応が管理されていても良い。接客者とアバターとの対応は、1対1でも良いし、1対多でも良いし、多対1でも良いし、多対多でも良い。
【0049】
なお、接客者情報とアバター情報との対応を示す情報は、例えば、接客者識別子とアバター識別子との組、接客者情報とアバター情報とをリンク付ける情報であるが、そのデータ構造は問わない。
【0050】
接客者管理部1121には、1または2以上の接客者情報が格納される。接客者情報とは、接客者に関する情報である。接客者とは、顧客を接客する人である。接客者が接客する顧客の数は、一人でも二人以上でも良い。接客者情報は、例えば、接客者識別子、1または2以上の接客者属性値を有する。接客者情報は、例えば、接客者の静的な情報である。接客者情報は、例えば、接客可能フラグを有する。接客者識別子とは、接客者を識別する情報である。接客者識別子は、例えば、ID、メールアドレス、電話番号、接客者端末2のIPアドレス、接客者端末2のMACアドレスである。接客者属性値は、例えば、性別、年齢、出身地、居住地、職歴を示す情報、現在の職業、学歴、接客レベルである。接客可能フラグとは、現在、接客が可能であるか否かを示すフラグである。接客レベルとは、接客のレベルである。接客レベルは、例えば、接客の経験年数または/および評価値に基づいて決定されるが、その決定方法は問わない。
【0051】
アバター管理部1122には、1または2以上のアバター情報が格納される。アバター情報とは、アバターに関する情報である。アバター情報は、例えば、アバター識別子、1または2以上のアバター属性値を有する。アバター情報は、例えば、モデル情報を有する。
【0052】
アバター識別子とは、アバターを識別する情報である。アバター識別子は、例えば、ID、名前である。
【0053】
アバター属性値は、例えば、アバターの性別、アバターの年齢、アバターのタイプ、データサイズである。アバターのタイプは、例えば、エレガント、スタイリッシュ、お嬢様系、ボーイッシュである。なお、データサイズは、モデル情報のデータのサイズである。
【0054】
モデル情報とは、アバターの表示を構成するための情報である。モデル情報は、例えば、メッシュ情報、ボーン情報、マテリアル情報を有する。モデル情報は、例えば、glTF ?(GL Transmission Format)?のデータ構造を有する。ただし、モデル情報のデータ構造は、VRM、OBJ、FBX、STL、GLB、COLLADA、等でも良く、種類を問わない。
【0055】
顧客管理部113には、1または2以上の顧客情報が格納される。顧客情報とは、顧客に関する情報である。顧客情報は、例えば、顧客識別子、1または2以上の顧客属性値を有する。顧客属性値は、例えば、性別、年齢、居住地、住所、職業、学歴、所属する組織名(例えば、会社名、勤務先)である。
【0056】
接客履歴管理部114には、1または2以上の接客履歴情報が格納される。接客履歴情報とは、過去の接客の履歴に関する情報である。接客履歴情報は、例えば、日付、時間帯、顧客識別子と接客者識別子との組または顧客識別子と接客者識別子とアバター識別子との組を有する。接客履歴情報は、例えば、評価値を有する。評価値は、接客に対する評価である。評価値は、顧客が入力した値でも良いし、後述する評価取得部133が取得した値でも良い。評価値は、例えば、1から5の5段階であるが、A,B,Cの3段階、10段階等でも良く、問わない。
【0057】
評価管理部115は、1または2以上の評価情報が格納される。
【0058】
評価情報とは、接客の評価に関する情報である。評価情報は、接客者評価情報またはアバター評価情報のうちの1または2種類の情報である。評価情報は、一つの接客に対応する評価の情報でも良いし、2以上の接客に対応する評価の代表の情報でも良い。評価情報は、例えば、顧客のコメントを有する。評価情報は、接客者とアバターとの組の評価でも良い。かかる場合、評価情報は、例えば、接客者識別子とアバター識別子と評価値とを有する。評価情報は、評価値を有する。評価値は、評価を特定する情報である。評価値は、一つの接客に対応する評価値でも良いし、2以上の接客に対応する評価値の代表の情報でも良い。評価値の代表の情報は、例えば、評価値の平均値、評価値の中央値、評価値の最低値、評価値の最高値である。
【0059】
接客者評価情報とは、接客者に対する評価の情報である。接客者評価情報は、例えば、評価値を含む。接客者評価情報は、評価コメントを含んでも良い。アバター評価情報とは、アバターに対する評価の情報である。アバター評価情報は、例えば、評価値を含む。アバター評価情報は、評価コメントを含んでも良い。
【0060】
接客者評価情報とは、接客者に対する評価の情報である。接客者評価情報は、接客者識別子に対応付く。接客者評価情報は、評価値を有する。
【0061】
アバター評価情報とは、アバターに対する評価の情報である。アバター評価情報は、アバター識別子に対応付く。アバター評価情報は、評価値を有する。
【0062】
出納管理部116は、1または2以上の出納情報が格納される。出納情報とは、顧客の支払いに関する情報である。出納情報は、例えば、日付、顧客識別子、接客者識別子、金額を有する。出納情報は、例えば、顧客が利用した店舗の店舗識別子を有する。
【0063】
受信部12は、各種の指示や情報を受信する。各種の指示や情報は、例えば、顧客識別子、店舗識別子、選択情報、後述する接客者端末情報、後述する顧客端末情報、評価情報である。
【0064】
受信部12は、接客者識別子または/およびアバター識別子に対応付いた評価情報を、顧客端末4または店舗端末3から受信する。
【0065】
顧客識別子受信部121は、顧客識別子を受信する。顧客識別子受信部121は、店舗識別子をも受け付けても良い。なお、ここでの顧客識別子は、接客を受ける顧客の識別子である。店舗識別子は、顧客が訪れている店舗の識別子である。
【0066】
選択受信部122は、選択情報を受信する。選択受信部122は、例えば、顧客端末4から選択情報を受信する。選択受信部122は、店舗端末3から選択情報を受信しても良い。選択情報とは、顧客の接客者またはアバターの選択を示す情報である。選択情報は、接客者識別子、アバター識別子のうちの1または2つの情報を有する。選択情報は、例えば、ユーザに提示されたメニューからユーザが選択した接客者または/およびアバターを特定する情報である。選択情報は、例えば、ユーザに提示された推薦情報に含まれる接客者または/およびアバターを特定する情報である。
【0067】
顧客端末情報受信部123は、顧客端末情報を受信する。顧客端末情報とは、顧客側の映像と音声の情報である。顧客端末情報は、店舗端末3または顧客端末4から送信される情報である。顧客端末情報は、例えば、1または2以上の顧客を撮影した映像、および1または2以上の顧客の音声情報である。
【0068】
接客者端末情報受信部124は、接客者端末情報を受信する。接客者端末情報とは、接客者側の音声とアバターに関する情報である。接客者端末情報は、接客者端末2から送信される情報である。接客者端末情報は、例えば、接客者の音声情報とアバターのモデル情報である。接客者端末情報は、例えば、接客者の音声情報と接客者の体の動きを特定する動き情報である。
【0069】
処理部13は、各種の処理を行う。各種の処理とは、例えば、メニュー構成部131、マッチング部132、評価取得部133が行う処理である。
【0070】
処理部13は、例えば、アバター管理部1122のアバターのモデル情報と、接客者端末2から受信された動き情報とを用いて、出力されるアバターのモデル情報を構成する。かかる処理は、後述するアバター変換処理部233の処理と同じである。
【0071】
メニュー構成部131は、接客側管理部112を参照し、接客者またはアバターを選択するためのメニューを構成する。メニュー構成部131は、例えば、接客側管理部112に格納されている1以上の各接客識別子と対になる接客者属性値をメニュー項目として有するメニューを構成する。メニュー構成部131は、例えば、接客側管理部112に格納されている1以上の各アバター識別子と対になるアバター属性値をメニュー項目として有するメニューを構成する。なお、メニューとは、選択対象のユーザインターフェースである。メニュー項目とは、一の選択対象であり、接客者、アバター、または接客者とアバターに対応付いている。メニュー項目は、選択可能であれば良く、チェックボックス、ボタン等でも良く、その種類は問わない。
【0072】
メニュー構成部131は、例えば、接客者管理部1121で管理されている接客者のうち、現在、接客可能な1以上の接客者を決定し、当該1以上の各接客者に対応する1以上の接客者属性値を用いて、メニューを構成する。なお、メニュー構成部131は、例えば、接客可能であることを示す接客可否フラグに対応付いている接客者識別子で識別される1以上の接客者を決定し、当該1以上の各接客者に対応する1以上の接客者属性値を用いて、メニューを構成する。メニュー構成部131は、例えば、通信可能な接客者端末2に対する接客者であり、接客中ではない1以上の接客者を決定し、当該1以上の各接客者に対応する1以上の接客者属性値を用いて、メニューを構成する。
【0073】
メニュー構成部131は、例えば、接客者管理部1121で管理されている接客者のうち、現在、接客可能な1以上の接客者を決定し、当該1以上の各接客者に対応するアバターのアバター属性値(例えば、アバター画像)を用いて、メニューを構成する。なお、接客可能な接客者を決定する処理の例は、上述した。
【0074】
マッチング部132は、接客側情報を決定する。なお、接客側情報を決定することは、例えば、接客側情報を取得することである。
【0075】
接客側情報とは、顧客を接客する接客側に関する情報である。接客側に関する情報とは、通常、接客者とアバターとに関する情報である。接客側情報は、接客者識別子とアバター識別子とを有する。ここでの接客者識別子は、1または2以上の顧客に対する接客者を識別する情報である。ここでのアバター識別子は、接客者の分身として顧客に見られるキャラクターであるアバターを識別する情報である。
【0076】
マッチング部132は、例えば、接客が可能な接客者の中から、接客者を決定する。マッチング部132は、例えば、接客が可能な接客者の中から、接客者を決定することを支援する。接客者が接客可能である場合は、例えば、情報処理装置1が接客者端末2と通信可能である場合、接客者管理部1121に格納されている接客者情報が有する接客可能フラグが「接客可能」を示す値の場合である。つまり、マッチング部132は、例えば、接客者端末2と通信可能であり、他の顧客に対して接客中でない1以上の接客者を検知し、当該1以上の接客者の中から、接客者を決定する。また、マッチング部132は、例えば、接客可能フラグ「接客可能」を示す値と対になる接客者識別子で識別される1以上の接客者の中から、接客者を決定する。
【0077】
マッチング部132は、顧客管理部113と接客側管理部112とを参照し、接客側情報を決定する。マッチング部132は、顧客管理部113と接客側管理部112とを参照し、接客側情報を決定する支援を行っても良い。
【0078】
マッチング部132は、顧客識別子受信部121が顧客識別子を受信したことをトリガーとして、当該顧客識別子を用いて、一の接客者識別子を含む接客側情報、または一のアバター識別子を含む接客側情報を決定しても良い。
【0079】
マッチング部132は、例えば、顧客識別子受信部121が顧客識別子を受信したことをトリガーとして、当該顧客識別子を用いて、推薦情報を取得し、当該推薦情報を端末に送信する。なお、ここでの端末は、店舗端末3でも良いし、顧客端末4でも良いし、店舗端末3と顧客端末4でも良い。
【0080】
推薦情報とは、接客者、アバターのうちの1または2つの情報を推薦する処理である。推薦情報は、例えば、1または2以上の接客者識別子を有する。推薦情報は、例えば、1または2以上のアバター識別子を有する。
【0081】
また、マッチング部132は、例えば、以下の(1)から(4)のうちのいずれかのアルゴリズムにより接客側情報を決定する。
(1)評価情報を用いる場合
【0082】
マッチング部132は、例えば、後述する評価取得部133が取得した接客者評価情報またはアバター評価情報のうちの1種類以上の評価情報を用いて、接客側情報を決定する。
【0083】
マッチング部132は、例えば、評価管理部115を参照し、接客者識別子に対応付く接客者評価情報、アバター識別子に対応付くアバター評価情報のうちの1種類以上の評価情報を用いて、接客側情報を決定する。
【0084】
マッチング部132は、例えば、接客可能である接客者のうち、接客者評価情報が有する評価値が最高である接客者の接客者識別子を有する接客側情報を取得する。マッチング部132は、例えば、接客可能である接客者のうち、接客者評価情報が有する評価値が最高である接客者の接客者識別子と、当該接客者識別子と対になるアバター識別子とを有する接客側情報を取得する。なお、接客者識別子と対になるアバター識別子は、当該接客者識別子で識別される接客者の分身であるアバターの識別子である。
【0085】
マッチング部132は、例えば、接客可能であり、評価情報が推薦条件を満たす1または2以上の接客者の接客者識別子を有する接客側情報を取得する。マッチング部132は、例えば、接客可能であり、評価情報が推薦条件を満たす1または2以上の接客者の接客者識別子と、当該接客者識別子と対になるアバター識別子とを有する接客側情報を取得する。マッチング部132は、例えば、接客可能であり、評価情報が推薦条件を満たす1または2以上の接客者の接客者識別子と、当該接客者識別子に対応する2以上のアバター識別子から選択条件に合致する一のアバター識別子を選択して、当該選択したアバター識別子とを有する接客側情報を取得する。
【0086】
なお、ここでの推薦条件は、評価情報を用いた条件であり、例えば、評価値が閾値以上であること、評価値が閾値より大きいこと、または評価値が最大であることである。また、選択条件は、例えば、評価情報を用いた条件であり、例えば、評価値が閾値以上、または評価値が最大であることである。選択条件は、例えば、ランダムに選択されたことでも良い。
(2)接客履歴情報を用いる場合
【0087】
マッチング部132は、例えば、接客履歴管理部114の1以上の接客履歴情報を用いて、接客側情報を決定する。
【0088】
マッチング部132は、例えば、接客履歴管理部114から、接客可能であり、接客者を決定する対象の顧客の顧客識別子と対になる接客者識別子を取得し、当該接客者識別子を有する接客側情報を決定する。かかる処理により、接客可能な接客者であり、当該顧客を過去に接客した接客者を決定することになる。
【0089】
マッチング部132は、例えば、接客履歴管理部114から、接客可能であり、接客者を決定する対象の顧客の顧客識別子と対になる接客者識別子とアバター識別子とを取得し、当該接客者識別子とアバター識別子とを有する接客側情報を取得する。かかる処理により、接客可能な接客者であり、当該顧客を過去に接客した接客者とアバターとを決定することになる。
【0090】
マッチング部132は、例えば、接客履歴管理部114から、接客可能であり、接客者を決定する対象の顧客の顧客識別子と対になる2以上の接客者識別子から、最大の評価値と対になる接客者識別子で識別される接客者を決定する。ここでの評価値は、当該接客履歴情報が有する評価値であることは好適であるが、当該接客者識別子と対になる評価値(2以上の顧客の評価値の代表値)でも良い。また、かかる処理により、接客可能な接客者であり、当該顧客を過去に接客した接客者の中で最高評価の接客者を決定することになる。
【0091】
マッチング部132は、例えば、接客履歴管理部114から、接客可能であり、接客者を決定する対象の顧客の顧客識別子と対になる2以上の接客者識別子から、最大の評価値と対になる接客者識別子とアバター識別子とを有する接客側情報を取得する。かかる処理により、接客可能な接客者であり、当該顧客を過去に接客した接客者とアバターの中で最高評価の接客者とアバターとを決定することになる。
(3)顧客属性値、接客者属性値、店舗属性値、アバター属性値のうちの1または2種類以上の属性値を用いる場合
【0092】
マッチング部132は、例えば、1または2以上の顧客属性値、1または2以上の接客者属性値、1または2以上の店舗属性値、1または2以上のアバター属性値のうちの1または2種類以上の属性値を用いて、接客側情報を決定する。
(3-1)顧客属性値と接客者属性値とを用いる場合
【0093】
マッチング部132は、例えば、顧客に合う接客者を決定する。つまり、マッチング部132は、例えば、1または2以上の顧客属性値と1または2以上の接客者属性値とを用いて、接客側情報を決定する。
【0094】
マッチング部132は、例えば、顧客属性値の性別が「男性」である場合は、接客者属性値の性別が「女性」と対になる接客者識別子を含む接客側情報を取得する。マッチング部132は、例えば、顧客属性値の年齢に対して閾値以内の差の年齢と対になる接客者識別子を含む接客側情報を取得する。マッチング部132は、例えば、顧客属性値の出身地と同じ出身地と対になる接客者識別子を含む接客側情報を取得する。
(3-2)接客者属性値と店舗属性値とを用いる場合
【0095】
マッチング部132は、例えば、店舗に合う接客者を決定する。つまり、マッチング部132は、例えば、1または2以上の接客者属性値と1または2以上の店舗属性値とを用いて、接客側情報を決定する。
【0096】
マッチング部132は、例えば、顧客が居る店舗の店舗識別子と対になる店舗属性値のうちの高級度が第一閾値以上である場合、第二閾値以上の接客レベルと対になる接客者識別子を含む接客側情報を取得する。
(3-3)アバター属性値と店舗属性値とを用いる場合
【0097】
マッチング部132は、例えば、店舗に合うアバターを決定する。つまり、マッチング部132は、例えば、1または2以上のアバター属性値と1または2以上の店舗属性値とを用いて、接客側情報を決定する。
【0098】
マッチング部132は、例えば、顧客が居る店舗の店舗識別子と対になる店舗属性値のうちの高級度が第一閾値以上である場合、アバターのタイプが「エレガント」と対になるアバター識別子を含む接客側情報を取得する。
(3-4)顧客属性値と店舗属性値と接客者属性値とを用いる場合
【0099】
マッチング部132は、例えば、顧客と店舗とに合う接客者を決定する。つまり、マッチング部132は、例えば、1または2以上の顧客属性値、1または2以上の接客者属性値、および1または2以上の店舗属性値を用いて、接客側情報を決定する。
【0100】
マッチング部132は、例えば、顧客属性値の性別が「男性」であり、顧客が居る店舗の店舗識別子と対になる店舗属性値の高級度が第一閾値以上である場合、接客者属性値の性別が「女性」と対になり、かつ第二閾値以上の接客レベルと対になる接客者識別子を含む接客側情報を取得する。
(3-5)顧客属性値と店舗属性値とアバター属性値とを用いる場合
【0101】
マッチング部132は、例えば、顧客と店舗とに合うアバターを決定する。つまり、マッチング部132は、例えば、1または2以上の顧客属性値、1または2以上の店舗属性値、および1または2以上のアバター属性値を用いて、接客側情報を決定する。
【0102】
マッチング部132は、例えば、顧客の年齢が「50歳」であり、顧客が居る店舗の店舗識別子と対になる店舗属性値の高級度が第一閾値以上である場合、アバターの年齢が40歳以上であり、アバターのタイプが「エレガント」と対になるアバター識別子を含む接客側情報を取得する。
(3-6)顧客属性値と店舗属性値と接客者属性値とアバター属性値とを用いる場合
【0103】
マッチング部132は、例えば、顧客と店舗とに合う接客者とアバターとを決定する。つまり、マッチング部132は、1または2以上の顧客属性値、1または2以上の接客者属性値、1または2以上の店舗属性値、および1または2以上のアバター属性値を用いて、接客側情報を決定する。
【0104】
マッチング部132は、例えば、顧客の年齢が「50歳」であり、顧客が居る店舗の店舗識別子と対になる店舗属性値の高級度が第一閾値以上である場合、第二閾値以上の接客レベルと対になり、40歳以上の年齢と対になり、かつ評価値が閾値以上の接客者の接客者識別子と、アバターの年齢が40歳以上であり、アバターのタイプが「エレガント」と対になるアバター識別子とを含む接客側情報を取得する。
(4)複数の情報に基づくスコアを用いる場合
(4-1)接客者を決定する場合
【0105】
マッチング部132は、例えば、評価情報、接客履歴情報、接客者属性値のうちの2種類以上の情報を用いて、接客者のスコアを取得し、当該スコアを用いて、接客者を決定する。マッチング部132は、例えば、接客可能であり、スコアが最大の接客者を決定する。
【0106】
マッチング部132は、例えば、接客者の評価値、顧客に過去に接客したことがあるか否か、顧客に対して満足度を高める接客者属性値を有するか否かにより、接客者のスコアを取得し、当該スコアを用いて、接客者を決定する。さらに具体的には、マッチング部132は、例えば、接客者の評価値が高いほど、高いスコアを取得する。また、マッチング部132は、顧客に過去に接客したことがあり、かつ評価値が閾値以上である場合は、高いスコアを取得する。また、マッチング部132は、顧客に過去に接客したことがあり、かつ評価値が閾値以下である場合は、低いスコアを取得する。また、マッチング部132は、顧客と同じ出身地である場合は、より高いスコアを取得する。
【0107】
なお、マッチング部132は、例えば、接客者を決定した後、当該接客者に対するアバターを決定することは好適である。
(4-2)アバターを決定する場合
【0108】
マッチング部132は、例えば、評価情報、接客履歴情報、アバター属性値のうちの2種類以上の情報を用いて、アバターのスコアを取得し、当該スコアを用いて、アバターを決定する。マッチング部132は、例えば、スコアが最大のアバターを決定する。
【0109】
マッチング部132は、例えば、アバターの評価値、顧客に過去に接客したことがあるか否か、顧客に対して満足度を高めるアバター属性値を有するか否かにより、アバターのスコアを取得し、当該スコアを用いて、アバターを決定する。さらに具体的には、マッチング部132は、例えば、アバターの評価値が高いほど、高いスコアを取得する。また、マッチング部132は、顧客に過去に接客したことがあり、かつ評価値が閾値以上である場合は、高いスコアを取得する。また、マッチング部132は、顧客が過去に接客したことがあり、かつ評価値が閾値以下である場合は、低いスコアを取得する。
(5)顧客からの選択情報を用いる場合
【0110】
マッチング部132は、例えば、選択受信部122が受信した選択情報が示す接客者またはアバターに対応する接客側情報を決定する。
【0111】
マッチング部132は、例えば、顧客に示されたメニューに対応する接客者またはアバターの選択を示す選択情報が示す接客者またはアバターに対応する接客側情報を決定する。
【0112】
マッチング部132は、例えば、顧客に示された推薦情報に対応する接客者またはアバターの選択を示す選択情報が示す接客者またはアバターに対応する接客側情報を決定する。
【0113】
マッチング部132は、例えば、選択受信部122が受信した選択情報が有する接客者識別子を含む接客側情報を取得する。
【0114】
マッチング部132は、例えば、選択受信部122が受信した選択情報が有するアバター識別子を含む接客側情報を取得する。
【0115】
マッチング部132は、例えば、選択受信部122が受信した選択情報が有する接客者識別子とアバター識別子とを含む接客側情報を取得する。
【0116】
マッチング部132は、例えば、上述したマッチング部132の処理のうちのいずれかの処理により、1または2以上の接客者識別子を取得し、当該1または2以上の接客者識別子のうちで、顧客が一の接客者識別子を選択するためのメニューを構成し、当該メニューを端末に送信する。かかる場合、選択受信部122は、メニューが送信された端末から、顧客が選択した一の接客者識別子を含む選択情報を受信する。なお、ここでの端末は、店舗端末3または顧客端末4である。
【0117】
マッチング部132は、例えば、上述したマッチング部132の処理のうちのいずれかの処理により、1または2以上のアバター識別子を取得し、当該1または2以上のアバター識別子のうちで、顧客が一のアバター識別子を選択するためのメニューを構成し、当該メニューを端末に送信する。かかる場合、選択受信部122は、メニューが送信された端末から、顧客が選択した一のアバター識別子を含む選択情報を受信する。
【0118】
マッチング部132は、例えば、上述したマッチング部132の処理のうちのいずれかの処理により、1または2以上の接客者識別子と1または2以上のアバター識別子とを取得し、当該1または2以上の接客者識別子と当該1または2以上のアバター識別子のうちで、顧客が一の接客者識別子と一のアバター識別子とを選択するためのメニューを構成し、当該メニューを端末に送信する。かかる場合、選択受信部122は、メニューが送信された端末から、顧客が選択した一の接客者識別子と一のアバター識別子とを含む選択情報を受信する。
【0119】
評価取得部133は、接客者評価情報またはアバター評価情報のうちの1または2種類の評価情報を取得する。
【0120】
評価取得部133は、例えば、1または2以上の顧客を撮影した画像である顧客画像、1または2以上の顧客が発声した音声情報、接客者が発声した音声情報のうちの1または2種類以上の情報を用いて、接客者評価情報またはアバター評価情報のうちの1または2種類の評価情報を取得する。なお、取得される評価情報は、接客者識別子またはアバター識別子に対応付いている。
【0121】
顧客画像は、通常は、2以上の静止画を有する動画であるが、静止画でも良い。評価取得部133は、例えば、顧客画像が有する2以上の各フレームを解析し、笑顔を含むフレームの割合を取得し、当該割合が大きいほど、高い評価値を含む接客者評価情報または高い評価値を含むアバター評価情報を取得する。評価取得部133は、例えば、顧客画像が有する2以上のフレームを用いて、動画の動きベクトルを取得し、動きベクトルの絶対値が大きな値であるほど、高い評価値を含む接客者評価情報または高い評価値を含むアバター評価情報を取得する。つまり、評価取得部133は、笑いを検知し、笑いが多いほど、良い接待であったことを示す評価値を取得することは好適である。評価取得部133は、顧客の動きを検知し、動きが大きいほど、良い接待であったことを示す評価値を取得することは好適である。
【0122】
評価取得部133は、例えば、1または2以上の顧客が発声した音声情報を解析し、無音区間の総時間または無音区間の割合いを取得し、当該総時間または当該割合いが大きい値であるほど、低い評価値を含む接客者評価情報または低い評価値を含むアバター評価情報を取得する。つまり、評価取得部133は、顧客の音声情報の無音区間を検知し、無音区間が長いほど、良くない接待であったことを示す評価値を取得することは好適である。
【0123】
評価取得部133は、例えば、1または2以上の顧客が発声した音声情報に対して音声認識し、会話の文字列を取得し、当該文字列の中に含まれるポジティブな単語の数を取得し、当該数が大きい値であるほど、高い評価値を含む接客者評価情報または高い評価値を含むアバター評価情報を取得する。また、評価取得部133は、例えば、1または2以上の顧客が発声した音声情報に対して音声認識し、会話の文字列を取得し、当該文字列の中に含まれるネガティブな単語の数を取得し、当該数が大きい値であるほど、低い評価値を含む接客者評価情報または低い評価値を含むアバター評価情報を取得する。つまり、評価取得部133は、顧客の発話の内容を用いて、接待の良し悪しを示す評価値を取得することは好適である。
【0124】
評価取得部133は、例えば、1または2以上の接客者が発声した音声情報を解析し、無音区間の総時間または無音区間の割合いを取得し、当該総時間または当該割合いが大きい値であるほど、低い評価値を含む接客者評価情報または低い評価値を含むアバター評価情報を取得する。つまり、評価取得部133は、接客者の音声情報の無音区間を検知し、無音区間が長いほど、良くない接待であったことを示す評価値を取得することは好適である。
【0125】
評価取得部133は、例えば、1または2以上の顧客を撮影した画像である顧客画像の特徴量である1または2以上の画像特徴量、1または2以上の顧客が発声した音声情報の特徴量である1または2以上の顧客音声特徴量、接客者が発声した音声情報の特徴量である1または2以上の接客者音声特徴量を取得し、1または2種類以上の特徴量を用いて、接客者評価情報またはアバター評価情報のうちの1または2種類の評価情報を取得する。
【0126】
評価取得部133は、例えば、格納部11に格納されている学習モデルと、予測対象の顧客画像、顧客音声情報、接客者音声情報のうちの1または2種類以上から取得した1または2以上の特徴量とを用いて、機械学習の予測処理を行い、評価値を取得しても良い。なお、かかる評価値は、接客者の評価値でも、アバターの評価値でも良い。
【0127】
評価取得部133は、例えば、1または2種類以上の各特徴量を要素とするベクトルと評価値とを有する2以上の対応情報を有する対応表を参照し、予測対象の顧客画像、顧客音声情報、接客者音声情報のうちの1または2種類以上から取得した2以上の各特徴量を要素とするベクトルに最も近似するベクトルと対になる評価値を対応表から取得しても良い。なお、かかる評価値は、接客者の評価値でも、アバターの評価値でも良い。
【0128】
評価取得部133は、例えば、1または2以上の特徴量をパラメータとする演算式に、1または2以上の特徴量を代入し、当該演算式を実行し、評価値を取得しても良い。なお、かかる評価値は、接客者の評価値でも、アバターの評価値でも良い。演算式は、例えば、無音区間の時間をパラメータとする減少関数、HOF特徴量またはMBH特徴量をパラメータとする増加関数、笑顔を含むフレームの数をパラメータとする増加関数、ポジティブなフレームの数をパラメータとする増加関数である。なお、ここでは、ポジティブなフレームは場が盛り上がっていることを示し、ネガティブなフレームは場が盛り上がっていないことを示すと考える。また、笑顔の顔の数が多いほどポジティブなフレームである、と決定される、とする。ポジティブなフレームの条件は、例えば、「笑顔の数/顧客の数>=閾値」「笑顔の数が1以上」である。
【0129】
また、画像特徴量は、例えば、動きの特徴量であり、例えば、HOF、MBHである。ただし、画像特徴量が問わない。また、音声特徴量は、例えば、パワー等の音の大きさに関する特徴量、基本周波数等の音の高さに関する特徴量、フォルトマン周波数、MFCC等の音色に関する特徴量であるが、問わない。
【0130】
また、学習モデルとは、1または2種類以上の各特徴量と評価値とを有する2以上の教師データに対して、機械学習の学習処理により構成された情報であり、機械学習の予測処理に使用される情報である。学習モデルは、学習器、分類器、分類モデル等と言っても良い。機械学習のアルゴリズムは、深層学習、ランダムフォレスト、決定木、SVR等、問わない。また、機械学習には、例えば、TensorFlowのライブラリ、R言語のrandom forestのモジュール、fastText、TinySVM等の各種の機械学習の関数や、種々の既存のライブラリを用いることができる。
【0131】
評価取得部133は、例えば、受信部12が受信した接客者評価情報またはアバター評価情報のうちの1または2種類の評価情報を取得する。
【0132】
送信部14は、各種の情報を送信する。各種の情報は、例えば、メニュー、顧客端末情報、開始情報、出力情報である。
【0133】
メニュー送信部141は、メニュー構成部131が構成したメニューを端末に送信する。端末は、顧客が接客者または/およびアバターを選択するための端末であり、店舗端末3または顧客端末4である。
【0134】
開始情報送信部142は、マッチング部132が決定した接客側情報が有する接客者識別子で識別される接客者端末2に、開始情報を送信する。
【0135】
開始情報とは、接客の開始に関する情報である。開始情報は、例えば、接客の開始指示である。開始指示の接客者端末2への送信により、接客者端末2は、例えば、カメラを起動し、接客者の撮影を開始する。開始指示の接客者端末2への送信により、接客者端末2は、例えば、接客の開始を促す情報を出力する。開始情報は、例えば、アバターのモデル情報を含む。
【0136】
顧客端末情報送信部143は、顧客端末情報受信部123が受信した顧客端末情報を接客者端末2に送信する。顧客端末情報は、顧客映像と顧客音声情報とを有する。顧客映像とは、1または2以上の顧客を撮影した映像である。顧客音声情報とは、1または2以上の顧客が発声した音声の情報である。
【0137】
出力情報送信部144は、接客側情報が有するアバター識別子で識別されるアバターを顧客が視聴する端末に出力するための出力情報を送信する。なお、顧客が視聴する端末とは、接客されている際に、顧客がアバターを視聴する端末であり、通常、店舗端末3であるが、顧客端末4でも良い。
【0138】
出力情報とは、顧客が視聴する端末に出力される情報を構成するための情報である。出力情報は、接客者音声情報を有する。出力情報は、通常、アバターのモデル情報を有する。しかし、出力情報は、アバターを構成するための動き情報を有しても良い。かかる場合、アバターを構成する処理は、顧客がアバターを視聴する端末で行われる。なお、顧客が視聴する端末で出力されるアバターは、接客者端末2で構成されることは好適であるが、情報処理装置1で構成されても良いし、顧客がアバターを視聴する端末で構成されても良い。
【0139】
接客者端末2を構成する接客格納部21には、各種の情報が格納される。各種の情報は、例えば、接客者識別子、接客者の分身のアバターのモデル情報である。
【0140】
接客受付部22は、各種の指示や情報を受け付ける。各種の指示や情報とは、例えば、接客可能フラグ、終了指示である。終了指示とは、接客を終了させるための指示である。
【0141】
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0142】
接客処理部23は、各種の処理を行う。各種の処理とは、例えば、受信された情報を表示されるデータに構成する処理である。各種の処理とは、例えば、受け付けられた指示等を送信する指示等に構成する処理である。
【0143】
各種の処理は、例えば、接客撮影部231、接客音声取得部232、アバター変換処理部233が行う処理である。
【0144】
接客処理部23は、例えば、アバター変換処理部233が取得したモデル情報と接客音声取得部232が取得した接客者音声情報とを有する接客者端末情報を構成する。
【0145】
接客撮影部231は、接客者を撮影し、接客者映像を取得する。接客撮影部231は、通常、カメラである。
【0146】
接客音声取得部232は、接客者の音声を受け付け、接客者音声情報を取得する。接客音声取得部232は、通常、マイクである。
【0147】
アバター変換処理部233は、アバターのモデル情報を用いて、接客撮影部231が取得した接客者映像が示す接客者の動きに応じて、当該動きを伴うモデル情報を取得する。なお、アバター変換処理部233は公知技術により実現可能である。アバター変換処理部233は、例えば、接客者映像を解析し、接客者の動きを示す動き情報を取得する。そして、アバター変換処理部233は、例えば、当該動き情報を用いて、アバターのモデル情報に動きが加わったモデル情報を構成する。
【0148】
接客送信部24は、各種の情報や指示を送信する。接客送信部24は、例えば、接客処理部23が構成した接客者端末情報を送信する。接客送信部24は、通常、接客者端末情報を情報処理装置1に送信する。なお、接客者端末情報は、通常、モデル情報と接客者音声情報とを有する。接客者端末情報は、動き情報と接客者音声情報とを有しても良い。
【0149】
接客受信部25は、各種の情報や指示を受信する。各種の情報や指示は、例えば、開始情報、顧客端末情報である。接客受信部25は、情報処理装置1から開始情報や顧客端末情報を受信することは好適である。
【0150】
接客出力部26は、各種の情報を出力する。各種の情報は、例えば、接客受信部25が受信した顧客端末情報である。顧客端末情報は、顧客映像と顧客音声情報である。
【0151】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0152】
店舗端末3を構成する店舗格納部31には、各種の情報が格納される。各種の情報は、例えば、店舗識別子、アバターのモデル情報である。
【0153】
店舗受付部32は、各種の指示や情報を受け付ける。各種の指示や情報とは、例えば、選択情報、注文情報、評価情報である。
【0154】
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0155】
店舗処理部33は、各種の処理を行う。各種の処理とは、例えば、受信された情報を表示されるデータに構成する処理である。各種の処理とは、例えば、受け付けられた指示等を送信する指示等に構成する処理である。
【0156】
各種の処理は、例えば、店舗撮影部331、店舗音声取得部332、出力情報構成部333が行う処理である。
【0157】
店舗撮影部331は、店舗に居る1または2以上の顧客を撮影し、顧客映像を取得する。店舗撮影部331は、通常、カメラである。
【0158】
店舗音声取得部332は、店舗に居る1または2以上の顧客の音声である顧客音声情報を取得する。店舗音声取得部332は、通常、マイクである。
【0159】
出力情報構成部333は、出力情報を構成する。出力情報構成部333は、例えば、受信されたアバターのモデル情報を用いて、出力されるアバターを構成する。
【0160】
出力情報構成部333は、例えば、店舗格納部31のアバターのモデル情報と、受信された動き情報とを用いて、出力されるアバターを構成する。かかる出力情報構成部333の処理は、アバター変換処理部233の処理と同じである。なお、接客者端末2で出力されるモデル情報が構成される場合、出力情報構成部333は、不要である。
【0161】
店舗送信部34は、各種の情報や指示を情報処理装置1に送信する。各種の情報や指示は、例えば、顧客端末情報、店舗識別子、顧客識別子である。
【0162】
店舗受信部35は、各種の情報や指示を受信する。各種の情報や指示は、例えば、メニュー、出力情報である。店舗受信部35は、例えば、アバターのモデル情報と接客者音声情報とを有する出力情報を、情報処理装置1から受信する。店舗受信部35は、例えば、顧客識別子を顧客端末4から受信する。
【0163】
店舗出力部36は、各種の情報を出力する。各種の情報は、例えば、モデル情報を用いたアバターと、接客者音声情報である。
【0164】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0165】
顧客端末4を構成する顧客格納部41には、各種の情報が格納される。各種の情報は、例えば、顧客識別子、店舗識別子、アバターのモデル情報である。
【0166】
顧客受付部42は、各種の指示や情報を受け付ける。各種の指示や情報とは、例えば、選択情報、店舗識別子である。
【0167】
各種の指示や情報の入力手段は、タッチパネルやキーボードやマウスやメニュー画面によるもの等、何でも良い。
【0168】
顧客処理部43は、各種の処理を行う。各種の処理とは、例えば、受信された情報を表示されるデータに構成する処理である。各種の処理とは、例えば、受け付けられた指示等を送信する指示等に構成する処理である。
【0169】
顧客処理部43は、例えば、コードを読取り、当該コードに埋め込まれた店舗識別子を取得する。なお、コードは、例えば、QRコード(登録商標)、バーコードであるが、問わない。また、コードは、例えば、店舗端末3に表示されている、または店舗に存在する紙に印刷されている。
【0170】
顧客処理部43は、例えば、コードに埋め込まれた店舗識別子を取得し、当該店舗識別子と顧客識別子とを有する開始指示を構成しても良い。なお、開始指示は、接客の開始の指示である。
【0171】
顧客処理部43は、例えば、アバターのモデル情報を用いて、出力されるアバターを構成する。
【0172】
顧客処理部43は、例えば、アバターのモデル情報と動き情報とを用いて、出力されるアバターを構成する。
【0173】
顧客送信部44は、各種の情報や指示を送信する。各種の情報や指示は、例えば、開始指示、選択情報である。顧客送信部44は、例えば、開始指示を情報処理装置1に送信する。顧客送信部44は、例えば、選択情報を情報処理装置1に送信する。
【0174】
顧客受信部45は、各種の情報を受信する。各種の情報は、例えば、メニュー、アバターのモデル情報、接客者音声情報である。各種の情報は、例えば、接客者の動き情報である。メニューは、接客者、アバターのうちの1または2つを選択するためのメニューである。
【0175】
顧客出力部46は、各種の情報を出力する。各種の情報は、例えば。メニュー、アバター、接客者音声情報である。
【0176】
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0177】
格納部11、店舗管理部111、接客側管理部112、顧客管理部113、接客履歴管理部114、評価管理部115、出納管理部116、接客者管理部1121、アバター管理部1122、接客格納部21、店舗格納部31、および顧客格納部41は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【0178】
格納部11等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部11等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部11等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部11等で記憶されるようになってもよい。
【0179】
受信部12、顧客識別子受信部121、選択受信部122、顧客端末情報受信部123、接客者端末情報受信部124、接客受信部25、店舗受信部35、および顧客受信部45は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
【0180】
処理部13、メニュー構成部131、マッチング部132、評価取得部133、接客処理部23は、接客撮影部231、接客音声取得部232、アバター変換処理部233、店舗処理部33、出力情報構成部333、および顧客処理部43は、通常、プロセッサやメモリ等から実現され得る。処理部13等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。なお、プロセッサは、CPU、MPU、GPU等であり、その種類は問わない。
【0181】
送信部14、メニュー送信部141、開始情報送信部142、1顧客端末情報送信部143、出力情報送信部144、接客送信部24、店舗送信部34、および顧客送信部44は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
【0182】
接客受付部22、店舗受付部32、および顧客受付部42は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0183】
接客出力部26、店舗出力部36、および顧客出力部46は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。接客出力部26は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0184】
接客撮影部231、および店舗撮影部331は、カメラとそのドライバーソフトとにより実現され得る。
【0185】
接客音声取得部232、および店舗音声取得部332は、マイクとそのドライバーソフトとにより実現され得る。
【0186】
次に、店舗システムAの動作例について説明する。まず、情報処理装置1の動作例について、図4のフローチャートを用いて説明する。
【0187】
(ステップS401)顧客識別子受信部121は、顧客識別子等を受信したか否かを判断する。顧客識別子等を受信した場合はステップS421に行き、顧客識別子等を受信しなかった場合はステップS401に戻る。なお、顧客識別子等とは、例えば、顧客識別子のみ、顧客識別子と店舗識別子である。
【0188】
(ステップS402)マッチング部132は、マッチング処理を行う。マッチング処理の例について、図5図6のフローチャートを用いて説明する。なお、マッチング処理の結果、ここでは、受信された顧客識別子で識別される顧客にマッチングする接客者の接客者識別子と、アバターのアバター識別子が得られる、とする。
【0189】
(ステップS403)処理部13は、ステップS402で取得されたアバター識別子を用いて、開始情報を構成する。処理部13は、ここでの接客を識別するユニークな識別子である接客識別子を取得し、当該接客識別子と顧客識別子と接客者識別子とを対応付けて、格納部11に蓄積しても良い。また、処理部13は、ステップS402で取得された接客者識別子と対になる接客可否フラグを「接客不可(例えば、「0」)」に書き換えても良い。なお、開始情報は、例えば、マッチング処理で取得されたアバター識別子で識別されるアバターのモデル情報を有する。
【0190】
(ステップS404)開始情報送信部142は、マッチング部132が決定した接客側情報が有する接客者識別子で識別される接客者端末2に、開始情報を送信する。
【0191】
(ステップS405)接客者端末情報受信部124は、接客者端末2から接客者端末情報を受信したか否かを判断する。接客者端末情報を受信した場合はステップS406に行き、接客者端末情報を受信しなかった場合はステップS414に行く。なお、ここでの接客者端末情報は、例えば、アバターのモデル情報と接客者音声情報、または接客者の動き情報と接客者音声情報とを有する。
【0192】
(ステップS406)処理部13は、ステップS405で受信された接客者端末情報を、本接客の接客識別子に対応付けて、格納部11に蓄積する。
【0193】
(ステップS407)処理部13は、ステップS405で受信された接客者端末情報を用いて、出力情報を構成する。出力情報は、例えば、アバターのモデル情報と接客者音声情報、または接客者の動き情報と接客者音声情報とを有する。
【0194】
(ステップS408)出力情報送信部144は、ステップS407で構成された出力情報を店舗端末3または/および顧客端末4に送信する。
【0195】
(ステップS409)顧客端末情報受信部123は、店舗端末または顧客端末4から顧客端末情報を受信したか否かを判断する。顧客端末情報を受信した場合はステップS410に行き、受信しなかった場合はステップS412に行く。なお、ここでの顧客端末情報は、例えば、顧客映像および顧客音声情報を有する。
【0196】
(ステップS410)処理部13は、ステップS409で受信された顧客端末情報を、本接客の接客識別子に対応付けて、格納部11に蓄積する。
【0197】
(ステップS411)顧客端末情報送信部143は、ステップS409で受信された顧客端末情報を、接客者端末2に送信する。ステップS405に戻る。
【0198】
(ステップS412)受信部12は、顧客識別子に対応付けて、注文情報を受信したか否かを判断する。注文情報を受信した場合はステップS413に行き、注文情報を受信しなかった場合はステップS405に戻る。なお、受信部12は、注文情報を顧客端末4または店舗端末3から受信する。
【0199】
(ステップS413)処理部13は、顧客識別子に対応付けて、注文情報を格納部11に蓄積する。ステップS405に戻る。
【0200】
(ステップS414)受信部12は、接客者識別子に対応付けて、接客フラグを接客者端末2から受信したか否かを判断する。接客フラグを受信した場合はステップS415に行き、接客フラグを受信しなかった場合はステップS416に行く。
【0201】
(ステップS415)処理部13は、接客者識別子に対応付けて、接客フラグを接客者管理部1121に蓄積する。ステップS405に戻る。
【0202】
(ステップS416)処理部13は、接客を終了するか否かを判断する。接客を終了する場合はステップS417に行き、接客を終了しない場合はステップS405に戻る。なお、接客を終了する場合は、例えば、接客者端末2または店舗端末3または顧客端末4から、接客識別子または接客者識別子または顧客識別子に対応付く終了指示が受信された場合、または予め決められた時刻になった場合である。
【0203】
(ステップS417)評価取得部133は、評価取得処理を行う。評価取得処理の例について、図7のフローチャートを用いて説明する。
【0204】
(ステップS418)処理部13は、接客履歴情報を構成する。接客履歴情報は、例えば、日付、接客者識別子、1以上の顧客識別子、店舗識別子、評価情報を有する。
【0205】
(ステップS419)処理部13は、ステップS418で構成した接客履歴情報を接客履歴管理部114に蓄積する。
【0206】
(ステップS420)処理部13は、出納処理を行う。つまり、処理部13は、例えば、顧客識別子を取得し、当該顧客識別子と対になる1以上の注文情報を取得する。また、処理部13は、例えば、接客の開始から終了までの時間である接客時間を取得する。次に、
処理部13は、例えば、1以上の注文情報と接客時間とを用いて、顧客が支払うべき費用を算出し、当該顧客識別子と対に当該費用と日付と店舗識別子とを有する出納情報を、出納管理部116に蓄積する。ステップS401に戻る。なお、処理部13は、例えば、接客時間が長いほど、高い費用を取得することは好適である。
【0207】
(ステップS421)受信部12は、接客者識別子に対応付けて、接客フラグを接客者端末2から受信したか否かを判断する。接客フラグを受信した場合はステップS422に行き、接客フラグを受信しなかった場合はステップS401に戻る。
【0208】
(ステップS422)処理部13は、接客者識別子に対応付けて、接客フラグを接客者管理部1121に蓄積する。ステップS401に戻る。
【0209】
なお、図4のフローチャートにおいて、情報処理装置1は、一の接客者が接客中であり、当該一の接客者による接客の処理中でも、ステップ401において顧客識別子等を受信した場合、並行して、接客の処理を行える、とする。なお、接客の処理とは、ステップS402~S420の処理である。
【0210】
また、図4のステップS417において、評価取得部133は、評価画面情報を店舗端末3または顧客端末4に送信し、顧客が入力した評価情報を受信しても良い。
【0211】
また、図4のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0212】
次に、ステップS402のマッチング処理の第一の例について、図5のフローチャートを用いて説明する。
【0213】
(ステップS501)マッチング部132は、カウンタiに1を代入する。
【0214】
(ステップS502)マッチング部132は、i番目の接客者が存在するか否かを判断する。i番目の接客者が存在する場合はステップS503に行き、i番目の接客者が存在しない場合はステップS511に行く。なお、i番目の接客者が存在することは、通常、i番目の接客者情報が接客者管理部1121に存在することである。
【0215】
(ステップS503)マッチング部132は、i番目の接客者が接客可能であるか否かを判断する。i番目の接客者が接客可能である場合はステップS504に行き、可能でない場合はステップS509に行く。なお、接客者が接客可能であることは、例えば、当該接客者の接客者識別子と対になる接客可否フラグの値が「接客可能(例えば「1」)」であること、または当該接客者の接客者端末2と情報処理装置1とが通信可能であり、顧客を接客中でないことである。顧客を接客中でないことは、例えば、格納部11において、接客者識別子がいずれの顧客識別子とも対応付いていないことである。
【0216】
(ステップS504)マッチング部132は、カウンタjに1を代入する。
【0217】
(ステップS505)マッチング部132は、格納部11にj番目の推薦条件が格納部11に存在するか否かを判断する。j番目の推薦条件が存在する場合はステップS506に行き、j番目の推薦条件が存在しない場合はステップS509に行く。
【0218】
(ステップS506)マッチング部132は、j番目の推薦条件を取得し、当該推薦条件の判断に使用する1または2以上の情報を取得する。
【0219】
(ステップS507)マッチング部132は、j番目の推薦条件とステップS506で取得した1以上の情報とを用いて、j番目の推薦条件に合致するか否かを判断する。j番目の推薦条件に合致する場合はステップS508に行き、合致しない場合はステップS510に行く。
【0220】
(ステップS508)マッチング部132は、i番目の接客者識別子を取得し、図示しないバッファに一時蓄積する。
【0221】
(ステップS509)マッチング部132は、カウンタiを1、インクリメントする。ステップS502に戻る。
【0222】
(ステップS510)マッチング部132は、カウンタjを1、インクリメントする。ステップS505に戻る。
【0223】
(ステップS511)マッチング部132は、図示しないバッファに2以上の接客者識別子が存在するか否かを判断する。2以上の接客者識別子が存在する場合はステップS512に行き、存在しない場合はステップS515に行く。
【0224】
(ステップS512)マッチング部132は、2以上の接客者識別子で識別される接客者から、一の接客者を選択するためのメニューを構成する。なお、メニューは、例えば、2以上の各接客者識別子と対になる1以上の接客者属性値を有する。メニューは、例えば、2以上の各接客者識別子と対になるアバターのモデル情報を有する。かかる場合、接客者とアバターとは、予め対応付いている。なお、メニューは、顧客が接客者を選択するためのユーザインターフェースである。
【0225】
(ステップS513)マッチング部132は、ステップS512で構成したメニューを店舗端末3または顧客端末4に送信する。
【0226】
(ステップS514)選択受信部122は、店舗端末3または顧客端末4から、選択情報を受信したか否かを判断する。選択情報を受信した場合はステップS515に行き、受信しない場合はステップS514に戻る。
【0227】
(ステップS515)マッチング部132は、マッチング部132が取得した接客者識別子と対になるアバター識別子、または選択情報が有する接客者識別子と対になるアバター識別子を取得する。
【0228】
(ステップS516)マッチング部132は、取得した接客者識別子または選択情報が有する接客者識別子と、ステップS515で取得したアバター識別子とを有する接客側情報を取得する。上位処理にリターンする。
【0229】
なお、図5のフローチャートにおいて、接客者が決まればアバターが決まる処理であった。しかし、図5のフローチャートにおいて、例えば、顧客が複数のアバターから一のアバターを選択しても良い。
【0230】
次に、ステップS402のマッチング処理の第二の例について、図6のフローチャートを用いて説明する。図6のフローチャートにおいて、図5のフローチャートと同一のステップについて説明を省略する。
【0231】
(ステップS601)マッチング部132は、カウンタiに1を代入する。
【0232】
(ステップS602)マッチング部132は、j番目のアバターが存在するか否かを判断する。j番目のアバターが存在する場合はステップS603に行き、存在しない場合はステップS610に行く。j番目のアバターが存在するか否かは、例えば、j番目のアバター情報がアバター管理部1122に存在するか否かである。
【0233】
(ステップS603)マッチング部132は、カウンタj1を代入する。
【0234】
(ステップS604)マッチング部132は、格納部11にj番目の推薦条件が存在するか否かを判断する。j番目の推薦条件が存在する場合はステップS605に行き、j番目の推薦条件が存在しない場合はステップS608に行く。
【0235】
(ステップS605)マッチング部132は、j番目の推薦条件を取得し、当該推薦条件の判断に使用する1または2以上の情報を取得する。
【0236】
(ステップS606)マッチング部132は、j番目の推薦条件とステップS605で取得した1以上の情報とを用いて、j番目の推薦条件に合致するか否かを判断する。j番目の推薦条件に合致する場合はステップS607に行き、合致しない場合はステップS609に行く。
【0237】
(ステップS607)マッチング部132は、i番目のアバター識別子を取得し、図示しないバッファに一時蓄積する。
【0238】
(ステップS608)マッチング部132は、カウンタiを1、インクリメントする。ステップS602に戻る。
【0239】
(ステップS609)マッチング部132は、カウンタjを1、インクリメントする。ステップS604に戻る。
【0240】
(ステップS610)マッチング部132は、図示しないバッファに存在する1以上の接客者識別子を用いて、接客者を選択、決定するためのメニューを構成する。また、マッチング部132は、図示しないバッファに存在する1以上のアバター識別子を用いて、アバターを選択、決定するためのメニューを構成する。
【0241】
(ステップS611)マッチング部132は、ステップS610で構成したメニューを店舗端末3または顧客端末4に送信する。
【0242】
(ステップS612)選択受信部122は、店舗端末3または顧客端末4から、選択情報を受信したか否かを判断する。選択情報を受信した場合はステップS613に行き、受信しない場合はステップS612に戻る。なお、選択情報には、顧客により選択された接客者の接客者識別子、および顧客により選択されたアバターのアバター識別子が含まれる。
【0243】
(ステップS613)マッチング部132は、選択情報が有する接客者識別子とアバター識別子とを有する接客側情報を取得する。上位処理にリターンする。
【0244】
なお、図6のフローチャートにおいて、マッチング部132が図示しないバッファに一時蓄積した接客者識別子が一つの場合、接客者を選択するためのメニューを構成することなく、当該接客者識別子を決定しても良い。また、図6のフローチャートにおいて、マッチング部132が図示しないバッファに一時蓄積したアバター識別子が一つの場合、アバターを選択するためのメニューを構成することなく、当該アバター識別子を決定しても良い。
【0245】
次に、ステップS417の評価取得処理の例について、図7のフローチャートを用いて説明する。
【0246】
(ステップS701)評価取得部133は、対応する接客識別子と対になる顧客映像から、1以上の特徴量を取得する。かかる画像特徴量取得処理の例について、図8のフローチャートを用いて説明する。
【0247】
(ステップS702)評価取得部133は、対応する接客識別子と対になる顧客音声情報を格納部11から取得する。次に、評価取得部133は、当該顧客音声情報の1または2以上の顧客音声特徴量を取得する。
【0248】
(ステップS703)評価取得部133は、対応する接客識別子と対になる接客者音声情報を格納部11から取得する。次に、評価取得部133は、当該接客者音声情報の1または2以上の接客者音声特徴量を取得する。
【0249】
(ステップS704)評価取得部133は、ステップS701で取得した画像特徴量、ステップS702で取得した1以上の顧客音声特徴量、ステップS703で取得した1以上の接客者音声特徴量のうちの1または2種類以上の特徴量を用いて、当該接客の評価値を取得する。評価取得部133は、上述した通り、例えば、機械学習の予測処理による方法、対応表を用いる方法により評価値を取得するが、1または2以上の特徴量をパラメータとして演算式に代入し、当該演算式を実行し、評価値を取得しても良い。つまり、評価取得部133が評価値を取得する方法は問わない。
【0250】
(ステップS705)評価取得部133は、ステップS704で取得した評価値を有する評価情報を取得する。評価情報は、例えば、日付、接客者識別子、アバター識別子、店舗識別子のうちの1または2以上の情報を有する。
【0251】
(ステップS706)評価取得部133は、ステップS705で取得した評価情報を評価管理部115に蓄積する。
【0252】
なお、図7のフローチャートにおいて、評価取得部133は、接客者、アバターのうちの1または2つに対する評価値を顧客に入力してもらうための画面情報を構成し、顧客端末4または店舗端末3に送信しても良い。そして、評価取得部133は、顧客端末4または店舗端末3から、画面情報の送信に応じた評価値を受信し、当該評価値を有する評価情報を構成し、評価管理部115に蓄積しても良い。
【0253】
次に、ステップS701の画像特徴量取得処理の例について、図8のフローチャートを用いて説明する。
【0254】
(ステップS801)評価取得部133は、カウンタiに1を代入する。
【0255】
(ステップS802)評価取得部133は、顧客映像の中に、i番目の検査フレームが存在するか否かを判断する。i番目の検査フレームが存在する場合はステップS803に行き、存在しない場合はステップS810に行く。
【0256】
なお、検査フレームとは、画像特徴量を取得する際に使用するフレームである。顧客映像の中のすべてのフレームが検査フレームであっても良いし、連続するN(Nは2以上の自然数)のフレームのうちの一つのフレームのみが検査フレームであっても良い。
【0257】
(ステップS803)評価取得部133は、画像処理により、i番目の検査フレームの1または2以上の顔領域を抽出する。
【0258】
(ステップS804)評価取得部133は、1または2以上の顔領域の顔が笑顔であるか否かを判断する。
【0259】
(ステップS805)評価取得部133は、ステップS804における判断結果に応じて、i番目の検査フレームがポジティブであるか、ネガティブであるかを決定する。
【0260】
(ステップS806)評価取得部133は、ステップS805における決定の結果に基づいて、ポジティブ数またはネガティブ数をインクリメントする。
【0261】
(ステップS807)評価取得部133は、i番目の検査フレームと(i-1)番目の検査フレームとから動きベクトルを取得する。
【0262】
(ステップS808)評価取得部133は、ステップS807で取得した動きベクトルを、図示しないバッファに一時蓄積する。
【0263】
(ステップS809)評価取得部133は、カウンタiを1、インクリメントする。ステップS802に戻る。
【0264】
(ステップS810)評価取得部133は、図示しないバッファに一時蓄積された2以上おn動きベクトルの平均値を取得する。上位処理にリターンする。
【0265】
なお、図8のフローチャートにおいて、評価取得部133は、ポジティブ数、ネガティブ数、および動きベクトルの平均値といった画像特徴量を取得したが、他の特徴量を取得しても良い。
【0266】
また、図8のフローチャートにおいて、評価取得部133は、例えば、画像特徴量のベクトル(ポジティブ数、ネガティブ数,動きベクトル)を取得することとなる。
【0267】
次に、接客者端末2の動作例について、図9のフローチャートを用いて説明する。
【0268】
(ステップS901)接客受付部22は、接客可否フラグを受け付けたか否かを判断する。接客可否フラグを受け付けた場合はステップS902に行き、接客可否フラグを受け付けなかった場合はステップS903に行く。
【0269】
(ステップS902)接客処理部23は、接客格納部21から接客者識別子を取得する。次に、接客処理部23は、接客可否フラグと接客者識別子とを有する情報を構成する。次に、接客送信部24は、構成した情報を、情報処理装置1に送信する。ステップS901に戻る。
【0270】
(ステップS903)接客受信部25は、情報処理装置1から開始情報を受信したか否かを判断する。開始情報を受信した場合はステップS904に行き、開始情報を受信しなかった場合はステップS901に戻る。
【0271】
(ステップS904)接客処理部23は、受信された開始情報に含まれるモデル情報を取得する、または開始情報に含まれるアバター識別子と対になるモデル情報を接客格納部21から取得する。
【0272】
(ステップS905)接客撮影部231は、カメラを起動し、撮影を開始する。接客音声取得部232は、マイクを起動し、集音を開始する。
【0273】
(ステップS906)接客撮影部231は、接客者映像を取得する。
【0274】
(ステップS907)アバター変換処理部233は、接客者映像から接客者の動きの情報を抽出し、当該動きの情報に従って、ステップS904で取得したモデル情報を変形し、送信するモデル情報を構成する。
【0275】
(ステップS908)接客音声取得部232は、接客者音声情報を取得する。
【0276】
(ステップS909)接客処理部23は、ステップS907で構成したモデル情報とステップS908で取得した接客者音声情報とを有する接客者端末情報を構成する。
【0277】
(ステップS910)接客送信部24は、ステップS909で構成された接客者端末情報を、接客者識別子に対応付けて、情報処理装置1に送信する。
【0278】
(ステップS911)接客処理部23は、接客を終了するか否かを判断する。接客を終了する場合はステップS912に行き、接客を終了しない場合はステップS913に行く。なお、接客を終了する場合は、例えば、接客受付部22が終了指示を受け付けた場合、接客受信部25が終了指示を情報処理装置1から受信した場合である。
【0279】
(ステップS912)接客処理部23は、接客の終了処理を行う。ステップS901に戻る。なお、接客の終了処理とは、例えば、「接客可能」である旨を示す接客可否フラグを、接客者識別子に対応付けて情報処理装置1に送信すること、カメラおよびマイクをオフにすることである。
【0280】
(ステップS913)接客受信部25は、顧客端末情報を受信したか否かを判断する。顧客端末情報を受信した場合はステップS914に行き、顧客端末情報を受信しなかった場合はステップS906に戻る。
【0281】
(ステップS914)接客出力部26は、ステップS913で受信された顧客端末情報が有する顧客映像を出力する。
【0282】
(ステップS915)接客出力部26は、ステップS913で受信された顧客端末情報が有する顧客音声情報を出力する。ステップS906に戻る。
【0283】
なお、図9のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0284】
次に、店舗端末3の動作例について、図10のフローチャートを用いて説明する。
【0285】
(ステップS1001)店舗受信部35は、情報処理装置1からメニューを受信したか否かを判断する。メニューを受信した場合はステップS1002に行き、メニューを受信しなかった場合はステップS1006に行く。なお、受信されるメニューは、接客識別子に対応付いている。
【0286】
(ステップS1002)店舗処理部33は、ステップS1001で受信されたメニューを用いて、出力するメニューを構成する。
【0287】
(ステップS1003)店舗出力部36は、ステップS1002で構成されたメニューを出力する。
【0288】
(ステップS1004)店舗受付部32は、顧客からの選択情報を受け付けたか否かを判断する。選択情報を受け付けた場合はステップS1005に行き、受け付けなかった場合はステップS1003に戻る。なお、選択情報は、例えば、接客者識別子だけでも良いし、選択情報とアバター識別子でも良い。
【0289】
(ステップS1005)店舗処理部33は、送信する選択情報を構成する。店舗送信部34は、当該選択情報を情報処理装置1に送信する。ステップS1001に戻る。なお、送信する選択情報は、例えば、接客識別子を有する。
【0290】
(ステップS1006)店舗処理部33は、接客中であるか否かを判断する。接客中であればステップS1007に行き、接客中でなければステップS1020に行く。
【0291】
(ステップS1007)店舗撮影部331は、顧客映像を取得する。
【0292】
(ステップS1008)店舗音声取得部332は、顧客音声情報を取得する。
【0293】
(ステップS1009)店舗処理部33は、顧客映像と顧客音声情報とを有する顧客端末情報を構成する。なお、送信される顧客端末情報は、例えば、接客識別子、店舗識別子に対応付いている。また、送信される顧客端末情報は、例えば、店舗の中の座席を識別する座席識別子、または店舗端末識別子に対応付いていても良い。店舗端末識別子とは、店舗端末3を識別する情報であり、例えば、座席識別子と同じである。
【0294】
(ステップS1010)店舗送信部34は、ステップS1009で構成された顧客端末情報を情報処理装置1に送信する。
【0295】
(ステップS1011)店舗受信部35は、情報処理装置1から出力情報を受信したか否かを判断する。出力情報を受信した場合はステップS1012に行き、出力情報を受信しなかった場合はステップS1015に行く。
【0296】
(ステップS1012)店舗処理部33は、ステップS1011で受信された出力情報を用いて、出力するアバターを構成する。店舗処理部33は、例えば、出力情報が有するアバターのモデル情報を用いて、出力するアバターを構成する。店舗処理部33は、例えば、出力情報が有する動き情報と、店舗格納部31のアバターのモデル情報とを用いて、出力するアバターを構成する。
【0297】
(ステップS1013)店舗出力部36は、ステップS1012で構成されたアバターを出力する。
【0298】
(ステップS1014)店舗処理部33は、ステップS1011で受信された出力情報に含まれる接客者音声情報を取得する。店舗出力部36は、当該接客者音声情報を出力する。
【0299】
(ステップS1015)店舗処理部33は、接客を終了するか否かを判断する。接客を終了する場合はステップS1016に行き、接客を終了しない場合はステップS1007に戻る。接客を終了する場合は、例えば、店舗受信部35が終了指示を受信した場合、または店舗受付部32が終了指示を受け付けた場合である。
【0300】
(ステップS1016)店舗受信部35は、情報処理装置1から評価画面情報を受信したか否かを判断する。評価画面情報を受信した場合はステップS1017に行き、評価画面情報を受信しなかった場合はステップS1001に戻る。
【0301】
(ステップS1017)店舗処理部33は、評価画面情報を用いて、評価画面を構成する。店舗出力部36は、当該評価画面を出力する。
【0302】
(ステップS1018)店舗受付部32は、顧客から、評価画面の出力に応じた評価情報を受け付けたか否かを判断する。評価情報を受け付けた場合はステップS1019に行き、評価情報を受け付けなかった場合はステップS1018に戻る。
【0303】
(ステップS1019)店舗処理部33は、送信する評価情報を構成する。店舗送信部34は、当該評価情報を情報処理装置1に送信する。ステップS1001に戻る。なお、送信する評価情報は、接客識別子に対応付いている。
【0304】
(ステップS1020)店舗受付部32は、顧客識別子に対応付く注文情報を受け付けたか否かを判断する。注文情報を受け付けた場合はステップS1021に行き、注文情報を受け付けなかった場合はステップS1001に戻る。
【0305】
(ステップS1021)店舗処理部33は、送信する注文情報を構成する。次に、店舗送信部34は、当該注文情報を、顧客識別子に対応付けて、情報処理装置1等に送信する。ステップS1001に戻る。
【0306】
なお、情報処理装置1等とは、例えば、情報処理装置1と図示しない厨房装置である。厨房装置は、通常、店舗内にあり、注文に対する料理や飲料を用意する厨房に存在する装置である。厨房装置は、注文情報を受信し、出力する。
【0307】
なお、図10のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0308】
次に、顧客端末4の動作例について、図11のフローチャートを用いて説明する。図11のフローチャートにおいて、図10のフローチャートと同一のステップについて説明を省略する。なお、図11のフローチャートにおいて、図10のフローチャートと同一のステップでも、動作を行う主体は、図10のフローチャートにおける主体とは異なることは言うまでもない。
【0309】
(ステップS1101)顧客受付部42は、店舗識別子を受け付けたか否かを判断する。店舗識別子を受け付けた場合はステップS1102に行き、店舗識別子を受け付けなかった場合はステップS1006に行く。
【0310】
(ステップS1102)顧客処理部43は、顧客格納部41から顧客識別子を取得する。
【0311】
(ステップS1103)顧客送信部44は、顧客識別子と店舗識別子とを含む情報を情報処理装置1に送信する。ステップS1001に行く。
【0312】
(ステップS1104)顧客処理部43は、タイムアウトか否かを判断する。タイムアウトであればステップS1101に戻り、タイムアウトでなればステップS1001に行く。
【0313】
なお、図11のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0314】
以下、本実施の形態における店舗システムAの情報処理装置1が有する具体的な情報の例、および店舗システムAの動作例について説明する。
【0315】
今、情報処理装置1の店舗管理部111には、図12に示す店舗管理表が格納されている、とする。店舗管理表とは、店舗情報を管理する表である。店舗管理表は、「ID」「店舗識別子」「座席識別子」「店舗属性値」を有する1以上のレコードを管理する。「店舗属性値」は、ここでは「地区識別子」「業態」「高級度」を有する。「ID」はレコードを識別する情報である。「業態」は、例えば、「クラブ」「スナック」「バー」「一杯飲み屋」等を採り得る、とする。「高級度」は、ここでは、1から5のいずれかを採り得る、とする。そして、高級度「5」が、店舗が最も高級であるクラスに属することを示す。また、一の店舗識別子に対応する座席識別子は、1または2以上である。
【0316】
また、接客者管理部1121には、図13に示す接客者管理表が格納されている、とする。接客者管理表とは、接客者情報を管理する表である。接客者管理表は、「ID」「接客者識別子」「接客者属性値」「接客可否フラグ」「アバター識別子」を有する1以上のレコードを管理する。「接客者属性値」は、「性別」「年齢」「出身地」「居住地」「接客レベル」を有する。なお、「接客レベル」は、ここでは、例えば、過去の1または2以上の評価値の平均値である、とする。「接客可否フラグ」とは、現在、接客が可能な状態であるか否かを示す情報である。接客可否フラグ「1」は接客が可能であり、接客可否フラグ「0」は接客が不可能であることを示す。「アバター識別子」は、対になる接客者識別子で識別される接客者の1または2以上の分身であるアバターの識別子である。なお、ここでは、接客者識別子とアバター識別子とは、1対1、または1対多の関係であるが、多対多、多対1の関係でも良い。
【0317】
また、アバター管理部1122には、図14に示すアバター管理表が格納されている、とする。アバター管理表とは、アバター情報を管理する表である。アバター管理表は、「ID」「アバター識別子」「アバター属性値」を有する1以上のレコードを管理する。「アバター属性値」は、「性別」「年齢」「タイプ」「データサイズ」「モデル情報」を有する。
【0318】
また、顧客管理部113には、図15に示す顧客管理表が格納されている、とする。顧客管理表とは、顧客情報を管理する表である。顧客管理表は、「ID」「顧客識別子」「顧客属性値」を有する1以上のレコードを管理する。「顧客属性値」は、「性別」「年齢」「出身地」「居住地」「ランク」を有する。「ランク」とは、顧客のランクを示す情報であり、ここでは、1から5のいずれかの自然数を採り得る。「ランク」は、接客履歴情報に基づいて取得される値である。「ランク」は、例えば、顧客の接客の利用回数が多いほど、または/および顧客が支払った費用の累積が大きい金額であるほど、高いランクとなるように、処理部13が顧客のランクを決定する、とする。
【0319】
また、接客履歴管理部114には、図16に示す接客履歴管理表が格納されている、とする。接客履歴管理表とは、接客履歴情報を管理する表である。接客履歴管理表は、「ID」「接客識別子」「日付」「時間帯」「店舗識別子」「顧客識別子」「接客者識別子」「アバター識別子」「評価値」「費用」を有する1以上のレコードを管理する。「日付」は接客の日付、「時間帯」は接客されていた時間帯(開始時刻から終了時刻まで)、「店舗識別子」は顧客が訪れた店舗の識別子、「接客者識別子」は接客識別子で識別される接客を行った接客者の識別子、「アバター識別子」は当該接客で使用されたアバターの識別子、「評価値」は当該接客の評価値、「費用」は当該接客において顧客が支払った金額である。
【0320】
さらに、格納部11には、図17に示す推薦条件管理表が格納されている、とする。推薦条件管理表は、1または2以上の推薦条件を管理する表である。推薦条件管理表は、ここでは「優先順位」「推薦条件」を有するレコードを管理する。「優先順位」は、メニューを作成する際に優先される順番である。優先順位「1」の推薦条件は、当該顧客の顧客識別子と対になる評価値(当該顧客に対する過去の接客の評価値)が「5」であるアバター識別子を取得することである。優先順位「2」の推薦条件は、顧客の出身地または居住地と一致する出身地または居住地である接客者に対応するアバター識別子を取得することである。優先順位「3」の推薦条件は、当該顧客の顧客識別子と対になる評価値が「4」であるアバター識別子を取得することである。優先順位「4」の推薦条件は、当該顧客の性別とは異なる性別であり、かつ顧客との年齢差の絶対値が5以下である接客者に対応するアバター識別子を取得することである。なお、優先順位「4」の推薦条件の「!=」は一致しないことを示す。
【0321】
なお、本具体例において、推薦されたアバターから、顧客が一のアバターを選択し、アバターが決まる場合である。また、本具体例において、アバターが決まれば接客者が決まる場合である。
【0322】
かかる状況において、図18のフロー図、図19の店舗システムAの概念図を用いて、 以下に、店舗システムAの具体的な動作例について説明する。
【0323】
ここでは、複数名の顧客が、店舗識別子「S001」で識別される店舗を訪れ、店舗端末3に表示されているコード(例えば、QRコード(登録商標)、バーコード)を、一人の顧客Aの顧客端末4で読み取り、当該コードに埋め込まれた店舗識別子「S001」と座席識別子「SS101」とを取得した、とする(1801)。次に、顧客Aは、顧客端末4に、チェックイン指示を入力した、とする。なお、コードの読み込みが、チェックイン指示の入力となっても良い。また、チェックイン指示とは、店舗への入店を示す指示であり、接客の開始指示であっても良い。
【0324】
次に、顧客端末4の顧客受付部42は、チェックイン指示を受け付ける。次に、顧客処理部43は、顧客格納部41の顧客識別子「C001」を読み出し、店舗識別子「S001」と座席識別子「SS101」と顧客識別子「C001」とを含む情報を構成する。次に、顧客送信部44は、当該情報を情報処理装置1に送信する(1802)。
【0325】
次に、情報処理装置1の顧客識別子受信部121は、店舗識別子「S001」と座席識別子「SS101」と顧客識別子「C001」とを受信する。次に、処理部13は、顧客識別子「C001」が顧客管理表(図15)で管理されていることを確認し、認証成功である、と判断する(1802)。
【0326】
次に、マッチング部132は、以下のように、マッチング処理を行う。つまり、マッチング部132は、接客者管理表(図13)を参照し、接客可否フラグ「1」と対になる接客者識別子を取得する。なお、ここで、マッチング部132は、接客者端末2に、接客可能であるか否かを問合せ、接客可能である旨を送信してきた接客者端末2に対応する1または2以上の接客者識別子を取得しても良い(1803)。
【0327】
次に、マッチング部132は、推薦条件管理表(図17)を参照し、優先順位の順番に推薦条件に合致するアバター識別子を取得し、優先順位の順番にアバター識別子をソートする。次に、マッチング部132は、いずれの推薦条件にも合致しないアバターのアバター識別子を、アバターに対応する接客者の評価値の順にソートする。以上の処理により、顧客に提示するメニューにおけるアバターの提示順序が決まった。
【0328】
次に、マッチング部132は、ソートした順に、アバター識別子で識別されるアバター属性値(例えば、モデル情報、評価値)および対応する接客者の接客者属性値(例えば、性別、年齢、出身地、居住地、接客レベル)を取得する。次に、マッチング部132は、取得した情報を各メニュー項目として含むメニュー情報を構成する。なお、メニュー情報が有する複数の各メニュー項目は、対応するアバター識別子の順に、ソートされている。
【0329】
次に、メニュー送信部141は、構成されたメニュー情報を、例えば、店舗端末3に送信する。なお、メニュー送信部141は、構成されたメニュー情報を、顧客端末4に送信しても良い。
【0330】
次に、店舗端末3は、メニュー情報を受信し、当該メニュー情報からメニューを構成し、出力する(1804)。なお、ここでのメニューは、アバターリストと言っても良い。
【0331】
次に、顧客Aは、店舗端末3に表示されたメニューから、一のアバターの選択を入力した、とする(1805)。
【0332】
次に、店舗端末3の店舗受付部32は、顧客Aからの選択情報(例えば、ここではアバター識別子「A015」)を受け付ける。次に、店舗処理部33は、送信する選択情報を構成する。次に、店舗送信部34は、当該選択情報を情報処理装置1に送信する(1806)。なお、送信された選択情報は、例えば、アバター識別子「A015」に加えて、店舗識別子、座席識別子を有する。
【0333】
次に、情報処理装置1の選択受信部122は、当該選択情報を受信する。次に、マッチング部132は、接客者管理表(図13)を参照し、選択情報が有するアバター識別子「A015」と対になる接客者識別子「R015」を取得する。そして、マッチング部132は、接客側情報「<アバター識別子>A015 <接客者識別子>R015」を構成する。
【0334】
次に、処理部13は、当該アバター識別子「A015」と対になるモデル情報をアバター管理表(図14)から取得し、当該モデル情報と、顧客識別子「C001」とを有する開始情報を構成する。また、処理部13は、当該接客を識別するユニークな識別子である接客識別子「CS015」を生成し、当該接客識別子と顧客識別子「C001」と接客者識別子「R015」と接客者識別子「R015」とを対応付けて、接客履歴管理表(図16)に蓄積する。また、処理部13は、図示しない時計から、接客の日付、および開始時刻(t)を取得する。
【0335】
次に、開始情報送信部142は、マッチング部132が取得した接客側情報が有する接客者識別子「R015」で識別される接客者Xの接客者端末2に、開始情報を送信する(1807)。
【0336】
次に、接客者端末2の接客受信部25は、当該開始情報を受信する。ここで接客出力部26は、接客の開始確認のために、接客が開始される旨の情報を出力しても良い。そして、接客受付部22は、接客者からの確認を受け付けても良い(1808)。
【0337】
次に、接客処理部23は、以下のように、アバターの処理を開始する(1809)。つまり、接客処理部23は、まず、受信された開始情報に含まれるモデル情報を取得する。次に、接客者端末2の接客撮影部231は、カメラを起動し、撮影を開始する。接客音声取得部232は、マイクを起動し、集音を開始する。そして、接客撮影部231は、接客者映像を取得する。そして、アバター変換処理部233は、接客者映像から接客者の動きの情報を抽出し、当該動きの情報に従って、取得したモデル情報を変形し、送信するモデル情報を構成する。また、接客音声取得部232は、接客者音声情報を取得する。次に、接客処理部23は、構成したモデル情報と取得した接客者音声情報とを有する接客者端末情報を構成する。次に、接客送信部24は、構成された接客者端末情報を、接客者識別子「R015」に対応付けて、情報処理装置1に送信する(図19の1901)。以上の接客者端末2の処理は、接客が終了するまで繰り返される。
【0338】
また、選択情報の送信後または接客の開始後等の適切なタイミングで、店舗撮影部331(図19のカメラ)は、顧客映像の取得を開始する。また、店舗音声取得部332は、顧客音声情報の取得を開始する。そして、店舗処理部33は、顧客映像と顧客音声情報とを有する顧客端末情報を構成する。次に、店舗送信部34は、構成された顧客端末情報を情報処理装置1に送信する(1902)。以上の処理が、接客が終了するまで繰り返される。
【0339】
そして、接客中は、図19に示すように、接客者Xの動きがアバターに反映される(1901)。そして、当該アバターのモデル情報と接客者音声情報とが、接客者端末2から情報処理装置1を経由して、店舗端末3に送信される。そして、店舗端末3は、接客者端末情報を受信する。次に、店舗端末3は、接客者端末情報が有するアバターのモデル情報を用いて、アバターをモニタに表示する(図19参照)。また、店舗端末3は、スピーカーから、接客者端末情報が有する接客者音声情報を出力する。
【0340】
また、店舗端末3では、顧客映像と顧客音声情報とが取得され、店舗端末3から情報処理装置1を経由して、接客者端末2に送信される(1903)。
【0341】
そして、接客者端末2は、顧客映像と顧客音声情報とを受信する。次に、接客者端末2は、モニタに顧客映像を表示し、スピーカーから顧客音声情報を出力する。以上の処理が、接客中に継続される。
【0342】
次に、顧客が接客の終了指示を店舗端末3に入力し、接客が終了した、とする。そして、店舗端末3は、顧客Aに課金するために、顧客識別子「C001」と接客識別子と決済情報(例えば、費用)とを情報処理装置1に送信する(図18の1810)。
【0343】
次に、情報処理装置1の受信部12は、顧客識別子「C001」等を受信する。次に、処理部13は、出納処理を行う。なお、出納処理は、課金処理と言っても良い。
【0344】
また、情報処理装置1の処理部13は、図示しない時計から、接客の終了時刻(t)を取得する。
【0345】
さらに、評価取得部133は、上述した処理により、当該接客に対する評価値を取得する。なお、評価取得部133は、顧客が入力し、情報処理装置1が受信した評価値を取得しても良い。
【0346】
次に、処理部13は、接客識別子「CS015」に対応付けて、日付、時間帯(t-t)、評価値、費用を、接客履歴管理表(図16)に蓄積する。以上の処理により、接客履歴管理表に、接客履歴情報が蓄積された。
【0347】
以上、本実施の形態によれば、顧客を接客する接客者とアバターとを適切に決定できる。
【0348】
また、本実施の形態によれば、接客者の評価とアバターの評価のうちの1以上の評価を用いて、顧客を接客する接客者とアバターとを適切に決定できる。
【0349】
また、本実施の形態によれば、接客者の評価とアバターの評価のうちの1以上の評価を容易に取得できる。
【0350】
また、本実施の形態によれば、過去の接客の情報を用いて、顧客を接客する接客者とアバターとを適切に決定する支援を行える。
【0351】
また、本実施の形態によれば、顧客属性値と接客者属性値とを用いて、顧客を接客する接客者とアバターとを適切に決定する支援を行える。
【0352】
また、本実施の形態によれば、顧客に合うと判断された接客者またはアバターを推薦できる。
【0353】
また、本実施の形態によれば、顧客に合うと判断された接客者またはアバターを自動的に決定できる。
【0354】
さらに、本実施の形態によれば、接客者またはアバターを選択するためのメニューを顧客に提示できる。
【0355】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD-ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置1を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、1または2以上の顧客に対する接客者を識別する接客者識別子とアバターを識別するアバター識別子とを有する接客側情報を決定するマッチング部と、前記接客側情報が有する接客者識別子で識別される接客者端末に、接客の開始に関する開始情報を送信する開始情報送信部と、前記接客側情報が有するアバター識別子で識別されるアバターを前記顧客が視聴する端末に出力するための出力情報を送信する出力情報送信部として機能させるためのプログラムである。
【0356】
なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理(ハードウェアでしか行われない処理)は含まれない。
【0357】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0358】
また、上記各実施の形態において、一の装置に存在する2以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
【0359】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0360】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0361】
以上のように、本発明にかかる情報処理装置1は、顧客を接客する接客者とアバターとを適切に決定できるという効果を有し、接客を支援するサーバ等として有用である。
【符号の説明】
【0362】
A 店舗システム
1 情報処理装置
2 接客者端末
3 店舗端末
4 顧客端末
11 格納部
12 受信部
13 処理部
14 送信部
21 接客格納部
22 接客受付部
23 接客処理部
24 接客送信部
25 接客受信部
26 接客出力部
31 店舗格納部
32 店舗受付部
33 店舗処理部
34 店舗送信部
35 店舗受信部
36 店舗出力部
41 顧客格納部
42 顧客受付部
43 顧客処理部
44 顧客送信部
45 顧客受信部
46 顧客出力部
111 店舗管理部
112 接客側管理部
113 顧客管理部
114 接客履歴管理部
115 評価管理部
116 出納管理部
121 顧客識別子受信部
122 選択受信部
123 顧客端末情報受信部
124 接客者端末情報受信部
131 メニュー構成部
132 マッチング部
133 評価取得部
141 メニュー送信部
142 開始情報送信部
143 顧客端末情報送信部
144 出力情報送信部
231 接客撮影部
232 接客音声取得部
233 アバター変換処理部
331 店舗撮影部
332 店舗音声取得部
333 出力情報構成部
1121 接客者管理部
1122 アバター管理部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19