特許 6596899 接客データ処理装置及び接客データ処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6596899

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】接客データ処理装置及び接客データ処理方法

(51)【国際特許分類】

   G06Q 30/02 20120101AFI20191021BHJP

   G06Q 10/00 20120101ALI20191021BHJP

【ＦＩ】

   G06Q30/02

   G06Q10/00

【請求項の数】11

【全頁数】33

(21)【出願番号】特願2015-83921(P2015-83921)

(22)【出願日】2015年4月16日

(65)【公開番号】特開2016-206736(P2016-206736A)

(43)【公開日】2016年12月8日

【審査請求日】2018年3月7日

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】寺尾 真

(72)【発明者】

【氏名】大西 祥史

【審査官】 岸 健司

(56)【参考文献】

【文献】 特開２００９−１２３０２９（ＪＰ，Ａ）

【文献】 再公表特許第２０１４／１６２７８８（ＪＰ，Ａ１）

【文献】 米国特許出願公開第２０１１／０２８２６６２（ＵＳ，Ａ１）

【文献】 特開２０１１−２２１６８３（ＪＰ，Ａ）

【文献】 特開２００５−２７５８１４（ＪＰ，Ａ）

【文献】 特開２０１４−０８１７５０（ＪＰ，Ａ）

【文献】 金礪 愛, 外３名，ポピュラー音楽における歌声の印象評価語を自動推定するシステム，情報処理学会研究報告 音楽情報科学，情報処理学会，２０１３年 ８月２４日，p.1-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ １０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

接客時の店員の発話の音声データ又は店員を含む画像データから特徴量を抽出し、抽出した特徴量に基づいて、その店員から顧客が受けると推定される印象の指標データを算出する推定手段と、
顧客の購買行動を示すデータを取得するデータ取得手段と、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する生成手段と、
前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出する分析手段、
前記算出された相関係数と閾値との比較結果に基づき、前記算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、前記算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する助言生成手段、
を備える接客データ処理装置。

【請求項2】

店員の接客行動を検出する検出手段、
を更に備え、
前記推定手段は、接客時の店員を示す前記データとして、前記検出された接客行動が行われた際の前記店員を示すデータを用いて、前記印象の前記指標データを算出する、
請求項１に記載の接客データ処理装置。

【請求項3】

前記検出手段は、店員の発話を含む音声データから、顧客に対する店員の発話を前記接客行動として検出し、
前記推定手段は、発話の音声データの特徴量から、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも１つの印象の有無又は強さを示す前記指標データを推定する推定モデルに前記検出された店員の発話の音声データから抽出された特徴量を入力することで、前記指標データを算出する、
請求項２に記載の接客データ処理装置。

【請求項4】

前記検出手段は、店員を含む画像データから、顧客に対する店員の特定表情を前記接客行動として検出し、
前記推定手段は、人の表情を含む画像データの特徴量から前記指標データを推定する推定モデルに前記特定表情として検出された店員の表情を含む画像データから抽出された特徴量を入力することで、その表情から顧客が受けると推定される印象の指標データを算出する、
請求項２から３のいずれか１項に記載の接客データ処理装置。

【請求項5】

前記検出手段は、顧客に対する店員の第一接客行動を検出し、
前記推定手段は、前記検出された第一接客行動が行われた際における、その第一接客行動とは異なる、前記店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する、
請求項２から４のいずれか１項に記載の接客データ処理装置。

【請求項6】

前記データ取得手段は、顧客が購入した商品、顧客が購入した金額、顧客の店舗滞在時間、顧客の店舗内移動経路、顧客の来店頻度、顧客の来店回数の少なくとも１つを前記購買行動を示す前記データとして取得する、
請求項１から５のいずれか１項に記載の接客データ処理装置。

【請求項7】

前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力する出力手段、
を更に備える請求項１から６のいずれか１項に記載の接客データ処理装置。

【請求項8】

前記推定手段は、接客時の店員を示すデータに基づいて、各印象の有無又は強さをそれぞれ示す複数印象の指標データを算出する、
請求項１から７のいずれか１項に記載の接客データ処理装置。

【請求項9】

前記生成された助言情報及び前記印象に関して算出された前記相関係数の少なくとも一方を出力する出力手段、
を更に備える請求項１から８のいずれか１項に記載の接客データ処理装置。

【請求項10】

少なくとも一つのコンピュータにより実行される接客データ処理方法において、
接客時の店員の発話の音声データ又は店員を含む画像データから特徴量を抽出し、抽出した特徴量に基づいて、その店員から顧客が受けると推定される印象の指標データを算出し、
顧客の購買行動を示すデータを取得し、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成し、
前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出し、
前記算出された相関係数と閾値との比較結果に基づき、前記算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、前記算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する、
事を含む接客データ処理方法。

【請求項11】

請求項１０に記載の接客データ処理方法を少なくとも一つのコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、接客を示すデータを処理する技術に関する。

【背景技術】

【0002】

接客業務において、店員の接客品質の向上が、重要な経営課題の一つとなっている。例えば、電気店において、良い接客を受けた顧客はその電気店で多くの商品を購入する可能性が高い。一方、接客で不快な思いをした顧客は二度とその店を訪れない可能性もある。従って、接客品質の把握と向上に対するニーズは大きい。例えば、下記特許文献１では、非接触型ＩＣ（Integrated Circuit）タグを買い物カートやかごに付け、ＩＣタグ読取装置を店舗内フロアに等間隔に配置することで、顧客の移動方向及び移動速度を含めた詳細な購買行動を把握する手法が提案されている。

【0003】

また、下記特許文献２では、店舗での接客において、顧客満足度、店員満足度、及び、売上の関係を分析する手法が提案されている。この手法は、顧客の音声から顧客の感情を認識し、認識した顧客の感情から顧客満足度を算出し、店員の音声から店員の感情を認識し、認識した店員の感情から店員満足度を算出し、算出した顧客満足度および店員満足度と、当該顧客に対する売上実績とを関連付けた接客データを記録する。下記特許文献３には、会話比率と顧客満足度の関連性を把握するための接客データを記録する手法が提案されている。この手法は、店員又は顧客の話し掛け区間の長さの、店員の話し掛け区間及び顧客の話し掛け区間の長さの合計に対する比率を当該会話比率として算出し、音声からの顧客の感情認識の結果に基づいて顧客満足度を算出する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−３０９２８０号公報

【特許文献2】特許第５５３３２１９号公報

【特許文献3】特開２０１１−２３８０２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記提案手法で生成されるデータによれば、顧客満足度及び店員満足度と売上実績との関係性や会話比率と顧客満足度との関係性を把握することができる。しかしながら、それらデータでは、売上向上のための接客方法の改善策を見出すことができない。それらデータによれば、顧客満足度を上げる必要があることを把握することができるものの、具体的にどのような接客をすれば売上が向上するのかを知ることができないからである。

【0006】

本発明は、このような事情に鑑みてなされたものであり、接客方法の改善に有益な情報を提供する。本明細書において「接客」とは文言どおり顧客に接することを意味し、本発明は、接客を行う人、接客が行われる場所、接客の目的等は何ら制限されない。

【課題を解決するための手段】

【0007】

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

【0008】

第１の側面は、接客データ処理装置に関する。第１の側面に係る接客データ処理装置は、接客時の店員の発話の音声データ又は店員を含む画像データから特徴量を抽出し、抽出した特徴量に基づいて、その店員から顧客が受けると推定される印象の指標データを算出する推定手段と、顧客の購買行動を示すデータを取得するデータ取得手段と、算出された印象の指標データ及び取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する生成手段と、算出された印象の指標データと取得された顧客の購買行動を示すデータとの間の相関係数を算出する分析手段と、算出された相関係数と閾値との比較結果に基づき、算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する助言生成手段と、を有する。

【0009】

第２の側面は、少なくとも一つのコンピュータにより実行される接客データ処理方法に関する。第２の側面に係る接客データ処理方法は、接客時の店員の発話の音声データ又は店員を含む画像データから特徴量を抽出し、抽出した特徴量に基づいて、その店員から顧客が受けると推定される印象の指標データを算出し、顧客の購買行動を示すデータを取得し、算出された印象の指標データ及び取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成し、算出された印象の指標データと取得された顧客の購買行動を示すデータとの間の相関係数を算出し、算出された相関係数と閾値との比較結果に基づき、算出された相関係数が第一閾値より高い顧客の購買行動と店員から顧客が受ける印象との組み合わせ、又は、算出された相関係数が第二閾値より低い顧客の購買行動と店員から顧客が受ける印象との組み合わせを示す助言情報を生成する、ことを含む。

【0010】

なお、本発明の他の側面としては、上記第２の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。

【発明の効果】

【0011】

上記各側面によれば、接客方法の改善に有益な情報を提供することができる。

【図面の簡単な説明】

【0012】

【図1】第一実施形態における接客データ処理装置のハードウェア構成を概念的に示す図である。

【図2】第一実施形態における接客データ処理装置の処理構成例を概念的に示す図である。

【図3】データ取得部による売上金額の取得例を示す図である。

【図4】データ取得部による顧客の店舗滞在時間の取得例を示す図である。

【図5】データ取得部による顧客の１人当たりの店舗滞在時間の取得例を示す図である。

【図6】検出部による接客行動（特定発話）の検出例を示す図である。

【図7】印象推定部による印象の指標データの算出例を示す図である。

【図8】生成部により生成される情報の例を示す図である。

【図9】第一実施形態における接客データ処理装置の動作例を示すフローチャートである。

【図10】第二実施形態における生成部により生成される関連付け情報の例を示す図である。

【図11】第二実施形態における生成部により生成される関連付け情報の例を示す図である。

【図12】第二実施形態における生成部により生成される関連付け情報の例を示す図である。

【図13】出力部による出力例を示す図である。

【図14】第三実施形態における接客データ処理装置の処理構成例を概念的に示す図である。

【図15】第三実施形態における接客データ処理装置の動作例を示すフローチャートである。

【図16】特定表情に関する印象の指標データと時刻情報との関連付けの例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

【0014】

以下に例示される各実施形態における接客データ処理装置及び接客データ処理方法は、接客に関するデータを処理する。以下の各実施形態では、接客を行う人、接客される人、接客が行われる場所、接客の目的等は何ら制限されない。但し、説明を分かり易くするために、以下の各実施形態では、接客を行う人を「店員」と表記し、接客される人を「顧客」と表記する。また、接客が行われる場所として小売店舗が例示される。但し、各実施形態は、小売店舗への適用のみに制限されず、例えば、訪問販売、対面販売（銀行、保険、住宅、車等）、客先への営業活動などが行われる場所に適用されてもよい。

【0015】

［第一実施形態］
以下、第一実施形態における接客データ処理装置及び接客データ処理方法について図面を用いて説明する。

【0016】

〔ハードウェア構成〕
図１は、第一実施形態における接客データ処理装置のハードウェア構成を概念的に示す図である。接客データ処理装置（以降、処理装置と略称する）１０は、いわゆるコンピュータであり、図１に示されるように、ＣＰＵ（Central Processing Unit）１１、メモリ１２、入出力インタフェース（Ｉ／Ｆ）１３、通信ユニット１４等を有する。

【0017】

ＣＰＵ１１には、一般的なＣＰＵに加えて、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれる。
メモリ１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

【0018】

入出力Ｉ／Ｆ１３は、表示装置１５、入力装置１６等のユーザインタフェース装置と接続可能である。表示装置１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ１１等により処理された描画データに対応する画面を表示する装置である。入力装置１６は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。表示装置１５及び入力装置１６は一体化され、タッチパネルとして実現されてもよい。

【0019】

通信ユニット１４は、他のコンピュータとの通信網（図示せず）を介した通信や、他の機器との信号のやりとり等を行う。通信ユニット１４には、可搬型記録媒体等も接続され得る。
図１に示される各ハードウェア構成はそれぞれ例であり、処理装置１０のハードウェア構成は、図１に示される例に制限されない。処理装置１０は、図示されていない他のハードウェア要素を含み得る。また、各ハードウェア要素の数も、図１の例に制限されない。例えば、処理装置１０は、複数のＣＰＵ１１を有していてもよい。

【0020】

〔処理構成〕
図２は、第一実施形態における接客データ処理装置１０の処理構成例を概念的に示す図である。第一実施形態における処理装置１０は、第一取得部２１、データ取得部２２、第二取得部２３、検出部２４、印象推定部２５、生成部２６、分析部２７、助言生成部２８、出力部２９、格納部３０等を有する。これら各処理モジュールは、ＣＰＵ１１によりメモリ１２に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット１４を介してインストールされ、メモリ１２に格納されてもよい。

【0021】

第一取得部２１は、店舗内での顧客の行動を示すデータ（以降、顧客行動データと表記する）を取得する。顧客行動データとしては、会計データ、店舗内における顧客の位置データ、顧客の入店時刻及び退店時刻、顧客の発話音声データ、来店した顧客を識別する顧客識別情報などが例示される。第一取得部２１は、ＰＯＳ（Point Of Sales）システム（図示せず）等から顧客の精算情報を会計データとして取得することができる。

【0022】

また、第一取得部２１は、既存の様々な手法を用いて、店舗内における顧客の位置データを取得することができる。例えば、第一取得部２１は、店舗内の複数箇所に設置された複数の監視カメラ（図示せず）から得られる映像に基づいて、顧客の動線解析を行うことにより、顧客の位置データの履歴を取得することができる。この動線解析手法については後述する。また、第一取得部２１は、店舗内の複数箇所に設置された認証センサ（図示せず）が、顧客の携帯物に付されたＩＣタグやＲＦＩＤ（Radio Frequency IDentifier）タグから取得した情報に基づいて、顧客の位置データの履歴を取得することもできる。また、第一取得部２１は、店舗内の複数箇所に設置されたビーコン装置から送出される無線信号を受信した顧客の携帯端末から得られる情報に基づいて、顧客の位置データの履歴を取得することもできる。

【0023】

また、第一取得部２１は、既存の様々な手法を用いて、顧客の入店時刻及び退店時刻を取得することができる。例えば、第一取得部２１は、店舗の出入口において、顧客の入店及び退店を検出することで、顧客の入店時刻及び退店時刻を取得することができる。具体的には、第一取得部２１は、店舗の出入口に設けられた監視カメラから得られる映像で顧客の識別を行うことで、顧客の入店時刻及び退店時刻を取得することができる。また、店舗の出入口に設けられた認証センサが顧客の携帯物に付されたＩＣタグ等から取得した情報を用いて、顧客の入店時刻及び退店時刻が取得されてもよい。また、店舗の出入口に設けられたビーコン装置から送出される無線信号を受信した顧客の携帯端末から得られる情報に基づいて、顧客の入店時刻及び退店時刻が取得されてもよい。

【0024】

また、第一取得部２１は、店員が装着したピンマイク、レジに設置したマイク、天井に設置した監視カメラのマイクなどから顧客の発話音声データを取得することができる。また、第一取得部２１は、レジで提示されるポイントカードや電子マネーカード、携帯端末などからレジ端末で取得される顧客識別情報をそのレジ端末又はＰＯＳシステム等から取得することができる。また、店舗内のビーコン装置から送出される無線信号を受信した顧客の携帯端末から得られる情報に基づいて、顧客識別情報が取得されてもよいし、監視カメラからの映像から顧客の顔の特徴量が顧客識別情報として取得されてもよい。第一取得部２１による顧客行動データの取得方法はこのような例に制限されない。

【0025】

データ取得部２２は、第一取得部２１により取得された顧客行動データから、顧客の購買行動を示すデータを取得する。データ取得部２２により取得されるデータが示す「顧客の購買行動」は、顧客が実際に何かを購入する行動のみならず、顧客が店舗に入店してから店舗から出るまでの間の顧客の行動の中で接客目的（売上向上）に結び付く可能性のある様々な行動を含む。例えば、「顧客の購買行動」には、保険や銀行口座開設等の申し込み行動や、ウィンドウショッピングや銀行や保険の窓口での相談のような購入のための予備行動も含まれる。

【0026】

データ取得部２２は、顧客が購入した商品、顧客が購入した金額、顧客の店舗滞在時間、顧客の店舗内移動経路（売り場の移動順序）、顧客の来店頻度、顧客の来店回数の少なくとも１つを顧客の購買行動を示すデータとして取得する。但し、データ取得部２２により取得される顧客の購買行動を示すデータは、このような例に制限されない。データ取得部２２は、特定の売り場における滞在時間を顧客の購買行動を示すデータとして取得してもよい。特定の売り場における滞在時間は、第一取得部２１により取得された顧客の位置データの履歴から算出され得る。

【0027】

データ取得部２２は、第一取得部２１により取得された精算情報から、顧客が購入した商品及び顧客が購入した金額（売上金額）のデータを得ることができる。データ取得部２２は、第一取得部２１により取得された顧客の位置データの軌跡によれば、顧客の店舗内移動経路を示すデータを取得することができる。また、データ取得部２２は、第一取得部２１により取得された顧客の位置データの軌跡又は顧客の入店時刻及び退店時刻により、顧客毎の店舗滞在時間を示すデータを取得することができる。他の例として、データ取得部２２は、顧客毎の店舗滞在時間ではなく、所定の時間区間における顧客の平均店舗滞在時間を計算してもよい。例えば、或る時間区間において、顧客の入店が時刻Ｘ１、Ｘ２、Ｘ３にあり、顧客の退店が時刻Ｙ１、Ｙ２、Ｙ３にあった場合、この３人の顧客の合計店舗滞在時間はＬ＝（Ｙ１＋Ｙ２＋Ｙ３）−（Ｘ１＋Ｘ２＋Ｘ３）で計算できる。従って、この時間区間における顧客の１人当たり平均店舗滞在時間はＬ／３で計算できる。１人当たり平均店舗滞在時間は、入店と退店とが同一人物であるかどうかを判定しなくても計算することができる。

【0028】

データ取得部２２は、第一取得部２１により取得された顧客識別情報の履歴により、顧客の来店頻度及び顧客の来店回数を顧客の購買行動を示すデータとして取得することもできる。

【0029】

具体例として、データ取得部２２は、顧客の支払い金額（売上金額）及び顧客の店舗滞在時間を顧客の購買行動を示すデータとして取得する。売上金額はそのまま接客目的となるが、顧客の店舗滞在時間も売上向上の接客目的に結びつく。一般的に、顧客の店舗滞在時間が長いほど売上が大きくなると言われているからである。

【0030】

図３は、データ取得部２２による売上金額の取得例を示す図である。データ取得部２２は、精算情報から売上金額（合計金額）及び精算時刻を取得する。取得された売上金額及び精算時刻は、後述の生成部２６により、図３に示されるように精算毎に関連付けられて、格納部３０に格納される。図３の例によれば、７時２４分２０秒に１５００円の売上があったことが示される。

【0031】

図４は、データ取得部２２による顧客の店舗滞在時間の取得例を示す図である。データ取得部２２は、上述のように第一取得部２１により取得された顧客毎の入店時刻及び退店時刻から顧客毎の店舗滞在時間を算出する。算出された店舗滞在時間は、後述の生成部２６により、図４に示されるように、顧客毎に、識別情報（顧客番号）、入店時刻及び退店時刻と関連付けられて、格納部３０に格納される。図４の例によれば、顧客番号１の顧客は、７時０５分００秒に入店し、店舗に４３分１５秒滞在して、７時４８分１５秒に退店したことが示される。

【0032】

図５は、データ取得部２２による顧客の１人当たりの店舗滞在時間の取得例を示す図である。データ取得部２２は、上述のように、所定の時間区間における顧客の平均店舗滞在時間を算出する。算出された平均店舗滞在時間は、後述の生成部２６により、図５に示されるように、時間区間毎に、時間区間の識別情報及び来店顧客数と関連付けられて、格納部３０に格納される。図５の例によれば、７時００分から８時００分の間には、４人の顧客が来店し、１人当たり店舗滞在時間が平均４０分１５秒であったことが示される。

【0033】

第二取得部２３は、店員の行動を示すデータ（以降、店員行動データと表記する）を取得する。店員行動データとしては、店員の発話音声データ、店員の顔や動作を表す画像データ、店舗内における店員の位置データ、レジ端末の店員毎の操作履歴（ログイン履歴）などが例示される。

【0034】

第二取得部２３は、店員が装着したピンマイク、レジに設置したマイク、天井に設置した監視カメラのマイクなどから得られる音声信号に対して既知の音声区間検出技術又は話者照合技術を適用することで、店員の発話音声データを取得することができる。例えば、第二取得部２３は、所定値以上の音量が継続している区間の音声データを店員の発話音声データとして取得し、その発話音声データの開始時刻及び終了時刻を合わせて取得することもできる。また、第二取得部２３は、得られた音声データに対して、事前に登録されている各店員の音声又は音声特徴情報を用いた話者照合技術を適用することで、店員の発話音声データを取得することができる。このとき、第二取得部２３は、店員の発話音声データの補足情報として、同音声データから得られる顧客の発話音声データを合わせて取得してもよい。例えば、第二取得部２３は、所定値以下の音量が継続している区間の音声データを顧客の発話音声データとして取得する。また、第二取得部２３は、事前登録された店員の音声とは異なる発話区間を顧客の発話音声データとして取得する。

【0035】

また、第二取得部２３は、レジに設置したカメラ、天井に設置した監視カメラなどから、店員の顔や動作を表す画像データを取得することができる。
第二取得部２３は、ＰＯＳシステム等から、そこで管理されているレジ端末に対する店員の利用履歴（操作履歴）の情報を得ることができる。

【0036】

また、第二取得部２３は、様々な既存の方法で、店員の位置データを取得することができる。例えば、第二取得部２３は、店舗内の複数箇所に設置された複数の監視カメラ（図示せず）から得られる映像に基づいて、店員の動線解析を行うことにより、店員の位置データの履歴を取得することができる。また、第二取得部２３は、店舗内の複数箇所に設置された認証センサ（図示せず）が、店員の携帯物に付されたＩＣタグやＲＦＩＤタグから取得した情報に基づいて、店員の位置データの履歴を取得することもできる。また、第二取得部２３は、店舗内の複数箇所に設置されたビーコン装置から送出される無線信号を受信した店員の携帯端末から得られる情報に基づいて、店員の位置データの履歴を取得することもできる。

【0037】

検出部２４は、第二取得部２３により取得された店員行動データから、顧客に対する店員の接客行動を検出する。検出部２４により検出される接客行動は、店員が顧客に対して行う動作、行為、振舞い、発言、態度などを含む。例えば、接客行動としては、顧客に対する挨拶やセールストーク、顧客との会話（顧客に対する発話、顧客の問いかけに対する応答発話等を含む）、顧客への情報提供、顧客への商品又はサービスの提供、店舗案内、顧客に見せる表情、会計作業などが例示される。但し、検出部２４により検出される接客行動はこのような例に制限されない。

【0038】

検出部２４は、第二取得部２３により取得された店員の音声データに対して音声認識処理を適用することで、店員の発話内容を示す発話テキストデータを取得することができる。なお、音声認識処理には、既存の様々な音声認識手法が利用可能である。更に、検出部２４は、その発話テキストデータと共に、第二取得部２３により取得されたその発話の開始時刻及び終了時刻を利用することも可能である。

【0039】

検出部２４は、上述のような音声認識の結果（発話テキストデータ）の中から特定表現を検出することで、挨拶やセールストーク、顧客への情報提供、店舗案内、会計作業等の接客行動を検出することができる。例えば、「顧客への情報提供」の検出は、店舗で取り扱っている製品やサービス名を表す特定表現の検出により実現可能である。また、店舗案内の検出は、「こちらへどうぞ」、「こちらでございます」といった特定表現の検出により実現可能である。会計作業の検出は、「次の方どうぞ」、「・・円になります」、「ポイントカードはお持ちですか」といった特定表現の検出により実現可能である。このとき、検出部２４は、特定表現と完全に一致する表現のみを検出してもよいし、それに加えて、特定表現と類似する表現（語尾の違い等）を検出することもできる。

【0040】

具体例として、検出部２４は、店員の特定発話の中の店員の挨拶及びセールストークを接客行動として検出する。挨拶及びセールストークは、接客業務における基本的な要素として広く重要視されている。例えば、コンビニエンスストアやデパートでは、良い挨拶の発声方法やセールストークの方法がマニュアル化され、店員の教育や評価で活用されている。挨拶を表す特定表現としては、「いらっしゃいませ」、「おはようございます」、「こんにちは」、「こんばんは」、「ありがとうございました」、「またお越しくださいませ」などが利用される。また、セールストークを表す特定表現としては、店舗で取り扱っている製品やサービス名が用いられる。例えば、コンビニエンスストアであれば、「コーヒー」や「メロンパン」などがセールストークを表す特定表現に設定され得る。

【0041】

図６は、検出部２４による接客行動（特定発話）の検出例を示す図である。検出部２４は、特定発話の種別（挨拶及びセールストーク）毎に異なる特定表現をそれぞれ用いて、その特定表現に相当する発話を検出する。そして、後述の生成部２６は、図６に示されるように、その検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別（挨拶又はセールストーク）、及び発話内容テキストデータをそれぞれ関連付けて、格納部３０に格納する。図６の例によれば、７時０５分１０秒から７時５分１２秒にかけて、「いらっしゃいませ」という店員の挨拶が検出されたことが示される。

【0042】

また、検出部２４は、上述のような音声認識の結果（発話テキストデータ）に基づいて、顧客に対する店員の発話すべてを接客行動として検出してもよい。
また、検出部２４は、顧客の問いかけに対する応答発話を接客行動として検出してもよい。例えば、検出部２４は、店員の発話音声データと共に第二取得部２３によりその補足情報として取得された顧客の発話音声データを用いて、「顧客に対する店員の発話」又は「顧客の問いかけに対する応答発話」を検出することができる。検出部２４は、顧客の発話から一定時間以内に発声された店員の発話を「応答発話」として検出する。また、検出部２４は、店員の発話の前後の所定時間以内に顧客の発話が存在する場合に、「顧客に対する店員の発話」として検出する。但し、検出部２４による「顧客に対する店員の発話」及び「応答発話」の検出手法はこのような例に限定されない。

【0043】

また、検出部２４は、第二取得部２３により取得された画像データから店員の特定表情を接客行動として検出することもできる。例えば、検出部２４は、画像データから画像認識技術を用いて店員の顔を表す画像領域を特定し、その画像領域に対して表情認識技術を適用することで、笑顔、しかめっつら等の特定表情を検出することができる。

【0044】

また、検出部２４は、第二取得部２３により取得された、レジ端末に対する店員の操作履歴情報に基づいて、店員の会計作業を接客行動として検出することができる。例えば、検出部２４は、その操作履歴情報からレジ端末利用の開始時刻及び終了時刻を抽出し、開始時刻から終了時刻の間を店員の会計作業として検出する。

【0045】

また、検出部２４は、第二取得部２３により取得される店員の位置データの履歴及び第一取得部２１で取得される顧客の位置データの履歴に基づいて、店員の店舗案内を接客行動として検出することができる。例えば、検出部２４は、店員と顧客とが一定距離以内に存在する状態が一定時間以上継続しかつ両者が移動していることを店舗案内として検出する。

【0046】

顧客及び店員の動線解析手法には、様々な既存の手法が利用可能である。例えば、第一取得部２１及び第二取得部２３は、監視カメラから得られる画像から背景差分法によって顧客又は店員を検出する。背景差分法では、時系列に沿って入力される複数の画像から背景の情報を表すモデルが構築され、対象画像と背景モデルとの差分が計算され、この差分が大きい画像領域が顧客又は店員として検出される。また、第一取得部２１及び第二取得部２３は、背景モデルを用いずに、店員又は顧客の顔や頭部がモデル化されそのモデルにより学習された顔検出器や頭部検出器を用いて、画像から人の顔や頭部を検出してもよい。このような人の顔の検出手法は、検出部２４による上述の特定表情の検出手法にも利用される。第一取得部２１及び第二取得部２３は、このように検出された顧客又は店員を、時間的及び空間的な条件マッチング等により複数の画像間で追跡（トラッキング）することで、顧客又は店員の位置データの履歴を得ることができる。但し、顧客及び店員の動線解析には、画像データのみでなく、認証センサやビーコン装置を用いて得られる位置データが利用されてもよい。この画像以外から得られる位置データを用いて、複数の画像間での顧客又は店員の追跡を行うことで、追跡精度を向上させることができる。

【0047】

印象推定部２５は、検出部２４により検出された店員の接客行動に基づいて、その接客行動が行われた際のその店員を示すデータを用いて、その店員から顧客が受けると推定される印象の指標データを算出する。印象の指標データは、その印象の種別（明るい、元気等）、その印象の有無、又はその印象の強さの程度を示す。印象推定部２５は、各印象の有無又は強さをそれぞれ示す複数印象の指標データを算出してもよい。推定される印象の数及び種類は制限されず、接客行動から顧客が感じ得る様々な印象が推定対象とされてもよい。

【0048】

印象推定部２５による印象推定手法は、次の２つの手法に分類できる。
１つは、検出部２４により検出された店員の接客行動から顧客が受けると推定される印象の指標データを算出する手法であり（以降、第一推定方法と表記する）、
もう１つは、検出部２４により検出された店員の接客行動と同時期に行われた、その検出された接客行動とは異なる、同一店員の接客行動から、顧客が受けると推定される印象の指標データを算出する手法である（以降、第二推定方法と表記する）。

【0049】

《第一推定方法》
まずは、第一推定方法から説明する。
検出部２４により顧客に対する店員の発話が接客行動として検出される場合、印象推定部２５は、その検出された店員の発話音声データから、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも１つの印象の有無又は強さを示す指標データを算出する。検出部２４により挨拶又はセールストークの特定発話が接客行動として検出される場合、印象推定部２５は、その検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの少なくとも１つの印象の有無または強さを示す指標データを算出することが望ましい。接客品質管理において、これらの印象が広く重要視されているからである。例えば、コンビニエンスストアやデパートなどにおいては「明るく」、「元気な」挨拶が売上向上や顧客のリピート率向上に役立つと考えられている。また、「冷たい」接客発話は、顧客離れにつながると考えられる。

【0050】

検出部２４により挨拶又はセールストークの特定発話が接客行動として検出される場合、印象推定部２５は、その検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの印象の強さを示す指標データを算出する。言い換えれば、印象推定部２５は、店員の挨拶及びセールストークを聞いた顧客が、その店員の発話から「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、及び「冷たさ」をどの程度感じたかを推定する。具体的には、印象推定部２５は、検出部２４により検出された店員の挨拶又はセールストークに対応する音声データから特徴量を抽出する。印象推定部２５は、当該音声データを１０ｍｓｅｃの窓幅で分割した各フレームに対して、パワー（音量）、基本周波数（声の高さ）、Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ（ＭＦＣＣ、周波数スペクトルの包絡形状）、音素の継続時間長、及びそれらの時間差分（デルタ量）などを算出する。更に、印象推定部２５は、挨拶やセールストークを表す音声区間に対して、これらフレーム単位の特徴量の平均値、分散、最小値、最大値などの統計量を計算し、これらを印象推定に用いる特徴量とする。なお、印象推定に用いる特徴量はこれらに限られるものではない。

【0051】

印象推定部２５は、計算された特徴量に対して声印象推定モデルを適用することで、店員の挨拶及びセールストークから顧客が受ける印象の指標データを算出する。例えば、声印象推定モデルとして、入力音声データの「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、及び「冷たさ」のそれぞれに対して、それら印象の強さを数値として算出するモデルが用いられる。声印象推定モデルとしては、それら印象の有無を推定するモデルが用いられてもよいし、音声データをそれら印象のいずれかに分類するモデルが用いられてもよい。声印象推定モデルを実現するためには、Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ（ＳＶＭ）、ニューラルネットワーク、ロジスティック回帰モデル、決定木などの周知のパターン認識モデルを用いることができる。声印象推定モデルは、以下のように学習され、印象推定部２５により予め保持されていてもよいし、他の装置により保持されていてもよい。また、印象推定部２５が声印象推定モデルを学習させてもよい。

【0052】

声印象推定モデルは、学習用の音声データを用いて、次のように学習される。まず、学習用の音声データのそれぞれに対して、当該音声データの聞こえ方の主観評価によって得られる印象情報が付与される。次に、学習用の音声データから前述の方法によって計算される特徴量と、付与した印象情報とを用いて、声印象推定モデルが学習される。例えば、音声データを聞いたときに感じる「明るさ」を推定するモデルを学習する場合は、まず、印象情報の付与作業者が学習用音声データを聴取し、当該音声データを「明るい」と感じるか否かを表す印象情報を付与する。次に、付与された印象情報を推定するパターン認識モデルを学習する。なお、挨拶の印象を推定するモデルを学習する場合、学習用の音声データも挨拶に限定することが望ましい。これにより、挨拶に固有の特徴を学習した声印象推定モデルを得ることができるため、印象の推定精度が向上する。また、印象情報の付与作業は複数の作業者で行い、多数決によって付与する印象情報を決定することが望ましい。接客行動から受ける印象は主観によるところが大きいが、複数の作業者の結果を統合することで大多数の顧客が受ける印象を正しく推定可能なモデルを学習できる。

【0053】

このような印象の指標データの算出手法は、挨拶又はセールストークの特定発話のみではなく、応答発話などのような顧客に対する店員の全ての発話についても適用可能である。

【0054】

図７は、印象推定部２５による印象の指標データの算出例を示す図である。印象推定部２５は、検出部２４により接客行動として検出された挨拶及びセールストークの各々に対して、その発話音声データから推定される、「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、及び「冷たさ」の各印象の強さを示す数値（指標データ）を０から１００の範囲でそれぞれ算出する。そして、後述の生成部２６は、図７に示されるように、検出部２４により検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別（挨拶又はセールストーク）、発話内容テキストデータ、及び印象の指標データをそれぞれ関連付けて、格納部３０に格納する。図７の例によれば、７時０５分１０秒に発せられた「いらっしゃいませ」という挨拶発話から顧客が受ける印象は、「明るさ＝９２」、「元気さ＝８０」、「力強さ＝５５」、「丁寧さ＝７７」、及び「冷たさ＝１」を示す指標データが算出されている。本実施形態においても、印象推定部２５は、上述の各印象以外に、「格好よさ」、「落ち着き」、「可愛さ」、「誠実さ」、「流暢さ」、「若さ」、「上品さ」、「優しさ」などを推定対象としても良い。

【0055】

検出部２４により店員の特定表情が接客行動として検出される場合、印象推定部２５は、特定表情として検出された店員の表情を含む画像データから、その表情から顧客が受けると推定される印象の指標データを算出する。この場合、印象推定部２５は、その画像データから顔の特徴量を算出し、この算出された顔の特徴量に対して顔印象推定モデルを適用することにより、その表情から顧客が受けると推定される印象の指標データを算出することができる。顔の特徴量の算出手法には様々な既存の手法が利用可能である。例えば、顔の特徴量は、目、鼻、口等の形状や位置関係等を記述したベクトルや各画素の濃淡値を表すベクトルなどを用いて表される。また、顔印象推定モデルは、学習用の顔画像データを用いて、声印象推定モデルの学習と同様の方法により学習できる。すなわち、主観評価によって得られた印象情報が付与された学習用の顔画像データを用いて、顔印象推定モデルを学習する。店員の表情から顧客が受けると推定される印象についても、店員の発話から推定される印象と同様のものが推定対象とされてもよい。

【0056】

《第二推定方法》
次に、第二推定方法を説明する。第二推定方法では、検出部２４により第一の接客行動が検出された場合、印象推定部２５は、その検出された第一接客行動が行われた際における、その第一接客行動とは異なる、同一店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する。

【0057】

例えば、検出部２４により店員の発話（特定発話、応答発話を含む）が接客行動として検出される場合、印象推定部２５は、その発話中の店員の表情から顧客が受ける印象の指標データを算出する。この場合、印象推定部２５は、検出部２４により検出された店員の発話の開始時刻及び終了時刻を用いて、第二取得部２３により取得される店員の顔を含む画像データのうち、その開始時刻及び終了時刻の間の画像データを特定する。印象推定部２５は、その特定された画像データから上述のように店員の顔を示す画像領域を特定し、その画像領域の特徴量を算出する。印象推定部２５は、この算出された特徴量に対して上述の顔印象推定モデルを適用することで、その発話中の店員の表情から顧客が受ける印象の指標データを算出することができる。

【0058】

また、検出部２４により店員の会計作業が接客行動として検出される場合、印象推定部２５は、その会計作業中の店員の発話又は表情から顧客が受ける印象の指標データを算出する。この場合、印象推定部２５は、検出部２４により検出された店員の会計作業
の開示時刻及び終了時刻を用いて、第二取得部２３により取得される店員の発話音声データ又は画像データのうち、その開始時刻及び終了時刻の間の発話音声データ又は画像データを特定する。印象推定部２５は、その特定された発話音声データ又は画像データから上述のようにして、店員の発話又は表情から顧客が受ける印象の指標データを算出する。

【0059】

また、検出部２４により店員の店舗案内が接客行動として検出される場合、印象推定部２５は、その店舗案内中の店員の発話又は表情から顧客が受ける印象の指標データを算出する。この場合、印象推定部２５は、検出部２４により検出された店員の店舗案内行為の開始時刻及び終了時刻を用いて、第二取得部２３により取得される店員の発話音声データ又は画像データのうち、その開始時刻及び終了時刻の間の発話音声データ又は画像データを特定する。印象推定部２５は、その特定された発話音声データ又は画像データから上述のようにして、店員の発話又は表情から顧客が受ける印象の指標データを算出する。

【0060】

印象推定部２５は、上述の２つの印象推定手法のいずれか一方の手法のみを実行してもよいし、両方を実行してもよい。両方を実行する場合、印象推定部２５は、検出部２４により検出された第一接客行動が行われた際における、同一店員のその第一接客行動を示すデータ及び第二接客行動を示すデータから、印象の前記指標データを算出する。

【0061】

生成部２６は、印象推定部２５により算出された印象の指標データ及びデータ取得部２２により取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する。生成部２６は、生成された情報を格納部３０に格納する。上述の図３から図７に例示される各表は、生成部２６により生成され、格納部３０に格納された情報の例である。

【0062】

生成部２６は、図３、図４及び図５に示されるような顧客の購買行動を示すデータとそのデータに対応する時刻情報とを関連付けて、格納部３０に格納する。図３の例では、生成部２６は、購買行動を示すデータとして取得された売上金額及び精算時刻を精算毎に関連付けて、格納部３０に格納する。図４の例では、生成部２６は、購買行動を示すデータとして算出された店舗滞在時間を、その計算に用いられた入店時刻及び退店時刻、並びに顧客の識別番号と関連付けて、格納部３０に格納する。図５の例では、生成部２６は、購買行動を示すデータとして算出された平均店舗滞在時間を、時間区間の識別情報及びその時間区間の来店顧客数と関連付けて、格納部３０に格納する。

【0063】

更に、生成部２６は、図７に示されるような印象の指標データとその指標データに対応する時刻情報とを関連付けて、格納部３０に格納する。ここで、印象の指標データに関連付けられる時刻情報は、その印象を顧客に与えると推定された定員の行動がなされた時刻を示す。言い換えれば、生成部２６は、印象の指標データを、検出部２４により検出された接客行動が行われた時刻の情報と関連付ける。図７の例では、生成部２６は、検出部２４により接客行動として検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別（挨拶又はセールストーク）、発話内容テキストデータ、及び印象の指標データをそれぞれ関連付けて、格納部３０に格納する。生成部２６は、図６に示されるように、検出部２４により接客行動として検出された発話毎に、その発話の開始時刻及び終了時刻、その発話の種別（挨拶又はセールストーク）、及び発話内容テキストデータをそれぞれ関連付けて、格納部３０に格納してもよい。

【0064】

図３、図４、図５、及び図７の例では、生成部２６により生成される各情報（各テーブル情報）は、印象の指標データと顧客の購買行動を示すデータとが直接関連付けられていない。しかしながら、各テーブル情報は、時刻情報（精算時刻、入店時刻及び退店時刻、時間区間、開始時刻及び終了時刻）の項目を共通して持ち、その項目で関連付け可能な状態となっている。

【0065】

生成部２６は、図７に例示される印象の指標データと図３に例示される顧客の購買行動を示すデータとを関連付けられた状態で含む情報を生成することもできる。例えば、生成部２６は、図３に示される売上金額及び精算時刻に基づいて、所定時間区間毎の平均売上金額を算出し、時間区間の識別情報と平均売上金額とを関連付けて、格納部３０に格納する。また、生成部２６は、図７に示される開始時刻及び終了時刻と印象の指標データとの関係から、印象の所定時間区間毎の平均指標データを算出し、時間区間の識別情報と平均指標データとを関連付けて、格納部３０に格納する。これにより、印象の指標データと顧客の購買行動を示すデータとは、共通の時間区間の項目で関連付けられる。

【0066】

図８は、生成部２６により生成される情報の例を示す図である。生成部２６は、図８に示されるように、印象の指標データ及び顧客の購買行動を示すデータを関連付けられた状態で含む情報を生成することもできる。図８の例では、生成部２６は、印象の指標データ及び顧客の購買行動を示すデータが直接関連付けられたグラフ情報を生成する。図８の例では、図７に示される印象の指標データ（Ｆ２０、Ｆ２１）、図３に示される売上金額（Ｆ２２）、図４に示される顧客毎の店舗滞在時間（Ｆ２３）がグラフの情報として生成されたものである。各グラフは、横軸の時間軸により関連付けられている。Ｆ２０は、店員の挨拶（丸マークで表示）及びセールストーク（星マークで表示）の発生時刻と、顧客が受ける「明るさ」の印象の指標データを表す。Ｆ２１は、顧客の挨拶及びセールストークの発生時刻と、顧客が受ける「力強さ」の印象の指標データを表す。Ｆ２２は、売上の発生時刻とその金額を表す。Ｆ２３は、それぞれの顧客が店内に滞在した時間区間を横棒線で表す。滞在時間が３０分以上の場合は、傍線が太く表されている。各傍線の左に付記した数字は図４における顧客番号を示している。

【0067】

上述の例では、生成部２６は、印象の指標データ及び顧客の購買行動を示すデータに時刻情報をそれぞれ関連付けることで、両データが関連付け可能な状態又は関連付けられた状態となるようにした。このように、印象の指標データ及び顧客の購買行動を示すデータをそれぞれ時刻情報と関連付けることで、時間的に近接している店員の接客行動から得られる印象と顧客の購買行動とを関連づけて分析することが可能となる。この場合、データ取得部２２は、顧客の購買行動を示すデータを取得する際に、このデータに対応する時刻情報を合わせて取得する。データ取得部２２は、顧客が購入した商品又は顧客が購入した金額を当該データとして取得する場合、精算情報から精算時刻を取得することができる。データ取得部２２は、顧客の店舗滞在時間及び顧客の店舗内移動経路を当該データとして取得する場合、それら情報の開始時刻と終了時刻とを取得することができる。また、印象推定部２５は、印象の指標データを算出する際に、その算出の元データの時刻、即ち、検出部２４により検出された店員の接客行動が行われた時刻の情報を取得することができる。

【0068】

更に、生成部２６は、店員の接客行動の検出の有無、検出された店員の接客行動の種別、及び検出された店員の接客行動の内容を識別する内容識別データの少なくとも一つが、印象の指標データ又は顧客の購買行動を示すデータと関連付けられた情報を生成してもよい。接客行動の種別は、発話、表情、会計作業、店舗案内といった行動種を示す。内容識別データは、挨拶、セールストーク、応答発話といった発話行動を更に詳細レベルに分類する識別情報であってもよいし、上述の発話内容テキストデータのような内容を直接的に表すデータであってもよい。

【0069】

分析部２７は、印象推定部２５により算出された印象の指標データとデータ取得部２２により取得された顧客の購買行動を示すデータとの間の相関係数を算出する。印象推定部２５により複数の印象に関する指標データが算出される場合、分析部２７は、各印象の指標データと顧客の購買行動を示すデータとの間の相関係数をそれぞれ算出する。相関係数は、２つのデータ間の相関の度合を示す指標値であり、その算出手法は周知である。

【0070】

印象の指標データと顧客の購買行動を示すデータとを関連付けられた状態で含む情報が格納部３０に格納されている場合、分析部２７は、格納部３０に格納される両データの関連付け情報を用いて、当該相関係数を算出する。図３及び図７に例示されるように、格納部３０において両データが関連付けられていない場合、分析部２７は、生成部２６に関連付けを指示する。

【0071】

助言生成部２８は、分析部２７により算出された相関係数に基づいて、接客に関する助言情報を生成する。例えば、助言生成部２８は、算出された相関係数が所定第一閾値よりも高いか否かを判定する。助言生成部２８は、顧客の購買行動を示すデータと相関が高い印象の種別を示す情報（明るい等）を含み、かつその印象種が売上向上のために重要であることを表現する助言情報を生成する。更に、助言生成部２８は、算出された相関係数が所定第二閾値（上記第一閾値と同じ又は異なる閾値）よりも低いか否かを判定する。助言生成部２８は、この判定により、その助言情報に、相関が低い印象の種別を示す情報（力強い等）を含み、かつその印象種については特に気にしなくてよいことを示す表現を含めてもよい。更に、助言生成部２８は、図８に示されるような情報に基づいて、購買行動を示すデータと相関が高い印象の種別について、改善すべき時間帯情報をその助言情報に含めてもよい。例えば、図８の例では、９時から１１時の間の「明るさ」の印象の指標値が低く、その時間帯の売上が低いため、助言生成部２８は、その時間帯の「明るさ」の印象を改善すべきことをその助言情報に含める。

【0072】

出力部２９は、格納部３０に格納される情報を出力する。出力部２９による出力の具体的形態は制限されない。出力部２９は、当該情報の表示を入出力Ｉ／Ｆ１３を介して表示装置１５に出力させてもよいし、当該情報を入出力Ｉ／Ｆ１３を介して印刷装置（図示せず）に印刷させてもよい。また、出力部２９は、当該情報を通信ユニット１４を介して他の装置に出力してもよいし、当該情報を通信ユニット１４を介して可搬型記録媒体等に電子ファイルとして出力してもよい。

【0073】

具体的には、出力部２９は、格納部３０に格納される情報に基づいて、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力する。例えば、出力部２９は、図３、図４及び図５に示されるように、顧客の購買行動を示すデータと時刻情報とが関連付けられた情報（表やグラフ等）を出力する。出力部２９は、図７に示されるように、印象の指標データと時刻情報とが関連付けられた情報（表やグラフ等）を出力する。このように、出力部２９は、図３、図４又は図５に示される表と、図７に示される表とを別々に出力してもよい。更に、出力部２９は、図８に示されるように、印象の指標データ及び顧客の購買行動を示すデータが関連付けられた情報（表やグラフ等）を出力する。

【0074】

例えば、図７に示される時刻情報付きの印象の指標データの表イメージと、図３に示される時刻情報付きの売上金額データの表イメージとが出力された場合、その出力を見た者は、次のことを把握することができる。７時から８時にかけての店員の挨拶やセールストークの「明るさ」は概ね８０以上と大きく、売上も１０００円以上と大きい。一方で、１０時から１１時にかけての店員の挨拶やセールストークの「明るさ」は概ね３０以下と小さく、かつ、売上も１０００円以下と小さい。このことから、挨拶やセールストークの「明るさ」が大きいほど、売上が大きくなることが分かる。更に、図５に示される時刻情報付きの顧客の店舗滞在時間の表イメージによれば、次のことが分かる。すなわち、７時から８時にかけての店員の挨拶やセールストークの「明るさ」が大きいとき、顧客の店舗滞在時間は４０分程度と長い。一方で、１０時から１１時にかけての店員の挨拶やセールストークの「明るさ」が小さいとき、顧客の店舗滞在時間は１０分程度と短い。このことから、挨拶やセールストークの「明るさ」が大きいほど、顧客の店舗滞在時間が長くなることが分かる。

【0075】

また、図８のように、印象の指標データと顧客の購買行動を示すデータとが関連付けられたグラフが出力されることで、それらの間の関係を直感的に把握させることが可能となる。例えば、挨拶やセールストークが明るいほど売上が大きく、顧客の店舗滞在時間が長い傾向があることが分かり易い。また、挨拶やセールストークの「力強さ」は、売上や顧客の店舗滞在時間とはあまり関係がなく、従って、力強い挨拶を目指す必要がないことも分かる。

【0076】

また、出力部２９は、助言生成部２８により生成された助言情報及び印象に関して算出された相関係数の少なくとも一方を出力してもよい。

【0077】

〔動作例／接客データ処理方法〕
以下、第一実施形態における接客データ処理方法について図９を用いて説明する。図９は、第一実施形態における接客データ処理装置１０の動作例を示すフローチャートである。例えば、図示される各工程は、処理装置１０が有する上述の各処理モジュールにより実行される。各工程は、処理装置１０が有する上述の各処理モジュールの処理内容と同様であるため、各工程の詳細は、適宜省略される。

【0078】

処理装置１０は、店員行動データを取得する（Ｓ９０）。このとき、処理装置１０は、店員行動データと共にそのデータに対応する時刻情報も取得する。店員行動データについて上述したとおりである。例えば、処理装置１０は、店員の、音声データ、顔画像データ、位置データ等を店員行動データとして取得する。処理装置１０は、店舗内に設置されたカメラ及びマイク、店員が携帯するカメラ及びマイク、ＰＯＳシステム、レジ端末、サーバ装置等の少なくとも一つから、入出力Ｉ／Ｆ１３又は通信ユニット１４を介して、店員行動データを取得する。処理装置１０は、カメラから得られる映像の録画データやマイクから得られる音声の録音データを店員行動データとして可搬型記録媒体又は他の装置から取得することもできる。店員行動データの取得手法は制限されない。

【0079】

処理装置１０は、（Ｓ９０）で取得された店員行動データから、店員の接客行動を検出する（Ｓ９１）。店員の接客行動及びその検出方法については上述したとおりである。処理装置１０は、接客行動を検出すると共に、その接客行動が行われた時刻の情報も取得する。この時刻情報は、（Ｓ９０）で店員行動データと共に取得されてもよい。例えば、処理装置１０は、店員の挨拶又はセールストークを接客行動として検出し、合わせて、その発話の開始時刻及び終了時刻を取得する。

【0080】

処理装置１０は、（Ｓ９１）で検出された店員の接客行動に基づいて、その接客行動が行われた際のその店員を示すデータを用いて、その店員から顧客が受けると推定される印象の指標データを算出する（Ｓ９２）。（Ｓ９２）での印象推定方法は、上述のとおり２つに分類できる（第一推定方法及び第二推定方法）。第一推定方法では、処理装置１０は、（Ｓ９１）で検出された店員の接客行動から顧客が受けると推定される印象の指標データを算出する（Ｓ９２）。第二推定方法では、処理装置１０は、（Ｓ９１）で検出された店員の接客行動と略同時期に行われた、その検出された接客行動とは異なる、同一店員の接客行動から、顧客が受けると推定される印象の指標データを算出する（Ｓ９２）。印象の指標データの算出手法については上述したとおりである。

【0081】

例えば、第一推定方法では、処理装置１０は、（Ｓ９１）で検出された挨拶及びセールストークの音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの印象の強さを示す指標データを算出する。第二推定方法では、例えば、処理装置１０は、（Ｓ９１）で検出された挨拶及びセールストークと同時期の、店員の顔を含む画像データから、その店員の表情から顧客が受ける印象（明るさ、元気さ、冷たさ等）の指標データを算出する。

【0082】

処理装置１０は、顧客行動データを取得する（Ｓ９３）。このとき、処理装置１０は、顧客行動データと共にそのデータに対応する時刻情報も取得する。顧客行動データについて上述したとおりである。例えば、処理装置１０は、会計データ（精算情報）、位置データ、入店時刻及び退店時刻、音声データ等を顧客行動データとして取得する。処理装置１０は、店舗内に設置されたカメラ及びマイク、顧客の携帯端末、ＰＯＳシステム、レジ端末、サーバ装置等の少なくとも一つから、入出力Ｉ／Ｆ１３又は通信ユニット１４を介して、顧客行動データを取得する。処理装置１０は、カメラから得られる映像の録画データやマイクから得られる音声の録音データを顧客行動データとして可搬型記録媒体又は他の装置から取得することもできる。顧客行動データの取得手法は制限されない。

【0083】

処理装置１０は、（Ｓ９３）で取得された顧客行動データから、顧客の購買行動を示すデータを取得する（Ｓ９４）。このとき、処理装置１０は、購買行動を示すデータと共に、そのデータに対応する時刻情報も取得する。顧客の購買行動を示すデータ及びそのデータの取得方法については上述したとおりである。例えば、処理装置１０は、（Ｓ９３）で顧客行動データとして取得された精算情報から売上金額及び精算時刻を取得する。また、処理装置１０は、（Ｓ９３）で顧客行動データとして取得された入店時刻及び退店時刻から顧客毎の店舗滞在時間又は所定の時間区間における顧客の平均店舗滞在時間を算出する。

【0084】

処理装置１０は、（Ｓ９２）で算出された印象の指標データ及び（Ｓ９４）で取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する（Ｓ９５）。具体的には、処理装置１０は、顧客の購買行動を示すデータとそのデータに対応する時刻情報との関連付け情報及び印象の指標データとその指標データに対応する時刻情報との関連付け情報を別々に生成する。また、処理装置１０は、顧客の購買行動を示すデータと印象の指標データとの関連付け情報を生成する。処理装置１０は、生成された情報を格納部３０に格納する。

【0085】

処理装置１０は、印象の指標データと顧客の購買行動を示すデータとの相関係数を算出する（Ｓ９６）。このとき、処理装置１０は、印象の指標データと顧客の購買行動を示すデータとの関連付け情報を利用することができる。

【0086】

処理装置１０は、（Ｓ９６）で生成された相関係数に基づいて、助言情報を生成する（Ｓ９７）。助言情報の内容及びその生成手法については上述のとおりである。

【0087】

処理装置１０は、（Ｓ９５）で生成された情報、（Ｓ９６）で算出された相関係数、及び（Ｓ９７）で生成された助言情報の少なくとも一つを出力する（Ｓ９８）。この出力の具体的形態は制限されない。例えば、処理装置１０は、図３、図４及び図５に示される表の少なくとも一つと図７に示される表を別々に出力する。また、処理装置１０は、図８に示されるグラフを出力する。

【0088】

第一実施形態における接客データ処理方法における各工程の実行順序は、図９に示される例に限定されない。各工程の実行順序は、内容的に支障のない範囲で変更することができる。例えば、（Ｓ９０）から（Ｓ９２）と（Ｓ９３）及び（Ｓ９４）とは並列に実行されてもよい。また、（Ｓ９６）及び（Ｓ９７）は、その前の工程からシーケンシャルに実行されなくてもよい。例えば、処理装置１０は、（Ｓ９５）で生成された情報の件数、所定時間の経過、入力装置１６を用いたユーザの指示操作の検出等の少なくとも一つに基づいて、（Ｓ９６）の実行を行うか否かを判定する。同様に、処理装置１０は、（Ｓ９７）の実行を行うか否かを判定してもよい。これにより、（Ｓ９８）では、（Ｓ９５）で生成され格納部３０に格納される情報のみが出力される場合、（Ｓ９６）で算出された相関係数のみが出力される場合、（Ｓ９７）で生成された助言情報のみが出力される場合、それら情報の２つ以上が出力される場合があり得る。

【0089】

〔第一実施形態の作用及び効果〕
上述したように、第一実施形態では、顧客の購買行動を示すデータが取得され、店員の接客行動が検出され、検出された接客行動が行われた際のその店員から顧客が受けると推定される印象の指標データが算出される。そして、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報が生成され、出力される。このように、第一実施形態によれば、接客方法の改善に有益な情報を提供することができる。即ち、この出力された情報を見た店舗側の担当者は、店舗の業績向上を実現するために必要となる、店員の接客方法の具体的な改善策を見出すことができる。例えば、その担当者は、店員の挨拶やセールストークから顧客が受ける印象と、売上や顧客の店舗滞在時間との関係を把握することができる。そして、その担当者は、売上を向上したり、顧客の店舗滞在時間を長くしたりするためには、挨拶やセールストークを明るく行うように店員を教育する、といった改善策を見出すことができる。また、挨拶やセールストークを力強く行うことは売上向上には意味がない、といった知見も得ることができる。

【0090】

また、第一実施形態では、店員の行動（発話や表情等）を示すデータに基づいて、その行動から顧客が受けると推定される印象の指標データが算出される。よって、この印象の指標データは、特許文献２及び３で提案されている、顧客自身の音声から算出される顧客満足度とは相違する。第一実施形態によれば、顧客のデータがなくても、顧客が受ける印象の指標データを算出することができる。つまり、第一実施形態によれば、接客方法の改善に有益な情報を確実に取得することができる。接客が行われる場所において、個人情報保護やプライバシの問題から顧客の音声や画像を取るのは難しい場合があるからである。

【0091】

また、第一実施形態によれば、接客業務における接客品質管理で重要視されている印象から、「明るさ」、「元気さ」、「力強さ」、「丁寧さ」、「冷たさ」等のように、推定対象となる印象を選ぶことができる。また、このように、複数印象の指標データを算出することにより、印象種ごとに顧客の購買行動との関連性の知見を得ることができる。接客が行われる業種や場所によって、顧客の購買行動に影響を与える印象種が異なることが考えられる。第一実施形態によれば、接客が行われる業種や場所ごとに、接客方法の改善に寄与する適切な情報を提供することができる。例えば、コンビニエンスストアのような小売店における接客では、「明るさ」の印象が売上に強く影響し、ホテルでの接客では、「明るさ」よりも「丁寧さ」の印象が売上に強く影響することが考えられる。また、小売店やホテルでの接客では、「力強さ」の印象は売上にほとんど影響を与えないが、八百屋や居酒屋での接客では、「力強さ」の印象が売上に強く影響することが考えられる。

【0092】

［第二実施形態］
上述の第二実施形態では、時刻情報が、印象の指標データと顧客の購買行動を示すデータとの関連付けのために利用された。即ち、推定された印象の元となる店員の行動が行われた時刻と近い時刻で行われた顧客の購買行動とが関連付けられた。しかしながら、時刻の近さのみによる関連付けでは、推定された印象の元となる店員の行動が、その印象に関連付けられた購買行動に結び付いたのかは定かではない。言い換えれば、時刻の近さのみによる関連付けでは、指標データが表すその印象を受けたと推定される顧客と、その指標データに関連付けられた購買行動を行った顧客とが一致しているとは限らない。

【0093】

そこで、第二実施形態は、推定された印象の元となる店員の行動と顧客の購買行動とを適切に関連付ける。これにより、第二実施形態は、店員の行動から顧客が受ける印象と顧客の購買行動との関係を、第一実施形態よりもさらに高精度に分析することができる。以下、第二実施形態における接客データ処理装置及び接客データ処理方法について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。

【0094】

〔処理構成〕
第二実施形態における接客データ処理装置１０は、図２に示される第一実施形態の処理構成と同様である。以下に示す各処理モジュールの処理内容が第一実施形態と異なる。

【0095】

生成部２６は、印象の指標データと購買行動を示すデータとが同一顧客のものとなるように、両データを関連付ける。言い換えれば、生成部２６は、印象推定部２５によりその印象を受けたと推定される顧客と、その印象の指標データに関連付けられる購買行動を行った顧客とが一致するように、両データを関連付ける。これにより、例えば、顧客Ａが店舗に入店し、その顧客に対して店員が「いらっしゃいませ」と挨拶した場合、その挨拶と顧客Ａによる売上や顧客Ａの店舗滞在時間とが関連付けられる。また、顧客Ｂに対して、店員が「メロンパンが焼き上がりましたよ」とセールストークを行った場合、このセールストークと顧客Ｂによる売上や顧客Ｂの店舗滞在時間とが関連付けられる。

【0096】

生成部２６による関連付け方法には次のような複数の方法が存在する。以下、各関連付け方法についてそれぞれ説明する。但し、生成部２６による関連付け方法は、以下に挙げる例に限定されない。

【0097】

《第一関連付け方法》
生成部２６は、第一取得部２１により取得される顧客の位置データの履歴、並びに、第一実施形態で述べた印象の指標データと時刻情報との関連付け及び購買行動を示すデータと時刻情報との関連付けとを用いて、印象の指標データと購買行動を示すデータとを関連付ける。顧客の位置データの履歴は、位置データと時刻情報との複数ペアを含み、更に、顧客の識別情報（顧客ＩＤ）を含む。印象の指標データと関連付けられる時刻情報は、検出部２４により検出された接客行動が行われた時刻と略同様である。

【0098】

生成部２６は、印象の指標データと時刻情報との関連付け及び顧客の位置データの履歴に基づいて、その印象の指標データに対して顧客ＩＤを関連付ける。このとき、生成部２６は、印象の指標データと関連付けられた時刻における顧客の位置により、その印象を受けたと推定される顧客のＩＤを特定する。例えば、生成部２６は、１０時に店員から発せられた「いらっしゃいませ」に対応する印象の指標データについては、１０時に店の入口付近にいた顧客のＩＤを関連付ける。

【0099】

図１０は、第二実施形態における生成部２６により生成される関連付け情報の例を示す図である。図１０の例では、生成部２６は、検出部２４により検出された発話毎に、印象の指標データ及び顧客ＩＤをそれぞれ関連付ける。図１０の例によれば、７時０５分１０秒に発せられた「いらっしゃいませ」という挨拶発話から推定される印象の指標データ（「明るさ＝９２」、「元気さ＝８０」等）に、「顧客ＩＤ＝５」が関連付けられている。

【0100】

更に、生成部２６は、購買行動を示すデータと時刻情報との関連付け及び顧客の位置データの履歴に基づいて、その購買行動を示すデータに対して顧客ＩＤを関連付ける。このとき、生成部２６は、購買行動を示すデータと関連付けられた時刻における顧客の位置により、その購買行動の主体である顧客のＩＤを特定する。例えば、購買行動を示すデータとして顧客の店舗滞在時間が利用される場合、生成部２６は、１０時に入店して１０時１０分に退店した顧客の店舗滞在時間（１０分）に対して、１０時及び１０時１０分に店舗の出入口付近にいた顧客のＩＤを関連付ける。

【0101】

図１１は、第二実施形態における生成部２６により生成される関連付け情報の例を示す図である。図１１の例では、生成部２６は、購買行動を示すデータである精算毎の売上金額に対して顧客ＩＤを関連付ける。図１１の例によれば、７時４７分５６秒に精算を終えた顧客の売上金額「１２００円」に対して、７時４７分くらいにレジにいた顧客のＩＤ（８）が関連付けられている。なお、顧客のＩＤは、レジで提示されたポイントカードの顧客情報から取得することもできる。

【0102】

《第二関連付け方法》
生成部２６は、上述の第一関連付け方法で用いられた情報に加えて、第二取得部２３により取得される店員の位置データの履歴を更に用いて、印象の指標データと購買行動を示すデータとを関連付ける。店員の位置データの履歴は、位置データと時刻情報との複数ペアを含み、更に、店員の識別情報（店員ＩＤ）を含む。この方法では、生成部２６は、印象の指標データと時刻情報との関連付け、顧客の位置データの履歴、及び店員の位置データの履歴に基づいて、その印象の指標データに対して顧客ＩＤを関連付ける。生成部２６は、印象の指標データと関連付けられた時刻における顧客と店員との位置関係により、その印象を受けたと推定される顧客のＩＤを特定する。例えば、生成部２６は、１１時の店員の表情に対する印象の指標データについては、１１時にその店員から所定距離以内にいた顧客のＩＤを関連付ける。

【0103】

この場合、印象の指標データには、時刻情報と共に、その印象推定の元（入力）となる行動を取った店員のＩＤが関連付けられている必要がある。そこで、印象推定部２５は、印象推定モデルを適用するデータ（音声や画像等）により示される店員のＩＤを特定する。例えば、第二取得部２３は、店員行動データを取得する際に、そのデータの取得元に基づいて、その店員行動データにより示される店員のＩＤを特定する。第二取得部２３は、店員ＩＤと店員により携帯されるマイクのＩＤとの対応情報を参照することで、取得された店員行動データに対応する店員ＩＤを特定することができる。また、店員にＩＣタグを携帯させることで、第二取得部２３は、店員の位置データと共に、ＩＣタグから得られるその店員のＩＤを取得することもできる。このような場合、印象推定部２５は、第二取得部２３により特定された店員ＩＤを用いればよい。

【0104】

他の例として、印象推定部２５は、印象推定モデルを適用するデータ（音声や画像等）に対して、話者照合技術又は顔識別技術を適用することで、そのデータにより示される店員のＩＤを特定する。話者照合技術を用いる場合、印象推定部２５は、店員毎の発話モデル（音声特徴量）を予め保持する。また、顔識別情報を用いる場合、印象推定部２５は、店員毎の顔画像モデル（画像特長量）を予め保持する。

【0105】

図１２は、第二実施形態における生成部２６により生成される関連付け情報の例を示す図である。図１２の例では、生成部２６は、検出部２４により検出された発話毎に、印象の指標データ、店員ＩＤ及び顧客ＩＤをそれぞれ関連付ける。図１２の例によれば、７時０５分１０秒に「店員ＩＤ＝８」の店員が発した「いらっしゃいませ」という挨拶発話に対して、印象の指標データ（「明るさ＝９２」、「元気さ＝８０」等）及び「顧客ＩＤ＝５」が関連付けられている。

【0106】

なお、購買行動を示すデータと顧客ＩＤとの関連付けについては、第一関連付け方法と同様でよい。このようにして、生成部２６は、印象の指標データと購買行動を示すデータとを顧客ＩＤにより関連付ける。生成部２６は、顧客ＩＤにより関連付けられた情報を格納部３０に格納する。ここで、生成部２６は、関連付けられた印象の指標データと購買行動を示すデータを格納し、印象の指標データと顧客ＩＤとの関連付け情報及び購買行動を示すデータと顧客ＩＤとの関連付け情報を格納しなくてもよい。

【0107】

更に、上述の第二関連付け方法が取られる場合、生成部２６は、印象の指標データに、店員ＩＤと、その店員の行動によりその印象を受けたと推定される顧客のＩＤとの関連付け情報を生成することができる。更に、その関連付け情報に基づいて、生成部２６は、印象の指標データ及び顧客の購買行動に店員ＩＤを関連付けることもできる。この関連付け情報によれば、顧客が受けると推定される印象とその顧客の購買行動との関係の分析を、店員毎に行うことができる。例えば、店員Ａは挨拶の「明るさ」が大きく接客した対象顧客の売上も大きいが、店員Ｂは挨拶の「明るさ」が小さく接客した対象顧客の売上が小さいこと等を分析できる。

【0108】

図１３は、出力部２９による出力を示す図である。図１３では、店員の挨拶の印象の指標データと顧客の購買行動を示すデータとの相関を示すグラフ及びその相関係数が出力されている。グラフＦ５０は、挨拶の「明るさ」の印象の指標データと、挨拶の対象となった顧客による売上との相関関係を示す。このグラフＦ５０によれば、明るい挨拶を受けた顧客からの売上が大きいという関係があることが分かる。グラフＦ５１は、挨拶の「力強さ」の印象の指標データと、挨拶の対象となった顧客による売上との相関関係を示す。グラフＦ５１によれば、挨拶の「力強さ」と売上との間にはほとんど関係がないことが分かる。グラフＦ５２は、挨拶の「明るさ」の印象の指標データと、挨拶の対象となった顧客の店舗滞在時間との相関関係を示す。グラフＦ５２によれば、明るい挨拶を受けた顧客ほど滞在時間が長いという関係があることが分かる。

【0109】

〔動作例／接客データ処理方法〕
第二実施形態における接客データ分析方法の各工程の順番は、図９に示される第一実施形態と同様である。第二実施形態では（Ｓ９５）での関連付け方法が第一実施形態と異なる。この関連付け方法は、上述したとおりである。

【0110】

〔第二実施形態の作用及び効果〕
上述のように、第二実施形態では、印象の指標データ及び顧客の購買行動に関連付けられた時刻情報、顧客の位置データ、店員の位置データ等に基づいて、印象の指標データと購買行動を示すデータとが同一顧客のものとなるように、印象の指標データと購買行動を示すデータとが関連付けられる。これにより、第二実施形態によれば、店員の行動から顧客が受ける印象と顧客の購買行動との関係を高精度に分析することができる。具体的には、第二実施形態によれば、印象の指標データと購買行動を示すデータとが同一顧客のものとなるように両データが関連付けられるため、第一実施形態よりもより高精度な相関係数を得ることができる。

【0111】

更に、上述の第二関連付け方法によれば、印象の指標データに、店員ＩＤと、その店員の行動によりその印象を受けたと推定される顧客のＩＤとの関連付け情報を生成することができる。加えて、印象の指標データ及び顧客の購買行動に店員ＩＤを関連付けることもできる。これによれば、顧客が受けると推定される印象とその顧客の購買行動との関係の分析を、店員毎に行うことができる。

【0112】

［変形例］
上述の各実施形態における処理装置１０は、分析部２７及び助言生成部２８を有していなくてもよい。この場合、処理装置１０（出力部２９）は、格納部３０に格納される情報に基づいて、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力し、相関係数や助言情報を出力しない。この場合、図９に示される接客データ処理方法は、（Ｓ９６）及び（Ｓ９７）を含まない。

【0113】

［第三実施形態］
以下、第三実施形態における接客データ処理装置及び接客データ処理方法について図１４及び図１５を用いて説明する。また、第三実施形態は、この接客データ処理方法を少なくとも１つのコンピュータ（ＣＰＵ）に実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも１つのコンピュータが読み取り可能な記録媒体であってもよい。

【0114】

図１４は、第三実施形態における接客データ処理装置１００の処理構成例を概念的に示す図である。図１４に示されるように、接客データ処理装置１００は、推定部１０１、データ取得部１０２、及び生成部１０３を有する。図１４に示される接客データ処理装置１００は、例えば、図１に示される上述の処理装置１０と同様のハードウェア構成を有し、その処理装置１０と同様にＣＰＵ１１によりプログラムが処理されることで、上述の各処理モジュールが実現される。但し、接客データ処理装置１００のハードウェア構成は、制限されず、接客データ処理装置１００には、表示装置１５及び入力装置１６が接続されていなくてもよい。

【0115】

推定部１０１は、接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出する。接客時の店員を示すデータの一具体例は、上述の店員行動データである。このデータの形式及び内容は、そのデータが接客時の店員を示していれば、制限されない。推定される印象の種別（明るい、元気等）は、制限されない。但し、その印象の種別は、接客目的に与える影響の大きい印象に設定されることが望ましい。また、算出される印象の指標データは、上述したとおり、その印象の種別（明るい、元気等）、その印象の有無、又はその印象の強さの程度を示す。推定部１０１による印象の指標データの算出手法は、上述の印象推定部２５と同様である。

【0116】

データ取得部１０２は、顧客の購買行動を示すデータを取得する。取得されたデータの形式及び内容は、顧客の購買行動を示していれば、制限されない。顧客の購買行動は、上述したとおり、顧客が実際に何かを購入する行動のみならず、顧客が店舗に入店してから店舗から出るまでの間の顧客の行動の中で接客目的に結び付く可能性のある様々な行動を含む。データ取得部１０２によるこのデータの取得手法は、上述のデータ取得部２２と同様である。

【0117】

生成部１０３は、推定部１０１により算出された印象の指標データ及びデータ取得部１０２により取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する。生成部１０３は、印象の指標データと顧客の購買行動データとが直接関連付けられた情報を生成してもよい。また、生成部１０３は、印象の指標データ及び顧客の購買行動を示すデータを含み、見た者が関連付けを行える又は情報処理により関連付けを行えるような情報を生成してもよい。更に、生成部１０３は、前者の情報と後者の情報とを両方生成してもよい。上述の各実施形態では、印象の指標データと顧客の購買行動とを関連付ける情報又は関連付け可能にする情報として、時刻情報及び顧客ＩＤが例示された。関連付けのための情報は、このような例に制限されない。生成部１０３による情報の生成手法は、上述の生成部２６と同様である。

【0118】

図１５は、第三実施形態における接客データ処理装置１００の動作例を示すフローチャートである。図１５に示されるように、第三実施形態における接客データ処理方法は、接客データ処理装置１００のような少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、接客データ処理装置１００が有する各処理モジュールにより実行される。各工程は、接客データ処理装置１００が有する上述の各処理モジュールの処理内容と同様であるため、各工程の詳細は、適宜省略される。

【0119】

本実施形態における接客データ処理方法は、（Ｓ１５１）、（Ｓ１５２）及び（Ｓ１５３）を含む。
（Ｓ１５１）では、接客データ処理装置１００は、接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出する。
（Ｓ１５２）では、接客データ処理装置１００は、顧客の購買行動を示すデータを取得する。
（Ｓ１５３）では、接客データ処理装置１００は、（Ｓ１５１）で算出された印象の指標データ及び（Ｓ１５２）で取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する。生成された情報は、接客データ処理装置１００内に格納されてもよいし、他の装置に送られてもよいし、可搬型記録媒体に格納されてもよい。

【0120】

第三実施形態によれば、印象の指標データ及び顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報が生成されるため、上述の各実施形態と同様に、接客方法の改善に有益な情報を提供することができる。

【0121】

上述の各実施形態では、次のような例が主に用いられた。
（１）検出される接客行動＝挨拶又はセールストークのような特定発話
（２）印象推定の入力データ＝その特定発話を示す音声データ
（３）印象の指標データに対応する時刻情報＝特定発話の発声時刻
（４）購買行動を示すデータ＝売上金額及び店舗滞在時間
（５）購買行動を示すデータに対応する時刻情報＝精算時刻、入店時刻、退店時刻
（６）関連付けのための情報＝時刻情報（第一実施形態）、顧客ＩＤ（第二実施形態）
以下、上述の各実施形態で明記されなかった他の例を実施例として説明する。但し、上述の内容は、以下の実施例の内容に限定されない。

【0122】

［第一実施例］
（１）検出される接客行動＝店員の特定表情（笑顔、しかめっつら等）
（２）印象推定の入力データ＝検出された特定表情を表す画像データ
（３）印象の指標データに対応する時刻情報＝特定表情の発生時刻
（４）から（６）＝同上
処理装置１０（第二取得部２３）は、店員の顔を含む画像データを店員行動データとして取得する。処理装置１０（検出部２４）は、その画像データに対して顔検出及び顔表情認識技術を適用して、店員の特定表情を接客行動として検出する。処理装置１０（印象推定部２５は、その検出された特定表情を含む画像データに対して顔印象推定モデルを適用することで、その特定表情から顧客が受けると推定される印象の指標データを算出する（第一推定方法）。処理装置１０（印象推定部２５）は、その算出された印象の指標データに対応する時刻情報として、その特定表情が表れた時刻情報を取得する。処理装置１０（生成部２６）は、その印象の指標データと時刻情報とを関連付けて格納部３０に格納する。

【0123】

図１６は、特定表情に関する印象の指標データと時刻情報との関連付けの例を示す図である。図１６の例では、処理装置１０（生成部２６）は、検出された特定表情毎に、発生時刻、表情種別、印象の指標データを関連付けて、格納部３０に格納する。

【0124】

［第二実施例］
（１）検出される接客行動＝店員の発話（特定発話、応答発話を含む）
（２）印象推定の入力データ＝検出された発話中の店員の表情を表す画像データ
（３）印象の指標データに対応する時刻情報＝その店員の表情の発生時刻
（４）から（６）＝同上
処理装置１０（第二取得部２３）は、店員の発話音声データ及び店員の顔を含む画像データを店員行動データとして取得する。処理装置１０（検出部２４）は、取得された発話音声データから、特定発話や応答発話等のような店員の発話を接客行動として検出する。処理装置１０（印象推定部２５）は、その検出された発話の開始時刻及び終了時刻の間を表す画像データに顔印象推定モデルを適用することで、その発話中の店員の表情から顧客が受けると推定される印象の指標データを算出する（第二推定方法）。処理装置１０（印象推定部２５）は、その算出された印象の指標データに対応する時刻情報として、顔印象推定モデルが適用された画像データの時刻情報を取得する。処理装置１０（生成部２６）は、図１６に示されるように、印象の指標データと時刻情報とを関連付けて格納部３０に格納する。

【0125】

［第三実施例］
（１）検出される接客行動＝店員の会計作業
（２）印象推定の入力データ＝検出された会計作業中の店員の発話音声データ
（３）印象の指標データに対応する時刻情報＝その店員の発話の発声時刻
（４）から（６）＝同上
処理装置１０（第二取得部２３）は、レジ端末の店員毎の操作履歴（ログイン履歴）の情報及び店員の発話音声データを店員行動データとして取得する。処理装置１０（検出部２４）は、その操作履歴の情報からレジ端末利用の開始時刻及び終了時刻を抽出して、その間を店員の会計作業として検出する。処理装置１０（印象推定部２５）は、その検出された会計作業の開始時刻及び終了時刻の間の当該発話音声データに声印象推定モデルを適用することで、検出された会計作業中の店員の発話から顧客が受けると推定される印象の指標データを算出する（第二推定方法）。処理装置１０（印象推定部２５）は、その算出された印象の指標データに対応する時刻情報として、声印象推定モデルが適用された発話音声データの時刻情報を取得する。

【0126】

第三実施例では、印象推定の入力データとして、検出された会計作業中の店員の表情を表す画像データが用いられてもよい。この場合には、処理装置１０（第二取得部２３）は、レジ端末の店員毎の操作履歴（ログイン履歴）の情報及び店員の表情を表す画像データを店員行動データとして取得する。処理装置１０（検出部２４）は、上述のように店員の会計作業を検出する。処理装置１０（印象推定部２５）は、その検出された会計作業の開始時刻及び終了時刻の間の当該画像データに顔印象推定モデルを適用することで、検出された会計作業中の店員の表情から顧客が受けると推定される印象の指標データを算出する（第二推定方法）。

【0127】

［第四実施例］
（１）検出される接客行動＝店員の店舗案内
（２）印象推定の入力データ＝検出された店舗案内中の店員の発話音声データ
（３）印象の指標データに対応する時刻情報＝その店員の発話の発声時刻
（４）から（６）＝同上
処理装置１０（第二取得部２３）は、店舗内における店員の位置データの履歴及び店員の発話音声データを店員行動データとして取得する。また、処理装置１０（第一取得部２１）は、顧客の位置データの履歴を顧客行動データとして取得する。処理装置１０（検出部２４）は、店員の位置データの履歴及び顧客の位置データの履歴に基づいて、店員と顧客とが一定距離以内に存在する状態が一定時間以上継続しかつ両者が移動していることを店舗案内として検出する。処理装置１０（印象推定部２５）は、その検出された店舗案内の開始時刻及び終了時刻の間の当該発話音声データに声印象推定モデルを適用することで、その店舗案内中の店員の発話から顧客が受けると推定される印象の指標データを算出する（第二推定方法）。処理装置１０（印象推定部２５）は、その算出された印象の指標データに対応する時刻情報として、声印象推定モデルが適用された発話音声データの時刻情報を取得する。

【0128】

上述の各実施形態及び変形例は、内容が相反しない範囲で組み合わせることができる。
上記の各実施形態及び変形例の一部又は全部は、以下のようにも特定され得る。但し、上記の各実施形態及び変形例が以下の記載に限定されるものではない。

【0129】

１． 接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出する推定手段と、
顧客の購買行動を示すデータを取得するデータ取得手段と、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する生成手段と、
を備える接客データ処理装置。
２． 店員の接客行動を検出する検出手段、
を更に備え、
前記推定手段は、接客時の店員を示す前記データとして、前記検出された接客行動が行われた際の前記店員を示すデータを用いて、前記印象の前記指標データを算出する、
１．に記載の接客データ処理装置。
３． 前記生成手段は、店員の接客行動の検出の有無、前記検出された店員の接客行動の種別、及び前記検出された店員の接客行動の内容を識別する内容識別データの少なくとも一つが、前記算出された印象の指標データ又は前記取得された顧客の購買行動を示すデータと関連付けられた情報を生成する、
２．に記載の接客データ処理装置。
４． 前記検出手段は、店員の発話を含む音声データから、顧客に対する店員の発話を前記接客行動として検出し、
前記推定手段は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも１つの印象の有無又は強さを示す指標データを算出する、
２．又は３．に記載の接客データ処理装置。
５． 前記検出手段は、店員の発話を含む音声データから、挨拶又はセールストークを表す特定表現に相当する店員の発話を前記接客行動として検出し、
前記推定手段は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの少なくとも１つの印象の有無または強さを示す指標データを算出する、
２．から４．のいずれか１つに記載の接客データ処理装置。
６． 前記検出手段は、店員を含む画像データから、顧客に対する店員の特定表情を前記接客行動として検出し、
前記推定手段は、前記特定表情として検出された店員の表情を含む画像データから、その表情から顧客が受けると推定される印象の指標データを算出する、
２．から５．のいずれか１つに記載の接客データ処理装置。
７． 前記検出手段は、顧客に対する店員の第一接客行動を検出し、
前記推定手段は、前記検出された第一接客行動が行われた際における、その第一接客行動とは異なる、前記店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する、
２．から６．のいずれか１つに記載の接客データ処理装置。
８． 前記推定手段は、前記検出された第一接客行動が行われた際における、前記店員のその第一接客行動を示すデータ及び前記第二接客行動を示すデータから、前記印象の前記指標データを算出する、
７．に記載の接客データ処理装置。
９． 前記データ取得手段は、顧客が購入した商品、顧客が購入した金額、顧客の店舗滞在時間、顧客の店舗内移動経路、顧客の来店頻度、顧客の来店回数の少なくとも１つを前記購買行動を示す前記データとして取得する、
１．から８．のいずれか１つに記載の接客データ処理装置。
１０． 前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力する出力手段、
を更に備える１．から９．のいずれか１つに記載の接客データ処理装置。
１１． 前記推定手段は、接客時の店員を示すデータに基づいて、各印象の有無又は強さをそれぞれ示す複数印象の指標データを算出する、
１．から１０．のいずれか１つに記載の接客データ処理装置。
１２． 前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出する分析手段、
を更に備える１．から１１．のいずれか１つに記載の接客データ処理装置。
１３． 前記算出された相関係数に基づいて、接客に関する助言情報を生成する助言生成手段、
を更に備える１２．に記載の接客データ処理装置。
１４． 前記生成された助言情報及び前記印象に関して算出された前記相関係数の少なくとも一方を出力する出力手段、
を更に備える１３．に記載の接客データ処理装置。
１５． 前記生成手段は、顧客の位置データの履歴及び前記算出された印象の指標データに対応する時刻情報に基づいて、その印象の指標データにその印象を受けたと推定される顧客の識別情報を関連付け、顧客の位置データの履歴及び前記取得された顧客の購買行動を示すデータに対応する時刻情報に基づいて、その購買行動を示すデータにその購買行動の主体である顧客の識別情報を関連付ける、
１．から１４．のいずれか１つに記載の接客データ処理装置。
１６． 前記生成手段は、前記算出された印象の指標データにその印象を顧客に与えた店員の識別情報を更に関連付ける、
１５．に記載の接客データ処理装置。

【0130】

１７． 少なくとも一つのコンピュータにより実行される接客データ処理方法において、
接客時の店員を示すデータに基づいて、その店員から顧客が受けると推定される印象の指標データを算出し、
顧客の購買行動を示すデータを取得し、
前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で含む情報を生成する、
事を含む接客データ処理方法。
１８． 店員の接客行動を検出する、
ことを更に含み、
前記指標データの前記算出は、接客時の店員を示す前記データとして、前記検出された接客行動が行われた際の前記店員を示すデータを用いて、前記印象の前記指標データを算出する、
１７．に記載の接客データ処理方法。
１９． 店員の接客行動の検出の有無、前記検出された店員の接客行動の種別、及び前記検出された店員の接客行動の内容を識別する内容識別データの少なくとも一つが、前記算出された印象の指標データ又は前記取得された顧客の購買行動を示すデータと関連付けられた情報を生成する、
ことを更に含む１８．に記載の接客データ処理方法。
２０． 前記接客行動の前記検出は、店員の発話を含む音声データから、顧客に対する店員の発話を前記接客行動として検出し、
前記指標データの前記算出は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、格好よさ、丁寧さ、落ち着き、可愛さ、誠実さ、冷たさ、流暢さ、若さ、上品さ、及び優しさの少なくとも１つの印象の有無又は強さを示す指標データを算出する、
１８．又は１９．に記載の接客データ処理方法。
２１． 前記接客行動の前記検出は、店員の発話を含む音声データから、挨拶又はセールストークを表す特定表現に相当する店員の発話を前記接客行動として検出し、
前記指標データの前記算出は、前記検出された店員の発話の音声データから、明るさ、元気さ、力強さ、丁寧さ、及び冷たさの少なくとも１つの印象の有無または強さを示す指標データを算出する、
１８．から２０．のいずれか１つに記載の接客データ処理方法。
２２． 前記接客行動の前記検出は、店員を含む画像データから、顧客に対する店員の特定表情を前記接客行動として検出し、
前記指標データの前記算出は、前記特定表情として検出された店員の表情を含む画像データから、その表情から顧客が受けると推定される印象の指標データを算出する、
１８．から２１．のいずれか１つに記載の接客データ処理方法。
２３． 前記接客行動の前記検出は、顧客に対する店員の第一接客行動を検出し、
前記指標データの前記算出は、前記検出された第一接客行動が行われた際における、その第一接客行動とは異なる、前記店員の第二接客行動を示すデータから、その第二接客行動から顧客が受けると推定される印象の指標データを算出する、
１８．から２２．のいずれか１つに記載の接客データ処理方法。
２４． 前記指標データの前記算出は、前記検出された第一接客行動が行われた際における、前記店員のその第一接客行動を示すデータ及び前記第二接客行動を示すデータから、前記印象の前記指標データを算出する、
２３．に記載の接客データ処理方法。
２５． 前記購買行動を示す前記データの前記取得は、顧客が購入した商品、顧客が購入した金額、顧客の店舗滞在時間、顧客の店舗内移動経路、顧客の来店頻度、顧客の来店回数の少なくとも１つを前記購買行動を示す前記データとして取得する、
１７．から２４．のいずれか１つに記載の接客データ処理方法。
２６． 前記算出された印象の指標データ及び前記取得された顧客の購買行動を示すデータを関連付け可能な状態又は関連付けられた状態で出力する、
ことを更に含む１７．から２５．のいずれか１つに記載の接客データ処理方法。
２７． 前記指標データの前記算出は、接客時の店員を示すデータに基づいて、各印象の有無又は強さをそれぞれ示す複数印象の指標データを算出する、
１７．から２６．のいずれか１つに記載の接客データ処理方法。
２８． 前記算出された印象の指標データと前記取得された顧客の購買行動を示すデータとの間の相関係数を算出する、
ことを更に含む１７．から２７．のいずれか１つに記載の接客データ処理方法。
２９． 前記算出された相関係数に基づいて、接客に関する助言情報を生成する、
ことを更に含む２８．に記載の接客データ処理方法。
３０． 前記生成された助言情報及び前記印象に関して算出された前記相関係数の少なくとも一方を出力する、
ことを更に含む２９．に記載の接客データ処理方法。
３１． 顧客の位置データの履歴及び前記算出された印象の指標データに対応する時刻情報に基づいて、その印象の指標データにその印象を受けたと推定される顧客の識別情報を関連付け、
顧客の位置データの履歴及び前記取得された顧客の購買行動を示すデータに対応する時刻情報に基づいて、その購買行動を示すデータにその購買行動の主体である顧客の識別情報を関連付ける、
ことを更に含む１７．から３０．のいずれか１つに記載の接客データ処理方法。
３２． 前記算出された印象の指標データにその印象を顧客に与えた店員の識別情報を更に関連付ける、
ことを更に含む３１．に記載の接客データ処理方法。

【0131】

３３． １７．から３２．のいずれか１つに記載の接客データ処理方法を少なくとも一つのコンピュータに実行させるプログラム。

【符号の説明】

【0132】

１０，１００ 接客データ処理装置（処理装置）
１１ ＣＰＵ
１２ メモリ
２１ 第一取得部
２２，１０２ データ取得部
２３ 第二取得部
２４ 検出部
２５ 印象推定部
２６，１０３ 生成部
２７ 分析部
２８ 助言生成部
２９ 出力部
３０ 格納部
１０１ 推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】