ホーム > 特許ランキング > ＫＩＮＤＬＥＲ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024125241
(43)【公開日】2024-09-17
(54)【発明の名称】接客支援装置、接客支援方法及び接客支援プログラム
(51)【国際特許分類】
G06Q 30/015 20230101AFI20240909BHJP
G06Q 50/10 20120101ALI20240909BHJP
G06T 7/00 20170101ALI20240909BHJP
A45D 44/00 20060101ALI20240909BHJP
【ＦＩ】
G06Q30/015
G06Q50/10
G06T7/00 660A
G06T7/00 350B
A45D44/00 A
【審査請求】有
【請求項の数】4
【出願形態】ＯＬ
(21)【出願番号】P 2023033263
(22)【出願日】2023-03-04
(71)【出願人】
【識別番号】519391114
【氏名又は名称】ＫＩＮＤＬＥＲ株式会社
(74)【代理人】
【識別番号】110003546
【氏名又は名称】弁理士法人伊藤ＩＰ特許事務所
(72)【発明者】
【氏名】門脇 明日香
(72)【発明者】
【氏名】海藤 愛紗
【テーマコード（参考）】
5L030
5L049
5L050
5L096
【Ｆターム（参考）】
5L030BB05
5L049BB05
5L049CC11
5L050CC11
5L096AA02
5L096AA06
5L096CA02
5L096DA02
5L096HA11
5L096KA04
(57)【要約】
【課題】所定の接客行為を好適に支援することができる技術を提供する。
【解決手段】本開示の接客支援装置は、所定の接客行為を支援するための接客支援装置である。そして、この接客支援装置は、顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、問診情報及び顔分析データに基づいて、購買希望に対する所定のレコメンド情報を顧客ユーザに提供することと、を実行する制御部を備える。
【選択図】図３
【解決手段】本開示の接客支援装置は、所定の接客行為を支援するための接客支援装置である。そして、この接客支援装置は、顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、問診情報及び顔分析データに基づいて、購買希望に対する所定のレコメンド情報を顧客ユーザに提供することと、を実行する制御部を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
所定の接客行為を支援するための接客支援装置であって、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備える、接客支援装置。
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備える、接客支援装置。
【請求項2】
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱との位置関係を算出するとともに前記顧客ユーザの顔輪郭の形を分類し、該位置関係と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
請求項１に記載の接客支援装置。
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱との位置関係を算出するとともに前記顧客ユーザの顔輪郭の形を分類し、該位置関係と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
請求項１に記載の接客支援装置。
【請求項3】
前記制御部は、
前記商品又は／及び前記サービスを説明するための仮想店員であるアバター店員を生成することを、更に実行し、
前記レコメンド情報を提供するとき、前記アバター店員に、前記顧客ユーザの前記顔タイプの印象に合致した該アバター店員の表情又は／及びジェスチャーを伴った該レコメンド情報の説明を実行させる、
請求項２に記載の接客支援装置。
前記商品又は／及び前記サービスを説明するための仮想店員であるアバター店員を生成することを、更に実行し、
前記レコメンド情報を提供するとき、前記アバター店員に、前記顧客ユーザの前記顔タイプの印象に合致した該アバター店員の表情又は／及びジェスチャーを伴った該レコメンド情報の説明を実行させる、
請求項２に記載の接客支援装置。
【請求項4】
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位を数値化することで、前記顔分析データを取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供する、
請求項１に記載の接客支援装置。
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位を数値化することで、前記顔分析データを取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供する、
請求項１に記載の接客支援装置。
【請求項5】
前記制御部は、
前記顧客ユーザに前記サービスを提供する店舗の店員から、該店舗における該サービスにおいて推奨される顔の各部位の推奨数値を取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位を前記推奨数値とする前記サービスに関する情報を提供する、
請求項４に記載の接客支援装置。
前記顧客ユーザに前記サービスを提供する店舗の店員から、該店舗における該サービスにおいて推奨される顔の各部位の推奨数値を取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位を前記推奨数値とする前記サービスに関する情報を提供する、
請求項４に記載の接客支援装置。
【請求項6】
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの顔全体について肌の色調の変化を判定することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔分析データに基づいて推定される前記顧客ユーザの顔の肌状態を改善させるための前記商品又は／及び前記サービスに関する情報を提供する、
請求項１に記載の接客支援装置。
前記顔画像データに基づいて、前記顧客ユーザの顔全体について肌の色調の変化を判定することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔分析データに基づいて推定される前記顧客ユーザの顔の肌状態を改善させるための前記商品又は／及び前記サービスに関する情報を提供する、
請求項１に記載の接客支援装置。
【請求項7】
前記制御部は、
前記顧客ユーザの顔の肌の色調が、点状に変化している部分を毛穴又はニキビと判定し、線状に変化している部分をシワと判定する、
請求項６に記載の接客支援装置。
前記顧客ユーザの顔の肌の色調が、点状に変化している部分を毛穴又はニキビと判定し、線状に変化している部分をシワと判定する、
請求項６に記載の接客支援装置。
【請求項8】
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記制御部は、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対応した前記顧客ユーザの顔画像合成データ、又は前記購買希望に対応した前記顧客ユーザのアバター顔画像データを生成することを、更に実行し、
前記レコメンド情報として、前記顧客ユーザへの前記サービスの施術を想定した場合の該施術後のイメージについて、前記顔画像合成データにおいて複数のパターンが生成されたイメージ画像情報、又は前記アバター顔画像データにおいて複数のパターンが生成されたイメージ画像情報を提供する、
請求項１に記載の接客支援装置。
前記制御部は、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対応した前記顧客ユーザの顔画像合成データ、又は前記購買希望に対応した前記顧客ユーザのアバター顔画像データを生成することを、更に実行し、
前記レコメンド情報として、前記顧客ユーザへの前記サービスの施術を想定した場合の該施術後のイメージについて、前記顔画像合成データにおいて複数のパターンが生成されたイメージ画像情報、又は前記アバター顔画像データにおいて複数のパターンが生成されたイメージ画像情報を提供する、
請求項１に記載の接客支援装置。
【請求項9】
所定の接客行為を支援するための接客支援方法であって、
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する接客支援方法。
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する接客支援方法。
【請求項10】
所定の接客行為を支援するための接客支援プログラムであって、
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させる接客支援プログラム。
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させる接客支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、所定の接客行為を支援するための接客支援装置、接客支援方法及び接客支援プログラムに関する。
【背景技術】
【0002】
美容やメイク、ファッションに関連するサービスや商品の提供を受けようとするとき、顧客は、先ず、それについての情報収集を行い、次に、自分に合うサービスや商品を選択する意思決定を行い、実際にサービスや商品の提供を受け、その後にＳＮＳ等での情報の拡散やリピートを行うという行動パターンをとる傾向にある。そして、上記の行動パターンの中で、顧客は、サロン等の店舗でアドバイスを受けながら、自分に合うサービスや商品を選択する意思決定を行うことが多い。
【0003】
一方で、専門家による診断やカウンセリングを受けるには、場所、時間、金銭的な問題があり、また、対面での長時間の診断やカウンセリングには、感染症予防の点でリスクがある。そのため、例えば、２０－３０代の女性３００人に対するアンケートでは、上述した行動パターンにおける顧客課題として、自分に合うサービスや商品を選択する意思決定を行うことが最も上位にランクされている。そこで、顧客自らが自分に合うサービスや商品をシミュレーションできる技術が開発されている。
【0004】
例えば、特許文献１には、ユーザの似顔絵データを作成し、メーカ端末からの化粧品データを用いて該似顔絵データを加工可能に構成されたユーザ端末を備え、メーカ端末が、ユーザによって加工された似顔絵データを添削、分析する化粧シミュレーションシステムが開示されている。この技術によれば、ユーザは販売店などに出向かなくても自分に合った適切な化粧方法を学習することができ、メーカはユーザに合った化粧品の宣伝を行うことができると共に、ユーザの化粧品選択の傾向を知ることができる。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００２－２２１８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
美容医療やエステサロン、ヘアサロン、又は化粧品販売などにおいて行われる接客行為では、顧客は、店舗スタッフ等から診断やカウンセリングを受けたうえで、これらに関連するサービスや商品の提供を受けているという実態がある。しかしながら、顧客は、上記の診断やカウンセリングを手軽に受けることができないことに課題を感じており、自分に合うサービスや商品の選択の意思決定について、自身で的確に判断できる技術が望まれていた。
【0007】
ここで、特許文献１に記載の技術によれば、ユーザは、自身の似顔絵データに対して、メーカ端末から提供された化粧品データを用いて加工を行うことで、化粧シミュレーションをすることができるため、メイクに関連するサービスや商品の提供を受けようとするとき、該化粧シミュレーションに基づいて、事前に自分に合うサービスや商品を選択し易くなるようにも思われる。しかしながら、この場合、ユーザは、自身で上記の化粧品データを用いて加工を行う必要があり、且つ、添削される似顔絵データもあくまでユーザ自身が加工したものであるため、店舗スタッフによる診断やカウンセリングのような客観的なレコメンドをユーザが得ることは困難である。
【0008】
本開示の目的は、所定の接客行為を好適に支援することができる技術を提供することにある。
【課題を解決するための手段】
【0009】
本開示の接客支援装置は、所定の接客行為を支援するための接客支援装置である。そして、この接客支援装置は、顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、を実行する制御部を備える。
【0010】
ここで、上記の接客行為とは、例えば、美容医療やエステサロン、ヘアサロン、又は化粧品販売において行われる接客行為である。そして、上記の接客支援装置では、顧客ユーザに対して上記のレコメンド情報が提供されることで、例えば、顧客ユーザが店舗へ来店する前段階においても、接客行為が好適に支援され得る。詳しくは、顧客ユーザは、商品やサービスの購買希望と自身の顔画像を入力するだけで、例えば、美容やメイク、ファッションに関する悩みやなりたい姿についての客観的なレコメンド情報を得ることができる。そうすると、顧客ユーザは、上記の悩みやなりたい姿についての診断やカウンセリングに準ずる情報を手軽に入手することができ、自分に合うサービスや商品の選択の意思決定をし易くなる。そうすると、例えば、顧客ユーザの店舗への来店が促進されることになり、以て、顧客ユーザが店舗へ来店する前段階においても、接客行為が支援され得る。一方、店舗のスタッフは、顧客ユーザの上記の悩みやなりたい姿についてのレコメンド情報を把握することができるため、顧客ユーザが実際に店舗へ来店した際の接客行為をより円滑に行うことができる。
【0011】
そして、上記の接客支援装置において、前記制御部は、前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱との位置関係を算出するとともに前記顧客ユーザの顔輪郭の形を分類し、該位置関係と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得してもよい。この場合、前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、前記制御部は、前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報を提供してもよい。これによれば、自身の特徴を把握したうえでそれを活かしたい顧客ユーザに対して、効果的なレコメンドを行うことができる。また、前記制御部は、前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供してもよい。これによれば、自身の特徴を把握したうえで変化を求めたい顧客ユーザに対して、効果的なレコメンドを行うことができる。更に、この場合、前記制御部は、前記商品又は／及び前記サービスを説明するための仮想店員であるアバター店員を生成することを、更に実行してもよい。そして、前記レコメンド情報を提供するとき、前記アバター店員に、前記顧客ユーザの前記顔タイプの印象に合致した該アバター店員の表情又は／及びジェスチャーを伴った該レコメンド情報の説明を実行させてもよい。これによれば、顧客ユーザが、自身の特徴に合致したアバター店員に親近感をもつことができ、以て、顧客ユーザに対して効果的なレコメンドを行うことができる。
【0012】
また、上記の接客支援装置において、前記制御部は、前記顔画像データに基づいて、前記顧客ユーザの顔の各部位を数値化することで、前記顔分析データを取得してもよい。この場合、前記購買希望は、美容医療に関する前記サービスについての購買希望であって、前記制御部は、前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供してもよい。更に、この場合、前記制御部は、前記顧客ユーザに前記サービスを提供する店舗の店員から、該店舗における該サービスにおいて推奨される顔の各部位の推奨数値を取得し、前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位を前記推奨数値とする前記サービスに関する情報を提供してもよい。
【0013】
また、上記の接客支援装置において、前記制御部は、前記顔画像データに基づいて、前記顧客ユーザの顔全体について肌の色調の変化を判定することで、前記顔分析データを取得し、前記レコメンド情報として、前記顔分析データに基づいて推定される前記顧客ユーザの顔の肌状態を改善させるための前記商品又は／及び前記サービスに関する情報を提供してもよい。更に、この場合、前記制御部は、前記顧客ユーザの顔の肌の色調が、点状に変化している部分を毛穴又はニキビと判定し、線状に変化している部分をシワと判定してもよい。
【0014】
また、上記の接客支援装置において、前記制御部は、前記問診情報及び前記顔分析データに基づいて、前記購買希望に対応した前記顧客ユーザの顔画像合成データ、又は前記購買希望に対応した前記顧客ユーザのアバター顔画像データを生成することを、更に実行してもよい。この場合、前記購買希望は、美容医療に関する前記サービスについての購買希望であって、前記制御部は、前記レコメンド情報として、前記顧客ユーザへの前記サービスの施術を想定した場合の該施術後のイメージについて、前記顔画像合成データにおいて複数のパターンが生成されたイメージ画像情報、又は前記アバター顔画像データにおいて複数のパターンが生成されたイメージ画像情報を提供してもよい。
【0015】
また、本開示は、コンピュータによる接客支援方法の側面から捉えることができる。すなわち、本開示の接客支援方法は、所定の接客行為を支援するための接客支援方法であって、コンピュータが、顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、を実行する。
【0016】
また、本開示は、接客支援プログラムの側面から捉えることができる。すなわち、本開示の接客支援プログラムは、所定の接客行為を支援するための接客支援プログラムであって、コンピュータに、顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、を実行させる。
【発明の効果】
【0017】
本開示によれば、所定の接客行為を好適に支援することができる。
【図面の簡単な説明】
【0018】
【図1】第１実施形態における接客支援システムの概略構成を示す図である。
【図2】第１実施形態における、接客支援システムに含まれるサーバの構成要素をより詳細に示すとともに、サーバと通信を行うユーザ端末の構成要素を示した図である。
【図3】第１実施形態における接客支援システムの動作の流れを例示する図である。
【図4】顔画像データを入力するために用いられるインタフェースで表示される画面を例示する図である。
【図5】サーバによって分類される、顧客ユーザの顔タイプを説明するための図である。
【図6】数値化された顧客ユーザの顔の各部位を例示する図である。
【図7】顧客ユーザに提供されるレコメンド情報を説明するための第１の図である。
【図8】顧客ユーザに提供されるレコメンド情報を説明するための第２の図である。
【図9】アバター顔画像データにおいて複数のパターンが生成されたイメージ画像情報を例示する図である。
【発明を実施するための形態】
【0019】
以下、図面に基づいて、本開示の実施の形態を説明する。以下の実施形態の構成は例示であり、本開示は実施形態の構成に限定されない。
【0020】
＜第１実施形態＞
第１実施形態における接客支援システムの概要について、図１を参照しながら説明する。図１は、本実施形態における接客支援システムの概略構成を示す図である。本実施形態に係る接客支援システム１００は、ネットワーク２００と、サーバ３００と、ユーザ端末４００と、を含んで構成される。なお、本開示の接客支援システムは、所定の接客行為を支援するためのシステムであって、該接客行為を支援するための処理がサーバ３００によって実行される。また、上記の接客行為とは、例えば、美容医療やエステサロン、ヘアサロン、又は化粧品販売において行われる接客行為である。そして、上記の接客行為の支援は、所定の商品又は／及び所定のサービスの購買を希望する顧客ユーザが、店舗へ来店する前段階においても、実行され得る。
第１実施形態における接客支援システムの概要について、図１を参照しながら説明する。図１は、本実施形態における接客支援システムの概略構成を示す図である。本実施形態に係る接客支援システム１００は、ネットワーク２００と、サーバ３００と、ユーザ端末４００と、を含んで構成される。なお、本開示の接客支援システムは、所定の接客行為を支援するためのシステムであって、該接客行為を支援するための処理がサーバ３００によって実行される。また、上記の接客行為とは、例えば、美容医療やエステサロン、ヘアサロン、又は化粧品販売において行われる接客行為である。そして、上記の接客行為の支援は、所定の商品又は／及び所定のサービスの購買を希望する顧客ユーザが、店舗へ来店する前段階においても、実行され得る。
【0021】
ネットワーク２００は、例えば、ＩＰネットワークである。ネットワーク２００は、ＩＰネットワークであれば、無線であっても有線であっても無線と有線の組み合わせであってもよく、例えば、無線による通信であれば、ユーザ端末４００は、無線ＬＡＮアクセスポイント（不図示）にアクセスし、ＬＡＮやＷＡＮを介してサーバ３００と通信してもよい。また、ネットワーク２００は、これらの例に限られず、例えば、公衆交換電話網や、光回線、ＡＤＳＬ回線、衛星通信網などであってもよい。
【0022】
サーバ３００は、ネットワーク２００を介して、ユーザ端末４００と接続される。なお、図１において、説明を簡単にするために、サーバ３００は１台、ユーザ端末４００は４台示してあるが、これらに限定されないことは言うまでもない。
【0023】
サーバ３００は、データの取得、生成、更新等の演算処理及び加工処理のための処理能力のあるコンピュータ機器であればどの様な電子機器でもよく、例えば、パーソナルコンピュータ、サーバ、メインフレーム、その他電子機器であってもよい。すなわち、サーバ３００は、ＣＰＵやＧＰＵ等のプロセッサ、ＲＡＭやＲＯＭ等の主記憶装置、ＥＰＲＯＭ、ハードディスクドライブ、リムーバブルメディア等の補助記憶装置を有するコンピュータとして構成することができる。なお、リムーバブルメディアは、例えば、ＵＳＢメモリ、あるいは、ＣＤやＤＶＤのようなディスク記録媒体であってもよい。補助記憶装置には、オペレーティングシステム（ＯＳ）、各種プログラム、各種テーブル等が格納されている。
【0024】
また、サーバ３００は、本実施形態に係る接客支援システム１００専用のソフトウェアやハードウェア、ＯＳ等を設けずに、クラウドサーバによるＳａａＳ（Software as a Service）、Ｐａａｓ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）を適宜用いてもよい。
【0025】
ユーザ端末４００は、接客支援システム１００を利用するユーザが保有する携帯端末等の電子機器であればよく、例えば、携帯端末、タブレット端末、スマートフォン、ウェアラブル端末、パーソナルコンピュータ等、その他端末機器であってもよい。
【0026】
次に、図２に基づいて、主にサーバ３００の構成要素の詳細な説明を行う。図２は、第１実施形態における、接客支援システム１００に含まれるサーバ３００の構成要素をより詳細に示すとともに、サーバ３００と通信を行うユーザ端末４００の構成要素を示した図である。
【0027】
サーバ３００は、機能部として通信部３０１、記憶部３０２、制御部３０３を有しており、補助記憶装置に格納されたプログラムを主記憶装置の作業領域にロードして実行し、プログラムの実行を通じて各機能部等が制御されることによって、各機能部における所定の目的に合致した各機能を実現することができる。ただし、一部または全部の機能はＡＳＩＣやＦＰＧＡのようなハードウェア回路によって実現されてもよい。
【0028】
ここで、通信部３０１は、サーバ３００をネットワーク２００に接続するための通信インタフェースである。通信部３０１は、例えば、ネットワークインタフェースボードや、無線通信のための無線通信回路を含んで構成される。サーバ３００は、通信部３０１を介して、ユーザ端末４００やその他の外部装置と通信可能に接続される。
【0029】
記憶部３０２は、主記憶装置と補助記憶装置を含んで構成される。主記憶装置は、制御部３０３によって実行されるプログラムや、当該制御プログラムが利用するデータが展開されるメモリである。補助記憶装置は、制御部３０３において実行されるプログラムや、当該制御プログラムが利用するデータが記憶される装置である。記憶部３０２には、後述する事前学習モデルが予め記憶される。また、記憶部３０２は、ユーザ端末４００等から送信されたデータを記憶し、記憶部３０２には、後述する問診情報や顔画像データが記憶され得る。なお、サーバ３００は、通信部３０１を介してユーザ端末４００等から送信されたデータを取得することができる。
【0030】
制御部３０３は、サーバ３００が行う制御を司る機能部である。制御部３０３は、ＣＰＵなどの演算処理装置によって実現することができる。制御部３０３は、更に、取得部３０３１と、学習部３０３２と、分析部３０３３と、提供部３０３４と、の４つの機能部を有して構成される。各機能部は、記憶されたプログラムをＣＰＵによって実行することで実現してもよい。
【0031】
取得部３０３１は、顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得する。ここで、上記の問診情報は、美容やメイク、ファッションに関する、顧客ユーザの悩みやなりたい姿、提供を受けたいサービスや商品についての相談等を含んだ来店目的や、顧客ユーザの現在の身体的状態の情報等からなる事前カルテである。また、取得部３０３１は、顧客ユーザの顔が撮影された顔画像データを取得する。取得部３０３１は、ユーザ端末４００から送信された情報を取得することで、上記の問診情報や顔画像データを取得することができる。
【0032】
ここで、本実施形態におけるユーザ端末４００は、機能部として通信部４０１、入出力部４０２、記憶部４０３を有している。通信部４０１は、ユーザ端末４００をネットワーク２００に接続するための通信インタフェースであり、例えば、ネットワークインタフェースボードや、無線通信のための無線通信回路を含んで構成される。入出力部４０２は、通信部４０１を介して外部から送信されてきた情報等を表示させたり、通信部４０１を介して外部に情報を送信する際に当該情報を入力したりするための機能部である。記憶部４０３は、サーバ３００の記憶部３０２と同様に主記憶装置と補助記憶装置を含んで構成される。
【0033】
入出力部４０２は、更に、表示部４０２１、操作入力部４０２２、画像・音声入出力部４０２３を有している。表示部４０２１は、各種情報を表示する機能を有し、例えば、ＬＣＤ（Liquid Crystal Display）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等により実現される。操作入力部４０２２は、ユーザからの操作入力を受け付ける機能を有し、具体的には、タッチパネル等のソフトキーあるいはハードキーにより実現される。画像・音声入出力部４０２３は、静止画や動画等の画像の入力を受け付ける機能を有し、具体的には、Charged-Coupled Devices（ＣＣＤ）、Metal-oxide-semiconductor（ＭＯＳ）あるいはComplementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等のイメージセンサを用いたカメラにより実現される。また、画像・音声入出力部４０２３は、音声の入出力を受け付ける機能を有し、具体的には、マイクやスピーカーにより実現される。
【0034】
そうすると、顧客ユーザは、このように構成されたユーザ端末４００を用いて、上記の問診情報や顔画像データをサーバ３００に送信することができる。ここで、サーバ３００は、問診情報や顔画像データを入力するためのインタフェースをユーザ端末４００に提供してもよい。そうすると、顧客ユーザは、ユーザ端末４００を介して上記のインタフェースに情報を入力することで、問診情報や顔画像データをサーバ３００に送信することができる。
【0035】
学習部３０３２は、後述する分析部３０３３による処理に用いられる事前学習モデルを構築する機能部である。本実施形態では、事前学習モデルとして、ディープラーニングにより生成されるニューラルネットワークモデルを用いる。本実施形態における事前学習モデルは、顔画像データの入力を受け付ける入力層と、入力層に入力された該顔画像データから特徴量を抽出する中間層（隠れ層）と、特徴量に基づく識別結果を出力する出力層とを有する。このような事前学習モデルは、例えば、複数の人物の顔画像と、顔の特徴（顔の各部位の特徴点や、ニキビ・シワ・シミ・毛穴などの肌状態等）の分類ラベルと、の組みである教師データを用いて教師あり学習を行うことで構築される。具体的には、特徴量とラベルとの組みをニューラルネットワークに与え、ニューラルネットワークの出力がラベルと同じとなるように、ニューロン同士の結合の重みがチューニングされる。このようにして、教師データの特徴を学習し、入力から結果を推定するための事前学習モデルが帰納的に獲得される。
【0036】
そして、このような事前学習モデルを用いることで、例えば、顧客ユーザの顔の各部位の特徴点等を識別することができる。また、例えば、顧客ユーザの顔の肌状態等を識別することができる。
【0037】
分析部３０３３は、上記の事前学習モデルに上記の顔画像データを入力することで、顧客ユーザの顔分析データを取得する。そして、提供部３０３４は、例えば、顧客ユーザが店舗へ来店する前に、上記の問診情報及び上記の顔分析データに基づいて、顧客ユーザの商品やサービスの購買希望に対する所定のレコメンド情報を該顧客ユーザに提供する。なお、分析部３０３３および提供部３０３４が実行する処理の詳細は、後述する図３に基づいて説明する。
【0038】
なお、制御部３０３が、取得部３０３１、学習部３０３２、分析部３０３３、および提供部３０３４の処理を実行することで、本開示に係る制御部として機能する。
【0039】
ここで、本実施形態における接客支援システム１００の動作の流れについて説明する。図３は、本実施形態における接客支援システム１００の動作の流れを例示する図である。図３では、本実施形態における接客支援システム１００におけるサーバ３００とユーザ端末４００との間の動作の流れ、およびサーバ３００とユーザ端末４００とが実行する処理を説明する。
【0040】
本実施形態では、先ず、顧客ユーザのユーザ端末４００に、問診情報が入力される（Ｓ１０１）。ここで、問診情報は、上述したように、美容やメイク、ファッションに関する、顧客ユーザの悩みやなりたい姿、提供を受けたいサービスや商品についての相談等の来店目的、商品やサービスの購買希望を含んだ情報である。顧客ユーザは、例えば、ユーザ端末４００に予めインストールされた所定のアプリによって提供されるインタフェース、または所定のウェブサイトによって提供されるインタフェースを介して、問診情報を入力することができる。そして、入力された問診情報は、サーバ３００に送信される。そうすると、顧客ユーザは、美容やメイク、ファッションに関する悩みやなりたい姿、提供を受けたいサービスや商品についての相談等の情報をサーバ３００に送信することができる。
【0041】
サーバ３００は、ユーザ端末４００から送信された情報を取得し（Ｓ１０２）、取得した問診情報を記憶部３０２に格納する。そして、サーバ３００は、顔画像の撮影案内をユーザ端末４００に送信する（Ｓ１０３）。そうすると、ユーザ端末４００が情報を取得し（Ｓ１０４）、顧客ユーザは、サーバ３００から送信されたインタフェースを介して、顔画像データを入力することができる（Ｓ１０５）。なお、サーバ３００の記憶部３０２に格納された問診情報は、顧客ユーザが来店する予定の店舗のスタッフのユーザ端末４００からアクセス可能にされ得る。
【0042】
ここで、図４は、顔画像データを入力するために用いられるインタフェースで表示される画面を例示する図である。図４に例示する画面ＳＣ１は顧客ユーザのユーザ端末４００の表示部４０２１に表示され、図４に例示する画面ＳＣ１には、顔画像の撮影案内ＳＣ１１、顔画像の撮影フィールドＳＣ１２、シャッターボタンＳＣ１３が示される。顧客ユーザは、ユーザ端末４００のカメラを用いて、自身の顔画像を顔画像の撮影フィールドＳＣ１２に合わせてシャッターボタンＳＣ１３を押下することで、顔画像データを入力し且つそれをサーバ３００に送信することができる。
【0043】
サーバ３００は、ユーザ端末４００から送信された情報を取得し（Ｓ１０６）、取得した顔画像データを記憶部３０２に格納する。そして、サーバ３００は、事前学習モデルを呼出す処理を実行する（Ｓ１０７）。ここで、事前学習モデルは、上記の顔画像データを分析するために用いられる機械学習モデルであって、学習部３０３２によって、所定の教師データを用いて学習を行うことにより事前に構築される。なお、サーバ３００の記憶部３０２に格納された顔画像データは、顧客ユーザが来店する予定の店舗のスタッフのユーザ端末４００からアクセス可能にされ得る。
【0044】
そして、サーバ３００は、上記の事前学習モデルに顔画像データを入力することで、顔分析データを生成する（Ｓ１０８）。
【0045】
ここで、本実施形態における顔分析データは、例えば、顧客ユーザの顔タイプである。この場合、サーバ３００は、顔画像データに基づいて、顧客ユーザの両目の中心と鼻柱との位置関係を算出する。また、サーバ３００は、顔画像データに基づいて、顧客ユーザの顔輪郭の形を分類する。そして、上記の位置関係と上記の顔輪郭の形とに基づいて、顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類する。
【0046】
図５は、サーバ３００によって分類される、顧客ユーザの顔タイプを説明するための図である。そして、図５（ａ）は、顧客ユーザの両目の中心と鼻柱との位置関係を説明するための図であって、図５（ｂ）は、顧客ユーザの顔輪郭の形を説明するための図であって、図５（ｃ）は、上記の位置関係と上記の顔輪郭の形とに基づいて分類される顧客ユーザの顔タイプを説明するための図である。
【0047】
サーバ３００は、先ず、上記の位置関係として、図５（ａ）に示す鼻中心逆三角角度を算出する。ここで、鼻中心逆三角角度は、顧客ユーザの両目の黒目の中心と鼻柱とを結んだ三角形において、鼻柱を頂点とした逆三角形の頂角であって、サーバ３００は、上記の事前学習モデルに顔画像データを入力することで識別された顧客ユーザの両目の黒目の中心及び鼻柱の位置に基づいて、鼻中心逆三角角度を算出することができる。
【0048】
サーバ３００は、次に、図５（ｂ）に示すように、顧客ユーザの顔輪郭の形を分類する。ここで、サーバ３００は、上記の事前学習モデルに顔画像データを入力することで識別された顔の輪郭の特徴点に基づいて、顧客ユーザの顔輪郭を、ベース顔、又は逆三角、又は面長、又は卵顔、又は丸顔に分類し得る。このとき、サーバ３００は、例えば、上記の特徴点を結んで線分を生成し、隣の線同士の角度を比較し、その変化率をトラッキングすることで、顧客ユーザの顔輪郭を上記に分類することができる。更に、サーバ３００は、ベース顔のように多くの直線で構成されている顔輪郭を直線的な顔輪郭の形と分類し、丸顔のように多くの曲線で構成されている顔輪郭を曲線的な顔輪郭の形と分類し、面長の顔輪郭を中立な顔輪郭の形と分類する。また、サーバ３００は、逆三角の顔輪郭をやや直線的な顔輪郭の形と分類し、卵顔の顔輪郭をやや曲線的な顔輪郭の形と分類する。
【0049】
そして、上述した鼻中心逆三角角度と顔輪郭の形分類とに基づいて、サーバ３００は、顧客ユーザの顔タイプを第１タイプから第４タイプに分類する。詳しくは、図５（ｃ）に示すように、鼻中心逆三角角度が６０°より大きく、且つ顔輪郭の形分類が直線的又はやや直線的な顔を第１タイプに分類し、鼻中心逆三角角度が６０°より大きく、且つ顔輪郭の形分類が曲線的又はやや曲線的な顔を第２タイプに分類する。また、鼻中心逆三角角度が６０°より小さく、且つ顔輪郭の形分類が直線的又はやや直線的な顔を第３タイプに分類し、鼻中心逆三角角度が６０°より小さく、且つ顔輪郭の形分類が曲線的又はやや曲線的な顔を第４タイプに分類する。
【0050】
このようにして、サーバ３００は、顔分析データを生成することができる。なお、本実施形態における顔分析データは、例えば、顧客ユーザの顔の各部位に対する定量化された数値や、顧客ユーザの顔の肌状態に対する定量化された数値であってもよい。
【0051】
ここで、図６は、数値化された顧客ユーザの顔の各部位を例示する図である。図６に示す例では、フォルムの定量化として、上述した鼻中心逆三角角度、顔の横幅比、顔の縦幅比が表され、肌状態の定量化として、肌全体のコンディションの評価値、毛穴のコンディションの評価値、シワのコンディションの評価値が表される。
【0052】
サーバ３００は、上記の事前学習モデルに顔画像データを入力することで識別された顧客ユーザの各部位の位置情報に基づいて、鼻中心逆三角角度、顔の横幅比、顔の縦幅比を算出することができる。なお、顔の横幅比は、左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率であって、顔の縦幅比は、眉頭の下から鼻の下までの縦方向の長さと、鼻の下から顎先までの縦方向の長さと、の比率である。
【0053】
また、サーバ３００は、上記の事前学習モデルに顔画像データを入力することで識別されたニキビ・シワ・シミ・毛穴の数、シワの位置、毛穴の位置に基づいて、顧客ユーザの顔の肌状態を、例えば、ランク付けにより数値化することができる。このとき、サーバ３００は、顧客ユーザの顔全体について肌の色調の変化を判定することで、該顧客ユーザの顔の肌状態を分析することができる。詳しくは、サーバ３００は、顧客ユーザの顔の肌の色調が、点状に変化している部分を毛穴又はニキビと判定し、線状に変化している部分をシワと判定することで、ニキビ・シワ・シミ・毛穴の数、シワの位置、毛穴の位置を算出することができる。
【0054】
そして、図３に戻って、サーバ３００は、Ｓ１０２の処理で取得した問診情報と、Ｓ１０８の処理で生成した顔分析データと、に基づいて、レコメンド情報を生成する（Ｓ１０９）。ここで、レコメンド情報とは、顧客ユーザの商品やサービスの購買希望に応えるための情報であって、例えば、美容やメイク、ファッションに関する悩みやなりたい姿について、顧客ユーザの顔分析データに基づいて推奨される、化粧品又は美容品又は服飾品に関する情報や、美容又は理容の施術に関する情報、美容医療の施術に関する情報である。そして、サーバ３００は、生成したレコメンド情報を顧客ユーザのユーザ端末４００に送信することで、該レコメンド情報を該顧客ユーザに提供する。そして、顧客ユーザのユーザ端末４００は、サーバ３００から送信された情報を取得する（Ｓ１１０）。なお、サーバ３００は、上記のレコメンド情報を、顧客ユーザが来店する予定の店舗のスタッフのユーザ端末４００にも送信することができる。
【0055】
ここで、図７は、顧客ユーザに提供されるレコメンド情報を説明するための第１の図である。なお、図７に示す例は、顧客ユーザの希望が、化粧品又は美容品又は服飾品を含んだ所定の商品を購入すること、又は、美容又は理容に関する所定の施術の提供を受けることであって、上記の顔分析データとして、分類化された顧客ユーザの顔タイプが取得される場合におけるレコメンド情報である。
【0056】
図７（ａ）に示すように、顔タイプは、その分類によって印象が特徴づけられる。例えば、第１タイプの顔は、クリアな印象であって、第２タイプの顔は、ハニーな印象であって、第３タイプの顔は、スタイリッシュな印象であって、第４タイプの顔は、セクシーな印象である。そうすると、サーバ３００は、このような顔タイプの印象に合致した商品又は施術に関する情報を、レコメンド情報として顧客ユーザに提供することができる。この場合、図７（ｂ）に示すように、第１タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、透明感ある爽やかな顔の印象を引き立てるファンデーションに関する情報が提供される。また、第２タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、可愛らしい子どもっぽい顔の印象を引き立てるチークに関する情報が提供され、第３タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、洗練された大人っぽい顔の印象を引き立てる目元メイクに関する情報が提供され、第４タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、女性らしいセクシー顔の印象を引き立てる口元メイクに関する情報が提供される。これによれば、自身の特徴を把握したうえでそれを活かしたい顧客ユーザに対して、効果的なレコメンドを行うことができる。
【0057】
または、サーバ３００は、上述した顔タイプの印象とは真逆の印象に合致した商品又は施術に関する情報を、レコメンド情報として顧客ユーザに提供してもよい。この場合、図７（ｃ）に示すように、第１タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、女性らしいセクシー顔の印象を引き立てる口元メイクに関する情報が提供される。また、第２タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、洗練された大人っぽい顔の印象を引き立てる目元メイクに関する情報が提供され、第３タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、可愛らしい子どもっぽい顔の印象を引き立てるチークに関する情報が提供され、第４タイプの顔の顧客ユーザに対しては、レコメンド情報として、例えば、透明感ある爽やかな顔の印象を引き立てるファンデーションに関する情報が提供される。これによれば、自身の特徴を把握したうえで変化を求めたい顧客ユーザに対して、効果的なレコメンドを行うことができる。
【0058】
なお、サーバ３００は、以上に述べたようなレコメンド情報を生成するときに、更に、顧客ユーザが来店する予定の店舗のスタッフのユーザ端末４００から、該顧客ユーザの購買希望に応じる付加情報を取得し、上記の問診情報と上記の顔分析データと該付加情報とに基づいて、レコメンド情報を生成してもよい。ここで、上記の付加情報は、店舗が有するノウハウに関する情報や、該店舗が所在する地域における流行に関する情報等である。この場合、サーバ３００は、例えば、上記の第１タイプの顔を有しそれを活かしたい顧客ユーザに対して、透明感ある爽やかな顔の印象を引き立てるファンデーションに関するレコメンド情報を生成するだけでなく、店舗の地域流行性を加味して、例えば、該店舗が所在する地域において可愛らしいファッションが流行している場合、可愛らしい子どもっぽい顔の印象を引き立てるチークに関する情報も併せてレコメンド情報を生成し、それを顧客ユーザに提供することができる。これによれば、顧客ユーザが来店を希望する店舗の特色を活かしたレコメンドを行うことができ、以て、店舗の接客支援をより好適に実施することができる。
【0059】
また、サーバ３００は、以上に述べたようなレコメンド情報を提供するときに、アバター店員に該レコメンド情報の説明を実行させてもよい。ここで、上記のアバター店員は、商品又は／及びサービスを説明するための仮想店員であって、サーバ３００によって生成され得る。そして、この場合、サーバ３００は、顧客ユーザの顔タイプの印象に基づいて、アバター店員の表情又は／及びジェスチャーを操作することができる。詳しくは、サーバ３００は、アバター店員の表情又は／及びジェスチャーが、顧客ユーザの顔タイプの印象に合致するように操作し得る。例えば、サーバ３００は、顧客ユーザの顔タイプがハニーな印象をもつ第２タイプの場合、アバター店員の表情又は／及びジェスチャーがこのハニーな印象に合致するように、例えば、アバター店員を可愛らしい子どもっぽい表情又は／及びジェスチャーに操作する。そして、サーバ３００は、アバター店員に、このような表情又は／及びジェスチャーを伴ったレコメンド情報の説明を実行させる。これによれば、顧客ユーザが、自身の特徴に合致したアバター店員に親近感をもつことができ、以て、顧客ユーザに対して効果的なレコメンドを行うことができる。
【0060】
更に、この場合、アバター店員は、顧客ユーザの顔タイプに基づく占い情報を併せて、上記のレコメンド情報を提供してもよい。例えば、第２タイプの顔の顧客ユーザに対しては、顔の形に基づく人相占い情報として、優しく感情で動く人であるという情報を併せて提供してもい。これによれば、顧客ユーザが、アバター店員により親近感をもつことができる。また、このとき、カードがランダムに選択され得るタロット占いの情報を含めて、レコメンド情報を提供してもよい。そうすると、占い情報に基づく、その日のラッキーコスメやファッション、アイテム等も併せてレコメンドを行うことができる。
【0061】
また、図８は、顧客ユーザに提供されるレコメンド情報を説明するための第２の図である。なお、図８に示す例は、顧客ユーザの購買希望が、美容医療に関するサービスについての購買希望であって、上記の顔分析データとして、顧客ユーザの顔の各部位の数値が取得される場合におけるレコメンド情報である。
【0062】
サーバ３００は、顧客ユーザの顔における、顔輪郭／縦横比、顔縦幅比、顔横幅比、眉輪郭／角度／眉山位置、目輪郭／角度／縦横比、鼻輪郭、口輪郭、顔印象、鼻下角度、Ｅライン、顎下角度等の各数値に基づいて、レコメンド情報を生成することができる。
【0063】
詳しくは、サーバ３００は、レコメンド情報として、数値化された顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする施術に関する情報を提供することができる。例えば、上述した顔の横幅比は、左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率が、おおよそ、１：１：１：１：１の場合、人に最も美感を与えることができる。そこで、サーバ３００は、顔の横幅比が上記の黄金比となるように、例えば、目頭・目尻切開の施術に関する情報をレコメンド情報として提供することができる。また、例えば、上述した顔の縦幅比は、眉頭の下から鼻の下までの縦方向の長さと、鼻の下から顎先までの縦方向の長さと、の比率が、おおよそ、１：１の場合、人に最も美感を与えることができる。そこで、サーバ３００は、顔の縦幅比が上記の黄金比となるように、例えば、人中短縮の施術に関する情報をレコメンド情報として提供することができる。
【0064】
更に、サーバ３００は、例えば、目輪郭／角度／縦横比の数値に基づいて、目頭・目尻切開の施術に関する情報をレコメンド情報として提供してもよいし、例えば、鼻下角度の数値に基づいて、鼻先形成の施術に関する情報をレコメンド情報として提供してもよい。この場合、サーバ３００は、顧客ユーザにこれらサービスの施術を提供する店舗の店員から、該店舗における該サービスにおいて推奨される顔の各部位の推奨数値を取得し、レコメンド情報として、数値化された顧客ユーザの顔の各部位をこの推奨数値とするサービスに関する情報を提供してもよい。
【0065】
また、サーバ３００は、上記の図６に示した顧客ユーザの顔の肌状態について、例えば、ランクが低い項目の肌状態を改善させるための商品又は／及びサービスに関する情報を、レコメンド情報として提供してもよい。
【0066】
そして、図３に戻って、サーバ３００は、店舗への来店予約の案内をユーザ端末４００に送信する（Ｓ１１１）。そうすると、ユーザ端末４００が情報を取得し（Ｓ１１２）、顧客ユーザは、サーバ３００から送信されたインタフェースを介して、予約情報を入力することができる（Ｓ１１３）。そして、サーバ３００が、ユーザ端末４００から送信された予約情報を取得する（Ｓ１１４）。
【0067】
そして、このような一連の処理によれば、顧客ユーザは、商品やサービスの購買希望と自身の顔画像を入力するだけで、店舗へ実際に来店する前に、例えば、美容やメイク、ファッションに関する悩みやなりたい姿についての客観的なレコメンド情報を得ることができる。そうすると、顧客ユーザは、上記の悩みやなりたい姿についての診断やカウンセリングに準ずる情報を手軽に入手することができ、自分に合うサービスや商品の選択の意思決定をし易くなる。これにより、結果として、顧客ユーザの店舗への来店が促進されることになり、以て、顧客ユーザが店舗へ来店する前段階から接客行為が支援され得る。一方、店舗のスタッフは、顧客ユーザの上記の悩みやなりたい姿についてのレコメンド情報を把握することができるため、顧客ユーザが実際に店舗へ来店した際の接客行為をより円滑に行うことができる。
【0068】
以上に述べた接客支援システム１００によれば、所定の接客行為を好適に支援することができる。
【0069】
＜第２実施形態＞
第２実施形態について、図９に基づいて説明する。本実施形態では、サーバ３００は、第１実施形態の説明で述べた問診情報及び顔分析データに基づいて、購買希望に対応した顧客ユーザの顔画像合成データ、又は購買希望に対応した顧客ユーザのアバター顔画像データを生成することを、更に実行する。ここで、上記の購買希望は、例えば、鼻筋整形に関するサービスの施術を受けることであって、この場合、サーバ３００は、上記の顔画像合成データとして、顧客ユーザの顔画像データに対して鼻筋部分を他の画像と合成可能に構成された画像データを生成する。または、サーバ３００は、上記のアバター顔画像データとして、顧客ユーザの顔の特徴を模したアバター画像であって、鼻筋部分を変形可能に構成された画像データを生成する。
第２実施形態について、図９に基づいて説明する。本実施形態では、サーバ３００は、第１実施形態の説明で述べた問診情報及び顔分析データに基づいて、購買希望に対応した顧客ユーザの顔画像合成データ、又は購買希望に対応した顧客ユーザのアバター顔画像データを生成することを、更に実行する。ここで、上記の購買希望は、例えば、鼻筋整形に関するサービスの施術を受けることであって、この場合、サーバ３００は、上記の顔画像合成データとして、顧客ユーザの顔画像データに対して鼻筋部分を他の画像と合成可能に構成された画像データを生成する。または、サーバ３００は、上記のアバター顔画像データとして、顧客ユーザの顔の特徴を模したアバター画像であって、鼻筋部分を変形可能に構成された画像データを生成する。
【0070】
そして、サーバ３００は、レコメンド情報として、顧客ユーザへの上記サービスの施術を想定した場合の該施術後のイメージについて、上記の顔画像合成データにおいて複数のパターンが生成されたイメージ画像情報、又は上記のアバター顔画像データにおいて複数のパターンが生成されたイメージ画像情報を提供する。これについて、図９に基づいて説明する。
【0071】
図９は、アバター顔画像データにおいて複数のパターンが生成されたイメージ画像情報を例示する図である。ここで、図９に示す例は、顧客ユーザへの鼻筋整形に関するサービスの施術を想定した場合の該施術後のイメージを表すものであって、顧客ユーザの顔の特徴を模した６つのアバター画像において、鼻筋整形の異なるパターンが６つ生成されたイメージ画像である。このとき、サーバ３００は、鼻筋の高さが異なる複数のパターンのイメージ画像情報を生成してもよいし、施術の術式の違いによる複数のパターンのイメージ画像情報を生成してもよい。また、イメージ画像情報が、上述した顔画像合成データの場合も同様である。
【0072】
そうすると、顧客ユーザは、施術後のイメージについて、視覚的により的確に把握することができるため、複数のパターンの中から自分に合う施術についての意思決定をし易くなる。なお、サーバ３００は、顧客ユーザが画像を微修正できるように、上記のイメージ画像情報を生成してもよい。
【0073】
そして、以上に述べた接客支援システム１００によっても、所定の接客行為を好適に支援することができる。
【0074】
＜その他の変形例＞
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
上記の実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。例えば、本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【0075】
また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。例えば、学習部３０３２をサーバ３００とは別の演算処理装置に形成してもよい。このとき当該別の演算処理装置はサーバ３００と好適に協働可能に構成される。また、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成（サーバ構成）によって実現するかは柔軟に変更可能である。
【0076】
本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク・ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。
【符号の説明】
【0077】
１００・・・接客支援システム
２００・・・ネットワーク
３００・・・サーバ
３０１・・・通信部
３０２・・・記憶部
３０３・・・制御部
４００・・・ユーザ端末
２００・・・ネットワーク
３００・・・サーバ
３０１・・・通信部
３０２・・・記憶部
３０３・・・制御部
４００・・・ユーザ端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【手続補正書】
【提出日】2023-07-28
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
所定の接客行為を支援するための接客支援装置であって、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線から前記顧客ユーザの顔輪郭の形を分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援装置。
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線から前記顧客ユーザの顔輪郭の形を分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援装置。
【請求項2】
前記制御部は、
前記商品又は／及び前記サービスを説明するための仮想店員であるアバター店員を生成することを、更に実行し、
前記レコメンド情報を提供するとき、前記アバター店員に、前記顧客ユーザの前記顔タイプの印象に合致した該アバター店員の表情又は／及びジェスチャーであって、前記顧客ユーザの前記顔タイプの印象が前記第１タイプの場合はクリアな印象に、前記顧客ユーザの前記顔タイプの印象が前記第２タイプの場合はハニーな印象に、前記顧客ユーザの前記顔タイプの印象が前記第３タイプの場合はスタイリッシュな印象に、前記顧客ユーザの前記顔タイプの印象が前記第４タイプの場合はセクシーな印象に合致した該アバター店員の表情又は／及びジェスチャーを伴った該レコメンド情報の説明を実行させる、
請求項１に記載の接客支援装置。
前記商品又は／及び前記サービスを説明するための仮想店員であるアバター店員を生成することを、更に実行し、
前記レコメンド情報を提供するとき、前記アバター店員に、前記顧客ユーザの前記顔タイプの印象に合致した該アバター店員の表情又は／及びジェスチャーであって、前記顧客ユーザの前記顔タイプの印象が前記第１タイプの場合はクリアな印象に、前記顧客ユーザの前記顔タイプの印象が前記第２タイプの場合はハニーな印象に、前記顧客ユーザの前記顔タイプの印象が前記第３タイプの場合はスタイリッシュな印象に、前記顧客ユーザの前記顔タイプの印象が前記第４タイプの場合はセクシーな印象に合致した該アバター店員の表情又は／及びジェスチャーを伴った該レコメンド情報の説明を実行させる、
請求項１に記載の接客支援装置。
【請求項3】
所定の接客行為を支援するための接客支援装置であって、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位について、該顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度と、該顧客ユーザの左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率である顔の横幅比と、該顧客ユーザの眉頭の下から鼻の下までの縦方向の長さと鼻の下から顎先までの縦方向の長さとの比率である顔の縦幅比と、を数値化することで、前記顔分析データを取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供する、
接客支援装置。
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位について、該顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度と、該顧客ユーザの左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率である顔の横幅比と、該顧客ユーザの眉頭の下から鼻の下までの縦方向の長さと鼻の下から顎先までの縦方向の長さとの比率である顔の縦幅比と、を数値化することで、前記顔分析データを取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供する、
接客支援装置。
【請求項4】
前記制御部は、
前記顧客ユーザに前記サービスを提供する店舗の店員から、該店舗における該サービスにおいて推奨される顔の各部位の推奨数値を取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位を前記推奨数値とする前記サービスに関する情報を提供する、
請求項３に記載の接客支援装置。
前記顧客ユーザに前記サービスを提供する店舗の店員から、該店舗における該サービスにおいて推奨される顔の各部位の推奨数値を取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位を前記推奨数値とする前記サービスに関する情報を提供する、
請求項３に記載の接客支援装置。
【請求項5】
所定の接客行為を支援するための接客支援装置であって、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの顔全体について肌の色調の変化を判定することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔分析データに基づいて推定される前記顧客ユーザの顔の肌状態を改善させるための前記商品又は／及び前記サービスに関する情報を提供し、
前記顧客ユーザの顔の肌の色調が、点状に変化している部分を毛穴又はニキビと判定し、線状に変化している部分をシワと判定する、
接客支援装置。
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの顔全体について肌の色調の変化を判定することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔分析データに基づいて推定される前記顧客ユーザの顔の肌状態を改善させるための前記商品又は／及び前記サービスに関する情報を提供し、
前記顧客ユーザの顔の肌の色調が、点状に変化している部分を毛穴又はニキビと判定し、線状に変化している部分をシワと判定する、
接客支援装置。
【請求項6】
所定の接客行為を支援するための接客支援装置であって、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記制御部は、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対応した前記顧客ユーザの顔画像合成データ、又は前記購買希望に対応した前記顧客ユーザのアバター顔画像データを生成することを、更に実行し、
前記レコメンド情報として、前記顧客ユーザへの前記サービスの施術を想定した場合の該施術後のイメージについて、前記顔画像合成データにおいて該施術の術式の違いによる複数のパターンが生成されたイメージ画像情報、又は前記アバター顔画像データにおいて該施術の術式の違いによる複数のパターンが生成されたイメージ画像情報を提供する、
接客支援装置。
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記制御部は、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対応した前記顧客ユーザの顔画像合成データ、又は前記購買希望に対応した前記顧客ユーザのアバター顔画像データを生成することを、更に実行し、
前記レコメンド情報として、前記顧客ユーザへの前記サービスの施術を想定した場合の該施術後のイメージについて、前記顔画像合成データにおいて該施術の術式の違いによる複数のパターンが生成されたイメージ画像情報、又は前記アバター顔画像データにおいて該施術の術式の違いによる複数のパターンが生成されたイメージ画像情報を提供する、
接客支援装置。
【請求項7】
所定の接客行為を支援するための接客支援方法であって、
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行し、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータは、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線から前記顧客ユーザの顔輪郭の形を分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援方法。
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行し、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータは、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線から前記顧客ユーザの顔輪郭の形を分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援方法。
【請求項8】
所定の接客行為を支援するための接客支援方法であって、
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行し、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記コンピュータは、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位について、該顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度と、該顧客ユーザの左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率である顔の横幅比と、該顧客ユーザの眉頭の下から鼻の下までの縦方向の長さと鼻の下から顎先までの縦方向の長さとの比率である顔の縦幅比と、を数値化することで、前記顔分析データを取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供する、
接客支援方法。
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行し、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記コンピュータは、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位について、該顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度と、該顧客ユーザの左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率である顔の横幅比と、該顧客ユーザの眉頭の下から鼻の下までの縦方向の長さと鼻の下から顎先までの縦方向の長さとの比率である顔の縦幅比と、を数値化することで、前記顔分析データを取得し、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供する、
接客支援方法。
【請求項9】
所定の接客行為を支援するための接客支援プログラムであって、
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させ、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータに、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線から前記顧客ユーザの顔輪郭の形を分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得させ、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供させる、
接客支援プログラム。
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させ、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータに、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線から前記顧客ユーザの顔輪郭の形を分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、穏やか且つ直線的な第１タイプ、又は穏やか且つ曲線的な第２タイプ、又は鋭く且つ直線的な第３タイプ、又は鋭く且つ曲線的な第４タイプに分類することで、前記顔分析データを取得させ、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供させる、
接客支援プログラム。
【請求項10】
所定の接客行為を支援するための接客支援プログラムであって、
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させ、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記コンピュータに、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位について、該顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度と、該顧客ユーザの左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率である顔の横幅比と、該顧客ユーザの眉頭の下から鼻の下までの縦方向の長さと鼻の下から顎先までの縦方向の長さとの比率である顔の縦幅比と、を数値化することで、前記顔分析データを取得させ、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供させる、
接客支援プログラム。
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させ、
前記購買希望は、美容医療に関する前記サービスについての購買希望であって、
前記コンピュータに、
前記顔画像データに基づいて、前記顧客ユーザの顔の各部位について、該顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度と、該顧客ユーザの左右のこめかみから、目尻、目頭のポイントで、顔を横方向に５等分したときの比率である顔の横幅比と、該顧客ユーザの眉頭の下から鼻の下までの縦方向の長さと鼻の下から顎先までの縦方向の長さとの比率である顔の縦幅比と、を数値化することで、前記顔分析データを取得させ、
前記レコメンド情報として、数値化された前記顧客ユーザの顔の各部位の比率を人に最も美感を与える所定の黄金比とする前記サービスに関する情報を提供させる、
接客支援プログラム。
【手続補正書】
【提出日】2024-01-03
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
所定の接客行為を支援するための接客支援装置であって、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線分の変化率をトラッキングすることで前記顧客ユーザの顔輪郭の形を、多くの直線で構成されている顔輪郭を直線的な顔輪郭の形に、多くの曲線で構成されている顔輪郭を曲線的な顔輪郭の形に分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が直線的な顔を第１タイプ、又は該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が曲線的な顔を第２タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が直線的な顔を第３タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が曲線的な顔を第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援装置。
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行する制御部を備え、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記制御部は、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線分の変化率をトラッキングすることで前記顧客ユーザの顔輪郭の形を、多くの直線で構成されている顔輪郭を直線的な顔輪郭の形に、多くの曲線で構成されている顔輪郭を曲線的な顔輪郭の形に分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が直線的な顔を第１タイプ、又は該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が曲線的な顔を第２タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が直線的な顔を第３タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が曲線的な顔を第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援装置。
【請求項2】
前記制御部は、
前記レコメンド情報として、
前記第１タイプの顔の前記顧客ユーザに対して透明感ある爽やかな顔の印象を引き立てる情報を、前記第２タイプの顔の前記顧客ユーザに対して可愛らしい子どもっぽい顔の印象を引き立てる情報を、前記第３タイプの顔の前記顧客ユーザに対して洗練された大人っぽい顔の印象を引き立てる情報を、前記第４タイプの顔の前記顧客ユーザに対して女性らしいセクシー顔の印象を引き立てる情報を、
又は、
前記第１タイプの顔の前記顧客ユーザに対して女性らしいセクシー顔の印象を引き立てる情報を、前記第２タイプの顔の前記顧客ユーザに対して洗練された大人っぽい顔の印象を引き立てる情報を、前記第３タイプの顔の前記顧客ユーザに対して可愛らしい子どもっぽい顔の印象を引き立てる情報を、前記第４タイプの顔の前記顧客ユーザに対して透明感ある爽やかな顔の印象を引き立てる情報を提供する、
請求項１に記載の接客支援装置。
前記レコメンド情報として、
前記第１タイプの顔の前記顧客ユーザに対して透明感ある爽やかな顔の印象を引き立てる情報を、前記第２タイプの顔の前記顧客ユーザに対して可愛らしい子どもっぽい顔の印象を引き立てる情報を、前記第３タイプの顔の前記顧客ユーザに対して洗練された大人っぽい顔の印象を引き立てる情報を、前記第４タイプの顔の前記顧客ユーザに対して女性らしいセクシー顔の印象を引き立てる情報を、
又は、
前記第１タイプの顔の前記顧客ユーザに対して女性らしいセクシー顔の印象を引き立てる情報を、前記第２タイプの顔の前記顧客ユーザに対して洗練された大人っぽい顔の印象を引き立てる情報を、前記第３タイプの顔の前記顧客ユーザに対して可愛らしい子どもっぽい顔の印象を引き立てる情報を、前記第４タイプの顔の前記顧客ユーザに対して透明感ある爽やかな顔の印象を引き立てる情報を提供する、
請求項１に記載の接客支援装置。
【請求項3】
所定の接客行為を支援するための接客支援方法であって、
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行し、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータは、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線分の変化率をトラッキングすることで前記顧客ユーザの顔輪郭の形を、多くの直線で構成されている顔輪郭を直線的な顔輪郭の形に、多くの曲線で構成されている顔輪郭を曲線的な顔輪郭の形に分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が直線的な顔を第１タイプ、又は該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が曲線的な顔を第２タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が直線的な顔を第３タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が曲線的な顔を第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援方法。
コンピュータが、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行し、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータは、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線分の変化率をトラッキングすることで前記顧客ユーザの顔輪郭の形を、多くの直線で構成されている顔輪郭を直線的な顔輪郭の形に、多くの曲線で構成されている顔輪郭を曲線的な顔輪郭の形に分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が直線的な顔を第１タイプ、又は該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が曲線的な顔を第２タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が直線的な顔を第３タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が曲線的な顔を第４タイプに分類することで、前記顔分析データを取得し、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供する、
接客支援方法。
【請求項4】
所定の接客行為を支援するための接客支援プログラムであって、
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させ、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータに、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線分の変化率をトラッキングすることで前記顧客ユーザの顔輪郭の形を、多くの直線で構成されている顔輪郭を直線的な顔輪郭の形に、多くの曲線で構成されている顔輪郭を曲線的な顔輪郭の形に分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が直線的な顔を第１タイプ、又は該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が曲線的な顔を第２タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が直線的な顔を第３タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が曲線的な顔を第４タイプに分類することで、前記顔分析データを取得させ、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供させる、
接客支援プログラム。
コンピュータに、
顧客ユーザから、所定の商品又は／及び所定のサービスの購買希望を含んだ問診情報を取得することと、
前記顧客ユーザの顔が撮影された顔画像データを取得するとともに、所定の教師データを用いて学習を行うことにより構築された事前学習モデルに該顔画像データを入力することで、該顧客ユーザの顔分析データを取得することと、
前記問診情報及び前記顔分析データに基づいて、前記購買希望に対する所定のレコメンド情報を前記顧客ユーザに提供することと、
を実行させ、
前記購買希望は、化粧品又は美容品又は服飾品を含んだ前記商品、又は／及び美容又は理容に関する前記サービスについての購買希望であって、
前記コンピュータに、
前記顔画像データに基づいて、前記顧客ユーザの両目の中心と鼻柱とを結んだ三角形において、該鼻柱を頂点とした逆三角形の頂角として定義される鼻中心逆三角角度を算出するとともに、前記事前学習モデルに該顔画像データを入力することで識別された顔の輪郭の特徴点を結んで生成される線分の変化率をトラッキングすることで前記顧客ユーザの顔輪郭の形を、多くの直線で構成されている顔輪郭を直線的な顔輪郭の形に、多くの曲線で構成されている顔輪郭を曲線的な顔輪郭の形に分類し、該鼻中心逆三角角度と該顔輪郭の形とに基づいて、前記顧客ユーザの顔タイプを、該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が直線的な顔を第１タイプ、又は該鼻中心逆三角角度が６０°より大きく、且つ該顔輪郭の形の分類が曲線的な顔を第２タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が直線的な顔を第３タイプ、又は該鼻中心逆三角角度が６０°より小さく、且つ該顔輪郭の形の分類が曲線的な顔を第４タイプに分類することで、前記顔分析データを取得させ、
前記レコメンド情報として、前記顔タイプの印象に合致した前記商品又は／及び前記サービスに関する情報、又は前記顔タイプの印象とは真逆の印象に合致した前記商品又は／及び前記サービスに関する情報を提供させる、
接客支援プログラム。