6882810 情報処理装置、プログラム、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6882810

(24)【登録日】2021年5月11日

(45)【発行日】2021年6月2日

(54)【発明の名称】情報処理装置、プログラム、及び方法

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20210524BHJP

【ＦＩ】

   G06Q50/10

【請求項の数】11

【全頁数】31

(21)【出願番号】特願2020-89907(P2020-89907)

(22)【出願日】2020年5月22日

【審査請求日】2020年5月22日

【早期審査対象出願】

(73)【特許権者】

【識別番号】517234011

【氏名又は名称】株式会社Ｎｏｖｅｒａ

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ特許業務法人

(72)【発明者】

【氏名】遠藤 国忠

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開２０１９−１０２０６８（ＪＰ，Ａ）

【文献】 特開２０１９−０２８６９１（ＪＰ，Ａ）

【文献】 特開２０１６−１９４７４０（ＪＰ，Ａ）

【文献】 特開２００１−１０４０５０（ＪＰ，Ａ）

【文献】 特開２００２−０５６０６６（ＪＰ，Ａ）

【文献】 特表２００８−５２７４９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｑ１０／００−９９／００

(57)【特許請求の範囲】

【請求項1】

制御部を備える情報処理装置であって、前記制御部が、
複数の第１ユーザについて、当該第１ユーザの顔のセンシング結果に基づき特定された当該第１ユーザの前記顔の肌の状態を示す判断データ、および、前記複数の第１ユーザが基礎化粧品を使用した履歴を示す履歴データを記憶部に記憶させる記憶手段、
第２ユーザの顔のセンシング結果に基づき当該第２ユーザの前記顔の肌の状態を特定した結果と、前記第１ユーザの前記判断データとに基づいて、前記複数の第１ユーザのうち、前記第２ユーザにとって肌の状態が好適な第１ユーザを抽出する抽出手段、
前記抽出された前記第１ユーザの前記履歴データに基づいて、複数の基礎化粧品のうち、前記第２ユーザに提示する基礎化粧品を選択する選択手段、
前記選択された基礎化粧品を、前記第１ユーザが使用した基礎化粧品であることを示して前記第２ユーザに提示する提示手段、として機能する、情報処理装置。

【請求項2】

前記制御部は、さらに、
前記第２ユーザの前記顔のセンシング結果を受け付ける受付手段、
前記受付手段により前記第２ユーザのセンシング結果を受け付けたことに応答して当該顔の肌の状態を特定する判断手段、として機能し、
前記選択手段は、前記判断手段による前記特定した結果に基づいて、複数の基礎化粧品のうち、前記第２ユーザに提示する基礎化粧品を選択し、
前記提示手段は、前記受付手段により前記第２ユーザのセンシング結果を受け付けたことに応答して前記判断手段による前記特定した結果を前記第２ユーザに表示し、当該第２ユーザに表示される特定画面において、当該特定した結果とともに、前記特定した結果に基づいて選択された基礎化粧品を表示し、
前記提示手段は、前記第１ユーザの前記履歴データに基づいて選択された基礎化粧品と、前記特定した結果に基づいて選択された基礎化粧品とを識別可能に表示する、請求項１に記載の情報処理装置。

【請求項3】

前記提示手段は、前記特定画面において、前記選択された基礎化粧品と関連付けて、前記抽出手段で抽出される前記第１ユーザの情報を表示する、請求項２に記載の情報処理装置。

【請求項4】

前記情報処理装置は、前記記憶部において、顔の画像データと、当該画像データに示される顔の肌の状態を評価した評価結果とに基づき生成される学習済みモデルを記憶しており、当該学習済みモデルは、顔の撮影画像を入力とした場合に当該顔の肌の状態の評価結果を出力するものであり、
前記記憶手段は、前記第１ユーザの顔の撮影画像と前記学習済みモデルとに基づき前記第１ユーザの顔の肌の状態を特定し、特定した結果を前記判断データとして前記記憶部に記憶させる、請求項１から３のいずれかに記載の情報処理装置。

【請求項5】

前記記憶手段は、前記記憶部に、前記第１ユーザの情報と関連付けて、当該第１ユーザの年齢または生活習慣の少なくともいずれかの情報を記憶させ、
前記抽出手段は、前記第２ユーザの年齢または生活習慣の情報の少なくともいずれかを取得することにより、前記第１ユーザの前記肌の状態を示す情報と、前記第２ユーザの前記肌の状態を示す情報と、前記第１ユーザの年齢または生活習慣の少なくともいずれかを示す情報と、前記第２ユーザの年齢または生活習慣の少なくともいずれかを示す情報とに基づいて、前記第１ユーザを抽出する、請求項１から４のいずれかに記載の情報処理装置。

【請求項6】

前記選択手段は、前記抽出される前記第１ユーザの前記履歴データに基づいて、前記第２ユーザに提示する前記基礎化粧品の優先度を設定し、
前記提示手段は、前記優先度の設定に基づいて、前記第２ユーザに前記選択された基礎化粧品を提示する、請求項１から５のいずれかに記載の情報処理装置。

【請求項7】

前記提示手段は、前記複数の第１ユーザのいずれかである特定ユーザの要求に応答して、前記第２ユーザの前記顔の肌の状態を特定した結果を前記特定ユーザに提示し、
前記特定ユーザの要求に応じ、前記第２ユーザへのアクセス情報を前記特定ユーザに提示する、請求項１から６のいずれかに記載の情報処理装置。

【請求項8】

制御部を備える情報処理装置であって、前記制御部が、
複数の第１ユーザについて、当該第１ユーザの顔のセンシング結果に基づき特定された当該第１ユーザの前記顔の肌の状態を示す判断データ、および、前記複数の第１ユーザが基礎化粧品を使用した履歴を示す履歴データを記憶部に記憶させる記憶手段、
第２ユーザの顔のセンシング結果に基づき当該第２ユーザの前記顔の肌の状態を特定した結果と、前記第１ユーザの前記判断データとに基づいて、前記複数の第１ユーザのうち、前記第２ユーザに対応する第１ユーザを抽出する抽出手段、
前記抽出された前記第１ユーザの前記履歴データに基づいて、複数の基礎化粧品のうち、前記第２ユーザに提示する基礎化粧品を選択する選択手段、
前記選択された基礎化粧品を、前記第１ユーザの前記判断データへアクセス可能に、前記第２ユーザに提示する提示手段、として機能する、情報処理装置。

【請求項9】

前記判断データは、皺、肌理、染み、透明感、潤い、及び毛穴についての評価結果を含む、請求項１から８のいずれかに記載の情報処理装置。

【請求項10】

方法であって、情報処理装置の制御部が、
複数の第１ユーザについて、当該第１ユーザの顔のセンシング結果に基づき特定された当該第１ユーザの前記顔の肌の状態を示す判断データ、および、前記複数の第１ユーザが基礎化粧品を使用した履歴を示す履歴データを記憶部に記憶させるステップ、
第２ユーザの顔のセンシング結果に基づき当該第２ユーザの前記顔の肌の状態を特定した結果と、前記第１ユーザの前記判断データとに基づいて、前記複数の第１ユーザのうち、前記第２ユーザにとって肌の状態が好適な第１ユーザを抽出するステップ、
前記抽出された前記第１ユーザの前記履歴データに基づいて、複数の基礎化粧品のうち、前記第２ユーザに提示する基礎化粧品を選択するステップ、
前記選択された基礎化粧品を、前記第１ユーザが使用した基礎化粧品であることを示して前記第２ユーザに提示するステップ、を行う、方法。

【請求項11】

プロセッサを備えるコンピュータに実行させるプログラムであって、前記プロセッサに、
複数の第１ユーザについて、当該第１ユーザの顔のセンシング結果に基づき特定された当該第１ユーザの前記顔の肌の状態を示す判断データ、および、前記複数の第１ユーザが基礎化粧品を使用した履歴を示す履歴データを記憶部に記憶させるステップと、
第２ユーザの顔のセンシング結果に基づき当該第２ユーザの前記顔の肌の状態を特定した結果と、前記第１ユーザの前記判断データとに基づいて、前記複数の第１ユーザのうち、前記第２ユーザにとって肌の状態が好適な第１ユーザを抽出するステップと、
前記抽出された前記第１ユーザの前記履歴データに基づいて、複数の基礎化粧品のうち、前記第２ユーザに提示する基礎化粧品を選択するステップと、
前記選択された基礎化粧品を、前記第１ユーザが使用した基礎化粧品であることを示して前記第２ユーザに提示するステップと、を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、プログラム、及び方法に関する。

【背景技術】

【0002】

近年、スマートフォン等の通信端末を用い、使用者に合う化粧品を提案するシステムが提案されている。例えば、特許文献１では、通信端末に接続される肌状態測定装置で測定した測定データを、通信端末から管理サーバへ送信する。測定データは管理サーバから肌診断業者へ渡され、肌診断業者により診断される。そして、診断された結果が、管理サーバを介して通信端末へ送信されると共に、診断結果に関連付けて登録されている推奨化粧品に関するデータが通信端末へ送信される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６−１１５３６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

使用者は通信端末に表示される推奨化粧品を確認し、勧められた化粧品を購入するか否かを検討する。ところが、推奨化粧品の製品名が表示されるのみでは、この化粧品が勧められた理由を使用者が理解することは困難であり、推薦されたことへの納得感が薄いことがあり得る。その結果、使用者が製品の購入に踏み切ることができないことがある。

【0005】

そこで、本開示は、使用者が必要と感じる製品を推薦することが可能な情報処理装置、プログラム、及び方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

一実施形態によると、制御部を備える情報処理装置が提供される。制御部が、複数の第１ユーザについて、当該第１ユーザの身体の部位のセンシング結果に基づき特定された当該第１ユーザの身体の部位の特徴を示す判断データ、および、複数の第１ユーザが製品を使用した履歴を示す履歴データを記憶部に記憶させる記憶手段、第２ユーザの身体の部位のセンシング結果に基づき当該第２ユーザの身体の部位の特徴を特定した結果と、第１ユーザの判断データとに基づいて、複数の第１ユーザのうち、第２ユーザに対応する第１ユーザを抽出する抽出手段、抽出された第１ユーザの履歴データに基づいて、複数の製品のうち、第２ユーザに提示する製品を選択する選択手段、選択された製品を第２ユーザに提示する提示手段、として機能する。

【発明の効果】

【0007】

本開示の情報処理装置、プログラム、及び方法によれば、製品が使用者に推薦されることについて納得感が感じられうる製品を使用者に推薦することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係る製品推薦システムの構成を表すブロック図である。

【図2】図２は、図１に示される処理サーバの機能構成を示すブロック図である。

【図3】図３は、図１に示される通信端末の機能構成を示すブロック図である。

【図4】図４は、図２に示される記憶部に記憶される個人情報データベースのデータ構造を表す図である。

【図5】図５は、通信端末に基礎化粧品が推薦される場合の処理サーバと通信端末との動作を説明する図である。

【図6】図６は、図３に示される撮像部による撮影時のディスプレイの表示を表す図である。

【図7】図７は、待機状態のディスプレイの表示を表す図である。

【図8】図８は、ディスプレイに表示される測定結果表示画面を表す図である。

【図9】図９は、ディスプレイに表示される第１お勧め製品表示画面を表す図である。

【図10】図１０は、ディスプレイに表示される第２お勧め製品表示画面を表す図である。

【図11】図１１は、ディスプレイに表示されるお勧め製品表示画面のその他の例を表す図である。

【図12】図１２は、ディスプレイに表示される測定結果表示画面を表す図である。

【図13】図１３は、ディスプレイに表示される第３お勧め製品表示画面を表す図である。

【図14】図１４は、ディスプレイに表示される第４お勧め製品表示画面を表す図である。

【図15】図１５は、ディスプレイに表示されるお勧め製品表示画面のその他の例を表す図である。

【図16】図１６は、美容アドバイザーにより基礎化粧品が推薦される場合の処理サーバと通信端末との動作を説明する図である。

【図17】図１７は、通信端末で表示されるホーム画面を表す図である。

【図18】図１８は、ディスプレイに表示される候補者表示画面を表す図である。

【図19】図１９は、ディスプレイに表示されるお勧め製品表示画面を表す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら実施の形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

【0010】

＜システム構成＞
まず、図１を用いて製品推薦システムの構成について説明する。図１は、本実施形態に係る製品推薦システム１の構成例を表すブロック図である。図１に示される製品推薦システム１は、処理サーバ１０、及び通信端末２０−１〜２０−ｎ（以下、これら複数の通信端末を総称して「通信端末２０」と記載することもある）を備える。処理サーバ１０と通信端末２０−１〜２０−ｎとは、例えば、インターネット、及び／又は通信事業者が提供する通信網等のネットワークを介して接続されている。

【0011】

処理サーバ１０は、コンピュータ、及びメインフレーム等により実現される情報処理装置の一例である。処理サーバ１０は、通信端末２０−１〜２０−ｎの少なくとも何れかから送信された情報に基づき、情報を送信してきた通信端末２０へお勧めの製品の情報を送信する。当該製品とは、例えば、化粧品、食品（サプリメントなどの健康食品）など、ユーザーの肌を美しく保つための製品が含まれる。例えば、処理サーバ１０は、通信端末２０へ、お薦めの化粧品の情報を送信する。本実施形態では、化粧品とは、例えば、基礎化粧品、又はメーキャップ化粧品を表す。基礎化粧品としては、例えば、身体を洗浄するための製品（洗顔、洗髪、ボディウォッシュなど）、肌をケアするための製品（化粧水、美容液、乳液など）などがあり、スキンケア製品、エイジングケア製品などが含まれる。なお、処理サーバ１０は、１台のコンピュータにより実現されてもよいし、複数台のコンピュータが組み合わされて実現されてもよい。

【0012】

通信端末２０−１〜２０−ｎは、使用者が所持する端末であり、例えば、携帯電話、スマートフォン、ＰＨＳ、コンピュータ、ＰＤＡ、腕時計、スマートウォッチ、ヘッドマウントディスプレイ、画像生成装置等の情報処理装置であり、インターネット、ＬＡＮ（Local Area Network）等のネットワークを介して処理サーバ１０に接続可能な装置である。通信端末２０−１〜２０−ｎと処理サーバ１０との間の接続は、有線でもよいし無線でもよい。

【0013】

また、通信端末２０−１〜２０−ｎは、インストールされた専用のアプリケーションソフトウェアによって処理サーバ１０にアクセスしてもよい。また、処理サーバ１０や、別途サーバ(不図示)が提供する動作環境（ＡＰＩ（Application Programing Interface）、プラットフォーム等）を利用して処理サーバ１０にアクセスしてもよい。

【0014】

＜処理サーバ及び通信端末の構成＞
次に、処理サーバ１０及び通信端末２０−１〜２０−ｎの構成について説明する。図２は、図１に示される処理サーバ１０の機能構成の例を示すブロック図である。図２に示される処理サーバ１０は、例えば、処理部１１、記憶部１２、及び通信インタフェース１３を備える。処理部１１、記憶部１２、及び通信インタフェース１３は、例えば、バスを介して互いに通信可能に接続されている。

【0015】

処理部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＣＰＵが処理を実行する際に用いるメモリを備える。メモリは、いわゆる主記憶装置であり、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成される。ＣＰＵは、例えば、記憶部１２に記憶されているプログラムをメモリに読み込む。ＣＰＵは、メモリに読み込まれたプログラムを実行する。これにより、処理部１１は、プログラムに対応する種々の機能を実現する。

【0016】

記憶部１２は、種々の情報を記憶するＨＤＤ（hard disk drive）、及びＳＳＤ（solid state drive）等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部１２は、ＣＤ−ＲＯＭ、ＤＶＤ、及びフラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。

【0017】

記憶部１２は、本実施形態に係るプログラム、例えば、製品推薦プログラム１２１を記憶している。なお、製品推薦プログラム１２１は、例えば、記憶部１２に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶部１２にインストールされてもよい。

【0018】

また、記憶部１２は、例えば、機械学習により生成された学習済みモデル１２２を記憶している。学習済みモデル１２２は、例えば、該当するサービスの提供が開始される前であればいつ記憶部１２に記憶されても構わない。

【0019】

学習済みモデル１２２は、学習用データに基づき、モデル学習プログラムに従って機械学習モデルに機械学習を行わせることにより得られる。本実施形態において、学習済みモデル１２２は、例えば、入力される顔画像に基づき、使用者の肌の状態を判断するように学習されている。このとき、学習用データは、例えば、使用者の顔を撮像して得られた顔画像を入力データとし、この顔画像に基づいて専門家が判断した肌に関するパラメータ値を正解出力データとする。肌に関するパラメータ値は、例えば、「皺（しわ）」、「肌理（キメ）」、「染み」、「透明感」、「潤い」、及び「毛穴」それぞれについてのパラメータ値、例えば、Ａ〜Ｅのアルファベットである。Ａが最も高い評価であり、Ｅが最も低い評価である。学習済みモデル１２２は、これら「皺（しわ）」などについて、上記の「Ａ」〜「Ｅ」のように段階的な評価結果を出力する。例えば、「皺（しわ）」などの評価結果として、肌の状態に応じた数値を出力しつつ、数値の範囲ごとに上記のようにカテゴリ分けをすることとしてもよい。なお、肌に関するパラメータは、「皺」、「肌理」、「染み」、「透明感」、「潤い」、及び「毛穴」の一部であってもよいし、その他のパラメータであってもよい。

【0020】

本実施形態に係る機械学習モデルは、例えば、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数、及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のネットワークモデル（以下、多層化ネットワークと呼ぶ）であるとする。多層化ネットワークを用いる学習済みモデル１２２は、画像を入力する入力層と、肌に関するパラメータ値を出力する出力層と、入力層と出力層との間に設けられる少なくとも１層の中間層あるいは隠れ層とを有する。なお、学習済みモデル１２２は、人工知能ソフトウェアの一部であるプログラムモジュールとしての利用が想定される。

【0021】

本実施形態に係る多層化ネットワークとしては、例えば、深層学習（Deep Learning）の対象となる多層ニューラルネットワークである深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）を用いている。ＤＮＮとしては、例えば、画像を対象とする畳み込みニューラルネットワーク（Convolution Neural Network：ＣＮＮ）を用いてもよい。

【0022】

また、記憶部１２には、複数の使用者の個人情報が記憶される個人情報データベース（ＤＢ）１２３が設けられている。個人情報データベース１２３には、例えば、使用者についての基本的な情報が記憶される基本データ１２３１、使用者の顔画像に基づいた判断結果が記憶される判断結果データ１２３２、及び使用者が使用した化粧品についての履歴が記憶される使用履歴データ１２３３が記憶されている。個人情報データベース１２３は、使用者からのアクセスに応じ、新たなレコードが追加されていく。

【0023】

また、記憶部１２には、製品情報データベース１２４が設けられている。製品情報データベース１２４には、例えば、製品名、製造会社名、内容量、参考価格、発売日、製品説明、及び主な効果等の情報が記録されている。
通信インタフェース１３は、例えば、ネットワークと接続する回路により実現される。通信インタフェース１３は、ネットワークを介し、通信端末２０−１〜２０−ｎのうち少なくともいずれかと通信する。通信インタフェース１３は、受信手段の一例である。

【0024】

図２に示される処理部１１は、記憶部１２に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理部１１は、製品推薦プログラム１２１を実行することで、記憶制御部１１１、判断部１１２、抽出部１１３、選択部１１４、及び表示制御部１１５の機能を実現する。

【0025】

なお、処理部１１は、複数のＣＰＵが組み合わされて形成されていても構わない。すなわち、図２に示される記憶制御部１１１、判断部１１２、抽出部１１３、選択部１１４、及び表示制御部１１５は、例えば、各ＣＰＵがプログラムを実行することで実現されても構わない。また、処理部１１は、記憶制御部１１１、判断部１１２、抽出部１１３、選択部１１４、及び表示制御部１１５の機能をそれぞれ有する専用のハードウェア構成により形成されていても構わない。また、処理部１１は、判断部１１２、抽出部１１３、選択部１１４、及び表示制御部１１５の機能をそれぞれ有する専用のハードウェア回路を組み込んだ特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（Field Programmable Gate Array：ＦＰＧＡ）、他の複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、又は単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）により形成されていても構わない。

【0026】

記憶制御部１１１は、記憶部１２へのデータの記憶を制御する。具体的には、例えば、記憶制御部１１１は、個人情報データベース１２３へデータを書き込む。また、記憶制御部１１１は、個人情報データベース１２３又は製品情報データベース１２４からデータを読み出す。

【0027】

判断部１１２は、使用者の顔画像に基づき、使用者の特徴を判断する。例えば、判断部１１２は、使用者の顔画像に基づいて肌の状態を判断する。具体的には、例えば、判断部１１２は、使用者の顔の画像データを学習済みモデル１２２へ入力し、学習済みモデル１２２から出力される、肌の状態についてのパラメータ値を取得する。また、判断部１１２は、使用者の顔画像に基づいて顔の特徴を判断する。具体的には、例えば、判断部１１２は、使用者の顔の画像データを学習済みモデル１２２へ入力し、学習済みモデル１２２から出力される、顔の特徴についてのパラメータ値を取得する。顔の特徴についてのパラメータ値については後述する。

【0028】

抽出部１１３は、判断部１１２の判断結果に基づき、個人情報データベース１２３を参照する等により、使用者以外の他の使用者を抽出する。具体的には、例えば、抽出部１１３は、肌の状態の判断結果に基づき、使用者にとって好ましい他の使用者を抽出する。また、抽出部１１３は、顔の特徴の判断結果に基づき、使用者と類似する他の使用者を抽出する。

【0029】

選択部１１４は、使用者に適した製品として、基礎化粧品、又はメーキャップ化粧品を選択する。例えば、選択部１１４は、判断された肌の状態に基づき、基礎化粧品を選択する。また、選択部１１４は、抽出された他の使用者が使用している基礎化粧品を選択する。また、選択部１１４は、判断された顔の特徴に基づき、メーキャップ化粧品を選択する。また、選択部１１４は、抽出された他の使用者が使用しているメーキャップ化粧品を選択する。

【0030】

表示制御部１１５は、判断結果に関する画像、又はお勧めする製品に関する画像を通信端末２０に表示させる。

【0031】

なお、処理サーバ１０は、入力インタフェースを有していてもよい。入力インタフェースは、例えば、マウス、キーボード、及び、操作面へ触れることで指示が入力されるタッチパネル等により実現される。入力インタフェースは、操作者からの入力指示を電気信号へ変換し、電気信号を処理部１１へ出力する。なお、入力インタフェースは、マウス、及びキーボード等の物理的な操作デバイスに限定されない。入力インタフェースには、例えば、外部の入力機器から入力される電気信号を受け付ける受信ポートが含まれてもよい。

【0032】

また、処理サーバ１０は、出力インタフェースを有していてもよい。出力インタフェースは、例えば、表示機器、及び印刷機器等により実現される。表示機器としては、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、及びＣＲＴディスプレイ等、任意のディスプレイが利用可能である。表示機器は、映像データに基づく映像等を表示する。印刷機器は、例えば、プリンタである。印刷機器は、通信に関する所定の情報を所定用紙に印刷する。なお、出力インタフェースは、表示機器、及び印刷機器等の物理的な出力装置に限定されない。出力インタフェースには、例えば、外部の出力装置へ画像データを送信する送信ポートが含まれてもよい。

【0033】

図３は、図１に示される通信端末２０の機能構成の例を示すブロック図である。図３に示される通信端末２０は、例えば、処理部２１、記憶部２２、入力インタフェース２３、出力インタフェース２４、通信インタフェース２５、及び撮像部２６を備える。なお、通信端末２０−１〜２０−ｎの構成はそれぞれ同様であるため、図３の説明では、通信端末２０として説明をする。

【0034】

処理部２１は、通信端末２０の中枢として機能するプロセッサである。処理部２１は、例えば、ＣＰＵ、及びＣＰＵが処理を実行する際に用いる主記憶装置である、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリを備える。ＣＰＵは、例えば、記憶部２２に記憶されているプログラムをＲＡＭに読み込む。ＣＰＵは、ＲＡＭに読み込まれたプログラムを実行する。これにより、処理部２１は、プログラムに対応する種々の機能を実現する。

【0035】

記憶部２２は、ＮＡＮＤ型、又はＮＯＲ型フラッシュメモリ等の不揮発性の記憶回路を備える、いわゆる補助記憶装置である。なお、記憶部２２は、ＳＤカード、及びマイクロＳＤカード等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。記憶部２２は、本実施形態に係るプログラム、例えば、製品推薦プログラム２２１を記憶している。なお、製品推薦プログラム２２１は、例えば、不図示の所定のサーバからダウンロードされ、記憶部１２にインストールされる。

【0036】

撮像部２６は、実空間を撮像するデバイスであり、例えば、カメラ等により実現される。撮像部２６は、例えば、レンズ及び撮像センサを有し、実空間を撮像することで、映像データを生成する。

【0037】

入力インタフェース２３は、例えば、ボタン、操作面へ触れることで指示が入力されるタッチパネル、操作面に触れずとも使用者の身体（手など）の動きを検出するセンサ（赤外線カメラなど）、及び音声を入力するマイク等により実現される。入力インタフェース２３は、操作者からの入力指示を電気信号へ変換し、電気信号を処理部２１へ出力する。

【0038】

出力インタフェース２４は、例えば、表示機器、及びスピーカにより実現される。表示機器としては、例えば、液晶ディスプレイ、及び有機ＥＬディスプレイ等である。表示機器は、データ通信により受信した映像データに基づく映像等を表示する。スピーカは、データ通信により受信した音声データに基づく音声を再生する。

【0039】

通信インタフェース２５は、不図示の基地局を介して処理サーバ１０と無線接続する回路である。通信インタフェース２５は、例えば、アンテナ、及び無線部により実現される。アンテナは、到来してきた無線信号を受信する。また、無線部から出力される無線信号を送信する。無線部は、アンテナにより受信された無線信号を、予め設定される復調方式に則って変換し、変換したデータを処理部２１へ出力する。また、無線部は、処理部２１で作成されたデータを、予め設定される変調方式に則って無線信号へ変換し、変換した無線信号をアンテナへ出力する。

【0040】

図３に示される処理部２１は、記憶部２２に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。例えば、処理部２１は、製品推薦プログラム２２１を実行することで、撮影制御部２１１、表示制御部２１２、及び通信制御部２１３の機能を実現する。

【0041】

撮影制御部２１１は、撮像部２６を制御する。具体的には、例えば、撮影制御部２１１は、所定の撮影条件に設定し、使用者についての顔の正面像の静止画像を取得するように撮像部２６を制御する。

【0042】

表示制御部２１２は、受信する画像データに基づく表示画面を表示するように、出力インタフェース２４としてのディスプレイを制御する。

【0043】

通信制御部２１３は、他の通信端末、又は処理サーバ１０との通信を制御する。

【0044】

＜個人情報データベース＞
次に、本実施形態に係る個人情報データベース１２３について説明する。図４は、図２に示される記憶部１２に記憶される個人情報データベース１２３のデータ構造の一例を表す図である。

【0045】

図４に示されるように、個人情報データベース１２３には、基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３が記憶されている。個人情報データベース１２３には、基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３が使用者毎に記憶されている。図４では、「氏名」：ＡＡＡＡの基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３を例として表している。

【0046】

基本データ１２３１には、例えば、使用者の「氏名」、「生年月日」、及び「年齢」が含まれる。また、基本データ１２３１には、使用者の連絡先情報、例えば、「アドレス」が含まれてもよい。また、基本データ１２３１には、肌に関係し得る生活習慣に関する情報、例えば、睡眠に関するデータである「睡眠時間」、食事に関するデータである「朝食の頻度」、洗顔に関するデータである「夜の洗顔」等が含まれてもよい。基本データ１２３１は、例えば、使用者が製品推薦プログラム２２１をダウンロードし、製品推薦プログラム２２１を最初に起動させる際に使用者により入力される。なお、使用者の連絡先情報、及び肌に関係し得る生活習慣に関する情報は、最初にプログラムを起動させた後、任意のタイミングで入力されてもよい。なお、基本データ１２３１に含まれる情報は、上記の一部であってもよいし、その他の情報であってもよい。

【0047】

判断結果データ１２３２には、処理部１１の判断部１１２が使用者の顔画像に基づいて肌の状態を判断した結果がレコード毎に記憶されている。各レコードには、例えば、「測定日時」、並びに、「皺」、「肌理」、「染み」、「透明感」、「潤い」、及び「毛穴」についてのパラメータ値と、「肌質」、及び「肌年齢」についての判断結果とが記憶されている。処理部１１の記憶制御部１１１は、通信端末２０から送信される画像データを受信すると、例えば、画像データに付されるタイムスタンプの日時を「測定日時」とし、この画像データに基づいて判断された結果を各種パラメータ値として、レコードに追加する。なお、「測定日時」は、肌の状態が判断された日時であっても構わない。

【0048】

使用履歴データ１２３３には、使用者により報告された使用中の基礎化粧品がレコード毎に記憶されている。各レコードには、例えば、「使用開始日」、「カテゴリ」、及び「製品名」が記憶される。例えば、使用者は、使用中の基礎化粧品を登録したい場合、入力インタフェース２３を操作し、使用中の基礎化粧品について情報、例えば、「使用開始日」、「製品カテゴリ」、及び「製品名」を処理サーバ１０へ送信する。使用中の基礎化粧品についての情報を受信すると、処理部１１の記憶制御部１１１は、受信した情報に含まれる「使用開始日」、「カテゴリ」、及び「製品名」をレコードに追加する。なお、使用履歴データ１２３３に含まれる情報は、上記の一部であってもよいし、その他の情報であってもよい。

【0049】

＜顔の撮影画像に基づく化粧品の推薦動作＞
処理サーバ１０が、使用者の顔の撮影画像に基づいて化粧品を推薦する場合の処理サーバ１０と通信端末２０−１〜２０−ｎとの動作について説明する。なお、以下では、通信端末２０−１〜２０−ｎのうち、通信端末２０−１が処理サーバ１０へアクセスする場合を例に説明するが、いずれの通信端末が処理サーバ１０へアクセスしても構わない。

【0050】

図５は、図１に示される製品推薦システム１において、通信端末２０−１に対して基礎化粧品が推薦される場合の処理サーバ１０と通信端末２０−１との動作の例を説明する図である。

【0051】

まず、通信端末２０−１の操作者は、通信端末２０−１の出力インタフェース２４であるディスプレイに表示される製品推薦プログラム２２１の実行アイコンを押下する。製品推薦プログラム２２１の実行アイコンが押下されると、通信端末２０−１の処理部２１は、製品推薦プログラム２２１を実行する。製品推薦プログラム２２１が実行されると、使用者である操作者の基本データ、例えば、「氏名」、「生年月日」、及び「年齢」を入力するための入力ウィンドウが通信端末２０−１のディスプレイに表示される（ステップＳ１０１）。使用者は、入力インタフェース２３であるタッチパネルを操作し、入力ウィンドウへ「氏名」、「生年月日」、及び「年齢」を入力する。

【0052】

「氏名」、「生年月日」、及び「年齢」が入力されると、例えば、使用者の連絡先情報を入力するための入力ウィンドウ、及び肌に関係し得る生活習慣についての質問に回答するための入力ウィンドウがディスプレイに表示される。使用者は、タッチパネルを操作し、入力ウィンドウに情報を入力する。入力ウィンドウに情報が入力されると、入力された情報が処理サーバ１０へ送信される。なお、基本データ１２３１として「氏名」、「生年月日」、及び「年齢」がすでに処理サーバ１０に記憶されている場合、ステップＳ１０１の処理は実行されなくても構わない。また、使用者の連絡先情報、及び肌に関係し得る生活習慣情報については、プログラムを初めて実行する場合に加え、使用者自身のアカウントを登録する際に入力するようにしても構わない。

【0053】

処理サーバ１０は、通信端末２０−１で入力されたデータを受信すると、処理部１１の記憶制御部１１１により、受信したデータを基本データ１２３１として個人情報データベース１２３に記憶させる（ステップＳ１０２）。これにより、例えば、図４に示されるように、個人情報データベース１２３に「氏名：ＡＡＡＡ」、「生年月日：ｙｙ／ｍｍ／ｄｄ」、「年齢：〇〇歳」、「アドレス：…＠…．ｊｐ」、「睡眠時間：６〜８時間」、「朝食の頻度：週２，３」、及び「夜の洗顔：毎日」等が基本データ１２３１として記憶される。

【0054】

基本データ１２３１が個人情報データベース１２３に記憶されると、通信端末２０−１の処理部２１は、撮影制御部２１１により、所定の撮影条件で撮影を開始するように撮像部２６を制御する。所定の撮影条件とは、例えば、撮影される画像が所定の明るさとなるような条件を表す。

【0055】

また、処理部２１は、表示制御部２１２により、撮像部２６で撮影した撮影画像を表示するようにディスプレイ２４を制御する。このとき、表示制御部２１２は、顔の撮影位置を規定するための略楕円形状をディスプレイに表示させてもよい。また、表示制御部２１２は、使用者が撮像部２６に対して正面を向くように、「正面を向いてください」との指示をディスプレイに表示してもよい。

【0056】

図６は、撮像部２６による撮影時のディスプレイ２４の表示例を表す模式図である。使用者は、ディスプレイ２４の表示を確認しながら、自身の顔の正面像が楕円２４１に入るように通信端末２０−１の向きを調整する。なお、ディスプレイ２４には、撮影を中止するためのアイコンが表示されてもよい。図６によれば、ディスプレイ２４の右上に表示されるばつ印２４２が撮影中止のためのアイコンに相当する。

【0057】

撮影制御部２１１は、楕円２４１内で顔の正面像を検出すると、静止画像を取得する（ステップＳ１０３）。顔の正面像は、例えば、目、鼻、及び口等のバランスに基づいて検出される。このとき、撮影制御部２１１は、正面像の撮影が持続されるように姿勢の維持を使用者に指示し、姿勢が維持されている間に、複数枚の静止画像を取得するようにしても構わない。顔の正面像の静止画像は、例えば、撮影日時を表すタイムスタンプが付され、画像データとして処理サーバ１０へ送信される。

【0058】

画像データが処理サーバ１０へ送信されると、画像データに基づく判断がなされるまで待機状態となる。図７は、待機状態のディスプレイ２４の表示例を表す模式図である。図７に示される例では、待機状態であることが明確となるように、画面下方に「測定結果を作成中」と表示されている。また、図７に示されるように、この待機中に、使用者の生活習慣に関する情報を取得するための質問ボックス２４３が表示されてもよい。質問ボックス２４３に表示される質問に対する回答は処理サーバ１０へ送信され、基本データ１２３１として個人情報データベース１２３に記憶される。また、使用者が質問に答えている間にバックグラウンドで複数枚の静止画像を取得するようにしても構わない。

【0059】

処理サーバ１０は、通信端末２０−１から送信された画像データを受信すると、処理部１１の判断部１１２により、画像データに基づき、使用者の肌の状態を判断する（ステップＳ１０４）。具体的には、例えば、判断部１１２は、記憶部１２に記憶されている学習済みモデル１２２を読み出し、画像データを学習済みモデル１２２へ入力する。学習済みモデル１２２からは、入力された画像データに対するパラメータ値が出力される。例えば、「皺」、「肌理」、「染み」、「透明感」、「潤い」、及び「毛穴」それぞれについてのパラメータ値、Ａ〜Ｅのアルファベットが出力される。また、判断部１１２は、出力されるパラメータ値のうち少なくとも何れかに基づき、肌質と、肌年齢とを判断する。例えば、各パラメータの評価結果（パラメータ値）と、肌質および肌年齢のパラメータとが予め対応付けられている。

【0060】

通信端末２０−１から送信された画像データが複数枚の静止画像である場合、判断部１１２は、例えば、複数枚の静止画像のうち、学習済みモデル１２２へ入力するのに適した画像を選択するようにしてもよい。複数枚の静止画像が撮影され、判断に適した画像が選択されるため、肌の状態の判断の精度が向上することになる。例えば、通信端末２０−１において、図６に示す画面において、使用者に対し、撮影画像を得るタイミングを通知しつつ（撮影画像を得るタイミングをカウントダウンする表示を行う等）、バックグラウンドでは、当該タイミングの前後において複数枚の撮影画像を得ることとしてもよい。ここで、通信端末２０−１が、所定の規則に基づいて、学習済みモデル１２２へ入力するのに適した画像を選択し、選択した画像を処理サーバ１０へ送信することとしてもよい。例えば、通信端末２０−１は、複数枚の撮影画像のうち、各撮影画像における輝度、使用者の顔がカメラに対して向いている方向（正面を向いているか）、使用者の表情の動き（口の形状、目を閉じていないか等）などに基づいて、いずれかまたは複数の撮影画像を選択する。これにより、学習済みモデル１２２へ入力する撮影画像において、被写体として映る使用者の像を均一化させることが容易となり、学習済みモデル１２２による評価の信頼性をよりいっそう向上させることができる。また、通信端末２０−１で撮影された複数枚の撮影画像を処理サーバ１０へ送信し、処理サーバ１０が各撮影画像のいずれかを選択することとしてもよい。

【0061】

肌の状態が判断されると、処理部１１の記憶制御部１１１は、判断結果を判断結果データ１２３２として個人情報データベース１２３に記憶させる（ステップＳ１０５）。これにより、例えば、図４に示される判断結果データ１２３２の最下段に、新たに判断されたパラメータ値、「シワ：Ｂ」、「キメ：Ａ」、「シミ：Ｂ」、「透明感：Ｂ」、「うるおい：Ｃ」、及び「毛穴：Ａ」、並びに、「肌質：乾燥肌」、及び「肌年齢：○○歳」が追加される。図４に示される「測定日時」は、測定が実行された日時が記憶され、例えば、画像データに付されているタイムスタンプに基づいて決定される。なお、記憶制御部１１１は、画像データを個人情報データベース１２３に記憶させてもよい。

【0062】

肌の状態が判断されると、処理部１１の抽出部１１３は、使用者にとって好ましい他の使用者を抽出する（ステップＳ１０６）。ここで、使用者にとって好ましい他の使用者とは、例えば、使用者と年齢及び生活習慣が近く、肌の状態がより好適と判断された他の使用者を表す。つまり、使用者と年齢、生活習慣が近い一方で、肌の状態が好適な他の使用者の情報は、当該使用者にとって参考になる事例となりえる。そのため、当該他の使用者が使用している製品の情報は、使用者にとっての参考になりえる。

【0063】

具体的には、例えば、抽出部１１３は、個人情報データベース１２３の基本データ１２３１及び判断結果データ１２３２を参照し、「氏名：ＡＡＡＡ」に対し、「年齢：○○歳」、「睡眠時間：６〜８時間」、「朝食の頻度：週２，３」、及び「夜の洗顔：毎日」が近く、直近の測定で「シワ：Ｂ」、「キメ：Ａ」、「シミ：Ｂ」、「透明感：Ｂ」、「うるおい：Ｃ」、及び「毛穴：Ａ」よりも結果が良好であった他の使用者を抽出する。なお、使用者にとって好ましい他の使用者は、例えば、使用者と年齢が近く、肌の状態がより好適と判断された他の使用者であってもよいし、肌の状態がより好適と判断された他の使用者であってもよい。

【0064】

他の使用者が抽出されると、処理部１１の選択部１１４は、使用者に合った基礎化粧品を選択する（ステップＳ１０７）。具体的には、例えば、選択部１１４は、個人情報データベース１２３の使用履歴データ１２３３を参照し、抽出された他の使用者が使っている、または使用した実績がある基礎化粧品を選択する。このとき、選択部１１４は、例えば、選択した基礎化粧品に対して優先度を設定してもよい。例えば、選択部１１４は、他の使用者が長い期間使用している基礎化粧品ほど優先度を高く設定する。また、選択部１１４は、他の使用者が該当する基礎化粧品を使用してから肌の状態が改善された場合、この基礎化粧品に対する優先度を高く設定する。また、使用者に対して製品を推薦する時期（季節）に応じて、使用者にあった製品を選択することとしてもよい。例えば、冬など乾燥しやすい時期、夏など紫外線量が増加する傾向にある時期において使用者に製品を推薦する場合、使用者にあった製品として、当該時期に使用されることが多い製品の中から、製品を選択することとしてもよい。

【0065】

また、選択部１１４は、判断された肌状態に基づき、使用者に合う基礎化粧品を選択する。なお、選択部１１４は、判断された肌状態に加え、年齢、及び生活習慣も加味して基礎化粧品を選択してもよい。また、選択部１１４は、例えば、選択した基礎化粧品に対して優先度を設定してもよい。

【0066】

基礎化粧品が選択されると、処理部１１の表示制御部１１５は、通信端末２０−１に表示させるための表示画像を作成する（ステップＳ１０８）。具体的には、例えば、表示制御部１１５は、個人情報データベース１２３の判断結果データ１２３２から、「シワ」、「キメ」、「シミ」、「透明感」、「うるおい」、「毛穴」、「肌質」、「肌年齢」について新たに記憶された情報を読み込む。表示制御部１１５は、読み込んだ情報を予め設定されたレイアウトに反映させ、表示画像としての測定結果表示画像を作成する。なお、測定結果表示画像は、ステップＳ１０４で肌の状態が判断されたときに作成されてもよい。

【0067】

また、表示制御部１１５は、他の使用者が使っているとして選択された基礎化粧品についての製品情報を製品情報データベース１２４から読み出す。表示制御部１１５は、読み出した情報を予め設定されたレイアウトに反映させ、表示画像としての第１お勧め製品表示画像を作成する。このとき、表示制御部１１５は、基礎化粧品に対して付された優先度に基づき、基礎化粧品を表示する順序を設定してもよい。

【0068】

また、表示制御部１１５は、肌状態に基づいて選択された基礎化粧品についての製品情報を製品情報データベース１２４から読み出す。表示制御部１１５は、読み出した情報を予め設定されたレイアウトに反映させ、表示画像としての第２お勧め製品表示画像を作成する。なお、表示制御部１１５は、第１お勧め製品表示画像と第２お勧め製品表示画像とを必ずしも別々に作成する必要はない。例えば、肌状態に基づいて選択された基礎化粧品と、他の使用者が使っているとして選択された基礎化粧品とが同一画面で表示されてもよい。このとき、例えば、他の使用者が使っているとして選択された基礎化粧品は、肌状態に基づくものとは識別可能に表示されることが望ましい。

【0069】

表示制御部１１５で作成された表示画像、例えば、測定結果表示画像、第１お勧め製品表示画像、及び第２お勧め製品表示画像は、画像データとして通信端末２０−１へ送信される。

【0070】

通信端末２０−１は、表示画像を受信すると、処理部２１の表示制御部２１２により、測定結果表示画像に基づいて測定結果表示画面を表示するようにディスプレイ２４を制御する（ステップＳ１０９）。

【0071】

図８は、ディスプレイ２４に表示される測定結果表示画面の一例を表す模式図である。図８に示される例では、肌スコアを６角形のレーダーチャート２４４を用いて表し、それぞれの頂点が「シワ」、「キメ」、「シミ」、「透明感」、「うるおい」、及び「毛穴」に対応している。レーダーチャート２４４中の破線は、使用者自身のスコアに対応しており、一点鎖線は登録されている自身の年齢と同年齢の使用者の平均スコアに対応している。

【0072】

レーダーチャート２４４の下方には、「肌質」、及び「肌年齢」が表示されている。また、「肌年齢」の記載領域の下方には、操作アイコン２４５が表示されている。操作アイコン２４５には、「肌に合いそうなアイテムをみる」と記載されている。使用者により操作アイコン２４５が押下されることで、測定結果表示画面から、第１お勧め製品表示画像に基づく第１お勧め製品表示画面へ移行する。

【0073】

なお、図８に示すように、測定結果表示画面では、画面を遷移させるためのアイコンは、操作アイコン２４５のみである。つまり、ホーム画面へ遷移するためのアイコン、及び測定結果表示画面の表示を中止するためのアイコンは画面中には表示されていない。このため、使用者は、画面を遷移させるためには操作アイコン２４５を押下する他に選択肢がない。これにより、使用者を、お勧めのアイテムを表示する画面へ違和感なく誘導することが可能となる。

【0074】

測定結果表示画面において、使用者により操作アイコン２４５が押下されると、通信端末２０−１の表示制御部２１２は、第１お勧め製品表示画面を表示するようにディスプレイ２４を制御する。

【0075】

図９は、ディスプレイ２４に表示される第１お勧め製品表示画面の一例を表す模式図である。図９に示される例では、画面上部の「他ユーザーのおすすめ」に下線が引かれている。これにより、本画面が、他の使用者が使用している基礎化粧品に基づいて勧められる製品を表示する画面であることが明らかとなっている。お勧め製品は、「肌環境の近いユーザーの使用履歴からおすすめするアイテム」として表示され、製品カテゴリ毎に分けて表示されている。例えば、「クレンジング」、「洗顔料」、「化粧水」毎に、それぞれ該当する製品が表示されている。図９に示される画面では、「クレンジング」、「洗顔料」、「化粧水」が表示されているが、画面を上方へスライドさせることで、他のカテゴリ、例えば、「乳液」、「保湿クリーム」、及び「導入液」等の製品も同一画面中に表示される。

【0076】

製品毎の表示領域には、例えば、製品の画像、製品名、製造メーカー等が記載されている。また、製品毎の表示領域の左上には製品の優先度を表す識別子が付されている。図９によれば、最も優先度の高い識別子が、「GOLD」であり、「SILVER」、「BRONZE」と優先度が低くなっていく。使用者は、「GOLD」、「SILVER」、及び「BRONZE」の表示を確認するだけで、最もお勧めの製品を識別することが可能となる。製品毎の表示領域を使用者が選択すると、対応する製品の詳細情報が表示される。詳細情報の表示画面では、例えば、使用者がこの製品を使用中か否かの設定をすることができる。

【0077】

また、「他ユーザーのおすすめ」の表示の上方には、操作アイコン２４６が表示されている。操作アイコン２４６には、「他ユーザー」と記載されている。使用者により操作アイコン２４６が押下されると、処理部２１の通信制御部２１３により、他の使用者の情報を要求する旨の要求信号が処理サーバ１０へ出力される。処理サーバ１０は、要求信号に応じ、個人情報データベース１２３から、他の使用者の情報を読み出し、通信端末２０−１へ返す。これにより、使用者にとって好ましいとして抽出された他の使用者の情報がディスプレイ２４に表示される。このため、使用者は、気になるであろう他の使用者と情報をシェアすることが可能となる。このとき開示される情報は、例えば、図４に示される個人情報データベース１２３に記憶されている、他の使用者の基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３である。なお、他の使用者が開示する情報の範囲に制限をかけてもよい。また、図９に示される画面の下端には、「ホーム」、「検索」、「測定」へ遷移可能なアイコンが表示されている。

【0078】

図９において、画面上部の「肌からおすすめ」に下線を合わせると、表示制御部２１２は、第２お勧め製品表示画面を表示するようにディスプレイ２４を制御する。

【0079】

図１０は、ディスプレイ２４に表示される第２お勧め製品表示画面の一例を表す模式図である。図１０に示される例では、画面上部の「肌からおすすめ」に下線が引かれている。これにより、本画面が、肌状態に基づいて勧められる製品を表示する画面であることが明らかとなっている。お勧め製品は、「肌測定からおすすめするアイテム」として表示され、製品カテゴリ毎に分けて表示されている。例えば、「クレンジング」、「洗顔料」、「化粧水」毎に、それぞれ該当する製品が表示されている。図１０に示される画面では、「クレンジング」、「洗顔料」、「化粧水」が表示されているが、画面を上方へスライドさせることで、他のカテゴリ、例えば、「乳液」、「保湿クリーム」、及び「導入液」等の製品も同一画面中に表示される。また、図９で示される第１お勧め製品表示画面と同様に、第２お勧め製品表示画面においても製品毎の表示領域に各製品の情報が表示されている。

【0080】

また、肌状態に基づいて選択された基礎化粧品と、他の使用者が使っているとして選択された基礎化粧品とが同一画面で表示される場合、例えば、図１１に示されるように表示される。図１１に示される例では、いくつかの製品の表示領域の上方には、「他ユーザーおすすめ」と表示される識別子が付されている。この識別子により、この識別子が付された製品が他の使用者が使用している基礎化粧品に基づいて勧められる製品であり、その他の製品とは、識別することができるようになっている。また、画面右情報には、「他ユーザー」と記載される操作アイコン２４６が表示されており、使用者は、自身にとって好ましいとして抽出された他の使用者の情報を閲覧可能となっている。

【0081】

なお、図５では、処理サーバ１０により基礎化粧品が推薦される場合を例に説明しているが、同様のフローで、本実施形態に係る処理サーバ１０により、メーキャップ化粧品が推薦されても構わない。

【0082】

このとき、処理サーバ１０に記憶されている学習済みモデル１２２は、例えば、顔画像の入力に基づき、顔の特徴を判断するように学習されている。顔の特徴とは、例えば、顔の形状、並びに、顔の構成要素の形状、色彩、及び位置等である。顔の特徴を判断させるように学習済みモデル１２２を学習させる場合、学習用データは、例えば、使用者の顔を撮像して得られた顔画像を入力データとし、この顔画像に基づいて専門家が判断した顔の特徴を正解出力データとする。顔の特徴は、例えば、顔の形状、並びに、顔の構成要素の形状、色、及び位置それぞれについてのパラメータ値でもよいし、これらの要素を統合した一つのパラメータ値であってもよい。

【0083】

製品推薦システム１において、通信端末２０−１に対してメーキャップ化粧品が推薦される場合、例えば、処理サーバ１０と通信端末２０−１とは以下のように動作する。

【0084】

例えば、図５のステップＳ１０４において、処理部１１の判断部１１２は、使用者の顔の撮影画像に基づいて顔の特徴を判断する。具体的には、例えば、判断部１１２は、記憶部１２に記憶されている学習済みモデル１２２を読み出し、画像データを学習済みモデル１２２へ入力する。学習済みモデル１２２からは、入力された画像データに対するパラメータ値が出力される。例えば、顔の形状、並びに、顔の構成要素の形状、色彩、及び位置等を勘案した上での１つのパラメータ値が出力される。

【0085】

顔の特徴が判断されると、処理部１１の記憶制御部１１１は、例えば、図５のステップＳ１０５において、判断結果を判断結果データ１２３２として個人情報データベース１２３に記憶させる。これにより、例えば、図４に示される判断結果データ１２３２の最下段に、新たに判断された顔の特徴が判断された判断結果が追加される。

【0086】

顔の特徴が判断されると、処理部１１の抽出部１１３は、例えば、図５のステップＳ１０６において、使用者と類似する他の使用者を抽出する。ここで、使用者と類似する他の使用者とは、例えば、使用者と年齢、生活習慣、及び顔の特徴が近い他の使用者を表す。具体的には、例えば、抽出部１１３は、個人情報データベース１２３の基本データ１２３１及び判断結果データ１２３２を参照し、「氏名：ＡＡＡＡ」に対し、年齢、生活習慣、及び顔の特徴が似ている他の使用者を抽出する。なお、使用者と類似の使用者は、例えば、使用者と年齢及び顔の特徴が近いと判断された他の使用者であってもよいし、使用者と顔の特徴が近いと判断された他の使用者であってもよい。

【0087】

他の使用者が抽出されると、処理部１１の選択部１１４は、例えば、図５のステップＳ１０７において、使用者に合ったメーキャップ化粧品を選択する。具体的には、例えば、選択部１１４は、個人情報データベース１２３の使用履歴データ１２３３を参照し、抽出された他の使用者が使っているメーキャップ化粧品を選択する。このとき、選択部１１４は、例えば、選択したメーキャップ化粧品に対して優先度を設定してもよい。例えば、選択部１１４は、抽出した他の使用者のうち複数の使用者が使用しているメーキャップ化粧品ほど優先度を高く設定する。

【0088】

また、選択部１１４は、判断された顔の特徴に基づき、使用者に合うメーキャップ化粧品を選択する。なお、選択部１１４は、判断された顔の特徴に加え、年齢も加味してメーキャップ化粧品を選択してもよい。また、選択部１１４は、例えば、選択したメーキャップ化粧品に対して優先度を設定してもよい

【0089】

メーキャップ化粧品が選択されると、処理部１１の表示制御部１１５は、例えば、図５のステップＳ１０８において、通信端末２０−１に表示させるための表示画像を作成する。具体的には、例えば、表示制御部１１５は、個人情報データベース１２３の判断結果データ１２３２から、顔の特徴について新たに記憶された情報を読み込む。表示制御部１１５は、読み込んだ情報を予め設定されたレイアウトに反映させ、表示画像としての測定結果表示画像を作成する。なお、測定結果表示画像は、ステップＳ１０４で顔の特徴が判断されたときに作成されてもよい。

【0090】

また、表示制御部１１５は、他の使用者が使っているとして選択されたメーキャップ化粧品についての製品情報を製品情報データベース１２４から読み出す。表示制御部１１５は、読み出した情報を予め設定されたレイアウトに反映させ、表示画像としての第３お勧め製品表示画像を作成する。このとき、表示制御部１１５は、メーキャップ化粧品に対して付された優先順位に基づき、メーキャップ化粧品を表示する順序を設定してもよい。

【0091】

また、表示制御部１１５は、顔の特徴に基づいて選択されたメーキャップ化粧品についての製品情報を製品情報データベース１２４から読み出す。表示制御部１１５は、読み出した情報を予め設定されたレイアウトに反映させ、表示画像としての第４お勧め製品表示画像を作成する。なお、表示制御部１１５は、第３お勧め製品表示画像と第４お勧め製品表示画像とを必ずしも別々に作成する必要はない。例えば、顔の特徴に基づいて選択されたメーキャップ化粧品と、他の使用者が使っているとして選択されたメーキャップ化粧品とが同一画面で表示されてもよい。このとき、例えば、他の使用者が使っているとして選択されたメーキャップ化粧品は、顔の特徴に基づくものとは識別可能に表示されることが望ましい。

【0092】

表示制御部１１５で作成された表示画像、例えば、測定結果表示画像、第３お勧め製品表示画像、及び第４お勧め製品表示画像は、画像データとして通信端末２０−１へ送信される。

【0093】

通信端末２０−１は、表示画像を受信すると、例えば、図５のステップＳ１０９において、処理部２１の表示制御部２１２により、測定結果表示画像に基づいて測定結果表示画面を表示するようにディスプレイ２４を制御する。

【0094】

図１２は、ディスプレイ２４に表示される測定結果表示画面の一例を表す模式図である。図１２に示される例では、顔の形状、並びに、顔の構成要素の形状、色彩、及び位置等を勘案した上で判断されるパラメータ値としての顔パターンが表示される。例えば、測定結果表示画面の中央には、顔パターンの概略図が表示され、概略図の下方には顔パターンの識別番号等が表示される。識別番号の記載領域の下方には、操作アイコン２４７が表示されている。操作アイコン２４７には、「顔パターンに合いそうなアイテムをみる」と記載されている。使用者により操作アイコン２４７が押下されることで、測定結果表示画面から、第３お勧め製品表示画像に基づく第３お勧め製品表示画面へ移行する。

【0095】

なお、図８と同様に、測定結果表示画面では、画面を遷移させるためのアイコンは、操作アイコン２４７のみである。このため、使用者は、画面を遷移させるためには操作アイコン２４７を押下する他に選択肢がなく、使用者を、お勧めのアイテムを表示する画面へ違和感なく誘導することが可能となる。

【0096】

測定結果表示画面において、操作アイコン２４７が押下されると、通信端末２０−１の表示制御部２１２は、第３お勧め製品表示画面を表示するようにディスプレイ２４を制御する。

【0097】

図１３は、ディスプレイ２４に表示される第３お勧め製品表示画面の一例を表す模式図である。図１３に示される例では、画面上部の「他ユーザーのおすすめ」に下線が引かれている。これにより、本画面が、他の使用者が使用しているメーキャップ化粧品に基づいて勧められる製品を表示する画面であることが明らかとなっている。お勧め製品は、「顔パターンが似ているユーザーの使用履歴からおすすめするアイテム」として表示され、製品カテゴリ毎に分けて表示されている。例えば、「ファンデーション」、「パレット」、「マスカラ」毎に、それぞれ該当する製品が表示されている。図１３に示される画面では、「ファンデーション」、「パレット」、「マスカラ」が表示されているが、画面を上方へスライドさせることで、他のカテゴリ、例えば、「アイライナー」及び「口紅」等の製品も同一画面中に表示される。

【0098】

また、「他ユーザーのおすすめ」の表示の上方には、操作アイコン２４８が表示されている。操作アイコン２４８には、「他ユーザー」と記載されている。使用者により操作アイコン２４８が押下されると、処理部２１の通信制御部２１３により、他の使用者の情報を要求する旨の要求信号が処理サーバ１０へ出力される。処理サーバ１０は、要求信号に応じ、個人情報データベース１２３から、他の使用者の情報を読み出し、通信端末２０−１へ返す。これにより、使用者と類似するとして抽出された他の使用者の情報がディスプレイ２４に表示される。このため、使用者は、気になるであろう他の使用者と情報をシェアすることが可能となる。このとき開示される情報は、例えば、図４に示される個人情報データベース１２３に記憶されている、他の使用者の基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３である。なお、他の使用者が開示する情報の範囲に制限をかけてもよい。製品毎の表示領域及び画面下端の表示については、図９での説明と同様である。

【0099】

図１３において、画面上部の「顔パターンからおすすめ」に下線を合わせると、表示制御部２１２は、第４お勧め製品表示画面を表示するようにディスプレイ２４を制御する。

【0100】

図１４は、ディスプレイ２４に表示される第４お勧め製品表示画面の一例を表す模式図である。図１４に示される例では、画面上部の「顔パターンからおすすめ」に下線が引かれている。これにより、本画面が、顔の特徴に基づいて勧められる製品を表示する画面であることが明らかとなっている。お勧め製品は、「顔パターンからおすすめするアイテム」として表示され、製品カテゴリ毎に分けて表示されている。例えば、「ファンデーション」、「パレット」、「マスカラ」毎に、それぞれ該当する製品が表示されている。図１４に示される画面では、「ファンデーション」、「パレット」、「マスカラ」が表示されているが、画面を上方へスライドさせることで、他のカテゴリ、例えば、「アイライナー」及び「口紅」等の製品も同一画面中に表示される。製品毎の表示領域及び画面下端の表示については、図９での説明と同様である。

【0101】

また、顔の特徴に基づいて選択されたメーキャップ化粧品と、他の使用者が使っているとして選択されたメーキャップ化粧品とが同一画面で表示される場合、例えば、図１５に示されるように表示される。図１５に示される例では、いくつかの製品の表示領域の上方には、「他ユーザーおすすめ」と表示される識別子が付されている。この識別子により、この識別子が付された製品が他の使用者が使用しているメーキャップ化粧品に基づいて勧められる製品であり、その他の製品とは、識別することができるようになっている。また、画面右情報には、「他ユーザー」と記載される操作アイコン２４８が表示されており、使用者は、自身に類似しているとして抽出された他の使用者の情報を閲覧可能となっている。

【0102】

＜アドバイザーによる化粧品の推薦＞
処理サーバ１０が、アドバイザーからのアドバイスに基づいて化粧品を推薦する場合の処理サーバ１０と通信端末２０−１〜２０−ｎとの動作について説明する。なお、以下では、通信端末２０−１〜２０−ｎのうち、通信端末２０−２がアドバイザーにより操作され、通信端末２０−３がアドバイスを受ける使用者により操作される場合を例に説明するが、いずれの通信端末が誰に操作されても構わない。

【0103】

図１６は、図１に示される製品推薦システム１において、通信端末２０−３に対して基礎化粧品が推薦される場合の処理サーバ１０と通信端末２０−２，２０−３との動作の例を説明する図である。

【0104】

まず、美容アドバイザーである通信端末２０−２の操作者は、通信端末２０−２の出力インタフェース２４であるディスプレイに表示される製品推薦プログラム２２１の実行アイコンを押下する。製品推薦プログラム２２１の実行アイコンが押下されると、通信端末２０−２の処理部２１は、製品推薦プログラム２２１を実行する。製品推薦プログラム２２１が実行されると、ディスプレイ２４にホーム画面が表示される。図１７は、通信端末２０−２で表示されるホーム画面の一例を表す模式図である。図１７に示されるホーム画面では、例えば、現在ピックアップされている化粧品が表示されている。

【0105】

また、図１７のホーム画面の下端には、他の使用者と連絡を取り合うための通信モードへ遷移するためのアイコン２４８が表示されている。美容アドバイザーは、操作アイコン２４８を押下し（ステップＳ２０１）、通信モードを選択する。通信モードが選択されると、通信端末２０−２は、他の使用者についての情報を要求する要求信号を処理サーバ１０へ送信される。

【0106】

処理サーバ１０は、通信端末２０−２から送信された要求信号を受信すると、処理部１１の表示制御部１１５により、通信端末２０−２に表示させるための表示画像を作成する（ステップＳ２０２）。具体的には、例えば、表示制御部１１５は、個人情報データベース１２３から複数の使用者についての基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３を読み出す。このとき、例えば、氏名及びアドレス等の個人を識別できる情報は読み出されない。表示制御部１１５は、読み込んだ情報を予め設定されたレイアウトに反映させ、表示画像としての候補者表示画像を作成する。作成された候補者表示画像は、画像データとして通信端末２０−２へ送信される。

【0107】

なお、抽出部１１３が、個人情報データベース１２３から読み出された基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３に基づき、美容アドバイザーがアドバイスする可能性の高い使用者を抽出しても構わない。このとき、抽出部１１３は、例えば、抽出した使用者に対して優先度を設定してもよい。例えば、抽出部１１３は、美容アドバイザーと年齢、肌状態、製品の使用履歴が近いほど優先度を高く設定する。表示制御部１１５は、抽出された使用者の情報を予め設定されたレイアウトに反映させ、候補者表示画像を作成する。抽出された使用者に優先度が設定されている場合、表示制御部１１５は、付された優先度に応じた表示を付してもよい。

【0108】

通信端末２０−２は、表示画像を受信すると、処理部２１の表示制御部２１２により、候補者表示画像に基づいて候補者表示画面を表示するようにディスプレイ２４を制御する（ステップＳ２０３）。

【0109】

図１８は、ディスプレイ２４に表示される候補者表示画面の一例を表す模式図である。図１８に示される画面では、候補者についての情報を表示するための表示領域が設けられている。表示領域には、例えば、年齢、肌の状態、及び製品の使用履歴等が記載されている。抽出部１１３により候補者が抽出されている場合には、候補者の表示領域の左上に、候補者の優先度を表す識別子が付されても構わない。候補者毎の表示領域を美容アドバイザーが選択すると、対応する候補者の詳細情報が表示される。また、候補者表示画面の候補者の表示領域の下方には、操作アイコン２４９が表示されている。操作アイコン２４９には、「決定」と表示されている。

【0110】

美容アドバイザーは、ディスプレイ２４に表示される候補者表示画面から、自身がエビデンスになりそうな候補者を選択する。少なくとも一人の候補者を選択すると、美容アドバイザーは、操作アイコン２４９を押下する（ステップＳ２０４）。操作アイコン２４９が押下されると、選択した候補者との通信手段の確立を要求する要求信号が処理サーバ１０へ送信される。

【0111】

処理サーバ１０は、通信端末２０−２から送信された要求信号を受信すると、処理部１１の記憶制御部１１１により、個人情報データベース１２３に記憶されている、使用者の連絡先情報を読み出し（ステップＳ２０５）、通信端末２０−２へ送信する。

【0112】

通信端末２０−２は、連絡先情報を受信すると、表示制御部２１２により、受信した連絡先情報をディスプレイ２４に表示する（ステップＳ２０６）。 美容アドバイザーは、ディスプレイ２４に表示される連絡先にアクセスし、アクセスした通信端末２０−３へアドバイス及びお勧めの基礎化粧品についての情報を提供する（ステップＳ２０７）。例えば、通信端末２０−２は、美容アドバイザーが使用した実績がある製品の情報を表示して、美容アドバイザーから、候補者に対してお薦めする製品の選択をする操作を受け付ける。これにより、美容アドバイザーが、候補者に対して、お薦めの製品の情報を送信することが容易になる。例えば、図１８の画面例において、美容アドバイザーが候補者を選択するための操作を受け付ける画面において、美容アドバイザーがお勧めする製品のリスト（美容アドバイザーが使用している、または、使用した実績がある製品など）を表示し、候補者を指定する操作と、お薦めする製品を指定する操作とを１画面において受け付けることとしてもよい。また、図１８の画面例において、候補者を指定する操作に応答して、当該候補者に対し美容アドバイザーがお勧めする製品を選択するための画面を表示することとしてもよい。

【0113】

通信端末２０−３は、お勧めの基礎化粧品についての情報を受信すると、処理部２１の表示制御部２１２により、お勧め製品表示画面を表示するようにディスプレイ２４を制御する（ステップＳ２０８）。このとき、表示制御部２１２は、通信端末２０−３を操作する使用者に表示の許諾を求めてもよい。

【0114】

図１９は、ディスプレイ２４に表示されるお勧め製品表示画面の一例を表す模式図である。図１９に示される例では、画面上部の「美容アドバイザーからのおすすめ」に下線が引かれている。これにより、本画面が、美容アドバイザーから勧められる製品を表示する画面であることが明らかとなっている。お勧め製品は、「美容アドバイザーがおすすめするアイテム」として表示され、製品カテゴリ毎に分けて表示されている。

【0115】

また、「美容アドバイザーからのおすすめ」の表示の隣には、操作アイコン２４１０が表示されている。操作アイコン２４１０には、「美容アドバイザー」と記載されている。通信端末２０−３を操作する使用者により操作アイコン２４１０が押下されると、処理部２１の通信制御部２１３により、美容アドバイザーの情報を要求する旨の要求信号が処理サーバ１０へ出力される。処理サーバ１０は、要求信号に応じ、個人情報データベース１２３から、美容アドバイザーの情報を読み出し、通信端末２０−３へ返す。これにより、美容アドバイザーについての情報が表示される。このため、使用者は、美容アドバイザーと情報をシェアすることが可能となる。このとき開示される情報は、例えば、図４に示される個人情報データベース１２３に記憶されている、他の使用者の基本データ１２３１、判断結果データ１２３２、及び使用履歴データ１２３３である。なお、美容アドバイザーが開示する情報の範囲に制限をかけてもよい。

【0116】

通信端末２０−３を操作する使用者は、お勧めされた基礎化粧品に興味がある場合、当該基礎化粧品の表示領域を選択する（ステップＳ２０９）。表示領域を使用者が選択すると、対応する基礎化粧品の詳細情報が表示される。表示される製品のうちいずれかが使用者に選択されると、選択された旨が処理サーバ１０へ通知される。

【0117】

処理サーバ１０は、通知を受信すると、処理部１１の記憶制御部１１１により、美容アドバイザーが製品購入に至るきっかけを作ったとして貢献度を計上する（ステップＳ２１０）。美容アドバイザーは、貢献度に応じ、所定のインセンティブを得ることが可能である。所定のインセンティブとは、例えば、サービスを利用することへの対価として使用することができるデータ（ポイントなど）、ステータスの向上、又はグッズの提供等である。

【0118】

なお、図１６では、美容アドバイザーにより基礎化粧品が推薦される場合を例に説明しているが、同様のフローで、メーキャップアドバイザーにより、メーキャップ化粧品が推薦されても構わない。このとき、例えば、候補者表示画面では、候補者の年齢、及び顔パターン等が表示され、メーキャップアドバイザーは、候補者表示画面に表示される候補者の中から、自身がエビデンスになりそうな候補者を選択する。

【0119】

以上のように、本実施形態に係る処理サーバ１０は、記憶部１２に、複数の使用者についての特徴が判断された判断結果データ１２３２と、複数の使用者が製品を使用した履歴についての使用履歴データ１２３３とを記憶している。処理サーバ１０は、通信端末２０から送信される、使用者の顔を撮影した画像データを、通信インタフェース１３により受信する。処理サーバ１０は、判断部１１２により、受信した画像データに基づき、使用者の特徴を判断する。処理サーバ１０は、抽出部１１３により、判断部１１２で判断された判断結果と、記憶部１２に記憶される使用者の判断データとに基づき、画像データが送信されてきた使用者と対応する使用者を抽出する。処理サーバ１０は、選択部１１４により、抽出された使用者について、記憶部１２に記憶される履歴データに基づき、おすすめ製品を選択する。そして、処理サーバ１０は、表示制御部１１５により、選択されたおすすめ製品を通信端末２０に表示させるようにしている。これにより、他の使用者の実績というエビデンスをベースに製品をレコメンドすることが可能となるため、使用者のお勧め製品に対する納得感を高めることが可能となる。

【0120】

また、本実施形態では、記憶部１２で記憶される判断結果データ１２３２は、複数の使用者に対して判断された肌の状態に関するデータである。判断部１１２は、画像データに基づき、肌の状態を判断する。抽出部１１３は、判断部１１２で判断された肌の状態と、記憶部１２で記憶される、使用者の肌の状態に関するデータとに基づき、画像データが送信されてきた使用者と対応する使用者を抽出する。そして、選択部１１４は、抽出された使用者の履歴データに基づき、お勧めの基礎化粧品を選択するようにしている。これにより、他の使用者の実績というエビデンスをベースに基礎化粧品をレコメンドすることが可能となるため、お勧めされる基礎化粧品に対する使用者の納得感を高めることが可能となる。

【0121】

また、本実施形態では、記憶部１２は、複数の使用者についての年齢情報をさらに記憶している。通信インタフェース１３は、通信端末２０から送信される使用者の年齢情報を受信する。そして、抽出部１１３は、判断部１１２で判断された肌の状態及び受信された年齢情報と、記憶部１２に記憶される肌の状態に関するデータ及び年齢情報とに基づき、画像データが送信されてきた使用者と対応する使用者を抽出するようにしている。これにより、年齢を含めて他の使用者を抽出することが可能となるため、レコメンド性が向上し、勧められる基礎化粧品に対する納得感をさらに高めることが可能となる。

【0122】

また、本実施形態では、記憶部１２は、複数の使用者についての生活習慣情報をさらに記憶している。通信インタフェース１３は、通信端末２０から送信される使用者の生活習慣情報を受信する。そして、抽出部１１３は、判断部１１２で判断された肌の状態、受信された年齢情報、及び受信された生活習慣情報と、記憶部１２に記憶されている肌の状態に関するデータ、年齢情報、及び生活習慣情報とに基づき、画像データが送信されてきた使用者と対応する使用者を抽出するようにしている。これにより、睡眠、及び食事等の生活習慣を含めて他の使用者を抽出することが可能となるため、レコメンド性が向上し、勧められる基礎化粧品に対する納得感をさらに高めることが可能となる。

【0123】

また、本実施形態では、記憶部１２で記憶される判断結果データ１２３２は、複数の使用者に対して判断された顔の特徴に関するデータである。判断部１１２は、画像データに基づき、顔の特徴を判断する。抽出部１１３は、判断部１１２で判断された顔の特徴と、記憶部１２で記憶される、使用者の顔の特徴に関するデータとに基づき、画像データが送信されてきた使用者と対応する使用者を抽出する。そして、選択部１１４は、抽出された使用者の履歴データに基づき、お勧めのメーキャップ化粧品を選択するようにしている。これにより、他の使用者の実績というエビデンスをベースにメーキャップ化粧品をレコメンドすることが可能となるため、お勧めされるメーキャップ化粧品に対する使用者の納得感を高めることが可能となる。

【0124】

また、本実施形態では、記憶部１２は、複数の使用者についての年齢情報をさらに記憶している。通信インタフェース１３は、通信端末２０から送信される使用者の年齢情報を受信する。そして、抽出部１１３は、判断部１１２で判断された顔の特徴及び受信された年齢情報と、記憶部１２に記憶される顔の特徴に関するデータ及び年齢情報とに基づき、画像データが送信されてきた使用者と対応する使用者を抽出するようにしている。これにより、年齢を含めて他の使用者を抽出することが可能となるため、レコメンド性が向上し、勧められるメーキャップ化粧品に対する納得感をさらに高めることが可能となる。

【0125】

また、本実施形態では、記憶部１２は、複数の使用者についての生活習慣情報をさらに記憶している。通信インタフェース１３は、通信端末２０から送信される使用者の生活習慣情報を受信する。そして、抽出部１１３は、判断部１１２で判断された顔の特徴、受信された年齢情報、及び受信された生活習慣情報と、記憶部１２に記憶されている顔の特徴に関するデータ、年齢情報、及び生活習慣情報とに基づき、画像データが送信されてきた使用者と対応する使用者を抽出するようにしている。これにより、睡眠、及び食事等の生活習慣を含めて他の使用者を抽出することが可能となるため、レコメンド性が向上し、勧めされるメーキャップ化粧品に対する納得感をさらに高めることが可能となる。

【0126】

また、本実施形態では、選択部１１４は、記憶部１２に記憶されている使用履歴データ１２３３に基づき、お勧めの基礎化粧品又はメーキャップ化粧品に対し優先度を設定するようにしている。これにより、使用者のお勧め製品に対する納得感をさらに高めることが可能となる。

【0127】

また、本実施形態では、通信インタフェース１３は、アドバイザーから、記憶部１２に記憶される判断結果データ１２３２の要求を受け付ける。表示制御部１１５は、アドバイザーからの要求に応じ、記憶部１２に記憶されている使用者についての判断結果データ１２３２を、アドバイザーの通信端末２０に表示させる。通信インタフェース１３は、アドバイザーから、アドバイザーが指定する使用者へのアクセス情報の要求を受け付ける。表示制御部１１５は、アドバイザーからの要求に応じ、指定された使用者のアクセス情報を、アドバイザーの通信端末２０に表示させる。これにより、ユーザーは、他のユーザーとコミュニケーションを取り、情報を共有し合いながら、お勧めの基礎化粧品又はメーキャップ化粧品についての情報を得ることが可能となる。また、美容アドバイザー又はメーキャップアドバイザー等がクライアント候補と接触する可能性を高めることができ、納得感のある製品の推薦をより一層促すことが可能となる。

【0128】

したがって、上記実施形態に係る処理サーバ１０、製品推薦プログラム１２１、製品推薦システム１、及び製品推薦方法によれば、使用者が必要と感じる化粧品を推薦することができる。

【0129】

以上、本開示のいくつかの実施形態を説明したが、これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
＜付記＞
以上の各実施形態で説明した事項を以下に付記する。

【0130】

（付記１）
制御部を備える情報処理装置であって、制御部が、
複数の第１ユーザについて、当該第１ユーザの身体の部位のセンシング結果に基づき特定された当該第１ユーザの身体の部位の特徴を示す判断データ、および、複数の第１ユーザが製品を使用した履歴を示す履歴データを記憶部に記憶させる記憶手段、
第２ユーザの身体の部位のセンシング結果に基づき当該第２ユーザの身体の部位の特徴を特定した結果と、第１ユーザの判断データとに基づいて、複数の第１ユーザのうち、第２ユーザに対応する第１ユーザを抽出する抽出手段、
抽出された前記第１ユーザの履歴データに基づいて、複数の製品のうち、第２ユーザに提示する製品を選択する選択手段、
選択された製品を第２ユーザに提示する提示手段、として機能する、情報処理装置。

【0131】

（付記２）
制御部は、さらに、
第２ユーザの身体の部位のセンシング結果を受け付ける受付手段、
受付手段により第２ユーザのセンシング結果を受け付けたことに応答して当該身体の部位の特徴を特定する判断手段、として機能し、
提示手段は、受付手段により第２ユーザのセンシング結果を受け付けたことに応答して判断手段による特定した結果を第２ユーザに表示し、当該第２ユーザに表示される特定画面において、当該特定した結果とともに、選択された製品を表示する、（付記１）に記載の情報処理装置。

【0132】

（付記３）
提示手段は、特定画面において、選択された製品と関連付けて、抽出手段で抽出される第１ユーザの情報を表示する、（付記２）に記載の情報処理装置。

【0133】

（付記４）
記憶手段は、身体の部位のセンシング結果として、第１ユーザの顔のセンシング結果に基づき特定された第１ユーザの顔の特徴を示す判断データを記憶部に記憶させ、
抽出手段は、第２ユーザの身体の部位のセンシング結果として、第２ユーザの顔のセンシング結果に基づき第２ユーザの顔の特徴を特定した結果と、第１ユーザの判断データとに基づいて、第１ユーザを抽出する、（付記１）から（付記３）のいずれかに記載の情報処理装置。

【0134】

（付記５）
記憶手段は、記憶部に、判断データとして、第１ユーザの顔の肌の状態を示す情報を記憶させ、
抽出手段は、第２ユーザの顔の肌の状態を特定した結果に基づき第１ユーザを抽出し、
選択手段は、抽出された第１ユーザが、肌をケアするケア製品を使用した履歴データに基づいて、複数の製品のうち、第２ユーザに提示するケア製品を選択する、（付記４）に記載の情報処理装置。

【0135】

（付記６）
情報処理装置は、記憶部において、顔の画像データと、当該画像データに示される顔の肌の状態を評価した評価結果とに基づき生成される学習済みモデルを記憶しており、当該学習済みモデルは、顔の撮影画像を入力とした場合に当該顔の肌の状態の評価結果を出力するものであり、
記憶手段は、第１ユーザの顔の撮影画像と学習済みモデルとに基づき第１ユーザの顔の肌の状態を特定し、特定した結果を判断データとして記憶部に記憶させる、（付記５）に記載の情報処理装置。

【0136】

（付記７）
記憶手段は、記憶部に、第１ユーザの情報と関連付けて、当該第１ユーザの年齢または生活習慣の少なくともいずれかの情報を記憶させ、
抽出手段は、第２ユーザの年齢または生活習慣の情報の少なくともいずれかを取得することにより、第１ユーザの肌の状態を示す情報と、第２ユーザの肌の状態を示す情報と、第１ユーザの年齢または生活習慣の少なくともいずれかを示す情報と、第２ユーザの年齢または生活習慣の少なくともいずれかを示す情報とに基づいて、第１ユーザを抽出する、（付記５）または（付記６）に記載の情報処理装置。

【0137】

（付記８）
選択手段は、抽出される第１ユーザの履歴データに基づいて、第２ユーザに提示する製品の優先度を設定し、
提示手段は、優先度の設定に基づいて、第２ユーザに選択された製品を提示する、（付記１）から（付記７）のいずれかに記載の情報処理装置。

【0138】

（付記９）
記憶手段は、記憶部に、判断データとして、第１ユーザの顔の形状を示す情報を記憶させ、
抽出手段は、第２ユーザの顔の形状を特定した結果に基づき第１ユーザを抽出し、
選択手段は、抽出された第１ユーザが、メーキャップ製品を使用した履歴データに基づいて、複数の製品のうち、第２ユーザに提示するメーキャップ製品を選択する、（付記４）に記載の情報処理装置。

【0139】

（付記１０）
提示手段は、複数の第１ユーザのいずれかである特定ユーザの要求に応答して、第２ユーザの身体の部位の特徴を特定した結果を特定ユーザに提示し、
特定ユーザから、第２ユーザに対し、メッセージの送信を受け付けることにより当該第２ユーザに特定ユーザのメッセージを提示し、
選択手段は、第２ユーザに対し、特定ユーザの履歴データに基づいて、第２ユーザに提示する製品を選択する、（付記１）から（付記９）のいずれかに記載の情報処理装置。

【0140】

（付記１１）
方法であって、情報処理装置の制御部が、
複数の第１ユーザについて、当該第１ユーザの身体の部位のセンシング結果に基づき特定された当該第１ユーザの身体の部位の特徴を示す判断データ、および、複数の第１ユーザが製品を使用した履歴を示す履歴データを記憶部に記憶させるステップ、
第２ユーザの身体の部位のセンシング結果に基づき当該第２ユーザの身体の部位の特徴を特定した結果と、第１ユーザの判断データとに基づいて、複数の第１ユーザのうち、第２ユーザに対応する第１ユーザを抽出するステップ、
抽出された第１ユーザの履歴データに基づいて、複数の製品のうち、第２ユーザに提示する製品を選択するステップ、
選択された製品を第２ユーザに提示するステップ、を行う、方法。

【0141】

（付記１２）
プロセッサを備えるコンピュータに実行させるプログラムであって、プロセッサに、
複数の第１ユーザについて、当該第１ユーザの身体の部位のセンシング結果に基づき特定された当該第１ユーザの身体の部位の特徴を示す判断データ、および、複数の第１ユーザが製品を使用した履歴を示す履歴データを記憶部に記憶させるステップと、
第２ユーザの身体の部位のセンシング結果に基づき当該第２ユーザの身体の部位の特徴を特定した結果と、第１ユーザの判断データとに基づいて、複数の第１ユーザのうち、第２ユーザに対応する第１ユーザを抽出するステップと、
抽出された第１ユーザの履歴データに基づいて、複数の製品のうち、第２ユーザに提示する製品を選択するステップと、
選択された製品を第２ユーザに提示するステップと、を実行させる、プログラム。

【符号の説明】

【0142】

１…製品推薦システム、１０…処理サーバ、１１…処理部、１１１…記憶制御部、１１２…判断部、１１３…抽出部、１１４…選択部、１１５…表示制御部、１２…記憶部、１２１…製品推薦プログラム、１２２…学習済みモデル、１２３…個人情報データベース、１２３１…基本データ、１２３２…判断結果データ、１２３３…使用履歴データ、１２４…製品情報データベース、１３…通信インタフェース、２０，２０−１，２０−２，２０−３，２０−ｎ…通信端末、２１…処理部、２２…記憶部、２３…入力インタフェース、２４…出力インタフェース、２５…通信インタフェース、２６…撮像部、２１１…撮影制御部、２１２…表示制御部、２１３…通信制御部

【要約】

【課題】製品が使用者に推薦されることについて納得感が感じられうる製品を使用者に推薦すること。
【解決手段】情報処理装置は制御部を備える。制御部は、記憶手段、抽出手段、選択手段、提示手段として機能する。記憶手段は、複数の第１ユーザについて、当該第１ユーザの身体の部位のセンシング結果に基づき特定された当該第１ユーザの身体の部位の特徴を示す判断データ、及び複数の第１ユーザが製品を使用した履歴を示す履歴データを記憶部に記憶させる。抽出手段は、第２ユーザの身体の部位のセンシング結果に基づき当該第２ユーザの身体の部位の特徴を特定した結果と、第１ユーザの判断データとに基づいて、複数の第１ユーザのうち、第２ユーザに対応する第１ユーザを抽出する。選択手段は、抽出された第１ユーザの履歴データに基づいて、複数の製品のうち、第２ユーザに提示する製品を選択する。提示手段は、選択された製品を第２ユーザに提示する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】