特開 2023-177260 プログラム、情報処理装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023177260

(43)【公開日】2023-12-13

(54)【発明の名称】プログラム、情報処理装置、及び方法

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20231206BHJP

【ＦＩ】

G06Q30/0601 330

【審査請求】未請求

【請求項の数】16

【出願形態】ＯＬ

(21)【出願番号】P 2023076280

(22)【出願日】2023-05-02

(62)【分割の表示】P 2022088184の分割

【原出願日】2022-05-31

(71)【出願人】

【識別番号】517234011

【氏名又は名称】株式会社Ｎｏｖｅｒａ

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】諸冨 大樹

(72)【発明者】

【氏名】遠藤 国忠

(72)【発明者】

【氏名】堀江 優

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB24

(57)【要約】

【課題】ユーザに負担なくユーザに合った商品をレコメンドすることができるようにする。
【解決手段】プロセッサを備えるコンピュータに処理を行わせるプログラムであって、前記プロセッサに、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップと、前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップと、ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップと、抽出した前記商品を、前記ユーザに提示するステップと、を実行させる。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサを備えるコンピュータに処理を行わせるプログラムであって、前記プロセッサに、
ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップと、
前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップと、
ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップと、
抽出した前記商品を、前記ユーザに提示するステップと、
を実行させるプログラム。

【請求項2】

前記学習済みモデルは、前記画像データを解析することにより、前記第１部分を特定し、前記第１部分の色を抽出し、前記第１部分の色をベースカラーとして出力する、
請求項１に記載のプログラム。

【請求項3】

前記学習済みモデルは、前記画像データを入力することに応じて、前記ベースカラーと、顔のパーツの形状とを出力する、
請求項１に記載のプログラム。

【請求項4】

前記学習済みモデルは、前記画像データを入力することに応じて、前記ベースカラーと、前記顔のパーツの形状とを、ベクトルで表現した特徴量として出力する、
請求項３に記載のプログラム。

【請求項5】

前記特徴量は、前記顔のパーツの各々について、他のパーツとの距離又は距離比を要素に含む、
請求項４に記載のプログラム。

【請求項6】

前記特徴量は、ベースカラーの分類を要素に含む、
請求項４に記載のプログラム。

【請求項7】

複数の他のユーザの各々について、前記他のユーザの前記特徴量を取得するステップと、
前記複数の他のユーザの各々の前記特徴量をクラスタリングするステップと、
前記ユーザの特徴量との類似度が最も高いクラスを求めるステップと、
求めたクラスに属する複数の他のユーザの購買データを取得するステップと、
を実行させ、
前記商品を抽出するステップにおいて、前記購買データから、前記ユーザに提示する商品を抽出する、
請求項４に記載のプログラム。

【請求項8】

複数の他のユーザの各々について、前記他のユーザの前記特徴量を取得するステップと、
複数の他のユーザのうち、前記ユーザの特徴量との類似度が最も高い他のユーザを求めるステップと、
求めた前記他のユーザの商品の使用データを取得するステップと、
を実行させ、
前記商品を抽出するステップにおいて、前記使用データから、前記ユーザに提示する商品を抽出する、
請求項４に記載のプログラム。

【請求項9】

前記他のユーザは、有名人である、
請求項８に記載のプログラム。

【請求項10】

前記第１部分は、首部分である、
請求項１～９の何れかに記載のプログラム。

【請求項11】

前記商品は、肌に関する商品である、
請求項７～請求項９の何れかに記載のプログラム。

【請求項12】

前記肌に関する商品は、化粧品である、
請求項１１に記載のプログラム。

【請求項13】

前記商品は、健康に関する商品、髪型、又は衣服である、
請求項７～請求項９の何れかに記載のプログラム。

【請求項14】

前記商品は、トレーニングプログラム又はセミナーに関する商品である、
請求項７～請求項９の何れかに記載のプログラム。

【請求項15】

プロセッサを備える情報処理装置であって、前記プロセッサが、
ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップと、
前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップと、
ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップと、
抽出した前記商品を、前記ユーザに提示するステップと、
を実行する情報処理装置。

【請求項16】

プロセッサを備えるコンピュータが、
ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップと、
前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップと、
ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップと、
抽出した前記商品を、前記ユーザに提示するステップと、
を実行する方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、情報処理装置、及び方法に関する。

【背景技術】

【0002】

美しく仕上がるファンデーション等のメイクアップ製品を選択することができるようにすることを目的として、首の色を用いてメイクアップ製品を提案する、という技術がある（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－１５１４９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記の技術では、ユーザの化粧された肌の色と、素肌の色とから、ファンデーションの色が使用者に合ってないと判断した場合に、化粧品を提示することになる。しかし、ユーザの地肌のベースカラーを考慮していないため、そのユーザに適した商品をレコメンドできない、という問題がある。また、上記の技術では、ユーザが必ずメイクしている必要があり、ユーザに事前準備を求める点でユーザに負担が生じてしまう、という問題があった。

【0005】

本開示の目的は、ユーザに負担なくユーザに合った商品をレコメンドする技術を提供することにある。

【課題を解決するための手段】

【0006】

本開示の一態様のプログラムは、プロセッサを備えるコンピュータに処理を行わせるプログラムであって、前記プロセッサに、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップと、前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップと、ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップと、抽出した前記商品を、前記ユーザに提示するステップと、を実行させるプログラム。

【発明の効果】

【0007】

本開示の技術は、ユーザに負担なくユーザに合った商品をレコメンドすることができる。

【図面の簡単な説明】

【0008】

【図1】本開示の情報処理システム１の構成を示すブロック図である。

【図2】本開示の情報処理装置１０の構成を示すブロック図である。

【図3】本開示の情報処理装置１０の機能構成を示すブロック図である。

【図4】第１データＤＢ１２１のデータ構造の一例を示す図である。

【図5】第１ベクトルの類似を示すイメージ図である。

【図6】クラスタリングの一例を示すイメージ図である。

【図7】本開示のユーザ端末２０の構成を示すブロック図である。

【図8】本開示のユーザ端末２０の機能構成を示すブロック図である。

【図9】画像を撮影するための画面の一例を示すイメージ図である。

【図10】ユーザに商品を提示するための画面の一例を示すイメージ図である。

【図11】本開示の第１モデルの学習処理を示すフローチャートである。

【図12】本開示のクラスタリング処理を示すフローチャートである。

【図13】本開示の情報処理装置１０の提示処理を示すフローチャートである。

【図14】本開示のユーザ端末２０の提示処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本開示の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0010】

＜本開示の概要＞
本開示の技術は、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを入力することに応じて、当該ユーザのベースカラーを出力する学習済みモデルを用いて、入力を受け付けたユーザの画像データから当該ユーザのベースカラーを抽出する。そして、本開示の技術は、ベースカラーが類似する他のユーザが購買した、又は他のユーザが使用している商品を抽出し、抽出した商品を、ユーザに提示する。これにより、本開示の技術は、ユーザに負担なくユーザに合った商品をレコメンドすることができる。

【0011】

＜１．情報処理システム１の構成＞
図１は、第１実施形態の情報処理システム１の構成を示すブロック図である。図１に示すように、情報処理システム１は、情報処理装置１０、ユーザ端末２０、及びネットワーク３０を含む。情報処理装置１０と、ユーザ端末２０とは、有線又は無線の通信規格を用いて、ネットワーク３０を介して相互に通信可能に接続されている。

【0012】

＜２．情報処理装置１０の構成＞
情報処理装置１０は、例えば、ラップトップパソコン又はラックマウント型若しくはタワー型等のコンピュータ、スマートフォン等である。情報処理装置１０は、複数の情報処理装置１０により、１つのシステムとして構成される、冗長化構成される等されてもよい。情報処理装置１０を実現することに要する複数の機能の配分の仕方は、各ハードウェアの処理能力、情報処理装置１０に求められる仕様等に鑑みて適宜決定することができる。

【0013】

図２及び図３を用いて、本開示に係る情報処理装置１０について説明する。本開示に係る情報処理装置１０は、ユーザに商品を提示する提示処理等を実行するための装置である。

【0014】

図２は、情報処理装置１０の構成を示すブロック図である。図２に示すように、情報処理装置１０は、プロセッサ１１と、メモリ１２と、ストレージ１３と、通信ＩＦ１４と、入出力ＩＦ１５とを含んで構成される。

【0015】

プロセッサ１１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

【0016】

メモリ１２は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものである。メモリ１２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0017】

ストレージ１３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等の１つ、又は組み合わせにより実現される。

【0018】

通信ＩＦ１４は、情報処理装置１０が外部の装置と通信するため、信号を入出力するためのインターフェースである。通信ＩＦ１４は、インターネット、広域イーサネット等のネットワークに有線又は無線により接続する。

【0019】

入出力ＩＦ１５は、図示しない入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）から、入力信号を受け付けるインターフェースである。また、入出力ＩＦ１５は、図示しない出力装置（ディスプレイ、スピーカ等）に対し、出力信号を送信するインターフェースである。

【0020】

図３は、情報処理装置１０の機能構成を示すブロック図である。図２に示すように、情報処理装置１０は、通信部１１０と、記憶部１２０と、制御部１３０とを含む。

【0021】

通信部１１０は、情報処理装置１０が外部の装置と通信するための処理を行う。

【0022】

記憶部１２０は、情報処理装置１０が使用するデータ及びプログラムを記憶する。記憶部１２０は、第１データＤＢ１２１、第２データＤＢ１２２等を記憶する。

【0023】

第１データＤＢ１２１は、複数のユーザに関する情報を保持するデータベースである。
図４は、第１データＤＢ１２１の例である。図４に示すように、第１データＤＢ１２１のレコードのそれぞれは、項目「ＩＤ」、項目「種別」、項目「名前」、項目「購買データ」、項目「使用データ」、項目「特徴量」、項目「クラス」などを含む。なお、ここに示す項目はすべてではなく、他の項目があっても構わない。

【0024】

項目「ＩＤ」は、各レコードを識別するための情報を記憶する。

【0025】

項目「種別」は、ユーザが有名人であるか一般人であるかを示す情報を格納する。

【0026】

項目「名前」は、ユーザの名前、芸名、通称、愛称などである。

【0027】

項目「購買データ」は、ユーザが購入した商品と、購入日時と、購入店舗とを紐づけているファイルを記憶する。図４の場合、購買データには、購入した履歴が記載されたファイルが格納される。なお、購買データとして他のデータベースを用意し、参照する構成であってもよい。

【0028】

項目「使用データ」は、ユーザが使用したことがある商品である。図４の場合、使用データには、使用した履歴が記載されたファイルが格納される。なお、使用データとして他のデータベースを用意し、参照する構成であってもよい。使用データは、予めアンケートなどにより収集される。

【0029】

項目「特徴量」は、後述の第１抽出部１３４により抽出されたユーザの特徴量を記憶する。特徴量については、後述する。

【0030】

項目「クラス」は、後述の分類部１３５により分類されたクラスを記憶する。なお、クラスは１つに限らない。所属クラスは、２以上あってもよい。

【0031】

なお、第１データＤＢ１２１は、これらの情報（例えば、購買データ、使用データ）を、任意のタイミング、又は定期的に取得し、格納している。

【0032】

第２データＤＢ１２２は、第１モデルと、第１モデルのパラメータを格納する。第１モデルについては後述する。

【0033】

制御部１３０は、情報処理装置１０のプロセッサ１１がプログラムに従って処理を行うことにより、受信制御部１３１、送信制御部１３２、学習部１３３、第１抽出部１３４、分類部１３５、第２抽出部１３６、及び提示部１３７に示す機能を発揮する。

【0034】

受信制御部１３１は、情報処理装置１０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0035】

送信制御部１３２は、情報処理装置１０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0036】

学習部１３３は、学習データを用いて、画像データを入力することに応じて、ベースカラーを出力する第１モデルを学習する。

【0037】

画像データは、ユーザの顔と、ユーザの顔以外の肌を含む第１部分とが映っている画像のデータである。第１部分は、ユーザの顔以外の肌である体の部位である。

【0038】

第１部分は、例えば、ユーザの首の全部又は一部（例えば首元）、手の甲等である。本開示の技術は、第１部分の色を、ベースメイクの色と仮定して処理を行う。

【0039】

第１モデルは、画像データを解析することにより、第１部分を特定し、第１部分の色を抽出する機構を有する。第１部分の色は、ベースカラーであるものとされる。また、第１モデルは、画像データを解析することにより、顔のパーツの形状を抽出する機構を有する。当該第１モデルは、画像データを入力することに応じて、ベースカラーと顔のパーツの形状との特徴を表す特徴量を出力する。

【0040】

第１モデルは、任意のモデルを採用することができる。本開示では、第１モデルは、特徴量として、ベースカラーと、顔のパーツの形状とを、ベクトルにより表現した第１ベクトルを出力するモデルである場合を例に説明する。従来から、単語の分散表現を獲得する手法としてＷｏｒｄ２Ｖｅｃが知られている。第１モデルは、Ｗｏｒｄ２Ｖｅｃをベースカラーと顔のパーツの形状とに応用する。このため、第１モデルは、Ｗｏｒｄ２Ｖｅｃと同様のモデルを用いることができる。これにより、本開示の技術は、現実的な演算量で肌の類似度を求めることができる学習済みモデルを提供することができる。

【0041】

Ｗｏｒｄ２Ｖｅｃを応用する場合、第１モデルは、画像を解析する第２モデルと、第１ベクトルを出力するための第３モデルとを含んで構成される。

【0042】

第２モデルは、例えば、ＣＮＮモデルである。第２モデルは、ベースカラーと、顔のパーツの形状を抽出する上記機構に相当する。具体的には、第２モデルは、画像データを入力すると、ベースカラーと、顔のパーツの形状を解析した結果を出力するように学習されたモデルである。第２モデルは、画像解析を行うための任意のモデルを採用することができる。この時点において、ベースカラーは、ＲＧＢ値、ＣＭＹＫ値、ＨＳＶ値などで表されている。

【0043】

第３モデルは、ベースカラーと、顔のパーツの形状を入力したことに応じて、第１ベクトルを出力する。Ｗｏｒｄ２Ｖｅｃでは、コーパスにおいて、単語を分かち書きされたデータが予め用意される。そして、Ｗｏｒｄ２Ｖｅｃでは、入力された単語が、どの単語と関係性が高いか、学習された単語の各々についての類似度を出力することで判断できる。

【0044】

これに対し、第３モデルでは、学習に用いるコーパス（図示しない）において、複数の第１ベクトルを予め用意しておく。当該コーパスは、複数の第１ベクトルを格納するデータベースである。当該コーパスは、情報処理装置１０の記憶部に備えられていても、通信を介してアクセス可能な外部装置に備えられていてもよい。

【0045】

そして、第３モデルでは、入力されたベースカラーと、顔のパーツの形状を解析した結果が、コーパス内の第１ベクトルと関係性が高いか、類似度を求める。このため、当該コーパスは、想定できる第１ベクトルをできるだけ登録しておく。第３モデルは、類似度が所定の閾値より高い所定数の第１ベクトル、又は、類似度の高い上位から所定数の第１ベクトルを出力する。所定数は、１以上の整数である。本開示では、所定数が１である場合を例に説明するが、所定数が２以上である場合、任意の方法で採用する第１ベクトルを決定すればよい。また、第３モデルは、第１ベクトルを類似度と共に出力するようにしてもよい。

【0046】

第１ベクトルは、ベースカラーに関する情報と、顔のパーツの形状に関する情報とを要素としたベクトルにより表現したものである。

【0047】

ベースカラーに関する情報は、化粧品の選択、洋服の選択などにおいて、ユーザの基礎的な色として考えられる情報である。ベースカラーに関する情報は、例えば、イエローベース、ブルーベース、グリーンベースなどの第１分類、ＳＰＲＩＮＧ、ＳＵＭＭＥＲ、ＡＵＴＵＭＮ、ＷＩＮＴＥＲなどの第２分類である。顔のパーツの形状に関する情報は、例えば、輪郭、顔のパーツ同士の距離比、顔のパーツ同士の距離などである。第１ベクトルは、例えば、第１分類、顔のパーツ同士の距離比を要素とする。

【0048】

第１分類は、例えば、イエローベース、ブルーベース、グリーンベースを識別値として扱う。第１分類は、例えば、イエローベースは０、ブルーベースは１、グリーンベースは２などとする。第１分類は、イエローベースとブルーベースだけとしてもよい。第２分類は、第１分類と同様に、ＳＰＲＩＮＧ、ＳＵＭＭＥＲ、ＡＵＴＵＭＮ、ＷＩＮＴＥＲなどを識別値として扱う。

【0049】

また、第１ベクトルに、顔の要素に関する情報を含めてもよい。例えば、顔の要素として、顔の輪郭、目の形、唇の形などがある。顔の輪郭（フェイスライン）は、２重アゴや、弛んでいることにより、似合う化粧品やアクセサリーなどの判断材料となる。目の形、唇の形により、目の状態、口角の状態を捉えることができるため、肌の衰えの判断材料となる。

【0050】

顔のパーツ同士の距離比は、顔のパーツの各々について、他のパーツとの距離を算出したものの比率である。顔のパーツは、メイクアップに関係のあるパーツとする。顔のパーツは、例えば、右目、左目、顔の輪郭、眉毛、目の形、まぶた、口（唇）などである。メイクアップに関係のあるパーツをベクトルとして用いることで、高次元となってしまう特徴量の次元数を削除することができる。各パーツ間の距離は、３Ｄや２Ｄなどの画像解析で取得した特徴点座標を活用して、算出することができる。

【0051】

学習部１３３は、このような第１モデルを学習する。学習方法は、任意の方法を用いることができる。学習方法は、例えば、Ｗｏｒｄ２Ｖｅｃと同様の方法を用いてもよい。

【0052】

そして、学習部１３３は、学習した第１モデルのパラメータを、第２データＤＢ１２２に格納する。

【0053】

第１抽出部１３４は、画像データを入力することに応じて、ユーザのベースカラーを出力する学習済みの第１モデルと、当該画像データとを用いて、当該ユーザのベースカラーを抽出する。

【0054】

具体的には、第１抽出部１３４は、まず、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得する。具体的には、第１抽出部１３４は、受信制御部１３１がユーザ端末２０から、画像データを受信すると、当該画像データを取得する。

【0055】

次に、第１抽出部１３４は、第２データＤＢ１２２から、学習部１３３により学習された第１モデルを取得する。次に、第１抽出部１３４は、画像データを第１モデルに入力することにより、第１ベクトルを求める。そして、第１抽出部１３４は、抽出した第１ベクトルを、第１データＤＢ１２１に特徴量として格納する。

【0056】

なお、第１データＤＢ１２１に格納される他のユーザの特徴量は、第１抽出部１３４により抽出された第１ベクトルである。具体的には、抽出部１３８は、予め取得した複数の他のユーザの各々についての画像データを、第１モデルに入力することにより、他のユーザの第１ベクトルを求める。そして、抽出部１３８は、第１データＤＢ１２１に、他のユーザの第１ベクトルを特徴量として格納する。

【0057】

分類部１３５は、複数の他のユーザの各々の特徴量をクラスタリングする。

【0058】

具体的には、分類部１３５は、まず、複数の他のユーザの各々の第１ベクトルを、第１データＤＢ１２１から取得する。次に、分類部１３５は、複数の他のユーザの各々の第１ベクトルを複数のクラスに分類する。分類部１３５は、任意のクラスタリング方法を用いて、クラスを設定する。

【0059】

図５は、第１ベクトルの類似を示すイメージ図である。図５において、黒点は他のユーザの第１ベクトルである。分類部１３５は、図５に示すように、複数の第１ベクトルを、クラスＡ～クラスＣのように分類する。

【0060】

次に、分類部１３５は、クラス毎の代表ベクトルを求める。代表ベクトルは、例えば、クラス内の第１ベクトルの平均ベクトル、平均ベクトルに最も近い他のユーザのベクトル等のそのクラスを代表するベクトルである。

【0061】

図６は、クラスタリングの一例を示すイメージ図である。図６の例では、各クラスの中心ベクトルを代表ベクトルとする例である。図６に示すように、分類部１３５は、各クラスの代表ベクトルを求める。

【0062】

そして、分類部１３５は、記憶部１２０に、クラス毎の代表ベクトルを記憶させる。

【0063】

第２抽出部１３６は、ベースカラーが類似する他のユーザが購買した商品と、他のユーザが使用している商品とを抽出する。

【0064】

具体的には、第２抽出部１３６は、まず、当該ユーザの第１ベクトルと、他のユーザの第１ベクトルとの距離を類似度として求める。より具体的には、第２抽出部１３６は、第１抽出部１３４により得られた当該ユーザの第１ベクトルと、各クラスの代表ベクトルの各々との距離を類似度として求める。第２抽出部１３６は、類似度が最も高い代表ベクトルのクラスを、当該ユーザの属するクラスとする。

【0065】

例えば、第２抽出部１３６は、図６に示すように、当該ユーザの第１ベクトルとクラスＡの代表ベクトルとの距離ｄ_A、当該ユーザの第１ベクトルとクラスＢの代表ベクトルとの距離ｄ_B、当該ユーザの第１ベクトルとクラスＣの代表ベクトルとの距離ｄ_Cを算出する。そして、検索部１３９は、距離ｄ_A～ｄ_Cのうち、最も短い距離となるクラスを、当該ユーザの属するクラスとする。

【0066】

次に、第２抽出部１３６は、第１データＤＢ１２１から、当該ユーザが属するクラスに属する複数の他のユーザの購買データを取得する。第２抽出部１３６は、取得した購買データから、当該ユーザに提示する商品を抽出する。第２抽出部１３６は、任意の方法で、購買データから商品を抽出する。例えば、第２抽出部１３６は、当該クラスに属する他のユーザの購買データから、最も購入されている商品を抽出する、最も代表ベクトルに近いユーザにより購入されている頻度が高い商品を抽出する、などの方法により、当該ユーザに提示する商品を抽出する。

【0067】

また、第２抽出部１３６は、当該ユーザが属するクラスに属する複数の他のユーザのうち、類似度が最も高い他のユーザを求める。このとき、第２抽出部１３６は、対象とする他のユーザを、芸能人、モデルなどの有名人に限定することができる。自分とベースカラーや骨格が類似している有名人が使用していることをユーザに示すことにより、ユーザが商品の購入の動機付けができる。これにより、商品をユーザが購入する可能性が高まるためである。なお、第２抽出部１３６は、当該他のユーザを複数としてもよい。例えば、第２抽出部１３６は、類似度が予め定めた閾値よりも高い他のユーザとしてもよい。

【0068】

次に、第２抽出部１３６は、求めた他のユーザの商品の使用データを取得する。第２抽出部１３６は、取得した使用データから、当該ユーザに提示する商品を抽出する。第２抽出部１３６は、任意の方法で、使用データから商品を抽出する。例えば、第２抽出部１３６は、当該他のユーザの使用データから、最も使用頻度の高い商品を抽出する、最も使用期間の長い商品を抽出する、などの方法により、当該ユーザに提示する商品を抽出する。

【0069】

第２抽出部１３６が抽出する商品は、肌に関する商品である。肌に関する商品は、例えば、化粧品、サプリメントなどである。サプリメントは、肌質を改善する効果があったり、肌の潤いを保つ効果があったりするため、肌に関する商品として取り扱う。

【0070】

第２抽出部１３６が抽出する商品は、例えば化粧品である場合、ファンデーション、化粧下地・コンシーラー、日焼け対策・ＵＶケア、日焼け止め・ＵＶケア、アイライナー、マスカラ、アイシャドウ、口紅、チーク、マニキュアなどである。第２抽出部１３６は、これらの種類ごとに、商品を抽出する構成としてもよい。

【0071】

提示部１３７は、抽出した商品を、ユーザに提示する。具体的には、提示部１３７は、第２抽出部１３６が抽出した商品の情報を、ユーザ端末２０に送信することにより、抽出した商品をユーザに提示する。商品の情報は、商品のＩＤ、商品の名称、商品の画像、商品を購入できるＥＣサイトのＵＲＬなどである。ユーザ端末２０側で商品の詳細な情報を取得する構成としてもよい。この場合、商品の情報は、商品を特定することができる情報を少なくとも１つ有していればよい。また、提示部１３７は、商品の情報に、第１ベクトル、及び求めた有名人の情報を含んで、ユーザ端末２０に送信させる。

【0072】

＜３．ユーザ端末２０の構成＞
次に、図７及び図８を用いて、本開示に係るユーザ端末２０について説明する。本開示に係るユーザ端末２０は、ユーザに商品を提示する提示処理等を実行するための装置である。

【0073】

ユーザ端末２０は、ユーザが操作する端末装置である。ユーザ端末２０は、例えば、ラップトップパソコン、スマートフォン等である。

【0074】

図７は、ユーザ端末２０の構成を示すブロック図である。図７に示すように、ユーザ端末２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信ＩＦ２４と、入出力ＩＦ２５と、カメラ２６とを含んで構成される。

【0075】

プロセッサ２１は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路などにより構成される。

【0076】

メモリ２２は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものである。メモリ２２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。

【0077】

ストレージ２３は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）等の１つ、又は組み合わせにより実現される。

【0078】

通信ＩＦ２４は、ユーザ端末２０が外部の装置と通信するため、信号を入出力するためのインターフェースである。通信ＩＦ２４は、インターネット、広域イーサネット等のネットワークに有線又は無線により接続する。

【0079】

入出力ＩＦ２５は、図示しない入力装置（例えば、タッチパネル、タッチパッド、マウス等のポインティングデバイス、キーボード等）から、入力信号を受け付けるインターフェースである。また、入出力ＩＦ２５は、図示しない出力装置（ディスプレイ、スピーカ等）に対し、出力信号を送信するインターフェースである。

【0080】

カメラ２６は、撮影した画像を画像データとして取得するカメラ装置である。

【0081】

図８は、ユーザ端末２０の機能構成を示すブロック図である。図８に示すように、ユーザ端末２０は、通信部２１０と、記憶部２２０と、制御部２３０とを含む。

【0082】

通信部２１０は、ユーザ端末２０が外部の装置と通信するための処理を行う。

【0083】

記憶部２２０は、ユーザ端末２０が使用するデータ及びプログラムを記憶する。

【0084】

制御部２３０は、ユーザ端末２０のプロセッサ２１がプログラムに従って処理を行うことにより、受信制御部２３１、送信制御部２３２、表示部２３３、取得部２３４、及び提示部２３５に示す機能を発揮する。

【0085】

受信制御部２３１は、ユーザ端末２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。

【0086】

送信制御部２３２は、ユーザ端末２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。

【0087】

表示部２３３は、ユーザに、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを撮影するための画面を表示する。

【0088】

具体的には、表示部２３３は、ユーザの所定の操作により、本開示のユーザ端末２０を処理するプログラムが起動されると、当該画像データを撮影するための画面を、ユーザに表示する。

【0089】

図９は、画像を撮影するための画面の一例を示すイメージ図である。図９に示すように、画面４０は、図示しないディスプレイなどの出力装置に、表示部２３３により表示された、ユーザを写すための画面である。画面４０は、撮影枠４１、顔枠４２、及びテキストボックス４３を含む。

【0090】

撮影枠４１は、ユーザにより、画像データとして撮影される範囲である。撮影枠４１はユーザに見えるように表示しない。図９の例では、画像データは、顔枠４２によるユーザの顔と、第１部分として首とを、撮影範囲とする。

【0091】

顔枠４２は、ユーザが自身の顔を収めるための枠線である。ユーザは、顔枠４２に顔が収まるように、ユーザ端末２０のカメラ２６により撮影をする。

【0092】

テキストボックス４３は、ユーザの撮影を補助するためのメッセージを表示する。本実施形態では、ユーザは、顔枠４２に顔が収まるように撮影する。このため、表示部２３３は、テキストボックス４３に、表示してある顔枠４２の「枠線内に顔が入るように撮影して下さい」などの撮影を補助するメッセージを表示する。

【0093】

顔枠４２及びテキストボックス４３により、画像データに第１部分が含まれるようにユーザの撮影を補助する。なお、表示部２３３は、公知の画像認識技術を用いて、ユーザが所望の画像データを撮影できるように、ユーザの撮影を補助する機能を有してもよい。

【0094】

取得部２３４は、画像データを取得する。具体的には、取得部２３４は、ユーザの操作により、カメラ２６による撮影がされると、カメラ２６により撮影された画像データを、カメラ２６から取得する。そして、取得部２３４は、取得した画像データを、送信制御部２３２に、情報処理装置１０に対して送信させる。

【0095】

なお、取得部２３４は、画像データを取得したタイミングで、当該画像データに、ユーザの顔と第１部分とが含まれるかを判定する処理を行ってもよい。この場合、既存の画像認識技術などを使って、顔と、第１部分とが映っているか判定すればよい。ユーザの顔と第１部分との少なくとも何れかが含まれていない場合、取得部２３４は、表示部２３３にエラーを返して、再度ユーザによりユーザの顔と第１部分とを撮影させる。ユーザの顔と第１部分とが含まれている場合、取得部２３４は、取得した画像データを、送信制御部２３２に、情報処理装置１０に対して送信させる。

【0096】

提示部２３５は、商品をユーザに提示する。具体的には、提示部２３５は、受信制御部２３１が、情報処理装置１０から、商品の情報を受信すると、当該商品の情報を取得する。

【0097】

次に、提示部２３５は、取得した商品の情報に含まれる第１ベクトルから、ユーザのベースカラーを取得する。そして、提示部２３５は、取得した商品の情報を、ユーザのベースカラー、ユーザに類似する有名人と共に提示する。

【0098】

図１０を参照して、提示部２３５が商品を提示する例を示す。図１０は、ユーザに商品を提示するための画面の一例を示すイメージ図である。

【0099】

図１０に示すように、画面５０は、ユーザに商品を提示するための画面である。図１０の例では、画面５０は、テキストボックス５１、テキストボックス５２、テキストボックス５３、商品提示部５４、及び商品提示部５５を含む。

【0100】

テキストボックス５１は、ユーザと似ている有名人を表示する。具体的には、テキストボックス５１は、ユーザの第１ベクトルと最も類似する第１ベクトルの有名人を表示して、ユーザがその有名人と似ているタイプであることを示す。提示部２３５は、情報処理装置１０から取得した商品の情報に含まれる有名人を、当該テキストボックス５１に表示する。なお、提示部２３５は、テキストボックス５１の代わりに、画像や動画などにより有名人を表示しても良い。

【0101】

テキストボックス５２は、ユーザのベースカラーの分類を表示する。具体的には、テキストボックス５２は、第１ベクトルに基づいて、第１分類、第２分類などのベースカラーの分類を表示する。

【0102】

テキストボックス５３は、提示している商品が、ユーザと似ている有名人が使用している商品である旨を表示する。

【0103】

商品提示部５４は、取得した商品の情報のうち、有名人が使用している商品の情報を提示する。具体的には、提示部２３５は、商品提示部５４において、有名人が使用している商品の商品名、メーカー、商品の画像、購入できるＥＣサイトへのリンクなどを表示する。

【0104】

商品提示部５５は、取得した商品の情報のうち、類似ユーザが購入実績のある商品の情報を提示する。具体的には、提示部２３５は、商品提示部５５において、購入履歴に基づいて抽出された商品の商品名、メーカー、商品の画像、購入できるＥＣサイトへのリンクなどを表示する。

【0105】

提示部２３５は、商品提示部５４、商品提示部５５に当該リンクを用意することにより、ユーザに商品の購入を促すことができる。

【0106】

＜４．動作＞
以下では、情報処理装置１０における処理について図面を参照しながら説明する。

【0107】

＜４．１．第１モデルの学習処理＞
図１１は、情報処理装置１０による第１モデルの学習処理を行う流れの一例を示すフローチャートである。情報処理装置１０は、当該処理を、任意のタイミング（例えば、学習処理開始信号の受信など）において実行する。

【0108】

ステップＳ１０１において、学習部１３３は、第１データＤＢ１２１から、学習データとして、複数の第１ベクトルを取得する。

【0109】

ステップＳ１０２において、学習部１３３は、複数の第１ベクトルを用いて、画像データを入力することに応じて、ベースカラーを出力する第１モデルを学習する。

【0110】

ステップＳ１０３において、学習部１３３は、第１モデルを学習した後で、第１モデルの学習が終了条件を満たしたか否かを判定する。終了条件は、例えば、第１モデルのパラメータが収束した、所定数繰り返したなどである。

【0111】

終了条件を満たさない場合（ステップＳ１０３のＮ）学習部１３３は、ステップＳ１０２に戻り、ステップＳ１０２による第１モデルの学習を、終了条件を満たすまで繰り返す。

【0112】

一方、終了条件を満たす場合（ステップＳ１０３のＹ）、ステップＳ１０４において、学習部１３３は、学習した第１モデルのパラメータを、第２データＤＢ１２２に格納し、処理を終了する。

【0113】

＜４．２．クラスタリング処理＞
図１２は、情報処理装置１０によるクラスタリング処理を行う流れの一例を示すフローチャートである。情報処理装置１０は、当該処理を、第１モデルの学習が終了した後の任意のタイミングにより実行する。

【0114】

ステップＳ２０１において、分類部１３５は、複数の他のユーザの各々の第１ベクトルを、第１データＤＢ１２１から取得する。

【0115】

ステップＳ２０２において、分類部１３５は、複数の他のユーザの各々の第１ベクトルを複数のクラスに分類する。

【0116】

ステップＳ２０３において、分類部１３５は、クラス毎の代表ベクトルを求める。

【0117】

ステップＳ２０４において、分類部１３５は、分類結果と、クラス毎の代表ベクトルを記憶部１２０に格納し、処理を終了する。

【0118】

＜４．３．情報処理装置１０の提示処理＞
図１３は、情報処理装置１０による提示処理を行う流れの一例を示すフローチャートである。情報処理装置１０は、当該処理を、ユーザの画像を受信したこと等により実行する。

【0119】

ステップＳ３０１において、受信制御部１３１は、ユーザの顔と、ユーザの顔以外の肌を含む第１部分とが映っている画像データを、ユーザ端末２０から受信する。

【0120】

ステップＳ３０２において、第１抽出部１３４は、第２データＤＢ１２２から、学習部１３３により学習された第１モデルを取得する。また、第２抽出部１３６は、複数の他のユーザの各々についての第１ベクトルを取得する。

【0121】

ステップＳ３０３において、第１抽出部１３４は、画像データを第１モデルに入力することにより、特徴量として、第１ベクトルを求める。

【0122】

ステップＳ３０４において、第２抽出部１３６は、当該ユーザの第１ベクトルと、他のユーザの第１ベクトルとの距離を類似度として求める。

【0123】

ステップＳ３０５において、第２抽出部１３６は、類似度が最も高い代表ベクトルのクラスを、当該ユーザの属するクラスとする。

【0124】

ステップＳ３０６において、第２抽出部１３６は、第１データＤＢ１２１から、当該ユーザが属するクラスに属する複数の他のユーザの購買データを取得する。

【0125】

ステップＳ３０７において、第２抽出部１３６は、当該ユーザが属するクラスに属する複数の他のユーザのうち、類似度が最も高い他のユーザを求める。そして、第２抽出部１３６は、求めた他のユーザの商品の使用データを取得する。

【0126】

ステップＳ３０８において、第２抽出部１３６は、取得した購買データ及び使用データから、当該ユーザに提示する商品をそれぞれ抽出する。第２抽出部１３６は、任意の方法で、購買データ及び使用データから商品を抽出する。

【0127】

ステップＳ３０９において、提示部１３７は、第２抽出部１３６が抽出した商品の情報を、ユーザ端末２０に送信することにより、抽出した商品をユーザに提示すし、処理を終了する。

【0128】

＜４．４．ユーザ端末２０の提示処理＞
図１４は、情報処理装置１０による提示処理を行う流れの一例を示すフローチャートである。情報処理装置１０は、当該処理を、ユーザの画像を受信したこと等により実行する。

【0129】

ステップＳ４０１において、ユーザ端末２０は、ユーザの所定の操作により、本開示のユーザ端末２０を処理するプログラムを起動する。当該プログラムは、例えば、スマートフォン上で動作するアプリ（アプリケーション）などである。

【0130】

ステップＳ４０２において、表示部２３３は、ユーザの顔と、ユーザの顔以外の肌を含む第１部分とが映っている画像データを撮影するための画面を、ユーザに表示する。

【0131】

ステップＳ４０３において、表示部２３３は、公知の画像認識技術を用いて、ユーザが所望の画像データを撮影できるように、ユーザの撮影を補助する。

【0132】

ステップＳ４０４において、取得部２３４は、ユーザの操作により、カメラ２６による撮影がされると、カメラ２６により撮影された画像データを、カメラ２６から取得する。

【0133】

ステップＳ４０５において、取得部２３４は、取得した画像データを、送信制御部２３２に、情報処理装置１０に対して送信させる。

【0134】

ステップＳ４０６において、受信制御部２３１は、情報処理装置１０から、商品の情報を受信する。

【0135】

ステップＳ４０７において、提示部２３５は、取得した商品の情報に含まれる第１ベクトルから、ユーザのベースカラーを取得する。そして、提示部２３５は、取得した商品の情報を、ユーザのベースカラー、ユーザに類似する有名人と共に提示し、処理を終了する。

【0136】

＜５．小括＞
以上説明したように、本開示の技術は、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得し、当該画像データを入力することに応じて、当該ユーザのベースカラーを出力する学習済みモデルと当該記画像データとを用いて、当該ユーザのベースカラーを抽出する。そして、本開示の技術は、ベースカラーが類似する他のユーザが購買した、又は他のユーザが使用している商品を抽出し、抽出した商品を、当該ユーザに提示する。これにより、本開示の技術は、ユーザに負担なくユーザに合った商品をレコメンドすることができる学習済みモデルを提供することができる。

【0137】

また、本開示の学習済みモデルは、画像データを入力することに応じて、ベースカラーと、顔のパーツの形状とを出力する。これにより、本開示の技術は、ベースカラーと顔のパーツの形状とが類似する他のユーザが購買した、又は他のユーザが使用している商品を抽出し、抽出した商品を、当該ユーザに提示する。これにより、本開示の技術は、ユーザに負担なくよりユーザに合った商品をレコメンドすることができる学習済みモデルを提供することができる。

【0138】

また、本開示の技術は、学習済みモデルは、画像データを入力することに応じて、ベースカラーと、顔のパーツの形状とを、ベクトルで表現した特徴量として出力する。これにより、本開示の技術は、特徴量同士の類似度を、ベクトル同士の演算で算出することができるため、現実的な演算量で他のユーザとのベースカラーと顔のパーツの形状との類似度を求めることができる。このため、本開示の技術は、他のユーザの数が多い場合であっても、当該ユーザに高速にユーザに合った商品をレコメンドすることができる学習済みモデルを提供することができる。

【0139】

また、本開示の技術は、複数の他のユーザの各々について、他のユーザの特徴量を取得し、複数の他のユーザの各々の特徴量をクラスタリングする。本開示の技術は、ユーザの特徴量との類似度が最も高いクラスを求め、求めたクラスに属する複数の他のユーザの購買データを取得する。また、本開示の技術は、購買データから、ユーザに提示する商品を抽出する。これにより、本開示の技術は、当該ユーザに特徴量が類似するクラスの他のユーザが購買した商品を提示することができるため、当該ユーザにより適し、かつ、当該ユーザの購買意欲の高い商品を提示することができる。

【0140】

また、本開示の技術は、複数の他のユーザの各々について、前記他のユーザの前記特徴量を取得し、本開示の技術は、複数の他のユーザのうち、当該ユーザの特徴量との類似度が最も高い他のユーザを求める。本開示の技術は、求めた当該他のユーザの商品の使用データを取得し、使用データから、当該ユーザに提示する商品を抽出する。これにより、本開示の技術は、当該ユーザに特徴量が類似する他のユーザが使用している商品を提示することができるため、当該ユーザにより適し、かつ、当該ユーザの購買意欲の高い商品を提示することができる。

【0141】

また、本開示の技術において、他のユーザは、有名人であるものとすることができる。これにより、当該ユーザは、どのような有名人と自分が似ているか分かり、かつ、その有名人が使用している商品の提示を受けることができる。このため、本開示の技術は、当該ユーザにより適し、かつ、当該ユーザの購買意欲の高い商品を提示することができる。本開示の技術は、ユーザに当該有名人であるユーザに関する情報を化粧品と共に提示することができる。このような構成により、ユーザは自分の肌と類似している有名人が使用している化粧品であることが、ユーザが当該化粧品を購入する動機となる。このため、ユーザの購買意欲をより高めることができる。

【0142】

＜６．変形例＞
以上、開示に係る実施形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。

【0143】

上記実施形態では、商品が化粧品である場合を例に説明したが、これに限定されるものではない。例えば、商品は、サプリメント、栄養食、その他の健康に関する商品であるものとすることができる。また、商品は、美容器具、衣服、アクセサリー、髪型、その他の美容に関する商品であってもよい。このような構成により、本開示の技術は、ベースカラーが類似する他のユーザのヘルスケア、美容に関する商品を提案することができる。このため、本開示の技術は、ユーザに類似する他のユーザが使用している、他のユーザが購入している、といった提示した商品を購買する理由付けをすることができる。よって、本開示の技術は、ユーザの購買意欲を高めることができる。

【0144】

また、商品は、無形商品であってもよい。例えば、商品は、トレーニングプログラム、セミナーなどに関する商品であってもよい。トレーニングプログラムは、例えば、ユーザに類似する他のユーザが実行した美容に関するトレーニングプログラムなどである。セミナーは、例えば、所定のベースカラーの人を対象とした化粧セミナーなどである。この場合、第１データＤＢ１２１は、ユーザの参加又は実行したトレーニング、セミナーなどの情報を格納する。このような構成により、本開示の技術は、ベースカラーが類似する他のユーザが実行又は参加したトレーニングプログラム、セミナーなどの無形商品を提案することができる。このため、本開示の技術は、ユーザに類似する他のユーザが実行又は参加したしている、といったことを無形商品の購買に対する理由付けをすることができる。よって、本開示の技術は、ユーザの購買意欲を高めることができる。

【0145】

また、情報処理装置１０の各機能を、他の装置に構成してもよい。例えば、記憶部１２０の各ＤＢは、外部のデータベースとして構築してもよい。また、情報処理装置１０の各機能を、他の装置に構成してもよい。例えば、記憶部１２０の各ＤＢは、外部のデータベースとして構築してもよい。

【0146】

また、情報処理装置１０の学習処理に用いる機能と、提示処理に用いる機能とを別の装置に構成しても良い。例えば、学習処理に用いる機能を高性能の情報処理装置に構成し、提示処理をスマートフォンにインストールするアプリとして構成することができる。

【0147】

＜付記＞
以上の各実施形態で説明した事項を、以下に付記する。

【0148】

（付記１）プロセッサ（１１）を備えるコンピュータ（例えば、情報処理装置１０）に処理を行わせるプログラムであって、前記プロセッサに、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップ（Ｓ３０１）と、前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップ（Ｓ３０３）と、ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップ（Ｓ３０８）と、抽出した前記商品を、前記ユーザに提示するステップ（Ｓ３０９）と、を実行させるプログラム。

【0149】

（付記２）前記学習済みモデルは、前記画像データを解析することにより、前記第１部分を特定し、前記第１部分の色を抽出し、前記第１部分の色をベースカラーとして出力する、（付記１）に記載のプログラム。

【0150】

（付記３）前記学習済みモデルは、前記画像データを入力することに応じて、前記ベースカラーと、顔のパーツの形状とを出力する、（付記１）に記載のプログラム。

【0151】

（付記４）前記学習済みモデルは、前記画像データを入力することに応じて、前記ベースカラーと、前記顔のパーツの形状とを、ベクトルで表現した特徴量として出力する、（付記３）に記載のプログラム。

【0152】

（付記５）前記特徴量は、前記顔のパーツの各々について、他のパーツとの距離又は距離比を要素に含む、（付記４）に記載のプログラム。

【0153】

（付記６）前記特徴量は、ベースカラーの分類を要素に含む、（付記４）に記載のプログラム。

【0154】

（付記７）複数の他のユーザの各々について、前記他のユーザの前記特徴量を取得するステップ（Ｓ２０１）と、前記複数の他のユーザの各々の前記特徴量をクラスタリングするステップ（Ｓ２０２）と、前記ユーザの特徴量との類似度が最も高いクラスを求めるステップ（Ｓ３０４）と、求めたクラスに属する複数の他のユーザの購買データを取得するステップ（Ｓ３０６）と、を実行させ、前記商品を抽出するステップにおいて、前記購買データから、前記ユーザに提示する商品を抽出する、（付記４）に記載のプログラム。

【0155】

（付記８）複数の他のユーザの各々について、前記他のユーザの前記特徴量を取得するステップ（Ｓ２０１）と、複数の他のユーザのうち、前記ユーザの特徴量との類似度が最も高い他のユーザを求めるステップ（Ｓ３０４）と、求めた前記他のユーザの商品の使用データを取得するステップ（Ｓ３０７）と、を実行させ、前記商品を抽出するステップにおいて、前記使用データから、前記ユーザに提示する商品を抽出する、（付記４）に記載のプログラム。

【0156】

（付記９）、前記他のユーザは、有名人である、（付記８）に記載のプログラム。

【0157】

（付記１０）、前記第１部分は、首部分である、（付記１）～（付記９）の何れか１項に記載のプログラム。

【0158】

（付記１１）、前記商品は、肌に関する商品である、（付記７）～（付記９）の何れか１項に記載のプログラム。

【0159】

（付記１２）、前記肌に関する商品は、化粧品である、（付記１１）に記載のプログラム。

【0160】

（付記１３）、前記商品は、サプリメント、栄養食、その他の健康に関する商品である、（付記７）～（付記９）の何れか１項に記載のプログラム。

【0161】

（付記１４）、前記商品は、トレーニングプログラム又はセミナーに関する商品である、（付記７）～（付記９）の何れか１項に記載のプログラム。

【0162】

（付記１５）プロセッサ（１１）を備える情報処理装置（１０）であって、前記プロセッサが、前記プロセッサに、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップ（Ｓ３０１）と、前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップ（Ｓ３０３）と、ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップ（Ｓ３０８）と、抽出した前記商品を、前記ユーザに提示するステップ（Ｓ３０９）と、を実行する情報処置装置。

【0163】

（付記１６）プロセッサ（１１）を備えるコンピュータ（例えば、情報処理装置１０）が、前記プロセッサに、ユーザの顔と顔以外の肌を含む第１部分とが映っている画像データを取得するステップ（Ｓ３０１）と、前記画像データを入力することに応じて、前記ユーザのベースカラーを出力する学習済みモデルと、前記画像データとを用いて、前記ユーザのベースカラーを抽出するステップ（Ｓ３０３）と、ベースカラーが類似する他のユーザが購買した、又は前記他のユーザが使用している商品を抽出するステップ（Ｓ３０８）と、抽出した前記商品を、前記ユーザに提示するステップ（Ｓ３０９）と、を実行する方法。

【符号の説明】

【0164】

１ 情報処理システム
１０ 情報処理装置
１１ プロセッサ
１２ メモリ
１３ ストレージ
１４ 通信ＩＦ
１５ 入出力ＩＦ
２０ ユーザ端末
２１ プロセッサ
２２ メモリ
２３ ストレージ
２４ 通信ＩＦ
２５ 入出力ＩＦ
２６ カメラ
３０ ネットワーク
４０ 画面
４１ 撮影枠
４２ 顔枠
４３ テキストボックス
５０ 画面
５１ テキストボックス
５２ テキストボックス
５３ テキストボックス
５４ 商品提示部
５５ 商品提示部
１１０ 通信部
１２０ 記憶部
１２１ 第１データＤＢ
１２２ 第２データＤＢ
１３０ 制御部
１３１ 受信制御部
１３２ 送信制御部
１３３ 学習部
１３４ 第１抽出部
１３５ 分類部
１３６ 第２抽出部
１３７ 提示部
１３８ 抽出部
１３９ 検索部
２１０ 通信部
２２０ 記憶部
２３０ 制御部
２３１ 受信制御部
２３２ 送信制御部
２３３ 表示部
２３４ 取得部
２３５ 提示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】