特許 7335110 アイメーキャップ商品推奨プログラム、方法、装置、およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-21

(45)【発行日】2023-08-29

(54)【発明の名称】アイメーキャップ商品推奨プログラム、方法、装置、およびシステム

(51)【国際特許分類】

   G06Q 30/0601 20230101AFI20230822BHJP

【ＦＩ】

G06Q30/0601

【請求項の数】 11

(21)【出願番号】P 2019141792

(22)【出願日】2019-07-31

(65)【公開番号】P2021026355

(43)【公開日】2021-02-22

【審査請求日】2022-06-01

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】豊田 成人

(72)【発明者】

【氏名】金子 佳奈子

(72)【発明者】

【氏名】谷 奈緒子

(72)【発明者】

【氏名】関根 春奈

(72)【発明者】

【氏名】森田 愛

【審査官】速水 雄太

(56)【参考文献】

【文献】特開２０１０－２１１３０８（ＪＰ，Ａ）

【文献】特開２０１４－００２６５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置を、
ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像、および、前記ユーザが目を閉じている状態が撮影された画像である、画像取得部、
前記目を含む目の周辺から、前記ユーザの瞼の明度、および、前記ユーザの瞳内の黒目の明度を抽出する特徴抽出部、
前記瞼の中央部分の明度と前記瞼の目頭部分の明度との平均値、および、前記黒目の明度に基づいて、前記ユーザに適したアイシャドウを推奨する商品推奨部、
前記推奨されたアイシャドウを表示する表示部、として機能させるためのプログラム。

【請求項2】

情報処理装置を、
ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像である、画像取得部、
前記目を含む目の周辺から、前記ユーザの前記目の縦幅と横幅との比を抽出する特徴抽出部、
前記目の前記縦幅と横幅との比に基づいて、前記ユーザに適したマスカラおよびアイライナーを推奨する商品推奨部、
前記推奨されたマスカラおよびアイライナーを表示する表示部、として機能させるためのプログラム。

【請求項3】

前記特徴抽出部は、前記ユーザの瞼の彩度をさらに抽出し、
前記商品推奨部は、前記瞼の明度および前記瞼の彩度に基づいて、前記ユーザに適したアイシャドウを推奨する、請求項１に記載のプログラム。

【請求項4】

前記商品推奨部は、前記特徴抽出部が抽出した特徴と前記特徴抽出部が抽出した特徴を有するユーザに適した商品との対応関係に基づいて、前記ユーザに適した商品を推奨する、請求項１から３のいずれか一項に記載のプログラム。

【請求項5】

前記商品推奨部は、前記特徴抽出部が抽出した特徴、および、前記ユーザによって指定された嗜好に基づいて、前記ユーザに適した商品を推奨する、請求項１から４のいずれか一項に記載のプログラム。

【請求項6】

情報処理装置が実行する方法であって、
ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像、および、前記ユーザが目を閉じている状態が撮影された画像である、ステップと、
前記目を含む目の周辺から、前記ユーザの瞼の明度、および、前記ユーザの瞳内の黒目の明度を抽出するステップと、
前記瞼の中央部分の明度と前記瞼の目頭部分の明度との平均値、および、前記黒目の明度に基づいて、前記ユーザに適したアイシャドウを推奨するステップと、
前記推奨されたアイシャドウを表示するステップと
を含む方法。

【請求項7】

情報処理装置が実行する方法であって、
ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像である、ステップと、
前記目を含む目の周辺から、前記ユーザの前記目の縦幅と横幅との比を抽出するステップと、
前記目の前記縦幅と横幅との比に基づいて、前記ユーザに適したマスカラおよびアイライナーを推奨するステップと、
前記推奨されたマスカラおよびアイライナーを表示するステップと
を含む方法。

【請求項8】

ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像、および、前記ユーザが目を閉じている状態が撮影された画像である、画像取得部と、
前記目を含む目の周辺から、前記ユーザの瞼の明度、および、前記ユーザの瞳内の黒目の明度を抽出する特徴抽出部と、
前記瞼の中央部分の明度と前記瞼の目頭部分の明度との平均値、および、前記黒目の明度に基づいて、前記ユーザに適したアイシャドウを推奨する商品推奨部と、
前記推奨されたアイシャドウを表示する表示部と
を備えた情報処理装置。

【請求項9】

ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像である、画像取得部と、
前記目を含む目の周辺から、前記ユーザの前記目の縦幅と横幅との比を抽出する特徴抽出部と、
前記目の前記縦幅と横幅との比に基づいて、前記ユーザに適したマスカラおよびアイライナーを推奨する商品推奨部と、
前記推奨されたマスカラおよびアイライナーを表示する表示部と
を備えた情報処理装置。

【請求項10】

ユーザの端末とサーバとを含む情報処理システムであって、
前記ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像、および、前記ユーザが目を閉じている状態が撮影された画像である、画像取得部と、
前記目を含む目の周辺から、前記ユーザの瞼の明度、および、前記ユーザの瞳内の黒目の明度を抽出する特徴抽出部と、
前記瞼の中央部分の明度と前記瞼の目頭部分の明度との平均値、および、前記黒目の明度に基づいて、前記ユーザに適したアイシャドウを推奨する商品推奨部と、
前記推奨されたアイシャドウを表示する表示部と
を備えた情報処理システム。

【請求項11】

ユーザの端末とサーバとを含む情報処理システムであって、
前記ユーザの目を含む目の周辺が撮影された画像を取得し、前記画像は、前記ユーザが目を開いている状態が撮影された画像である、画像取得部と、
前記目を含む目の周辺から、前記ユーザの前記目の縦幅と横幅との比を抽出する特徴抽出部と、
前記目の前記縦幅と横幅との比に基づいて、前記ユーザに適したマスカラおよびアイライナーを推奨する商品推奨部と、
前記推奨されたマスカラおよびアイライナーを表示する表示部と
を備えた情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、アイメーキャップ商品推奨プログラム、方法、装置、およびシステムに関する。

【背景技術】

【0002】

従来、メーキャップアーティストやビューティーコンサルタント等の美容の専門家は、長年にわたり見出してきた経験則（例えば、ある種の化粧で目が大きく見えるなどの錯視による効果。非特許文献１参照）に基づいて、化粧を施される者に合った化粧品を選んでいる。

【先行技術文献】

【非特許文献】

【0003】

【文献】フレグランスジャーナル２０１３年３月号，５５－６１ページ

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、化粧品を購入しようとするユーザは、美容の専門家に化粧品を選んでもらう機会が必ずあるとは限らず、ユーザ自身で化粧品を選択しなければならないとき（例えば、ユーザがＥＣサイトで化粧品を購入する場合など）もある。アイメーキャップのための商品は、さまざまな色や機能があり、ユーザが自分に合った商品をユーザ自身で選ぶことは特に困難であった。

【0005】

そこで、本発明の一実施形態では、ユーザに合ったアイメーキャップ商品を推奨することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、情報処理装置を、ユーザの目を含む目の周辺が撮影された画像を取得する画像取得部、前記目を含む目の周辺から特徴を抽出する特徴抽出部、前記特徴に基づいて、アイメーキャップのための商品を推奨する商品推奨部、前記推奨された商品を表示する表示部、として機能させる。

【発明の効果】

【0007】

本発明によれば、ユーザに合ったアイメーキャップ商品を推奨することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る全体の構成図の一例（実施形態１）である。

【図2】本発明の一実施形態に係るユーザ端末の機能ブロック図の一例（実施形態１）である。

【図3】本発明の一実施形態に係る特徴の抽出（アイシャドウ、目開きの場合）を説明するための図である。

【図4】本発明の一実施形態に係る特徴の抽出（アイシャドウ、目閉じの場合）を説明するための図である。

【図5】本発明の一実施形態に係る特徴の抽出（マスカラおよびアイライナーの場合）を説明するための図である。

【図6】本発明の一実施形態に係る商品推奨処理の一例を示すフローチャートである。

【図7】本発明の一実施形態に係る特徴抽出処理（アイシャドウの場合）の一例を示すフローチャートである。

【図8】本発明の一実施形態に係る特徴抽出処理（マスカラおよびアイライナーの場合）の一例を示すフローチャートである。

【図9】本発明の一実施形態に係る全体の構成図の一例（実施形態２）である。

【図10】本発明の一実施形態に係るアイメーキャップ商品推奨システムの機能ブロック図の一例（実施形態２）である。

【図11】本発明の一実施形態に係るユーザ端末およびサーバのハードウェア構成の一例を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて本発明の実施の形態を説明する。ユーザ１１が、ユーザ１１に合ったアイメーキャップのための商品（以下、アイメーキャップ商品ともいう）の推奨を受けるものとする。ユーザ１１がユーザ端末１０をサーバ２０に接続させることなく商品の推奨を受ける場合（実施形態１）と、ユーザ１１がユーザ端末１０をサーバ２０に接続させて商品の推奨を受ける場合（実施形態２）とに分けて説明する。

【0010】

＜実施形態１＞
以下、実施形態１について説明する。

【0011】

＜全体の構成図＞
図１は、本発明の一実施形態に係る全体の構成図の一例（実施形態１）である。＜実施形態１＞では、ユーザ１１は、ユーザ端末１０を用いて（ユーザ端末１０をサーバ２０に接続させることなく）、ユーザ１１に合ったアイメーキャップ商品の推奨を受ける。

【0012】

ユーザ端末１０は、アイメーキャップ商品の推奨を受けるユーザ１１が利用する端末である。例えば、ユーザ１１は、ユーザ端末１０にインストールされたスマートフォン用のアプリケーションを用いて、アイメーキャップ商品の推奨を受けることができる。ユーザ端末１０は、例えば、スマートフォン、タブレット、パーソナルコンピュータ等の任意のコンピュータ（情報処理装置ともいう）である。

【0013】

＜機能構成＞
図２は、本発明の一実施形態に係るユーザ端末１０の機能ブロック図の一例（実施形態１）である。ユーザ端末１０は、画像取得部１０１、特徴抽出部１０２、商品推奨部１０３、表示部１０４、特徴・商品対応関係格納部１０５を含む。ユーザ端末１０は、プログラム（例えば、スマートフォン用のアプリケーション）を実行することで、画像取得部１０１、特徴抽出部１０２、商品推奨部１０３、表示部１０４として機能する。以下、それぞれについて説明する。

【0014】

画像取得部１０１は、ユーザ１１の目を含む目の周辺が撮影された画像を取得する。例えば、画像取得部１０１は、ユーザ端末１０に内蔵されたカメラが撮影した画像を取得する。なお、ユーザ１１の目を含む目の周辺が撮影された画像は、ユーザ１１の目を含む目の周辺を含む顔が撮影された画像であってもよいし、ユーザ１１の目を含む目の周辺のみが撮影された画像であってもよい。

【0015】

ここで、ユーザ１１の目を含む目の周辺が撮影された画像について説明する。本明細書において、ユーザ１１の目を含む目の周辺とは、ユーザ１１の目とその目のまわりの部分のこという。ユーザ１１の目を含む目の周辺が撮影された画像は、ユーザ１１が目を開いている状態が撮影された画像と、ユーザ１１が目を閉じている状態が撮影された画像と、の２つの画像を含みうる。

【0016】

特徴抽出部１０２は、ユーザ１１の目を含む目の周辺から特徴を抽出する。以下、推奨されるアイメーキャップ商品がアイシャドウである場合と、マスカラおよびアイライナーである場合とに分けて説明する。なお、下記の特徴点は一例であり、他の特徴点を用いるようにしてもよい。

【0017】

＜アイシャドウの場合＞
図３（ユーザ１１が目を開いている状態）および図４（ユーザ１１が目を閉じている状態）を参照しながら、ユーザ１１の目を含む目の周辺から特徴を抽出する手法を説明する。

【0018】

図３は、本発明の一実施形態に係る特徴の抽出（アイシャドウ、目開きの場合）を説明するための図である。特徴抽出部１０２は、ユーザ１１の瞳内の黒目の明度を算出する。

【0019】

特徴抽出部１０２は、例えば、図３のようなユーザ１１が目を開いている状態が撮影された画像において、左目の特徴点（図３の（６）～（１１））および右目の特徴点（図３の（１７）～（２２））を抽出する。（６）および（１７）は、目頭（鼻に近い方の端）を示す。（７）、（８）、（１０）、（１１）および（１８）、（１９）、（２１）、（２２）は、黒目と白目と目のまわりの部分との境界を示す。（９）および（２０）は、目尻（耳に近い方の端）を示す。

【0020】

例えば、特徴抽出部１０２は、左目について、（７）と（８）とを結ぶ線と、（８）と（１０）とを結ぶ線と、（１０）と（１１）とを結ぶ線と、（１１）と（７）とを結ぶ線とからなる四角形に内接する矩形を生成する。特徴抽出部１０２は、生成した矩形の領域内の各画素のＲＧＢ値をＬ*ａ*ｂ*値へ変換する。特徴抽出部１０２は、変換したＬ*値（明度）の最小値を求めておく。

【0021】

右目についても同様に、特徴抽出部１０２は、（１８）と（１９）とを結ぶ線と、（１９）と（２１）とを結ぶ線と、（２１）と（２２）とを結ぶ線と、（２２）と（１８）とを結ぶ線とからなる四角形に内接する矩形を生成する。特徴抽出部１０２は、生成した矩形の領域内の各画素のＲＧＢ値をＬ*ａ*ｂ*値へ変換する。特徴抽出部１０２は、変換したＬ*値（明度）の最小値を求めておく。左目のＬ*（明度）の最小値と右目のＬ*（明度）の最小値とを比較し、それらの最小値を"Ｌ＿ＰＰＬ_ＧＮＤ"とする。

【0022】

図４は、本発明の一実施形態に係る特徴の抽出（アイシャドウ、目閉じの場合）を説明するための図である。特徴抽出部１０２は、ユーザ１１の瞼（目頭部分と中央部分）の明度を算出する。

【0023】

特徴抽出部１０２は、例えば、図４のようなユーザ１１が目を閉じている状態が撮影された画像において、左目の特徴点（図４の（６）～（１１））および右目の特徴点（図４の（１７）～（２２））を抽出する。図４の（６）～（１１）および（１７）～（２２）は、図３の（６）～（１１）および（１７）～（２２）対応する特徴点である。

【0024】

さらに、特徴抽出部１０２は、例えば、図４のようなユーザ１１が目を閉じている状態が撮影された画像において、左眉毛の特徴点（図４の（１）～（５））および右眉毛の特徴点（図４の（１２）～（１６））を抽出する。（１）および（１２）は目頭側の端、（５）および（１６）は目尻側の端を示す。（２）と（３）、そして（４）は、（１）と（５）とを結ぶ曲線を４等分する点である。（１３）と（１４）、そして（１５）は、（１２）と（１６）とを結ぶ曲線を４等分する点である。

【0025】

＜目頭部分の明度＞
例えば、特徴抽出部１０２は、左目について、眉毛の（１）と目の（６）とを線で結び、二点間の距離および中点を求める。特徴抽出部１０２は、求めた中点を中心とし、辺の長さが二点間の距離（つまり、（１）と（６）との距離）の１／３になるような矩形を生成する。特徴抽出部１０２は、生成した矩形の領域内の各画素のＲＧＢ値をＬ*ａ*ｂ*値へ変換する。特徴抽出部１０２は、変換したＬ*値（明度）の平均値を求め、Ｌ*値の平均値を"Ｌ＿ＥＹＥ_ＩＮ"とする。

【0026】

右目についても同様に、特徴抽出部１０２は、眉毛の（１２）と目の（１７）とを線で結び、二点間の距離および中点を求める。特徴抽出部１０２は、求めた中点を中心とし、辺の長さが二点間の距離（つまり、（１２）と（１７）との距離）の１／３になるような矩形を生成する。特徴抽出部１０２は、生成した矩形の領域内の各画素のＲＧＢ値をＬ*ａ*ｂ*値へ変換する。特徴抽出部１０２は、変換したＬ*値（明度）の平均値を求め、Ｌ*値の平均値を"Ｌ＿ＥＹＥ_ＩＮ"とする。

【0027】

＜中央部分の明度＞
例えば、特徴抽出部１０２は、左目について、眉毛の（４）と目の（７）とを線で結び、二点間の距離および中点を求める。特徴抽出部１０２は、求めた中点を中心とし、辺の長さが二点間の距離（つまり、（４）と（７）との距離）の１／３になるような矩形を生成する。特徴抽出部１０２は、生成した矩形の領域内の各画素のＲＧＢ値をＬ*ａ*ｂ*値へ変換する。特徴抽出部１０２は、変換したＬ*値（明度）の平均値を求め、Ｌ*値の平均値を"Ｌ＿ＥＹＥ_ＣＮＴ"とする。

【0028】

右目についても同様に、特徴抽出部１０２は、眉毛の（１５）と目の（１８）とを線で結び、二点間の距離および中点を求める。特徴抽出部１０２は、求めた中点を中心とし、辺の長さが二点間の距離（つまり、（１５）と（１８）との距離）の１／３になるような矩形を生成する。特徴抽出部１０２は、生成した矩形の領域内の各画素のＲＧＢ値をＬ*ａ*ｂ*値へ変換する。特徴抽出部１０２は、変換したＬ*値（明度）の平均値を求め、Ｌ*値の平均値を"Ｌ＿ＥＹＥ_ＣＮＴ"とする。

【0029】

上記のように、特徴抽出部１０２は、右目と左目について、ユーザ１１の瞼（中央部分と目頭部分）の明度、および、ユーザ１１の瞳内の黒目の明度を算出する。特徴抽出部１０２は、算出した明度を（式１）に代入して、右の瞼の明るさと左の瞼の明るさとを算出する。なお、（式１）のように分母に定数（（式１）では"１００"）を用いるのではなく、変数（例えば、"１００"の代わりに"Ｌ＿ＥＹＥ_ＣＮＴ"）を用いるようにしてもよい。

【0030】

【数1】

・・・（式１）

【0031】

このように、ユーザ１１の瞼の中央部分（つまり、瞼で最も明るいと仮定されうる部分）の明度と目頭部分（つまり、瞼で最も暗いと仮定されうる部分）の明度との平均値に基づいて、各瞼の明るさが算出される。

【0032】

特徴抽出部１０２は、上記の（式１）により算出された右の瞼の明るさと左の瞼の明るさとの平均値を算出する。右の瞼の明るさと左の瞼の明るさとの平均値が、ユーザ１１に推奨する商品を選択するために用いられる。

【0033】

ここで、瞼の明るさについて説明する。瞼の明るさを算出する手法は、上記の手法に限られない。例えば、特徴抽出部１０２は、瞳内の黒目の矩形の領域内の各画素のＨＳＶ値のＶ値の最小値を求め、ＨＳＶ値のＶ値の最小値を"Ｌ＿ＰＰＬ_ＧＮＤ"とすることができる。また、特徴抽出部１０２は、瞼の目頭部分の矩形の領域内の各画素のＨＳＶ値のＶ値の平均値を求め、ＨＳＶ値のＶ値の平均値を"Ｌ＿ＥＹＥ_ＩＮ"とすることができる。また、特徴抽出部１０２は、瞼の中央部分の矩形の領域内の各画素のＨＳＶ値のＶ値の平均値を求め、ＨＳＶ値のＶ値を"Ｌ＿ＥＹＥ_ＣＮＴ"とすることができる。その他、ＲＧＢ値のうちのいずれかの値の輝度値（例えば、Ｇフレーム上のＧ値、あるいは、Ｂフレーム上のＢ値の平均値）を用いることもできる。

【0034】

なお、特徴抽出部１０２は、上記の瞼の明るさに加えて、あるいは、上記の瞼の明るさに代えて、ＨＳＶ値のＳ値などの瞼の彩度（鮮やかさ）を、ユーザ１１に推奨する商品を選択するために用いられる特徴として抽出してもよい。

【0035】

＜マスカラおよびアイライナーの場合＞
図５を参照しながら、ユーザ１１の目を含む目の周辺から特徴を抽出する手法を説明する。

【0036】

図５は、本発明の一実施形態に係る特徴の抽出（マスカラおよびアイライナーの場合）を説明するための図である。特徴抽出部１０２は、ユーザ１１の目の縦幅と横幅との比を算出する。

【0037】

特徴抽出部１０２は、例えば、図５のようなユーザ１１が目を開いている状態が撮影された画像において、左目の特徴点（図５の（６）～（１１））および右目の特徴点（図５の（１７）～（２２））を抽出する。（６）および（１７）は、目頭（鼻に近い方の端）を示す。（７）、（８）、（１０）、（１１）および（１８）、（１９）、（２１）、（２２）は、黒目と白目と目のまわりの部分との境界を示す。（９）および（２０）は、目尻（耳に近い方の端）を示す。

【0038】

例えば、特徴抽出部１０２は、左目について、正中線に垂直に交わる（７）または（８）を通過する線（線１）を生成する。また、特徴抽出部１０２は、正中線に垂直に交わる（１０）または（１１）を通過する線（線２）を生成する。特徴抽出部１０２は、線１と線２との最短距離をユーザ１１の左目の縦幅とし、（６）と（９）の二点間の距離をユーザ１１の左目の横幅とする。

【0039】

右目についても同様に、特徴抽出部１０２は、正中線に垂直に交わる（１８）または（１９）を通過する線（線１）を生成する。また、特徴抽出部１０２は、正中線に垂直に交わる（２１）または（２２）を通過する線（線２）を生成する。特徴抽出部１０２は、線１と線２との最短距離をユーザ１１の右目の縦幅とし、（１７）と（２０）の二点間の距離をユーザ１１の右目の横幅とする。

【0040】

上記のように、特徴抽出部１０２は、右目と左目について、ユーザ１１の目の縦幅および横幅を算出して、縦幅と横幅との比を算出する。例えば、目の縦横比に基づいて、ユーザ１１の目が丸目であるか切れ目であるかが判定される。

【0041】

特徴抽出部１０２は、算出された右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値を算出する。右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が、ユーザ１１に推奨する商品を選択するために用いられる。

【0042】

特徴・商品対応関係格納部１０５には、ユーザの目を含む目の周辺から抽出された特徴の情報と、その特徴を有するユーザに合うとメーキャップアーティストやビューティーコンサルタント等の美容の専門家によって判断された一つ以上の商品の情報と、が紐付けられて格納されている。

【0043】

なお、複数のメーキャップアーティストやビューティーコンサルタント等の美容の専門家が商品を推奨するようにしてもよい。この場合、ユーザ１１が所望のメーキャップアーティスト等をユーザ端末１０上で指定できるようにして、商品推奨部１０３は、指定されたメーキャップアーティスト等による対応関係を参照するようにする。

【0044】

例えば、特徴・商品対応関係格納部１０５には、瞼の明るさが明るい（例えば、右の瞼の明るさと左の瞼の明るさとの平均値が閾値以上である）ユーザ１１に合う複数の色のアイシャドウの情報と、瞼の明るさが暗い（例えば、右の瞼の明るさと左の瞼の明るさとの平均値が閾値より小さい）ユーザ１１に合う複数の色のアイシャドウの情報とが格納されている。

【0045】

例えば、特徴・商品対応関係格納部１０５には、丸目である（例えば、右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が閾値より小さい）ユーザ１１に合う複数のタイプのマスカラやアイライナーの情報と、切れ目である（例えば、右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が閾値以上である）ユーザ１１に合う複数のタイプのマスカラやアイライナーの情報とが格納されている。

【0046】

なお、予め複数のユーザの特徴の情報を収集して、それらのユーザを四等分（つまり、瞼の明るさが明るい丸目、瞼の明るさが明るい切れ目、瞼の明るさが暗い丸目、瞼の明るさが暗い切れ目）することができる値を閾値（つまり、瞼の明るさが明るいか暗いかを判別するための閾値、丸目か切れ目かを判別するための閾値）として用いてもよい。

【0047】

商品推奨部１０３は、特徴抽出部１０２が抽出した特徴に基づいて、アイメーキャップのための商品を推奨する。具体的には、商品推奨部１０３は、特徴・商品対応関係格納部１０５に格納されている対応関係を参照して、特徴抽出部１０２が抽出した特徴に対応する商品（例えば、ユーザ１１に合った色のアイシャドウやユーザ１１に合ったタイプのマスカラ（例えば、睫毛を長く見せるマスカラ、睫毛を太く見せるマスカラ、睫毛を多く見せるマスカラなど））を選択する。

【0048】

＜ユーザの嗜好＞
本発明の一実施形態では、ユーザ１１によって指定された嗜好に基づいて、ユーザに適した商品を推奨することができる。具体的には、画像取得部１０１が、画像とともに、ユーザによって指定された嗜好（例えば、化粧後の印象を想起させる画像の選択、アンケートに対する回答）を取得する。商品推奨部１０３は、特徴・商品対応関係格納部１０５に格納されている対応関係を参照して、ユーザの嗜好および特徴抽出部１０２が抽出した特徴に対応する商品を選択する。この場合、特徴・商品対応関係格納部１０５には、ユーザの嗜好と、ユーザの目を含む目の周辺から抽出される特徴と、その特徴を有するユーザに合うとメーキャップアーティストやビューティーコンサルタント等の美容の専門家によって判断された商品と、が紐付けられて格納されているものとする。

【0049】

＜アイシャドウとマスカラの組み合わせ＞
本発明の一実施形態では、アイシャドウとマスカラの組み合わせ考慮した商品を推奨することができる。具体的には、瞼の明るさが明るいユーザ１１に合う複数の色のアイシャドウと、丸目であるユーザ１１に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ１１に推奨する商品とする。また、瞼の明るさが明るいユーザ１１に合う複数の色のアイシャドウと、切れ目であるユーザ１１に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ１１に推奨する商品とする。また、瞼の明るさが暗いユーザ１１に合う複数の色のアイシャドウと、丸目であるユーザ１１に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ１１に推奨する商品とする。また、瞼の明るさが暗いユーザ１１に合う複数の色のアイシャドウと、切れ目であるユーザ１１に合う複数のタイプのマスカラとの組み合わせのうち、メーキャップアーティスト等が推奨する組み合わせのアイシャドウとマスカラおよび塗布方法を、ユーザ１１に推奨する商品とする。なお、アイシャドウとマスカラとアイライナーとを組み合わせてもよい。

【0050】

表示部１０４は、商品推奨部１０３が推奨した商品をユーザ１１に対して提示する。具体的には、表示部１０４は、商品推奨部１０３が推奨した商品の、商品名、説明、価格、商品の画像といった情報をユーザ端末１０の画面上に表示する。なお、本発明の一実施形態では、ユーザ１１が表示された商品をインターネット上で購入できるようにしてもよい。

【0051】

図６は、本発明の一実施形態に係る商品推奨処理の一例を示すフローチャートである。

【0052】

ステップ１１（Ｓ１１）において、画像取得部１０１は、ユーザ１１の目を含む目の周辺が撮影された画像を取得する。

【0053】

ステップ１２（Ｓ１２）において、特徴抽出部１０２は、Ｓ１１で取得された画像の目を含む目の周辺から特徴を抽出する。

【0054】

ステップ１３（Ｓ１３）において、商品推奨部１０３は、Ｓ１２で抽出された特徴に基づいて、アイメーキャップのための商品を推奨する。

【0055】

ステップ１４（Ｓ１４）において、表示部１０４は、Ｓ１３で推奨された商品を表示する。

【0056】

図７は、本発明の一実施形態に係る特徴抽出処理（アイシャドウの場合）の一例を示すフローチャートである。

【0057】

ステップ２１（Ｓ２１）において、特徴抽出部１０２は、ユーザ１１が目を開いている状態が撮影された画像、および、ユーザ１１が目を閉じている状態が撮影された画像において、特徴点（左目の（６）～（１１）、右目の（１７）～（２２）、左眉毛の（１）～（５）、右眉毛の（１２）～（１６））を抽出する。

【0058】

ステップ２２（Ｓ２２）において、特徴抽出部１０２は、Ｓ２１で抽出した特徴点をもとに、ユーザ１１の瞼の中央部分の明度、ユーザ１１の瞼の目頭部分の明度、ユーザ１１の瞳内の黒目の明度を算出する。

【0059】

ステップ２３（Ｓ２３）において、特徴抽出部１０２は、Ｓ２２で算出した明度を上記の式（１）に代入して、右の瞼の明るさと左の瞼の明るさとを算出する。

【0060】

ステップ２４（Ｓ２４）において、特徴抽出部１０２は、Ｓ２３で算出した右の瞼の明るさと左の瞼の明るさとの平均値を算出する。右の瞼の明るさと左の瞼の明るさとの平均値が、ユーザ１１に推奨する商品を選択するために用いられる。

【0061】

図８は、本発明の一実施形態に係る特徴抽出処理（マスカラおよびアイライナーの場合）の一例を示すフローチャートである。

【0062】

ステップ３１（Ｓ３１）において、特徴抽出部１０２は、ユーザ１１が目を開いている状態が撮影された画像において、特徴点（左目の（６）～（１１）、右目の（１７）～（２２））を抽出する。

【0063】

ステップ３２（Ｓ３２）において、特徴抽出部１０２は、Ｓ３１で抽出した特徴点をもとに、目の縦幅および横幅を算出する。

【0064】

ステップ３３（Ｓ３３）において、特徴抽出部１０２は、Ｓ３２で算出した目の縦幅と横幅との比を算出する。

【0065】

ステップ３４（Ｓ３４）において、特徴抽出部１０２は、Ｓ３３で算出した右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値を算出する。右目の縦幅と横幅との比と左目の縦幅と横幅との比との平均値が、ユーザ１１に推奨する商品を選択するために用いられる。

【0066】

＜実施形態２＞
以下、実施形態２について説明する。

【0067】

＜全体の構成図＞
図９は、本発明の一実施形態に係る全体の構成図の一例（実施形態２）である。＜実施形態２＞では、ユーザ１１は、ユーザ端末１０をサーバ２０に接続させて、ユーザ１１に合ったアイメーキャップ商品の推奨を受ける。

【0068】

図９に示されるように、アイメーキャップ商品推奨システム（情報処理システムともいう）１は、ユーザ端末１０およびサーバ２０を含む。ユーザ端末１０とサーバ２０は、任意のネットワーク３０を介して通信可能に接続されている。以下、それぞれについて説明する。

【0069】

ユーザ端末１０は、アイメーキャップ商品の推奨を受けるユーザ１１が利用する端末である。例えば、ユーザ１１は、ユーザ端末１０にインストールされたスマートフォン用のアプリケーションを用いてサーバ２０に接続して、アイメーキャップ商品の推奨を受けることができる。ユーザ端末１０は、例えば、スマートフォン、タブレット、パーソナルコンピュータ等の任意のコンピュータ（情報処理装置ともいう）である。

【0070】

サーバ２０は、ユーザ端末１０からの要求に応じて、ユーザ１１に合ったアイメーキャップ商品を推奨するための処理を実行する。サーバ２０は、１または複数のコンピュータ（情報処理装置ともいう）からなる。

【0071】

＜機能構成＞
図１０は、本発明の一実施形態に係るアイメーキャップ商品推奨システムの機能ブロック図の一例（実施形態２）である。本発明の一実施形態では、＜実施形態１＞で説明した画像取得部１０１、特徴抽出部１０２、商品推奨部１０３、表示部１０４、特徴・商品対応関係格納部１０５のうちの少なくとも１つをサーバ２０が備えることができる。＜実施形態２＞では、ユーザ端末１０が画像取得部１０１と表示部１０４とを備え、サーバ２０が特徴抽出部１０２と商品推奨部１０３と特徴・商品対応関係格納部１０５とを備える。以下、詳細に説明する。

【0072】

ユーザ端末１０は、画像取得部１０１、画像送信部１０６、商品情報受信部１０９、表示部１０４を備える。以下、それぞれについて説明する。

【0073】

画像取得部１０１は、＜実施形態１＞と同様であるので説明を省略する。

【0074】

画像送信部１０６は、画像取得部１０１が取得した画像をサーバ２０へ送信する。

【0075】

商品情報受信部１０９は、サーバ２０によって推奨された商品の情報をサーバ２０から受信する。

【0076】

表示部１０４は、商品情報受信部１０９が受信した商品の情報をユーザ端末１０の画面上に表示する。

【0077】

サーバ２０は、画像受信部１０７、特徴抽出部１０２、商品推奨部１０３、商品情報送信部１０８、特徴・商品対応関係格納部１０５を備える。以下、それぞれについて説明する。

【0078】

画像受信部１０７は、ユーザ端末１０の画像取得部１０１が取得した画像をユーザ端末１０から受信する。

【0079】

特徴抽出部１０２は、＜実施形態１＞と同様であるので説明を省略する。

【0080】

商品推奨部１０３は、＜実施形態１＞と同様であるので説明を省略する。

【0081】

特徴・商品対応関係格納部１０５は、＜実施形態１＞と同様であるので説明を省略する。

【0082】

商品情報送信部１０８は、商品推奨部１０３が推奨する商品の情報をユーザ端末１０へ送信する。

【0083】

このように、本発明の一実施形態では、＜実施形態１＞で説明した画像取得部１０１、特徴抽出部１０２、商品推奨部１０３、表示部１０４、特徴・商品対応関係格納部１０５のうちの少なくとも１つをサーバ２０が備えることができる。

【0084】

＜効果＞
このように、本発明の一実施形態では、ユーザの目を含む目の周辺から抽出された特徴に基づいて、そのような特徴を有するユーザに合うとメーキャップアーティストやビューティーコンサルタント等の美容の専門家によって判断された、アイメーキャップのための商品を推奨することができる。例えば、瞼の明るさ（具体的には、瞼の中央部分の明度と目頭部分の明度との平均値および瞳内の黒目の最も暗い部分の明度より算出される値）に基づいて適切な色のアイシャドウを推奨したり、丸目か切れ目か（具体的には、目の縦横比）によって適切なタイプのマスカラやアイライナーおよびその塗布方法を推奨したりすることができる。

【0085】

＜ハードウェア構成＞
図１１は、本発明の一実施形態に係る情報処理装置（つまり、ユーザ端末１０およびサーバ２０）のハードウェア構成の一例を示すブロック図である。ユーザ端末１０およびサーバ２０は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３を有する。ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３は、いわゆるコンピュータを形成する。

【0086】

また、ユーザ端末１０およびサーバ２０は、補助記憶装置１００４、表示装置１００５、操作装置１００６、Ｉ／Ｆ（Interface）装置１００７、ドライブ装置１００８を有する。なお、ユーザ端末１０およびサーバ２０の各ハードウェアは、バスＢを介して相互に接続されている。

【0087】

ＣＰＵ１００１は、補助記憶装置１００４にインストールされている各種プログラムを実行する演算デバイスである。

【0088】

ＲＯＭ１００２は、不揮発性メモリである。ＲＯＭ１００２は、補助記憶装置１００４にインストールされている各種プログラムをＣＰＵ１００１が実行するために必要な各種プログラム、データ等を格納する主記憶デバイスとして機能する。具体的には、ＲＯＭ１００２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する、主記憶デバイスとして機能する。

【0089】

ＲＡＭ１００３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ１００３は、補助記憶装置１００４にインストールされている各種プログラムがＣＰＵ１００１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。

【0090】

補助記憶装置１００４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する補助記憶デバイスである。

【0091】

表示装置１００５は、ユーザ端末１０およびサーバ２０の内部状態等を表示する表示デバイスである。

【0092】

操作装置１００６は、ユーザ端末１０およびサーバ２０の管理者がユーザ端末１０およびサーバ２０に対して各種指示を入力する入力デバイスである。

【0093】

Ｉ／Ｆ装置１００７は、ネットワーク３０に接続し、ユーザ端末１０およびサーバ２０と通信を行うための通信デバイスである。

【0094】

ドライブ装置１００８は記憶媒体１００９をセットするためのデバイスである。ここでいう記憶媒体１００９には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記憶媒体１００９には、ＥＰＲＯＭ (Erasable Programmable Read Only Memory)、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0095】

なお、補助記憶装置１００４にインストールされる各種プログラムは、例えば、配布された記憶媒体１００９がドライブ装置１００８にセットされ、該記憶媒体１００９に記録された各種プログラムがドライブ装置１００８により読み出されることでインストールされる。あるいは、補助記憶装置１００４にインストールされる各種プログラムは、Ｉ／Ｆ装置１００７を介して、ネットワーク３０とは異なる他のネットワークよりダウンロードされることでインストールされてもよい。

【0096】

以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0097】

１ アイメーキャップ商品推奨システム
１０ ユーザ端末
１１ ユーザ
２０ サーバ
３０ ネットワーク
１０１ 画像取得部
１０２ 特徴抽出部
１０３ 商品推奨部
１０４ 表示部
１０５ 特徴・商品対応関係格納部
１０６ 画像送信部
１０７ 画像受信部
１０８ 商品情報送信部
１０９ 商品情報受信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】