特開 2022-91704 画像に現れるリップメイクアップ製品を特定する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022091704

(43)【公開日】2022-06-21

(54)【発明の名称】画像に現れるリップメイクアップ製品を特定する方法

(51)【国際特許分類】

   G06T 7/90 20170101AFI20220614BHJP

   G06T 7/00 20170101ALI20220614BHJP

【ＦＩ】

G06T7/90 A

G06T7/00 660A

G06T7/00 350B

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021195104

(22)【出願日】2021-12-01

(31)【優先権主張番号】20306519

(32)【優先日】2020-12-09

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】508283406

【氏名又は名称】シャネル パフュームズ ビューテ

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100187964

【弁理士】

【氏名又は名称】新井 剛

(72)【発明者】

【氏名】ロリエッテ ジョナサン

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096DA02

5L096EA14

5L096FA15

5L096HA11

5L096JA03

5L096JA11

(57)【要約】      （修正有）

【課題】人物の画像から使用されているリップメイクアップ製品を特定する方法及びシステムを提供する。
【解決手段】方法は、画像上の口を検出するステップと、口がメイクアップされているか否かを判定するステップと、人物の口がメイクアップされている場合、口に属する画像の少なくとも一部の画素から画像のリップメイクアップの色パラメータを決定するステップと、画像からのリップメイクアップの色パラメータと複数の参照リップメイクアップ製品の少なくとも一部の色パラメータとの間のディスタンスを計算するステップと、入力画像のリップメイクアップの色パラメータと参照リップメイクアップ製品のものとの間の少なくとも１つのディスタンスが所定の閾値未満である場合、画像上のリップメイクアップ製品と最も一致する参照リップメイクアップ製品を特定するステップと、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

入力画像からリップメイクアップ製品を特定する方法であって、前記方法がコンピュータ（１０）並びに複数の参照リップメイクアップ製品の各々について識別子及び色パラメータを記憶するメモリ（１１）を備えるシステム（１）によって実行され、
前記入力画像上の人物の口を検出するステップ（３００）と、
前記口がメイクアップされているか否かを判定するステップ（５００）と、
前記人物の前記口がメイクアップされている場合、
前記口に属する前記画像の少なくとも一部の画素から前記入力画像の前記リップメイクアップの色パラメータを決定するステップ（６００）と、
前記画像からの前記リップメイクアップの前記色パラメータと前記複数の参照リップメイクアップ製品の少なくともいくつかの前記色パラメータとの間のディスタンスを計算するステップ（７００）と、
前記入力画像の前記リップメイクアップの前記色パラメータと、前記参照リップメイクアップ製品のものとの間の少なくとも１つのディスタンスが所定の閾値未満の場合、前記画像上の前記リップメイクアップ製品と最も一致する参照リップメイクアップ製品を特定するステップ（８００）と、
を備えるリップメイクアップ特定方法。

【請求項2】

前記画像上の前記リップメイクアップ製品と最も一致する参照リップメイクアップ製品を特定するステップ（８００）は、口画像を入力として受信し、全ての前記参照リップメイクアップ製品のうち選択された１つを出力するように構成された分類モデルを実行するステップを備える、請求項１に記載のリップメイクアップ特定方法。

【請求項3】

前記口がメイクアップされているか否かを決定するステップ（５００）は、複数の口画像に対して学習され、リップメイクアップ製品の有無を判定するように構成された二項分類モデルを実行するステップを備える、請求項１又は２に記載のリップメイクアップ特定方法。

【請求項4】

前記画像上の前記リップメイクアップ製品に最も一致する参照リップメイクアップ製品を特定するステップ（８００）は、各参照リップメイクアップ製品について、前記参照リップメイクアップ製品を付けている顔の複数の人工的に生成された画像を備える学習データセットに対して学習済みの分類モデルを実行するステップを備える、請求項１～３のいずれかに記載のリップメイクアップ特定方法。

【請求項5】

前記画像の前記リップメイクアップ製品の質感を決定するステップ（５００）をさらに備え、前記画像の前記リップメイクアップ製品の前記色パラメータと前記参照リップメイクアップ製品の前記色パラメータとの間のディスタンスを計算するステップ（７００）が、前記画像の前記リップメイクアップ製品と同じ質感を有する前記参照リップメイクアップ製品に対してのみ実行される、先行する請求項のいずれかに記載のリップメイクアップ特定方法。

【請求項6】

前記リップメイクアップ製品の質感を決定するステップ及び前記画像上の前記口がメイクアップしているか否かを判定する前記ステップが、リップメイクアップ製品なし及びリップメイクアップ製品の複数の質感を含む複数のカテゴリのうち選択されたカテゴリを、顔を表す入力画像から出力するように構成された学習済モデルを実行するステップによって同時に実行される、請求項５に記載のリップメイクアップ特定方法。

【請求項7】

前記入力画像の前記リップメイクアップの色パラメータを決定するステップ（６００）は、
前記口に属する前記入力画像の画素のセットを選択するステップと、
前記画素のセットから黒色及び白色画素を除去するステップと、
前記画素のセットの前記色パラメータにわたる１つのクラスタによるｋ平均アルゴリズムを実行するステップ、及び前記リップメイクアップの前記色パラメータを前記画素のセットの前記色パラメータのセントロイドとして決定するステップと、
を備える、先行する請求項のいずれかに記載のリップメイクアップ特定方法。

【請求項8】

前記参照リップメイクアップ製品の前記色パラメータは、各参照リップメイクアップ製品について、
複数の顔画像を備える顔のセットに前記リップメイクアップ参照製品の仮想試着を実行するステップによって得られ、
得られた各画像については、
前記口に属する画素のセットを選択するステップと、
前記画素のセットから黒色及び白色画素を除去するステップと、
前記画素のセットの前記色パラメータにわたる１つのクラスタによるｋ平均アルゴリズムを実行し、それによりセントロイドを出力するステップ、及び 前記参照リップメイクアップ製品の前記色パラメータを、得られた各画像の前記セントロイドの前記色パラメータを備えるセットとして決定するステップと、
によって得られ、
前記画像からの前記リップメイクアップの前記色パラメータと前記複数の参照リップメイクアップ製品の少なくとも一部の前記色パラメータとの間のディスタンスを計算するステップ（７００）は、ディスタンスが計算される各参照リップメイクアップ製品について、前記画像からの前記リップメイクアップ製品の前記色パラメータと得られた各画像について得られた各セントロイドの前記色パラメータとの間のディスタンスを計算するステップを備える、先行する請求項のいずれかに記載のリップメイクアップ特定方法。

【請求項9】

前記入力画像の前記リップメイクアップ製品の前記色パラメータを決定するステップの前に、前記入力画像の色補正のステップ（４００）をさらに備える、先行する請求項のいずれかに記載のリップメイクアップ特定方法。

【請求項10】

それぞれの参照リップメイクアップ製品に関連付けられた複数の広告画像を備える広告データベースをさらに備えるシステム（１）によって実行され、前記方法は、前記入力画像が前記広告データベースに含まれる広告画像に対応するか否かを判定する予備ステップ（２００）と、対応する場合は、前記入力画像上の前記リップメイクアップ製品を前記広告画像に関連した前記参照リップメイクアップ製品として特定するステップと、を備える、先行する請求項のいずれかに記載のリップメイクアップ特定方法。

【請求項11】

前記入力画像が広告データベースに対応するか否かを判定するステップ（２００）は、前記広告データベースの前記広告画像、及び各広告画像について、前記広告画像の少なくとも１つの変換を実行することによって前記広告画像から人工的に生成される追加画像のセットを備える学習データベースに対して学習済みの機械学習アルゴリズムを実行することによって実行される、先行する請求項に記載のリップメイクアップ特定方法。

【請求項12】

追加画像を生成するために各広告画像に対して実行される変換は、
幾何変形と、
変更された背景レイヤと、
画面状の歪みと、
影又は太陽フレアの加算と、
色偏差と、
の１つ又は組合せである、先行する請求項に記載のリップメイクアップ特定方法。

【請求項13】

ユーザ端末（２）から前記入力画像を受信する予備ステップ（１００）を備え、前記画像の前記リップメイクアップ製品に対応する参照リップメイクアップ製品が決定されると、前記参照リップメイクアップ製品の特定を含む返信メッセージを前記ユーザ端末に送信するステップ（８００）をさらに備える先行する請求項のいずれかに記載のリップメイクアップ特定方法。

【請求項14】

前記返信メッセージは、前記参照リップメイクアップ製品を販売するｅショップ、及び／又は前記参照リップメイクアップ製品を仮想試用するための仮想試着アプリケーションにアクセスするのに適した接続情報をさらに含む、請求項１３に記載のリップメイクアップ特定方法。

【請求項15】

コンピュータ（１０）並びに複数の参照リップメイクアップ製品の各々について識別子及び色パラメータを記憶するメモリ（１１）を備え、請求項１～１４のいずれかに記載の方法を実行するよう構成されたリップメイクアップ特定システム（１）。

【請求項16】

コンピュータ及びカメラを備えるユーザ端末（２）並びに先行する請求項に記載のリップメイクアップ特定システムによって実行されるリップメイクアップ製品についての特定を要求する方法であって、前記方法が、
前記ユーザ端末（２）が画像を取得するステップと、
前記ユーザ端末（２）が取得された前記画像及び前記取得された画像に現れるリップメイクアップ製品を特定する要求を前記リップメイクアップ特定システム（１）に送信するステップと、
前記リップメイクアップ特定システム（１）が請求項１～１４のいずれかに記載の方法を前記画像に対して実行するステップと、
前記ユーザ端末（２）が、前記要求に応じて、以下の
前記画像上に現れる前記リップメイクアップ製品の表示（２５０、８００）、
前記画像においてリップメイクアップ製品が見つけられなかったことの表示（５５０）、又は
対応するリップメイクアップ製品が特定されなかったことの表示（６５０）、
のうちの１つを前記リップメイクアップ特定システム（１）から受信するステップと、
を備える方法。

【請求項17】

コンピュータによって実行されると、請求項１～１４又は１６のいずれか一項に記載の方法を実行するコード命令を備えるコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

発明は、対応するリップメイクアップ製品を推奨するために、入力画像からリップメイクアップ製品を特定する方法及びシステムに関する。

【背景技術】

【0002】

顧客がリップメイクアップ製品を選択しようとする場合、唇に適用されると、バルク製品の色から又は製品のパッケージングに表示された色から製品のレンダリングを決定することが難しい場合がある。実際に、製品の色は質感と同様に、皮膚に適用された際に異なって見えることがある。

【0003】

反対に、リップメイクアップ製品を付けている人物の画像を見る場合、上記人物は、唇になじませると、リップメイクアップ製品の外観を容易に得る。リップメイクアップ製品が人物の好みであれば、彼又は彼女は、対応するリップメイクアップ製品を見つけ、それを購入しようとし得る。しかし、唇上の製品の見た目とバルク製品又はそのパッケージングの見た目との間の差異について上記で述べた理由のために、一致する製品を見つけることは容易ではない場合がある。

【0004】

したがって、画像からリップメイクアップ製品を決定する解決策についてのニーズが存在する。

【0005】

解決策は、ユーザの肌の色に基づいた、ユーザに適したファンデーションを決定するために提案されている。しかし、これらの解決策は、リップメイクアップ製品の選択には適用できない。それは、そのような唇に対する製品の態様は分析するにはより複雑であり、口紅はファンデーションにはあてはまらない質感に関して特異性を有しているためである。

【0006】

欧州特許第３４４７７２６号明細書により、口紅の色を取得して参照と比較する画像分析方法も知られているが、この分析は、メイクアップを適用する際に人物を支援するためにのみ実行される。

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記開示の方法のいずれも、上記問題に対する解決策を提供しない。

【0008】

リップメイクアップ製品を自動的に特定する方法を提供することによって従来技術の欠点を克服することが、本発明の目的である。特に、本発明の目標は、参照リップメイクアップ製品のデータベースの中で、画像に見られるリップメイクアップ製品に最も良好に対応する製品を特定することである。

【0009】

本発明の他の目的は、選択された参照製品が、画像に見られるリップメイクアップ製品に最も近く一致するだけでなく、顧客に適切であるように、上記リップメイクアップ製品に十分に類似していることも保証することである。

【課題を解決するための手段】

【0010】

この目的で、入力画像からリップメイクアップ製品を特定する方法が開示され、その方法はコンピュータ並びに複数の参照リップメイクアップ製品の各々について識別子及び色パラメータを記憶するメモリを備えるシステムによって実行され、
入力画像上の人物の口を検出するステップと、
口がメイクアップされているか否かを判定するステップと、
人物の口がメイクアップされている場合、
口に属する画像の少なくとも一部の画素から入力画像のリップメイクアップの色パラメータを決定するステップと、
画像からのリップメイクアップの色パラメータと複数の参照リップメイクアップ製品の少なくとも一部の色パラメータとの間のディスタンスを計算するステップと、
入力画像のリップメイクアップの色パラメータと、参照リップメイクアップ製品のものとの間の少なくとも１つのディスタンスが所定の閾値未満である場合、画像上のリップメイクアップ製品と最も一致する参照リップメイクアップ製品を特定するステップと、
を備える。

【0011】

実施形態において、口がメイクアップされているか否かを判定するステップは、複数の口画像に対して学習済みであり、リップメイクアップ製品の有無を判定するように構成された二項分類モデルを実行するステップを備える。

【0012】

実施形態において、画像上のリップメイクアップ製品に最も一致する参照リップメイクアップ製品を特定するステップは、各参照リップメイクアップ製品について、上記参照リップメイクアップ製品を付けている顔の複数の人工的に生成された画像を備える学習データセットに対して学習済みの分類モデルを実行するステップを備える。

【0013】

実施形態において、方法は、画像のリップメイクアップ製品の質感を決定するステップをさらに備え、画像のリップメイクアップ製品の色パラメータと参照リップメイクアップ製品の色パラメータとの間のディスタンスを計算するステップが画像のリップメイクアップ製品と同じ質感を有する参照リップメイクアップ製品に対してのみ実行される。

【0014】

この場合、リップメイクアップ製品の質感を決定するステップ及び画像上の口がメイクアップしているか否かを判定するステップは、リップメイクアップ製品なし及びリップメイクアップ製品の複数の質感を含む複数のカテゴリのうち選択されたカテゴリを、顔を表す入力画像から出力するように構成された学習済モデルを実行するステップによって同時に実行され得る。

【0015】

実施形態において、入力画像のリップメイクアップの色パラメータを決定するステップは、
口に属する入力画像の画素のセットを選択するステップと、
画素のセットから黒色及び白色画素を除去するステップと、
画素のセットの色パラメータにわたる１つのクラスタによるｋ平均アルゴリズムを実行するステップ、及びリップメイクアップの色パラメータを画素のセットの色パラメータのセントロイドとして決定するステップと、
を備える。
実施形態において、参照リップメイクアップ製品の色パラメータは、各参照リップメイクアップ製品について、
複数の顔画像を備える顔のセットに上記リップメイクアップ参照製品の仮想試着を実行するステップによって得られ、
得られた各画像については、
口に属する画素のセットを選択するステップと、
画素のセットから黒色及び白色画素を除去するステップと、
画素のセットの色パラメータにわたる１つのクラスタによるｋ平均アルゴリズムを実行し、それによりセントロイドを出力するステップ、及び参照リップメイクアップ製品の色パラメータを、得られた各画像のセントロイドの色パラメータを備えるセットとして決定するステップと、
によって得られ、
画像からのリップメイクアップの色パラメータと複数の参照リップメイクアップ製品の少なくとも一部の色パラメータとの間のディスタンスを計算するステップは、ディスタンスが計算される各参照リップメイクアップ製品について、画像からのリップメイクアップ製品の色パラメータと得られた各画像について得られた各セントロイドの色パラメータとの間のディスタンスを計算するステップを備える。

【0016】

実施形態において、方法は、入力画像のリップメイクアップ製品の色パラメータを決定するステップの前に、入力画像の色補正のステップをさらに備える。

【0017】

実施形態において、方法は、それぞれの参照リップメイクアップ製品に関連付けられた複数の広告画像を備える広告データベースをさらに備えるシステムによって実行され、方法は、入力画像が広告データベースに含まれる広告画像に対応するか否かを判定する予備ステップと、対応する場合は、入力画像上のリップメイクアップ製品を上記広告画像に関連した参照リップメイクアップ製品として特定するステップと、を備える。

【0018】

この場合、入力画像が広告データベースに対応するか否かを判定するステップは、広告データベースの広告画像、及び各広告画像について、上記広告画像の少なくとも１つの変換を実行することによって広告画像から人工的に生成される追加画像のセットを備える学習データベースに対して学習済みの機械学習アルゴリズムを実行することによって実行され得る。

【0019】

追加画像を生成するために各広告画像に対して実行される変換は、
幾何変形と、
変更された背景レイヤと、
画面状の歪みと、
影又は太陽フレアの加算と、
色偏差と、
の１つ又は組合せであり得る。

【0020】

実施形態において、方法は、ユーザ端末から入力画像を受信する予備ステップを備え、画像のリップメイクアップ製品に対応する参照リップメイクアップ製品が決定されると、参照リップメイクアップ製品の特定を含む返信メッセージをユーザ端末に送信するステップをさらに備える。

【0021】

実施形態において、返信メッセージは、上記参照リップメイクアップ製品を販売するｅショップ、及び／又は上記参照リップメイクアップ製品を仮想試用するための仮想試着アプリケーションにアクセスするのに適した接続情報をさらに含む。

【0022】

他の目的によると、コンピュータ並びに複数の参照リップメイクアップ製品の各々について識別子及び色パラメータを記憶するメモリを備えるリップメイクアップ特定システムが開示され、リップメイクアップ特定システムは上記の説明による方法を実行するよう構成される。

【0023】

他の目的によると、コンピュータ及びカメラを備えるユーザ端末によって実行される、リップメイクアップ製品についての特定を要求する方法が開示され、上記方法は、
画像を取得するステップと、
取得された画像及び取得された画像に現れるリップメイクアップ製品を特定する要求をリップメイクアップ特定システムに送信するステップと、
上記要求に応じて、以下の
画像上に現れるリップメイクアップ製品の表示、
画像においてリップメイクアップ製品が見つからなかったことの表示、又は
対応するリップメイクアップ製品が特定されなかったことの表示、
のうちの１つを受信するステップと、
を備える。

【0024】

他の目的によると、上記の特定を要求する方法を実行するよう構成されたコンピュータ及びカメラを備えるユーザ端末が開示される。

【0025】

コンピュータによって実行されると、上記に開示される方法のいずれかを実行するためのコード命令を備えるコンピュータプログラム製品も開示される。

【0026】

上記に開示される方法は、参照リップメイクアップ製品のデータベースのうち、画像上で視認可能なリップメイクアップ製品に最も良好に対応するものを特定することができる。この方法はまた、入力写真がメイクアップしていない口を示す場合に製品参照を与えないために、リップメイクアップ製品が画像上で実際に視認可能か否かを判定することもできる。

【0027】

さらに、画像上で視認可能な製品の比色パラメータと参照リップメイクアップ製品の比色パラメータとの間のディスタンスを所定の閾値と比較することによって、方法は、対象メイクアップ製品に十分近い参照製品のみ提案することを保証する。

【0028】

以下では、「対象メイクアップ製品」は、処理画像又は入力画像上で視認可能なリップメイクアップ製品を指定するように使用され得る。

【0029】

対象メイクアップ製品が参照製品から離れ過ぎている場合、参照製品は特定されない。したがって、顧客は、画像に示される製品に厳密には対応していないおそらく「一致している」参照リップメイクアップ製品を受信することによって失望しない。

【0030】

発明の他の特徴及び効果は、添付図面を参照して、非限定的な実施例として与えられる以下の詳細な説明から明らかとなる。

【図面の簡単な説明】

【0031】

【図1】図１は、一実施形態による、入力画像からリップメイクアップ製品を特定する方法の主要なステップを概略的に表す。

【図2】図２は、他の実施形態による、入力画像からリップメイクアップ製品を特定する方法の主要なステップを概略的に表す。

【図3】図３は、リップメイクアップ製品を特定するシステムを概略的に表す。

【図4】図４ａは、入力画像の予備処理の例を表す。図４ｂは、入力画像の予備処理の例を表す。図４ｃは、入力画像の予備処理の例を表す。図４ｄは、入力画像の予備処理の例を表す。

【図5a】図５ａは、入力画像から広告を検出するように構成されたモデルに対する学習データベースを構築するために、入力画像に対して実行され得る例示的な変換を示す。

【図5b】図５ｂは、入力画像が広告画像に対応するか否か決定するように構成された分類器を学習させる生成画像のセットの例を示す。

【図6】図６は、質感分類器の例を概略的に表す。

【図7】図７は、入力画像上で視認可能なリップメイクアップ製品の色パラメータを決定する口画素の選択を表す。

【図8】図８は、複数のリップメイクアップ製品の色パラメータの実例を表す。

【発明を実施するための形態】

【0032】

入力画像からリップメイクアップ製品を特定する方法をここで説明する。

【0033】

図３を参照すると、この方法は、コンピュータ１０及びメモリ１１を備えるリップメイクアップ特定システム１によって実行され得る。コンピュータは、１以上のコンピュータ処理部ＣＰＵ、１以上のグラフィック処理部ＧＰＵ、マイクロプロセッサ、コントローラ、マイクロコントローラなどを含む任意の適切な種類の処理装置であり得る。

【0034】

メモリ１１は、リップメイクアップ製品特定方法を実行するためにコンピュータ１０によって実行され得るコード命令を記憶する。メモリ１１はまた、各参照リップメイクアップ製品について、少なくとも上記製品の識別子及び色パラメータを備える参照リップメイクアップ製品のデータベースを記憶し得る。データベースはまた、各参照リップメイクアップ製品について、上記製品が現れる広告画像のリストも記憶し得る。メモリ１１はまた、以下でより詳細に説明されるように、リップメイクアップ製品特定方法の実施中に実行され得る多数の学習済機械学習モデルを記憶し得る。

【0035】

他の実施形態では、上記データベースは、システム１のメモリ１１とは異なるメモリに記憶され得る。例えば、それは、システム１が電気通信ネットワークを介してアクセスし得るリモートサーバに記憶され得る。

【0036】

いずれの場合にもシステム１は、電気通信ネットワークに接続し、システム１が複数のユーザの個人用端末２からメッセージを受信し、そこにメッセージを送信することを可能とするインターフェース１２を備える。ユーザの個人用端末２は、例えば、少なくともプロセッサ及びメモリ、カメラ、並びに、例えば、ＧＳＭ、ＵＭＴＳ、ＬＴＥ、３Ｇ、４Ｇ、５Ｇなどのタイプの携帯ネットワークなどの無線アクセスネットワークによって電気通信ネットワークに接続するためのインターフェースを備える、携帯電話又はデジタルタブレットであり得る。

【0037】

図１及び２を参照して、画像のリップメイクアップ製品を特定する方法の２つの例示的な実施形態をここで開示する。

【0038】

典型的な状況は、ユーザにとって興味のあるリップメイクアップ製品を付けている人物を表す写真を見るユーザのものである。ユーザは、その個人用端末２を使用して、この写真の画像を取得し、取得された画像を表示されたリップメイクアップ製品を特定するシステム１に送信し得る。この目的で、ユーザは、その個人用端末にダウンロードされた専用アプリを使用し、又は専用ウェブサイトに写真をアップロードし得る。

【0039】

システム１は、ユーザによって取得された画像に対応する入力画像をステップ１００で受信する。他の実施形態では、入力画像１００はシステム１によって直接取得されてもよく、それは、入力画像の取得及び画像上で視認可能なリップメイクアップ製品の特定を実行するのが同一の装置であることを意味する。例えばこの場合、システム１及びユーザ端末２は、単一の装置を形成し得る。

【0040】

実施形態では、システム１はまた、画像に対して顔検出アルゴリズムも実行し、方法の後続のステップを実行する前に、実際に顔が入力画像において視認可能であることを確認する。

【0041】

いくつかの実施形態では、システム１はそれぞれの参照リップメイクアップ製品に関連付けられた複数の広告画像を備える広告データベースを備え、方法は入力画像が広告データベースの広告に対応するか否かを検出するステップ２００を備え得る。対応する場合は、入力画像に現れるリップメイクアップ製品が、広告に関連付けられた参照リップメイクアップ製品として直ちに特定され得る。そして、システム１はユーザに上記参照リップメイクアップ製品を特定するメッセージ２５０を提供してもよく、対応する広告画像を表示してもよい。そのようにして、ユーザは、自分が街頭、雑誌又はインターネット上で見つけた広告の写真を取得する場合、広告に使用されたリップメイクアップ製品を直ちに特定し得る。

【0042】

この検出は、入力画像が広告データベースの広告画像に対応するか否かを決定するように構成された機械学習アルゴリズムを実行することによって実行される。

【0043】

一方で、広告データベースは、機械学習アルゴリズムを効率的に学習させるのに十分な画像を含んでいないこともある。さらに、ユーザは、広告の画像を、種々の照明条件、種々の視野角などを含む種々の条件において取得してもよく、機械学習アルゴリズムはそのような変化する取得条件に対して頑強でなくてはならない。

【0044】

これらの問題を克服するために、上記機械学習アルゴリズムは、広告データベースの広告画像に加えて、上記広告画像に少なくとも１つの変換を実行することによって、上記広告画像から人工的に生成された多数の画像を備える専用のデータベースに対して学習される。

【0045】

実施形態では、広告画像に対して実行される変換は、ユーザによる入力画像の種々の取得条件を模倣するために選択される。

【0046】

初期広告画像の各変換は、
例えば、回転、斜視図のシミュレーション又は初期広告画像のトリミングを含む、少なくとも１つの幾何変換と、
背景に対する画像の比率を低減し、均一色、又は、例えば、風景、街頭、車両、家具などの画像を含む背景画像のライブラリ中から選択されたランダムな画像で背景を置換することによる、背景レイヤの変更と、
決定された色チャネルでの色マスクレイヤ及び／又は色ジッタを加算することによる、初期広告画像の色の変化と、
影又は太陽フレアのシミュレーションと、
コンピュータ若しくは携帯電話の画面又はテレビの画面の写真に現れる画面状の歪みの縞（モアレ効果）のシミュレーションであるコンピュータ画面の写真に現れる線のセットであり、上記歪みが、広告画像上のグリッドの出現をシミュレーションするステップ及び上記グリッドの弾性変形を実行するステップによってシミュレーションされ得る、シミュレーションと、
の１つ又は組合せを含み得る。

【0047】

実施形態において、各初期広告画像について、これらの変換を実行することによって、少なくとも百、好ましくは少なくとも数百の画像が生成される。

【0048】

実施形態では、各タイプの変換は一定の確率によって実行されてもよく、初期広告画像から生成された画像は各変換に関連付けられた確率に従って自動的に生成される。図５ａを参照して、多数の適用可能な変換及びそれに関連する確率を示すツリーの非限定的及び概略的な例を示す。さらに、各変換のパラメータも、所定の範囲（例えば、回転角度、トリミング比率など）の中でランダムに選択され得る。

【0049】

図５ｂを参照して、初期広告から自動的に生成された画像のいくつかの例を示す。

【0050】

これにより、データベースは、入力画像を入力として受信し、
入力画像内に検出された広告画像の特定及び／若しくは上記広告画像に対応する参照リップメイクアップ製品の識別子、又は
入力画像が広告データベースの広告画像のいずれにも対応しないことを指摘する出力、
を出力するように構成された機械学習アルゴリズムを学習させるために取得され得る。

【0051】

例えば、上記機械学習アルゴリズムは、例えば、ｒｅｓｎｅｔ又はｍｏｂｉｌｅｎｅｔタイプの畳み込みニューラルネットワーク（ＣＮＮ）であり得る。このタイプのネットワークについて、ｒｅｓｎｅｔ又はｍｏｂｉｌｅｎｅｔ構造の最終レイヤは、完全接続レイヤによって置換され得る。

【0052】

選択的に、ｓｏｆｔｍａｘレイヤもまた、出力全てに対する確率を計算するために加算され得る。そして、最も高い確率は、確率が広告に効果的に対応するのに十分に高いことを保証するように決定された閾値と比較され得る。最も高い確率が十分に高くない場合、入力画像は広告に対応するようには決定されない。

【0053】

入力画像における広告の検出及びリップメイクアップ製品の上記広告からの特定のステップが実行されていない場合、又は広告が検出されない場合には、方法は、上記画像の後続の処置のために、入力画像の前処理３００を備える。前処理は、画像で視認可能な人物の口を含む画像の部分を抽出することを目的とする。そのような前処理の概略的な例を、図４ａ～４ｄを参照して示す。入力画像の前処理３００は、Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ａｒＸｉｖ：１５０６．０１４９７、２０１６におけるＲ．Ｓｈａｏｑｉｎｇ他の記事「Ｆａｓｔｅｒ Ｒ－ＣＮＮ：Ｔｏｗａｒｄｓ Ｒｅａｌ－Ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ Ｒｅｇｉｏｎ Ｐｒｏｐｏｓａｌ Ｎｅｔｗｏｒｋｓ」に開示されているタイプの領域ベースの畳み込みニューラルネットワーク、Ｖｉｏｌａ－Ｊｏｎｅｓオブジェクト検出アルゴリズム、又は当業者に既知の任意の他の顔検出アルゴリズムなどの、顔検出アルゴリズム３１０を実行するステップを備え得る。

【0054】

そして、前処理３００は、図４ａ及び４ｂを参照して、画像に現れる顔が予め定義されたサイズを有し、予め定義された向きを有するように、人物の顔の画像を正規化するステップ３２０を備える。したがって、リップメイクアップ製品特定方法において処理された全ての入力画像は常に同一のサイズ及び向きを有し、それは、後続して画像に対して実行されるアルゴリズムがより高い性能を示し、より少ない計算しか必要としないことを可能とする。顔の向きは、２つの眼角の間に延在する線と水平、好ましくは、目尻の間に延在する線と水平の間に形成される角度として定義されてもよい。

【0055】

この正規化は、対象寸法に到達するために、手動又は顔のランドマーク検出アルゴリズムを使用して眼角を検出するステップ、及び画像を所望の角度に回転させ同時に画像を決定されたスケールに至らせるアフィン回転行列を使用して画像を旋回するステップによって実行され得る。対象寸法は、画像上の頭部の対象幅であり得る。

【0056】

そして、前処理は、図４ｃに示すように、画像上の唇の縁を位置特定するステップ３３０を備える。このステップは、画像に対して実行された顔のランドマーク検出アルゴリズムによって達成され得る。顔のランドマーク検出アルゴリズムは、例えば、以下の刊行物に開示されるアルゴリズムの中で選択され得る：
Ｖ．Ｋａｚｅｍｉ他、「Ｏｎｅ Ｍｉｌｌｉｓｅｃｏｎｄ Ｆａｃｅ Ａｌｉｇｎｍｅｎｔ ｗｉｔｈ ａｎ Ｅｎｓｅｍｂｌｅ ｏｆ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ」２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，オハイオ州コロンバス、２０１４年、ｐｐ．１８６７－１８７４、ｄｏｉ：１０．１１０９／ＣＶＰＲ．２０１４．２４１、
Ｒ．Ｖａｌｌｅ他、「Ａ Ｄｅｅｐｌｙ－ｉｎｉｔｉａｌｉｚｅｄ Ｃｏａｒｓｅ－ｔｏ－ｆｉｎｅ Ｅｎｓｅｍｂｌｅ ｏｆ Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓ ｆｏｒ Ｆａｃｅ Ａｌｉｇｎｍｅｎｔ」。

【0057】

代替的に、顔のランドマーク検出アルゴリズムがサブステップ３２０で眼角を位置特定するために実行されていた場合、顔画像を正規化するために使用されるアフィン回転行列の回転及びスケールパラメータをアルゴリズムによって出力された口の縁に位置特定されたランドマークに対して適用することによる顔画像の正規化後に、口の縁の点の位置を推測することができる。

【0058】

そして、入力画像は、図４ｃに示す例であるサブステップ３４０の間にトリミングされ、入力画像に示す口の部分のみを保持する。

【0059】

そして、トリミングされた部分は、後続の処理のための一定のサイズを有するために、サイズ変更され得る。

【0060】

したがって、前処理３００の結果は、人物の口を中心とした一定のサイズの写真となる。

【0061】

そして、リップメイクアップ製品の特定は、入力画像上に現れるものに最も近い参照リップメイクアップ製品の決定を目的とするステップを備える。

【0062】

この目的で、色補正４００は、人物の顔全体についての色情報を有するために、前処理３００の結果得られた入力画像の一部に対して、又はより好ましくは、入力画像全体に対して実行されてもよい。実際に、入力画像の取得条件は、入力画像の色のレンダリングを変更し得る。これは、周囲の照明条件によって、又は入力画像が雑誌のページの画像である場合は、雑誌の用紙によって生じる変更によって引き起こされ得る。

【0063】

色補正４００は、例えば、入力画像の各色チャネルの色ヒストグラムを拡張するステップを備え得る。例えば、画像の色チャネルが赤、緑及び青である場合、各画素は各色チャネルにおいて０と２５５の間の値を示し得る。色補正は、各色チャネルにおいて、入力画像の画素の最小及び最大値（例えば、０と２５５の間に含まれるＡ及びＢ）を検出するステップ、並びに同一の比率を保持するために、最小値Ａを０で置換し、最大値Ｂを２５５で置換し、ＡとＢの間に当初含まれる全ての値を再計算するような補正を提供するステップを備え得る。例えば、値Ｃは再計算されて、Ｃ’＝Ｃ×２５５／（Ｂ－Ａ）となり得る。

【0064】

さらに、色補正はまた、彩度チャネルを可能な限り拡張するために、画像の比色領域をＨＳＶ領域に変換するステップと、色相Ｈ、彩度Ｓ及び明度Ｌを表すステップと、画素の彩度値に関して同じ拡張を実行するステップと、を備え得る。

【0065】

他の実施形態において、機械学習ベースの技術を含む他の色補正技術が実行され得る。例えば、Ｍ．Ａｆｉｆｉによる刊行物、「Ｓｅｍａｎｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：Ｓｅｍａｎｔｉｃ Ｃｏｌｏｒ Ｃｏｎｓｉｓｔａｎｃｙ Ｕｓｉｎｇ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ」、ａｒＸｉｖ：１８０２．００１５３ｖ５［ｃｓ．ＣＶ］２０１９年５月３１日が参照され得る。

【0066】

そして、方法は、入力画像上で視認可能な口がリップメイクアップを付けているか否かを判定するステップ５００を備える。

【0067】

図１に示す一実施形態において、このステップは、好ましくは前処理３００及び色補正４００を実行した後に、入力画像を入力として受信し、リップメイクアップを付けていることの表示又はリップメイクアップを付けていないことの表示のいずれかを出力するように構成された二項分類器を実行することによって実行される。

【0068】

上記分類器は、畳み込みニューラルネットワーク（ＣＮＮ）、例えば、この使用に適合されたＲｅｓｎｅｔ又はＭｏｂｉｌｅｎｅｔネットワークであり得る。特に、最終レイヤが除去され、（「リップメイクアップ」又は「リップメイクアップなし」にそれぞれ対応する）２つの出力を有する完全接続レイヤに置換されるＲｅｓｎｅｔネットワークが使用され得る。

【0069】

上記ＣＮＮは、メイクアップを付け、又は付けていない、少なくとも数千の口画像から形成される学習データベースに対して教師あり学習をすることによって学習し得る。学習に使用される各画像は、上記で開示されたものと同じ前処理３００を初期の顔画像に実行することによって取得され得る。好ましくは、学習データベースは、リップメイクアップを付けている人々の画像及びメイクアップを付けていない人々の画像を略等しい比率で備える。

【0070】

図２に示す代替的な一実施形態において、ステップ５００は、入力画像において視認可能な口を覆うリップメイクアップ製品の質感を、リップメイクアップ製品なしを含む複数の質感及び多数のリップメイクアップの質感の中で決定するステップであり得る。例えば、上記リップメイクアップの質感は、
マット調と、
ブライト調と、
グロス調と、を含み得る。

【0071】

図６に概略的に示すように、質感の決定は、好ましくは前処理３００及び色補正４００を実行した後に、入力画像を入力として受信し、メイクアップなしを含む上記の所与の複数の質感のうち、口紅の質感の表示を出力するように構成された分類器を使用して実行され得る。

【0072】

上記分類器はＣＮＮであってもよく、前述のように、それは、最終レイヤが所望の出力（質感ごとに１つの出力）を有する完全接続レイヤに置換されたＲｅｓｎｅｔ又はＭｏｂｉｌｅｎｅｔであってもよい。

【0073】

このモデルはまた、（上記で開示された前処理３００を実行することによって顔画像から得られる）少なくとも数千枚の口画像により構成される学習データベースを使用して教師あり学習することによって学習し、各口画像について、画像上で視認可能なリップメイクアップ製品の質感を示し、又はリップメイクアップがないことを示すために注釈付けされてもよい。好ましくは、学習データベースによる画像は、可能な質感の全てをほぼ同じ比率で表してもよい。

【0074】

入力画像上で視認可能な人物によってメイクアップが付けられていないことがステップ５００から結果として得られる場合、システム１は、入力画像を送信したユーザに、上記画像にリップメイクアップがないことを通知する通知５５０を送信し得る。

【0075】

他の場合では、方法は次に、入力画像に現れるリップメイクアップ製品の色パラメータを決定するステップ６００を備える。

【0076】

図７を参照すると、これらの色パラメータは、口に属する入力画像の画素のセットを選択することによって決定され得る。そうするために、前処理するステップ１００の間に唇の縁を示すランドマークが再利用され、唇に属する画素が選択される。これを、図７の第２の画像に示す。

【0077】

そして、白色画素が歯又はカメラフラッシュの反射に対応し、黒色画素が唇の縁に対応し得るので、白色画素及び黒色画素の範囲はこのサブセットから除去される。結果として得られる画素のセットを、図７の第３の画像に示す。

【0078】

そして、１つのクラスタによるｋ平均アルゴリズムは、画素の残りのセットの色パラメータにわたって実行される。上記色パラメータは、ＲＧＢ比色領域又はＣＩＥ Ｌ^＊ａ^＊ｂ^＊比色領域で表現され得る。そして、リップメイクアップ製品の色パラメータは、画素のセットの色パラメータのセントロイドの色パラメータに対応し、上記セントロイドは、ｋ平均アルゴリズムによって出力される。

【0079】

そして、方法は、入力画像に現れるリップメイクアップの色パラメータとデータベースの参照リップメイクアップ製品の少なくとも一部の色パラメータとの間のディスタンスを計算するステップ７００を備え、データベースの少なくとも１つの参照リップメイクアップ製品が、所定の閾値未満の画像からのリップメイクアップの色パラメータによるディスタンスを有するか否かを決定し得る。このステップは、入力画像上のリップメイクアップ製品が参照リップメイクアップ製品データベース内に存在する色の範囲に属すること、及び特定方法の結果が対象リップメイクアップ製品から離れ過ぎている参照リップメイクアップ製品を出力しないことを確認可能とする。

【0080】

例えば、シャネルのリップメイクアップ製品データベースは、シャネルによって販売されるリップメイクアップ製品のセットに対応する。このデータベースは、緑色のリップメイクアップ製品を含まない。したがって、緑色の口紅でメイクアップされた口を表す入力画像が取得された場合、ステップ６００は、シャネルの参照データベースによるリップメイクアップ製品は所定の閾値未満の緑色の口紅の色パラメータによるディスタンスを有していないこと、及びそれによりシャネルの参照データベース中のリップメイクアップ製品は入力画像上で視認可能な口紅に対応しないことの表示をもたらすことになる。

【0081】

ステップ５００がリップメイクアップ製品の質感を決定するステップを備える方法の実施形態では、ステップ６００は、入力画像に現れるメイクアップ製品に対してステップ５００の間に決定されたものと同じ質感を有する参照リップメイクアップ製品のサブセットについてのみ実行され得る。

【0082】

参照リップメイクアップ製品の色パラメータに関して、これらのパラメータは、各参照リップメイクアップ製品の色説明として既知であり得る。

【0083】

ただし、より関連性の高い色パラメータのために、色パラメータは、各参照リップメイクアップ製品を付けた口の画像から抽出されてもよい。上記画像は、各参照リップメイクアップ製品を実際に付けている人々の画像を取得することによって得られてもよく、又は複数の顔画像に対して各参照リップメイクアップ製品の仮想試着を実行することによって生成されてもよい。

【0084】

ここで、人物の口に対応する画素を選択し、それら画素をメイクアップ製品のレンダリングをシミュレーションする画素で置換するアルゴリズムが、仮想試着の意味に含まれる。

【0085】

ＧＡＮ（Generative Adversarial Networks）又はＶＡＥ（Variational Auto-encoders）などの、メイクアップスタイルをある画像から他の画像に転送するように構成された深層学習生成モデルの実行も、仮想試着の意味に含まれる。例えば、Ｈ．Ｃｈａｎｇ他による刊行物「Paired Cycle GAN:Asymmetric Style Transfer for Applying or Removing Makeup」、CVPR2018、２０１８年６月が参照され得る。

【0086】

いずれの場合も、画像は、ステップ３００の前処理及び図７を参照して上記で開示されたものと同じ画素選択の処理の対象となる。そして、１つのクラスタによる第１のｋ平均アルゴリズムが各画像について実行され、アルゴリズムによって出力されたセントロイドが、対応する画像についての参照リップメイクアップ製品の色パラメータに対応する。

【0087】

最終的に、各参照リップメイクアップ製品は、上記参照製品の適用を示す各画像のセントロイドの色パラメータを備えるセットによって表される。したがって、Ｎ枚の画像が参照リップメイクアップ製品の色パラメータの取得に使用される場合、この製品はＮ個の点によって表されることになる。

【0088】

したがって、対象リップメイクアップ製品と参照製品の色パラメータ間のディスタンスの計算は、対象リップメイクアップ製品の色パラメータと参照リップメイクアップ製品の適用を表す各画像について得られた色パラメータとの間のディスタンスを計算するステップを備える。上記で与えられた参照リップメイクアップ製品を表すＮ枚の画像の例により、Ｎ個のディスタンスが計算される。

【0089】

色パラメータがＲＧＢ又はＣＩＥＬ^＊ａ^＊ｂ^＊色空間などの比色領域において表現される場合、ディスタンスは各色構成要素間の差の２次和として計算され得る。あるいは、ＣＩＥ ＤＥ２０００又はＣＩＥ９４などのディスタンスは、それらのディスタンスが人間の目によって評価される色の不一致をより良好に表すように、実行され得る。

【0090】

各ディスタンスが計算されると、少なくとも１つの参照メイクアップ製品について、対象リップメイクアップ製品と参照メイクアップ製品について得られた点の１つとの間の少なくとも１つのディスタンスが、所定の閾値未満か否かが決定される。所定の閾値以上である場合、リップメイクアップ特定システム１は、入力画像上で視認可能なものに対応する参照メイクアップ製品は見つからない可能性があることを示すメッセージ７５０をユーザに返信し得る。

【0091】

実施形態において、閾値は、以下のように決定され得る。参照リップメイクアップ製品のセット内に表されない色（青、白、緑、、、）を含む多様な色を示す口画像のセットが使用される。各画像について、口の色パラメータと参照製品の色パラメータとの間のディスタンスは上記の説明に従って計算され、最小のディスタンスはセットの画像に対して選択される。そして、閾値は、セットに表されない色の中で得られる最小のディスタンスとして設定され得る。したがって、参照リップメイクアップ製品の中で表されない色を示す全ての画像は、上記閾値よりも大きなディスタンスを有する。

【0092】

他の場合には、方法は、次に、参照リップメイクアップ製品データベースのうち入力画像上で視認可能なリップメイクアップ製品に最も良好に対応するものを特定するステップ８００を備える。

【0093】

このステップ８００の第１の実施形態によると、特定された参照リップメイクアップ製品は、色パラメータが入力画像で視認可能なリップメイクアップ製品の色パラメータによる最小のディスタンスを有するものであり得る。この実施形態は、好ましくは、方法が画像中のリップメイクアップ製品の質感決定のステップを備える場合に使用されてもよい。実際にその場合、計算された多数のディスタンスは、対象製品と同じ質感を有する参照リップメイクアップ製品の数のみに減少可能である。さらに、その場合、色及び質感が決定され、それは特定方法に良好な精度を与える。

【0094】

他の実施形態によると、最も一致する参照リップメイクアップ製品の特定は、各参照メイクアップ製品について、入力画像で視認可能なリップメイクアップ製品に対応する確率を直接出力するように学習された分類モデルを使用して実行され得る。最も高い確率を示す参照メイクアップ製品は、対象製品に対応するものとして選択される。

【0095】

上記モデルは、（前処理ステップ１００又はより好ましくは色補正ステップ４００の出力において得られる）口画像を入力として受信し、参照製品データベースの全参照メイクアップ製品のうち選択されたものを出力するように構成され得る。このモデルは、例えば、最終レイヤが参照メイクアップ製品の数に等しい数の出力を有する完全接続レイヤによって置換される、Ｒｅｓｎｅｔタイプの畳み込みニューラルネットワークであってもよい。

【0096】

そして、選択された参照メイクアップ製品は、ネットワークの最高出力値となる。

【0097】

任意選択的に、各出力について確率を計算するために、Ｓｏｆｔｍａｘレイヤが使用されてもよい。これは、例えば、単数又は複数の最高出力を確率の閾値と比較し、対応する確率が上記閾値を上回る複数の製品を対応する参照リップメイクアップ製品として選択するために使用され得る。

【0098】

このモデルは、各参照リップメイクアップ製品について、上記参照リップメイクアップ製品を付けている顔の複数の画像を備える学習データベースに対して学習され得る。これらの画像は各参照リップメイクアップ製品を付けている人々の実際の画像であってもよいが、好適な実施形態では、それらは人工的に生成された画像であってもよい。

【0099】

人工的に生成された画像は、各参照メイクアップ製品の仮想試着を実行することによって生成され得る。ここでも、仮想試着はまた、生成深層学習ネットワークを使用する画像の生成を包含するものとして理解される。

【0100】

その場合、このタイプのモデルは最も一致する参照リップメイクアップ製品を直接出力し得るため、ステップ５００において対象製品の質感を決定する必要はない。ただし、ステップ５００が質感決定を備える場合、対象製品に対応する参照リップメイクアップ製品の選択は、対象製品と同じ質感を有する参照製品のうち最も高い対応確率を示すものを、他の参照製品の確率を考慮することなく選択するステップを備える。

【0101】

参照メイクアップ製品が特定されると、システム１は、応答メッセージ９００に上記製品の表示を提供し得る。この応答メッセージは、ハイパーリンクなどの上記参照製品を販売するｅ－ショップにアクセスするのに適した接続情報を備えていてもよい。応答メッセージ９００は、上記参照リップメイクアップ製品を仮想試用するための仮想試着アプリケーションにアクセスするための接続情報を備えていてもよい。

【0102】

上記で説明したように、本開示による特定方法は、どのステップが実行され、それらがどのように実行されるかに応じて、多様な異なる態様で実施され得る。

【0103】

好適な実施例によると、ステップ１００、２００、３００及び４００が実行される。そして、ステップ５００は、入力画像上に現れる口がメイクアップを付けているか否かのみ出力する分類器を使用することによって実行される。そして、ステップ６００～８００が実行される。ステップ８００の実行は、対象製品に最も類似する参照リップメイクアップ製品を特定するように構成された分類モデルを使用する、上記で開示されたものである。

【0104】

第２の好適な実施例により、ステップ１００～４００が実行される。

【0105】

そしてステップ５００は、質感分類器を使用することによって実行される。そして、ステップ６００～８００が実行され、ステップ８００の実行は、ステップ５００において特定された質感を有する参照メイクアップ製品のうち、入力画像上に現れるリップメイクアップ製品の色パラメータによる最小のディスタンスを有するものを選択することによって実行される。

【図1】

【図2】

【図3】

【図4】

【図5a】

【図5b】

【図6】

【図7】

【図8】

【外国語明細書】