特許 7127004 メイクアップ製品の現実的レンダリングをシミュレーションするための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-19

(45)【発行日】2022-08-29

(54)【発明の名称】メイクアップ製品の現実的レンダリングをシミュレーションするための方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20220822BHJP

   A61B 5/00 20060101ALI20220822BHJP

【ＦＩ】

G06T1/00 340A

A61B5/00 G

【請求項の数】 5

【外国語出願】

(21)【出願番号】P 2019202054

(22)【出願日】2019-11-07

(65)【公開番号】P2020091852

(43)【公開日】2020-06-11

【審査請求日】2019-12-17

(31)【優先権主張番号】18306600

(32)【優先日】2018-12-03

(33)【優先権主張国・地域又は機関】EP

【前置審査】

(73)【特許権者】

【識別番号】508283406

【氏名又は名称】シャネル パフュームズ ビューテ

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100187964

【弁理士】

【氏名又は名称】新井 剛

(72)【発明者】

【氏名】マーティン，ヴィクター

【審査官】宮島 潤

(56)【参考文献】

【文献】特開２０１４－２１７４５６（ＪＰ，Ａ）

【文献】特開２００５－２９３２３１（ＪＰ，Ａ）

【文献】特開２０１７－１２３０１５（ＪＰ，Ａ）

【文献】特表２００４－５０６９９６（ＪＰ，Ａ）

【文献】特開２０１１－５９９６０（ＪＰ，Ａ）

【文献】特開２０１０－１９８３８２（ＪＰ，Ａ）

【文献】Kristina Scherbaum，Computer‐Suggested Facial Makeup，Computer Graphic Forum，2011年04月28日，Volume30, Issue2，485-492，https://onlinelibrary.wiley.com/doi/abs/10.1111/j.1467-8659.2011.01874.x

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ － １／４０

Ｇ０６Ｔ ３／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｔ ９／００ － ９／４０

Ａ６１Ｂ ５／００ － ５／０１

(57)【特許請求の範囲】

【請求項1】

対象者の顔の画像にメイクアップ製品のレンダリングをシミュレーションするための方法であって、前記方法は、コンピュータ（１０）と、複数の参照個人の各々について、メイクアップなしの参照個人の顔の画像及びメイクアップ製品でメイクアップされた同じ参照個人の顔の画像を備える参照画像のデータベースを記憶するメモリ（１１）とを備えるシステム（１）によって実施され、
ａ．カメラにより、メイクアップなしの対象者の顔の画像を取得するステップ（１００）であって、前記対象者の顔の画像は複数の画素を含む、ステップと、
ｂ．前記対象者の顔の画像を複数の空間周波数範囲に分解して、複数の二次画像を取得するステップ（３１０）であって、各二次画像は前記空間周波数範囲のうちの１つに対応する、ステップ（３１０）と、
ｃ．各二次画像の複数の空間エリアの各々について第１の色特徴値を抽出するために、各二次画像を処理するステップであって、色特徴値は、各空間エリアに含まれる画素の各色パラメータの平均値及び標準偏差を有し、前記色パラメータは、各画素についての赤色値、緑色値、および青色値、または、ＣＩＥ Ｌ＊ａ＊ｂ＊色空間における画素の座標を含む、ステップと
ｄ．（i）ステップｃ．で抽出された、前記対象者の顔の画像の各二次画像の各空間エリアの前記第１の色特徴値と、（ii）メイクアップなしの前記参照個人の顔の画像の対応する各二次画像の対応する各空間エリアの色特徴値との間の距離を計算するステップと、
ｅ．ステップｄ．で計算した距離が所定の閾値未満である、複数の、メイクアップなしの参照個人を選択するステップと、
ｆ．前記対象者の顔の画像の各二次画像の各空間エリアについての前記第１の色特徴値を、ステップｅ．で選択された複数の、メイクアップなしの参照個人の顔の画像の対応する各二次画像の対応する各空間エリアについての色特徴値の重心として、表現するステップ（５１０）と、
ｇ．前記対象者の顔の画像の各二次画像の各空間エリアについての第２の色特徴値を、ステップｅ．で選択されたメイクアップなしの参照個人と同じ、複数の、メイクアップされた参照個人の顔の対応する各二次画像の対応する各空間エリアについての色特徴値の重心として、決定するステップ（５２０）と、
ｈ．（i）各二次画像の各空間エリアが前記第２の色特徴値を示すように、各二次画像の各空間エリアの色パラメータを修正すること、および、（ii）前記対象者の顔の画像の画素の色パラメータを、前記二次画像全てにわたって修正された前記色パラメータの和に置き換えることによって、前記対象者の顔の修正済み画像を生成するステップ（６００）と
を備える前記方法。

【請求項2】

各二次画像を処理する前記ステップは、
- 前記複数の二次画像の各々に空間分解を実行して各二次画像に対して複数の空間エリアを取得するステップ（３２０）と、
- 各二次画像の各空間エリアの前記第１の色特徴値を抽出するステップ（３３０）とを備える、請求項１に記載の方法。

【請求項3】

複数の空間周波数範囲への前記対象者の顔の前記画像の前記分解（３１０）は、ガウス差分によって実行される、請求項２に記載の方法。

【請求項4】

コンピュータ（１０）によって実施された場合に、請求項１～３のいずれかに記載の方法を実施するためのコード命令を有するコンピュータプログラム。

【請求項5】

対象者の顔の画像にメイクアップ製品のレンダリングをシミュレーションするためのシステム（１）であって、
コンピュータ（１０）と、
複数の参照個人の各々について、メイクアップなしの前記参照個人の顔の画像、及び前記メイクアップ製品でメイクアップされた同じ参照個人の顔の画像を備える参照画像のデータベースを記憶するメモリ（１１）と
を備え、
請求項１～３のいずれかに記載の方法を実施するよう構成されているシステム（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象者の顔の画像にメイクアップ製品のレンダリングをシミュレーションするための方法、及び前記方法を実施するためのシステムに関する。本発明は、特に、ファンデーションメイクアップ製品のレンダリングをシミュレーションするのに適している。

【背景技術】

【0002】

その人の肌色に適合したファンデーションの選択は、いくつかの課題のために常に難しいものとなる。第一に、人の肌に一旦塗布されたファンデーションの色は、バルクのファンデーション製品の色とは異なる。実際に、それは人の肌の色に応じて人ごとに異なる。第二に、人にとって、その肌の色を正確に認識し、どのファンデーションが最適であるか選択することも難しい。

【0003】

この問題を回避するために、対象者の顔の画像にファンデーションのレンダリングをシミュレーションするための解決手段はすでに提示されている。このタイプの解決手段では、画像へのレンダリングのシミュレーションは、シミュレーションアルゴリズムの開発者によって設定されメイクアップエキスパートによって認証された所定の規則の適用の結果としてもたらされる。これらの所定の規則は、例えば、バルクのファンデーション製品の色パラメータから、ファンデーションのレンダリングをシミュレーションする画像の色パラメータを計算するための規則である。

【0004】

このタイプの解決手段の欠点は、メイクアップ製品のレンダリングが対象者の肌の色に左右されないので、シミュレーションされたレンダリングは完全には現実的となり得ない。

【0005】

より一般的には、このタイプの解決手段において確立される所定の規則は、限定された量のパラメータに基づき、肌のすべての特異性を考慮しておらず、それによりレンダリングに影響を及ぼしてしまう。

【0006】

したがって、このタイプの解決手段のユーザは、ファンデーションのレンダリングのシミュレーションを、肌に一旦塗布したその実際のレンダリングと比較すると、失望してしまう。

【0007】

画像にメイクアップ製品のレンダリングをシミュレーションするための方法は、Ｋｒｉｓｔｉｎａ Ｓｃｈｅｒｂａｕｍらによる「Ｃｏｍｐｕｔｅｒ－Ｓｕｇｇｅｓｔｅｄ Ｆａｃｉａｌ Ｍａｋｅｕｐ」、Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ Ｆｏｒｕｍ、ｖｏｌ３０、ｎ°２、４８５－４９２ページ（２００７）；Ｗａｉ－Ｓｈｕｎ Ｔｏｎｇらによる「Ｅｘａｍｐｌｅ－Ｂａｓｅｄ Ｃｏｓｍｅｔｉｃ ｔｒａｎｓｆｅｒ」；第１５回Ｐａｃｉｆｉｃ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ、２１１－２１８ページ（２０１１）により公知である。

【発明の概要】

【0008】

上記の観点から、本発明は、対象者の顔の画像にメイクアップ製品のレンダリングをシミュレーションするためのより現実的な方法を提供することを目的とする。

【0009】

特に、本発明の目的の１つは、レンダリングのシミュレーションにおいて、対象者の肌の色を考慮することである。

【0010】

本発明の他の目的は、レンダリングをシミュレーションするために、高い周波数の詳細事項のような色以外の肌情報を考慮することである。

【0011】

本発明の他の目的は、実際のデータ、すなわち、人々におけるメイクアップ製品のレンダリングの実際の画像に基づくことである。

【0012】

この目的のために、対象者の顔の画像にメイクアップ製品のレンダリングをシミュレーションするための方法が開示され、方法は、コンピュータと、複数の参照個人の各々について、メイクアップなしの参照個人の顔の画像、及びメイクアップ製品でメイクアップされた同じ参照個人の顔の画像を備える参照画像のデータベースを記憶するメモリとを備えるシステムによって実施され、方法は、
ａ．メイクアップなしの対象者の顔の画像を取得するステップと、
ｂ．画像の複数の周波数範囲の各々の複数の空間エリアの各々について、空間エリアの第１の色特徴値を抽出するように画像を処理するステップと、
ｃ．参照画像のデータベースのうち、メイクアップしていない場合に対象者の第１の特徴値に類似する色特徴値を有する参照個人のセットを決定するステップと、
ｄ．対象者の第１の色特徴値から、並びにメイクアップ製品あり及びなしの参照個人のセットの色特徴値から、第２の色特徴値を決定するステップと、
ｅ．第２の色特徴値に基づいて対象者の顔の修正済み画像を生成するステップと
を備える。

【0013】

実施形態において、ステップｂ．は、
－対象者の顔の画像を複数の周波数範囲に分解して複数の二次画像を取得するステップであって、各二次画像が周波数範囲のうちの１つに対応する、ステップと、
－複数の二次画像の各々に空間分解を実行して各二次画像に対して複数の空間エリアを取得するステップと、
－各二次画像の各空間エリアの第１の色特徴値を抽出するステップと
を備える。

【0014】

実施形態において、複数の周波数範囲への顔の画像の分解は、ガウス差分によって実行される。

【0015】

実施形態において、各画像は色パラメータを有する複数の画素を備え、空間エリアの色特徴値は空間エリアの画素の各色パラメータの平均値及び標準偏差を備える。

【0016】

実施形態において、ステップｅ．は、各周波数範囲の各空間エリアが第２の色特徴値を示すように、各周波数範囲の各空間エリアの色パラメータを修正するステップと、対象者の画像の画素の色パラメータを、すべての周波数範囲にわたって修正された色パラメータの和に置き換えるステップとを備える。

【0017】

実施形態において、データベースの各画像は、画像においてステップｂ．の処理を実施することによって決定された色特徴値に対応付けられ、ステップｃ．は、対象者の第１の色特徴値と、メイクアップなしの参照個人の各画像の色特徴値との間の距離を計算するステップと、対象者とともに計算された最小の距離を有するようなセットの参照個人を選択するステップとを備える。

【0018】

そして、ステップｃ．は、画像においてステップｂ．の処理を実施することによって、データベースの各画像に色特徴値を対応付ける予備のステップをさらに備え得る。

【0019】

実施形態において、ステップｄ．は、メイクアップなしの参照個人のセットの特徴値の重心として対象者の第１の特徴値を表現するステップと、メイクアップしている参照個人のセットの特徴値の同じ重心として第２の特徴値を決定するステップとを備え得る。

【0020】

実施形態において、方法は、ステップｂ．の前に対象者の顔の取得画像を平均形状にワーピングするステップと、ステップｅ．に続いて生成された修正済み画像を対象者の顔の初期形状にワーピングして戻すステップとを備える。

【0021】

他の目的によると、コンピュータによって実施される場合に、上記による方法を実施するためのコード命令を備えたコンピュータプログラム製品が開示される。

【0022】

他の目的によると、コンピュータと、複数の参照個人の各々について、メイクアップなしの参照個人の顔の画像、及びメイクアップ製品でメイクアップされた同じ参照個人の顔の画像を備える参照画像のデータベースを記憶するメモリとを備えた、対象者の顔の画像にメイクアップ製品のレンダリングをシミュレーションするためのシステムが開示され、システムは上記による方法を実施するために構成されている。

【0023】

参照画像のデータベースを構築するための方法も開示され、方法はコンピュータによって実施され、
－複数の参照個人の各々について、メイクアップなしの参照個人の顔の画像、及びメイクアップ製品でメイクアップされた同じ参照個人の顔の画像を取得するステップと、
－画像の複数の周波数範囲の各々の複数の空間エリアの各々について、空間エリアの色特徴値を抽出するように各画像を処理するステップと、
－画像から抽出された色特徴値に関連付けて各画像をメモリに記憶するステップとを備える。

【0024】

この方法の実施形態において、画像を処理するステップは、
－対象者の顔の画像を複数の周波数範囲に分解して複数の二次画像を取得するステップであって、各二次画像が周波数範囲のうちの１つに対応する、ステップと、
－複数の二次画像の各々に空間分解を実行して各二次画像に対して複数の空間エリアを取得するステップと、
－各二次画像の各空間エリアの第１の色特徴値を抽出するステップと
を備え得る。

【0025】

実施形態において、各画像は色パラメータを有する複数の画素を備え、空間エリアの色特徴値は空間エリアの画素の各色パラメータの平均値及び標準偏差を備える。

【0026】

コンピュータによって実行される場合に、参照画像のデータベースを構築する方法を実施するためのコード命令を備えたコンピュータプログラム製品も開示される。

【0027】

本発明による方法は、対象者の肌の色、及び肌のテクスチャなどの高い周波数の詳細事項を考慮するので、メイクアップ製品のレンダリングの現実的なシミュレーションを可能とし、それによって、同じメイクアップ製品のレンダリングが２人の異なる人に対して異なり、より現実的となることを可能とする。

【0028】

さらに、メイクアップ製品のレンダリングのシミュレーションはまた、実際のデータ、すなわち、参照の人々におけるメイクアップ製品のレンダリングの実際の画像に基づく。したがって、すべての肌情報が考慮され、シミュレーションはより良好な結果をもたらす。

【0029】

本発明の他の特徴及び効果は、添付の図面を参照して、非限定的な例によって与えられる以下の詳細な説明から明らかとなる。

【図面の簡単な説明】

【0030】

【図1】図１は、本発明の実施形態によるメイクアップ製品のレンダリングをシミュレーションする方法の主要ステップを概略的に示す。

【図2】図２ａは、２つの実施形態による方法を実施するためのシステムの例を概略的に示す。図２ｂは、２つの実施形態による方法を実施するためのシステムの例を概略的に示す。

【図3-4】図３は、周波数範囲への画像の分解の例を示す。図４は、画像の空間分解の例を示す。

【図5-6】図５は、メイクアップ適用の前及び後の対象者及び参照個人の色特徴値の射影の例を示し、メイクアップ適用後の対象者の色特徴値はシミュレーション方法から取得された値である。図６ａは、メイクアップをしていない人の例示的な画像を示す。図６ｂは、ファンデーション製品をつけた図６ａの人の写真である。図６ｃは、ファンデーション製品のレンダリングがシミュレーションされた、図６ａの人のシミュレーション写真を示す。

【図7】図７は、画像のデータベースを構築する方法の主要ステップを概略的に示す。

【発明を実施するための形態】

【0031】

図１を参照して、ここでは対象者の顔の画像にメイクアップ製品のレンダリングをシミュレーションするための方法の主要ステップを説明する。この方法は、図２ａ及び２ｂに概略的に示され、少なくともコンピュータ１０と、参照画像のデータベースを記憶するメモリ１１とを備えたシステム１によって実施される。選択的に、システム１は、メイクアップ製品のレンダリングがその後にシミュレーションされる対象者の顔の画像を撮影するのに適した少なくとも１つのカメラ１２をさらに備え得る。システム１はまた、メイクアップ製品のレンダリングがシミュレーションされる修正済み画像を表示することができるディスプレイ１３を備えることが好ましい。

【0032】

図２ａに示す第１の実施形態によると、方法は、スマートフォン又はデジタルタブレットなどの対象者のパーソナル電子デバイスのソフトウェアアプリケーションとして利用可能とされる。その場合には、システム１は、電気通信ネットワーク（インターネット、３Ｇ、４Ｇなど）への接続インターフェース１４を少なくとも備えてもよく、パーソナル電子デバイスと通信可能となる。システム１自体は、以下でより詳細に述べるように、カメラもディスプレイも備えないが、パーソナル電子デバイスのカメラ及びディスプレイによることができる。代替的に、システムは、パーソナル電子デバイスに完全に組み込まれてもよく、参照画像のデータベースが、デバイスのメモリと、プロセッサ、マイクロプロセッサなどのようなデバイスの構成要素であるコンピュータ１０とに記憶される。

【0033】

他の実施形態によると、方法は、美容室又は店舗において実施可能である。この場合には、システムは、例えば図２ｂ示すように、美容室又は店舗の施設内に物理的に設置され、美容室又は店舗に位置するスクリーン１３及びカメラ１２を備え得る。代替的に、システム１は、美容室又は店舗から遠隔に位置し、美容室に位置するカメラ及びディスプレイへの接続インターフェース１４を備えてもよい。

【0034】

メモリ１１によって記憶されたデータベースは、複数の参照個人の各々について、そのままの肌の、すなわち、いずれのメイクアップ製品もない参照個人の顔の１枚の写真、及びレンダリングがシミュレーションされるはずのメイクアップ製品でメイクアップされた同じ個人の顔の少なくとも１枚の写真を備える。好ましくは、データベースは、複数のメイクアップ製品の各々について、複数のメイクアップ製品のレンダリングのシミュレーションを可能とするために、複数の参照個人のこれらの画像の対を備える。

【0035】

好ましくは、レンダリングがシミュレーションされるメイクアップ製品は、ファンデーションである。代替的に、メイクアップ製品は、アイシャドウ、口紅又はチークであってもよい。

【0036】

図１では、方法の第１のステップ１００は、メイクアップしていない対象者の顔の画像の取得である。システム１がカメラを備える場合には、このステップはカメラによって実行されることが好ましい。

【0037】

代替的に、例えば、方法が、カメラを組み込むスマートフォン又はデジタルタブレットなどのパーソナル電子デバイスのソフトウェアアプリケーションとして利用可能な場合には、写真の撮影がパーソナル電子デバイスのカメラによってなされてから、写真がパーソナル電子デバイスによってシステム１に送信され得る。コンピュータ１０及びメモリ１１を備えたシステム１によって実行される写真の取得ステップは、その場合には、システムによる写真の受信である。

【0038】

他の例によると、方法が店舗又は美容室に位置するカメラから遠隔にあるシステム１で店舗又は美容室において実施される場合には、画像の撮影は、前記カメラによって実行されてから、システム１に送信される。システム１による写真の取得ステップは、この場合にも、システムによる写真の受信である。

【0039】

好ましくは、顔の写真は制御された照明環境において取得され、対象者は前方からかつカメラから一定の距離で見られる状態である。対象者の髪は、メイクアップされるはずの顔のゾーンから離されていなくてはならない。さらに、写真は、熟練者には周知の方法により、比色分析で補正されることが好ましい。

【0040】

ステップ２００中には、取得写真上で明らかな対象者の顔は、好適には前に計算され、メモリ１１に記憶され得る平均形状にワーピングされることが好ましい。このワーピングを実行するには、顔の多数の特徴的な点の位置が取得されてもよく、各特徴的な点の位置が前記平均形状による同じ点の位置に対応するように、写真に変換が適用され得る。例えば、このワーピングを実施するために、Ｇｏｓｈｔａｓｂｙらによる１９８６年の論文「Ｐｉｅｃｅｗｉｓｅ ｌｉｎｅａｒ ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎｓ ｆｏｒ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ」を参考にすることができる。

【0041】

そして、ステップ３００中に、コンピュータ１０は、画像の複数の周波数範囲の各々の複数の空間エリアの各々について、空間エリアの第１の色特徴値を抽出するように画像の処理を実行する。

【0042】

このステップは、画像を複数の周波数範囲に分解するサブステップ３１０を備えて、各二次画像が周波数範囲のうちの１つに対応する対象者の顔の複数の二次画像を取得する。このサブステップ３１０は、ガウス差分アルゴリズムを実施することによって実行されることが好ましい。このアルゴリズムによると、Ｉを対象者の顔の画像とし、Ｇ_σを標準偏差σのガウス核とすると、初期画像の高周波数及び低周波数にそれぞれ対応する２つの二次画像が、以下の演算：ＨＦ＝Ｉ－Ｉ＊Ｇ_σ、ＬＦ＝Ｉ＊Ｇ_σを実行することによって得られ、ここでＨＦは高周波数範囲における二次画像に対応し、ＬＦは低周波数範囲における二次画像に対応し、＊は畳み込み演算子を表す。

【0043】

ＬＦ及びＨＦの和が初期画像Ｉに正確に対応することに気付くはずである。

【0044】

この演算は、各二次画像において再帰的に反復可能である。その場合には、２回目からは各反復に対して他のパラメータｄσが規定されるはずである。

【0045】

ＨＦの分解は、
ＨＦ＿ＨＦ＝ＨＦ－ＨＦ＊Ｇ_σ２１
ＨＦ＿ＬＦ＝ＨＦ＊Ｇ_σ２１
を計算することよって実行可能であり、ＨＦ＿ＨＦは（ＨＦによってカバーされる周波数の範囲の）高周波数範囲におけるＨＦの部分に対応し、ＨＦ＿ＬＦは低周波数範囲におけるＨＦの部分に対応し、σ２１＝σ－ｄσ／２である。

【0046】

ＬＦの分解は、
ＬＦ＿ＨＦ＝ＬＦ－ＬＦ＊Ｇ_σ２２
ＬＦ＿ＬＦ＝ＬＦ＊Ｇ_σ２２
を計算することよって実行可能であり、ＬＦ＿ＨＦは（ＬＦによってカバーされる周波数の範囲の）高周波数範囲におけるＬＦの部分に対応し、ＬＦ＿ＬＦは低周波数範囲におけるＬＦの部分に対応し、σ２２＝σ＋ｄσ／２である。

【0047】

そして、Ｉの分解は、４枚の画像のセット｛ＨＦ＿ＨＦ、ＨＦ＿ＬＦ、ＬＦ＿ＨＦ、ＬＦ＿ＬＦ｝を結果として生成する。画像の和は、結果としてＩとなる。この例示的な分解は図３に示され、左のものが最も高い周波数範囲であり、右のものがより低い周波数範囲である。そして、当然に、分解が繰り返されて、引き続き８枚、１６枚などの二次画像を取得し得る。したがって、この実施によると、二次画像の枚数は、常に２の累乗である。

【0048】

周波数の分解は、例えば、レンダリングがシミュレーションされるはずのメイクアップ製品のタイプに応じて調整可能である。

【0049】

周波数の分解３１０が実現されると、その後、周波数範囲に対応する各二次画像は、サブステップ３２０中に空間的に分解されて、各二次画像に対して複数の空間エリアを取得する。このステップを実行するには、各二次画像に格子が重畳され、格子のセルは二次画像の空間エリアを規定する。したがって、空間エリアは、重複せず、二次画像のいずれの画素も単一の空間エリアに属するように並んで配置される。

【0050】

更なる計算を可能とするために、二次画像の空間エリアは、他方の二次画像のすべてにおける空間エリアに対応する対象者の顔の正確に同じ部分に対応するように、すべての二次画像における同じ位置で同じ格子が適用される。

【0051】

そして、レンダリングがシミュレーションされるはずのメイクアップ製品のタイプにより、対象とするゾーンに対応する空間エリアを維持させるためにのみ、空間エリアの一部が削除される。ファンデーションの例では、メイクアップされる肌とは異なるもの（例えば、髪、眉毛、口、目）を備える顔のエリアに対応する空間エリアが除去される。ファンデーションのレンダリング専用のアプリケーションに規定及び選択された空間エリアのセットの例を、図４に示す。格子のセルのサイズはまた、シミュレーションされるはずのメイクアップ製品のタイプにより決定される。

【0052】

そして、ステップ３００は、各二次画像に対して規定された各空間エリアについて、第１の色特徴値を抽出するサブステップ３３０を備える。第１の色特徴値は、空間エリアの画素の各々の色パラメータから計算される。画素の色パラメータは、以下の例では、ＲＧＢパラメータ、すなわち、赤色値、緑色値及び青色値である。代替的に、色パラメータは、ＣＩＥ Ｌ＊ａ＊ｂ＊色空間などの他の任意の表色系において選択可能である。

【0053】

空間エリアの第１の色特徴値は、色パラメータの平均及び標準偏差の値である。したがって、各二次画像における各空間エリアについて、ベクトルは、すべての平均及び標準偏差の値：

【数1】

の連結を備えて生成される。

【0054】

そして、単一の記述ベクトルは、すべての二次画像のすべての空間エリアに対して生成されたベクトルを連結することによって生成される。

【0055】

図示によってのみ、上記の例によると、４枚の二次画像が生成され、各二次画像に対して３５０個の空間エリアが保持される場合には、ステップ３００の終了時に４＊３５０＊６＝８４００個のパラメータを備えるベクトルが得られる。

【0056】

そして、方法は、参照画像のデータベースのうち、メイクアップしていない場合に対象者の第１の特徴値に類似する色特徴値を有する参照個人のセットを決定するステップ４００を備える。

【0057】

この目的のために、データベースの各画像は、上記と同じように計算されることが好ましく、すなわち、データベースの各画像はステップ１００～３００に従って同じパラメータで処理される色特徴値のそれぞれのセットに関連付けて記憶されることが好ましい。

【0058】

例えば、画像は、同じ条件において取得されて平均形状にワーピングされ、画像が分解される周波数範囲の数が同じであり、空間エリアの数及びサイズが上記と同じである。

【0059】

好適な実施形態によると、各画像の処理は、データベースの構築中に、メイクアップ製品のレンダリングをシミュレーションするための方法を実施するコンピュータ１０とは必ずしも同じでないコンピュータによって実行され得る。この実施形態は、そのような場合には、データベースの参照画像の色特徴値が直ちに利用可能であるため好適である。この実施形態は、それぞれにステップ１００、２００などの説明に対応するが、対象者の画像の代わりに参照画像に適用されるステップ１００’、２００’などでデータベースの構築の主要ステップを示す図７で概略的に示される。その対応する色特徴値に関連付けて各取得画像を記憶するステップ９００’が、ステップ３００に続く。

【0060】

代替的に、色特徴値を抽出するデータベースの各画像の処理はまた、メイクアップ製品のレンダリングをシミュレーションするための方法の実施中にコンピュータ１０によって実行され得る。

【0061】

対象者のものと同様の色特徴値を有する参照個人のセットの決定は、対象者の色特徴値と、データベースの参照個人の各々のメイクアップなしの写真から抽出されたものとの間の距離、好ましくはユークリッド距離を計算することによって実行される。当然に、データベースが複数のメイクアップ製品に対してメイクアップあり及びなしの画像の対を備える場合には、シミュレーションされるメイクアップ製品に対して１対の画像が存在する参照個人のみが選択される。

【0062】

そして、計算された距離が最短の参照個人が選択される。代替的に、計算された距離が閾値未満の多数の参照個人が選択される。選択される参照個人のセットは、少なくとも２人の参照個人、例えば、２～１０人の参照個人を備える。好適な例としては、セットは３人の参照個人を備える。

【0063】

そして、方法は、対象者の第１の色特徴値から、並びにメイクアップ製品あり及びなしの参照個人のセットの色特徴値から、メイクアップ製品をつけた対象者の色特徴値のシミュレーションに対応する対象者の第２の色特徴値を決定するステップ５００を備える。

【0064】

このステップ５００は、セットの参照個人の特徴値の重心として、メイクアップなしの対象者の第１の色特徴値を表現する第１のサブステップ５１０を備える。例えば、セットが３人の参照個人を備える場合には、Ｐは対象者の第１の色特徴値を示し、Ｐ１、Ｐ２及びＰ３はメイクアップなしの参照個人の色特徴値を示すと、サブステップ５１０はＰ＝Ａ．Ｐ１＋Ｂ．Ｐ２＋Ｃ．Ｐ３となるような重み付けＡ、Ｂ及びＣの決定を備える。

【0065】

そして、対象者の第２の色特徴値は、メイクアップ製品が塗布されると対象者と参照個人の色特徴値の間の関係が同じままであることを考慮することによって、サブステップ５２０中に決定される。したがって、第２の色特徴値は、サブステップ５１０中に計算されたものと同じ参照個人間の重心に対応するように計算される。

【0066】

したがって、Ｑを対象者の第２の色特徴値とし、Ｑ１、Ｑ２及びＱ３を、シミュレーションされるメイクアップ製品を彼らがつけている写真におけるセットの参照個人の色特徴値とすると、Ｑ＝Ａ．Ｑ１＋Ｂ．Ｑ２＋Ｃ．Ｑ３となる。

【0067】

図５を参照すると、より容易な理解のために、色特徴値が二次元空間に投影された例が示される。図５はＰ、Ｐ１、Ｐ２、Ｐ３、Ｑ１、Ｑ２及びＱ３のそれぞれの位置、並びにそれから推定されるＱの位置を示す。

【0068】

そして、方法は、第２の色特徴値に基づいて、顔の修正済み画像を生成するステップ６００を備える。このステップは、各周波数範囲の各空間エリアの画素の色パラメータの値を変化させることによって実行され、それにより考慮された空間エリアの修正画素の特徴値が第２の色特徴値に対応する。

【0069】

例によると、Ｒｉ１及びＲｉ２をそれぞれメイクアップなし及びメイクアップあり（シミュレーション済み）の対象者の写真の画素ｉの赤色値とし、

【数2】

をメイクアップなし及びメイクアップ製品ありの画素ｉを備える空間エリアの画素の平均赤色値とし、σ１及びσ２をメイクアップなし及びありの同じ空間エリアの画素の標準偏差とすると、Ｒｉ２は

【数3】

として計算可能である。

【0070】

各空間エリアの画素の色パラメータが修正されると、画像は、初期画像が分解された周波数範囲に対応する二次画像のすべてを合計することによって再構築される。そして、得られた画像は、ステップ７００中に、この画像を顔の平均形状にワーピングするために初期画像において実行された演算とは逆の演算によって、対象者の顔の形状にワーピングして戻される。

【0071】

そして、修正済み画像は、メモリに記憶され得る。そして、それは、ステップ８００中に、例えば、システムが店舗又は美容室の施設内に位置する場合には、システムに属し得るディスプレイによって表示されることが好ましい。代替的に、システム１は、修正済み画像をパーソナル電子デバイス又は店舗若しくは美容室に送信してもよく、そしてそれにより修正済み画像は、パーソナル電子デバイスの又は店舗若しくは美容室のディスプレイによって表示される。

【0072】

図６ａ～６ｃは、上記方法の例示的なアプリケーションを示し、図６ａはメイクアップなしの対象者の元の画像であり、図６ｂはファンデーションをつけた対象者の実際の写真であり、図６ｃは上記の方法に従って同じファンデーション製品のレンダリングがシミュレーショされた修正済み画像である。図６ｃにおける現実的なレンダリングは、図６ｂの実際のレンダリングに非常に近く、あざなどの斑点が図６ａの初期画像と比較して大幅に軽減されることが分かる。

【図1】

【図2】

【図3-4】

【図5-6】

【図7】