特許 6740329 顔特徴分析および個人向けアドバイスの送達のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6740329

(24)【登録日】2020年7月28日

(45)【発行日】2020年8月12日

(54)【発明の名称】顔特徴分析および個人向けアドバイスの送達のための方法およびシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200730BHJP

【ＦＩ】

   G06T7/00 660A

【請求項の数】16

【外国語出願】

【全頁数】20

(21)【出願番号】特願2018-236860(P2018-236860)

(22)【出願日】2018年12月19日

(65)【公開番号】特開2019-114251(P2019-114251A)

(43)【公開日】2019年7月11日

【審査請求日】2019年2月1日

(31)【優先権主張番号】17306842.0

(32)【優先日】2017年12月20日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】508283406

【氏名又は名称】シャネル パフュームズ ビューテ

(74)【代理人】

【識別番号】100092783

【弁理士】

【氏名又は名称】小林 浩

(74)【代理人】

【識別番号】100120134

【弁理士】

【氏名又は名称】大森 規雄

(74)【代理人】

【識別番号】100128761

【弁理士】

【氏名又は名称】田村 恭子

(74)【代理人】

【識別番号】100187964

【弁理士】

【氏名又は名称】新井 剛

(74)【代理人】

【識別番号】100104282

【弁理士】

【氏名又は名称】鈴木 康仁

(72)【発明者】

【氏名】ポルシュロン オレリー

(72)【発明者】

【氏名】クレージュ サンドラ

(72)【発明者】

【氏名】モージェ エマヌエーレ

(72)【発明者】

【氏名】モリゾ フレデリーク

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２０１４−１６６２１８（ＪＰ，Ａ）

【文献】 特開２０１２−１１３７４７（ＪＰ，Ａ）

【文献】 Aurelie Porcheron et al.，Aspects of Facial Contrast Decrease with Age and Are Cues for Age Perception，PLOS ONE，２０１３年，vol.8, no.3，e57985

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

人物の顔の特徴を分析するための方法であって、
前記人物の前記顔の画像を獲得するステップ（１００）、
前記画像上で、前記人物の前記顔を少なくとも２つのゾーンに区切るステップ（２００）であって、各ゾーンは、口、目、眉、および髪のグループの中から選択される顔の特性特徴を含み、各ゾーンは、前記特性特徴を含む少なくとも１つの部分（Ｚ_１）と、前記特性特徴の近隣の皮膚を含む別の部分（Ｚ_２）とを含む、ステップと、
前記少なくとも２つのゾーン（Ｚ）の各々の顔のコントラスト値を決定するために、前記画像を処理するステップ（３００）であって、顔のコントラストは、前記ゾーン内の前記特性特徴と前記近隣の皮膚との間のコントラストである、ステップと、
前記決定されたコントラスト値に基づいて、複数の事前に確立されたクラスタの中で前記人物が関連するクラスタを決定するステップ（４００）であって、前記事前に確立されたクラスタは、前記顔のそれぞれの画像における参照集団の前記顔の同じゾーンについて決定されたコントラスト値のセットに基づいて構築される、ステップ（４００）と、
前記人物に個人向け情報を提供するステップ（５００）であって、前記個人向け情報は前記人物が関連する前記クラスタに依存する、ステップ（５００）と、
を含む前記方法。

【請求項2】

人物の前記顔のゾーンのコントラスト値を決定するステップ（３００）は、前記特性特徴を含む前記ゾーン（Ｚ）の部分（Ｚ_１）と、前記特性特徴の前記近隣の皮膚を含む前記ゾーンの部分（Ｚ_２）との間で、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間における平均コントラスト値を測定するステップ（３１０）を含む、請求項１に記載の方法。

【請求項3】

人物の前記顔のゾーンの顔のコントラスト値を決定するステップ（３１０）は、前記特性特徴を含む前記ゾーンの部分（Ｚ_１）と、前記特性特徴の前記近隣の皮膚を含む前記ゾーンの部分（Ｚ_２）との間で、前記ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間の前記Ｌ、ａ、およびｂ座標の各々における平均コントラスト値を決定するステップを含む、請求項２に記載の方法。

【請求項4】

前記事前に確立されたクラスタは、
前記参照集団の前記顔の前記ゾーンの前記顔のコントラスト値のセットを処理して、次元が削減されたデータセットを取得し、
次元が削減された前記データセットをクラスタ化する
ことによって構築される（９０）、請求項２または３に記載の方法。

【請求項5】

前記処理ステップは、前記コントラスト値のセットに主成分分析を適用することによって行われる、請求項４に記載の方法。

【請求項6】

前記人物が関連するクラスタを決定するステップ（４００）は、
前記参照集団の前記削減された次元において対応する座標を取得するために、前記人物の前記顔の前記ゾーンの前記顔のコントラスト値を処理するステップ（４１０）、および、
前記取得された座標から、前記人物が関連する前記クラスタを推測するステップ（４２０）、
を含む、請求項４または５に記載の方法。

【請求項7】

前記人物の前記顔の少なくとも２つのゾーン（Ｚ）を区切るステップ（２００）は、前記顔の２つのゾーンと４つのゾーンとの間で区切ることを含み、各ゾーンは、口、目、眉、および髪のグループの中の顔の１つの特性特徴を含む、請求項１から６のいずれかに記載の方法。

【請求項8】

前記人物に提供される前記個人向け情報は、
前記人物の前記顔の少なくとも１つのゾーンの前記コントラスト値の個人向け修正に関するアドバイス、
前記人物の前記顔の少なくとも１つのゾーンの前記コントラスト値の個人向け修正のための、少なくとも１つのケア製品または化粧品の識別情報、
前記人物の前記画像と比較して変更された、前記人物の前記顔の少なくとも１つのゾーンの少なくとも１つのコントラスト値を用いる、前記人物の前記顔の外観のシミュレーション、
のうちのいずれかを含み、
前記人物の前記顔の前記少なくとも１つのゾーンは、口、目、眉、および髪のグループの中で選択された前記顔の１つの特性特徴を含むゾーンである、請求項１から７のいずれかに記載の方法。

【請求項9】

前記複数の事前に確立されたクラスタは、３つのゾーン（Ｚ）について決定された顔のコントラスト値のセットに基づいて構築され、各々が目、口、および眉の特徴のうちの１つを含む、請求項１から８のいずれかに記載の方法。

【請求項10】

前記複数の事前に確立されたクラスタは３つのクラスタにある、請求項１から９のいずれかに記載の方法。

【請求項11】

提供される個人向け情報は、
前記口、目、および眉のコントラストを増加させる規則、
前記口および目のコントラストを増加させる規則、および
前記眉および目のコントラストを増加させる規則、
のいずれかに従って、前記コントラスト値の修正を推奨することにある、請求項１から１０のいずれかに記載の方法。

【請求項12】

コンピュータプログラムであって、計算機によって実施されるとき、
画像の少なくとも１つの区切られたゾーンを、前記ゾーンのコントラスト値を決定するために処理するステップ（３００）であって、各ゾーンは、口、目、眉、および髪のグループの中から選択される顔の特性特徴を含み、各ゾーンは、前記特性特徴を含む少なくとも１つの部分（Ｚ_１）と、前記特性特徴の近隣の皮膚を含む別の部分（Ｚ_２）とを含み、顔のコントラストは、前記ゾーン内の前記特性特徴と前記近隣の皮膚との間のコントラストである、ステップ（３００）と、
削減された次元でそれぞれの座標を取得するために、前記決定された顔のコントラスト値を処理するステップ（４１０）と、
前記顔のコントラスト値が関連するクラスタを推測するために、事前に確立されたクラスタの重心までの距離を計算するステップ（４２０）と
を実行するための命令を含む前記コンピュータプログラム。

【請求項13】

画像入力デバイス（１２）、
計算機（１１）、および
メモリ（１３）、
を備える、人物の顔の特徴を分析するためのシステム（１）であって、
前記メモリ（１３）は、参照集団の顔の少なくとも２つのゾーンについて決定された顔のコントラスト値のセットに基づいて構築されたクラスタの定義を記憶し、
前記計算機（１１）は、請求項１から１１のいずれかに記載の方法を実施するように構成されている、ことを特徴とする前記システム（１）。

【請求項14】

前記画像入力デバイス（１２）は、カメラ、および／または、前記計算機（１１）を外部記憶デバイスと接続するためのインターフェースを備える、請求項１３に記載のシステム（１）。

【請求項15】

前記個人向け情報を表示するように適合されたディスプレイデバイス（１５）をさらに備える、請求項１３または１４に記載のシステム（１）。

【請求項16】

前記画像入力デバイス（１２）はカメラであり、
前記システムは、前記カメラ、中間色のスクリーンまたは背景、およびライトを備えたフォトスタジオを含み、
前記ディスプレイデバイス（１５）および前記フォトスタジオは、ショップまたはビューティサロンに設置される、請求項１５に記載のシステム（１）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人物の顔特徴を分析するための方法、および当該方法を実施するように構成されたシステムに関する。本発明は、メーキャップおよびスキンケアに関する個人向け情報のファーニチャ（furniture）にも関する。

【背景技術】

【0002】

年齢、女性らしさ、または男性らしさなどの感じ方の特徴、あるいは良好な健康状態の感じ方に与える、顔のコントラストの影響を評価するための研究が行われてきた。

【0003】

顔のコントラストとは、口、目または眉、および周辺の皮膚などの、顔の何らかの特性特徴間のコントラストを意味する。

【0004】

たとえば、白人成人女性の大規模なサンプルにおいて、顔のコントラストは年齢と共に減少する傾向があること、および、顔のコントラストを人為的に増加させることが実際の年齢よりも若い女性であるという感じ方につながることが、Porcheron A, Mauger E, Russel R (2013), “Aspects of facial contrast decrease with age and are cues for age perception”, PLoS ONE 8(3): e57985, doi:10.1371/journal.pone.0057985の論文に示されている。

【0005】

別の例によれば、”Cosmetics alter biologically-based factors of beauty: evidence from facial contrast” by Alex L. Jones, Richard Russel and Robert Ward, in Evolutionary Psychology, Vol, 13, Issue 1, 2015年1月1日の論文は、目および眉の輝度コントラストパターンは性的二型性であり、女性は男性よりも眉のコントラストは低く、目のコントラストは高いことを開示している。

【0006】

化粧品は一般に、顔の特徴（皮膚、唇、眉、またはまつげなど）の外観を変化させ、それらの容貌を改善し、より魅力的にするために使用される。たとえばマスカラを使用することで、消費者の表情を強めることができる。しかしながら、消費者が非常に多種多様なメーキャップ製品および／またはスキンケア製品を入手できることで、自分の外観を向上させ、自分のニーズを満たすために、どの製品がより適しているかが必ずしもわかっていない消費者にとって、特別な製品の最適な選択を非常に複雑にする可能性がある。

【0007】

しかしながら、自分の特定のニーズを自分自身で識別すること、および、適切な美容の解決策を見つけることは、消費者にとってしばしば複雑である。多くの場合、消費者は、消費者が望む特性を与えるようにデザインされていない製品を無意識のうちに選択してしまう場合がある。このような場合、消費者は選択した化粧品の結果に満足せず、そのブランドを無視する可能性がある。

【0008】

したがって、選択した製品を使用することで望ましい結果（たとえば、より女性らしくまたはより若く見えること）が与えられることを保証するために、それぞれの顔の特徴に与えるその影響に従って、消費者の正しい化粧品の選択を支援することが望ましい。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】Porcheron A, Mauger E, Russel R (2013), “Aspects of facial contrast decrease with age and are cues for age perception”, PLoS ONE 8(3): e57985, doi:10.1371/journal.pone.0057985

【非特許文献2】”Cosmetics alter biologically-based factors of beauty: evidence from facial contrast” by Alex L. Jones, Richard Russel and Robert Ward, in Evolutionary Psychology, Vol, 13, Issue 1, 2015年1月1日

【発明の概要】

【発明が解決しようとする課題】

【0010】

上記に鑑み、本発明の一目的は、消費者の顔の特徴を分析してそのニーズを決定できるようにすることである。

【0011】

本発明の別の目的は、消費者の顔の特徴に従って、消費者に個人向けのアドバイスを与えられるようにすることである。

【課題を解決するための手段】

【0012】

そのため、人物の顔の特徴を分析するための方法が開示され、該方法は、
− 人物の顔の画像を獲得するステップと、
− 画像上で、人物の顔を少なくとも２つのゾーンに区切るステップと、
− 少なくとも２つのゾーンの各々のコントラスト値を決定するために、画像を処理するステップと、
− 決定されたコントラスト値に基づいて、複数の事前に確立されたクラスタの中で人物が関連するクラスタを決定するステップであって、事前に確立されたクラスタは、顔のそれぞれの画像における参照集団（reference population）の顔の同じゾーンについて決定されたコントラスト値のセットに基づいて構築される（elaborated）、ステップと、
− 人物に個人向け情報を提供するステップであって、個人向け情報は人物が関連するクラスタに依存する、ステップとを含む。

【0013】

好ましくは、人物の顔の各ゾーンは、口、目、眉、および髪のグループの中から選択される顔の特性特徴を含み、各ゾーンは、当該特性特徴を含む少なくとも１つの部分と、当該特性特徴の近隣の皮膚を含む別の部分とを含む。

【0014】

有利には、次いで、人物の顔のゾーンのコントラスト値を決定することは、特性要素を含むゾーンの部分と、当該特性要素の近隣の皮膚を含むゾーンの部分との間で、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間における平均コントラスト値を測定することを含む。

【0015】

より具体的に言えば、人物の顔のゾーンのコントラスト値を決定することは、特性要素を含むゾーンの部分と、当該特性要素の近隣の皮膚を含むゾーンの部分との間で、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間のＬ、ａ、およびｂ座標の各々における平均コントラスト値を決定することを含み得る。

【0016】

好ましい実施形態によれば、事前に確立されたクラスタは、
− 次元が削減されたデータセットを取得するために、参照集団の顔のゾーンのコントラスト値のセットを処理すること、および、
− 次元が削減されたデータセットをクラスタ化すること、
によって構築される。

【0017】

好ましくは、処理ステップは、コントラスト値のセットに主成分分析を適用することによって実行される。

【0018】

実施形態において、人物が関連するクラスタを決定するステップは、
− 参照集団の削減された次元において対応する座標を取得するために、人物の顔のゾーンのコントラスト値を処理するステップと、
− 取得された座標から、人物が関連するクラスタを推測するステップと
を含み得る。

【0019】

実施形態において、人物の顔の少なくとも２つのゾーンを区切るステップは、顔の２つのゾーンと４つのゾーンとの間で区切ることを含み、各ゾーンは、口、目、眉、および髪のグループの中の顔の１つの特性要素を含む。

【0020】

人物に提供される個人向け情報は、
− 人物の顔の少なくとも１つのゾーンのコントラスト値の個人向け修正に関するアドバイス、
− 人物の顔の少なくとも１つのゾーンのコントラスト値の個人向け修正のための、少なくとも１つのケア製品または化粧品の識別情報、
− 人物の画像と比較して変更された、人物の顔の少なくとも１つのゾーンの少なくとも１つのコントラスト値を用いる、人物の顔の外観のシミュレーション、
のうちのいずれかを含み得、
当該人物の顔の少なくとも１つのゾーンは、口、目、眉、および髪のグループの中で選択された顔の１つの特性要素を含むゾーンである。

【0021】

実施形態において、複数の事前に確立されたクラスタは、３つのゾーンについて決定されたコントラスト値のセットに基づいて構築され得、各々が目、口、および眉の特徴のうちの１つを含む。

【0022】

実施形態において、複数の事前に確立されたクラスタは３つのクラスタにある。

【0023】

実施形態において、提供される個人向け情報は、
− 口、目、および眉のコントラストを増加させる規則、
− 口および目のコントラストを増加させる規則、
− 眉および目のコントラストを増加させる規則、
のいずれかに従って、コントラスト値の修正を推奨することにある。

【0024】

コンピュータプログラム製品も開示され、計算機によって実施されるとき、
− 画像の少なくとも１つの区切られたゾーンを、ゾーンのコントラスト値を決定するために処理するステップと、
− 削減された次元でそれぞれの座標を取得するために、決定されたコントラスト値を処理するステップと、
− コントラスト値が関連するクラスタを推測するために、事前に確立されたクラスタの重心までの距離を計算するステップと
を実行するための命令を含む。

【0025】

人物の顔の特徴を分析するためのシステムも開示され、該システムは、
− 画像入力デバイス、
− 計算機、および
− メモリ、
を含み、
メモリは、参照集団の顔の少なくとも２つのゾーンについて決定されたコントラスト値のセットに基づいて構築されたクラスタの定義を記憶し、計算機は、上記の説明に従った方法を実施するように構成される、ことを特徴とする。

【0026】

実施形態において、画像入力デバイスは、カメラ、および／または、計算機を外部記憶デバイスと接続するためのインターフェースを備え得る。

【0027】

好ましくは、システムは、個人向け情報を表示するように適合されたディスプレイデバイスをさらに備える。

【0028】

好ましい実施形態において、画像入力デバイスはカメラであり、システムは、当該カメラ、中間色のスクリーンまたは背景、およびライトを備えるフォトスタジオを備え、ディスプレイデバイスおよびフォトスタジオは、ショップまたはビューティサロンに設置される。

【0029】

本発明に従った方法は、人物の顔のコントラストを分析すること、および、これらのコントラストから、人物が属している複数の事前に確立されたクラスタの中のクラスタを決定することを可能にする。

【0030】

人物の顔のコントラストを複数の事前に確立されたクラスタと比較することで、望ましい結果を達成するために、メーキャップを用いて人物のいずれの顔の特徴を向上させることができるかについての情報が与えられる。

【0031】

実際に、発明者等は、参照集団に属している人物の年齢または民族性に関係なく、この参照集団は、顔のコントラストのみに基づいて構築される複数のクラスタ間で分散可能であることを発見した。したがって、人物が特定のクラスタに属することは、この人物が表す顔のコントラストが、他のクラスタに比べてより顕著であるかまたは顕著でない可能性があり、したがって、特有の顔のコントラストパターンを作り上げているということを示すものである。

【0032】

この分析により、次に、人物が得たいと望んでいる結果に従って、コントラストを修正する必要のある顔のゾーン、およびその修正の形を決定することができる。具体的に言うと、好ましくは、望ましい結果を達成するためにコントラストを変更しなければならない手法を示す専用の規則が、各クラスタについて定義される。次いで、化粧品を、それらが顔のコントラストに与える影響に従って、個人向けの様式で選択することができる。

【0033】

このようにして本発明は、消費者の顔のコントラストに従って消費者の個人向け情報を提供する。

【0034】

本発明の他の特徴および利点は、添付の図面を参照しながら非限定的な例を用いて与えられる下記の詳細な説明から明らかとなろう。

【図面の簡単な説明】

【0035】

【図1】図１ａは、人物の顔の特徴を分析するためのシステムの第１の実施形態を示す概略図である。図１ｂは、人物の顔の特徴を分析するためのシステムの代替の実施形態を示す概略図である。

【図2】顔の画像上で区切られたゾーンの例を示す図である。

【図3a】例示的な参照集団に基づいて確立されたクラスタを示す図である。

【図3b】同じタイプのメーキャップについて、クラスタ間でのコントラストバリエーションにおける差を示す図である。

【図4】本発明の一実施形態に従った、人物の顔の特徴を分析するための方法の主なステップを示す概略図である。

【発明を実施するための形態】

【0036】

下記でより詳細に説明するように、本発明は、人物が属するクラスタを決定するために、人物の顔の特徴を、また具体的には人物の顔のコントラストを分析することが可能である。クラスタは、参照集団の顔のコントラストの分析に基づいて構築される、複数の事前に確立されたクラスタの中で選択される。

【0037】

したがって、人物の顔のコントラストの特異性を決定すること、および、決定された特異性に従ってこの人物に個人向け情報を提供することが可能である。

【0038】

顔の特徴を分析するためのシステム

【0039】

図１ａおよび図１ｂを参照して、人物の顔の特徴を分析するためのシステム１が概略的に示される。

【0040】

このシステムは、好ましくはプロセッサ、マイクロプロセッサであるか、またはマイクロコントローラでもあり得る、計算機１１を備える、処理ユニット１０を備える。計算機１１は、下記で開示される方法に従って、画像および画像から抽出されるデータを処理するために、コード命令を実行するように適合される。

【0041】

システムは、画像入力デバイス１２も備える。画像入力デバイス１２は、デジタルカメラなどのカメラと、カメラへの接続のための処理ユニット１０のインターフェースとを備え得る。インターフェースは、有線コネクタとするか、または、処理ユニット１０がカメラから遠くに位置する場合、無線インターフェースとすることができる。

【0042】

好ましくは、カメラは比色分析によって較正される。

【0043】

画像入力デバイスは、画像が記憶される外部記憶デバイスを接続するための処理ユニット１０のインターフェースでもあり得る。たとえば、処理ユニット１０は、当該画像入力デバイス１２を形成するＵＳＢポートを備え得る。

【0044】

システム１は、メモリ１３をさらに備える。メモリは、好ましくは、計算機１１によって実行されたとき、計算機１１が下記で詳細に述べる方法を実行できるようにする、ソフトウェア命令を記憶する。

【0045】

一実施形態において、メモリ１３は処理ユニット１０の一部とすることができる。代替の実施形態において、メモリは処理ユニット１０から分離し、離れて配置することができる。その場合、メモリには、処理ユニットが無線接続によってアクセス可能である。その場合処理ユニット１０は、好ましくは、インターネットなどの通信ネットワークを介するメモリ１３へのリモート接続のための通信インターフェースを備える。

【0046】

最後に、処理ユニット１０は、好ましくは、メーキャップおよびスキンケア製品に関する情報を含むデータベース２に接続される。メーキャップおよびスキンケア製品に関する情報は、下記を含み得る。
− 製品のタイプ、
− 製品の商品名、
− 製品をマーケティングするブランドの名前、
− 色またはカラーチャート、
− 日焼け防止指数、
− カバー度、
− 配合、
− サイズおよび／または容量、
− 価格、その他。

【0047】

処理ユニット１０は、システム１およびデータベース２の物理的位置に応じて、有線接続または好ましくは無線接続によって、データベース２に接続可能である。典型的には処理ユニット１０は、インターネットを介してデータベースにアクセスし得る。

【0048】

システム１は、好ましくはスクリーンであり得る、またいくつかの実施形態では触覚スクリーンであり得る、ディスプレイ１５も備える。

【0049】

図１ａで概略的に示される一実施形態において、システムは少なくとも部分的に、ショップ、ビューティサロン、または任意の同等のものに設置し得る。具体的に言えば、画像入力デバイス１２およびディスプレイ１５を、ショップまたはビューティサロン内に配置することができる。

【0050】

画像入力デバイス１２は、好ましくは、ショップまたはビューティサロン内に設置されたフォトスタジオ内に設置され、制御条件内で画像を撮影するように構成された、カメラである。フォトスタジオは、中間色（白、グレー）のスクリーンまたは背景、ソフトボックスなどの少なくとも１つのライト、および、スクリーンまたは背景に対して固定位置にあるカメラを備え得る。カメラは、ショップまたはビューティサロンにより良く融合させるために、マジックミラーなどの反射ガラスの背後に隠すことができる。

【0051】

実施形態において、カメラは、１つまたはいくつかの画像が抽出可能なビデオを獲得可能な、ビデオカメラであってよい。

【0052】

カメラで撮影されるかまたはビデオから抽出されるビデオまたは画像は、画像を処理するためにショップまたはビューティサロン内に配置されたコンピュータ、またはリモートサーバであり得る、処理ユニット１０に転送される。

【0053】

ディスプレイ１５は、処理ユニットに送信されたピクチャの処理に従って個人向け情報をユーザに表示するために、ショップまたはビューティサロン内に配置されるスクリーンである。

【0054】

代替実施形態において、システムのカメラは携帯電話、タブレット、またはスマートフォンのデジタルカメラであり、ユーザはこれらを用いて自分の画像を撮影することができる。その後画像は、さらに処理するために処理ユニット１０に転送される。

【0055】

一実施形態において、処理ユニット１０は携帯電話内に実装され得、その場合、計算機１１は電話のプロセッサであり、メモリ１３は電話のメモリであり得、メモリは、下記に詳細に記載される方法を実行するためのコード命令を備えるアプリケーションソフトウェアを記憶する。

【0056】

別の実施形態において、処理ユニット１０は、電話が画像を送信するリモートサーバであり得る。

【0057】

携帯電話のディスプレイスクリーン１５は、その後、画像の処理結果に従って、個人向け情報をユーザに表示するために使用される。

【0058】

顔の特徴を分析するための方法

【0059】

次に、図４を参照しながら、人物の顔の特徴を分析するための方法を説明する。これは、上記で開示したシステムによって実施される。

【0060】

この方法は人物の顔のコントラストの分析に基づき、当該分析は、人物の顔の画像またはビデオ上で実行される。

【0061】

したがって方法は、人物の顔の画像またはビデオを獲得する第１のステップ１００を含む。このステップは、好ましくは、方法を実施する時点でカメラ１２を用いて画像またはビデオを獲得すること、および、当該画像を処理ユニット１０に転送することによって実行される。しかしながらこのステップは、以前にキャプチャされた後、専用の記憶デバイス上に記憶された画像を、処理ユニット１０によってロードすることによっても、実行可能である。

【0062】

好ましくは、ステップ１００で獲得される画像は、その後、画像上で実行される処理の良好な再現性を保証するために、所定の獲得条件に従って獲得される。具体的に言えば、顔の照明は顔の上のいかなる陰影も防止すべきであり、たとえば顔は正面から照らすべきである。また、ライトの高さは固定されるべきであり、人物が画像撮影のために座る椅子の高さは、人物の頭が所定の高さになるように調節されるべきである。

【0063】

特定の、ただし非限定的な実施形態によれば、カメラの高さは顔の高さに調節され、顔は３つのフラッシュによって照明され、１つは顔の前にあって（散光）、このフラッシュの高さは顔の高さに調節され、２つのフラッシュは４５°の角度から顔を照明し（直接光）、これらのフラッシュの高さも顔の高さに調節される。

【0064】

画像の獲得の間、人物は、たとえばヘアバンドを着用することによって自分の髪が、口、目、および眉などの自分の顔の何らかの特性特徴を隠さないこと、ならびに、メーキャップまたは装飾品を着用していないことを保証すべきである。人物は、目を見開いたまま、自然な表情でカメラを直接凝視するように求められる。

【0065】

さらに画像は、好ましくは比色分析によって較正される。そのため、カメラ１２は比色分析によって較正され得る。代替として、カラーチャートを使用して画像を較正することができる。その場合、画像は、人物の顔およびカラーチャートの両方を含むように撮影すべきである。たとえば、いくつかのカラーパッチを含むカラーチャートが使用され得る。好ましくはパッチのいくつかは、較正の精度を向上させるために、皮膚のトーンの範囲と同様であるように設計され得る。

【0066】

画像上に現れるパッチの色の分析は、チャート上のパッチの実際の色と比較可能であり、この比較から訂正が推測可能である。

【0067】

さらに別の実施形態によれば、比色分析較正は、いくつかの較正画像上で実行される予備ステップ８０を含み得る。その場合、顔のいくつかの較正画像（たとえば、１０または２０）が獲得され、各画像は様々なカラーパッチを含むカラーチャートを含み、好ましくはいくつかのパッチは皮膚のトーンの範囲と同様であるように設計される。その後、下記でより詳細に定義されるＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間において、各イメージにおける各カラーパッチについて、Ｌ^＊ａ^＊ｂ^＊パラメータが測定され、各カラーパッチの各Ｌ^＊ａ^＊ｂ^＊パラメータについて、イメージのセットに関する中央値が計算される。次いで、対応する中央値に対する各イメージの各カラーパッチについて、色差（ΔＥ１９７６）が計算され、各イメージについてカラーパッチ全体にわたる平均色差（ΔＥ１９７６）値が計算される。次いで、より低いグローバルな色差値を伴うイメージが参照イメージとして選択され、そのカラーチャートは参照カラーチャートとして設定される。別の実施形態において、コントラスト値は、ＬＣＨ、ＲＧＢ、ＣＭＹＫ、その他などの、任意の他の色空間において決定され得る。

【0068】

最終的に、ステップ１００の実施の間、人物の顔、および、較正ステップで使用されるものと同じカラーチャートの両方を含むように、画像が撮影される。次いで、イメージカラーチャートと参照イメージカラーチャートとの間の差を最小にすることによって、画像が参照イメージに登録される。次いでカラーチャートは、人物の顔を示す画像の部分のみを維持するようにクロップされる。

【0069】

一実施形態によれば、画像を獲得するステップ１００は、画像が望ましい獲得条件を満たすことをチェックするサブステップを含み得る。このステップは、たとえば画像上の顔に陰影または隠された特性特徴が存在しないことをチェックすることを含み得る。画像が望ましい条件を満たさないものと判別された場合、人物は別の画像を獲得またはロードするように求められる可能性がある。このサブステップは、オペレータからの視覚チェックによって実施され得るか、または適切なソフトウェアを実行する計算機１１によって自動的に実施され得る。

【0070】

次いで、方法は、顔の画像の少なくとも２つのゾーンを区切るステップ２００を含み、各ゾーンは、画像上に現れる口、目、眉、または髪の一部などの顔の特性特徴を含む。画像上で区切られるゾーンの数は、好ましくは２から６の間に含まれる。いずれの場合においても、同じ特性特徴を囲む２つのゾーンを区切ることは不可能であるが、当該特徴についての平均値を決定するために、同じ性質の２つの特性特徴（２つの目または２つの眉）を囲む２つのゾーンを区切ることは可能である。

【0071】

各ゾーンＺは、当該特性特徴を含む第１の部分Ｚ_１と、当該特性特徴の近隣の皮膚を含む第２の部分Ｚ_２とを含むように区切られる。

【0072】

図２を参照すると、口を囲んで区切られた第１のゾーンＺ_ａ、目を囲んで区切られた第２のゾーンＺ_ｂ、および眉を囲んで区切られた第３のゾーンＺ_ｃの、３つの例示的なゾーンＺ_{ａ，ｂ，ｃ}が示されている。各ゾーンについて、部分Ｚ_{１ａ，ｂ，ｃ}は特性特徴を含み、部分Ｚ_{２ａ，ｂ，ｃ}は近隣の皮膚を含むことがわかる。

【0073】

これらのゾーンは、たとえばＭａｔｌａｂ（商標）などの計算機１１によって実行される適切なソフトウェアを使用して、オペレータが手動で区切ることができる。代替として、これらのゾーンは、適切な顔要素検出ソフトウェアにより、特性特徴の検出および各特性特徴を囲むゾーンの区切り設定によって自動的に区切ることができる。

【0074】

決定されたゾーンＺについて、特性特徴のみを含むゾーンの部分Ｚ_１の面積はゾーンの総面積のうちの５％から４０％が含まれ、好ましくはゾーンの総面積のうちの１０％から３５％、たとえばゾーンの総面積のうちの１８％から２５％が含まれる。このように、近隣の皮膚を含むゾーンの部分Ｚ_２の面積はゾーンの総面積のうちの６０％から９５％が含まれ、好ましくはゾーンの総面積のうちの６５％から９０％、たとえばゾーンの総面積のうちの７５％から８２％が含まれる。

【0075】

次いで、方法は、人物の顔のコントラスト値を決定するために画像を処理するステップ３００を含む。より具体的に言えば、処理ステップは区切られたゾーン上で実行され、当該ゾーンのコントラスト値が決定される。

【0076】

このため、各ゾーンのうちの各部分Ｚ_１、Ｚ_２の少なくとも１つのピクセル値は、サブステップ３１０の間に、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間において測定され、Ｌ^＊座標は輝度に対応し、黒から白までの間を１〜１００の尺度で変動し、ａ^＊座標は赤と緑の間の軸に沿って、緑（０）から赤（２５５）までの０〜２５５（または代替として、−１００；＋１００または−１２７；＋１２７）の尺度で変動し、ｂ^＊座標は青と黄の間の軸に沿って、青（０）から黄（２５５）までの０〜２５５（または代替として、−１００；＋１００または−１２７；＋１２７）の尺度で変動する。

【0077】

好ましくは、Ｌ^＊、ａ^＊、およびｂ^＊の３つのすべての座標におけるすべてのピクセル値が、各ゾーンの各部分Ｚ_１、Ｚ_２について測定され、次いで、値は部分全体にわたって平均化される。

【0078】

たとえば、人物の目に対応するゾーンの部分Ｚ１内のすべてのピクセルの輝度値が平均化され、対応するゾーンの部分Ｚ２内のすべてのピクセルの輝度値も平均化される。同じことが、同じゾーンについての他の座標ａ^＊およびｂ^＊に対しても実施される。

【0079】

次いで、各特徴（すなわち、画像の各区切られたゾーン）について、および、ＣＩＥ Ｌ^＊ａ^＊ｂ^＊色空間における各座標について、サブステップ３２０の間にコントラスト値が計算される。

【0080】

たとえば、輝度についてのコントラスト値は、下記の数式によって各特徴について計算可能である。

【0081】

【数1】

【0082】

上式で、Ｌ（ｓｋｉｎ）は特徴の近隣の皮膚を含む部分Ｚ_２の少なくとも１つのピクセルの輝度値であり、Ｌ（ｆｅａｔｕｒｅ）は特徴を含む部分Ｚ_１の少なくとも１つのピクセルの輝度値であり、Ｃ_ｆ，Ｌは特徴の輝度についてのコントラスト値である。好ましい実施形態によれば、Ｌ（ｓｋｉｎ）は部分Ｚ２のすべてのピクセルの平均輝度値であり、Ｌ（ｆｅａｔｕｒｅ）は部分Ｚ１のすべてのピクセルの平均輝度値である。

【0083】

同じ定義に従い、ａ^＊座標についてのコントラスト値は、下記の数式によって各特徴について計算可能である。

【0084】

【数2】

【0085】

上式で、ａ（ｓｋｉｎ）は、特徴の近隣の皮膚を含む部分Ｚ２の少なくとも１つのピクセルのａ^＊座標に従った値であって、好ましくは、当該部分におけるすべてのピクセルの平均ａ^＊値であり、ａ（ｆｅａｔｕｒｅ）は、特徴を含む部分Ｚ１の少なくとも１つのピクセルのａ^＊座標に従った値であって、好ましくは、当該部分におけるすべてのピクセルの平均ａ^＊値である。

【0086】

ｂ^＊座標についてのコントラスト値も、下記の数式によって各特徴について計算される。

【0087】

【数3】

【0088】

上式で、ｂ（ｓｋｉｎ）は、特徴の近隣の皮膚を含む部分Ｚ２の少なくとも１つのピクセルのｂ^＊座標に従った値であって、好ましくは、当該部分におけるすべてのピクセルの平均ｂ^＊値であり、ｂ（ｆｅａｔｕｒｅ）は、特徴を含む部分Ｚ１の少なくとも１つのピクセルのｂ^＊座標に従った値であって、好ましくは、当該部分におけるすべてのピクセルの平均ｂ^＊値である。

【0089】

このようにして、少なくとも６つ、多くとも１８のコントラスト値が決定される（顔の２つから６つのそれぞれの特性特徴に対応する、画像の２つから６つのゾーンについての３つの座標）。同じ性質の特性特徴を囲む２つのゾーン（２つの目または２つの眉）が区切られる場合、各座標についてコントラストの平均値が選択される。この場合、平均値は、両方の値を加算した後、２で割ることによって計算される。

【0090】

次いで、方法は、測定されたコントラスト値および複数の事前に確立されたクラスタから、人物が関連するクラスタを決定するステップ４００を含む。

【0091】

このため、次に、事前に確立されたクラスタがどのように構築されるかを説明する。クラスタの構築（elaboration）は、方法の予備ステップ９０として、計算機１１によっても実行可能である。

【0092】

クラスタは、参照集団の顔のコントラスト値に基づいて構築される。このため、好ましくは、方法のステップ１００に関して既に詳細に述べたのと同じ条件で、参照集団の顔の画像が獲得される。参照集団は、様々な民族性、年齢、健康状態、男性または女性などの人物を含むことができる。しかしながら、より詳細なクラスタ化の場合、参照集団は、同じ性別の人々および／または１つの国または１つの民族性の人々、あるいは所定の年齢グループからの人々のみを含むことができる。

【0093】

次いで、顔の各画像について、方法のステップ２００に関して与えられたゾーンの定義に従って、２つから６つのゾーンが区切られ、ステップ３００の実施に従って、各画像の各ゾーンについてコントラスト値が計算される。

【0094】

クラスタを確立するために処理される参照集団の画像の枚数をＮとすると、コントラスト値の数は６Ｎから１８Ｎの間に含まれる。ステップ２００において同じ性質の２つのゾーン（２つの目または２つの眉）が区切られた場合、１つの特徴について１つの値を有するように平均コントラスト値が計算される。次いで、これらのデータは、それらの間の相関関係を識別するために統計的分析によって処理される。

【0095】

好ましくは、処理は、値間のより高い相関関係の軸を識別することによって、データの次元数を低減させるために、コントラスト値のセットに関して主成分分析を実行することを含む。好ましくは、次元数は２次元まで低減される。言い換えれば、データ点間の相関関係が容易に視覚化できるようにするために、データのセットは２次元空間内に投影される。

【0096】

次いで、複数のクラスタを定義するために、投影されたデータのセットが使用される。このため、投影されたデータのセットに分類方法（または、クラスタ化方法）が適用される。好ましくは、分類方法は階層クラスタ分析またはＨＣＡであり、より好ましくはウォード法である。代替の実施形態によれば、クラスタはｋ平均法、k-medoid法、またはDensity-based spatial clustering of applications with noise（ＤＢＳＣＡＮ）法の実施を介して定義可能である。

【0097】

クラスタの定義は、メモリ１３に記憶される。たとえばメモリは、グラフ上のクラスタの境界の表現、または、クラスタの境界の数学的定義を記憶することができる。

【0098】

好ましくは、いったんクラスタが構築されると、達成すべき様々な目的および／または順守すべき要件に従って、各クラスタについて、いずれのコントラストをおよびどのようにして補正しなければならないかを確立する１つまたは複数の規則に各クラスタが関連付けられる、後続のステップ９１が実行される。

【0099】

達成すべき目的は、たとえば、人物をより若く、より健康的に、より魅力的に、またはより女性らしく見えるようにすることであり得る。女性らしさ、年齢、健康、または魅力の概念は、文化によって異なる可能性があり、結果的な容貌がどのように解釈されるかに大きく影響する場合がある。したがって、結果として生じる規則は、その地域の特異性に従って変動し得る。

【0100】

要件は、素肌のメーキャップ、昼用または夜用のメーキャップ、特定のトレンドの適用などの、適用される特定タイプのメーキャップに関係する可能性がある。

【0101】

クラスタに従った規則の定義は、以下のように実行可能である。所定のクラスタに属する人物は、特定の目的および定義されたメーキャップ要件に従って、専門家によってメーキャップされる。人物の顔のコントラストは、いずれのコントラストを変更すべきであるか、およびどのように変更すべきであるかに関する規則を推測するために、メーキャップの前および後に測定される。

【0102】

好ましくは、異なる人物に対して、専門家であるか否かに関わらず同じことが繰り返されるが、好ましくは、規則をより良く定義するために、異なるメーキャップの専門家によって繰り返される。そのようにして、目的とメーキャップ要件との間でできる限り多くの規則の組み合わせが定義可能であり、目的およびメーキャップ要件なしに、各クラスタについてデフォルトの規則も定義され得る。

【0103】

好ましくは、各クラスタに関連する規則はメモリ１３にも記憶される。

【0104】

次に、図３を参照しながら、クラスタおよび関連する規則定義の例を説明する。

【0105】

この例によれば、２８９人の白人、１７５人のラテンアメリカ人、および１３６人のアジア人を含む、２０歳から７０歳の間の様々な民族性の６００人の女性からなる参照集団について、クラスタが定義されている。

【0106】

参照集団の顔の各画像では、口を囲んで区切られた１つのゾーン、目を囲んで区切られた２つのゾーン、および眉を囲んで区切られた２つのゾーンを含む、３つのゾーンが定義されている。コントラスト値は上記の説明に従って決定され、次いで、コントラスト値は、３つのクラスタを定義するために主成分分析を用いて処理されている。

【0107】

クラスタは、大体において重要なＣＩＥ Ｌ^＊ａ^＊ｂ^＊座標空間でのコントラスト値のカテゴリに対応する。この特定の例によれば、クラスタは表１に示されるように定義されている。

【0108】

【表1】

【0109】

図３において、ドットの様々な形は、参照集団を構成する女性の様々な民族性に対応し、クラスタは楕円によって区切られている。「Ｌｅｙｅ」または「Ｌｍｏｕｔｈ」などの指標は、それぞれのコントラストについてより高い値のグラフのエリアに対応する。

【0110】

次いで、様々なクラスタ内に等しく分散された人物のグループが選択され、人物をより女性らしくするという同じ目的で各人物をメーキャップするように、メーキャップの専門家に依頼した。

【0111】

次いで、各人物についてコントラストが測定され、同じ人物についてのコントラストの初期値と比較された。図３ｂを参照すると、この比較が示した内容は以下の通りである。
− ３つのクラスタすべてについて、目のコントラストはメーキャップによって増加した、
− クラスタ１および２については口のコントラストが増加したが、クラスタ３については変化しなかった、
− クラスタ１および３については眉のコントラストが増加したが、クラスタ２については変化しなかった。

【0112】

これらの結果に基づき、人物をより女性らしくするという目的で、規則を以下のように定義することができた。
− クラスタ１について、口、目、および眉のコントラストを増加させる
− クラスタ２について、口および目のコントラストを増加させる
− クラスタ３について、眉および目のコントラストを増加させる。

【0113】

図４および人物が属するクラスタを決定するステップ４００に戻ると、サブステップ４１０の間に、参照集団の削減された次元において、たとえば、参照集団のコントラスト値に対して実行されるＰＣＡの削減された次元において、座標を計算するために、人物の顔の画像から決定されたコントラスト値が処理され、次いで、クラスタを表すグラフ上に位置決めされる。座標は、新しいコントラスト値に関するＰＣＡから結果として生じる固有ベクトルの線形組み合わせを使用して計算されている。

【0114】

次いで、方法は、削減された次元の値およびクラスタの定義から、人物が属するクラスタを推測するサブステップ４２０を含む。たとえば、グラフ内の点の位置に従い、クラスタの重心までの距離を計算することによって、人物が属するクラスタを推測し、人物に最も近いクラスタへの影響を与えられるようにすることができる。

【0115】

好ましいが、任意選択の実施形態によれば、メモリ１３は、クラスタの定義のみならず、参照集団の削減された次元のすべてのデータも記憶し、方法は、画像を撮影した人物に対応する削減された次元のこのデータのセットを追加する、追加ステップ５００を含む。次いで、このステップは、別の時点で、クラスタの定義を更新するためのクラスタ化アルゴリズムを実行することも含む。実施形態において、このステップ５００は、複数の人物から取得されるデータセットを同時に追加するために定期的にのみ実行することができる。

【0116】

このクラスタ定義の反復更新により、クラスタの定義に使用されるデータの量が増加するにつれて、クラスタをより正確にすることができる。

【0117】

したがって本実施形態によれば、計算機１１は、適切なソフトウェアの実行を介してクラスタ化アルゴリズムを実施するようにも構成される。その場合、処理ユニット１０は、好ましくは、複数の店舗、ビューティサロン、または個別のユーザからのデータを受け取るように適合された、専用のリモートサーバである。

【0118】

クラスタの定義が変更された場合、関連する規則の定義もそれに応じて更新することができる。

【0119】

人物が属するクラスタに従って、人物のいずれのコントラスト値が相対的に低いかまたは高いかを決定することが可能であり、したがって、適切なメーキャップの適用によって、いずれのコントラスト値を選択的に変更できるかを決定することが可能である。具体的に言えば、人物が属するクラスタの識別により、人物をメーキャップするために適用される対応する規則を決定することが可能である。たとえば人物が、自分をより女性らしくする昼用メーキャップを望む場合、自分のクラスタに適合された対応する規則を選択することができる。

【0120】

したがって、方法は、ステップ６００または人物に個人向け情報を提供することを含む。情報は、好ましくはディスプレイ１５上に提供される。

【0121】

提供される情報は、人物が属するクラスタ、および／または、人物のいずれのコントラスト値が相対的に低いかまたは高いかの指標を含むことができる。

【0122】

さらに情報は、人物が取得したい結果（たとえば、より女性らしくまたはより若く見えること）および人物が属するクラスタに従って、対応するメーキャップ規則を含むことも可能であり、この規則は、人物の顔の少なくとも１つのゾーンのコントラスト値を個人向けに修正することに関するアドバイスに変換することができる。このアドバイスは、メーキャップする顔の特定ゾーン、または、人物があるゾーンをメーキャップする際に使用可能な色合いの例を言い表すことができる。

【0123】

たとえば人物が、口についての相対的に低い輝度コントラスト値、ならびに、目および眉の高いコントラスト値に対応する、クラスタに属する場合、および、人物がより女性らしく見えることを望む場合、彼女は、好ましくは自分の口の輝度コントラスト値を増加させるようメーキャップするようにアドバイスを受けることができる。

【0124】

好ましくは、情報は、人物に推奨されるコントラスト値の個人向け修正を達成可能にする、メーキャップ製品またはスキンケア製品（たとえば、皮膚用ホワイトニング製品）のリストまたはセレクションを含むこともできる。

【0125】

たとえば、メーキャップ製品のセレクションの色合いは、人物のＬ^＊、ａ^＊、およびｂ^＊コントラスト値に従って決定することができる。

【0126】

前述の例を用いると、製品のセレクションは、すべてが輝度コントラスト値を増加させることが可能な様々な色合いの口紅のリストを含むことができる。

【0127】

推奨されるメーキャップまたはスキンケア製品は、コントラスト値の個人向け修正を達成するために人物に与えられる推奨に従って特別に設計された配合および／または色合いを有し、人物の注文に応じて製造される、個人向け製品とすることもできる。

【0128】

製品は、各製品に関して入手可能な情報、および人物の顔の特徴の分析結果に従った化粧品のデータベース２内で、処理ユニット１０によって選択可能である。たとえば処理ユニットは、分析の結果から、人物にとって望ましいメーキャップのタイプおよび色合いを推測し、このタイプおよび色合いに対応する製品をデータベース内で照会することができる。

【0129】

最後に、情報は、人物の画像と比較して変更された人物の顔の少なくとも１つのゾーンの少なくとも１つのコントラスト値を用いる、人物の顔の外観のシミュレーションも含むことができる。具体的に言えば、人物が属するクラスタに対応する規則に従ってコントラスト値が変更された顔の外観のシミュレーションを、人物に示すことができる。製品の個人向けセレクションから選択された１つのメーキャップ製品の適用例も、シミュレーションすることができる。シミュレーションは、計算機１１によって実行可能であり、ディスプレイ１５上に表示することが可能である。

【0130】

この個人向け情報に従って、人物は、望ましい結果を得るために、いずれのタイプまたは色合いのメーキャップ製品を使用すればより良いかがわかる。

【符号の説明】

【0131】

１ システム
２ データベース
１０ 処理ユニット
１１ 計算機
１２ 画像入力デバイス
１３ メモリ
１５ ディスプレイスクリーン
Ｚ_ａ 口を囲んで区切られた第１のゾーン
Ｚ_ｂ 目を囲んで区切られた第２のゾーン
Ｚ_ｃ 眉を囲んで区切られた第３のゾーン

【図1】

【図2】

【図3a】

【図3b】

【図4】