ホーム > 特許ランキング > カシオ計算機株式会社
知財求人 - 知財ポータルサイト「IP Force」
特許7463774メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-01
(45)【発行日】2024-04-09
(54)【発明の名称】メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラム
(51)【国際特許分類】
G06T 1/00 20060101AFI20240402BHJP
A45D 44/00 20060101ALI20240402BHJP
【ＦＩ】
G06T1/00 340A
A45D44/00 A
【請求項の数】
8
(21)【出願番号】P 2020044055
(22)【出願日】2020-03-13
(65)【公開番号】P2021144582
(43)【公開日】2021-09-24
【審査請求日】2023-02-22
(73)【特許権者】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】中澤 昌哉
【審査官】岡本 俊威
(56)【参考文献】
【文献】特開２０１８－１０９８４２（ＪＰ，Ａ）
【文献】特開２０１４－１４９６９６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ａ４５Ｄ ４４／００
(57)【特許請求の範囲】
【請求項1】
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
前記ユーザに施された化粧とは独立して予め定められた複数の化粧品の色から化粧に用いたい化粧品の色を選択することをユーザから受け付ける化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第２の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。
【請求項2】
さらに、化粧を施された前記ユーザの顔を撮影する撮影手段を備え、前記化粧顔画像取得手段は、前記撮影手段により撮影された化粧顔画像を取得することを特徴とする請求項１に記載のメイクアップシミュレーション装置。
【請求項3】
さらに、ユーザの化粧を施していない肌の肌色情報を取得する肌色情報取得手段を備え、前記肌色情報は、化粧を施していないユーザの素肌顔画像から取得されることを特徴とする請求項１又は請求項２に記載のメイクアップシミュレーション装置。
【請求項4】
前記化粧顔画像に基づいて、化粧をシミュレーションする顔モデルを生成する顔モデル生成手段を備え、前記顔モデルとして立体的な画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載のメイクアップシミュレーション装置。
【請求項5】
前記顔モデル及び前記化粧情報を記憶する記憶部を備えていることを特徴とする請求項４に記載のメイクアップシミュレーション装置。
【請求項6】
前記化粧情報は少なくとも化粧の位置を示す化粧領域の情報及び塗布色の濃淡情報を含んでいることを特徴とする請求項１から請求項５のいずれか一項に記載のメイクアップシミュレーション装置。
【請求項7】
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得工程と、前記化粧顔画像から化粧情報を検出する化粧情報検出工程と、
前記ユーザに施された化粧とは独立して予め定められた複数の化粧品の色から化粧に用いたい化粧品の色を選択することをユーザから受け付ける化粧品色選択工程と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択工程によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成工程と、
前記第２の化粧顔画像を表示手段に表示させる表示工程と、
を含むことを特徴とするメイクアップシミュレーション方法。
【請求項8】
コンピュータに、化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得機能と、
前記化粧顔画像から化粧情報を検出する化粧情報検出機能と、
前記ユーザに施された化粧とは独立して予め定められた複数の化粧品の色から化粧に用いたい化粧品の色を選択することをユーザから受け付ける化粧品色選択機能と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択機能によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成機能と、
前記第２の化粧顔画像を表示手段に表示させる表示機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、メイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラムに関するものである。
【背景技術】
【0002】
従来、カメラ等で撮影した顔の画像をディスプレイ等に表示させて、当該顔の画像に仮想的なメイク（化粧）画像処理を行うメイクアップシミュレーション方法が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－７３２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１におけるメイクアップシミュレーションは、当該メイクアップシミュレーションが有するアルゴリズムに基づいてメイクのシミュレーションが行われるが、ユーザのメイク技術を再現するシミュレーションはできなかった。
【0005】
本発明は以上のような事情に鑑みてなされたものであり、ユーザのメイク技術で再現したメイクの仕上がりを確認することのできるメイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラムを提供することを利点とするものである。
【課題を解決するための手段】
【0006】
前記課題を解決するために、本発明のメイクアップシミュレーション装置の一態様は、
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、
前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
前記ユーザに施された化粧とは独立して予め定められた複数の化粧品の色から化粧に用いたい化粧品の色を選択することをユーザから受け付ける化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、
前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第２の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、
前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
前記ユーザに施された化粧とは独立して予め定められた複数の化粧品の色から化粧に用いたい化粧品の色を選択することをユーザから受け付ける化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、
前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第２の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。
【発明の効果】
【0007】
本発明によれば、ユーザのメイク技術で再現したメイクの仕上がりを確認することができるとの効果を奏する。
【図面の簡単な説明】
【0008】
【図1】本実施形態におけるメイクアップシミュレーション装置の制御構成を示した要部ブロック図である。
【図2】本実施形態におけるメイクアップシミュレーション方法による全体的な処理を示すフローチャートである。
【図5】（ａ）は、メイク（化粧）顔画像の一例を示す図であり、（ｂ）は、（ａ）における顔の主要部分を拡大して示した図であり、（ｃ）は、（ｂ）から抽出されるメイク（化粧）情報を模式的に示した図である。
【図6】（ａ）は、右目周辺の拡大図の一例であり、（ｂ）は、（ａ）に示す領域に検出対象領域を設定し、目と眉毛の部分にマスクを施した場合を模式的に示した図である。
【図7】メイク情報が書き込まれたメイクテクスチャの一例を示した図である。
【図8】表示部に表示されるメイク色（化粧品の色）選択画面の一例を示す図である。
【図9】（ａ）は、メイク情報のうちの色情報を選択されたメイク色に変更した状態を模式的に示した図であり、（ｂ）は、合成顔画像の一例を示す図であり、（ｃ）は、（ｂ）における顔の主要部分を拡大して示した図である。
【発明を実施するための形態】
【0009】
図１から図９（ａ）～図９（ｃ）を参照しつつ、本発明に係るメイクアップシミュレーション装置、メイクアップシミュレーション方法及びプログラムの一実施形態について説明する。
なおここで、以下に示す実施の形態において「メイク」とは、「化粧」（メイクアップ）の仕方（種類）を示し、塗付濃度及び、塗付範囲を少なくとも含むものとする。
また、メイク色とは化粧品（肌用化粧剤）の色を示し、例えば、アイシャドウや口紅（以下において「リップ」ともいう。）等の色味を少なくとも含むものとする。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
なおここで、以下に示す実施の形態において「メイク」とは、「化粧」（メイクアップ）の仕方（種類）を示し、塗付濃度及び、塗付範囲を少なくとも含むものとする。
また、メイク色とは化粧品（肌用化粧剤）の色を示し、例えば、アイシャドウや口紅（以下において「リップ」ともいう。）等の色味を少なくとも含むものとする。
なお、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。
【0010】
図１は、本実施形態におけるメイクアップシミュレーション装置の要部ブロック図である。
図１に示すように、メイクアップシミュレーション装置１は、操作部１０と、表示部２０と、撮影部３０と、制御装置５０と、を備えている。
本実施形態のメイクアップシミュレーション装置１は、例えば化粧品売り場の店頭等に配置され、ユーザや接客を行う店員等が用いるものである。
メイクアップシミュレーション装置１は、例えばタブレット型のパーソナルコンピュータ（以下において「ＰＣ」とする。）やノート型のＰＣ、据置型のＰＣ等で構成されている。なお、メイクアップシミュレーション装置１の構成は特に限定されず、専用の筐体を備える装置であってもよい。
図１に示すように、メイクアップシミュレーション装置１は、操作部１０と、表示部２０と、撮影部３０と、制御装置５０と、を備えている。
本実施形態のメイクアップシミュレーション装置１は、例えば化粧品売り場の店頭等に配置され、ユーザや接客を行う店員等が用いるものである。
メイクアップシミュレーション装置１は、例えばタブレット型のパーソナルコンピュータ（以下において「ＰＣ」とする。）やノート型のＰＣ、据置型のＰＣ等で構成されている。なお、メイクアップシミュレーション装置１の構成は特に限定されず、専用の筐体を備える装置であってもよい。
【0011】
操作部１０は、ユーザの操作に応じて各種の操作入力・設定等の操作を行うものである。操作部１０が操作されると、当該操作に対応する入力信号が制御部５１に送信される。
操作部１０は、例えば表示部２０の表面に一体的に設けられたタッチパネルである。
表示部２０に構成されるタッチパネルには、後述する表示制御部５１６の制御にしたがって各種の操作画面が表示され、ユーザはタッチパネルへのタッチ操作によって各種の入力・設定等の操作を行うことができる（図６参照）。
なお、各種の入力・設定等の操作を行う操作部１０はタッチパネルである場合に限定されない。例えば各種の操作ボタンやキーボード、ポインティングデバイス等が操作部１０として設けられていてもよい。
操作部１０は、例えば表示部２０の表面に一体的に設けられたタッチパネルである。
表示部２０に構成されるタッチパネルには、後述する表示制御部５１６の制御にしたがって各種の操作画面が表示され、ユーザはタッチパネルへのタッチ操作によって各種の入力・設定等の操作を行うことができる（図６参照）。
なお、各種の入力・設定等の操作を行う操作部１０はタッチパネルである場合に限定されない。例えば各種の操作ボタンやキーボード、ポインティングデバイス等が操作部１０として設けられていてもよい。
【0012】
表示部２０は、例えば液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機エレクトロルミネッセンスディスプレイその他のフラットディスプレイ等で構成されている。
なお、前述のように、表示部２０の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部１０として機能する。
本実施形態では、表示部２０の表示画面には、各種の案内画面等が表示される他、後述するように、例えば、ユーザがメイクを施したいメイク領域を選択・設定して当該メイク領域に配置する色（メイク色）を選択・設定するためのメイク色選択画面２１が表示される。
なお、前述のように、表示部２０の表面に各種の入力を行うためのタッチパネルが一体的に構成されていてもよい。この場合には、タッチパネルが操作部１０として機能する。
本実施形態では、表示部２０の表示画面には、各種の案内画面等が表示される他、後述するように、例えば、ユーザがメイクを施したいメイク領域を選択・設定して当該メイク領域に配置する色（メイク色）を選択・設定するためのメイク色選択画面２１が表示される。
【0013】
また、ユーザがメイクをした状態の顔を撮影したメイク（化粧）顔画像、ユーザがメイクをしていない状態の顔を撮影した素肌顔画像等をメイクアップシミュレーション装置１が取得した場合に、これらの画像を表示部２０の表示画面に適宜表示させてもよい。
さらに、表示部２０には、ユーザのメイク顔画像（化粧顔画像）から生成された顔モデルや、顔モデルのメイク領域に所望のメイク色のメイクが配置された合成顔画像（第２の化粧顔画像、図９（ｂ）参照）等が適宜表示されるようになっている。
なお、合成顔画像を表示部２０に表示させる場合には、各メイク領域についてユーザが選択したメイク色の識別番号（例えば、アイシャドウであればブルー系の何番の色、リップであればピンク系の何番の色等）や当該メイク色に対応する商品番号（例えば〇番のアイシャドウ、〇番のリップ）等を合わせて表示させてもよい。これにより、自分に似合う色の番号を確認したり、合成顔画像と同じメイクをするために必要な商品をユーザが知ることができる。
表示部２０は、後述する表示制御部５１６によって、その表示動作が制御される。
さらに、表示部２０には、ユーザのメイク顔画像（化粧顔画像）から生成された顔モデルや、顔モデルのメイク領域に所望のメイク色のメイクが配置された合成顔画像（第２の化粧顔画像、図９（ｂ）参照）等が適宜表示されるようになっている。
なお、合成顔画像を表示部２０に表示させる場合には、各メイク領域についてユーザが選択したメイク色の識別番号（例えば、アイシャドウであればブルー系の何番の色、リップであればピンク系の何番の色等）や当該メイク色に対応する商品番号（例えば〇番のアイシャドウ、〇番のリップ）等を合わせて表示させてもよい。これにより、自分に似合う色の番号を確認したり、合成顔画像と同じメイクをするために必要な商品をユーザが知ることができる。
表示部２０は、後述する表示制御部５１６によって、その表示動作が制御される。
【0014】
また、撮影部３０は、例えばカメラ等である撮影装置３１と、撮影対象であるユーザの顔を照明する白色ＬＥＤ等で構成された照明装置３２とを備えている。撮影装置３１は、静止画像を撮影するものに限定されず、動画像を撮影するものであってもよい。この場合動画で撮影された中から、任意のフレーム画像を切り出せるようにしてもよい。
なお、本実施形態では後述するように、メイクをした状態のユーザの顔を撮影部３０において撮影し、メイク顔画像（化粧顔画像）を取得する。
この撮影部３０で取得される肌色情報は、例えば、ＲＧＢやＨＳＶ（色相／彩度／明度）である。
また、本実施形態では、メイクをしていないユーザの顔を撮影部３０において撮影し、素肌顔画像を取得してもよい。そして、素肌顔画像を取得した場合には、素肌顔画像から、メイクをしていない部分のユーザの肌の色である肌色情報が取得される。なお、後述するように、肌色情報は素肌顔画像から取得される場合に限定されず、本実施形態において素肌顔画像を取得することは必須ではない。
なお、本実施形態では後述するように、メイクをした状態のユーザの顔を撮影部３０において撮影し、メイク顔画像（化粧顔画像）を取得する。
この撮影部３０で取得される肌色情報は、例えば、ＲＧＢやＨＳＶ（色相／彩度／明度）である。
また、本実施形態では、メイクをしていないユーザの顔を撮影部３０において撮影し、素肌顔画像を取得してもよい。そして、素肌顔画像を取得した場合には、素肌顔画像から、メイクをしていない部分のユーザの肌の色である肌色情報が取得される。なお、後述するように、肌色情報は素肌顔画像から取得される場合に限定されず、本実施形態において素肌顔画像を取得することは必須ではない。
【0015】
本実施形態では、後述するように、メイク顔画像から、メイクの位置を示すメイク領域の情報やメイクの色（化粧品の色）情報等を含むメイク情報を検出するようになっている。このため、撮影装置３１は、撮影した画像から色を識別することが可能な程度の性能（解像度等）を有することが好ましい。
この撮影部３０は、後述する制御装置５０の撮影制御部５１１によって制御される。
撮影装置３１によって撮影された画像（メイク顔画像、素肌顔画像等）は、撮影制御部５１１において取得される。
なお、撮影部３０によって撮影された画像の画像データは、後述する記憶部５２に記憶されてもよい。
この撮影部３０は、後述する制御装置５０の撮影制御部５１１によって制御される。
撮影装置３１によって撮影された画像（メイク顔画像、素肌顔画像等）は、撮影制御部５１１において取得される。
なお、撮影部３０によって撮影された画像の画像データは、後述する記憶部５２に記憶されてもよい。
【0016】
制御装置５０は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサで構成される制御部５１と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等（いずれも図示せず）で構成される記憶部５２とを備えるコンピュータである。なお、記憶部５２は別構成とし、制御装置５０の外部に設けるようにしてもよい。
【0017】
記憶部５２には、プログラム記憶領域５２１及びデータ保存領域５２２等が設けられている。
プログラム記憶領域５２１には、例えばメイクアップシミュレーション処理を行うためのプログラム等、メイクアップシミュレーション装置１を動作させるための各種プログラム等が格納されている。ここに言うプログラムは、例えば各種画像処理用のソフトウエアプログラム等を含む。制御部５１がこれらのプログラムを例えばＲＡＭの作業領域に展開して、プログラムが制御部５１において実行されることによって、メイクアップシミュレーション装置１の各部が統括制御されるようになっている。
プログラム記憶領域５２１には、例えばメイクアップシミュレーション処理を行うためのプログラム等、メイクアップシミュレーション装置１を動作させるための各種プログラム等が格納されている。ここに言うプログラムは、例えば各種画像処理用のソフトウエアプログラム等を含む。制御部５１がこれらのプログラムを例えばＲＡＭの作業領域に展開して、プログラムが制御部５１において実行されることによって、メイクアップシミュレーション装置１の各部が統括制御されるようになっている。
【0018】
また、データ保存領域５２２には、撮影部３０によって取得された各種画像（メイク顔画像、素肌顔画像等）のデータやメイク顔画像、素肌顔画像等から検出された顔パーツ情報、メイク情報、肌色情報等各種の情報、メイク顔画像から生成された顔モデル、登録されているユーザの各種情報等が、それぞれユーザごとに対応付けられて記憶されている。なお、記憶部５２には、その他の各種情報が記憶されてもよい。
【0019】
制御部５１は、機能的に見た場合、撮影制御部５１１、画像処理部５１２、表示制御部５１６等を備えている。これら撮影制御部５１１、画像処理部５１２、表示制御部５１６等としての機能は、制御部５１と記憶部５２のプログラム記憶領域５２１に記憶されたプログラムとの協働によって実現される。
【0020】
撮影制御部５１１は、撮影部３０の撮影装置３１及び照明装置３２を制御して撮影装置３１により、メイクをした状態のユーザの顔の画像であるメイク顔画像やメイクをしていない情報のユーザの顔の画像である素肌顔画像等の画像を撮影させる。
本実施形態では、撮影部３０により取得された当該メイク顔画像や素肌顔画像は、撮影制御部５１１に送られる。撮影制御部５１１は、こうしたメイク顔画像を取得するメイク顔画像取得手段、素肌顔画像を取得する素肌顔画像取得手段として機能する。なお、撮影制御部５１１はメイク顔画像や素肌顔画像を記憶部５２に記憶させてもよい。
本実施形態では、撮影部３０により取得された当該メイク顔画像や素肌顔画像は、撮影制御部５１１に送られる。撮影制御部５１１は、こうしたメイク顔画像を取得するメイク顔画像取得手段、素肌顔画像を取得する素肌顔画像取得手段として機能する。なお、撮影制御部５１１はメイク顔画像や素肌顔画像を記憶部５２に記憶させてもよい。
【0021】
なお、メイク顔画像は、通常の化粧品を用いたユーザの普段のメイク状態の顔を撮影したものであってもよいし、特定の色の専用の化粧品を使用してメイクを施した顔を撮影したものであってもよい。特定の色の化粧品とは、例えばリップなら赤色、アイシャドウなら青色等、各メイク種類に応じて明らかに区別しやすい色の化粧品であり、メイクアップシミュレーション装置１を設置している店舗等で用意されるものである。このようにメイク種類を識別しやすい特定の色の専用の化粧品を用いてメイクした顔を撮影することにより、メイク顔画像からのメイク情報の検出精度を向上させることが可能となる。
【0022】
なお、メイク顔画像取得手段や素肌顔画像取得手段としての制御部５１は、撮影制御部５１１に限定されない。
例えば、撮影部３０の撮影装置３１によってユーザを撮影する代わりに、ユーザのメイク顔画像や素肌顔画像のデータをＵＳＢ等の図示しないインターフェース経由で読み込んだり、ユーザの携帯端末装置（スマートフォン等）に保存されている画像データの中からユーザのメイク顔画像や素肌顔画像のデータを各種通信手段を介してメイクアップシミュレーション装置１に送信する等の手法により、制御部５１が取得してもよい。さらに、メイクアップシミュレーション装置１に各種イメージスキャナ等の画像読取装置を接続させることができる場合には、ユーザによって提供されたユーザのメイク顔画像や素肌顔画像（例えばメイク顔や素肌顔を撮影した写真）を画像読取装置を介してメイクアップシミュレーション装置１の制御装置５０に読み込んでもよい。
例えば、撮影部３０の撮影装置３１によってユーザを撮影する代わりに、ユーザのメイク顔画像や素肌顔画像のデータをＵＳＢ等の図示しないインターフェース経由で読み込んだり、ユーザの携帯端末装置（スマートフォン等）に保存されている画像データの中からユーザのメイク顔画像や素肌顔画像のデータを各種通信手段を介してメイクアップシミュレーション装置１に送信する等の手法により、制御部５１が取得してもよい。さらに、メイクアップシミュレーション装置１に各種イメージスキャナ等の画像読取装置を接続させることができる場合には、ユーザによって提供されたユーザのメイク顔画像や素肌顔画像（例えばメイク顔や素肌顔を撮影した写真）を画像読取装置を介してメイクアップシミュレーション装置１の制御装置５０に読み込んでもよい。
【0023】
このように構成することで、ユーザが店頭の装置でメイクした状態の顔やメイクしていない素肌状態の顔を撮影する手間等を省くことが可能となる。特にメイク状態で来店したユーザに一旦素肌状態になってもらってから撮影を行うことは煩雑であり、事前のデータや写真等で代用できる場合には、これを用いることが好ましい。
なお、ユーザの素肌顔画像は、後述するようにユーザの肌色情報を得るために必要なものである。このため、他の手法で肌色情報を得ることができる場合には、撮影部３０等によりユーザの素肌顔画像を取得することは必須ではない。すなわち、例えばメイクアップシミュレーション装置１に各種測色計等を接続させることができる場合には、顔のうちメイクをしていない箇所や、顔の肌色に比較的近似している首筋等の肌の色を測色計等で検出し、この検出結果を制御部５１が取得することでユーザの肌色情報を取得してもよい。
なお、ユーザの素肌顔画像は、後述するようにユーザの肌色情報を得るために必要なものである。このため、他の手法で肌色情報を得ることができる場合には、撮影部３０等によりユーザの素肌顔画像を取得することは必須ではない。すなわち、例えばメイクアップシミュレーション装置１に各種測色計等を接続させることができる場合には、顔のうちメイクをしていない箇所や、顔の肌色に比較的近似している首筋等の肌の色を測色計等で検出し、この検出結果を制御部５１が取得することでユーザの肌色情報を取得してもよい。
【0024】
画像処理部５１２は、撮影制御部５１１によって取得された各種画像や、各種の手法で制御部５１が取得した各種画像に、様々な画像処理を行うものである。本実施形態において、画像処理部５１２は、顔モデル生成部５１３、顔パーツ検出部５１４、メイク情報検出部５１５等を含んでいる。
なお、メイクアップシミュレーション装置１は、画像処理部５１２として、ＧＰＵ（Graphics Processing Unit）等、画像処理に特化した専用のプロセッサにより構成された処理装置を備えていてもよい。
なお、メイクアップシミュレーション装置１は、画像処理部５１２として、ＧＰＵ（Graphics Processing Unit）等、画像処理に特化した専用のプロセッサにより構成された処理装置を備えていてもよい。
【0025】
顔モデル生成部５１３は、メイク顔画像に基づいて、メイクのベースとなる顔モデルを生成する顔モデル生成手段である。
すなわち、顔モデルは、メイクアップシミュレーション処理によって仮想的にメイクを施す際にベースとなるユーザの顔の形状の情報である。
顔モデルは、二次元的な画像であってもよいし、三次元的な画像であってもよい。
本実施形態では、顔モデル生成部５１３が、顔モデルとして三次元的な（立体的な）画像を生成する場合を例として説明する。
顔モデルを立体的なものとすることにより、後にメイクを合成した際に、よりリアリティのある表示を行うことができ、所望の色でメイクした場合の完成状態を、ユーザがイメージしやすくなるため好ましい。
すなわち、顔モデルは、メイクアップシミュレーション処理によって仮想的にメイクを施す際にベースとなるユーザの顔の形状の情報である。
顔モデルは、二次元的な画像であってもよいし、三次元的な画像であってもよい。
本実施形態では、顔モデル生成部５１３が、顔モデルとして三次元的な（立体的な）画像を生成する場合を例として説明する。
顔モデルを立体的なものとすることにより、後にメイクを合成した際に、よりリアリティのある表示を行うことができ、所望の色でメイクした場合の完成状態を、ユーザがイメージしやすくなるため好ましい。
【0026】
三次元的な顔モデルを生成するには、例えば以下の手法による。
すなわち、顔モデル生成部５１３は、例えば、機械学習等の手法により、ユーザのメイク顔画像から、顔の輪郭の特徴点及び顔の各特徴的な部位（例えば、目、口、鼻等）を検出し、ユーザの顔の３Ｄモデル（顔モデル）を生成する。
このような３Ｄモデル（顔モデル）からは、これに対応した顔画像のテクスチャ（後述するメイクテクスチャ）を生成することが可能である。テクスチャの座標は３Ｄモデル（顔モデル）のポリゴンの各頂点と対応する。このため、例えばテクスチャにおいて、後述するメイク領域に配置されている色を所望のメイク色に変更（編集）すると、テクスチャにおいて行ったこうしたメイク色の変更等を３Ｄモデル（顔モデル）に反映させ、変更された状態で表示部２０等に出力させることが可能となる。
顔モデル生成部５１３によって生成された顔モデルは、記憶部５２のデータ保存領域５２２に保存される。
すなわち、顔モデル生成部５１３は、例えば、機械学習等の手法により、ユーザのメイク顔画像から、顔の輪郭の特徴点及び顔の各特徴的な部位（例えば、目、口、鼻等）を検出し、ユーザの顔の３Ｄモデル（顔モデル）を生成する。
このような３Ｄモデル（顔モデル）からは、これに対応した顔画像のテクスチャ（後述するメイクテクスチャ）を生成することが可能である。テクスチャの座標は３Ｄモデル（顔モデル）のポリゴンの各頂点と対応する。このため、例えばテクスチャにおいて、後述するメイク領域に配置されている色を所望のメイク色に変更（編集）すると、テクスチャにおいて行ったこうしたメイク色の変更等を３Ｄモデル（顔モデル）に反映させ、変更された状態で表示部２０等に出力させることが可能となる。
顔モデル生成部５１３によって生成された顔モデルは、記憶部５２のデータ保存領域５２２に保存される。
【0027】
顔パーツ検出部５１４は、メイク顔画像から顔のパーツ（部品、部位）に関する顔パーツ情報を検出する顔パーツ検出手段である。
顔パーツ検出部５１４によって検出される主要な顔のパーツとしては、例えば目、鼻、口、眉等があげられる。顔パーツ検出部５１４は、こうしたものをすべて検出してもよいし、これらのうちの一部のみ検出するのでもよいし、これ以外のパーツを検出してもよい。
顔パーツ検出部５１４による具体的な検出手法は特に限定されず、一般的に用いられる画像処理技術によることができる。
例えば、顔パーツ検出部５１４は、元画像であるメイク顔画像に対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行い、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。そして、顔パーツ検出部５１４は、この検出結果に基づいて、目、鼻、口、眉等、顔の各パーツを特定する。
なお、顔の各パーツの検出、どのエッジが顔のどのパーツに対応するか等の特定には、顔モデル生成部５１３による機械学習等の手法を用いた特徴点の検出等の手法を用いてもよい。
顔パーツ検出部５１４によって検出される主要な顔のパーツとしては、例えば目、鼻、口、眉等があげられる。顔パーツ検出部５１４は、こうしたものをすべて検出してもよいし、これらのうちの一部のみ検出するのでもよいし、これ以外のパーツを検出してもよい。
顔パーツ検出部５１４による具体的な検出手法は特に限定されず、一般的に用いられる画像処理技術によることができる。
例えば、顔パーツ検出部５１４は、元画像であるメイク顔画像に対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行い、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。そして、顔パーツ検出部５１４は、この検出結果に基づいて、目、鼻、口、眉等、顔の各パーツを特定する。
なお、顔の各パーツの検出、どのエッジが顔のどのパーツに対応するか等の特定には、顔モデル生成部５１３による機械学習等の手法を用いた特徴点の検出等の手法を用いてもよい。
【0028】
メイク情報検出部５１５は、メイク顔画像から顔の各パーツごとのメイク情報を検出するメイク情報検出手段である。
メイク情報検出部５１５により検出されるメイク情報は、少なくともメイクの位置を示すメイク領域の情報及び塗布色の濃淡情報を含んでいる。濃淡情報は、例えばグラデーション、むら、ぼかし等の塗布色の塗り方に関するものであり、メイクの技法・技量に関わる情報である。またメイク情報はメイクの色情報を含んでいてもよい。
メイク情報検出部５１５により検出されるメイク情報は、少なくともメイクの位置を示すメイク領域の情報及び塗布色の濃淡情報を含んでいる。濃淡情報は、例えばグラデーション、むら、ぼかし等の塗布色の塗り方に関するものであり、メイクの技法・技量に関わる情報である。またメイク情報はメイクの色情報を含んでいてもよい。
【0029】
本実施形態の制御部５１は、ユーザの素肌顔画像等に基づいてユーザのメイクを施していない肌の肌色情報を取得する肌色情報取得手段として機能するようになっており、メイク情報検出部５１５は、メイク顔画像とユーザの肌色情報とを比較して、素肌の状態から色が変化している部分にメイクが施されていると判断して、メイク情報を抽出する。
なお、メイク情報検出部５１５によるメイク情報の検出手法の詳細については後述する。
なお、メイク情報検出部５１５によるメイク情報の検出手法の詳細については後述する。
【0030】
メイク情報検出部５１５は、検出したメイク情報を、顔モデル（顔の３Ｄモデル）に対応した座標を持つテクスチャ（メイクテクスチャ）に書き込むことで、顔のどのパーツについて、どのような位置・範囲で、どのような濃度・濃淡のメイクがなされているかを記録する。
なお、メイクテクスチャとしては、カラーマップ（ディフューズマップ）が想定される。なお、本実施形態では、メイクテクスチャとして、メイク情報検出部５１５による検出結果を顔モデル（顔の３Ｄモデル）に適用するための出力用のメイクテクスチャと、検出したメイク情報を保存するためのデータ保存用のメイクテクスチャとが用意される。
メイク情報は各顔パーツと対応付けられてデータ保存用のメイクテクスチャに書き込まれ、記憶部５２のデータ保存領域５２２等に保存される。これにより、ユーザが次回以降メイクアップシミュレーション装置１を使用する際には、データ保存用のメイクテクスチャに書き込まれているメイク情報を用いることができ、メイクアップシミュレーション処理をより迅速かつ簡易に利用することができる。
なお、メイクテクスチャとしては、カラーマップ（ディフューズマップ）が想定される。なお、本実施形態では、メイクテクスチャとして、メイク情報検出部５１５による検出結果を顔モデル（顔の３Ｄモデル）に適用するための出力用のメイクテクスチャと、検出したメイク情報を保存するためのデータ保存用のメイクテクスチャとが用意される。
メイク情報は各顔パーツと対応付けられてデータ保存用のメイクテクスチャに書き込まれ、記憶部５２のデータ保存領域５２２等に保存される。これにより、ユーザが次回以降メイクアップシミュレーション装置１を使用する際には、データ保存用のメイクテクスチャに書き込まれているメイク情報を用いることができ、メイクアップシミュレーション処理をより迅速かつ簡易に利用することができる。
【0031】
また、制御部５１は、操作部１０等からメイクに用いたいメイク色がユーザによって選択・設定されると、当該入力指示の内容を受け付けて、ユーザ所望のメイク色（化粧品色）を選択するメイク色選択手段（化粧品色選択手段）として機能する。
メイク色選択手段として制御部５１が受け付け、選択したメイク色の情報は、出力用のメイクテクスチャにおける各メイク領域に適用される。
メイク色選択手段として制御部５１が受け付け、選択したメイク色の情報は、出力用のメイクテクスチャにおける各メイク領域に適用される。
【0032】
表示制御部５１６は、表示用のデータを生成し、表示部２０の表示動作を制御する。
本実施形態の表示制御部５１６は、顔モデル生成部５１３によって生成された顔モデルに、メイク色選択手段としての制御部５１によって選択されたメイク色をメイク情報に基づいて重畳し合成顔画像（第２の化粧顔画像）を生成する化粧顔画像合成生成手段として機能する。
具体的には、顔モデル生成部５１３によって生成された顔モデルに、メイク色の情報が書き込まれた出力用のメイクテクスチャを適用して、表示部２０に出力する表示用のデータを生成する。
この表示用のデータに基づいて、表示部２０には、ユーザ所望の色で、ユーザ自身の施したメイクの技法・技量により施されたメイクが、顔モデルに重畳された合成顔画像ＳＦ（第２の化粧顔画像、図９（ｃ）参照）が表示される。
本実施形態の表示制御部５１６は、顔モデル生成部５１３によって生成された顔モデルに、メイク色選択手段としての制御部５１によって選択されたメイク色をメイク情報に基づいて重畳し合成顔画像（第２の化粧顔画像）を生成する化粧顔画像合成生成手段として機能する。
具体的には、顔モデル生成部５１３によって生成された顔モデルに、メイク色の情報が書き込まれた出力用のメイクテクスチャを適用して、表示部２０に出力する表示用のデータを生成する。
この表示用のデータに基づいて、表示部２０には、ユーザ所望の色で、ユーザ自身の施したメイクの技法・技量により施されたメイクが、顔モデルに重畳された合成顔画像ＳＦ（第２の化粧顔画像、図９（ｃ）参照）が表示される。
【0033】
【0034】
図２は、メイクアップシミュレーション方法の概略を示すフローチャートである。
本実施形態のメイクアップシミュレーション装置１を用いてメイクアップシミュレーション処理を行う場合には、ユーザは、メイクアップシミュレーション装置１の操作部１０等を操作して電源を入れ起動させる。
操作部１０等から装置を利用するユーザ名やＩＤ等が入力されると、制御部５１は、当該ユーザについてすでに記憶部５２のデータ保存領域５２２等に保存されている顔モデルがあるか否かを判断する（ステップＳ１）。
すでに顔モデルが記憶されている場合（ステップＳ１；ＹＥＳ）には、制御部５１は、記憶部５２のデータ保存領域５２２等に保存されているメイクテクスチャがあるか否かを判断する（ステップＳ２）。
本実施形態のメイクアップシミュレーション装置１を用いてメイクアップシミュレーション処理を行う場合には、ユーザは、メイクアップシミュレーション装置１の操作部１０等を操作して電源を入れ起動させる。
操作部１０等から装置を利用するユーザ名やＩＤ等が入力されると、制御部５１は、当該ユーザについてすでに記憶部５２のデータ保存領域５２２等に保存されている顔モデルがあるか否かを判断する（ステップＳ１）。
すでに顔モデルが記憶されている場合（ステップＳ１；ＹＥＳ）には、制御部５１は、記憶部５２のデータ保存領域５２２等に保存されているメイクテクスチャがあるか否かを判断する（ステップＳ２）。
【0035】
そして、すでにメイクテクスチャが保存されている場合（ステップＳ２；ＹＥＳ）には、さらに制御部５１は、記憶部５２のデータ保存領域５２２等に保存されているメイク情報、具体的には、データ保存用のメイクテクスチャに書き込まれている情報を、使用するか否かを判断する（ステップＳ３）。
具体的には、例えば何年何月に保存したメイク情報を今回のメイクアップシミュレーション処理に用いるか否かをユーザに問い合わせるメッセージ等を表示部２０の表示画面等に表示させ、ＯＫボタンの操作等により了承の意思表示がされたか否かを判断する。
なお、ユーザのメイクの技術や技量、好み等は経時的に変化するため、所定の期間以上前に得られたメイク情報では、現在のユーザの技術・技量等を適切に反映した結果が得られないことも考えられる。このため、保存されているメイク情報が所定の期間以上前のものである場合には、自動的に使用しないとの判断を行うようにしてもよい。
具体的には、例えば何年何月に保存したメイク情報を今回のメイクアップシミュレーション処理に用いるか否かをユーザに問い合わせるメッセージ等を表示部２０の表示画面等に表示させ、ＯＫボタンの操作等により了承の意思表示がされたか否かを判断する。
なお、ユーザのメイクの技術や技量、好み等は経時的に変化するため、所定の期間以上前に得られたメイク情報では、現在のユーザの技術・技量等を適切に反映した結果が得られないことも考えられる。このため、保存されているメイク情報が所定の期間以上前のものである場合には、自動的に使用しないとの判断を行うようにしてもよい。
【0036】
当該ユーザについて、顔モデル、データ保存用のメイクテクスチャがまだ保存されていない場合（ステップＳ１及びステップＳ２；ＮＯ）、またはこれらは保存されているが、保存されているメイク情報を用いないと判断された場合（ステップＳ３；ＮＯ）には、制御部５１は改めてメイク顔画像を取得する。
具体的には、撮影制御部５１１が撮影部３０を制御してユーザのメイクアップ状態の顔を撮影させ、その画像であるメイク顔画像を取得する（ステップＳ４）。なお、撮影は正面からのみでもよし、正面と左右両側面等、複数取得してもよい。
具体的には、撮影制御部５１１が撮影部３０を制御してユーザのメイクアップ状態の顔を撮影させ、その画像であるメイク顔画像を取得する（ステップＳ４）。なお、撮影は正面からのみでもよし、正面と左右両側面等、複数取得してもよい。
【0037】
図５（ａ）は、メイク顔画像ＦＩの一例を示したものである。
メイク顔画像ＦＩを取得すると、制御部５１はさらに、保存されている肌色情報があるか否かを判断する（ステップＳ５）。肌色情報がすでに記憶部５２のデータ保存領域５２２等に保存されている場合（ステップＳ５；ＹＥＳ）には、当該保存されている肌色情報を記憶部５２から読み出す（ステップＳ６）。
他方、保存されている肌色情報がない場合（ステップＳ５；ＮＯ）には、肌色情報を取得する（ステップＳ７）。前述のように、肌色情報は、メイクしていない状態のユーザを撮影して素肌顔画像を取得し、この素肌顔画像から検出してもよいし、測色計等で首や顔のメイクしていない部分の肌の色を測色することで取得してもよい。また、メイク顔画像のメイクをほとんどしていない部分から肌色を推定することにより肌色情報を取得してもよい。
そして、記憶部５２等から肌色情報を読み出した場合又は新たに肌色情報を取得した場合には、制御部５１はメイク情報の検出処理を行う（ステップＳ８）。
メイク顔画像ＦＩを取得すると、制御部５１はさらに、保存されている肌色情報があるか否かを判断する（ステップＳ５）。肌色情報がすでに記憶部５２のデータ保存領域５２２等に保存されている場合（ステップＳ５；ＹＥＳ）には、当該保存されている肌色情報を記憶部５２から読み出す（ステップＳ６）。
他方、保存されている肌色情報がない場合（ステップＳ５；ＮＯ）には、肌色情報を取得する（ステップＳ７）。前述のように、肌色情報は、メイクしていない状態のユーザを撮影して素肌顔画像を取得し、この素肌顔画像から検出してもよいし、測色計等で首や顔のメイクしていない部分の肌の色を測色することで取得してもよい。また、メイク顔画像のメイクをほとんどしていない部分から肌色を推定することにより肌色情報を取得してもよい。
そして、記憶部５２等から肌色情報を読み出した場合又は新たに肌色情報を取得した場合には、制御部５１はメイク情報の検出処理を行う（ステップＳ８）。
【0038】
図３は、メイク情報の検出処理（ステップＳ８）の詳細を説明するフローチャートである。
図３に示すように、メイク情報の検出を行う場合には、まず制御部５１（顔モデル生成部５１３）が、メイク顔画像ＦＩに基づいて顔モデルを生成する（ステップＳ２１）。
また、制御部５１（顔パーツ検出部５１４）が、メイク顔画像ＦＩに基づいて顔パーツの情報を検出する（ステップＳ２２）。
図５（ｂ）は、図５（ａ）に示すメイク顔画像ＦＩの要部を拡大して、図５（ａ）に示すメイク顔画像ＦＩにおける顔パーツの例を示したものである。
図５（ｂ）では、顔パーツとして、右目ＦＰ１、右眉毛ＦＰ２、左目ＦＰ３、右眉毛ＦＰ４、口ＦＰ５を検出する例を示している。図示はしていないが、他に頬等の部位を顔パーツとして検出してもよい。また、顔パーツとしては、顔の構成部のうち特徴点となり得るものをすべて抽出してもよいが、特にメイクとの対応付けを行わない部分（すなわち、ほとんどメイクを行わない部分）については検出しなくてもよく、例えば図５（ｂ）において、鼻部分は特に顔パーツとして検出していない。
図３に示すように、メイク情報の検出を行う場合には、まず制御部５１（顔モデル生成部５１３）が、メイク顔画像ＦＩに基づいて顔モデルを生成する（ステップＳ２１）。
また、制御部５１（顔パーツ検出部５１４）が、メイク顔画像ＦＩに基づいて顔パーツの情報を検出する（ステップＳ２２）。
図５（ｂ）は、図５（ａ）に示すメイク顔画像ＦＩの要部を拡大して、図５（ａ）に示すメイク顔画像ＦＩにおける顔パーツの例を示したものである。
図５（ｂ）では、顔パーツとして、右目ＦＰ１、右眉毛ＦＰ２、左目ＦＰ３、右眉毛ＦＰ４、口ＦＰ５を検出する例を示している。図示はしていないが、他に頬等の部位を顔パーツとして検出してもよい。また、顔パーツとしては、顔の構成部のうち特徴点となり得るものをすべて抽出してもよいが、特にメイクとの対応付けを行わない部分（すなわち、ほとんどメイクを行わない部分）については検出しなくてもよく、例えば図５（ｂ）において、鼻部分は特に顔パーツとして検出していない。
【0039】
さらに、メイク情報検出部５１５が、メイク顔画像と肌色情報とに基づいてメイク情報を検出する。
メイク情報検出部５１５が検出するメイク情報は、メイクの位置を示すメイク領域とメイクの色情報、濃淡情報を含んでおり、メイク情報検出部５１５は、これらのメイク情報を各メイク領域Ｍａｒ１～Ｍａｒ４についてそれぞれ検出する。
濃淡情報は、例えば、各メイクに表現されるグラデーションやぼかし等であり、メイクをするユーザのメイクの技術・技量・好み等が反映される。
図５（ｃ）は、メイク種類が、右目ＦＰ１のアイシャドウ、左目ＦＰ３のアイシャドウ、口ＦＰ５の上唇のリップと下唇のリップである場合に、それぞれのメイクの位置を示すメイク領域がメイク領域Ｍａｒ１～Ｍａｒ４である場合を示している。
メイク情報検出部５１５が検出するメイク情報は、メイクの位置を示すメイク領域とメイクの色情報、濃淡情報を含んでおり、メイク情報検出部５１５は、これらのメイク情報を各メイク領域Ｍａｒ１～Ｍａｒ４についてそれぞれ検出する。
濃淡情報は、例えば、各メイクに表現されるグラデーションやぼかし等であり、メイクをするユーザのメイクの技術・技量・好み等が反映される。
図５（ｃ）は、メイク種類が、右目ＦＰ１のアイシャドウ、左目ＦＰ３のアイシャドウ、口ＦＰ５の上唇のリップと下唇のリップである場合に、それぞれのメイクの位置を示すメイク領域がメイク領域Ｍａｒ１～Ｍａｒ４である場合を示している。
【0040】
メイク情報検出部５１５は、具体的には以下のような手法によってメイク情報を検出する。
すなわち、メイク情報検出部５１５は、まず、メイク種類ごとに検出対象領域Ａｒ１（図６（ｂ）参照）を設定する（ステップＳ２３）。
検出対象領域Ａｒ１は、例えばメイク種類がアイシャドウであれば目のおよその周辺領域、リップであれば唇のおよその周辺領域を設定した後、さらに領域を絞り込んで設定される。
図６（ａ）及び図６（ｂ）では、メイク情報検出部５１５が右目ＦＰ１周辺に施されるアイシャドウを検出する場合を例示している。
図６（ａ）は、右目ＦＰ１及び右眉毛ＦＰ２周辺領域を大まかに切り出した状態を示したものであり、図６（ｂ）では、図６（ａ）に示す領域をさらに絞り込んで、アイシャドウを検出するために必要な領域（図中太枠で囲んだ領域）を検出対象領域Ａｒ１として設定した状態を示している。
すなわち、メイク情報検出部５１５は、まず、メイク種類ごとに検出対象領域Ａｒ１（図６（ｂ）参照）を設定する（ステップＳ２３）。
検出対象領域Ａｒ１は、例えばメイク種類がアイシャドウであれば目のおよその周辺領域、リップであれば唇のおよその周辺領域を設定した後、さらに領域を絞り込んで設定される。
図６（ａ）及び図６（ｂ）では、メイク情報検出部５１５が右目ＦＰ１周辺に施されるアイシャドウを検出する場合を例示している。
図６（ａ）は、右目ＦＰ１及び右眉毛ＦＰ２周辺領域を大まかに切り出した状態を示したものであり、図６（ｂ）では、図６（ａ）に示す領域をさらに絞り込んで、アイシャドウを検出するために必要な領域（図中太枠で囲んだ領域）を検出対象領域Ａｒ１として設定した状態を示している。
【0041】
メイク情報検出部５１５は、検出対象領域Ａｒ１を設定すると、この中から、明らかにアイシャドウを施さない領域である右目ＦＰ１及び右眉毛ＦＰ２を除外領域Ｅｘ１，Ｅｘ２として、メイク情報の検出処理を行う領域から除外する（ステップＳ２４）。そして、まぶた周辺の肌部分のみをメイク情報の検出対象領域Ａｒ１としてメイク情報の検出処理を行う。
なお、除外領域Ｅｘ１，Ｅｘ２を設定するにあたっては、前述の顔パーツ検出部５１４が顔パーツを検出する場合と同様に、元画像であるメイク顔画像に対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行い、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。なお、顔パーツ検出部５１４による検出結果を利用して目の輪郭、眉毛の輪郭等を特定し、除外領域Ｅｘ１，Ｅｘ２を設定してもよい。
また、除外領域Ｅｘ１，Ｅｘ２の設定の仕方は図示例に限定されない。例えば、右目ＦＰ１の上側の境界を検出してそれより下の部分はすべて除外領域Ｅｘ１としてもよい。同様に右眉毛ＦＰ２の下側の境界を検出してそれより上の部分はすべて除外領域Ｅｘ２としてもよい。
なお、除外領域Ｅｘ１，Ｅｘ２を設定するにあたっては、前述の顔パーツ検出部５１４が顔パーツを検出する場合と同様に、元画像であるメイク顔画像に対して所定の微分フィルタ（例えば、ハイパスフィルタ等）を用いて微分演算を行い、輝度値や色や濃度に急峻な変化があるところをエッジとして検出するエッジ検出処理を行う。なお、顔パーツ検出部５１４による検出結果を利用して目の輪郭、眉毛の輪郭等を特定し、除外領域Ｅｘ１，Ｅｘ２を設定してもよい。
また、除外領域Ｅｘ１，Ｅｘ２の設定の仕方は図示例に限定されない。例えば、右目ＦＰ１の上側の境界を検出してそれより下の部分はすべて除外領域Ｅｘ１としてもよい。同様に右眉毛ＦＰ２の下側の境界を検出してそれより上の部分はすべて除外領域Ｅｘ２としてもよい。
【0042】
なお、メイク情報（例えばアイシャドウの情報）を検出するために必要な領域として、どのような範囲を検出対象領域として設定するかは予めデフォルトで規定されていてもよい。例えば、アイシャドウは眼球と眉毛との間の領域に施されるため、眼球と眉毛とを含む領域であれば必ずその中にアイシャドウが施された領域が含まれている。このため、右側のアイシャドウを検出する場合には、図６（ｂ）に示すように、検出対象領域Ａｒ１として右目ＦＰ１及び右眉毛ＦＰ２を含む領域を設定する。
また、除外領域Ｅｘ１，Ｅｘ２を設定するにあたっても、除外すべき領域が予め規定されていてもよい。例えば、アイシャドウであれば眼球と眉毛が除外領域となり、アイラインであれば、アイラインを検出するためのアイラインの検出対象領域はアイシャドウの検出対象領域Ａｒ１と類似の領域に設定されても、除外領域としては眼球及び眉毛の他、眼球と眉毛との間のまぶたの領域で眉毛寄りの上側部分を含めることが好ましい。これにより、目の際に施されるアイラインのメイク情報のみを的確に検出することができる。
また、除外領域Ｅｘ１，Ｅｘ２を設定するにあたっても、除外すべき領域が予め規定されていてもよい。例えば、アイシャドウであれば眼球と眉毛が除外領域となり、アイラインであれば、アイラインを検出するためのアイラインの検出対象領域はアイシャドウの検出対象領域Ａｒ１と類似の領域に設定されても、除外領域としては眼球及び眉毛の他、眼球と眉毛との間のまぶたの領域で眉毛寄りの上側部分を含めることが好ましい。これにより、目の際に施されるアイラインのメイク情報のみを的確に検出することができる。
【0043】
検出対象領域（例えば、アイシャドウを検出する場合の検出対象領域Ａｒ１）のうち、除外領域Ｅｘ１，Ｅｘ２を除いた範囲からメイク情報（例えばアイシャドウの情報）を検出する具体的な手法としては、各種のものが適用可能である。
例えば、本実施形態では、ユーザの肌色情報と、メイク顔画像におけるメイク情報の検出領域内の輝度や明度とを比較したときにその差分の大きな部分を、メイクを施しているメイク領域であると検出する。
すなわち、メイク情報検出部５１５は、メイク顔画像における検出対象領域Ａｒ１内で、例えば１画素ごとに、当該画素のメイク顔画像における色情報と、ユーザの肌色情報との色の差分を求める（ステップＳ２５）。
例えば、本実施形態では、ユーザの肌色情報と、メイク顔画像におけるメイク情報の検出領域内の輝度や明度とを比較したときにその差分の大きな部分を、メイクを施しているメイク領域であると検出する。
すなわち、メイク情報検出部５１５は、メイク顔画像における検出対象領域Ａｒ１内で、例えば１画素ごとに、当該画素のメイク顔画像における色情報と、ユーザの肌色情報との色の差分を求める（ステップＳ２５）。
【0044】
色の差分を求める方法としては色差等を用いることができる。メイク情報検出部５１５は、この差分が一定の閾値以上であるか否かを判断し（ステップＳ２６）、差分が閾値以上である場合（ステップＳ２６；ＹＥＳ）に、当該部分（画素）は素肌の色とは異なる、すなわちメイクが施されている部分であると判定する（ステップＳ２７）。
当該画素がメイクを施された領域の画素である場合には、メイク情報検出部５１５は、当該画素におけるメイクの色情報を、例えばＲＧＢ（すなわちRED、GREEN、BLUE）値でデータ保存用のメイクテクスチャＦＴ（図７参照）の該当箇所にセットする（ステップＳ２８）。
当該画素がメイクを施された領域の画素である場合には、メイク情報検出部５１５は、当該画素におけるメイクの色情報を、例えばＲＧＢ（すなわちRED、GREEN、BLUE）値でデータ保存用のメイクテクスチャＦＴ（図７参照）の該当箇所にセットする（ステップＳ２８）。
【0045】
なお、メイク情報検出部５１５によって検出され、データ保存用のメイクテクスチャに書き込まれるメイクの色情報は、各メイク領域における各画素の濃淡情報を含むものである。
図７は、データ保存用のメイクテクスチャの一例を示したものである。
例えば、図７に示すアイシャドウが施されたメイク領域では、濃い青から薄い青まで複数段階でグラデーションがかかっている。そこで、各色のレベルに応じて、例えば「Ｂ１」から「Ｂ４」までの色情報が書き込まれる。これに対して、リップが施されたメイク領域は均一な濃さで塗られているため、リップのメイク領域内の画素には例えばすべて「Ｒ２」の色情報が書き込まれる。
なお、図７では模式的にしか表現していないが、こうした濃淡情報を含む色情報は、メイク情報検出部５１５によって例えば１画素ごとに検出され、詳細にデータ保存用のメイクテクスチャに書き込まれる。
図７は、データ保存用のメイクテクスチャの一例を示したものである。
例えば、図７に示すアイシャドウが施されたメイク領域では、濃い青から薄い青まで複数段階でグラデーションがかかっている。そこで、各色のレベルに応じて、例えば「Ｂ１」から「Ｂ４」までの色情報が書き込まれる。これに対して、リップが施されたメイク領域は均一な濃さで塗られているため、リップのメイク領域内の画素には例えばすべて「Ｒ２」の色情報が書き込まれる。
なお、図７では模式的にしか表現していないが、こうした濃淡情報を含む色情報は、メイク情報検出部５１５によって例えば１画素ごとに検出され、詳細にデータ保存用のメイクテクスチャに書き込まれる。
【0046】
図７において「α」で示される値（α値；alpha value）は、色情報とは別に画素（ピクセル）ごとに設けられた付加情報を表す数値である。本実施形態では、メイクの有無、種類がα値で表現される。
データ保存用のメイクテクスチャの初期状態のα値はすべて０とし、メイクが施されていない部分（図７においてメイクなし領域ＮＭａｒ）のα値は０のままである。
これに対して左右のアイシャドウに対応するメイク領域Ｍａｒ１，Ｍａｒ２には「α＝０．１」が設定され、上唇と下唇のリップに対応するメイク対象領域Ｍａｒ３，Ｍａｒ４には「α＝０．３」が設定されている。この他、図示は省略するが、例えば頬部分のチークに対応するメイク対象領域には例えば「α＝０．２」等が設定されてもよい。
メイク情報検出部５１５は、メイク領域に対応するメイク種類との対応付けα値をセットする（ステップＳ２９）。
データ保存用のメイクテクスチャの初期状態のα値はすべて０とし、メイクが施されていない部分（図７においてメイクなし領域ＮＭａｒ）のα値は０のままである。
これに対して左右のアイシャドウに対応するメイク領域Ｍａｒ１，Ｍａｒ２には「α＝０．１」が設定され、上唇と下唇のリップに対応するメイク対象領域Ｍａｒ３，Ｍａｒ４には「α＝０．３」が設定されている。この他、図示は省略するが、例えば頬部分のチークに対応するメイク対象領域には例えば「α＝０．２」等が設定されてもよい。
メイク情報検出部５１５は、メイク領域に対応するメイク種類との対応付けα値をセットする（ステップＳ２９）。
【0047】
なお、例えば、アイシャドウは青、チークはピンク、リップは赤、というように、メイクの種類ごとに特定の色が指定された専用の化粧品を使用してユーザにメイクをしてもらい、メイク顔画像を取得してもよい。この場合には、画像から色を検出すれば当該色情報からそれがどの顔パーツに対応するどのような種類のメイクであるか（例えばそれがアイシャドウであるのかリップであるのか等）を特定することができ、メイク情報の検出精度を向上させることが可能となる。なお、通常の化粧品を用いてメイクをした状態でメイク顔画像を取得した場合でも、ある程度、色を見ることで各メイクの種類やメイクが施されている位置、対応付けるべき顔パーツを把握することは可能である。
【0048】
また、ここではメイク情報検出部５１５が、設定した検出対象領域Ａｒ１から除外領域Ｅｘ１，Ｅｘ２を除いた全範囲内で各画素の色と肌色との差分を判定する例を示したが、他の手法として類似色の領域を抽出することも可能である。例えば、設定した検出対象領域Ａｒ１内からメイクが施されているであろう位置を一カ所推定し、肌色と当該箇所の色との差分が閾値以上であるとき、推定した箇所の色を基準として類似色の領域を検出する。
類似色の領域検出は、各種の画像編集・処理用のソフトウエアプログラムにおいて用いられる色域を選択する手法等を適用することによって実現することができる。
色域とは、例えば、ＨＳＶ等の色空間で、それぞれの成分ごとのヒストグラムから対象色の閾値を指定することによって求められる。
このように類似色の領域を検出する場合には、１画素ずつ検出する場合よりも処理速度の向上が期待できる。
類似色の領域検出は、各種の画像編集・処理用のソフトウエアプログラムにおいて用いられる色域を選択する手法等を適用することによって実現することができる。
色域とは、例えば、ＨＳＶ等の色空間で、それぞれの成分ごとのヒストグラムから対象色の閾値を指定することによって求められる。
このように類似色の領域を検出する場合には、１画素ずつ検出する場合よりも処理速度の向上が期待できる。
【0049】
メイク情報検出部５１５は、画素の色について算出した差分が所定の閾値を超えない場合（ステップＳ２６；ＮＯ）またはメイク領域と判定された画素の色情報やα値をデータ保存用のテクスチャに書き込むと、検出対象領域Ａｒ１内（除外領域Ｅｘ１，Ｅｘ２を除く）の検出が終了したか否かを判断する（ステップＳ３０）。
そしてまだ全画素の検出処理が終了していない場合（ステップＳ３０；ＮＯ）には、ステップＳ２５に戻って次の画素について同様の処理を繰り返す。
他方、全画素の検出処理が終了している場合（ステップＳ３０；ＹＥＳ）には、メイク情報検出部５１５はさらに、他に検出対象領域があるか否かを判断する（ステップＳ３１）。そして他にも検出処理を行っていない検出対象領域がある場合（ステップＳ３１；ＹＥＳ）には、ステップＳ２４に戻って次の検出対象領域について同様の処理を繰り返す。
他方、すべての検出対象領域についての検出処理が終了している場合（ステップＳ３１；ＹＥＳ）には、メイク情報の検出処理を終了する。
そしてまだ全画素の検出処理が終了していない場合（ステップＳ３０；ＮＯ）には、ステップＳ２５に戻って次の画素について同様の処理を繰り返す。
他方、全画素の検出処理が終了している場合（ステップＳ３０；ＹＥＳ）には、メイク情報検出部５１５はさらに、他に検出対象領域があるか否かを判断する（ステップＳ３１）。そして他にも検出処理を行っていない検出対象領域がある場合（ステップＳ３１；ＹＥＳ）には、ステップＳ２４に戻って次の検出対象領域について同様の処理を繰り返す。
他方、すべての検出対象領域についての検出処理が終了している場合（ステップＳ３１；ＹＥＳ）には、メイク情報の検出処理を終了する。
【0050】
メイクアップシミュレーション処理に必要なすべての情報が取得されると、図２に戻り、メイク情報の検出処理において取得された各種の情報、具体的には顔モデルやデータ保存用のメイクテクスチャが記憶部５２のデータ保存領域５２２に保存される（ステップＳ９）。
なお、ユーザの素肌顔画像や肌色情報等も記憶部５２のデータ保存領域５２２に保存されることが好ましい。
ユーザのメイク情報や、肌色情報等を記憶させておくことにより、次回以降はメイク情報や肌色情報等を取得する手間を省いて簡易・迅速にメイクアップシミュレーション処理を行うことが可能となる。
なお、ユーザの素肌顔画像や肌色情報等も記憶部５２のデータ保存領域５２２に保存されることが好ましい。
ユーザのメイク情報や、肌色情報等を記憶させておくことにより、次回以降はメイク情報や肌色情報等を取得する手間を省いて簡易・迅速にメイクアップシミュレーション処理を行うことが可能となる。
【0051】
記憶部５２への各種情報の記憶が完了すると、メイクアップシミュレーションをユーザに提示するメイクアップシミュレーション提示処理を行うことができる状態となる（ステップＳ１０）。
図４は、メイクアップシミュレーション提示処理（ステップＳ１０）の詳細を説明するフローチャートである。
図４は、メイクアップシミュレーション提示処理（ステップＳ１０）の詳細を説明するフローチャートである。
【0052】
図４に示すように、メイクアップシミュレーション提示処理では、まず、ユーザがメイクの色を変更したいメイク種類と変更したいメイク色を設定する（ステップＳ４１）。
具体的には、表示制御部５１６がメイク色選択画面２１を表示部２０の表示画面に表示させる。
図８は、メイク色選択画面の一例を示す画面例である。
図８に示すように、メイク色選択画面２１には、例えばユーザの画像が表示されたユーザ表示欄２１ａや、各メイク領域に塗布したいメイク色候補が一覧に並べられた候補色選択欄２１ｂ等が表示されるようになっている。
ユーザ表示欄２１ａに表示される画像は、例えばメイク顔画像から取得されたメイクの色情報のＲＧＢ値が各メイク領域（メイク対応箇所）に書き込まれた出力用のメイクテクスチャを立体的な顔モデルに適用したものであり、このメイクテクスチャに書き込まれているＲＧＢ値をＨＳＶ空間等に変換して表示用データとして出力させることで、ユーザのメイク顔画像が立体的な画像として表示部２０の表示画面に表示される。
なお、表示部２０に表示される画像は、ユーザのものではない一般的・平均的な顔モデルが示されてもよい。
具体的には、表示制御部５１６がメイク色選択画面２１を表示部２０の表示画面に表示させる。
図８は、メイク色選択画面の一例を示す画面例である。
図８に示すように、メイク色選択画面２１には、例えばユーザの画像が表示されたユーザ表示欄２１ａや、各メイク領域に塗布したいメイク色候補が一覧に並べられた候補色選択欄２１ｂ等が表示されるようになっている。
ユーザ表示欄２１ａに表示される画像は、例えばメイク顔画像から取得されたメイクの色情報のＲＧＢ値が各メイク領域（メイク対応箇所）に書き込まれた出力用のメイクテクスチャを立体的な顔モデルに適用したものであり、このメイクテクスチャに書き込まれているＲＧＢ値をＨＳＶ空間等に変換して表示用データとして出力させることで、ユーザのメイク顔画像が立体的な画像として表示部２０の表示画面に表示される。
なお、表示部２０に表示される画像は、ユーザのものではない一般的・平均的な顔モデルが示されてもよい。
【0053】
そして、ユーザがユーザ表示欄２１ａ等において、メイク色を変更したいメイク種類（例えば右目のアイシャドウ）のメイク領域を選択し、当該メイク部分に塗布したい色（例えばアイシャドウであれば、現状表示されているものよりも色味の淡い青色等）を、候補色選択欄２１ｂから選んで設定する。すなわち、ユーザがそれぞれ所望の色を操作部１０（表示部２０に設定されたタッチパネルを含む）等から選択し、入力することでその操作信号が制御部５１に出力されて、各メイク種類ごとのメイク色が設定される。
図９（ａ）は、右目のアイシャドウのメイク領域Ｍａｒ１、左目のアイシャドウのメイク領域Ｍａｒ２、上下のリップのメイク領域Ｍａｒ３，Ｍａｒ４にそれぞれ図５（ｃ）に示したものとは異なるメイク色が設定された様子を示した図である。
図９（ａ）は、右目のアイシャドウのメイク領域Ｍａｒ１、左目のアイシャドウのメイク領域Ｍａｒ２、上下のリップのメイク領域Ｍａｒ３，Ｍａｒ４にそれぞれ図５（ｃ）に示したものとは異なるメイク色が設定された様子を示した図である。
【0054】
メイク色が設定されると、制御部５１（例えば表示制御部５１６）は、データ保存用のメイクテクスチャを記憶部５２から読み出して当該メイクテクスチャの該当箇所のＲＧＢ値を取得する（ステップＳ４２）。そしてユーザが変更希望した箇所のメイクの色情報を設定されたメイク色に色調補正する（ステップＳ４３）。
その上で出力用のメイクテクスチャを用意し、その該当箇所に色調補正後のＲＧＢ値を書き込む（ステップＳ４４）。
さらに、制御部５１は、出力用のメイクテクスチャの該当箇所のα値を変更して透過設定を解除する（ステップＳ４４）。
その上で出力用のメイクテクスチャを用意し、その該当箇所に色調補正後のＲＧＢ値を書き込む（ステップＳ４４）。
さらに、制御部５１は、出力用のメイクテクスチャの該当箇所のα値を変更して透過設定を解除する（ステップＳ４４）。
【0055】
すなわち、出力用のメイクテクスチャにおいても、データ保存用のメイクテクスチャと同様に、何ら情報が書き込まれていない部分（すなわちメイク情報が存在しない部分）は、α値が０の初期状態（すなわち、「α＝０」）であって、これを顔モデルに重畳しても完全に透過されて何も表示されない。
そこで、制御部５１は、出力用のメイクテクスチャのうち、色調補正後のＲＧＢ値が書き込まれた箇所について順次α値を「０」から各メイク種類を示す値に変更する。例えばアイシャドウ部分であれば、「α＝０」を「α＝０．１」に変更する。これにより表示部２０の表示画面上でアイシャドウ部分の色が、ユーザが設定したメイク色に変更される。
そこで、制御部５１は、出力用のメイクテクスチャのうち、色調補正後のＲＧＢ値が書き込まれた箇所について順次α値を「０」から各メイク種類を示す値に変更する。例えばアイシャドウ部分であれば、「α＝０」を「α＝０．１」に変更する。これにより表示部２０の表示画面上でアイシャドウ部分の色が、ユーザが設定したメイク色に変更される。
【0056】
制御部５１は、各メイクの色情報がユーザの選択・設定した色に変更された出力用のメイクテクスチャを生成すると、これを顔モデルに適用する。
そして、これに基づいて、メイク情報に含まれる色情報がユーザにより設定されたメイク色に変更された合成顔画像ＳＦを表示部２０に表示させる。
図９（ｂ）は、表示部２０に表示される合成顔画像ＳＦの一例を示したものであり、図９（ｃ）は、図９（ｂ）における各顔パーツ周辺を拡大して示したものである。
図９（ｂ）及び９（ｃ）に示すように、本実施形態では、元のメイク顔画像に表されるユーザ本人のメイクの技術・技量（例えば図５（ａ）及び５（ｂ）参照）はそのままに、色のみを変更した状態を表示部２０の表示画面上で再現し、確認することができる。
そして、これに基づいて、メイク情報に含まれる色情報がユーザにより設定されたメイク色に変更された合成顔画像ＳＦを表示部２０に表示させる。
図９（ｂ）は、表示部２０に表示される合成顔画像ＳＦの一例を示したものであり、図９（ｃ）は、図９（ｂ）における各顔パーツ周辺を拡大して示したものである。
図９（ｂ）及び９（ｃ）に示すように、本実施形態では、元のメイク顔画像に表されるユーザ本人のメイクの技術・技量（例えば図５（ａ）及び５（ｂ）参照）はそのままに、色のみを変更した状態を表示部２０の表示画面上で再現し、確認することができる。
【0057】
【0058】
以上のように、本実施形態によれば、メイクを施したユーザのメイク顔画像を取得して、メイク顔画像に基づいて、メイクのベースとなる顔モデルを生成し、メイク顔画像から顔のパーツに関する顔パーツ情報を検出するとともに、各顔パーツごとに、メイクされている領域（メイク領域）やメイクの色、濃淡情報等を含むメイク情報を検出する。そして、メイクに用いたいメイク色をユーザが選択すると、顔モデルに当該選択されたメイク色でメイク情報に応じたメイクを施した合成顔画像を生成して表示部２０に表示させるようになっている。
これにより、試してみたい色の化粧品等を実際に顔にメイクをして試さなくても、ユーザ自身の技術や技量に応じて用いた場合にどのような仕上がりとなるのかを、表示部２０の表示画面上で確認することができる。このため、実際の仕上がりをイメージしやすく、ユーザ自身で使いこなすことのできない色の化粧品を購入してしまう失敗を回避することができる。
これにより、試してみたい色の化粧品等を実際に顔にメイクをして試さなくても、ユーザ自身の技術や技量に応じて用いた場合にどのような仕上がりとなるのかを、表示部２０の表示画面上で確認することができる。このため、実際の仕上がりをイメージしやすく、ユーザ自身で使いこなすことのできない色の化粧品を購入してしまう失敗を回避することができる。
【0059】
また、本実施形態では、少なくともメイクを施したユーザの顔を撮影する撮影部３０を備え、撮影部３０で撮影されたメイク顔画像に基づいてメイクのベースとなる顔モデルを生成したり、ユーザ自身のメイクの仕方に関するメイク情報を取得することができる。
このため、過去の画像等から読み込むよりも、より現状のレベル等に応じた結果を確認することができる。
このため、過去の画像等から読み込むよりも、より現状のレベル等に応じた結果を確認することができる。
【0060】
また、メイクをしている箇所の色との差分を取得するための肌色情報を、メイクを施していないユーザの素肌顔画像から取得するとした場合には、メイクをしている肌から推測する等の手法による場合よりも、より正確に肌色を検出することができ、肌色との差分を正確に算出することができる。
【0061】
また、メイクのベースとなる顔モデルとして立体的な画像を生成した場合には、あたかも実際にメイクを試したようなリアリティのある画像でメイクアップシミュレーションを体験することができる。
【0062】
また、メイク情報は少なくともメイクの位置を示すメイク領域の情報及び塗布色の濃淡情報を含んでいることを特徴とする請求項１から請求項４のいずれか一項に記載のメイクアップシミュレーション装置。
【0063】
また、顔モデル及びメイク情報を記憶部５２のデータ保存領域５２２に記憶させるようにした場合には、２回目以降にメイクアップシミュレーション処理を体験するときに、メイクを施した顔の画像を撮影する必要がなく、ユーザにとっての負担を軽減することができる。また、すでに取得してある情報を用いることができるため、処理にかかる時間も短縮することができ、簡易かつ迅速にメイクアップシミュレーションを試すことが可能となる。
さらに、過去に取得されたメイク情報を保存しておいた場合には、例えば、メイクアップシミュレーションを体験する際にはその都度新たにメイク情報等を取得してそれに基づく表示を行うものとし、新たに取得されたメイク情報と過去のメイク情報とを比較できるようにすることも可能となる。この場合には、ユーザのメイクの仕方、技術や技量の変化、向上等をメイク情報の変化から確認することができる。
さらに、過去に取得されたメイク情報を保存しておいた場合には、例えば、メイクアップシミュレーションを体験する際にはその都度新たにメイク情報等を取得してそれに基づく表示を行うものとし、新たに取得されたメイク情報と過去のメイク情報とを比較できるようにすることも可能となる。この場合には、ユーザのメイクの仕方、技術や技量の変化、向上等をメイク情報の変化から確認することができる。
【0064】
なお、以上本発明の実施形態について説明したが、本発明は、かかる実施形態に限定されず、その要旨を逸脱しない範囲で、種々変形が可能であることは言うまでもない。
【0065】
例えば、本実施形態では、メイク情報に基づいた合成顔画像ＳＦを表示部２０に表示させるとしたが、メイクアップシミュレーション装置１に印刷装置を接続することができる場合には、合成顔画像ＳＦ等を印刷装置から出力させてもよい。
またこのような出力を行う場合、各メイク領域においてユーザが選択したメイク色の識別番号（例えば、アイシャドウであればブルー系の何番の色、リップであればピンク系の何番の色等）や当該メイク色に対応する品番（例えば〇番のアイシャドウ、〇番のリップ）等も合わせて出力させてもよい。
またこのような出力を行う場合、各メイク領域においてユーザが選択したメイク色の識別番号（例えば、アイシャドウであればブルー系の何番の色、リップであればピンク系の何番の色等）や当該メイク色に対応する品番（例えば〇番のアイシャドウ、〇番のリップ）等も合わせて出力させてもよい。
【0066】
また、ユーザの実際のメイクに基づくメイク情報が再現されたメイクアップシミュレーション処理の結果画像である合成顔画像ＳＦとともに、例えばアイシャドウやチーク等を塗布する範囲やユーザの肌色と相性のいい色等についてのアドバイスや提案、塗布例等が表示されるようにしてもよい。
【0067】
以上本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、
前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
化粧に用いたい化粧品の色を選択する化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第２の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。
＜請求項２＞
さらに、化粧を施された前記ユーザの顔を撮影する撮影手段を備え、
前記化粧顔画像取得手段は、前記撮影手段により撮影された化粧顔画像を取得することを特徴とする請求項１に記載のメイクアップシミュレーション装置。
＜請求項３＞
さらに、ユーザの化粧を施していない肌の肌色情報を取得する肌色情報取得手段を備え、
前記肌色情報は、化粧を施していないユーザの素肌顔画像から取得されることを特徴とする請求項１又は請求項２に記載のメイクアップシミュレーション装置。
＜請求項４＞
前記化粧顔画像に基づいて、化粧をシミュレーションする顔モデルを生成する顔モデル生成手段を備え、前記顔モデルとして立体的な画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載のメイクアップシミュレーション装置。
＜請求項５＞
前記顔モデル及び前記化粧情報を記憶する記憶部を備えていることを特徴とする請求項４に記載のメイクアップシミュレーション装置。
＜請求項６＞
前記化粧情報は少なくとも化粧の位置を示す化粧領域の情報及び塗布色の濃淡情報を含んでいることを特徴とする請求項１から請求項５のいずれか一項に記載のメイクアップシミュレーション装置。
＜請求項７＞
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得工程と、
前記化粧顔画像から化粧情報を検出する化粧情報検出工程と、
化粧に用いたい化粧品の色を選択する化粧品色選択工程と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択工程によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成工程と、
前記第２の化粧顔画像を表示手段に表示させる表示工程と、
を含むことを特徴とするメイクアップシミュレーション方法。
＜請求項８＞
コンピュータに、
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得機能と、
前記化粧顔画像から化粧情報を検出する化粧情報検出機能と、
化粧に用いたい化粧品の色を選択する化粧品色選択機能と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択機能によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成機能と、
前記第２の化粧顔画像を表示手段に表示させる表示機能と、
を実現させることを特徴とするプログラム。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得手段と、
前記化粧顔画像から化粧情報を検出する化粧情報検出手段と、
化粧に用いたい化粧品の色を選択する化粧品色選択手段と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択手段によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成手段と、
前記第２の化粧顔画像を表示する表示手段と、
を備えることを特徴とするメイクアップシミュレーション装置。
＜請求項２＞
さらに、化粧を施された前記ユーザの顔を撮影する撮影手段を備え、
前記化粧顔画像取得手段は、前記撮影手段により撮影された化粧顔画像を取得することを特徴とする請求項１に記載のメイクアップシミュレーション装置。
＜請求項３＞
さらに、ユーザの化粧を施していない肌の肌色情報を取得する肌色情報取得手段を備え、
前記肌色情報は、化粧を施していないユーザの素肌顔画像から取得されることを特徴とする請求項１又は請求項２に記載のメイクアップシミュレーション装置。
＜請求項４＞
前記化粧顔画像に基づいて、化粧をシミュレーションする顔モデルを生成する顔モデル生成手段を備え、前記顔モデルとして立体的な画像を生成することを特徴とする請求項１から請求項３のいずれか一項に記載のメイクアップシミュレーション装置。
＜請求項５＞
前記顔モデル及び前記化粧情報を記憶する記憶部を備えていることを特徴とする請求項４に記載のメイクアップシミュレーション装置。
＜請求項６＞
前記化粧情報は少なくとも化粧の位置を示す化粧領域の情報及び塗布色の濃淡情報を含んでいることを特徴とする請求項１から請求項５のいずれか一項に記載のメイクアップシミュレーション装置。
＜請求項７＞
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得工程と、
前記化粧顔画像から化粧情報を検出する化粧情報検出工程と、
化粧に用いたい化粧品の色を選択する化粧品色選択工程と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択工程によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成工程と、
前記第２の化粧顔画像を表示手段に表示させる表示工程と、
を含むことを特徴とするメイクアップシミュレーション方法。
＜請求項８＞
コンピュータに、
化粧を施されたユーザの化粧顔画像を取得する化粧顔画像取得機能と、
前記化粧顔画像から化粧情報を検出する化粧情報検出機能と、
化粧に用いたい化粧品の色を選択する化粧品色選択機能と、
前記化粧情報に基づいて、前記化粧を施されたユーザの化粧顔画像の色を、前記化粧品色選択機能によって選択された前記化粧品の色に変更することによって、第２の化粧顔画像を生成する化粧顔画像合成生成機能と、
前記第２の化粧顔画像を表示手段に表示させる表示機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【0068】
１ メイクアップシミュレーション装置
２０ 表示部
３０ 撮影部
５１ 制御部
５２ 記憶部
５１１ 撮影制御部
５１２ 画像処理部
５１３ 顔モデル生成部
５１４ 顔パーツ検出部
５１５ メイク情報検出部
５１６ 表示制御部
５２１ プログラム記憶領域
５２２ データ保存領域
２０ 表示部
３０ 撮影部
５１ 制御部
５２ 記憶部
５１１ 撮影制御部
５１２ 画像処理部
５１３ 顔モデル生成部
５１４ 顔パーツ検出部
５１５ メイク情報検出部
５１６ 表示制御部
５２１ プログラム記憶領域
５２２ データ保存領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】