特許 6448869 画像処理装置、画像処理システム、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6448869

(24)【登録日】2018年12月14日

(45)【発行日】2019年1月9日

(54)【発明の名称】画像処理装置、画像処理システム、及びプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20181220BHJP

   G06T 11/80 20060101ALI20181220BHJP

   A45D 44/00 20060101ALI20181220BHJP

【ＦＩ】

   G06T1/00 340A

   G06T11/80 F

   A45D44/00 A

【請求項の数】10

【全頁数】17

(21)【出願番号】特願2018-531712(P2018-531712)

(86)(22)【出願日】2016年8月5日

(86)【国際出願番号】JP2016073115

(87)【国際公開番号】WO2018025402

(87)【国際公開日】20180208

【審査請求日】2018年9月3日

【早期審査対象出願】

(73)【特許権者】

【識別番号】500521522

【氏名又は名称】株式会社オプティム

(74)【代理人】

【識別番号】110000752

【氏名又は名称】特許業務法人朝日特許事務所

(72)【発明者】

【氏名】菅谷 俊二

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２００８−００３７２４（ＪＰ，Ａ）

【文献】 特表２０１０−５１５４８９（ＪＰ，Ａ）

【文献】 国際公開第２００８／１０２４４０（ＷＯ，Ａ１）

【文献】 特開２０００−０６９４０４（ＪＰ，Ａ）

【文献】 特開２００４−０９４９１７（ＪＰ，Ａ）

【文献】 特開２０１４−１１５９８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １１／８０

Ａ４５Ｄ ４４／００

(57)【特許請求の範囲】

【請求項1】

ユーザの顔画像を取得する取得部と、
前記ユーザの操作に応じて、前記取得された顔画像を用いて複数の工程を含む化粧のシミュレーションを行い、前記複数の工程に含まれる互いに異なる工程までの化粧のシミュレーションに応じた複数の顔画像を生成する生成部と、
前記取得された顔画像と、前記生成された複数の顔画像のうち前記複数の工程の化粧のシミュレーションに応じた顔画像との２つの顔画像の一部を合成して合成画像を生成する合成部と、
前記生成された合成画像と、前記複数の工程の一覧とを出力する出力部と、
前記出力された一覧から前記複数の工程に含まれる工程を選択する操作に応じて、前記合成画像に含まれる前記２つの顔画像の少なくとも一方の一部を、前記生成された複数の顔画像のうち前記選択された工程までの化粧のシミュレーションに応じた顔画像の一部に変更する変更部と
を備える画像処理装置。

【請求項2】

前記変更部は、前記出力された一覧から前記複数の工程に含まれる第１の工程と第２の工程とを選択する操作に応じて、前記２つの顔画像の一方の一部を、前記生成された複数の顔画像のうち前記第１の工程までの化粧のシミュレーションに応じた顔画像の一部に変更し、前記２つの顔画像の他方の一部を、前記生成された複数の顔画像のうち前記第２の工程までの化粧のシミュレーションに応じた顔画像の一部に変更する
請求項１に記載の画像処理装置。

【請求項3】

前記生成部は、前記複数の工程のうち対象の工程で施された化粧の色が変更されると、前記複数の顔画像に前記化粧の色の変更を反映する
請求項１又は２に記載の画像処理装置。

【請求項4】

前記生成部は、前記複数の工程から対象の工程が削除されると、前記対象の工程で施された化粧の色部分を前記複数の顔画像から削除する
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記複数の工程は、前記化粧が前記顔画像に含まれる複数の領域に対して施される場合において、前記化粧が施される領域に基づいて区切られ、又は前記化粧の色が複数回重ねて塗られる場合において、前記化粧の色が塗られた回に基づいて区切られる
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記生成部は、前記ユーザにより選択された化粧道具によって、前記化粧の色の濃度、前記濃度の均一度、前記化粧が施される範囲、又は前記色の境界部分をぼかす範囲を変更する
請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記合成部は、前記ユーザにより選択されたシーンに応じた背景又は光のエフェクトを前記合成画像に追加する
請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記合成部は、前記合成画像を構成する前記２つの顔画像の比率が変更されると、前記変更された比率に従って、前記２つの顔画像の一部を合成する
請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

ユーザの顔画像を取得する取得部と、
前記ユーザの操作に応じて、前記取得された顔画像を用いて複数の工程を含む化粧のシミュレーションを行い、前記複数の工程に含まれる互いに異なる工程までの化粧のシミュレーションに応じた複数の顔画像を生成する生成部と、
前記取得された顔画像と、前記生成された複数の顔画像のうち前記複数の工程の化粧のシミュレーションに応じた顔画像との２つの顔画像の一部を合成して合成画像を生成する合成部と、
前記生成された合成画像と、前記複数の工程の一覧とを出力する出力部と、
前記出力された一覧から前記複数の工程に含まれる工程を選択する操作に応じて、前記合成画像に含まれる前記２つの顔画像の少なくとも一方の一部を、前記生成された複数の顔画像のうち前記選択された工程までの化粧のシミュレーションに応じた顔画像の一部に変更する変更部と
を備える画像処理システム。

【請求項10】

コンピュータに、
ユーザの顔画像を取得するステップと、
前記ユーザの操作に応じて、前記取得された顔画像を用いて複数の工程を含む化粧のシミュレーションを行い、前記複数の工程に含まれる互いに異なる工程までの化粧のシミュレーションに応じた複数の顔画像を生成するステップと、
前記取得された顔画像と、前記生成された複数の顔画像のうち前記複数の工程の化粧のシミュレーションに応じた顔画像との２つの顔画像の一部を合成して合成画像を生成するステップと、
前記生成された合成画像と、前記複数の工程の一覧とを出力するステップと、
前記出力された一覧から前記複数の工程に含まれる工程を選択する操作に応じて、前記合成画像に含まれる前記２つの顔画像の少なくとも一方の一部を、前記生成された複数の顔画像のうち前記選択された工程までの化粧のシミュレーションに応じた顔画像の一部に変更するステップと
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、及びプログラムに関する。

【背景技術】

【0002】

化粧のシミュレーションを行う技術が知られている。例えば特許文献１には、ユーザの顔を撮影した動画像にメイクアップ処理を施すメイクアップシミュレーションシステムが記載されている。特許文献２には、ユーザの顔画像を用いて化粧のシミュレーションを行うゲーム装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１１３７４７号公報

【特許文献2】特開２０１０−１７３６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１及び２に記載の技術ではいずれも、化粧前の顔画像と化粧後の顔画像とが単に表示されるだけであり、化粧の効果を認識し易くする工夫はない。
本発明は、化粧のシミュレーションにおいて、化粧の効果を認識し易くすることを目的とする。

【課題を解決する手段】

【0005】

本発明は、ユーザの顔画像を取得する取得部と、前記取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成する生成部と、前記取得された顔画像又は前記生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像を生成する合成部と、前記生成された合成画像を出力する出力部とを備える画像処理装置を提供する。

【発明の効果】

【0006】

本発明によれば、化粧のシミュレーションにおいて、化粧の効果を認識し易くすることができる。

【図面の簡単な説明】

【0007】

【図1】購入支援システム１の構成の一例を示す図。

【図2】ユーザ端末２０のハードウェア構成の一例を示す図。

【図3】ユーザ端末２０の機能構成の一例を示す図。

【図4】ユーザ端末２０の動作の一例を示すフローチャート。

【図5】画面２５１の一例を示す図。

【図6】画面２５２の一例を示す図。

【図7】レイヤ６１の一例を示す図。

【図8】画面２５３の一例を示す図。

【図9】レイヤ６２‐１の一例を示す図。

【図10】レイヤ６２‐２の一例を示す図。

【図11】化粧を施す複数の工程の一例を示す図。

【図12】化粧を施す工程の一覧２５４の一例を示す図。

【図13】画面２５５の一例を示す図。

【図14】購入画面２５６の一例を示す図。

【図15】変形例に係る購入支援システム３の一例を示す図。

【符号の説明】

【0008】

１、３…購入支援システム、１０…サーバ、２０…ユーザ端末、２０１…取得部、２０２…生成部、２０３…合成部、２０４…出力部

【発明を実施するための形態】

【0009】

構成
図１は、本実施形態に係る購入支援システム１の構成の一例を示す図である。購入支援システム１では、化粧品の購入を支援するために、ユーザの顔画像を用いた化粧のシミュレーションが行われる。購入支援システム１は、サーバ１０とユーザ端末２０（画像処理装置の一例）とを備える。サーバ１０とユーザ端末２０とは、ネットワーク２を介して接続される。ネットワーク２は、例えばインターネットである。ただし、ネットワーク２は、インターネットに限定されず、他の通信回線であってもよい。

【0010】

サーバ１０は、予め登録された化粧品の商品情報を格納する。この化粧品の商品情報には、例えば化粧品の名称、ブランド名、価格、化粧品を表す画像データが含まれる。サーバ１０は、シミュレーションが行われた化粧に対応する化粧品の商品情報をユーザ端末２０に提供する。

【0011】

ユーザ端末２０は、ユーザにより使用される。ユーザは、ユーザ端末２０を使用して化粧のシミュレーションを行う。また、ユーザは、ユーザ端末２０を使用してサーバ１０から提供された化粧品の商品情報を閲覧する。

【0012】

図２は、ユーザ端末２０のハードウェア構成の一例を示す図である。ユーザ端末２０は、タブレット端末、携帯端末、パーソナルコンピュータ等のコンピュータである。ユーザ端末２０は、プロセッサ２１と、メモリ２２と、通信インタフェース２３と、入力部２４と、表示部２５と、撮像部２６と、記憶部２７とを備える。

【0013】

プロセッサ２１は、メモリ２２に記憶されたプログラムに従って各種の処理を実行する。プロセッサ２１としては、例えばＣＰＵ（Central Processing Unit）が用いられる。メモリ２２は、プロセッサ２１により実行されるプログラムを記憶する。メモリ２２としては、例えばＲＡＭ（Random Access Memory）が用いられる。通信インタフェース２３は、ネットワーク２に接続され、ネットワーク２を介して通信を行う。

【0014】

入力部２４は、ユーザ端末２０の操作に用いられ、操作に応じた情報をユーザ端末２０に入力する。入力部２４としては、例えばタッチパネル又はボタンが用いられる。表示部２５は、各種の情報を表示する。表示部２５としては、例えば液晶ディスプレイが用いられる。撮像部２６は、画像を撮影する。撮像部２６としては、例えばカメラが用いられる。記憶部２７は、各種のプログラム及びデータを記憶する。記憶部２７としては、例えばフラッシュメモリ又はハードディスクドライブが用いられる。

【0015】

図３は、ユーザ端末２０の機能構成の一例を示す図である。ユーザ端末２０は、取得部２０１、生成部２０２、合成部２０３、及び出力部２０４として機能する。これらの機能は、１以上のプロセッサ２１がメモリ２２に記憶されたプログラムを実行することにより実現される。

【0016】

取得部２０１は、ユーザの顔画像を取得する。例えば取得部２０１は、撮像部２６により撮影されたユーザの顔画像を取得する。他の例として、ユーザの顔画像が予め記憶部２７に記憶されている場合には、取得部２０１は、記憶部２７からユーザの顔画像を取得してもよい。

【0017】

生成部２０２は、取得部２０１により取得された顔画像を用いて、化粧が施された少なくとも１の顔画像を生成する。化粧を施す工程が複数の工程を含む場合、生成部２０２は、各工程までの化粧が施された複数の顔画像を生成してもよい。なお、この「工程までの化粧」という用語には、対象の工程で施された化粧と、対象の工程より前の工程で施された化粧とが両方とも含まれる。

【0018】

合成部２０３は、取得部２０１により取得された顔画像又は生成部２０２により生成された少なくとも１の顔画像を含む複数の顔画像の一部を合成して合成画像を生成する。この複数の顔画像は、例えば第１の顔画像と第２の顔画像の２個の顔画像である。第１の顔画像は、取得部２０１により取得された顔画像、すなわち化粧を施す前の顔画像であってもよいし、複数の工程のうち第１の工程までの化粧が施された顔画像であってもよい。第２の顔画像は、複数の全ての工程の化粧が施された顔画像であってもよいし、複数の工程のうち第２の工程までの化粧が施された顔画像であってもよい。なお、第１の工程と第２の工程とは、異なる工程である。

【0019】

出力部２０４は、合成部２０３により生成された合成画像を含む各種の画像を出力する。例えば出力部２０４は、合成画像を表示部２５に表示する。他の例として、出力部２０４は、通信インタフェース２３を介して合成画像を外部装置に送信してもよい。他の例として、ユーザ端末２０がプリンタを備える場合には、合成画像をプリントしてもよい。

【0020】

動作
図４は、本実施形態に係るユーザ端末２０の動作の一例を示すフローチャートである。この動作では、ユーザの顔画像を用いて化粧のシミュレーションが行われる。そして、シミュレーションが行われた化粧に対応する化粧品がユーザにレコメンドされる。

【0021】

ステップＳ１１において、化粧のシミュレーション処理が行われる。具体的には、まずユーザは、撮像部２６を用いて自分の顔画像２６１を撮影する。取得部２０１は、撮像部２６により撮影された顔画像２６１を取得する。顔画像２６１が撮影されると、出力部２０４は、化粧を施す部位（以下、「対象部位」という。）の選択を受け付ける画面２５１を表示部２５に表示する。

【0022】

図５は、画面２５１の一例を示す図である。画面２５１には、化粧が施される前の顔画像２６１が含まれる。また、画面２５１には、対象部位の選択に用いられるボタン５１１〜５１４が含まれる。この対象部位には、顔全体、目、頬、口等の顔の部位が含まれる。なお、ここでいう「目」とは、瞼の間の眼球部分ではなく、アイホールのことをいう。ここでは、ユーザが最初に顔画像２６１の顔全体の領域にファンデーションの色を塗る場合を想定する。この場合、ユーザは、入力部２４を用いてボタン５１１を押す。これにより、対象部位として顔全体が選択される。

【0023】

他の例として、画面２５１に表示されたカーソルを用いて対象部位が選択されてもよい。この場合、ユーザは、入力部２４を用いて、カーソルを所望の対象部位の位置に移動させ、この対象部位を選択する操作を行う。このような操作により、対象部位が選択されてもよい。

【0024】

対象部位として顔全体が選択されると、出力部２０４は、ファンデーションの色の選択を受け付ける画面２５２を表示部２５に表示する。
図６は、画面２５２の一例を示す図である。画面２５２には、ファンデーションの色の選択に用いられる複数の色見本５２１が含まれる。これらの色見本５２１には、色の種類が異なる色見本５２１だけでなく、色の濃度や質感が異なる色見本５２１が含まれていてもよい。この質感は、例えばパールの量、ラメの量、又は透明度によって変化する。なお、色見本５２１の色は、実際に販売されている商品の色であってもよいし、実際に販売されている商品の色とは無関係の色であってもよい。ユーザは、入力部２４を用いて、色見本５２１の中から所望のファンデーションの色を表す色見本５２１を選択する操作を行う。これにより、ファンデーションの色が選択される。

【0025】

ファンデーションの色が選択されると、生成部２０２は、顔画像２６１に含まれる顔全体の領域に、選択されたファンデーションの色を塗る。具体的には、生成部２０２は、画像認識により顔画像２６１から顔全体の領域を抽出する。この抽出には、例えば目、鼻、口等の特徴点の位置関係を用いた周知の顔認識技術が用いられてもよい。続いて生成部２０２は、新たなレイヤ６１を生成し、このレイヤ６１において、抽出された領域に対応する範囲に、選択されたファンデーションの色を塗る。

【0026】

図７は、レイヤ６１の一例を示す図である。レイヤ６１には、顔全体の領域に塗られたファンデーションの色部分を表すレイヤ画像６１１が含まれる。レイヤ６１が生成されると、図６に示す顔画像２６１の上にレイヤ６１が重ねられる。これにより、ファンデーションの色が塗られた顔画像２６２が表示される。

【0027】

また、画面２５２は、ファンデーションを塗るときに使用される化粧道具の選択を受け付ける。画面２５２には、スポンジやブラシ等の化粧道具の選択に用いられる複数のアイコン５２２が含まれる。各アイコン５２２には、化粧道具を表す画像が含まれる。なお、この画像は、実際に販売されている商品を表す画像であってもよいし、化粧道具を表すイラストであってもよい。ユーザは、入力部２４を用いて、複数のアイコン５２２の中から、所望の化粧道具を表すアイコン５２２を選択する操作を行う。これにより、化粧道具が選択される。なお、化粧道具は、必ずしも選択されなくてもよい。

【0028】

化粧道具が選択された場合、生成部２０２は、選択された化粧道具に応じた濃度又は濃度の均一度で、ファンデーションの色を塗る。例えば、ブラシが選択された場合、ファンデーションの色は、基準の濃度よりも低い濃度であるとともに、基準の濃度の均一度より高い均一度で塗られてもよい。一方、スポンジが選択された場合、ファンデーションの色は、基準の濃度よりも高い濃度であるとともに、基準の濃度の均一度より低い均一度で塗られてもよい。このように、ユーザによって選択された化粧道具によって、化粧の色の濃度又は濃度の均一度が変更される。

【0029】

続いて、ユーザが目の領域にアイシャドウの色を塗る場合を想定する。この場合、ユーザは、入力部２４を用いて図６に示すボタン５１２を押す。これにより、対象部位として目が選択される。対象部位として目が選択されると、出力部２０４は、アイシャドウの色の選択を受け付ける画面２５３を表示部２５に表示する。

【0030】

図８は、画面２５３の一例を示す図である。画面２５３には、アイシャドウの色の選択に用いられる複数の色見本５３１が含まれる。なお、色見本５３１の色は、実際に販売されている商品の色であってもよいし、実際に販売されている商品の色とは無関係の色であってもよい。ユーザは、入力部２４を用いて、複数の色見本５３１の中から所望のアイシャドウの色を表す色見本５３１を選択する操作を行う。これにより、アイシャドウの色が選択される。

【0031】

アイシャドウの色が選択されると、生成部２０２は、顔画像２６２に含まれる目の領域に、選択されたアイシャドウの色を塗る。具体的には、生成部２０２は、画像認識により顔画像２６１から目の領域を抽出する。続いて生成部２０２は、新たなレイヤ６２‐１を生成し、このレイヤ６２‐１において、抽出した領域に対応する範囲に、選択されたアイシャドウの色を塗る。

【0032】

図９は、レイヤ６２‐１の一例を示す図である。レイヤ６２‐１には、目の領域に塗られたアイシャドウの色部分を表すレイヤ画像６２１が含まれる。レイヤ６２‐１が生成されると、図８に示す顔画像２６２にレイヤ６２‐１が重ねられる。これにより、ファンデーションの色が塗られた上に、アイシャドウの色が塗られた顔画像２６３が表示される。

【0033】

また、画面２５３は、アイシャドウを塗るときに使用される化粧道具の選択を受け付ける。画面２５３には、チップやブラシ等の化粧道具の選択に用いられる複数のアイコン５３２が含まれる。各アイコン５３２には、化粧道具を表す画像が含まれる。なお、この画像は、実際に販売されている商品を表す画像であってもよいし、化粧道具のイラストであってもよい。ユーザは、入力部２４を用いて、複数のアイコン５３２の中から、所望の化粧道具を表すアイコン５３２を選択する操作を行う。これにより、化粧道具が選択される。なお、化粧道具は、必ずしも選択されなくてもよい。

【0034】

化粧道具が選択された場合、生成部２０２は、選択された化粧道具に応じた濃度で、又はこの化粧道具に応じた範囲にアイシャドウの色を塗ってもよい。また、生成部２０２は、選択された化粧道具に応じた範囲だけ、アイシャドウの色の境界部分をぼかしてもよい。例えば、チップが選択された場合、アイシャドウの色は、基準の濃度よりも高い濃度で、基準の範囲よりも小さい範囲に塗られてもよい。一方、ブラシが選択された場合、アイシャドウの色は、基準の濃度よりも低い濃度で、基準の範囲よりも大きい範囲に塗られるとともに、その境界部分が基準の範囲よりも大きい範囲でぼかされてもよい。このように、ユーザにより選択された化粧道具によって、化粧の色の濃度、化粧が施される範囲、又は化粧の色の境界部分をぼかす範囲が変更される。

【0035】

また、ユーザは、アイシャドウの色を複数回重ねて塗ってもよい。この場合、ユーザは、アイシャドウの色が１回目に塗られた後、入力部２４を用いて、再び図８に示す複数の色見本５３１の中から所望のアイシャドウの色を表す色見本５３１を選択する操作を行う。これにより、２回目に塗るアイシャドウの色が選択される。

【0036】

１回目に塗られたアイシャドウの色と同一の色が選択された場合には、アイシャドウの色を重ねて塗ることにより、アイシャドウの色が濃くなる。このように、同一の化粧の色が重ねて塗られる場合には、重ねて塗る回数が増えるほど、化粧の色の濃度は高くなる。一方、１回目に塗られたアイシャドウの色と異なる色が選択された場合には、アイシャドウの色を重ねて塗ることにより、アイシャドウの色が変更される。具体的には、アイシャドウの色は、１回目に塗られたアイシャドウの色と２回目に塗られたアイシャドウの色とを合わせた色に変更される。このように、異なる化粧の色が重ねて塗られる場合には、化粧の色は、重ねられた全ての化粧の色を合わせた色に変更される。

【0037】

また、アイシャドウの色が複数回重ねて塗られる場合、アイシャドウの色が１回塗られる度に、異なるレイヤが生成されてもよい。例えば、１回目にアイシャドウの色が塗られた場合には、図９に示すレイヤ６２‐１が生成される。２回目にアイシャドウの色が塗られた場合には、新たなレイヤ６２−２が生成される。

【0038】

図１０は、レイヤ６２‐２の一例を示す図である。レイヤ６２‐２には、レイヤ画像６２１と同様に、目の領域に塗られたアイシャドウの色部分を表すレイヤ画像６２２が含まれる。レイヤ６２−２が生成されると、図８に示す顔画像２６３の上にレイヤ６２−２が重ねられる。これにより、ファンデーションの色が塗られた上に、アイシャドウの色が２回重ねて塗られた顔画像２６４が表示される。

【0039】

このようにして、複数の工程によりユーザの顔画像２６１に化粧が施されていく。この複数の工程は、前後の順番が決められた一連の工程である。
図１１は、化粧を施す工程の一例を示す図である。この例では、化粧を施す工程には、工程１、２‐１、２‐２、３、及び４が含まれる。これらの工程は、工程１、２‐１、２‐２、３、及び４という順番で行われる。

【0040】

工程１においては、顔全体の領域にファンデーションの色が塗られる。工程１では、図７に示すレイヤ６１が生成される。続いて、工程２‐１においては、目の領域にアイシャドウの色が塗られる（１回目）。この工程２‐１では、図９に示すレイヤ６２‐１が生成される。続いて、工程２‐２においては、目の領域にアイシャドウの色が重ねて塗られる（２回目）。工程２‐２では、図１０に示すレイヤ６２‐２が生成される。続いて、工程３においては、頬の領域にチークの色が塗られる。工程３では、頬の領域に塗られたチークの色部分を表すレイヤ画像を含むレイヤが生成される。続いて、工程４においては、口の領域に口紅が塗られる。工程４では、口の領域に塗られた口紅の色部分を表すレイヤ画像を含むレイヤが生成される。

【0041】

これらの工程のうち、工程１、３、及び４は、化粧が施される領域に基づいて区切られた工程である。一方、工程２‐１及び２‐２は、化粧が塗られた回に基づいて区切られた工程である。なお、図１１に示す例では、アイシャドウの色を塗る工程が工程２‐１及び２‐１に分けられているが、これらの工程が１つの工程として扱われてもよい。

【0042】

生成部２０２は、図１１に示す工程毎に、その工程までの化粧が施された顔画像を生成する。例えば、工程１については、化粧が施される前の顔画像２６１の上に図７に示すレイヤ６１を重ねることにより、工程１で化粧が施された後の顔画像２６２が生成される。工程２‐１については、この顔画像２６２の上に、図９に示すレイヤ６２‐１を重ねることにより、工程１及び２‐１で化粧が施された後の顔画像２６３が生成される。工程２‐２については、この顔画像２６３の上に、図１０に示す６２‐２を重ねることにより、工程１、２‐１、及び２‐２で化粧が施された後の顔画像２６４が生成される。他の工程についても同様に、化粧が施される前の顔画像２６１の上に、その工程以前の工程で生成された全てのレイヤを順番に重ねることにより、顔画像が生成される。

【0043】

ここで、各工程で施された化粧の内容は、後から変更されてもよい。図５、６、及び８に示すように、このシミュレーション処理において表示される画面には、いずれも戻るボタン５１５が含まれる。化粧の内容を変更したい場合、ユーザは、入力部２４を用いて、戻るボタン５１５を押す。戻るボタン５１５が押されると、出力部２０４は、化粧を施す工程の一覧２５４を表示部２５に表示する。この工程の一覧２５４は、既に表示部２５に表示されている画面の一部に含まれてもよいし、この画面の上にポップアップ形式で表示されてもよい。

【0044】

図１２は、化粧を施す工程の一覧２５４の一例を示す図である。この工程の一覧２５４には、各工程の選択に用いられるアイコン５４１〜５４６が含まれる。アイコン５４１〜５４６にはそれぞれ、対応する工程までの化粧が施された顔画像のサムネイルが含まれる。例えば、アイコン５４１は、化粧前の状態の選択に用いられる。アイコン５４１には、化粧が施される前の顔画像２６１のサムネイルが含まれる。アイコン５４２は、工程１の選択に用いられる。アイコン５４２には、工程１で化粧が施された後の顔画像２６２のサムネイルが含まれる。アイコン５４３は、工程２‐１の選択に用いられる。アイコン５４３には、工程２‐１で化粧が施された後の顔画像２６３のサムネイルが含まれる。

【0045】

ここでは、工程４が終了した後、工程１（対象の工程の一例）で塗られたファンデーションの色を変更する場合を想定する。この場合、ユーザは、入力部２４を用いて、アイコン５４２を選択する操作を行う。アイコン５４２が選択されると、出力部２０４は、図６に示す画面２５２を再び表示部２５に表示する。ユーザは、入力部２４を用いて、複数の色見本５２１の中から別のファンデーションの色を表す色見本５２１を選択する操作を行う。これにより、別のファンデーションの色が選択される。

【0046】

別のファンデーションの色が選択されると、生成部２０２は、工程１で顔全体の領域に塗られたファンデーションの色を選択された別の色に変更する。このファンデーションの色の変更は、工程１の化粧が施された全ての顔画像に反映される。具体的には、生成部２０２は、図７に示すレイヤ６１に含まれるレイヤ画像６１１の色を選択された別の色に変更する。これにより、このレイヤ６１を含む全ての顔画像、すなわち工程１以降の工程について生成された全ての顔画像において、ファンデーションの色が別の色に変更される。

【0047】

他の例として、生成部２０２は、新たなレイヤを生成し、このレイヤにおいて、顔全体の領域に対応する範囲に、別のファンデーションの色を塗ってもよい。この場合、レイヤ６１に代えて、この新たなレイヤが用いられる。

【0048】

また、複数の工程に含まれる少なくとも１の工程が後から削除されてもよい。例えば、工程４が完了した後、１回目に塗られたアイシャドウの色が不要な場合には、工程２‐１（対象の工程の一例）が削除されてもよい。この場合、ユーザは、入力部２４を用いて、図１２に示すアイコン５４３を選択して削除する操作を行う。これにより、工程２‐１が削除される。

【0049】

工程２‐１が削除されると、生成部２０２は、工程２‐１において生成されたレイヤ６２‐１を削除する。これにより、レイヤ６２‐１を含む全ての顔画像、すなわち工程２‐１以降の工程について生成された全ての顔画像から、１回目に塗られたアイシャドウの色部分が削除される。

【0050】

図５、６、及び８に示すように、シミュレーション処理において表示される画面には、いずれも終了ボタン５１６が含まれる。化粧のシミュレーションを終了する場合、ユーザは、入力部２４を用いて終了ボタン５１６を押す。終了ボタン５１６が押されると、処理は図４に示すステップＳ１２に進む。

【0051】

ステップＳ１２において、合成部２０３は、化粧を施す前の顔画像２６１（第１の顔画像の一例）の左半分と全ての工程の化粧が施された顔画像（第２の顔画像の一例）の右半分とを合成して、合成画像５５１を生成する。この全ての工程の化粧が施された顔画像とは、例えば図１１に示すように工程１、２‐１、２‐２、３、及び４により化粧が施された場合には、これらの工程で化粧が施された後の顔画像である。具体的には、合成部２０３は、まず顔画像２６１から左半分を切り出す。続いて、合成部２０３は、全ての工程の化粧が施されたユーザの顔画像から右半分を切り出す。そして、合成部２０３は、これらの部分を合成して合成画像５５１を生成する。出力部２０４は、この合成画像５５１を含む画面２５５を表示部２５に表示する。

【0052】

図１３は、画面２５５の一例を示す図である。この画面２５５には、合成画像５５１が含まれる。合成画像５５１の左半分は、化粧を施す前のユーザの顔画像であり、右半分は、全ての工程の化粧が施された後のユーザの顔画像である。また、画面２５５には、図１２に示す工程の一覧２５４が含まれる。ユーザは、所望の工程を選択することにより、合成画像５５１の左半分又は右半分を自由に変更することができる。

【0053】

ここでは、合成画像５５１の左半分を工程２‐１（第１の工程の一例）までの化粧が施された顔画像２６３（第１の顔画像の一例）に変更し、合成画像５５１の右半分を工程２‐２（第２の工程の一例）までの化粧が施された顔画像２６４（第２の顔画像の一例）に変更する場合を想定する。この場合、ユーザは、入力部２４を用いて、アイコン５４３及び５４４を選択する操作を行う。この場合、合成部２０３は、顔画像２６３から左半分を切り出す。また、合成部２０３は、顔画像２６４から右半分を切り出す。そして、合成部２０３は、これらの部分を合成して合成画像５５２を生成する。合成画像５５２が生成されると、合成画像５５１に代えて合成画像５５２が表示される。

【0054】

画面２５５には、決定ボタン５５３が含まれる。シミュレーションが行われた化粧を気に入った場合、ユーザは、入力部２４を用いて決定ボタン５５３を押す。決定ボタン５５３が押されると、処理は図４に示すステップＳ１３に進む。

【0055】

ステップＳ１３において、出力部２０４は、購入画面２５６を表示部２５に表示する。この購入画面２５６には、シミュレーションが行われた化粧に用いられる化粧品の商品情報が含まれる。この化粧品の商品情報は、サーバ１０から提供される。具体的には、出力部２０４は、シミュレーションが行われた化粧を示す情報をサーバ１０に送信する。この情報には、化粧の色を示す情報が含まれる。サーバ１０は、ユーザ端末２０から受信した情報に基づいて、シミュレーションが行われた化粧に対応する化粧品を決定する。例えば、シミュレーションが行われた化粧の色が、実際に販売されている化粧品を用いた化粧の色である場合には、この化粧品が決定されてもよい。一方、シミュレーションが行われた化粧が、実際に販売されている化粧品を用いた化粧の色ではない場合には、シミュレーションが行われた化粧の色と類似する色の化粧に用いられる化粧品が決定されてもよい。ここでは、ファンデーションＡ、アイシャドウＢ、チークＣ、及び口紅Ｄが決定された場合を想定する。サーバ１０は、決定した化粧品の商品情報をユーザ端末２０に送信する。

【0056】

図１４は、購入画面２５６の一例を示す図である。この購入画面２５６には、ファンデーションＡの商品情報、アイシャドウＢの商品情報、チークＣの商品情報、及び口紅Ｄの商品情報が含まれる。また、購入画面２５６には、購入ボタン５６１〜５６４が含まれる。購入ボタン５６１〜５６４はそれぞれ、ファンデーションＡ、アイシャドウＢ、チークＣ、口紅Ｄの購入を実行する操作に用いられる。例えば、ユーザは、アイシャドウＢを購入する場合には、入力部２４を用いて購入ボタン５６２を押す。購入ボタン５６２が押されると、電子商取引によりアイシャドウＢを購入する手続きが行われる。これにより、アイシャドウＢの購入が完了する。

【0057】

本実施形態によれば、化粧が施される前後の顔画像又はある工程の化粧が施される前後の顔画像を、１つの顔画像の中で見比べることができる。これにより、化粧のシミュレーションにおいて、化粧の効果が認識し易くなる。

【0058】

変形例
本発明は上述した実施形態に限定されない。実施形態は、以下のように変形してもよい。また、以下の変形例を組み合わせて実施してもよい。

【0059】

変形例１
上述した実施形態において、ユーザが所有する化粧品又は化粧道具を用いて化粧のシミュレーションが行われてもよい。この場合、ユーザ端末２０の記憶部２７には、予めユーザが所有する化粧品又は化粧道具を示す情報が格納される。上述したシミュレーション処理で表示される各画面には、呼び出しボタンが含まれる。ユーザが入力部２４を用いてこの呼び出しボタンを押すと、記憶部２７に記憶された情報に基づいて、ユーザが所有する化粧品又は化粧道具の一覧が生成される。出力部２０４は、この化粧品又は化粧道具の一覧を表示部２５に表示する。この化粧品又は化粧道具の一覧は、既に表示部２５に表示されている画面の一部に含まれてもよいし、この画面の上にポップアップ形式で表示されてもよい。

【0060】

化粧品又は化粧道具の一覧が表示されると、ユーザは、入力部２４を用いて、化粧品又は化粧道具の一覧から所望の化粧品又は化粧道具を選択する。生成部２０２は、選択された化粧品又は化粧道具に応じた化粧が施された顔画像を生成する。例えば生成部２０２は、選択された化粧品に応じた化粧の色を顔画像の対象部位に塗る。

【0061】

この変形例によれば、ユーザは、自分が所有する化粧品又は化粧道具を用いて、化粧のシミュレーションを行うことができる。そのため、例えば自分が所有する化粧品の色に合う化粧に用いられる化粧品を購入することができる。

【0062】

また、表示部２５の特性により、表示部２５に表示された化粧の色が実際の化粧の色と異なる場合がある。しかし、自分が所有する化粧品を用いて化粧のシミュレーションを行うことにより、実際の化粧の色と表示部２５に表示された化粧の色との違いを認識することができる。さらに、この違いを考慮することにより、表示部２５に表示された化粧の色から実際の化粧の色を推測することができる。これにより、化粧のシミュレーションを行ったときに表示部２５に表示された化粧の色と実際に購入した化粧の色とが異なる場合にも、これに起因するユーザの不満を減らすことができる。

【0063】

変形例２
上述した実施形態において、シーンに応じた背景又は光のエフェクトが合成画像に追加されてもよい。このシーンとは、昼の屋外、昼のオフィス、夜のレストラン等、時間又は場所に応じた場面をいう。これらのシーンでは、光の強度、色、方向、光源の位置等、ユーザを照らす光の具合が異なる。光のエフェクトは、各シーンでユーザに照らされる光を模した画像である。

【0064】

ここでは、ユーザが入力部２４を用いて、夜のレストランのシーンを選択した場合を想定する。この場合、合成部２０３は、例えば図１３に示す合成画像５５１の背景に夜のレストランの店内を表す典型的な画像を追加してもよい。また、合成部２０３は、合成画像５５１に夜のレストランで典型的に使用される照明を模した光のエフェクトを追加してもよい。この場合、ユーザの顔の凹凸に応じて、合成画像５５１に影が付加されてもよい。このユーザの顔の凹凸は、予め設定されてもよい。他の例として、３次元の合成画像が生成され、この合成画像に影が付加されてもよい。この３次元の合成画像は、例えばユーザが撮像部２６で３６０度の全方向から自分の頭部を撮影することにより生成されてもよい。

【0065】

また、ユーザにより選択されたシーンに合わせた音が出力されてもよい。この場合、ユーザ端末２０は、音を出力するスピーカを備える。例えば、上述したように夜のレストランのシーンが選択された場合には、夜のレストランで流されるような落ち着いた雰囲気の音楽が出力されてもよい。

【0066】

変形例３
上述したシミュレーション処理において、化粧が施されてから時間が経過した後の顔画像が表示されてもよい。実際にユーザの顔に化粧を施した場合、時間が経過するにつれて化粧が崩れてくる。この化粧が崩れた状態には、例えば化粧の色が取れた状態、化粧の色がくすんだ状態、汗と皮脂により光沢が増した状態、又は化粧の色が他の領域に広がった状態が含まれる。生成部２０２は、この化粧が崩れた状態をシミュレーションするために、化粧を施してから所定の時間が経過した後の顔画像を生成する。具体的には、生成部２０２は、化粧直後の顔画像から、化粧の色、顔画像の色、又は化粧が施された領域を変化させることにより、所定の時間が経過した後の顔画像を生成する。

【0067】

例えば、所定の時間が経過した後の顔画像は、化粧直後の顔画像に比べて、化粧の色の濃度又は彩度が低くてもよい。また、所定の時間が経過した後の顔画像は、化粧直後の顔画像に比べて、光沢度が部分的に高くてもよい。さらに、所定の時間が経過した後の顔画像は、化粧直後の顔画像に比べて、化粧の色が塗られた領域が拡大されてもよい。この場合、合成部２０３は、化粧直後の顔画像の左半分と、所定の時間が経過した後の顔画像の右半分とを合成して合成画像を生成してもよい。

【0068】

他の例として、化粧品によって、化粧が崩れる度合いが異なる場合がある。この場合に、化粧に用いられる化粧品の選択を受け付け、選択された化粧品によって、上述した色の変化量又は領域の変化量を変更してもよい。この場合、合成部２０３は、或る化粧品を用いて化粧が施された後、所定の時間が経過した後の顔画像の左半分と、別の化粧品を用いて化粧が施された後、所定の時間が経過した後の顔画像の右半分とを合成して合成画像を生成してもよい。

【0069】

変形例４
合成画像の生成の仕方は、実施形態で説明した方法に限定されない。例えば、或る顔画像の上半分と他の顔画像の下半分とが合成されてもよい。他の例として、或る顔画像の特定の領域の半分と他の顔画像の特定の領域の半分以外の部分とが合成されてもよい。例えば、或る顔画像の口の領域の右半分と、他の顔画像のこれ以外の領域、すなわち口の領域の左半分と口以外の領域とが合成されてもよい。また、３個以上の顔画像の一部が合成されてもよい。

【0070】

変形例５
上述した実施形態において、合成画像が生成された後に、合成画像を構成する複数の顔画像の比率が変更されてもよい。図１３に示すように、画面２５５には、合成画像を構成する複数の顔画像の境界を示す分割線５５４が含まれる。ユーザは、入力部２４を用いて、分割線５５４を移動する操作を行う。ここでは、合成画像５５１上の分割線５５４が移動された場合を想定する。分割線５５４が移動されると、合成部２０３は、移動後の分割線５５４の位置に対応する比率に従って、合成画像５５１を構成する２個の顔画像を合成し直す。これにより、例えば合成画像５５１上の分割線５５４が画面２５５に向かって右方向に移動された場合には、合成画像５５１の右半分を構成する顔画像の部分が減り、左半分を構成する顔画像の部分が増える。反対に、この分割線５５４が画面２５５に向かって左方向に移動された場合、合成画像５５１の左半分を構成する顔画像の部分が減り、右半分を構成する顔画像の部分が増える。

【0071】

変形例６
上述した実施形態では、複数の顔画像の一部が合成されて表示されていた。しかし、これらの顔画像が合成されずに交互に表示されてもよい。他の例として、合成画像において、対象の工程以前に行われた複数の工程までの化粧が施された複数の顔画像の右半分又は左半分が順番に表示されてもよい。例えば、図１３に示す合成画像５５１の右半分を構成する顔画像は、工程１、２‐１、２‐２、３、及び４の化粧が施された後の顔画像である。この場合、合成画像５５１の右半分において、これらの各工程までの化粧が施された複数の顔画像の右半分が順番に表示されてもよい。各顔画像の表示時間を短くした場合には、ユーザの顔画像の右半分に順番に各工程の化粧が施されていく様子が動画のように表示される。

【0072】

変形例７
上述した実施形態において、購入画面２５６には、化粧のシミュレーションで用いられた化粧道具の商品情報が含まれていてもよい。この場合、サーバ１０には、予め登録された化粧道具の商品情報が格納される。ユーザ端末２０は、化粧のシミュレーションで用いられた化粧道具を示す情報をサーバ１０に送信する。サーバ１０は、ユーザ端末２０から受信した化粧道具を示す情報に基づいて、化粧のシミュレーションで用いられた化粧道具に対応する化粧道具を決定し、その化粧道具の商品情報をユーザ端末２０に送信する。このとき、サーバ１０で決定される化粧道具は、例えば化粧のシミュレーションで用いられた化粧道具と同一又は類似の化粧道具であってもよいし、同様の機能を有する化粧道具であってもよい。

【0073】

変形例８
上述した化粧のシミュレーション処理は、ユーザが使用するユーザ端末２０と、ユーザ端末２０とは異なる端末とにより行われてもよい。

【0074】

図１５は、変形例に係る購入支援システム３（画像処理システムの一例）の一例を示す図である。購入支援システム３は、図１に示すサーバ１０及びユーザ端末２０の他に、端末３０を備える。ユーザ端末２０及び端末３０は、ネットワーク２を介して接続される。端末３０は、ユーザ端末２０と同様に、タブレット端末、携帯端末、パーソナルコンピュータ等のコンピュータである。端末３０は、例えばプロフェッショナルのメイクアップアーティストにより使用される。

【0075】

この場合、ユーザ端末２０は、撮像部２６により撮影されたユーザの顔画像を端末３０に送信する。端末３０は、ユーザ端末２０から受信した顔画像に化粧を施して、化粧後の顔画像を生成する。この場合、端末３０が上述した生成部２０２の機能を有する。化粧が完了すると、端末３０は、化粧後の顔画像をユーザ端末２０に送信する。ユーザ端末２０は、化粧前の顔画像の一部と化粧後の顔画像の一部とを合成して合成画像を生成し、出力する。ユーザは、この合成画像を見ることにより、自分の顔に合った化粧を学ぶことができる。

【0076】

変形例９
購入支援システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、購入支援システム１又はユーザ端末２０において行われる処理のステップを備える方法として提供されてもよい。

【0077】

変形例１０
本発明は、ユーザ端末２０において実行されるプログラムとして提供されてもよい。このプログラムは、インターネット等のネットワーク２を介してダウンロードされてもよい。また、これらのプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】