特許 7413691 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   A45D 44/00 20060101AFI20240109BHJP

   G06T 11/80 20060101ALI20240109BHJP

【ＦＩ】

A45D44/00 A

G06T11/80 F

【請求項の数】 10

(21)【出願番号】P 2019173568

(22)【出願日】2019-09-24

(65)【公開番号】P2021049082

(43)【公開日】2021-04-01

【審査請求日】2022-09-06

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】林 加寿子

【審査官】粟倉 裕二

(56)【参考文献】

【文献】国際公開第２００８／１０２４４０（ＷＯ，Ａ１）

【文献】国際公開第２０１９／１３０９３３（ＷＯ，Ａ１）

【文献】国際公開第２０１８／０８８２４３（ＷＯ，Ａ１）

【文献】再公表特許第２０１８／０１２１３６（ＪＰ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ４５Ｄ ４４／００

Ｇ０６Ｔ １１／８０

(57)【特許請求の範囲】

【請求項1】

ユーザの顔が撮像された撮像画像を表示する表示手段と、
前記撮像画像に基づいて、複数の顔パラメータのそれぞれについて、前記ユーザの顔パラメータの値であるユーザ値を取得するユーザ値取得手段と、
前記複数の顔パラメータのそれぞれについて、予め定められたモデル顔の顔パラメータの値であるモデル値を示すモデル値情報を記憶するモデル値記憶手段と、
前記モデル顔に、顔のメイクで表現する目標の印象として設定された目標印象を持たせるための前記モデル値に対する操作量である基本操作量を示す基本操作量情報を取得する基本操作量取得手段と、
前記基本操作量情報と前記目標印象とに基づいて、前記複数の顔パラメータのそれぞれについて、前記基本操作量を決定する基本操作量決定手段と、
前記ユーザ値と前記モデル値情報とに基づいて、前記複数の顔パラメータのそれぞれについて、前記ユーザの顔を前記モデル顔に近づけるための前記ユーザ値に対する操作量である追加操作量を決定する追加操作量決定手段と、
前記ユーザ値又は前記モデル値に対する操作量に対応するメイク内容を示すメイク内容情報を記憶するメイク内容記憶手段と、
前記基本操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記基本操作量のうち、前記基本操作量として予め定められた閾値以上の操作量が決定された顔パラメータである特定顔パラメータについて決定された基本操作量と、前記追加操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記追加操作量のうち、前記特定顔パラメータについて決定された追加操作量と、前記メイク内容情報とに基づいて、前記メイク内容を決定するメイク内容決定手段と、
前記表示手段に、前記撮像画像が前記メイク内容決定手段により決定された前記メイク内容に応じて加工されたメイク画像を表示させる表示制御手段と、を備える、
画像処理装置。

【請求項2】

前記基本操作量情報は、複数の印象のそれぞれについて、前記モデル顔に各印象を持たせるための各モデル値に対する操作量を示す情報である、
請求項１に記載の画像処理装置。

【請求項3】

前記メイク内容情報は、前記複数の顔パラメータのそれぞれについて、前記ユーザ値又は前記モデル値に対する前記操作量に対応する前記メイク内容を示す情報である、
請求項１または２に記載の画像処理装置。

【請求項4】

前記メイク内容決定手段により決定された前記メイク内容の調整を指示する操作である調整指示操作を受け付ける調整指示操作受付手段を更に備え、
前記メイク内容決定手段は、前記調整指示操作受付手段により前記調整指示操作が受け付けられた場合、前記メイク内容に含まれる、前記メイク画像の色であるメイク色と前記メイク画像が重ねられる領域であるメイク領域とのうちの少なくとも一方を調整する、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記目標印象を設定する印象設定手段を更に備える、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

複数のシーンのそれぞれに適合する印象を示す適合印象情報を記憶する適合印象記憶手段と、
前記ユーザから前記複数のシーンのうちいずれかのシーンを指定する操作であるシーン指定操作を受け付けるシーン指定操作受付手段と、を更に備え、
前記印象設定手段は、前記シーン指定操作受付手段により前記シーン指定操作が受け付けられた場合、前記適合印象記憶手段に記憶された前記適合印象情報に基づいて、前記複数のシーンのうち前記シーン指定操作により指定されたシーンに適合する印象を前記目標印象として設定する、
請求項５に記載の画像処理装置。

【請求項7】

前記メイク画像は、前記撮像画像における、前記メイク内容に応じたメイク領域に、前記メイク内容に応じた化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記撮像画像を取得する画像取得手段を更に備え、
前記表示手段は、前記画像取得手段により取得された前記撮像画像を表示する、
請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

ユーザの顔が撮像された撮像画像を表示し、
前記撮像画像に基づいて、複数の顔パラメータのそれぞれについて、前記ユーザの顔パラメータの値であるユーザ値を取得し、
前記複数の顔パラメータのそれぞれについて、予め定められたモデル顔の顔パラメータの値であるモデル値を示すモデル値情報を記憶し、
前記モデル顔に、顔のメイクで表現する目標の印象として設定された目標印象を持たせるための前記モデル値に対する操作量である基本操作量を示す基本操作量情報を取得し、
前記基本操作量情報と前記目標印象とに基づいて、前記複数の顔パラメータのそれぞれについて、前記基本操作量を決定し、
前記ユーザ値と前記モデル値情報とに基づいて、前記複数の顔パラメータのそれぞれについて、前記ユーザの顔を前記モデル顔に近づけるための前記ユーザ値に対する操作量である追加操作量を決定し、
前記ユーザ値又は前記モデル値に対する操作量に対応するメイク内容を示すメイク内容情報を記憶し、
前記基本操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記基本操作量のうち、前記基本操作量として予め定められた閾値以上の操作量が決定された顔パラメータである特定顔パラメータについて決定された基本操作量と、前記追加操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記追加操作量のうち、前記特定顔パラメータについて決定された追加操作量と、前記メイク内容情報とに基づいて、前記メイク内容を決定し、
前記撮像画像が前記メイク内容に応じて加工されたメイク画像を表示する、
画像処理方法。

【請求項10】

コンピュータを、
ユーザの顔が撮像された撮像画像を表示装置に表示させる表示制御手段、
前記撮像画像に基づいて、複数の顔パラメータのそれぞれについて、前記ユーザの顔パラメータの値であるユーザ値を取得するユーザ値取得手段、
前記複数の顔パラメータのそれぞれについて、予め定められたモデル顔の顔パラメータの値であるモデル値を示すモデル値情報を記憶するモデル値記憶手段、
前記モデル顔に、顔のメイクで表現する目標の印象として設定された目標印象を持たせるための前記モデル値に対する操作量である基本操作量を示す基本操作量情報を取得する基本操作量取得手段、
前記基本操作量情報と前記目標印象とに基づいて、前記複数の顔パラメータのそれぞれについて、前記基本操作量を決定する基本操作量決定手段、
前記ユーザ値と前記モデル値情報とに基づいて、前記複数の顔パラメータのそれぞれについて、前記ユーザの顔を前記モデル顔に近づけるための前記ユーザ値に対する操作量である追加操作量を決定する追加操作量決定手段、
前記ユーザ値又は前記モデル値に対する操作量に対応するメイク内容を示すメイク内容情報を記憶するメイク内容記憶手段、
前記基本操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記基本操作量のうち、前記基本操作量として予め定められた閾値以上の操作量が決定された顔パラメータである特定顔パラメータについて決定された基本操作量と、前記追加操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記追加操作量のうち、前記特定顔パラメータについて決定された追加操作量と、前記メイク内容情報とに基づいて、前記メイク内容を決定するメイク内容決定手段、として機能させるプログラムであって、
前記表示制御手段は、前記表示装置に、前記撮像画像が前記メイク内容決定手段により決定された前記メイク内容に応じて加工されたメイク画像を表示させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

現在、ユーザの顔に化粧品を塗布したときの顔の状態をシミュレーションする技術が知られている。例えば、特許文献１には、ユーザの顔画像に、顔部品に対してメイクを施したときのメイクの状態を示すメイクパーツを重畳してシミュレーション画像を生成し、生成したシミュレーション画像を表示する技術が記載されている。

【0003】

ここで、ユーザは、顔のメイクで表現したい印象（例えば、クールな印象、明るい印象、落ち着いた印象など）を意識しながらメイクすることが一般的である。しかしながら、所望の印象をメイクで適切に表現するためには、ユーザの顔パーツの形状や配置を考慮する必要がある。従って、ユーザが、所望の印象をメイクで適切に表現することは容易ではない。このため、メイクのシミュレーションにおいて、ユーザが所望する印象を適切に表現するためのメイクの方法が提示されると便利である。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２０１７／１１５４５３号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１には、そもそもユーザが所望する印象を表現するためのメイクの方法を提示することについて記載も示唆もされていない。このため、ユーザが所望する印象を適切に表現するためのメイクの方法を提示する技術が望まれている。

【0006】

本発明は、上記問題に鑑みてなされたものであり、ユーザが所望する印象を適切に表現するためのメイクの方法を提示する画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明に係る画像処理装置は、
ユーザの顔が撮像された撮像画像を表示する表示手段と、
前記撮像画像に基づいて、複数の顔パラメータのそれぞれについて、前記ユーザの顔パラメータの値であるユーザ値を取得するユーザ値取得手段と、
前記複数の顔パラメータのそれぞれについて、予め定められたモデル顔の顔パラメータの値であるモデル値を示すモデル値情報を記憶するモデル値記憶手段と、
前記モデル顔に、顔のメイクで表現する目標の印象として設定された目標印象を持たせるための前記モデル値に対する操作量である基本操作量を示す基本操作量情報を取得する基本操作量取得手段と、
前記基本操作量情報と前記目標印象とに基づいて、前記複数の顔パラメータのそれぞれについて、前記基本操作量を決定する基本操作量決定手段と、
前記ユーザ値と前記モデル値情報とに基づいて、前記複数の顔パラメータのそれぞれについて、前記ユーザの顔を前記モデル顔に近づけるための前記ユーザ値に対する操作量である追加操作量を決定する追加操作量決定手段と、
前記ユーザ値又は前記モデル値に対する操作量に対応するメイク内容を示すメイク内容情報を記憶するメイク内容記憶手段と、
前記基本操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記基本操作量のうち、前記基本操作量として予め定められた閾値以上の操作量が決定された顔パラメータである特定顔パラメータについて決定された基本操作量と、前記追加操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記追加操作量のうち、前記特定顔パラメータについて決定された追加操作量と、前記メイク内容情報とに基づいて、前記メイク内容を決定するメイク内容決定手段と、
前記表示手段に、前記撮像画像が前記メイク内容決定手段により決定された前記メイク内容に応じて加工されたメイク画像を表示させる表示制御手段と、を備える。

【発明の効果】

【0008】

本発明によれば、ユーザが所望する印象を適切に表現するためのメイクの方法を提示することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１に係るメイクシミュレーション装置の外観図

【図2】本発明の実施形態１に係る画像処理装置のハードウェア構成を示すブロック図

【図3】本発明の実施形態１に係る指示装置のハードウェア構成を示すブロック図

【図4】本発明の実施形態１に係る画像処理装置の機能的な構成を示すブロック図

【図5】本発明の実施形態１に係る画像処理装置をユーザが使用している様子を示す図

【図6】本発明の実施形態１に係る画像処理装置がメイク画像を表示する様子を示す図

【図7】顔パラメータの第１の説明図

【図8】顔パラメータの第２の説明図

【図9】モデル値情報の説明図

【図10】基本操作量情報の説明図

【図11】メイク内容情報の説明図

【図12】ユーザの顔をモデル顔に近づけるためのメイク方法を示す図であり、（Ａ）は垂れ目を標準の目に見せるためのメイク方法を示す図であり、（Ｂ）はつり目を標準の目に見せるためのメイク方法を示す図

【図13】本発明の実施形態１に係る画像処理装置が実行する画像表示処理を示すフローチャート

【図14】本発明の実施形態２に係る画像処理装置の機能的な構成を示すブロック図

【図15】適合印象情報の説明図

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照して説明する。なお、図中において、同一又は対応する部分には、同一の符号を付す。

【0011】

（実施形態１）
まず、図１を参照して、本発明の実施形態１に係るメイクシミュレーション装置１００の構成について説明する。メイクシミュレーション装置１００は、ユーザが化粧品でメイクした後の状態をコンピュータ上でシミュレーションする装置である。ユーザは、メイクシミュレーション装置１００を用いることで、本物の化粧品を用いることなく、気軽にメイクを練習したり、メイク後の状態を事前に確認したりすることができる。

【0012】

図１に示すように、メイクシミュレーション装置１００は、画像処理装置１０と、指示装置３０とを備える。画像処理装置１０は、ユーザの顔が撮像された撮像画像を用いて、メイク後の状態を表す画像をシミュレーションにより生成して表示する装置である。画像処理装置１０は、例えば、メイク用のパレットを模した形状を有する。

【0013】

図２に、画像処理装置１０のハードウェア構成を示す。図２に示すように、画像処理装置１０は、プロセッサ１１と、フラッシュメモリ１２と、カメラ１３と、第１のタッチスクリーン１４と、第２のタッチスクリーン１５と、通信インターフェース１６とを備える。画像処理装置１０が備えるこれらの要素は、例えば、システムバスを介して相互に接続される。

【0014】

プロセッサ１１は、画像処理装置１０の全体の動作を制御する。プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＲＴＣ（Real Time Clock）を備える。フラッシュメモリ１２は、各種の情報を記憶する。

【0015】

カメラ１３は、被写体を撮像する。カメラ１３は、被写体から射出された光を集光するレンズと、集光した光を受けて被写体の画像を取得するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子から電気信号として送られた撮像データをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器とを備える。図１に示すように、カメラ１３は、第１のタッチスクリーン１４の近傍に配置され、第１のタッチスクリーン１４を見ながら画像処理装置１０を使用しているユーザの顔を撮像する。

【0016】

第１のタッチスクリーン１４と第２のタッチスクリーン１５とは、ユーザインターフェースであり、各種の情報をユーザから受け付け、また、各種の情報をユーザに提示する。図１に示すように、第１のタッチスクリーン１４は、画像処理装置１０の上側の面に配置され、カメラ１３の撮像により得られた撮像画像を表示する。第２のタッチスクリーン１５は、画像処理装置１０の下側の面に配置され、操作受付画像又は化粧品画像を表示する。

【0017】

操作受付画像は、ユーザから各種の操作を受け付けるための画面である。化粧品画像は、メイクシミュレーションにおいてユーザの顔に仮想的に塗布される化粧品を表現する画像である。化粧品画像は、複数の化粧品のそれぞれを異なる領域において表現する画像である。複数の化粧品のそれぞれは、色、光沢、質感等が少なくとも１つ相違する化粧品である。また、第２のタッチスクリーン１５は、第２のタッチスクリーン１５の表面に対する接触を伴うユーザ操作を受け付ける。

【0018】

通信インターフェース１６は、プロセッサ１１による制御のもと、指示装置３０を含む外部の装置と通信するモジュールである。通信インターフェース１６は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢ（Universal Serial Bus）ケーブル等の有線通信により外部の機器と通信する。

【0019】

指示装置３０は、メイクシミュレーションにおいて、化粧品を選択し、選択した化粧品を仮想的に塗布する顔の位置を指示するための装置である。指示装置３０は、スティック状の形状を有し、いわゆる化粧筆（化粧ブラシ、メイクブラシ）のように、顔に化粧品を塗布するために用いられる塗布ツールを模した部材である。ユーザは、指示装置３０を手で把持し、画像処理装置１０に表示された化粧品画像及びユーザの実際の顔を、指示装置３０の端部で指し示すようにして使用する。

【0020】

図３に、指示装置３０のハードウェア構成を示す。指示装置３０は、プロセッサ３１と、フラッシュメモリ３２と、圧力センサ３３と、通信インターフェース３４とを備える。指示装置３０が備えるこれらの要素は、例えば、システムバスを介して相互に接続される。

【0021】

プロセッサ３１は、指示装置３０の全体の動作を制御する。プロセッサ３１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＲＴＣを備える。フラッシュメモリ３２は、各種の情報を記憶する。圧力センサ３３は、指示装置３０の端部にかかる圧力を検知する。つまり、圧力センサ３３は、指示装置３０の端部に対する接触を検知する。

【0022】

圧力センサ３３は、静電容量式、歪みゲージ式などの方式で圧力を検知する。通信インターフェース３４は、プロセッサ３１による制御のもと、画像処理装置１０と通信するモジュールである。通信インターフェース３４は、圧力センサ３３が検知した圧力を示す圧力情報を画像処理装置１０に送信する。通信インターフェース３４は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢケーブル等の有線通信により画像処理装置１０と通信する。

【0023】

メイクシミュレーション装置１００は、バーチャルメイク機能とメイク方法提示機能とを有する。バーチャルメイク機能は、ユーザによるメイク動作に従ったメイクパーツを、ユーザの顔画像に重ねて表示する機能である。メイク方法提示機能は、ユーザの顔画像に、ユーザが顔のメイクで表現したい印象に合致するメイクパーツを重ねて表示する機能である。つまり、メイク方法提示機能は、ユーザの顔を所望の印象の顔に近づけるためのメイクの見本を提示する機能である。バーチャルメイク機能とメイク方法提示機能とは、例えば、第２のタッチスクリーン１５に対するユーザ操作に従って切り替えられる。

【0024】

以下、バーチャルメイク機能を実現するためにメイクシミュレーション装置１００が実行する処理について簡単に説明する。まず、メイクシミュレーション装置１００は、第１のタッチスクリーン１４にカメラ１３の撮像により得られた撮像画像を表示し、第２のタッチスクリーン１５に化粧品画像を表示する。そして、メイクシミュレーション装置１００は、ユーザのメイク動作に従って、ユーザの顔に仮想的に塗布される化粧品を示すメイクパーツを撮像画像に重ねて表示する。

【0025】

このメイク動作には、第１のメイク動作と第２のメイク動作とがある。第１のメイク動作は、化粧用のパレットに収納された化粧品を化粧筆の先端部に付着させる動作を模した動作である。第１のメイク動作は、具体的には、第２のタッチスクリーン１５に表示された化粧品画像のうち所望の化粧品を表す領域に指示装置３０の先端を接触させる動作である。メイクシミュレーション装置１００は、第２のタッチスクリーン１５上における接触位置からユーザが選択した化粧品を特定することができる。

【0026】

第２のメイク動作は、化粧筆の先端部に付着した化粧品をユーザの顔に塗布する動作を模した動作である。第２の動作は、具体的には、指示装置３０の先端をユーザの顔の所望の領域に接触させる動作である。メイクシミュレーション装置１００は、指示装置３０から画像処理装置１０に送信される圧力情報と、カメラ１３による撮像により得られた撮像画像内における、ユーザの顔と指示装置３０の先端との位置関係とに基づいて、ユーザの顔における指示装置３０の先端の接触位置を特定することができる。

【0027】

メイクシミュレーション装置１００は、第１のメイク動作においてユーザが選択した化粧品を、第２のメイク動作においてユーザが指定した顔の領域に塗布する動作をシミュレーションする。つまり、メイクシミュレーション装置１００は、ユーザが選択した化粧品を表すメイクパーツを、撮像画像上における、ユーザが指定した顔の領域に重ねたメイク画像を表示する。バーチャルメイク機能によれば、メイク後の状態をシミュレーションすることができる。なお、ユーザは、バーチャルメイク機能を利用する前にメイク方法提示機能を利用して、適切なメイク方法を把握することが好適である。以下、本実施形態では、基本的に、メイク方法提示機能について説明する。

【0028】

図４に示すように、画像処理装置１０は、機能的には、撮像部１０１と、画像取得部１０２と、表示制御部１０３と、表示部１０４と、特徴特定部１０５と、印象指定操作受付部１０６と、印象設定部１０７と、調整指示操作受付部１０８と、メイク内容決定部１１０と、記憶部１２０とを備える。特徴特定部１０５は、ユーザ値取得部１１５を備える。メイク内容決定部１１０は、基本操作量決定部１１１と、追加操作量決定部１１２と、メイク領域決定部１１３と、メイク色決定部１１４とを備える。記憶部１２０は、モデル値記憶部１２１と、基本操作量記憶部１２２と、メイク内容記憶部１２３とを備える。

【0029】

画像取得部１０２は、本発明における画像取得手段の一例である。表示制御部１０３は、本発明における表示制御手段の一例である。表示部１０４は、本発明における表示手段及び表示装置の一例である。特徴特定部１０５は、本発明における特徴特定手段の一例である。印象設定部１０７は、本発明における印象設定手段の一例である。調整指示操作受付部１０８は、本発明における調整指示操作受付手段の一例である。メイク内容決定部１１０は、本発明におけるメイク内容決定手段の一例である。基本操作量決定部１１１は、本発明における基本操作量決定手段の一例である。追加操作量決定部１１２は、本発明における追加操作量決定手段の一例である。ユーザ値取得部１１５は、本発明におけるユーザ値取得手段の一例である。モデル値記憶部１２１は、本発明におけるモデル値記憶手段の一例である。基本操作量記憶部１２２は、本発明における基本操作量記憶手段の一例である。メイク内容記憶部１２３は、本発明におけるメイク内容記憶手段の一例である。

【0030】

撮像部１０１は、ユーザの顔を含む範囲を撮像し、この範囲を表す撮像画像を生成する。図５に、ユーザがメイクシミュレーション装置１００を用いてメイクのシミュレーションをするために、画像処理装置１０が備える第１のタッチスクリーン１４に向かい合っている様子を示す。撮像部１０１は、図５において破線で示す視野の内側の範囲、具体的には、第１のタッチスクリーン１４に向かい合っているユーザの顔を含む範囲を撮像する。

【0031】

従って、撮像部１０１を実現するためのカメラ１３の設置位置及び光軸の向きは、第１のタッチスクリーン１４に向かい合うユーザの顔がカメラ１３の視野に含まれるように調整される。撮像部１０１は、画像処理装置１０がユーザにより使用されている間、継続的に、ユーザの顔を撮像して撮像画像を生成する処理を実行する。撮像部１０１の機能は、例えば、プロセッサ１１とカメラ１３とが協働することにより実現される。

【0032】

画像取得部１０２は、撮像部１０１が生成した撮像画像を取得する。画像取得部１０２の機能は、例えば、プロセッサ１１の機能により実現される。

【0033】

表示制御部１０３は、表示部１０４による画像の表示を制御する。具体的には、表示制御部１０３は、表示部１０４が備える第１の表示領域に、画像取得部１０２により取得された撮像画像を表示する。第１の表示領域は、例えば、第１のタッチスクリーン１４に対応する表示領域である。このように、表示制御部１０３は、ユーザの顔の様子をリアルタイムで表示する。

【0034】

また、表示制御部１０３は、表示部１０４が備える第２の表示領域に、ユーザ操作を受け付けるための操作受付画像を表示する。第２の表示領域は、第１の表示領域とは異なる表示領域であり、例えば、第２のタッチスクリーン１５に対応する表示領域である。操作受付画像は、ユーザ操作を受け付けるための各種のボタンなどを含む画像である。例えば、操作受付画像は、ユーザが複数の印象から所望する印象を決定するためのボタン、メイクシミュレーション装置１００が実行する処理を、メイク方法提示機能のための処理からバーチャルメイク機能のための処理に切り替えることを指示するためのボタンなどを含む画像である。表示制御部１０３の機能は、例えば、プロセッサ１１の機能により実現される。

【0035】

表示部１０４は、表示制御部１０３による制御に従って画像を表示する。具体的には、表示部１０４は、第１の表示領域に画像取得部１０２が取得した撮像画像を表示し、第２の表示領域に操作受付画像を表示する。なお、表示部１０４は、表示制御部１０３による制御に従って、第１の表示領域において撮像画像にメイクパーツが重ねられたメイク画像を表示する。図６に、第１のタッチスクリーン１４において、顔画像である画像５０を含む撮像画像に、メイクパーツである画像５１が重ねられたメイク画像が表示された様子を示す。表示部１０４の機能は、例えば、プロセッサ１１と第１のタッチスクリーン１４と第２のタッチスクリーン１５とが協働することにより実現される。

【0036】

特徴特定部１０５は、画像取得部１０２により取得された撮像画像に基づいて、ユーザの顔の特徴を特定する。ユーザの顔の特徴は、例えば、ユーザの顔パーツの大きさ、形状、配置位置、配置角度、又は、ユーザの顔パーツ間の配置関係に関わる特徴である。ユーザの顔の特徴は、例えば、ユーザの顔パラメータの値により表現される。上述したように、特徴特定部１０５は、ユーザ値取得部１１５を備える。特徴特定部１０５の機能は、例えば、プロセッサ１１の機能により実現される。

【0037】

ユーザ値取得部１１５は、画像取得部１０２により取得された撮像画像に基づいて、ユーザの顔パラメータの値であるユーザ値を取得する。顔パラメータは、顔が備えるパーツである顔パーツに関するパラメータである。顔パーツは、右目、左目、右眉、左眉、鼻、眉間、口、右耳、左耳などである。顔パラメータは、例えば、顔パーツのサイズ、顔パーツの形状、顔パーツの配置位置、顔パーツの配置角度、複数の顔パーツ間のサイズの比率、複数の顔パーツ間の配置バランスなどのパラメータである。なお、顔パラメータの値ではなく顔パラメータの種類のことを、適宜、単に、顔パラメータという。本実施形態では、顔パラメータは、目の角度と、目の間隔と、目の大きさと、目の開きとの４つである。以下、図７と図８とを参照して、これらの顔パラメータについて説明する。

【0038】

図７に、第１のタッチスクリーン１４に表示されるユーザの顔の一部を示す。図７における右側の目がユーザの右目であり、図７における左側の目がユーザの左目である。また、図８に、ユーザの右目の近傍の拡大図を示す。図７において、Ｗ１は右目の横幅を表し、Ｗ２は左目の横幅を表し、Ｗ３は右目の目頭から左目の目頭までの長さを表し、Ｗ４は右目の目頭から顔の右側の輪郭までの長さを表す。

【0039】

図８において、Ｗ１は右目の横幅を表し、Ｈ１は右目の縦幅を表し、Ｗ５は右眉の眉頭から右眉の眉尻までの長さを表し、Ｗ６は右眉の眉頭から右眉の眉山までの長さを表す。また、図８において、直線Ｌ１は、右目の目頭を通過し、顔の幅方向に延びる直線であり、直線Ｌ２は、右目の目頭と右目の目尻とを結ぶ直線であり、Ｄ１は直線Ｌ１と直線Ｌ２とのなす角度を表す。なお、顔の幅方向は、顔の縦方向と顔の前後方向とに直交する方向であり、概ね、両耳を結ぶ方向である。顔の縦方向は、概ね、脳天とあごとを結ぶ方向である。顔の前後方向は、概ね、顔面と直交する方向である。

【0040】

目の角度は、右目の角度と左目の角度とを総称する概念である。目の角度は、目頭と目尻とを結ぶ直線と、目頭を通過し、顔の幅方向に延びる直線とのなす角度により表される。従って、右目の角度は、直線Ｌ１と直線Ｌ２とのなす角度を表すＤ１により表される。目の間隔は、目の横幅に対する両目の目頭間の長さの割合により表される。目の横幅としては、右目の横幅、左目の横幅、又は、右目の横幅と左目の横幅との平均値を採用することができる。目の間隔は、Ｗ３／Ｗ１、Ｗ３／Ｗ２、又は、Ｗ３×２／（Ｗ１＋Ｗ２）により表される。

【0041】

目の大きさは、右目の大きさと左目の大きさとを総称する概念である。目の大きさは、目頭から顔の輪郭までの長さに対する目の横幅の割合により表される。従って、右目の大きさは、Ｗ１／Ｗ４により表される。目の開きは、右目の開きと左目の開きとを総称する概念である。目の開きは、目の横幅に対する目の縦幅の割合により表される。従って、右目の開きは、Ｈ１／Ｗ１により表される。

【0042】

なお、顔パラメータは、目に関する顔パラメータに限定されず、例えば、眉に関する顔パラメータであってもよい。例えば、顔パラメータとして、眉山の位置がある。眉山の位置は、右眉の眉山の位置と左眉の眉山の位置とを総称する概念である。眉山の位置は、眉頭から眉尻までの長さに対する眉頭から眉山までの長さの割合により表される。従って、右眉の眉山の位置は、Ｗ６／Ｗ５により表される。

【0043】

ユーザ値取得部１１５は、画像取得部１０２により取得された撮像画像から、ユーザの顔の位置を特定し、特定した顔の位置から各顔パーツの位置及びサイズを特定する。そして、ユーザ値取得部１１５は、全ての顔パラメータについて、各顔パーツの位置及びサイズから、ユーザの顔パラメータの値であるユーザ値を求める。なお、ユーザ値取得部１１５は、エッジ検出、パターンマッチングなどの周知の技術を利用して、顔の位置と、各顔パーツの位置と、各顔パーツのサイズとを特定することができる。ユーザ値取得部１１５の機能は、例えば、プロセッサ１１の機能により実現される。

【0044】

印象指定操作受付部１０６は、ユーザから印象指定操作を受け付ける。印象指定操作は、ユーザが顔のメイクで表現することを所望する印象を指定する操作である。つまり、印象指定操作受付部１０６は、ユーザがメイクで実現したい顔の印象を示す情報をユーザから取得する。印象指定操作により指定される印象としては、知的、おおらか、控えめ、華やか、クール、明るい、可愛い、シャープなどがある。印象指定操作受付部１０６は、例えば、これらの印象を表す画像をユーザに提示した上で、ユーザから印象を選択する操作を受け付ける。印象指定操作受付部１０６の機能は、例えば、プロセッサ１１と第２のタッチスクリーン１５とが協働することにより実現される。

【0045】

印象設定部１０７は、ユーザから取得された情報に基づいて、顔のメイクで表現する目標の印象である目標印象を設定する。本実施形態では、印象指定操作受付部１０６がユーザから受け付ける印象指定操作によりユーザが所望する印象が指定される。従って、印象設定部１０７は、印象指定操作により指定された印象を目標印象として設定する。印象設定部１０７の機能は、例えば、プロセッサ１１の機能により実現される。

【0046】

調整指示操作受付部１０８は、ユーザから調整指示操作を受け付ける。調整指示操作は、メイク内容決定部１１０により決定されたメイク内容の調整を指示する操作である。調整指示操作受付部１０８は、例えば、メイク色やメイク領域を調整するためのオブジェクトをユーザに提示した上で、ユーザからこのオブジェクトを用いてメイク色やメイク領域を調整する操作を受け付ける。このようなオブジェクトとしては、例えば、スクロールバーなどがある。メイク色は、撮像画像に重ねられるメイクパーツの色である。メイク領域は、撮像画像にメイクパーツが重ねられる領域である。調整指示操作受付部１０８は、の機能は、例えば、プロセッサ１１と第２のタッチスクリーン１５とが協働することにより実現される。

【0047】

メイク内容決定部１１０は、ユーザ値取得部１１５により取得されたユーザ値と、印象設定部１０７により設定された目標印象とに基づいて、目標印象を表現するためのメイク内容を決定する。メイク内容は、メイク色とメイク領域とを含む。本実施形態では、仮想的に塗布される化粧品はアイシャドーであり、メイク色は仮想的に塗布されるアイシャドーの色であり、メイク領域はアイシャドーが仮想的に塗布される領域である。メイク内容決定部１１０の詳細については後述する。メイク内容決定部１１０の機能は、例えば、プロセッサ１１の機能により実現される。

【0048】

ここで、表示制御部１０３は、表示部１０４に、メイク内容決定部１１０により決定されたメイク内容に応じたメイクパーツを撮像画像に重ねたメイク画像を表示させる。例えば、表示制御部１０３は、図６に示すように、メイク内容に応じたメイクパーツを表す画像５１を、顔画像である画像５０を含む撮像画像に重ねることにより得られるメイク画像を表示する。

【0049】

記憶部１２０は、メイク内容決定部１１０がメイク内容を決定するときに用いる各種の情報を記憶する。上述したように、記憶部１２０は、モデル値記憶部１２１と、基本操作量記憶部１２２と、メイク内容記憶部１２３とを備える。記憶部１２０、モデル値記憶部１２１、基本操作量記憶部１２２、及び、メイク内容記憶部１２３の機能は、例えば、フラッシュメモリ１２の機能により実現される。

【0050】

モデル値記憶部１２１は、モデル値情報を記憶する。モデル値情報は、複数の顔パラメータのそれぞれについて、予め定められたモデル顔の顔パラメータの値であるモデル値を示す情報である。モデル顔は、各顔パーツのサイズ、各顔パーツの配置バランスなどが適正である模範的な顔である。つまり、モデル値は、顔パラメータの値の模範的な値である。モデル値情報は、例えば、図９に示すように、顔パラメータ毎に、モデル値を示す情報である。このモデル値情報は、目の角度が＋５度であり、目の間隔が１であり、目の大きさが０．７であり、目の開きが０．３３である顔が、モデル顔であることを示している。

【0051】

基本操作量記憶部１２２は、基本操作量情報を記憶する。基本操作量情報は、モデル顔に目標印象を持たせるためのモデル値に対する操作量である基本操作量を特定可能な情報である。具体的には、基本操作量情報は、複数の印象のそれぞれについて、モデル顔に各印象を持たせるための各モデル値に対する操作量を示す情報である。モデル顔は、基本的には、目標印象を与えることができる顔である目標顔とは一致しない。言い換えれば、モデル顔の顔パラメータの値であるモデル値と、目標顔の顔パラメータの値である目標値とは一致しない。そこで、モデル値を目標値にするための操作量、つまり、モデル値と目標値との差分値を、モデル値に対する操作量とする。

【0052】

基本操作量情報は、例えば、図１０に示すように、印象毎に、顔パラメータと基本操作量とを示す情報である。図１０に示す基本操作量情報は、例えば、モデル顔を知的な印象の顔に近づけるためには、目の間隔を０．２だけ狭める必要があることを示している。言い換えれば、この基本操作量情報は、知的な印象の顔の目の間隔は、模範的な顔の目の間隔である１よりも０．２少ない０．８であることを示している。

【0053】

また、基本操作量情報の内容を考慮すると、以下のように考えることができる。つまり、モデル顔をおおらかな印象の顔に近づけるためには、目の間隔を０．２だけ広げるとよい。また、モデル顔を控えめな印象の顔に近づけるためには、目の大きさを０．１だけ小さくするとよい。また、モデル顔を華やかな印象の顔に近づけるためには、目の大きさを０．１だけ大きくするとよい。また、モデル顔をクールな印象の顔に近づけるためには、目の開きを０．０５だけ小さくするとよい。また、モデル顔を明るい印象の顔に近づけるためには、目の開きを０．０５だけ大きくするとよい。また、モデル顔を可愛い印象の顔に近づけるためには、目の角度を５度だけ小さくするとよい。また、モデル顔をシャープな印象の顔に近づけるためには、目の角度を５度だけ大きくするとよい。

【0054】

メイク内容記憶部１２３は、メイク内容情報を記憶する。メイク内容情報は、複数の顔パラメータのそれぞれについて、ユーザ値又はモデル値に対する操作量に対応するメイク内容を示す情報である。この操作量は、基本操作量又は追加操作量に対応する。なお、基本操作量は、モデル顔に目標印象を持たせるためのモデル値に対する操作量である。また、追加操作量は、ユーザの顔をモデル顔に近づけるためのユーザ値に対する操作量である。メイク内容情報は、顔パラメータを変更した場合と同様の効果が期待できるメイク内容、言い換えれば、顔パラメータに対する操作と同様の効果が期待できるメイク内容を示す情報である。

【0055】

メイク内容情報は、例えば、図１１に示すように、顔パラメータと操作量との組み合わせ毎に、メイク領域とメイク色とを含むメイク内容を示す情報である。図１１に示すメイク内容情報は、例えば、目の角度を１０度下げた場合と同様の効果を得るためには、目の周囲に幅広く紫色のアイシャドーを塗布するメイクを施すべきことを示している。

【0056】

以下、図１２（Ａ）と図１２（Ｂ）とを参照して、見た目の印象を変えるためのメイクについて説明する。まず、図１２（Ａ）を参照して、垂れ目を模範的な目に近づけるためのメイクについて説明する。目の角度の適正値は＋５度であり、モデル顔の目の角度は＋５度であるものとする。また、ユーザの右目は垂れ目であり、ユーザの右目の角度は－５度であるものとする。この場合、ユーザの右目の角度をモデル顔の右目の角度にするための操作量は、＋１０度である。そこで、右目の角度が１０度上がった場合と同様の効果が得られるメイクとして、目尻の外側の上部に紫色のアイシャドーを塗布するというメイク内容が決定される。図１２（Ａ）に、アイシャドーが仮想的に塗布されるメイク領域として、領域Ｅ１を示す。かかるメイクが施されたユーザの顔は、右目の角度が＋５度であるモデル顔と同様の印象を見た人に与えることが期待できる。

【0057】

次に、図１２（Ｂ）を参照して、つり目を模範的な目に近づけるためのメイクについて説明する。ここでは、ユーザの右目はつり目であり、ユーザの右目の角度は＋１０度であるものとする。この場合、ユーザの右目の角度をモデル顔の右目の角度にするための操作量は、－５度である。そこで、右目の角度が５度下がった場合と同様の効果が得られるメイクとして、目の周囲に幅広く薄紫色のアイシャドーを塗布するというメイク内容が決定される。図１２（Ｂ）に、アイシャドーが仮想的に塗布されるメイク領域として、領域Ｅ２を示す。かかるメイクが施されたユーザの顔は、右目の角度が＋５度であるモデル顔と同様の印象を見た人に与えることが期待できる。

【0058】

なお、垂れ目を模範的な目に近づけるためのメイクは、模範的な目をシャープな印象を与える目に近づけるメイクでもある。つまり、目の角度が上がったように見せるメイクは、よりシャープな印象を与えるためのメイクである。同様に、つり目を模範的な目に近づけるためのメイクは、模範的な目を可愛い印象を与える目に近づけるメイクでもある。つまり、目の角度が下がったように見せるメイクは、より可愛い印象を与えるためのメイクである。

【0059】

また、目の間隔が狭くなったように見せるメイクは、より知的な印象を与えるためのメイクである。また、目の間隔が広くなったように見せるメイクは、よりおおらかな印象を与えるためのメイクである。また、目の大きさが小さくなったように見せるメイクは、より控えめな印象を与えるためのメイクである。また、目の大きさが大きくなったように見せるメイクは、より華やかな印象を与えるためのメイクである。また、目の開きが狭くなったように見せるメイクは、よりクール印象を与えるためのメイクである。また、目の開きが広くなったように見せるメイクは、より明るい印象を与えるためのメイクである。

【0060】

次に、メイク内容決定部１１０について詳細に説明する。上述したように、メイク内容決定部１１０は、基本操作量決定部１１１と、追加操作量決定部１１２と、メイク領域決定部１１３と、メイク色決定部１１４とを備える。

【0061】

基本操作量決定部１１１は、基本操作量記憶部１２２に記憶された操作量情報と目標印象とに基づいて、複数の顔パラメータのそれぞれについて、基本操作量を決定する。例えば、目標印象がシャープである場合、目の角度については、基本操作量として＋５度が決定される。なお、目の角度以外のパラメータについては、基本操作量として０が決定される。基本操作量決定部１１１の機能は、例えば、プロセッサ１１の機能により実現される。

【0062】

追加操作量決定部１１２は、複数の顔パラメータのそれぞれについて取得されたユーザ値とモデル値記憶部１２１に記憶されたモデル値情報とに基づいて、複数の顔パラメータのそれぞれについて、追加操作量を決定する。例えば、顔パラメータが目の角度であり、ユーザの顔の目の角度が０度であり、モデル顔の目の角度が＋５度であるものとする。この場合、目の角度については、追加操作量として＋５度が決定される。なお、目の角度以外のパラメータについては、追加操作量として０が決定される。追加操作量決定部１１２の機能は、例えば、プロセッサ１１の機能により実現される。

【0063】

メイク内容決定部１１０は、メイク内容記憶部１２３に記憶されたメイク内容情報と、基本操作量決定部１１１により決定された基本操作量と、追加操作量決定部１１２により決定された追加操作量とに基づいて、メイク内容を決定する。ここで、メイク内容決定部１１０は、特定顔パラメータを考慮してメイク内容を決定してもよいし、特定顔パラメータを考慮せずにメイク内容を決定してもよい。特定顔パラメータは、基本操作量決定部１１１により決定された基本操作量のうち、基本操作量として予め定められた閾値以上の操作量が決定された顔パラメータである。特定顔パラメータは、モデル顔に目標印象を与えるために操作すべき顔パラメータである。

【0064】

ここで、メイク内容決定部１１０は、メイク内容を決定するときに、特定顔パラメータについて決定された基本操作量を考慮する。一方、メイク内容決定部１１０は、メイク内容を決定するときに、特定顔パラメータ以外の顔パラメータについて決定された基本操作量を考慮しなくてもよい。このような顔パラメータは、そもそも基本操作量が小さいため、このような顔パラメータのためにメイク箇所を増やすことは好ましくないためである。

【0065】

また、メイク内容決定部１１０は、メイク内容を決定するときに、特定顔パラメータについて決定された追加操作量を考慮する。このような追加操作量は、メイクすべき箇所に関わるため、ユーザの顔の個人差を吸収するために、考慮することが望ましいためである。一方、メイク内容決定部１１０は、メイク内容を決定するときに、特定顔パラメータ以外の顔パラメータについて決定された追加操作量を考慮しなくてもよい。このような追加操作量は、メイクすべき箇所に関わらないため、仮にユーザの顔のこの箇所に特徴がある場合でも、メイク箇所の増大を抑制するために考慮しないことが望ましいと考えられるためである。

【0066】

以下、特定顔パラメータを考慮してメイク内容を決定する具体例について説明する。例えば、第１の具体例として、目標印象がシャープであり、目の角度について決定される基本操作量が＋５度であり、目の角度について決定される追加操作量が＋５度である場合を想定する。この場合、目の角度のみが特定顔パラメータである。従って、メイク内容決定部１１０は、目の角度について決定された基本操作量である＋５度と目の角度について決定された追加操作量である＋５度との合計量である＋１０度に対応するメイク内容を決定する。

【0067】

つまり、メイク内容決定部１１０は、メイク内容情報に基づいて、目の角度を１０度上げる場合と同様の効果を得るためのメイク、つまり、目尻の外側の上部に紫色のアイシャドーを塗布するというメイク内容を決定する。このように、メイク内容決定部１１０は、垂れ目のユーザがシャープな印象を所望する場合、シャープな印象を与える程度につり目に見えるメイク内容を決定する。このように、特定顔パラメータについて決定された追加操作量に関しては、過度のメイク若しくはメイク不足を抑制するために考慮することが好適である。

【0068】

次に、第２の具体例として、目標印象が華やかであり、目の大きさについて決定される基本操作量が＋５度であり、目の角度について決定される追加操作量が＋５度である場合を想定する。この場合、目の大きさのみが特定顔パラメータであり、目の角度は特定顔パラメータではない。従って、メイク内容決定部１１０は、目の大きさについて決定された基本操作量である＋５度に対応するメイク内容を決定する。つまり、メイク内容決定部１１０は、メイク内容情報に基づいて、目の大きさを０．１大きくする場合と同様の効果を得るためのメイク、つまり、目尻の近傍に薄紫色のアイシャドーを塗布するというメイク内容を決定する。このように、特定顔パラメータ以外の顔パラメータについて決定された追加操作量に関しては、メイク箇所の増大を抑制するため考慮しないことが好適である。

【0069】

なお、特定顔パラメータ以外の顔パラメータを考慮してメイク内容を決定してもよい。例えば、第３の具体例として、目標印象が華やかであり、目の大きさについて決定される基本操作量が＋５度であり、目の角度について決定される追加操作量が＋５度である場合を想定する。この場合、まず、メイク内容決定部１１０は、目の大きさについて決定された基本操作量である＋５度に対応するメイク内容を決定する。つまり、メイク内容決定部１１０は、メイク内容情報に基づいて、目の大きさを０．１大きくする場合と同様の効果を得るためのメイク、つまり、目尻の近傍に薄紫色のアイシャドーを塗布するというメイク内容を決定する。

【0070】

更に、メイク内容決定部１１０は、目の角度について決定された追加操作量に対応するメイク内容を決定する。つまり、メイク内容決定部１１０は、メイク内容情報に基づいて、目の角度を５度上げる場合と同様の効果を得るためのメイク、つまり、目尻の外側の上部に薄紫色のアイシャドーを塗布するというメイク内容を決定する。このように、特定顔パラメータ以外の顔パラメータについて決定された追加操作量に関しても、ユーザの顔をモデル顔に近づけるために考慮してもよい。

【0071】

メイク領域決定部１１３は、複数の顔パラメータのそれぞれについて決定された基本操作量と、複数の顔パラメータのそれぞれについて決定された追加操作量と、メイク内容情報とに基づいて、メイク領域を決定する。メイク領域決定部１１３の機能は、例えば、プロセッサ１１の機能により実現される。

【0072】

メイク色決定部１１４は、複数の顔パラメータのそれぞれについて決定された基本操作量と、複数の顔パラメータのそれぞれについて決定された追加操作量と、メイク内容情報とに基づいて、メイク色を決定する。メイク色を決定することは、化粧品と塗布量とを決定することを意味する。メイク色は、例えば、顔画像におけるメイク領域の色と決定された化粧品の色とを、決定された塗布量に応じた割合で合成した色である。例えば、メイク色は、塗布量が多いほど化粧品の色に近づき、塗布量が少ないほど顔画像におけるメイク領域の色に近づく。なお、メイクパーツの色は、全体としてメイク色に応じた色であればよい。つまり、メイクパーツの全体がメイク色で統一されている必要はなく、メイクパーツの各部の色が異なっていても良い。メイク色決定部１１４の機能は、例えば、プロセッサ１１の機能により実現される。

【0073】

また、メイク内容決定部１１０は、調整指示操作受付部１０８により調整指示操作が受け付けられた場合、調整指示操作に基づいて、メイク内容に含まれる、メイク色とメイク領域とのうちの少なくとも一方を調整する。例えば、メイク内容決定部１１０は、調整指示操作に従って、メイクパーツの色を濃くしたり、メイクパーツの色を薄くしたりする。また、メイク内容決定部１１０は、調整指示操作に従って、メイク領域を全体的に又は特定の方向に向けて広げたり、メイク領域を全体的に又は特定の方向に向けて狭めたりする。

【0074】

次に、図１３に示すフローチャートを参照して、画像処理装置１０が実行する画像表示処理について説明する。

【0075】

まず、画像処理装置１０が備えるプロセッサ１１は、操作受付画像を表示する（ステップＳ１０１）。具体的には、プロセッサ１１は、第２のタッチスクリーン１５に操作受付画像を表示する。プロセッサ１１は、ステップＳ１０１の処理を完了すると、撮像を開始する（ステップＳ１０２）。具体的には、プロセッサ１１は、カメラ１３に撮像を開始させ、以後、カメラ１３から撮像画像を継続的に取得する。

【0076】

プロセッサ１１は、ステップＳ１０２の処理を完了すると、撮像画像を表示する（ステップＳ１０３）。具体的には、プロセッサ１１は、カメラ１３から取得した撮像画像を、第１のタッチスクリーン１４に表示させる。プロセッサ１１は、ステップＳ１０３の処理を完了すると、印象指定操作があるか否かを判別する（ステップＳ１０４）。例えば、プロセッサ１１は、第２のタッチスクリーン１５に対して印象指定操作がなされたか否かを判別する。

【0077】

プロセッサ１１は、印象指定操作があると判別すると（ステップＳ１０４：ＹＥＳ）、目標印象を設定する（ステップＳ１０５）。なお、プロセッサ１１は、印象指定操作により指示された印象を目標印象として設定する。プロセッサ１１は、ステップＳ１０５の処理を完了すると、撮像画像からユーザの顔の特徴を特定する（ステップＳ１０６）。つまり、プロセッサ１１は、撮像画像から抽出される顔画像から各顔パーツを特定し、各顔パーツの形状、大きさ及び位置関係などから各顔パラメータについてユーザ値を特定する。

【0078】

プロセッサ１１は、ステップＳ１０６の処理を完了すると、基本操作量を決定する（ステップＳ１０７）。具体的には、プロセッサ１１は、基本操作量情報と目標印象とに基づいて、各顔パラメータにおける基本操作量を決定する。プロセッサ１１は、ステップＳ１０７の処理を完了すると、追加操作量を決定する（ステップＳ１０８）。具体的には、プロセッサ１１は、各顔パラメータについて、ユーザ値とモデル値との差分を求めることにより、各顔パラメータの追加操作量を決定する。

【0079】

プロセッサ１１は、ステップＳ１０８の処理を完了すると、特定顔パラメータを特定する（ステップＳ１０９）。具体的には、プロセッサ１１は、複数の顔パラメータのそれぞれについて決定された基本操作量のうち、基本操作量として予め定められた閾値以上の操作量が決定された顔パラメータを特定顔パラメータとして特定する。プロセッサ１１は、ステップＳ１０９の処理を完了すると、メイク領域を決定する（ステップＳ１１０）。具体的には、プロセッサ１１は、各特定顔パラメータについて、基本操作量と追加操作量との合計である合計操作量を求め、各特定顔パラメータについて、メイク内容情報に基づいて合計操作量に応じたメイク領域を決定する。

【0080】

プロセッサ１１は、ステップＳ１１０の処理を完了すると、メイク色を決定する（ステップＳ１１１）。具体的には、プロセッサ１１は、各特定顔パラメータについて、メイク内容情報に基づいて合計操作量に応じたメイク色を決定する。プロセッサ１１は、ステップＳ１１１の処理を完了すると、メイク画像を表示する（ステップＳ１１２）。具体的には、プロセッサ１１は、表示部１０４を制御して、撮像画像におけるメイク領域にメイク色に応じたメイクパーツを重ねることにより得られるメイク画像を表示する。プロセッサ１１は、ステップＳ１１２の処理を完了すると、ステップＳ１０３に処理を戻す。

【0081】

ここで、プロセッサ１１は、印象指定操作がないと判別すると（ステップＳ１０４：ＮＯ）、調整指示操作があるか否かを判別する（ステップＳ１１３）。具体的には、プロセッサ１１は、第２のタッチスクリーン１５に対して調整指示操作がなされたか否かを判別する。プロセッサ１１は、調整指示操作があると判別すると（ステップＳ１１３：ＹＥＳ）、メイクパーツを調整する（ステップＳ１１４）。具体的には、プロセッサ１１は、調整指示操作に従って、メイク領域とメイク色とのうち少なくとも一方を調整する。

【0082】

プロセッサ１１は、ステップＳ１１４の処理を完了すると、調整後のメイク画像を表示する（ステップＳ１１５）。具体的には、プロセッサ１１は、表示部１０４を制御して、撮像画像における調整後のメイク領域に調整後のメイク色に応じたメイクパーツを重ねることにより調整後のメイク画像を生成し、生成した調整後のメイク画像を表示する。プロセッサ１１は、調整指示操作がないと判別した場合（ステップＳ１１３：ＮＯ）、又は、ステップＳ１１５の処理を完了した場合、ステップＳ１０３に処理を戻す。

【0083】

本実施形態では、ユーザの顔の特徴に応じて、目標印象を表現するためのメイク内容が決定され、撮像画像がこのメイク内容に応じて加工されたメイク画像が表示される。従って、本実施形態によれば、ユーザが所望する印象を適切に表現するためのメイクの方法を提示することができる。

【0084】

また、本実施形態では、モデル顔に目標印象を持たせるための基本操作量と、ユーザの顔をモデル顔に近づけるための追加操作量とに基づいて、メイク内容が決定される。従って、本実施形態によれば、ユーザが所望する印象とユーザの顔の特徴とに応じた適切なメイクの方法を提示することができる。

【0085】

また、本実施形態では、特定顔パラメータについて決定された基本操作量と特定顔パラメータについて決定された追加操作量とに基づいて、メイク内容が決定される。従って、本実施形態によれば、ユーザが所望する印象への影響が少ない顔部分へのメイクが排除されたメイクを提示することができる。

【0086】

また、本実施形態では、調整指示操作に基づいて、メイク内容が調整される。従って、本実施形態によれば、ユーザが所望する印象をより適切に表現するためのメイクの方法を提示することができる。

【0087】

（実施形態２）
実施形態１では、ユーザが所望する印象が直接ユーザから指定される例について説明した。ユーザが所望する印象が直接ユーザから指定されなくてもよい。以下、本実施形態では、ユーザから指定されたシーンからユーザが所望する印象を特定する例について説明する。以下、図１４を参照して、本実施形態に係る画像処理装置２０の機能について説明する。

【0088】

本実施形態に係る画像処理装置２０は、機能的には、実施形態１に係る画像処理装置１０と比較して、印象指定操作受付部１０６を備えず、シーン指定操作受付部１０９を備え、記憶部１２０が適合印象記憶部１２４を更に備える。シーン指定操作受付部１０９は、本発明におけるシーン指定操作受付手段の一例である。適合印象記憶部１２４は、本発明における適合印象記憶手段の一例である。

【0089】

適合印象記憶部１２４は、複数のシーンのそれぞれに適合する印象を示す適合印象情報を記憶する。図１５に、適合印象情報を示す。この適合印象情報は、シーンと印象との対応関係を示す情報であり、シーン毎にシーンに相応しいと考えられる印象を示す情報である。図１５に示す適合印象情報は、例えば、面接というシーンでは、知的な印象を与える顔が望ましいことを示している。適合印象記憶部１２４の機能は、例えば、フラッシュメモリ１２の機能により実現される。

【0090】

シーン指定操作受付部１０９は、ユーザからシーン指定操作を受け付ける。シーン指定操作は、複数のシーンのうちいずれかのシーンを指定する操作である。複数のシーンは、面接、接客、随行、パーティー、プレゼン、飲み会、観光、会議などである。シーン指定操作受付部１０９は、例えば、これらのシーンを表す画像をユーザに提示した上で、ユーザからシーンを選択する操作を受け付ける。シーン指定操作受付部１０９の機能は、例えば、プロセッサ１１と第２のタッチスクリーン１５とが協働することにより実現される。

【0091】

ここで、印象設定部１０７は、シーン指定操作受付部１０９によりシーン指定操作が受け付けられた場合、適合印象記憶部１２４に記憶された適合印象情報に基づいて、複数のシーンのうちシーン指定操作により指定されたシーンに適合する印象を目標印象として設定する。

【0092】

本実施形態では、ユーザにより指定されたシーンに基づいて、目標印象が自動で設定される。従って、本実施形態によれば、ユーザにより指定されたシーンに適合する印象を適切に表現するためのメイクの方法を提示することができる。

【0093】

（変形例）
以上、本発明の実施形態を説明したが、本発明を実施するにあたっては、種々の形態による変形及び応用が可能である。

【0094】

本発明において、上記実施形態において説明した構成、機能、動作のどの部分を採用するのかは任意である。また、本発明において、上述した構成、機能、動作のほか、更なる構成、機能、動作が採用されてもよい。また、上述した実施形態は、適宜、自由に組み合わせることができる。また、上述した実施形態で説明した構成要素の個数は、適宜、調整することができる。また、本発明において採用可能な素材、サイズ、電気的特性などが、上記実施形態において示したものに限定されないことは勿論である。

【0095】

実施形態１では、メイク方法提示機能のための処理と、バーチャルメイク機能のための処理とが、別々に実行される例について説明した。これらの処理が組み合わせて実行されてもよい。例えば、メイクシミュレーション装置１００は、メイク方法提示機能により生成したメイク画像を第１のタッチスクリーン１４の左半分の領域に表示し、バーチャルメイク機能により生成したメイク画像を第１のタッチスクリーン１４の右半分の領域に表示し、バーチャルメイク機能により生成した化粧品画像を第２のタッチスクリーン１５に表示することができる。

【0096】

メイク方法提示機能により生成したメイク画像は、撮像画像に、目標印象を表現するためのメイク内容に応じたメイクパーツを重ねた画像である。バーチャルメイク機能により生成したメイク画像は、撮像画像に、ユーザによるメイク動作に従ったメイクパーツを重ねた画像である。かかる構成によれば、ユーザは、第１のタッチスクリーン１４の左半分の領域に表示された、見本となるメイクの方法を示すメイク画像を参考にしながら、メイクをシミュレーションすることができる。

【0097】

あるいは、バーチャルメイク機能により生成したメイク画像にメイク方法提示機能により決定したメイク領域の輪郭を示す輪郭画像を重ねた画像を、第１のタッチスクリーン１４に表示し、バーチャルメイク機能により生成した化粧品画像を第２のタッチスクリーン１５に表示してもよい。かかる構成によれば、ユーザは、第１のタッチスクリーン１４に表示された輪郭画像を参考にしながら、メイクをシミュレーションすることができる。

【0098】

実施形態１，２では、印象設定部１０７は、ユーザから取得された情報に基づいて、目標印象を設定する例について説明した。印象設定部１０７は、予め定められた基準に従って、自動で目標印象を設定してもよい。例えば、目標印象は、ユーザの嗜好に基づく印象に、自動で設定されてもよい。この場合、嗜好と印象との対応関係を示す情報が、フラッシュメモリ１２に記憶されていればよい。なお、ユーザの嗜好は、例えば、通信インターフェース１６を介して他の装置から取得された情報などから自動的に特定される。また、目標印象は、ユーザの現在の顔の印象をより際立たせる印象に自動で設定されてもよい。或いは、目標印象は、ユーザの現在の顔の印象を弱める印象に自動で設定されてもよい。例えば、ユーザの目がつり目であれば、目標印象は、つり目を和らげる印象に自動で設定されてもよい。

【0099】

実施形態１では、メイク内容が、目の周囲にアイシャドーを塗布するメイクである例について説明した。メイク内容は、この例に限定されないことは勿論である。例えば、メイク内容が、目の周囲にアイラインを塗布するメイクであってもよい。また、メイク内容が、眉の周囲にアイブロウを塗布するメイクであってもよい。

【0100】

上記実施形態では、プロセッサ１１において、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、各種の処理を実行する例について説明した。本発明において、プロセッサ１１の代わりに、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、各種の処理を実行してもよい。この場合、各部の機能それぞれを個別のハードウェアで実現しても良いし、各部の機能をまとめて単一のハードウェアで実現しても良い。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現しても良い。

【0101】

なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１０による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る画像処理装置として機能させることができる。

【0102】

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

【0103】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
ユーザの顔が撮像された撮像画像を表示する表示手段と、
前記撮像画像に基づいて、前記ユーザの顔の特徴を特定する特徴特定手段と、
顔のメイクで表現する目標の印象として設定された目標印象と、前記特徴特定手段により特定された前記ユーザの顔の特徴とに基づいて、前記目標印象を表現するためのメイク内容を決定するメイク内容決定手段と、
前記表示手段に、前記撮像画像が前記メイク内容決定手段により決定された前記メイク内容に応じて加工されたメイク画像を表示させる表示制御手段と、を備える、
画像処理装置。
（付記２）
前記特徴特定手段は、前記撮像画像に基づいて、前記ユーザの顔パラメータの値であるユーザ値を取得するユーザ値取得手段を備え、
前記メイク内容決定手段は、前記目標印象と前記ユーザ値取得手段により取得された前記ユーザ値とに基づいて、前記メイク内容を決定する、
付記１に記載の画像処理装置。
（付記３）
予め定められたモデル顔の顔パラメータの値であるモデル値を示すモデル値情報を記憶するモデル値記憶手段と、
前記モデル顔に前記目標印象を持たせるための前記モデル値に対する操作量である基本操作量を示す基本操作量情報を記憶する基本操作量記憶手段と、
前記ユーザ値又は前記モデル値に対する操作量に対応するメイク内容を示すメイク内容情報を記憶するメイク内容記憶手段と、を更に備え、
前記メイク内容決定手段は、
前記基本操作量記憶手段に記憶された前記基本操作量情報に基づいて、前記基本操作量を決定する基本操作量決定手段と、
前記ユーザ値取得手段により取得された前記ユーザ値と前記モデル値記憶手段に記憶された前記モデル値情報とに基づいて、前記ユーザの顔を前記モデル顔に近づけるための前記ユーザ値に対する操作量である追加操作量を決定する追加操作量決定手段と、を備え、
前記メイク内容決定手段は、前記基本操作量決定手段により決定された前記基本操作量と、前記追加操作量決定手段により決定された前記追加操作量と、前記メイク内容記憶手段に記憶された前記メイク内容情報とに基づいて、前記メイク内容を決定する、
付記２に記載の画像処理装置。
（付記４）
前記モデル値情報は、複数の顔パラメータのそれぞれについて、前記モデル値を示す情報であり、
前記基本操作量情報は、複数の印象のそれぞれについて、前記モデル顔に各印象を持たせるための各モデル値に対する操作量を示す情報であり、
前記メイク内容情報は、前記複数の顔パラメータのそれぞれについて、前記ユーザ値又は前記モデル値に対する前記操作量に対応する前記メイク内容を示す情報であり、
前記ユーザ値取得手段は、前記撮像画像に基づいて、前記複数の顔パラメータのそれぞれについて、前記ユーザ値を取得し、
前記基本操作量決定手段は、前記基本操作量情報と前記目標印象とに基づいて、前記複数の顔パラメータのそれぞれについて、前記基本操作量を決定し、
前記追加操作量決定手段は、前記ユーザ値取得手段により前記複数の顔パラメータのそれぞれについて取得された前記ユーザ値と前記モデル値情報とに基づいて、前記複数の顔パラメータのそれぞれについて、前記追加操作量を決定し、
前記メイク内容決定手段は、前記基本操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記基本操作量と、前記追加操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記追加操作量と、前記メイク内容情報とに基づいて、前記メイク内容を決定する、
付記３に記載の画像処理装置。
（付記５）
前記メイク内容決定手段は、前記基本操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記基本操作量のうち、前記基本操作量として予め定められた閾値以上の操作量が決定された顔パラメータである特定顔パラメータについて決定された基本操作量と、前記追加操作量決定手段により前記複数の顔パラメータのそれぞれについて決定された前記追加操作量のうち、前記特定顔パラメータについて決定された追加操作量と、前記メイク内容情報とに基づいて、前記メイク内容を決定する、
付記４に記載の画像処理装置。
（付記６）
前記メイク内容決定手段により決定された前記メイク内容の調整を指示する操作である調整指示操作を受け付ける調整指示操作受付手段を更に備え、
前記メイク内容決定手段は、前記調整指示操作受付手段により前記調整指示操作が受け付けられた場合、前記メイク内容に含まれる、前記メイク画像の色であるメイク色と前記メイク画像が重ねられる領域であるメイク領域とのうちの少なくとも一方を調整する、
付記１から５のいずれか１項に記載の画像処理装置。
（付記７）
前記目標印象を設定する印象設定手段を更に備える、
付記１から６のいずれか１項に記載の画像処理装置。
（付記８）
複数のシーンのそれぞれに適合する印象を示す適合印象情報を記憶する適合印象記憶手段と、
前記ユーザから前記複数のシーンのうちいずれかのシーンを指定する操作であるシーン指定操作を受け付けるシーン指定操作受付手段と、を更に備え、
前記印象設定手段は、前記シーン指定操作受付手段により前記シーン指定操作が受け付けられた場合、前記適合印象記憶手段に記憶された前記適合印象情報に基づいて、前記複数のシーンのうち前記シーン指定操作により指定されたシーンに適合する印象を前記目標印象として設定する、
付記７に記載の画像処理装置。
（付記９）
前記メイク画像は、前記撮像画像における、前記メイク内容に応じたメイク領域に、前記メイク内容に応じた化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像である、
付記１から８のいずれか１項に記載の画像処理装置。
（付記１０）
前記撮像画像を取得する画像取得手段を更に備え、
前記表示手段は、前記画像取得手段により取得された前記撮像画像を表示する、
付記１から９のいずれか１項に記載の画像処理装置。
（付記１１）
ユーザの顔が撮像された撮像画像を表示し、
前記撮像画像に基づいて、前記ユーザの顔の特徴を特定し、
顔のメイクで表現する目標の印象として設定された目標印象と、前記ユーザの顔の特徴とに基づいて、前記目標印象を表現するためのメイク内容を決定し、
前記撮像画像が前記メイク内容に応じて加工されたメイク画像を表示する、
画像処理方法。
（付記１２）
コンピュータを、
ユーザの顔が撮像された撮像画像を表示装置に表示させる表示制御手段、
前記撮像画像に基づいて、前記ユーザの顔の特徴を特定する特徴特定手段、
顔のメイクで表現する目標の印象として設定された目標印象と、前記特徴特定手段により特定された前記ユーザの顔の特徴とに基づいて、前記目標印象を表現するためのメイク内容を決定するメイク内容決定手段、として機能させるプログラムであって、
前記表示制御手段は、前記表示装置に、前記撮像画像が前記メイク内容決定手段により決定された前記メイク内容に応じて加工されたメイク画像を表示させる、
プログラム。

【符号の説明】

【0104】

１０，２０…画像処理装置、１１…プロセッサ、１２…フラッシュメモリ、１３…カメラ、１４…第１のタッチスクリーン、１５…第２のタッチスクリーン、１６…通信インターフェース、３０…指示装置、３１…プロセッサ、３２…フラッシュメモリ、３３…圧力センサ、３４…通信インターフェース、５０，５１…画像、１００…メイクシミュレーション装置、１０１…撮像部、１０２…画像取得部、１０３…表示制御部、１０４…表示部、１０５…特徴特定部、１０６…印象指定操作受付部、１０７…印象設定部、１０８…調整指示操作受付部、１０９…シーン指定操作受付部、１１０…メイク内容決定部、１１１…基本操作量決定部、１１２…追加操作量決定部、１１３…メイク領域決定部、１１４…メイク色決定部、１１５…ユーザ値取得部、１２０…記憶部、１２１…モデル値記憶部、１２２…基本操作量記憶部、１２３…メイク内容記憶部、１２４…適合印象記憶部、Ｅ１，Ｅ２…領域、Ｌ１，Ｌ２…直線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】