特開 2023-164494 画像処理装置、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023164494

(43)【公開日】2023-11-10

(54)【発明の名称】画像処理装置、画像処理方法及びプログラム

(51)【国際特許分類】

   A45D 44/00 20060101AFI20231102BHJP

   G06T 11/80 20060101ALI20231102BHJP

【ＦＩ】

A45D44/00 A

G06T11/80 F

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023143026

(22)【出願日】2023-09-04

(62)【分割の表示】P 2019173593の分割

【原出願日】2019-09-24

(71)【出願人】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】中野 加奈子

(57)【要約】

【課題】化粧品が塗布された顔の状態を顔パーツの種別に応じて適切にシミュレーションする。
【解決手段】画像取得部１０２は、第１の顔画像と第２の顔画像とを取得する。表示部１０４は、第１の顔画像と第２の顔画像とを表示する。種別判別部１１０は、第１の顔画像と第２の顔画像とのうちの少なくとも一方に基づいて、ユーザの顔パーツの種別を判別する。領域決定部１１３は、顔パーツが第１の状態であるときにユーザが実行したメイク動作に基づいて第１のメイク領域を決定し、メイク動作と顔パーツの形状とに基づいて第２のメイク領域を決定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

顔パーツが第１の状態であるときに撮像されたユーザの顔画像である第１の顔画像と前記顔パーツが前記第１の状態とは異なる第２の状態であるときに撮像された前記ユーザの顔画像である第２の顔画像とを取得する画像取得手段と、
前記画像取得手段により取得された前記ユーザの顔画像を表示する表示手段と、
前記画像取得手段により取得された前記第１の顔画像と前記第２の顔画像とのうちの少なくとも一方に基づいて、前記ユーザの前記顔パーツの種別を判別する種別判別手段と、
前記顔パーツが前記第１の状態であるときに前記ユーザが実行したメイク動作に基づいて、前記第１の顔画像上における第１のメイク領域を決定し、前記メイク動作と前記種別判別手段により判別された前記顔パーツの種別とに基づいて、前記第２の顔画像上における、前記第１のメイク領域とは異なる大きさを有する第２のメイク領域を決定する領域決定手段と、を備える、
画像処理装置。

【請求項2】

前記メイク動作の実行後に前記画像取得手段が前記第１の顔画像を取得した場合、前記表示手段に、前記第１の顔画像上における前記第１のメイク領域が加工された第１のメイク画像を表示させ、前記メイク動作の実行後に前記画像取得手段が前記第２の顔画像を取得した場合、前記表示手段に、前記第２の顔画像上における前記第２のメイク領域が加工された第２のメイク画像を表示させる表示制御手段を更に備える、
請求項１に記載の画像処理装置。

【請求項3】

前記第１のメイク画像は、前記第１の顔画像上における前記第１のメイク領域に、前記メイク動作により指定された化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像であり、
前記第２のメイク画像は、前記第２の顔画像上における前記第２のメイク領域に、前記メイクパーツが重ねられた画像である、
請求項２に記載の画像処理装置。

【請求項4】

前記顔パーツは上瞼であり、
前記第１の状態は閉じた状態であり、前記第２の状態は開いた状態であり、
前記種別判別手段は、前記ユーザの上瞼が一重瞼であるか否かを判別し、
前記領域決定手段は、前記種別判別手段により前記ユーザの上瞼が一重瞼であると判別された場合、前記第２のメイク領域として第１の大きさを有する領域を決定し、前記種別判別手段により前記ユーザの上瞼が一重瞼でないと判別された場合、前記第２のメイク領域として前記第１の大きさよりも小さい大きさを有する領域を決定する、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記種別判別手段は、
前記画像取得手段により取得された前記第２の顔画像から、二重瞼又は奥二重瞼の溝を表す第１のラインを検出するライン検出手段と、
前記ライン検出手段により前記第１のラインが検出されない場合、前記ユーザの上瞼が一重瞼であると判別し、前記ライン検出手段により前記第１のラインが検出された場合、前記ユーザの上瞼が一重瞼でないと判別するライン判別手段と、を備える、
請求項４に記載の画像処理装置。

【請求項6】

前記種別判別手段は、前記ユーザの上瞼が一重瞼と二重瞼と奥二重瞼とのうちのいずれであるのかを判別し、
前記領域決定手段は、前記種別判別手段により前記ユーザの上瞼が一重瞼であると判別された場合、前記第２のメイク領域として前記第１の大きさを有する領域を決定し、前記種別判別手段により前記ユーザの上瞼が二重瞼であると判別された場合、前記第２のメイク領域として前記第１の大きさよりも小さい第２の大きさを有する領域を決定し、前記種別判別手段により前記ユーザの上瞼が奥二重瞼であると判別された場合、前記第２のメイク領域として前記第２の大きさよりも小さい第３の大きさを有する領域を決定する、
請求項４に記載の画像処理装置。

【請求項7】

前記種別判別手段は、
前記画像取得手段により取得された前記第２の顔画像から、二重瞼又は奥二重瞼の溝を表す第１のラインと、上瞼と目との境界の粘膜部分を表す第２のラインとを検出するライン検出手段と、
前記ライン検出手段により検出された前記第１のラインと前記第２のラインとに基づいて、前記ユーザの上瞼が一重瞼と二重瞼と奥二重瞼とのうちのいずれであるのかを判別するライン判別手段と、を備える、
請求項６に記載の画像処理装置。

【請求項8】

前記ライン判別手段は、前記ライン検出手段により前記第１のラインが検出されない場合、前記ユーザの上瞼が一重瞼であると判別し、前記第１のラインと前記第２のラインとに挟まれる隙間領域の顔の幅方向における長さが閾値以上である場合、前記ユーザの上瞼が二重瞼であると判別し、前記長さが前記閾値未満である場合、前記ユーザの上瞼が奥二重瞼であると判別する、
請求項７に記載の画像処理装置。

【請求項9】

前記表示制御手段は、前記表示手段に、前記第１の顔画像又は前記第２の顔画像を第１の表示領域に表示させ、化粧品を表現する化粧品画像を前記第１の表示領域とは異なる第２の表示領域に表示させ、
前記表示手段が前記第２の表示領域に前記化粧品画像が表示しているときに、指示体を用いた前記第２の表示領域への接触を伴うユーザ操作を受け付ける操作受付手段と、
前記操作受付手段が前記ユーザ操作を受け付けた後、前記表示手段が前記第１の顔画像を表示しているときに前記指示体が前記ユーザの顔に接触した場合、前記第１の顔画像に基づいて、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定手段と、を更に備え、
前記領域決定手段は、前記第１の顔画像上における前記接触位置特定手段により特定された前記接触位置に応じた領域を前記第１のメイク領域として決定し、前記第２の顔画像上における、前記接触位置と前記顔パーツの形状とに応じた領域を前記第２のメイク領域として決定し、
前記第１のメイク画像は、前記第１の顔画像上における前記第１のメイク領域に、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像であり、
前記第２のメイク画像は、前記第２の顔画像上における前記第２のメイク領域に、前記メイクパーツが重ねられた画像である、
請求項２に記載の画像処理装置。

【請求項10】

顔パーツが第１の状態であるときに撮像されたユーザの顔画像である第１の顔画像と前記顔パーツが前記第１の状態とは異なる第２の状態であるときに撮像された前記ユーザの顔画像である第２の顔画像とを取得し、
前記ユーザの顔画像を表示し、
前記第１の顔画像と前記第２の顔画像とのうちの少なくとも一方に基づいて、前記ユーザの前記顔パーツの種別を判別し、
前記顔パーツが前記第１の状態であるときに前記ユーザが実行したメイク動作に基づいて、前記第１の顔画像上における第１のメイク領域を決定し、前記メイク動作と前記顔パーツの形状とに基づいて、前記第２の顔画像上における、前記第１のメイク領域とは異なる大きさを有する第２のメイク領域を決定する、
画像処理方法。

【請求項11】

コンピュータを、
顔パーツが第１の状態であるときに撮像されたユーザの顔画像である第１の顔画像と前記顔パーツが前記第１の状態とは異なる第２の状態であるときに撮像された前記ユーザの顔画像である第２の顔画像とを取得する画像取得手段、
前記画像取得手段により取得された前記ユーザの顔画像を表示装置に表示させる表示制御手段、
前記画像取得手段により取得された前記第１の顔画像と前記第２の顔画像とのうちの少なくとも一方に基づいて、前記ユーザの前記顔パーツの種別を判別する種別判別手段、
前記顔パーツが前記第１の状態であるときに前記ユーザが実行したメイク動作に基づいて、前記第１の顔画像上における第１のメイク領域を決定し、前記メイク動作と前記種別判別手段により判別された前記顔パーツの種別とに基づいて、前記第２の顔画像上における、前記第１のメイク領域とは異なる大きさを有する第２のメイク領域を決定する領域決定手段、として機能させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

現在、ユーザの顔に化粧品を塗布したときの顔の状態をシミュレーションする技術が知られている。例えば、特許文献１には、ユーザの顔画像に化粧品を表すメイクパーツを重畳する技術であって、顔画像に重畳するメイクパーツを目の状態に応じて変化させる技術が記載されている。具体的には、特許文献１には、目閉じ画像に描画されたメイクパーツを目開き画像用に変形し、変形したメイクパーツを目開き画像に重畳する技術が記載されている。

【0003】

ここで、実際のメイクでは、目の状態の変化に伴う、顔に塗布された化粧品の見え方の変化の仕方は、上瞼の種別によって異なる。例えば、一重瞼の人と二重瞼の人とが目を閉じた状態で同じ領域にアイシャドーを塗布した場合した場合でも、目を開けたときに見えるアイシャドーの塗布領域は一重瞼の人と二重瞼の人とで異なる。この点に関して、特許文献１には、顔画像に重畳するメイクパーツを目の状態に応じて変化させるときに、上瞼の種別を考慮することが記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１８／１５９２３１号

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載された方法では、メイクパーツの変化のさせ方が上瞼の種別と合致せず、化粧品が塗布された顔の状態が適切にシミュレーションされない可能性がある。例えば、特許文献１には、一重瞼と奥二重瞼とを区別していないが、一重瞼と奥二重瞼とを区別した方が好ましいとも考えられる。また、特許文献１には、上瞼が一重瞼である場合、目閉じ画像に描画された上瞼メイクパーツを変形せずに目開き画像に重畳することが記載されているが、上瞼メイクパーツを変形した方が好ましいとも考えられる。このため、化粧品が塗布された顔の状態を顔パーツの種別に応じて適切にシミュレーションする技術が望まれている。

【0006】

本発明は、上記問題に鑑みてなされたものであり、化粧品が塗布された顔の状態を顔パーツの種別に応じて適切にシミュレーションする画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明に係る画像処理装置は、
顔パーツが第１の状態であるときに撮像されたユーザの顔画像である第１の顔画像と前記顔パーツが前記第１の状態とは異なる第２の状態であるときに撮像された前記ユーザの顔画像である第２の顔画像とを取得する画像取得手段と、
前記画像取得手段により取得された前記ユーザの顔画像を表示する表示手段と、
前記画像取得手段により取得された前記第１の顔画像と前記第２の顔画像とのうちの少なくとも一方に基づいて、前記ユーザの前記顔パーツの種別を判別する種別判別手段と、
前記顔パーツが前記第１の状態であるときに前記ユーザが実行したメイク動作に基づいて、前記第１の顔画像上における第１のメイク領域を決定し、前記メイク動作と前記種別判別手段により判別された前記顔パーツの種別とに基づいて、前記第２の顔画像上における、前記第１のメイク領域とは異なる大きさを有する第２のメイク領域を決定する領域決定手段と、を備える。

【発明の効果】

【0008】

本発明によれば、化粧品が塗布された顔の状態を顔パーツの種別に応じて適切にシミュレーションすることができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態１に係るメイクシミュレーション装置の外観図

【図2】本発明の実施形態１に係る画像処理装置のハードウェア構成を示すブロック図

【図3】本発明の実施形態１に係る指示装置のハードウェア構成を示すブロック図

【図4】本発明の実施形態１に係るメイクシミュレーション装置の機能的な構成を示すブロック図

【図5】本発明の実施形態１に係る画像処理装置をユーザが使用している様子を示す図

【図6】本発明の実施形態１に係る画像処理装置が備えるタッチスクリーンに対してユーザが指示装置を用いて操作している様子を示す図

【図7】目の付近から検出される各種のラインを示す図

【図8】上瞼の種別毎の特徴を示す図であり、（Ａ）は一重瞼の特徴を示す図であり、（Ｂ）は二重瞼の特徴を示す図であり、（Ｃ）は、奥二重瞼の特徴を示す図

【図9】ユーザが目を閉じながら模擬的にメイクする様子を示す図

【図10】目開き用メイク領域を示す図であり、（Ａ）は一重瞼用の目開き用メイク領域を示す図であり、（Ｂ）は二重瞼用の目開き用メイク領域を示す図であり、（Ｃ）は奥二重瞼用の目開き用メイク領域を示す図

【図11】本発明の実施形態１に係る画像処理装置が実行する画像表示処理を示すフローチャート

【図12】図１１における種別判別処理を示すフローチャート

【図13】図１１における領域決定処理を示すフローチャート

【図14】本発明の実施形態２に係る画像処理装置の機能的な構成を示すブロック図

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照して説明する。なお、図中において、同一又は対応する部分には、同一の符号を付す。

【0011】

（実施形態１）
まず、図１を参照して、本発明の実施形態１に係るメイクシミュレーション装置１００の構成について説明する。メイクシミュレーション装置１００は、ユーザが化粧品でメイクした後の状態をコンピュータ上でシミュレーションする装置である。ユーザは、メイクシミュレーション装置１００を用いることで、本物の化粧品を用いることなく、気軽にメイクを練習したり、メイク後の状態を事前に確認したりすることができる。

【0012】

図１に示すように、メイクシミュレーション装置１００は、画像処理装置１０と、指示装置３０とを備える。画像処理装置１０は、ユーザの顔が撮像された撮像画像を用いて、メイク後の状態を表す画像をシミュレーションにより生成して表示する装置である。画像処理装置１０は、例えば、メイク用のパレットを模した形状を有する。

【0013】

図２に、画像処理装置１０のハードウェア構成を示す。図２に示すように、画像処理装置１０は、プロセッサ１１と、フラッシュメモリ１２と、カメラ１３と、第１のタッチスクリーン１４と、第２のタッチスクリーン１５と、通信インターフェース１６とを備える。画像処理装置１０が備えるこれらの要素は、例えば、システムバスを介して相互に接続される。

【0014】

プロセッサ１１は、画像処理装置１０の全体の動作を制御する。プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＲＴＣ（Real Time Clock）を備える。フラッシュメモリ１２は、各種の情報を記憶する。

【0015】

カメラ１３は、被写体を撮像する。カメラ１３は、被写体から射出された光を集光するレンズと、集光した光を受けて被写体の画像を取得するＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子と、撮像素子から電気信号として送られた撮像データをデジタルデータに変換するＡ／Ｄ（Analog/Digital）変換器とを備える。図１に示すように、カメラ１３は、第１のタッチスクリーン１４の近傍に配置され、第１のタッチスクリーン１４を見ながら画像処理装置１０を使用しているユーザの顔を撮像する。

【0016】

第１のタッチスクリーン１４と第２のタッチスクリーン１５とは、ユーザインターフェースであり、各種の情報をユーザから受け付け、また、各種の情報をユーザに提示する。図１に示すように、第１のタッチスクリーン１４は、画像処理装置１０の上側の面に配置され、カメラ１３の撮像により得られた撮像画像を表示する。第２のタッチスクリーン１５は、画像処理装置１０の下側の面に配置され、メイクシミュレーションにおいてユーザの顔に仮想的に塗布される化粧品を表現する化粧品画像を表示する。また、第２のタッチスクリーン１５は、第２のタッチスクリーン１５の表面に対する接触を伴うユーザ操作を受け付ける。

【0017】

通信インターフェース１６は、プロセッサ１１による制御のもと、指示装置３０を含む外部の装置と通信するモジュールである。通信インターフェース１６は、例えば、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢ（Universal Serial Bus）ケーブル等の有線通信により外部の機器と通信する。

【0018】

指示装置３０は、メイクシミュレーションにおいて化粧品を選択し、選択した化粧品を仮想的に塗布する顔の位置を指示するための装置である。指示装置３０は、スティック状の形状を有し、いわゆる化粧筆（化粧ブラシ、メイクブラシ）のように、顔に化粧品を塗布するために用いられる塗布ツールを模した部材である。ユーザは、指示装置３０を手で把持し、画像処理装置１０に表示された化粧品画像及びユーザの実際の顔を、指示装置３０の端部で指し示すようにして使用する。

【0019】

図３に、指示装置３０のハードウェア構成を示す。指示装置３０は、プロセッサ３１と、フラッシュメモリ３２と、圧力センサ３３と、通信インターフェース３４とを備える。指示装置３０が備えるこれらの要素は、例えば、システムバスを介して相互に接続される。

【0020】

プロセッサ３１は、指示装置３０の全体の動作を制御する。プロセッサ３１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＲＴＣを備える。フラッシュメモリ３２は、各種の情報を記憶する。圧力センサ３３は、指示装置３０の端部にかかる圧力を検知する。つまり、圧力センサ３３は、指示装置３０の端部に対する接触を検知する。圧力センサ３３は、静電容量式、歪みゲージ式などの方式で圧力を検知する。通信インターフェース３４は、プロセッサ３１による制御のもと、画像処理装置１０と通信するモジュールである。通信インターフェース３４は、例えば、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信、又はＵＳＢケーブル等の有線通信により画像処理装置１０と通信する。

【0021】

次に、図４を参照して、メイクシミュレーション装置１００の機能について説明する。画像処理装置１０は、機能的には、撮像部１０１と、画像取得部１０２と、表示制御部１０３と、表示部１０４と、操作受付部１０５と、化粧品選択部１０６と、情報受信部１０７と、接触位置特定部１０８と、状態判別部１０９と、種別判別部１１０と、領域決定部１１３と、メイクパーツ生成部１１４と、メイクパーツ保持部１１５とを備える。指示装置３０は、機能的には、接触検知部３０１と、情報送信部３０２とを備える。

【0022】

画像取得部１０２は、本発明における画像取得手段の一例である。表示制御部１０３は、本発明における表示制御手段の一例である。表示部１０４は、本発明における表示手段の一例である。操作受付部１０５は、本発明における操作受付手段の一例である。接触位置特定部１０８は、本発明における接触位置特定手段の一例である。種別判別部１１０は、本発明における種別判別手段の一例である。領域決定部１１３は、本発明における領域決定手段の一例である。

【0023】

撮像部１０１は、ユーザの顔を含む範囲を撮像し、この範囲を表す撮像画像を生成する。図５に、ユーザがメイクシミュレーション装置１００を用いてメイクのシミュレーションをするために、画像処理装置１０が備える第１のタッチスクリーン１４に向かい合っている様子を示す。撮像部１０１は、図５において破線で示す視野の内側の範囲、具体的には、第１のタッチスクリーン１４に向かい合っているユーザの顔を含む範囲を撮像する。

【0024】

従って、撮像部１０１を実現するためのカメラ１３の設置位置及び光軸の向きは、第１のタッチスクリーン１４に向かい合うユーザの顔がカメラ１３の視野に含まれるように調整される。撮像部１０１は、画像処理装置１０がユーザにより使用されている間、継続的に、ユーザの顔を撮像して撮像画像を生成する処理を実行する。撮像部１０１の機能は、例えば、プロセッサ１１とカメラ１３とが協働することにより実現される。

【0025】

画像取得部１０２は、撮像部１０１が生成した撮像画像を取得する。この撮像画像は、第１の顔画像と第２の顔画像とのうちのいずれかである。第１の顔画像は、顔パーツが第１の状態であるときに撮像されたユーザの顔画像である。第２の顔画像は、顔パーツが第２の状態であるときに撮像されたユーザの顔画像である。この顔パーツは、例えば、顔に含まれるパーツのうち、状態が大きく変化する顔パーツである。

【0026】

本実施形態では、メイクが施される目が左目であり、顔パーツは、左目の上瞼である。以下、適宜、左目の上瞼のことを単に上瞼という。第２の状態は、第１の状態とは異なる状態である。例えば、第１の状態が閉状態である場合は第２の状態が開状態であり、第１の状態が開状態である場合は第２の状態が閉状態である。本実施形態では、第１の状態が閉状態であり、第２の状態が開状態である。本実施形態では、第１の顔画像は、ユーザが左目を閉じているときに撮像されたユーザの顔の撮像画像であり、第２の顔画像は、ユーザが左目を開けているときに撮像されたユーザの顔の撮像画像である。以下、適宜、第１の顔画像を目閉じ画像といい、第２の顔画像を目開き画像という。画像取得部１０２の機能は、例えば、プロセッサ１１の機能により実現される。

【0027】

表示制御部１０３は、表示部１０４による画像の表示を制御する。具体的には、表示制御部１０３は、表示部１０４が備える第１の表示領域に、画像取得部１０２により取得された撮像画像を表示する。第１の表示領域は、例えば、第１のタッチスクリーン１４に対応する表示領域である。このように、表示制御部１０３は、ユーザの顔の様子をリアルタイムで表示する。このため、ユーザは、表示部１０４が備える第１の表示領域に表示された自分の顔画像を鏡に映った顔のように確認しながら、メイクをシミュレーションすることができる。

【0028】

また、表示制御部１０３は、表示部１０４が備える第２の表示領域に、化粧品を表現する化粧品画像を表示する。第２の表示領域は、第１の表示領域とは異なる表示領域であり、例えば、第２のタッチスクリーン１５に対応する表示領域である。化粧品画像は、メイクシミュレーションにおいて、ユーザの顔に仮想的に塗布される化粧品を視覚的に表現する画像である。表示制御部１０３は、図６に示すように、化粧品画像として、複数の化粧品を表現する画像を表示する。なお、図６は、画像処理装置１０が備える第２のタッチスクリーン１５に対してユーザが指示装置３０を用いて操作している様子を示している。

【0029】

ここで、複数の化粧品のそれぞれは、色、光沢、質感等が少なくとも１つ相違する化粧品である。複数の化粧品を表現する画像は、第２の表示領域内における互いに異なる領域に表示される。ユーザは、化粧品画像を参照して複数の化粧品からメイクシミュレーションを望む化粧品を選択して使用することができる。なお、化粧品画像を示す画像は、フラッシュメモリ１２に記憶されている。このように、ユーザの顔を表す撮像画像が第１の表示領域に表示され、化粧品画像が第２の表示領域に表示されることにより、ユーザは、画像処理装置１０を化粧品のパレットのように取り扱うことができる。なお、本実施形態では、化粧品はアイシャドーである。表示制御部１０３の機能は、例えば、プロセッサ１１の機能により実現される。

【0030】

表示部１０４は、表示制御部１０３による制御に従って画像を表示する。具体的には、表示部１０４は、第１の表示領域に第１の顔画像又は第２の顔画像を表示し、第２の表示領域に化粧品画像を表示する。表示部１０４の機能は、例えば、プロセッサ１１と第１のタッチスクリーン１４と第２のタッチスクリーン１５とが協働することにより実現される。

【0031】

操作受付部１０５は、表示部１０４が第２の表示領域に化粧品画像を表示しているときに、指示装置３０を用いた第２の表示領域への接触を伴うユーザ操作を受け付ける。図６に、ユーザが、手に把持した指示装置３０の先端部を、第２のタッチスクリーン１５の表面に接触させている様子を示す。指示装置３０の先端部を第２のタッチスクリーン１５の表面に接触させる動作は、化粧用のパレットに収納されている化粧品を化粧筆の先端部に付着させる動作を模擬した動作である。操作受付部１０５は、例えば、第２の表示領域上における接触位置を示す接触位置情報を化粧品選択部１０６に送信する。操作受付部１０５の機能は、例えば、プロセッサ１１と第２のタッチスクリーン１５とが協働することにより実現される。

【0032】

化粧品選択部１０６は、操作受付部１０５が受け付けたユーザ操作に基づいて、メイクシミュレーションで用いる化粧品を選択する。具体的には、化粧品選択部１０６は、操作受付部１０５から受信した接触位置情報と、フラッシュメモリ１２に記憶されている配置情報とに基づいて、ユーザが選択した化粧品を特定する。配置情報は、第２の表示領域内における各化粧品の配置を示す情報であり、化粧品を表す画像が表示される領域の座標を表す情報である。化粧品選択部１０６の機能は、例えば、プロセッサ１１の機能により実現される。

【0033】

接触検知部３０１は、指示装置３０の先端部に何らかの物体が接触しているか否かを検知する。接触検知部３０１は、指示装置３０の先端部に加わる圧力を検知し、検知した圧力に基づいて、接触の有無を判別する。例えば、接触検知部３０１は、接触を検知した場合、接触時間を示す情報である接触情報を情報送信部３０２に送信する。接触検知部３０１の機能は、例えば、プロセッサ３１と圧力センサ３３とが協働することにより実現される。

【0034】

情報送信部３０２は、接触検知部３０１が生成した接触情報を、画像処理装置１０に送信する。情報送信部３０２の機能は、例えば、プロセッサ３１と通信インターフェース３４とが協働することにより実現される。

【0035】

情報受信部１０７は、指示装置３０から接触情報を受信する。情報受信部１０７の機能は、例えば、プロセッサ１１と通信インターフェース１６とが協働することにより実現される。

【0036】

接触位置特定部１０８は、操作受付部１０５がユーザ操作を受け付けた後、表示部１０４が第１の顔画像を表示しているときに指示装置３０がユーザの顔に接触した場合、第１の顔画像に基づいて、ユーザの顔における指示装置３０が接触した接触位置を特定する。接触位置特定部１０８は、指示装置３０の先端部が何らかの物体に接触しているときに、第１の顔画像上において指示装置３０がユーザの顔と重なっている場合、指示装置３０がユーザの顔に接触したと判別する。

【0037】

なお、接触位置特定部１０８は、情報受信部１０７から供給された接触情報に基づいて、指示装置３０の先端部が何らかの物体に接触している期間を特定することができる。また、接触位置特定部１０８は、指示装置３０がユーザの顔に接触している期間に取得された第１の顔画像内における指示装置３０の位置から、上記接触位置を特定することができる。接触位置特定部１０８の機能は、例えば、プロセッサ１１の機能により実現される。

【0038】

状態判別部１０９は、ユーザの顔の特定の顔パーツの状態を判別する。具体的には、状態判別部１０９は、ユーザの左目の上瞼の状態が閉状態であるのか開状態であるのか、言い換えれば、画像取得部１０２により取得された撮像画像が第１の顔画像であるのか第２の顔画像であるのかを判別する。上瞼の状態は、目の状態とも言える。そこで、状態判別部１０９は、撮像画像におけるユーザの左目が閉じているか開いているかを判別する。目の状態を判別する手法は、適宜、調整することができる。

【0039】

例えば、状態判別部１０９は、撮像画像内における顔画像の位置を特定し、顔画像内における左目の近傍の画像である左目画像の位置を特定し、左目画像内に瞳を表す円形の画像があるか否かを判別する。状態判別部１０９は、円形の画像がないと判別した場合、ユーザの左目の上瞼の状態が閉状態であると判別する。状態判別部１０９は、円形の画像があると判別した場合、ユーザの左目の上瞼の状態が開状態であると判別する。状態判別部１０９の機能は、例えば、プロセッサ１１の機能により実現される。

【0040】

種別判別部１１０は、画像取得部１０２により取得された第１の顔画像と第２の顔画像とのうちの少なくとも一方に基づいて、ユーザの顔パーツの種別を判別する。具体的には、種別判別部１１０は、目閉じ画像と目開き画像とのうちの少なくとも一方に基づいて、ユーザの左目の上瞼の種別が一重と二重と奥二重とのいずれであるのかを判別する。なお、上瞼の種別が一重であることは上瞼が一重瞼であることと同義であり、上瞼の種別が二重であることは上瞼が二重瞼であることと同義であり、上瞼の種別が奥二重であることは上瞼が奥二重瞼であることと同義である。本実施形態では、目開き画像から上瞼の種別を判別するものとする。種別判別部１１０の機能は、例えば、プロセッサ１１の機能により実現される。種別判別部１１０は、ライン検出部１１１と、ライン判別部１１２とを備える。ライン検出部１１１は、本発明におけるライン検出手段の一例である。ライン判別部１１２は、本発明におけるライン判別手段の一例である。

【0041】

ライン検出部１１１は、画像取得部１０２により取得された第２の顔画像から、二重瞼又は奥二重瞼の溝を表す第１のラインを検出する。また、ライン検出部１１１は、画像取得部１０２により取得された第２の顔画像から、上瞼と目との境界の粘膜部分を表す第２のラインを検出する。第１のラインと第２のラインとを検出する方法は、適宜、調整することができる。以下、図７を参照して、目開き画像内における左目の周囲の画像から１２本のラインを検出し、１２本のラインから第１のラインと第２のラインとを特定する方法について説明する。

【0042】

図７に示すように、目開き画像内における左目の周囲の画像からは、ラインＬ１－Ｌ１２の合計１２本のラインが検出可能である。なお、図７には、第１のタッチスクリーン１４に表示される目開き画像のうち左目の周囲の画像を示している。ラインＬ１は、眉頭を表すラインである。ラインＬ２は、眉頭から眉山に向けて延びるラインのうち眉の上側の境界を表すラインである。ラインＬ３は、眉山から眉尻に向けて延びるラインのうち眉の上側の境界を表すラインである。ラインＬ４は、眉頭から眉山に向けて延びるラインのうち眉の下側の境界を表すラインである。ラインＬ５は、眉山から眉尻に向けて延びるラインのうち眉の下側の境界を表すラインである。

【0043】

ラインＬ６は、目の上側の境界を表すフレームラインのうち粘膜側のラインである。ラインＬ６は、第２のラインである。ラインＬ７は、目の上側の境界を表すフレームラインのうちまつげ側のラインである。ラインＬ８は、目の下側の境界を表すフレームラインのうち粘膜側のラインである。ラインＬ９は、目の下側の境界を表すフレームラインのうちまつげ側のラインである。ラインＬ１０は、二重瞼又は奥二重瞼の溝を表すラインである。ラインＬ１０は、第１のラインである。ラインＬ１１は、目頭から目尻に向けて伸びるアイホールと呼ばれるラインのうち上側のラインである。ラインＬ１２は、目頭から目尻に向けて伸びるアイホールと呼ばれるラインのうち下側のラインである。

【0044】

これらの１２本のラインは、例えば、他のラインとの位置関係などを考慮して、検知しやすいラインから順に求めることが好適である。例えば、眉の上側の境界を示すラインであるラインＬ２と、眉の下側の境界を示すラインであるラインＬ４とは、比較的容易に検知しやすいと考えられる。また、目の上側の境界を示す２つのラインであるラインＬ６及びラインＬ７と、目の下側の境界を示す２つのラインであるラインＬ８及びラインＬ９とは、比較的容易に検知しやすいと考えられる。そこで、まず、これらの６本のラインを検知することが好適である。

【0045】

ここで、ラインＬ４とラインＬ７との間の領域で検知される可能性のラインは、ラインＬ１０とラインＬ１１との２本のラインである。このため、この領域に存在するラインのうち上側のラインをラインＬ１１として検知し、この領域に存在するラインのうち下側のラインをラインＬ１０として検知することができる。なお、ラインＬ１０は、二重瞼又は奥二重の溝を表すラインである。このため、一重瞼のユーザの顔を撮像した撮像画像からは、ラインＬ１０は検知されない。ライン検出部１１１の機能は、例えば、プロセッサ１１の機能により実現される。

【0046】

ライン判別部１１２は、ライン検出部１１１により第１のラインが検出されない場合、ユーザの上瞼が一重瞼であると判別する。また、ライン判別部１１２は、ライン検出部１１１により第１のラインが検出された場合、ユーザの上瞼が一重瞼でないと判別する。また、ライン判別部１１２は、ライン検出部１１１により検出された第１のラインと第２のラインとに基づいて、ユーザの上瞼が一重瞼と二重瞼と奥二重瞼とのうちのいずれであるのかを判別する。

【0047】

つまり、ライン判別部１１２は、第１のラインが検出された場合、第１のラインと第２のラインとに基づいて、ユーザの上瞼が二重瞼と奥二重瞼とのうちのいずれであるのかを判別する。具体的には、ライン判別部１１２は、第１のラインと第２のラインとに挟まれる隙間領域の顔の幅方向における長さが閾値以上である場合、ユーザの上瞼が二重瞼であると判別する。そして、ライン判別部１１２は、この長さが閾値未満である場合、ユーザの上瞼が奥二重瞼であると判別する。

【0048】

以下、図８を参照して、隙間領域に基づいて上瞼の種別を判別する方法について説明する。図８（Ａ）は、一重瞼の特徴を示す図である。図８（Ｂ）は、二重瞼の特徴を示す図である。図８（Ｃ）は、奥二重瞼の特徴を示す図である。

【0049】

図８（Ａ）に示すように、ユーザの左目の上瞼が一重瞼である場合、第１のラインであるラインＬ６Ａは検出されるが、第２のラインであるラインＬ１０は検出されない。図８（Ｂ）に示すように、ユーザの左目の上瞼が二重瞼である場合、第１のラインであるラインＬ６Ｂと第２のラインであるラインＬ１０Ｂとが検出される。また、図８（Ｃ）に示すように、ユーザの左目の上瞼が奥二重瞼である場合、第１のラインであるラインＬ６Ｃと第２のラインであるラインＬ１０Ｃとが検出される。なお、ラインＬ６ＡとラインＬ６ＢとラインＬ６Ｃとを総称して適宜ラインＬ６といい、ラインＬ１０ＢとラインＬ１０Ｃとを総称して適宜ラインＬ１０という。ここで、二重瞼と奥二重瞼とでは、ラインＬ６とラインＬ１０との位置関係が異なり、ラインＬ６とラインＬ１０との挟まれた領域である隙間領域の形状や大きさが異なる。そこで、ライン判別部１１２は、この隙間領域の形状や大きさに基づいて、上瞼が二重瞼と奥二重瞼とのいずれであるのかを判別する。

【0050】

本実施形態では、理解を容易にするため、ラインＬ６とラインＬ１０とがほぼ重なる部分の領域、言い換えれば、ラインＬ６とラインＬ１０との距離が極めて短い部分の領域は、隙間領域とは見做さない。つまり、本実施形態では、厳密には、隙間領域は、ラインＬ６とラインＬ１０とに挟まれた領域のうち、ラインＬ６とラインＬ１０との距離が閾値以上である領域である。

【0051】

図８（Ｂ）に示すように、上瞼が二重瞼である場合、隙間領域である領域Ｅ１は、顔の幅方向に細長く延びた三日月のような形状を有する領域である。領域Ｅ１の顔の幅方向における長さ（以下、適宜、単に「長さ」という。）をＷ１とする。領域Ｅ１は、ラインＬ６Ｂ及びラインＬ１０Ｂの両端同士を結んだときに囲われる領域である。具体的には、領域Ｅ１は、ラインＬ６Ｂの一端とラインＬ１０Ｂの一端とを結ぶラインと、ラインＬ６Ｂと、ラインＬ６Ｂの他端とラインＬ１０Ｂの他端とを結ぶラインと、ラインＬ１０Ｂとの４つのラインにより囲まれた領域である。

【0052】

一方、図８（Ｃ）に示すように、上瞼が奥二重瞼である場合、隙間領域である領域Ｅ２は、顔の幅方向に一つの頂点が延びた三角形のような形状を有する領域である。領域Ｅ２の顔の幅方向における長さをＷ２とする。領域Ｅ２は、ラインＬ６Ｃ及びラインＬ１０Ｃの両端同士を結んだときに囲われる領域である。具体的には、領域Ｅ２は、ラインＬ６Ｃの一端とラインＬ１０Ｃの一端とを結ぶラインと、ラインＬ６Ｃと、ラインＬ６Ｃの他端とラインＬ１０Ｃの他端とを結ぶラインと、ラインＬ１０Ｃとの４つのラインにより囲まれた領域である。ライン判別部１１２は、検出された隙間領域が、領域Ｅ１と領域Ｅ２とのいずれと近似するのかを判別することにより、上瞼が二重瞼と奥二重瞼とのいずれであるのかを判別することが好適である。

【0053】

本実施形態では、領域Ｅ１と領域Ｅ２とでは、顔の幅方向における長さが大きく異なる点を上瞼の判別に用いる。つまり、ライン判別部１１２は、隙間領域の長さが予め定められた閾値以上である場合に上瞼が二重瞼であると判別し、隙間領域の長さがこの閾値未満である場合に上瞼が奥二重瞼であると判別する。この閾値は、例えば、目の長さの半分程度の長さである。ライン判別部１１２の機能は、例えば、プロセッサ１１の機能により実現される。

【0054】

領域決定部１１３は、表示部１０４が第１の顔画像を表示しているときにユーザが実行したメイク動作に基づいて、第１の顔画像上における第１のメイク領域を決定する。第１のメイク領域は、第１のメイクパーツが重ねられる領域である。第１のメイクパーツは、擬似的に顔に塗布された化粧品を表す画像であり、第１の顔画像に重ねられる画像である。メイク動作は、ユーザが指示装置３０を用いて、擬似的に顔に化粧品を塗布する動作である。領域決定部１１３は、接触位置特定部１０８により特定された接触位置に基づいて、第１の顔画像上における第１のメイク領域を決定する。例えば、領域決定部１１３は、目を閉じたユーザのメイク動作に起因して特定された接触位置に対応する領域を、目閉じ画像上における目閉じ用メイクパーツが重ねられる目閉じ用メイク領域に決定する。

【0055】

また、領域決定部１１３は、上記メイク動作と種別判別部１１０により判別された顔パーツの種別とに基づいて、第２の顔画像上における第２のメイク領域を決定する。第２のメイク領域は、第１のメイク領域とは異なる領域であり、第２のメイクパーツが重ねられる領域である。第２のメイクパーツは、擬似的に顔に塗布された化粧品を表す画像であり、第２の顔画像に重ねられる画像である。例えば、領域決定部１１３は、目閉じ用メイク領域を顔パーツの種別に応じて変化させた領域を、目開き用メイク領域に決定する。

【0056】

具体的には、領域決定部１１３は、種別判別部１１０によりユーザの上瞼が一重瞼であると判別された場合、第２のメイク領域として第１の大きさを有する領域を決定する。そして、領域決定部１１３は、種別判別部１１０によりユーザの上瞼が一重瞼でないと判別された場合、第２のメイク領域として第１の大きさよりも小さい大きさを有する領域を決定する。

【0057】

より詳細には、領域決定部１１３は、種別判別部１１０によりユーザの上瞼が二重瞼であると判別された場合、第２のメイク領域として第１の大きさよりも小さい第２の大きさを有する領域を決定する。そして、領域決定部１１３は、種別判別部１１０によりユーザの上瞼が奥二重瞼であると判別された場合、第２のメイク領域として第２の大きさよりも小さい第３の大きさを有する領域を決定する。つまり、目閉じ用メイク領域の大きさが同じでも、目開き用メイク領域の大きさは、一重瞼、二重瞼、奥二重瞼の順に小さくなる。

【0058】

図９に、ユーザが目を閉じながら模擬的にメイクする様子を示す。図９は、目閉じ画像が取得されているときに検知された接触位置から、目閉じ用メイク領域である領域Ｅ３が決定された様子を示している。ここで、領域決定部１１３は、目閉じ用メイク領域に基づいて、目開き用メイク領域を決定することができる。例えば、領域決定部１１３は、目閉じ用メイク領域から目に対応する領域を除外した残りの領域を、目開き用メイク領域として決定することができる。

【0059】

ここで、領域決定部１１３は、上瞼の種別に応じて、目開き用メイク領域の大きさを調整する。具体的には、領域決定部１１３は、上瞼が一重瞼であるときに目開き用メイク領域の大きさが最も大きく、上瞼が二重瞼であるときに目開き用メイク領域の大きさが中程度の大きさであり、上瞼が奥二重瞼であるときに目開き用メイク領域の大きさが最も小さくなるように、目開き用メイク領域の大きさを調整する。例えば、領域決定部１１３は、上瞼が一重瞼であるときの目開き用メイク領域を基準として、目開き用メイク領域の大きさを小さくする。

【0060】

具体的には、領域決定部１１３は、図９に示す目閉じ用メイク領域である領域Ｅ３から目に対応する領域を除外した残りの領域を、図１０（Ａ）に示す一重瞼用目開き用メイク領域である領域Ｅ４として決定する。また、領域決定部１１３は、図１０（Ａ）に示す一重瞼用目開き用メイク領域である領域Ｅ４を縦方向に縮めた領域を、図１０（Ｂ）に示す二重瞼用目開き用メイク領域である領域Ｅ５として決定する。そして、領域決定部１１３は、図１０（Ｂ）に示す二重瞼用目開き用メイク領域である領域Ｅ５を縦方向に縮めた領域を、図１０（Ｃ）に示す奥二重瞼用目開き用メイク領域である領域Ｅ６として決定する。

【0061】

このように、領域決定部１１３は、領域Ｅ４が領域Ｅ５よりも大きく、領域Ｅ５が領域Ｅ６よりも大きくなるように、各領域を決定する。より詳細には、領域決定部１１３は、領域Ｅ４の縦方向における幅が領域Ｅ５の縦方向における幅よりも広く、領域Ｅ５の縦方向における幅が領域Ｅ６の縦方向における幅よりも広くなるように、各領域を決定する。この理由は、上瞼の重なりは、一重瞼が最も浅く、二重瞼が中程度の深さであり、奥二重瞼が最も深いためである。言い換えれば、目を開けたときに隠れる上瞼の領域の広さは、一重瞼が最も狭く、二重瞼が中程度の広さであり、奥二重瞼が最も広いためである。

【0062】

また、領域決定部１１３は、上瞼の種別を考慮して、目開き用メイク領域に基づいて、目閉じ用メイク領域を決定することができる。具体的には、領域決定部１１３は、目開き用メイク領域が同じ大きさである場合、一重瞼の目閉じ用メイク領域が最も小さく、二重瞼の目閉じ用メイク領域が中程度の大きさであり、奥二重瞼の目閉じ用メイク領域が最も大きくなるように、目閉じ用メイク領域を決定する。具体的には、領域決定部１１３は、目開き用メイク領域を決定する手順と逆の手順により目閉じ用メイク領域を決定することができる。

【0063】

例えば、領域決定部１１３は、一重瞼の目閉じ用メイク領域である領域Ｅ４に目に対応する領域を追加した領域を、目開き用メイク領域である領域Ｅ３として決定する。また、領域決定部１１３は、二重瞼の目閉じ用メイク領域である領域Ｅ５を縦方向に少し伸長した領域に目に対応する領域を追加した領域を、目開き用メイク領域である領域Ｅ３として決定する。また、領域決定部１１３は、奥二重瞼の目閉じ用メイク領域である領域Ｅ６を縦方向に更に伸長した領域に目に対応する領域を追加した領域を、目開き用メイク領域である領域Ｅ３として決定する。領域決定部１１３の機能は、例えば、プロセッサ１１の機能により実現される。

【0064】

メイクパーツ生成部１１４は、第１のメイク領域に重ねるメイクパーツである第１のメイクパーツと、第２のメイク領域に重ねるメイクパーツである第２のメイクパーツとを生成する。メイクパーツ生成部１１４は、化粧品選択部１０６により選択された化粧品と領域決定部１１３により決定された第１のメイク領域とに基づいて、第１のメイクパーツを生成する。また、メイクパーツ生成部１１４は、化粧品選択部１０６により選択された化粧品と領域決定部１１３により決定された第２のメイク領域とに基づいて、第２のメイクパーツを生成する。メイクパーツ生成部１１４の機能は、例えば、プロセッサ１１の機能により実現される。

【0065】

メイクパーツ保持部１１５は、メイクパーツ生成部１１４により生成された第１のメイクパーツと第２のメイクパーツとを保持する。メイクパーツ保持部１１５に記憶された第１のメイクパーツは、表示制御部１０３により第１の顔画像に重畳される。また、メイクパーツ保持部１１５に記憶された第２のメイクパーツは、表示制御部１０３により第２の顔画像に重畳される。第１の顔画像における第１のメイク領域に第１のメイクパーツが重ねられる加工が施されることにより、第１のメイク画像が生成される。また、第２の顔画像における第２のメイク領域に第２のメイクパーツが重ねられる加工が施されることにより、第２のメイク画像が生成される。メイクパーツ保持部１１５の機能は、例えば、フラッシュメモリ１２の機能により実現される。

【0066】

次に、図１１に示すフローチャートを参照して、画像処理装置１０が実行する画像表示処理について説明する。

【0067】

まず、画像処理装置１０が備えるプロセッサ１１は、化粧品画像を表示する（ステップＳ１０１）。具体的には、プロセッサ１１は、第２のタッチスクリーン１５に化粧品画像を表示する。プロセッサ１１は、ステップＳ１０１の処理を完了すると、撮像を開始する（ステップＳ１０２）。具体的には、プロセッサ１１は、カメラ１３に撮像を開始させ、以後、カメラ１３から撮像画像を継続的に取得する。

【0068】

プロセッサ１１は、ステップＳ１０２の処理を完了すると、撮像画像を表示する（ステップＳ１０３）。具体的には、プロセッサ１１は、カメラ１３から取得した撮像画像を、第１のタッチスクリーン１４に表示させる。プロセッサ１１は、ステップＳ１０３の処理を完了すると、種別判別処理を実行する（ステップＳ１０４）。種別判別処理については、図１２を参照して、詳細に説明する。

【0069】

まず、プロセッサ１１は、撮像画像が目開き画像であるか否かを判別する（ステップＳ２０１）。プロセッサ１１は、撮像画像が目開き画像でないと判別すると（ステップＳ２０１：ＮＯ）、種別判別処理を完了する。プロセッサ１１は、撮像画像が目開き画像であると判別すると（ステップＳ２０１：ＹＥＳ）、目の座標を検出する（ステップＳ２０２）。例えば、プロセッサ１１は、撮像画像に含まれる円形の画像を検出し、検出した円形の画像の位置を目の座標として検出する。

【0070】

プロセッサ１１は、ステップＳ２０２の処理を完了すると、目の周辺のラインを検出する（ステップＳ２０３）。例えば、プロセッサ１１は、図７に示す１２本のラインを検出する。プロセッサ１１は、ステップＳ２０３の処理を完了すると、ラインＬ１０が検出されたか否かを判別する（ステップＳ２０４）。プロセッサ１１は、ラインＬ１０が検出されないと判別すると（ステップＳ２０４：ＮＯ）、上瞼が一重瞼であると判別する（ステップＳ２０５）。

【0071】

プロセッサ１１は、ラインＬ１０が検出されたと判別すると（ステップＳ２０４：ＹＥＳ）、隙間領域を特定する（ステップＳ２０６）。プロセッサ１１は、ステップＳ２０６の処理を完了すると、隙間領域の長さが閾値以上であるか否かを判別する（ステップＳ２０７）。プロセッサ１１は、隙間領域の長さが閾値以上であると判別すると（ステップＳ２０７：ＹＥＳ）、上瞼が二重瞼であると判別する（ステップＳ２０８）。プロセッサ１１は、隙間領域の長さが閾値以上でないと判別すると（ステップＳ２０７：ＮＯ）、上瞼が奥二重瞼であると判別する（ステップＳ２０９）。

【0072】

プロセッサ１１は、ステップＳ２０５、ステップＳ２０８、ステップＳ２０９の処理を完了すると、種別情報を記憶する（ステップＳ２１０）。種別情報は、上瞼が一重瞼と二重瞼と奥二重瞼とのいずれであるのかを示す情報であり、フラッシュメモリ１２に記憶される。プロセッサ１１は、ステップＳ２１０の処理を完了すると、種別判別処理を完了する。

【0073】

プロセッサ１１は、ステップＳ１０４の処理を完了すると、第２のタッチスクリーン１５に指示装置３０が接触しているか否かを判別する（ステップＳ１０５）。プロセッサ１１は、第２のタッチスクリーン１５に指示装置３０が接触していると判別すると（ステップＳ１０５：ＹＥＳ）、化粧品を選択する（ステップＳ１０６）。プロセッサ１１は、第２のタッチスクリーン１５に指示装置３０が接触していないと判別した場合（ステップＳ１０５：ＮＯ）、又は、ステップＳ１０６の処理を完了した場合、撮像画像内で指示装置３０が顔に接触したか否かを判別する（ステップＳ１０７）。

【0074】

プロセッサ１１は、撮像画像内で指示装置３０が顔に接触したと判別すると（ステップＳ１０７：ＹＥＳ）、接触情報を受信したか否かを判別する（ステップＳ１０８）。プロセッサ１１は、接触情報を受信したと判別すると（ステップＳ１０８：ＹＥＳ）、領域決定処理を実行する（ステップＳ１０９）。領域決定処理については、図１３を参照して詳細に説明する。

【0075】

まず、プロセッサ１１は、基本メイク領域を決定する（ステップＳ３０１）。具体的には、プロセッサ１１は、接触位置から基本メイク領域を決定する。プロセッサ１１は、ステップＳ３０１の処理を完了すると、撮像画像が目閉じ画像であるか否かを判別する（ステップＳ３０２）。プロセッサ１１は、撮像画像が目閉じ画像であると判別すると（ステップＳ３０２：ＹＥＳ）、基本メイク領域を目閉じ用メイク画像に決定する（ステップＳ３０３）。

【0076】

プロセッサ１１は、ステップＳ３０３の処理を完了すると、ユーザの上瞼が一重瞼であるか否かを判別する（ステップＳ３０４）。プロセッサ１１は、ユーザの上瞼が一重瞼であると判別すると（ステップＳ３０４：ＹＥＳ）、目開きメイク領域として大きめのメイク領域を決定する（ステップＳ３０５）。プロセッサ１１は、ユーザの上瞼が一重瞼でないと判別すると（ステップＳ３０４：ＮＯ）、ユーザの上瞼が二重瞼であるか否かを判別する（ステップＳ３０６）。

【0077】

プロセッサ１１は、ユーザの上瞼が二重瞼であると判別すると（ステップＳ３０６：ＹＥＳ）、目開きメイク領域として中程度のメイク領域を決定する（ステップＳ３０７）。プロセッサ１１は、ユーザの上瞼が二重瞼でないと判別すると（ステップＳ３０６：ＮＯ）、目開きメイク領域として小さめのメイク領域を決定する（ステップＳ３０８）。

【0078】

プロセッサ１１は、撮像画像が目閉じ画像でないと判別すると（ステップＳ３０２：ＮＯ）、基本メイク領域を目開き用メイク画像に決定する（ステップＳ３０９）。プロセッサ１１は、ステップＳ３０９の処理を完了すると、ユーザの上瞼が一重瞼であるか否かを判別する（ステップＳ３１０）。プロセッサ１１は、ユーザの上瞼が一重瞼であると判別すると（ステップＳ３１０：ＹＥＳ）、目閉じメイク領域として小さめのメイク領域を決定する（ステップＳ３１１）。プロセッサ１１は、ユーザの上瞼が一重瞼でないと判別すると（ステップＳ３１０：ＮＯ）、ユーザの上瞼が二重瞼であるか否かを判別する（ステップＳ３１２）。

【0079】

プロセッサ１１は、ユーザの上瞼が二重瞼であると判別すると（ステップＳ３１２：ＹＥＳ）、目閉じメイク領域として中程度のメイク領域を決定する（ステップＳ３１３）。プロセッサ１１は、ユーザの上瞼が二重瞼でないと判別すると（ステップＳ３１２：ＮＯ）、目閉じメイク領域として大きめのメイク領域を決定する（ステップＳ３１４）。

【0080】

プロセッサ１１は、ステップＳ３０５、ステップＳ３０７、ステップＳ３０８、ステップＳ３１１、ステップＳ３１３、ステップＳ３１４の処理を完了すると、領域情報を記憶する（ステップＳ３１５）。プロセッサ１１は、ステップＳ３１５の処理を完了すると、領域決定処理を完了する。

【0081】

プロセッサ１１は、ステップＳ１０９の処理を完了すると、目閉じ用メイクパーツと目開き用メイクパーツとを生成する（ステップＳ１１０）。プロセッサ１１は、撮像画像内で指示装置３０が顔に接触していないと判別した場合（ステップＳ１０７：ＮＯ）、接触情報を受信していないと判別した場合（ステップＳ１０８：ＮＯ）、又は、ステップＳ１１０の処理を完了した場合、撮像画像が目閉じ画像であるか否かを判別する（ステップＳ１１１）。

【0082】

プロセッサ１１は、撮像画像が目閉じ画像であると判別すると（ステップＳ１１１：ＹＥＳ）、目閉じ用メイク領域に目閉じ用メイクパーツが重ねられた目閉じ用メイク画像を表示する（ステップＳ１１２）。プロセッサ１１は、撮像画像が目閉じ画像でないと判別すると（ステップＳ１１１：ＮＯ）、目開き用メイク領域に目開き用メイクパーツが重ねられた目開き用メイク画像を表示する（ステップＳ１１３）。プロセッサ１１は、ステップＳ１１２の処理、又は、ステップＳ１１３の処理を完了すると、ステップＳ１０３に処理を戻す。

【0083】

本実施形態によれば、化粧品が塗布された顔の状態を顔パーツの種別に応じて適切にシミュレーションすることができる。本実施形態では、メイク時においてメイク領域が同じ大きさであったとしても、目の状態が変化した場合、目の特徴（上瞼の種別）に応じて適切なメイク領域の大きさが設定されるため、よりリアリティの高いメイクシミュレーションが実現可能である。つまり、本実施形態では、目閉じ用メイク領域と目開き用メイク領域とが、上瞼が一重瞼であるか否かに応じた適切な大きさに設定されるため、メイクシミュレーション中にユーザの目の状態が変化した場合でも、自然なメイク画像の表示が可能である。また、本実施形態によれば、第１のラインの検出により、上瞼が一重瞼であるか否かを容易に検出することができる。

【0084】

また、本実施形態によれば、目閉じ用メイク領域と目開き用メイク領域とが、上瞼が一重瞼と二重瞼と奥二重瞼とのいずれであるかに応じた適切な大きさに設定されるため、メイクシミュレーション中にユーザの目の状態が変化した場合でも、自然なメイク画像の表示が可能である。また、本実施形態によれば、第１のラインと第２のラインとの検出により、上瞼が一重瞼と二重瞼と奥二重瞼とのいずれであるかを容易に検出することができる。また、本実施形態によれば、第１のラインと第２のラインと間の隙間領域の判定により、上瞼が一重瞼と二重瞼と奥二重瞼とのいずれであるかを容易に検出することができる。また、本実施形態によれば、指示体を用いたメイクシミュレーションが実行可能である。

【0085】

（実施形態２）
実施形態１では、画像処理装置１０と指示装置３０とを備えるメイクシミュレーション装置１００について説明した。画像処理装置１０が単体でメイクシミュレーション装置として機能することもできる。

【0086】

以下、図１４を参照して、本実施形態に係る画像処理装置１０の機能について説明する。本実施形態に係る画像処理装置１０は、機能的には、情報受信部１０７と接触位置特定部１０８とを備えず、塗布操作受付部１１６を備える。

【0087】

塗布操作受付部１１６は、ユーザにより化粧品の模擬的な塗布操作を受け付ける。この塗布操作は、実際のユーザの顔に対する接触動作ではなく、第１のタッチスクリーン１４に表示された撮像画像に対する操作である。塗布操作受付部１１６の機能は、例えば、プロセッサ１１と第１のタッチスクリーン１４とが協働することにより実現される。

【0088】

領域決定部１１３は、塗布操作受付部１１６により受け付けられた塗布操作に基づいて、第１のメイク領域と第２のメイク領域とを決定する。具体的には、領域決定部１１３は、塗布操作により指定された撮像画像内における座標を示す情報に基づいて、第１のメイク領域と第２のメイク領域とを決定する。

【0089】

本実施形態によれば、画像処理装置１０単体で、化粧品が塗布された顔の状態を顔パーツの形状に応じて適切にシミュレーションすることができる。

【0090】

（変形例）
以上、本発明の実施形態を説明したが、本発明を実施するにあたっては、種々の形態による変形及び応用が可能である。

【0091】

本発明において、上記実施形態において説明した構成、機能、動作のどの部分を採用するのかは任意である。また、本発明において、上述した構成、機能、動作のほか、更なる構成、機能、動作が採用されてもよい。また、上述した実施形態は、適宜、自由に組み合わせることができる。また、上述した実施形態で説明した構成要素の個数は、適宜、調整することができる。また、本発明において採用可能な素材、サイズ、電気的特性などが、上記実施形態において示したものに限定されないことは勿論である。

【0092】

上記実施形態では、プロセッサ１１において、ＣＰＵがＲＯＭに記憶されたプログラムを実行することによって、各種の処理を実行する例について説明した。本発明において、プロセッサ１１の代わりに、例えばＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、各種制御回路等の専用のハードウェアを備え、専用のハードウェアが、各種の処理を実行してもよい。この場合、各部の機能それぞれを個別のハードウェアで実現しても良いし、各部の機能をまとめて単一のハードウェアで実現しても良い。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現しても良い。

【0093】

なお、本発明に係る機能を実現するための構成を予め備えた画像処理装置として提供できることはもとより、プログラムの適用により、既存の情報処理装置等を、本発明に係る画像処理装置として機能させることもできる。すなわち、上記実施形態で例示した画像処理装置１０による各機能構成を実現させるためのプログラムを、既存の情報処理装置等を制御するＣＰＵ等が実行できるように適用することで、本発明に係る画像処理装置として機能させることができる。

【0094】

また、このようなプログラムの適用方法は任意である。プログラムを、例えば、フレキシブルディスク、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）－ＲＯＭ、メモリカード等のコンピュータ読み取り可能な記憶媒体に格納して適用できる。さらに、プログラムを搬送波に重畳し、インターネットなどの通信媒体を介して適用することもできる。例えば、通信ネットワーク上の掲示板（ＢＢＳ：Bulletin Board System）にプログラムを掲示して配信してもよい。そして、このプログラムを起動し、ＯＳ（Operating System）の制御下で、他のアプリケーションプログラムと同様に実行することにより、上記の処理を実行できるように構成してもよい。

【0095】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲とが含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
（付記１）
顔パーツが第１の状態であるときに撮像されたユーザの顔画像である第１の顔画像と前記顔パーツが前記第１の状態とは異なる第２の状態であるときに撮像された前記ユーザの顔画像である第２の顔画像とを取得する画像取得手段と、
前記画像取得手段により取得された前記ユーザの顔画像を表示する表示手段と、
前記画像取得手段により取得された前記第１の顔画像と前記第２の顔画像とのうちの少なくとも一方に基づいて、前記ユーザの前記顔パーツの種別を判別する種別判別手段と、
前記顔パーツが前記第１の状態であるときに前記ユーザが実行したメイク動作に基づいて、前記第１の顔画像上における第１のメイク領域を決定し、前記メイク動作と前記種別判別手段により判別された前記顔パーツの種別とに基づいて、前記第２の顔画像上における、前記第１のメイク領域とは異なる大きさを有する第２のメイク領域を決定する領域決定手段と、を備える、
画像処理装置。
（付記２）
前記メイク動作の実行後に前記画像取得手段が前記第１の顔画像を取得した場合、前記表示手段に、前記第１の顔画像上における前記第１のメイク領域が加工された第１のメイク画像を表示させ、前記メイク動作の実行後に前記画像取得手段が前記第２の顔画像を取得した場合、前記表示手段に、前記第２の顔画像上における前記第２のメイク領域が加工された第２のメイク画像を表示させる表示制御手段を更に備える、
付記１に記載の画像処理装置。
（付記３）
前記第１のメイク画像は、前記第１の顔画像上における前記第１のメイク領域に、前記メイク動作により指定された化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像であり、
前記第２のメイク画像は、前記第２の顔画像上における前記第２のメイク領域に、前記メイクパーツが重ねられた画像である、
付記２に記載の画像処理装置。
（付記４）
前記顔パーツは上瞼であり、
前記第１の状態は閉じた状態であり、前記第２の状態は開いた状態であり、
前記種別判別手段は、前記ユーザの上瞼が一重瞼であるか否かを判別し、
前記領域決定手段は、前記種別判別手段により前記ユーザの上瞼が一重瞼であると判別された場合、前記第２のメイク領域として第１の大きさを有する領域を決定し、前記種別判別手段により前記ユーザの上瞼が一重瞼でないと判別された場合、前記第２のメイク領域として前記第１の大きさよりも小さい大きさを有する領域を決定する、
付記１から３のいずれか１項に記載の画像処理装置。
（付記５）
前記種別判別手段は、
前記画像取得手段により取得された前記第２の顔画像から、二重瞼又は奥二重瞼の溝を表す第１のラインを検出するライン検出手段と、
前記ライン検出手段により前記第１のラインが検出されない場合、前記ユーザの上瞼が一重瞼であると判別し、前記ライン検出手段により前記第１のラインが検出された場合、前記ユーザの上瞼が一重瞼でないと判別するライン判別手段と、を備える、
付記４に記載の画像処理装置。
（付記６）
前記種別判別手段は、前記ユーザの上瞼が一重瞼と二重瞼と奥二重瞼とのうちのいずれであるのかを判別し、
前記領域決定手段は、前記種別判別手段により前記ユーザの上瞼が一重瞼であると判別された場合、前記第２のメイク領域として前記第１の大きさを有する領域を決定し、前記種別判別手段により前記ユーザの上瞼が二重瞼であると判別された場合、前記第２のメイク領域として前記第１の大きさよりも小さい第２の大きさを有する領域を決定し、前記種別判別手段により前記ユーザの上瞼が奥二重瞼であると判別された場合、前記第２のメイク領域として前記第２の大きさよりも小さい第３の大きさを有する領域を決定する、
付記４に記載の画像処理装置。
（付記７）
前記種別判別手段は、
前記画像取得手段により取得された前記第２の顔画像から、二重瞼又は奥二重瞼の溝を表す第１のラインと、上瞼と目との境界の粘膜部分を表す第２のラインとを検出するライン検出手段と、
前記ライン検出手段により検出された前記第１のラインと前記第２のラインとに基づいて、前記ユーザの上瞼が一重瞼と二重瞼と奥二重瞼とのうちのいずれであるのかを判別するライン判別手段と、を備える、
付記６に記載の画像処理装置。
（付記８）
前記ライン判別手段は、前記ライン検出手段により前記第１のラインが検出されない場合、前記ユーザの上瞼が一重瞼であると判別し、前記第１のラインと前記第２のラインとに挟まれる隙間領域の顔の幅方向における長さが閾値以上である場合、前記ユーザの上瞼が二重瞼であると判別し、前記長さが前記閾値未満である場合、前記ユーザの上瞼が奥二重瞼であると判別する、
付記７に記載の画像処理装置。
（付記９）
前記表示制御手段は、前記表示手段に、前記第１の顔画像又は前記第２の顔画像を第１の表示領域に表示させ、化粧品を表現する化粧品画像を前記第１の表示領域とは異なる第２の表示領域に表示させ、
前記表示手段が前記第２の表示領域に前記化粧品画像が表示しているときに、指示体を用いた前記第２の表示領域への接触を伴うユーザ操作を受け付ける操作受付手段と、
前記操作受付手段が前記ユーザ操作を受け付けた後、前記表示手段が前記第１の顔画像を表示しているときに前記指示体が前記ユーザの顔に接触した場合、前記第１の顔画像に基づいて、前記ユーザの顔における前記指示体が接触した接触位置を特定する接触位置特定手段と、を更に備え、
前記領域決定手段は、前記第１の顔画像上における前記接触位置特定手段により特定された前記接触位置に応じた領域を前記第１のメイク領域として決定し、前記第２の顔画像上における、前記接触位置と前記顔パーツの形状とに応じた領域を前記第２のメイク領域として決定し、
前記第１のメイク画像は、前記第１の顔画像上における前記第１のメイク領域に、前記化粧品が前記ユーザの顔に塗布された状態を表現するメイクパーツが重ねられた画像であり、
前記第２のメイク画像は、前記第２の顔画像上における前記第２のメイク領域に、前記メイクパーツが重ねられた画像である、
付記２に記載の画像処理装置。
（付記１０）
顔パーツが第１の状態であるときに撮像されたユーザの顔画像である第１の顔画像と前記顔パーツが前記第１の状態とは異なる第２の状態であるときに撮像された前記ユーザの顔画像である第２の顔画像とを取得し、
前記ユーザの顔画像を表示し、
前記第１の顔画像と前記第２の顔画像とのうちの少なくとも一方に基づいて、前記ユーザの前記顔パーツの種別を判別し、
前記顔パーツが前記第１の状態であるときに前記ユーザが実行したメイク動作に基づいて、前記第１の顔画像上における第１のメイク領域を決定し、前記メイク動作と前記顔パーツの形状とに基づいて、前記第２の顔画像上における、前記第１のメイク領域とは異なる大きさを有する第２のメイク領域を決定する、
画像処理方法。
（付記１１）
コンピュータを、
顔パーツが第１の状態であるときに撮像されたユーザの顔画像である第１の顔画像と前記顔パーツが前記第１の状態とは異なる第２の状態であるときに撮像された前記ユーザの顔画像である第２の顔画像とを取得する画像取得手段、
前記画像取得手段により取得された前記ユーザの顔画像を表示装置に表示させる表示制御手段、
前記画像取得手段により取得された前記第１の顔画像と前記第２の顔画像とのうちの少なくとも一方に基づいて、前記ユーザの前記顔パーツの種別を判別する種別判別手段、
前記顔パーツが前記第１の状態であるときに前記ユーザが実行したメイク動作に基づいて、前記第１の顔画像上における第１のメイク領域を決定し、前記メイク動作と前記種別判別手段により判別された前記顔パーツの種別とに基づいて、前記第２の顔画像上における、前記第１のメイク領域とは異なる大きさを有する第２のメイク領域を決定する領域決定手段、として機能させる、
プログラム。

【符号の説明】

【0096】

１０…画像処理装置、１１…プロセッサ、１２…フラッシュメモリ、１３…カメラ、１４…第１のタッチスクリーン、１５…第２のタッチスクリーン、１６…通信インターフェース、３０…指示装置、３１…プロセッサ、３２…フラッシュメモリ、３３…圧力センサ、３４…通信インターフェース、１００…メイクシミュレーション装置、１０１…撮像部、１０２…画像取得部、１０３…表示制御部、１０４…表示部、１０５…操作受付部、１０６…化粧品選択部、１０７…情報受信部、１０８…接触位置特定部、１０９…状態判別部、１１０…種別判別部、１１１…ライン検出部、１１２…ライン判別部、１１３…領域決定部、１１４…メイクパーツ生成部、１１５…メイクパーツ保持部、１１６…塗布操作受付部、３０１…接触検知部、３０２…情報送信部、Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ６Ａ，Ｌ６Ｂ，Ｌ６Ｃ，Ｌ７，Ｌ８，Ｌ９，Ｌ１０，Ｌ１０Ｂ，Ｌ１０Ｃ，Ｌ１１，Ｌ１２…ライン、Ｅ１，Ｅ２，Ｅ３，Ｅ４，Ｅ５，Ｅ６…領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【手続補正書】

【提出日】2023-10-03

【手続補正1】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正の内容】

【0007】

上記目的を達成するために、本発明に係る画像処理装置は、
上瞼が開いた状態であるときに撮像されたユーザの顔画像である目開き画像を取得する画像取得手段と、
前記上瞼が閉じた状態であるときに前記ユーザが実行したメイク動作と前記上瞼の種別とに基づいて、前記ユーザの前記目開き画像上におけるメイク領域を決定する際に、前記ユーザの上瞼が一重瞼である場合のメイク領域を、前記ユーザの上瞼が奥二重瞼である場合のメイク領域よりも大きくなるように前記メイク領域を決定する領域決定手段と、を備える。

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

上瞼が開いた状態であるときに撮像されたユーザの顔画像である目開き画像を取得する画像取得手段と、
前記上瞼が閉じた状態であるときに前記ユーザが実行したメイク動作と前記上瞼の種別とに基づいて、前記ユーザの前記目開き画像上におけるメイク領域を決定する際に、前記ユーザの上瞼が一重瞼である場合のメイク領域を、前記ユーザの上瞼が奥二重瞼である場合のメイク領域よりも大きくなるように前記メイク領域を決定する領域決定手段と、を備える、
画像処理装置。

【請求項2】

前記画像取得手段は、前記上瞼が閉じた状態であるときに撮像された前記ユーザの顔画像である目閉じ画像を取得し、
前記画像取得手段により取得された前記目開き画像と前記目閉じ画像とのうちの少なくとも一方に基づいて、前記ユーザの前記上瞼の種別を判別する種別判別手段と、を備える、
請求項１に記載の画像処理装置。

【請求項3】

上瞼が開いた状態であるときに撮像されたユーザの顔画像である目開き画像を取得し、
前記上瞼が閉じた状態であるときに前記ユーザが実行したメイク動作と前記上瞼の種別とに基づいて、前記ユーザの前記目開き画像上におけるメイク領域を決定する際に、前記ユーザの上瞼が一重瞼である場合のメイク領域を、前記ユーザの上瞼が奥二重瞼である場合のメイク領域よりも大きくなるように前記メイク領域を決定する、
画像処理方法。

【請求項4】

コンピュータを、
上瞼が開いた状態であるときに撮像されたユーザの顔画像である目開き画像を取得する画像取得手段、
前記上瞼が閉じた状態であるときに前記ユーザが実行したメイク動作と前記上瞼の種別とに基づいて、前記ユーザの前記目開き画像上におけるメイク領域を決定する際に、前記ユーザの上瞼が一重瞼である場合のメイク領域を、前記ユーザの上瞼が奥二重瞼である場合のメイク領域よりも大きくなるように前記メイク領域を決定する領域決定手段、として機能させる、
プログラム。