特開 2015-197710 化粧支援装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2015-197710(P2015-197710A)

(43)【公開日】2015年11月9日

(54)【発明の名称】化粧支援装置およびプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20151013BHJP

   G06F 3/01 20060101ALI20151013BHJP

   G06F 3/048 20130101ALI20151013BHJP

【ＦＩ】

   G06T1/00 340A

   G06F3/01 310C

   G06F3/048 651B

【審査請求】未請求

【請求項の数】34

【出願形態】ＯＬ

【全頁数】35

(21)【出願番号】特願2014-73896(P2014-73896)

(22)【出願日】2014年3月31日

(71)【出願人】

【識別番号】591128453

【氏名又は名称】株式会社メガチップス

(74)【代理人】

【識別番号】100135002

【弁理士】

【氏名又は名称】松岡 直之

(72)【発明者】

【氏名】田中 基康

(72)【発明者】

【氏名】佐々木 直子

【テーマコード（参考）】

5B057

5E555

【Ｆターム（参考）】

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB13

5B057CB16

5B057CD14

5B057CE11

5B057CE17

5B057CH16

5B057CH18

5B057CH20

5B057DA16

5B057DB02

5B057DB09

5B057DC09

5B057DC36

5E555AA11

5E555BA04

5E555BB04

5E555BC04

5E555BC18

5E555BE16

5E555CA42

5E555CB67

5E555DB56

5E555DC13

5E555DC43

5E555DD06

5E555EA14

5E555EA22

5E555FA02

(57)【要約】

【課題】ユーザが化粧をする場合において、当該ユーザに対してより適切に支援する技術を提供する。
【解決手段】ユーザが自身に化粧を施す際に当該ユーザによって携帯される化粧支援装置１に、ユーザを撮像して撮像情報を取得する撮像部７１と、撮像部７１により取得された撮像情報１１２に基づいて、ユーザに関する三次元の形状に関する情報を取得して三次元形状情報１１３を作成する計測制御部１００と、計測制御部１００により作成された三次元形状情報１１３に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する情報作成部１０３と、情報作成部１０３により作成された化粧支援情報１１４を表示する表示部５とを設ける。
【選択図】図３

【特許請求の範囲】

【請求項1】

ユーザが自身に化粧を施す際に前記ユーザによって携帯される化粧支援装置であって、
前記ユーザを撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、
前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、
前記情報作成手段により作成された化粧支援情報を表示する表示手段と、
を備える化粧支援装置。

【請求項2】

請求項１に記載の化粧支援装置であって、
前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する化粧支援装置。

【請求項3】

請求項１に記載の化粧支援装置であって、
前記三次元計測手段は、前記ユーザに関する三次元の形状に関する情報を、前記ユーザの化粧時より前に取得して準備三次元形状情報として作成する化粧支援装置。

【請求項4】

請求項３に記載の化粧支援システムであって、
前記情報作成手段は、前記三次元計測手段により作成された準備三次元形状情報に対して、前記ユーザの化粧時に前記撮像手段により取得された撮像情報をテクスチャマッピングすることにより、前記化粧支援情報を作成する化粧支援装置。

【請求項5】

請求項３または４に記載の化粧支援装置であって、
前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する化粧支援装置。

【請求項6】

請求項５に記載の化粧支援装置であって、
前記ユーザの化粧時において前記撮像手段により取得された撮像情報に基づいて、三次元の形状に関する情報を必要とする前記ユーザの部位を特定する特定手段をさらに備える化粧支援装置。

【請求項7】

請求項６に記載の化粧支援装置であって、
前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されている部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、
前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についてのみ三次元の形状に関する情報を前記ユーザの化粧時に取得し、取得した当該三次元の形状に関する情報と、前記準備三次元形状情報とを合成することにより前記ユーザに関する三次元形状情報を作成する化粧支援装置。

【請求項8】

請求項６または７に記載の化粧支援装置であって、
前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されていない部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、
前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についての前記準備三次元形状情報と、前記ユーザの化粧時に取得した前記ユーザに関する三次元の形状に関する情報とを合成して前記三次元形状情報を作成する化粧支援装置。

【請求項9】

請求項１ないし８のいずれかに記載の化粧支援装置であって、
視点情報を取得する視点取得手段をさらに備え、
前記情報作成手段は、前記視点取得手段により取得された視点情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する化粧支援装置。

【請求項10】

請求項１ないし９のいずれかに記載の化粧支援装置であって、
前記ユーザの化粧時において前記撮像手段により撮像された撮像情報に基づいて前記ユーザの視線を推定することにより、前記表示手段に表示される化粧支援情報の表示位置を補正する化粧支援装置。

【請求項11】

請求項１ないし１０のいずれかに記載の化粧支援装置であって、
前記三次元計測手段により作成された三次元形状情報に基づいて、前記ユーザの肌質を推定する肌質推定手段をさらに備え、
前記情報作成手段は、前記肌質推定手段により推定された前記ユーザの化粧時における肌質に適した化粧支援情報を作成する化粧支援装置。

【請求項12】

請求項１ないし１１のいずれかに記載の化粧支援装置であって、
肌面を押圧したときの前記肌面の変化に基づいて前記肌面の弾性を推定する弾性推定手段をさらに備え、
前記情報作成手段は、前記弾性推定手段により推定された前記ユーザの化粧時における肌面の弾性に適した化粧支援情報を作成する化粧支援装置。

【請求項13】

請求項１ないし１２のいずれかに記載の化粧支援装置であって、
前記ユーザの化粧時における前記ユーザによる押圧力を推定する押圧力推定手段をさらに備え、
前記化粧支援情報は、前記押圧力推定手段により推定された前記ユーザによる押圧力に関する情報を含む化粧支援装置。

【請求項14】

請求項１ないし１３のいずれかに記載の化粧支援装置であって、
前記ユーザの化粧時における化粧品の塗布速度を推定する速度推定手段をさらに備え、
前記化粧支援情報は、前記速度推定手段により推定された前記塗布速度に関する情報を含む化粧支援装置。

【請求項15】

請求項１ないし１４のいずれかに記載の化粧支援装置であって、
前記ユーザの頬骨位置を推定する頬骨位置推定手段をさらに備え、
前記情報作成手段は、前記頬骨位置推定手段により推定された前記ユーザの頬骨位置に応じて化粧支援情報を作成する化粧支援装置。

【請求項16】

請求項１ないし１５のいずれかに記載の化粧支援装置であって、
化粧時における光環境を推定する光推定手段をさらに備える化粧支援装置。

【請求項17】

請求項１６に記載の化粧支援装置であって、
前記光推定手段は、光の光線方向および光線強度を推定する化粧支援装置。

【請求項18】

請求項１６または１７に記載の化粧支援装置であって、
前記光推定手段は、光の色を推定する化粧支援装置。

【請求項19】

請求項１６ないし１８のいずれかに記載の化粧支援装置であって、
前記光推定手段により推定された化粧時における光環境と基準となる光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する化粧支援装置。

【請求項20】

請求項１６ないし１８のいずれかに記載の化粧支援装置であって、
前記光推定手段により推定された化粧時における光環境と前記ユーザの所望する披露場所における光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する化粧支援装置。

【請求項21】

請求項１６ないし２０のいずれかに記載の化粧支援装置であって、
前記光推定手段により推定された化粧時における光環境に応じて、前記ユーザの化粧時における顔色を推定する顔色推定手段をさらに備え、
前記情報作成手段は、前記顔色推定手段により推定された前記ユーザの化粧時における顔色に適した化粧支援情報を作成する化粧支援装置。

【請求項22】

請求項１ないし２１のいずれかに記載の化粧支援装置であって、
前記情報作成手段は、前記ユーザの所望する披露場所における光環境に適した化粧支援情報を作成する化粧支援装置。

【請求項23】

請求項１ないし２２のいずれかに記載の化粧支援装置であって、
前記情報作成手段は、前記ユーザの化粧目的に応じた化粧支援情報を作成する化粧支援装置。

【請求項24】

請求項１ないし２３のいずれかに記載の化粧支援装置であって、
前記情報作成手段は、前記ユーザが所持している物品の中から推奨物品を選択し、選択した前記推奨物品に関する情報を化粧支援情報に含める化粧支援装置。

【請求項25】

請求項１ないし２４のいずれかに記載の化粧支援装置であって、
前記化粧支援情報は、前記ユーザについて、化粧後の予測画像情報を含む化粧支援装置。

【請求項26】

請求項１ないし２５のいずれかに記載の化粧支援装置であって、
前記化粧支援情報は、前記ユーザについて、化粧を施すべき位置に関する情報を含む化粧支援装置。

【請求項27】

請求項２６に記載の化粧支援装置であって、
前記化粧を施すべき位置は、化粧品を塗るときの塗り開始位置に関する情報を含む化粧支援装置。

【請求項28】

請求項２６または２７に記載の化粧支援装置であって、
前記化粧を施すべき位置は、化粧品を塗るときの塗り終了位置に関する情報を含む化粧支援装置。

【請求項29】

請求項２６ないし２８のいずれかに記載の化粧支援装置であって、
前記化粧を施すべき位置は、化粧品を塗るときの軌跡に関する情報を含む化粧支援装置。

【請求項30】

請求項１ないし２９のいずれかに記載の化粧支援装置であって、
前記化粧支援情報は、化粧品の塗るべき濃度に関する情報を含む化粧支援装置。

【請求項31】

請求項１ないし３０のいずれかに記載の化粧支援装置であって、
前記化粧支援情報は、睫毛の湾曲度合いに関する情報を含む化粧支援装置。

【請求項32】

請求項１ないし３１のいずれかに記載の化粧支援装置であって、
前記化粧支援情報は、前記ユーザについて、化粧の終了に関する情報を含む化粧支援装置。

【請求項33】

請求項３２に記載の化粧支援装置であって、
前記情報作成手段は、前記ユーザの複数の部位を比較することにより、前記化粧の終了を判定する化粧支援装置。

【請求項34】

ユーザが自身に化粧を施す際に前記ユーザによって携帯されるコンピュータによって読み取られるプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータを、
前記ユーザを撮像して撮像情報を取得する撮像手段と、
前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、
前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、
前記情報作成手段により作成された化粧支援情報を表示する表示手段と、
を備える化粧支援装置として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの身体に関する三次元の情報を用いて、当該ユーザの化粧を支援する技術に関する。

【背景技術】

【0002】

従来より、ユーザの化粧を支援する様々な技術が提案されている。例えば、特許文献１には、ユーザの顔を撮像した顔画像を表示することにより当該ユーザに対して眉毛を整える作業の支援を行う技術が記載されている。また、特許文献２には、ユーザを撮像した画像を様々な用途に応じて加工して表示する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００７−２９３６４９号公報

【特許文献2】特開２０１３−２２３００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところが、従来の技術では、二次元情報である撮像画像のみによって三次元の物体である人体に施す化粧を支援することになるため、支援することのできる状況や手法に限界があるという問題があった。

【0005】

本発明は、上記課題に鑑みてなされたものであり、ユーザが化粧をする場合において、当該ユーザに対してより適切に支援する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記の課題を解決するため、請求項１の発明は、ユーザが自身に化粧を施す際に前記ユーザによって携帯される化粧支援装置であって、前記ユーザを撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、前記情報作成手段により作成された化粧支援情報を表示する表示手段とを備える。

【0007】

また、請求項２の発明は、請求項１の発明に係る化粧支援装置であって、前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する。

【0008】

また、請求項３の発明は、請求項１の発明に係る化粧支援装置であって、前記三次元計測手段は、前記ユーザに関する三次元の形状に関する情報を、前記ユーザの化粧時より前に取得して準備三次元形状情報として作成する。

【0009】

また、請求項４の発明は、請求項３の発明に係る化粧支援システムであって、前記情報作成手段は、前記三次元計測手段により作成された準備三次元形状情報に対して、前記ユーザの化粧時に前記撮像手段により取得された撮像情報をテクスチャマッピングすることにより、前記化粧支援情報を作成する。

【0010】

また、請求項５の発明は、請求項３または４の発明に係る化粧支援装置であって、前記三次元計測手段は、前記ユーザの化粧時において前記ユーザに関する三次元の形状に関する情報を取得する。

【0011】

また、請求項６の発明は、請求項５の発明に係る化粧支援装置であって、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に基づいて、三次元の形状に関する情報を必要とする前記ユーザの部位を特定する特定手段をさらに備える。

【0012】

また、請求項７の発明は、請求項６の発明に係る化粧支援装置であって、前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されている部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についてのみ三次元の形状に関する情報を前記ユーザの化粧時に取得し、取得した当該三次元の形状に関する情報と、前記準備三次元形状情報とを合成することにより前記ユーザに関する三次元形状情報を作成する。

【0013】

また、請求項８の発明は、請求項６または７の発明に係る化粧支援装置であって、前記特定手段は、前記ユーザの化粧時において前記撮像手段により取得された撮像情報に撮像されていない部位の中から前記三次元の形状に関する情報を必要とする前記ユーザの部位を特定し、前記三次元計測手段は、前記特定手段により特定された前記ユーザの部位に関する部分についての前記準備三次元形状情報と、前記ユーザの化粧時に取得した前記ユーザに関する三次元の形状に関する情報とを合成して前記三次元形状情報を作成する。

【0014】

また、請求項９の発明は、請求項１ないし８のいずれかの発明に係る化粧支援装置であって、視点情報を取得する視点取得手段をさらに備え、前記情報作成手段は、前記視点取得手段により取得された視点情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する。

【0015】

また、請求項１０の発明は、請求項１ないし９のいずれかの発明に係る化粧支援装置であって、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報に基づいて前記ユーザの視線を推定することにより、前記表示手段に表示される化粧支援情報の表示位置を補正する。

【0016】

また、請求項１１の発明は、請求項１ないし１０のいずれかの発明に係る化粧支援装置であって、前記三次元計測手段により作成された三次元形状情報に基づいて、前記ユーザの肌質を推定する肌質推定手段をさらに備え、前記情報作成手段は、前記肌質推定手段により推定された前記ユーザの化粧時における肌質に適した化粧支援情報を作成する。

【0017】

また、請求項１２の発明は、請求項１ないし１１のいずれかの発明に係る化粧支援装置であって、肌面を押圧したときの前記肌面の変化に基づいて前記肌面の弾性を推定する弾性推定手段をさらに備え、前記情報作成手段は、前記弾性推定手段により推定された前記ユーザの化粧時における肌面の弾性に適した化粧支援情報を作成する。

【0018】

また、請求項１３の発明は、請求項１ないし１２のいずれかの発明に係る化粧支援装置であって、前記ユーザの化粧時における前記ユーザによる押圧力を推定する押圧力推定手段をさらに備え、前記化粧支援情報は、前記押圧力推定手段により推定された前記ユーザによる押圧力に関する情報を含む。

【0019】

また、請求項１４の発明は、請求項１ないし１３のいずれかの発明に係る化粧支援装置であって、前記ユーザの化粧時における化粧品の塗布速度を推定する速度推定手段をさらに備え、前記化粧支援情報は、前記速度推定手段により推定された前記塗布速度に関する情報を含む。

【0020】

また、請求項１５の発明は、請求項１ないし１４のいずれかの発明に係る化粧支援装置であって、前記ユーザの頬骨位置を推定する頬骨位置推定手段をさらに備え、前記情報作成手段は、前記頬骨位置推定手段により推定された前記ユーザの頬骨位置に応じて化粧支援情報を作成する。

【0021】

また、請求項１６の発明は、請求項１ないし１５のいずれかの発明に係る化粧支援装置であって、化粧時における光環境を推定する光推定手段をさらに備える。

【0022】

また、請求項１７の発明は、請求項１６の発明に係る化粧支援装置であって、前記光推定手段は、光の光線方向および光線強度を推定する。

【0023】

また、請求項１８の発明は、請求項１６または１７の発明に係る化粧支援装置であって、前記光推定手段は、光の色を推定する。

【0024】

また、請求項１９の発明は、請求項１６ないし１８のいずれかの発明に係る化粧支援装置であって、前記光推定手段により推定された化粧時における光環境と基準となる光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する。

【0025】

また、請求項２０の発明は、請求項１６ないし１８のいずれかの発明に係る化粧支援装置であって、前記光推定手段により推定された化粧時における光環境と前記ユーザの所望する披露場所における光環境とに基づいて、前記ユーザの化粧時において前記撮像手段により撮像された撮像情報を補正する。

【0026】

また、請求項２１の発明は、請求項１６ないし２０のいずれかの発明に係る化粧支援装置であって、前記光推定手段により推定された化粧時における光環境に応じて、前記ユーザの化粧時における顔色を推定する顔色推定手段をさらに備え、前記情報作成手段は、前記顔色推定手段により推定された前記ユーザの化粧時における顔色に適した化粧支援情報を作成する。

【0027】

また、請求項２２の発明は、請求項１ないし２１のいずれかの発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザの所望する披露場所における光環境に適した化粧支援情報を作成する。

【0028】

また、請求項２３の発明は、請求項１ないし２２のいずれかの発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザの化粧目的に応じた化粧支援情報を作成する。

【0029】

また、請求項２４の発明は、請求項１ないし２３のいずれかの発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザが所持している物品の中から推奨物品を選択し、選択した前記推奨物品に関する情報を化粧支援情報に含める。

【0030】

また、請求項２５の発明は、請求項１ないし２４のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、前記ユーザについて、化粧後の予測画像情報を含む。

【0031】

また、請求項２６の発明は、請求項１ないし２５のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、前記ユーザについて、化粧を施すべき位置に関する情報を含む。

【0032】

また、請求項２７の発明は、請求項２６の発明に係る化粧支援装置であって、前記化粧を施すべき位置は、化粧品を塗るときの塗り開始位置に関する情報を含む。

【0033】

また、請求項２８の発明は、請求項２６または２７の発明に係る化粧支援装置であって、前記化粧を施すべき位置は、化粧品を塗るときの塗り終了位置に関する情報を含む。

【0034】

また、請求項２９の発明は、請求項２６ないし２８のいずれかの発明に係る化粧支援装置であって、前記化粧を施すべき位置は、化粧品を塗るときの軌跡に関する情報を含む。

【0035】

また、請求項３０の発明は、請求項１ないし２９のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、化粧品の塗るべき濃度に関する情報を含む。

【0036】

また、請求項３１の発明は、請求項１ないし３０のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、睫毛の湾曲度合いに関する情報を含む。

【0037】

また、請求項３２の発明は、請求項１ないし３１のいずれかの発明に係る化粧支援装置であって、前記化粧支援情報は、前記ユーザについて、化粧の終了に関する情報を含む。

【0038】

また、請求項３３の発明は、請求項３２の発明に係る化粧支援装置であって、前記情報作成手段は、前記ユーザの複数の部位を比較することにより、前記化粧の終了を判定する。

【0039】

また、請求項３４の発明は、ユーザが自身に化粧を施す際に前記ユーザによって携帯されるコンピュータによって読み取られるプログラムであって、前記コンピュータによる前記プログラムの実行は、前記コンピュータを、前記ユーザを撮像して撮像情報を取得する撮像手段と、前記撮像手段により取得された撮像情報に基づいて、前記ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、前記三次元計測手段により作成された三次元形状情報に基づいて前記ユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、前記情報作成手段により作成された化粧支援情報を表示する表示手段とを備える化粧支援装置として機能させる。

【発明の効果】

【0040】

請求項１ないし３４に記載の発明は、撮像手段により取得された撮像情報に基づいて、ユーザに関する三次元の形状に関する情報を取得して三次元形状情報を作成する三次元計測手段と、三次元計測手段により作成された三次元形状情報に基づいてユーザに施す化粧を支援するための化粧支援情報を作成する情報作成手段と、情報作成手段により作成された化粧支援情報を表示する表示手段とを備えることにより、ユーザは、正確で適切な化粧を、場所を選ばず、手軽に実行することができる。

【図面の簡単な説明】

【0041】

【図1】化粧支援装置を示す外観図である。

【図2】化粧支援装置のブロック図である。

【図3】化粧支援装置が備える機能ブロックをデータの流れとともに示す図である。

【図4】撮像情報に対して推定された光環境を例示する図である。

【図5】白色のキューブで構成される基準物体を撮像範囲に含めて撮像した撮像情報を例示する図である。

【図6】推定した頬骨位置に応じて表示ユーザ画像にガイドを含めて表示する例を示す図である。

【図7】撮像情報と化粧支援情報とを比較する図である。

【図8】化粧を施すべき位置に関する情報を含む化粧支援情報を例示する図である。

【図9】化粧を施すべき位置に関する情報を含む化粧支援情報を例示する図である。

【図10】睫毛について表示される化粧支援情報を例示する図である。

【図11】化粧支援装置によって実現される化粧支援方法を示す流れ図である。

【図12】表示部に表示されるメニュー画像を例示する図である。

【図13】化粧支援装置によって実行される事前処理を示す流れ図である。

【図14】化粧支援装置によって実行される化粧準備処理を示す流れ図である。

【図15】化粧支援装置によって実行される化粧支援処理を示す流れ図である。

【図16】リアルタイムに取得された三次元の形状に関する情報と準備三次元形状情報とが合成される様子を示す概念図である。

【発明を実施するための形態】

【0042】

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

【0043】

＜１． 実施の形態＞
図１は、化粧支援装置１を示す外観図である。図１に示すように、化粧支援装置１は、筐体部２、本体部３、操作部４、表示部５，６、および、計測部７を備えている。化粧支援装置１は、ユーザによる携帯が可能な装置として構成されている。すなわち、ユーザは化粧支援装置１を所持して、様々な場所に移動することが可能であるとともに、移動先において、自由に化粧支援装置１を起動させ、使用することができる。

【0044】

なお、以下の説明において「化粧時」とは、ユーザが現実に化粧を行っている瞬間のみならず、化粧を行うために化粧支援装置１（化粧を支援するためのアプリケーション）を起動したときから、ユーザが化粧の終了を化粧支援装置１に指示したときまでの期間を言うものとする。すなわち、化粧を行うために、ユーザが自身の状態を化粧支援装置１によりチェックしている期間なども「化粧時」に含むものとする。

【0045】

また、化粧支援装置１は、ユーザの化粧を支援するときの動作モードとして、通常動作モードと、准省電力動作モードと、省電力動作モードとを設定することが可能とされている。各動作モードの詳細は後述するが、これらの動作モードの切替は、操作部４からの制御信号（ユーザ指示）、または、予め設定されている情報などに基づいて行われるものとする。

【0046】

また、以下の説明では、外出先等において、他人に見られることを意識した装うための化粧を例に説明するが、本発明における「化粧」は、装うための化粧に限定されるものではなく、健康や美しさを維持するための化粧（いわゆる「お手入れ」）も含むものとする。

【0047】

筐体部２は、略箱状の構造物であり、折りたたまれた状態の本体部３を内部に収納する。これにより、化粧支援装置１は、ユーザによって携帯されるときには、さらに持ち運びに便利なように小型化される。また、筐体部２は、表示部５，６を内部に収容することにより、表示部５，６を保護する機能も有している。

【0048】

本体部３は、矩形の板状の構造物であり、前面に表示部５が設けられるとともに、上部前面に計測部７が設けられている。本体部３は、図示しない軸を中心に回動可能となっている。これにより、本体部３が筐体部２から取り出された状態と、本体部３が筐体部２の内部に収納された状態との間で変形が可能である。すなわち、化粧支援装置１は、本体部３を折りたたむことにより、筐体部２に収納することができる。

【0049】

操作部４は、化粧支援装置１に対してユーザが指示を入力するために操作するハードウエアである。図１では、操作部４として複数のボタンを図示している。しかし、化粧支援装置１は、図１に示すボタン以外にも操作部４として、タッチパネルを備えている。すなわち、表示部５，６の表面にタッチセンサが設けられており、ユーザは画面に触れることによって指示情報を化粧支援装置１に対して入力することができるように構成されている。これ以外にも、操作部４として、例えば、各種キーやスイッチ、ポインティングデバイス、あるいは、ジョグダイヤルなどを備えていてもよい。なお、本実施の形態における操作部４は、視点情報（後述）を取得する視点取得手段としての機能を有している。

【0050】

表示部５，６は、各種データを表示することにより、ユーザに対して当該各種データを出力する機能を有するハードウェアである。図１では表示部５，６として液晶ディスプレイを示している。ユーザは化粧中において、表示部５，６を閲覧することにより、化粧支援装置１から様々な情報を受け取ることが可能である。これにより、ユーザは適切で高度な化粧を容易に楽しむことができる。なお、表示部５，６として、液晶ディスプレイ以外にも、例えば、ランプやＬＥＤ、液晶パネルなどを備えていてもよい。

【0051】

図２は、化粧支援装置１のブロック図である。化粧支援装置１は、図１に示す構成の他に、ＣＰＵ１０および記憶装置１１を備えている。

【0052】

ＣＰＵ１０は、記憶装置１１に格納されているプログラム１１０を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、ＣＰＵ１０は、化粧支援装置１が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、化粧支援装置１は、一般的なコンピュータとして構成されている。

【0053】

記憶装置１１は、化粧支援装置１において各種データを記憶する機能を提供する。言い換えれば、記憶装置１１が化粧支援装置１において電子的に固定された情報を保存する。

【0054】

記憶装置１１としては、ＣＰＵ１０の一時的なワーキングエリアとして使用されるＲＡＭやバッファ、読み取り専用のＲＯＭ、不揮発性のメモリ（例えばＮＡＮＤメモリなど）、専用の読み取り装置に装着された可搬性の記憶媒体（ＳＤカード、ＵＳＢメモリなど）等が該当する。図２においては、記憶装置１１を、あたかも１つの構造物であるかのように図示している。しかし、通常、記憶装置１１は、上記例示した各種装置（あるいは媒体）のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置１１は、データを記憶する機能を有する装置群の総称である。

【0055】

また、現実のＣＰＵ１０は高速にアクセス可能なＲＡＭを内部に備えた電子回路である。しかし、このようなＣＰＵ１０が備える記憶装置も、説明の都合上、記憶装置１１に含めて説明する。すなわち、一時的にＣＰＵ１０自体が記憶するデータも、記憶装置１１が記憶するとして説明する。図２に示すように、記憶装置１１は、プログラム１１０、データベース１１１、撮像情報１１２、三次元形状情報１１３、および、化粧支援情報１１４などを記憶するために使用される。

【0056】

ここで、データベース１１１には、オーナー情報、状況に応じた化粧の仕方（濃度、塗布位置、塗り方、力加減、使用する物品種別など）、基準となる光環境（理想的な光環境）、披露場所に応じた光環境などが格納されている。

【0057】

オーナー情報とは、ユーザの性別や年齢、好みといった化粧に影響を与える個人情報、撮像情報１１２、準備三次元形状情報（後述）、ユーザが所持している物品（化粧品や道具類など）に関する情報などである。

【0058】

また、詳細は後述するが、データベース１１１（オーナー情報）に含まれる撮像情報１１２とは、撮像部７１によって取得される情報ではあるが、化粧時にリアルタイムで撮像される情報ではなく、予め撮像され準備される情報である。このような撮像情報１１２に含まれる被写体は、ユーザの部位のうち化粧をしながら撮像することが困難と予想される部位を含むものである。

【0059】

化粧中において、ユーザは、表示部５，６を閲覧しやすいように、化粧支援装置１をユーザに正対するように配置する（所持する）ことが予想される。このような配置において、撮像部７１はユーザに正対するため、撮像部７１は正面からユーザを撮像することになり、逆に正面に向いていない部位については化粧時にリアルタイムで撮像することは困難である。このような部位としては、例えば、側頭部や後頭部、頭頂部、喉部などが想定される。したがって、化粧支援装置１は、予めこのような部位を撮像して撮像情報１１２を作成しておき、データベース１１１に格納しておくのである。

【0060】

また、この場合の撮像情報１１２は動画像である必要はなく、各部位についてフレーム一枚分の静止画像のみであってもよい。ただし、当該撮像情報１１２は、必ずしも部位を選択的に撮像した情報でなければならないわけではなく、例えば、ユーザの頭部の全周にわたって撮像されていてもよい。

【0061】

また、基準となる光環境とは、ユーザが自宅等において、予め取得しておく光環境である。このような光環境としては、化粧を施す部位に陰が生じないように、多方向から被写体を照明する光環境が望ましい。なお、基準となる光環境を取得する手法については後述する。

【0062】

また、披露場所に応じた光環境とは、ユーザが化粧した状態を披露する場所として想定される場所における、想定される光環境である。披露場所としては、例えば、公園や海岸といった屋外や、オフィス、住宅の室内、レストラン内、バーのカウンタ、ホテルのロビー、イベント会場、車内などが想定される。化粧支援装置１では、予め予想される披露場所ごとに、当該披露場所において想定される光環境を取得しておき、データベース１１１に格納しておく。

【0063】

化粧支援装置１は、図１および図２に示すように２つの表示部５，６を備えており、いわゆるツインディスプレイ構造の装置として構成されている。化粧支援装置１において、表示部５，６は、化粧支援情報１１４を表示する機能を有している。

【0064】

なお、以下の説明では、説明を簡単にするために、化粧支援情報１１４を表示部５に表示する例で説明する。ただし、特に断らない限り、化粧支援情報１１４は、表示部６に表示されてもよいし、表示部５と表示部６とに分割して表示されてもよい。例えば、化粧支援装置１は、現在の状態の画像を表示部５に表示させつつ、同時に化粧の完成した状態の画像を表示部６に表示させることができる。あるいは、正面からユーザの顔をみたときの画像を表示部５に表示させつつ、ユーザの横顔の画像を表示部６に表示させるといったことも可能である。

【0065】

図２に示すように、本実施の形態における計測部７は、投光部７０および撮像部７１を備えている。

【0066】

投光部７０は、形状が既知のパターンを計測対象（化粧の対象となるユーザの身体部分）に向けて投射する機能を有している。本実施の形態における投光部７０は、不可視光（人の視覚によって感知されることのない周波数の光）により当該パターンを投射する。なお、投光部７０によって投射されるパターンを、以下の説明では、「計測用パターン」と称する。

【0067】

撮像部７１は、一般的なデジタルカメラであり、被写体（ユーザ）を撮像して、撮像情報１１２を取得する。本実施の形態における撮像部７１はカラーの動画像としての撮像情報１１２を取得する。ここで動画像とは、所定のフレーム間隔で撮像された連続する静止画像の集合物として撮像情報１１２が取得されることを言う。なお、撮像部７１は、カラーに限定されるものではなく、白黒画像を取得するものであってもよい。

【0068】

図３は、化粧支援装置１が備える機能ブロックをデータの流れとともに示す図である。図３に示す計測制御部１００、特定部１０１、推定部１０２、情報作成部１０３および補正部１０４は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。

【0069】

計測制御部１００は、操作部４からの制御信号（ユーザ指示）に応じて、投光部７０を制御して、投光部７０に被写体に向けて計測用パターンを投射させる。

【0070】

また、計測制御部１００は、操作部４からの制御信号（ユーザ指示）に応じて、撮像部７１を制御して、撮像部７１に被写体を撮像させる機能も有している。そして、計測制御部１００は、撮像部７１により取得された撮像情報１１２を記憶装置１１に転送し、記憶装置１１に記憶させる。

【0071】

また、計測制御部１００は、撮像部７１により取得された撮像情報１１２に基づいて、ユーザに関する三次元形状情報１１３を取得する。

【0072】

具体的には、まず、計測制御部１００は、撮像情報１１２（動画像を構成する１フレーム分の情報でもよい。）に画像認識処理を実行してユーザを表現している画像部分（以下、「ユーザ撮像画像」と称する。）を切り出す。なお、ここで言うユーザ撮像画像には、ユーザの身体そのもの以外に、服や帽子、リボン、眼鏡など、ユーザが身につけているもの（服装など）を含んでいてもよい。

【0073】

次に、計測制御部１００は、ユーザ撮像画像（撮像情報１１２）に撮像されている計測用パターンが、既知の形状に対して、どのように変形しているかを解析することにより、ユーザの形状を三次元で表現した数値情報に変換する。このような手法としては、従来の技術を採用することが可能であるため、ここではこれ以上の詳細な説明は省略する。そして、計測制御部１００は、この数値情報を三次元形状情報１１３とする。

【0074】

すなわち、本実施の形態における化粧支援装置１では、計測部７および計測制御部１００が三次元計測手段に相当するとともに、計測部７が撮像手段に相当する撮像部７１をも構成している。

【0075】

ユーザに携帯され、移動環境において使用される装置において、互いに異なるアングルにセットされた複数のカメラから同時に撮影してユーザの三次元形状に関する情報を得ることは、通常、困難である。しかしながら、化粧支援装置１では、投光部７０から計測用パターンを投射することにより、撮像部７１による一方向からのみの撮像であっても、ユーザに関する三次元形状情報１１３を取得することができる。すなわち、ユーザに携帯される装置として構成されている化粧支援装置１において、ユーザの三次元形状に基づいて化粧支援を行うことができる。

【0076】

なお、本発明における三次元計測手段は、上記構成に限定されるものではなく、ユーザの三次元的な情報を取得することができるものであれば、適宜、採用可能である。このような手法として、例えば、ＴＯＦ（Time Of Flight）や、パターン投影を行わない、ステレオ法や、ＤＴＡＭ（Dense Tracking And Mapping）等、複数視点画像から三次元形状を計測推定するｓｔｍ（structure from motion）などの技術を採用することもできる。

【0077】

また、計測制御部１００は、ユーザが化粧を行っていないときに、三次元形状情報１１３を作成したときには、当該三次元形状情報１１３をデータベース１１１に、準備三次元形状情報として格納する。すなわち、計測制御部１００は、ユーザに関する三次元形状情報１１３を、ユーザの化粧時より前に、予め準備三次元形状情報として取得しておく機能を有している。なお、本実施の形態における計測制御部１００は、撮像情報１１２についても、データベース１１１に格納する場合がある。

【0078】

また、計測制御部１００は、特定部１０１から伝達される情報（以下、「特定部位情報」と称する。）に基づいて、ユーザの特定の部位についての三次元の形状に関する情報を、データベース１１１（準備三次元形状情報）から取得して、三次元形状情報１１３を作成する機能も有している。

【0079】

さらに、計測制御部１００は、特定部位情報に基づいて、ユーザの特定の部位についての三次元の形状に関する情報を作成するために、当該部位に計測用パターンを投射するように投光部７０を制御する。このように、投光部７０が部分的に計測用パターンを投射した場合、計測制御部１００は、当該計測用パターンが投射された部位についてのみ撮像情報１１２に基づいて三次元の形状に関する情報を作成するとともに、その他の部位についての三次元の形状に関する情報はデータベース１１１（準備三次元形状情報）から取得する。そして、計測制御部１００は、これらを合成して、三次元形状情報１１３を作成する。

【0080】

このように、ユーザの化粧時に作成される三次元形状情報１１３には、ユーザの特定の部位については準備三次元形状情報から構成されている場合がある。ただし、詳細は後述する。

【0081】

特定部１０１は、動作モードに応じて、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に基づいて、三次元の形状に関する情報を必要とする当該ユーザの部位を特定する機能を有している。

【0082】

また、特定部１０１は、特定した当該ユーザの部位を特定部位情報として計測制御部１００に伝達する。なお、詳細は後述するが、ユーザの化粧時において撮像情報１１２に撮像されている部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定する場合と、ユーザの化粧時において撮像情報１１２に撮像されていない部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定する場合とがある。

【0083】

推定部１０２は、撮像情報１１２や三次元形状情報１１３に基づいて、化粧時における様々な状況や状態を推定し、その推定結果を情報作成部１０３に伝達する機能を有している。なお、推定部１０２から情報作成部１０３に向けて伝達される推定結果を、以下、「推定情報」と称する。

【0084】

まず、推定部１０２は、計測制御部１００により取得された三次元形状情報１１３に基づいて、化粧時におけるユーザの肌の荒れ具合（肌の凹凸）を計測し、肌質を推定する。なお、肌質を計測する場合には、専用のセンサ（肌面に押しつけて計測するセンサなど）を化粧支援装置１に接続して、計測するようにしてもよい。その場合は、撮像情報１１２および三次元形状情報１１３によって肌質を判定する場合に比べて、より詳細な肌質を計測することができる。

【0085】

また、推定部１０２は、肌面を押圧したときの肌面の変化に基づいて肌面の弾性を推定する。例えば、推定部１０２は、ユーザが指やスティックなどで肌面を押してから離したときの肌面の修復速度を撮像情報１１２に基づいて推定し、当該肌面の弾性を推定する。ユーザが肌面をどの程度押圧していたかは三次元形状情報１１３から得ることができ、肌面が修復するまでの時間は、撮像情報１１２のフレーム数によって求めることができる。なお、化粧支援装置１に圧力センサを設けて、当該圧力センサを肌面に押しつけて当該肌面の弾性を計測してもよい。

【0086】

また、推定部１０２は、ユーザの化粧時におけるユーザによる押圧力を推定する。例えば、ハケで化粧品を塗るときの肌のへこみ具合を三次元形状情報１１３から得られる肌の陥没量を計測することにより、ユーザが当該ハケをどの程度の力で押しつけているかを推定する。

【0087】

また、推定部１０２は、ユーザの化粧時における化粧品の塗布速度を推定する。塗布速度は、例えば、どの程度の距離をどの程度の時間をかけて塗布しているかによって求めることができる。どの程度の距離かは、三次元形状情報１１３および／または撮像情報１１２に基づいて求めることが可能である。また、どの程度の時間をかけて塗布しているかは、動画像として取得されている撮像情報１１２に基づいて当該撮像情報１１２のフレーム数などにより求めることができる。

【0088】

また、推定部１０２は、三次元形状情報１１３に基づいて、頬骨位置を推定する。推定部１０２は、ユーザの顔の立体形状を三次元形状情報１１３を元にして解析し、その起伏の分布状態から頬骨の位置を特定する。頬骨位置は、ある程度の広さを持った立体的な領域（起伏領域）として特定される。そして、当該起伏領域は、個々のユーザに固有の形状を有する領域として特定される。すなわち、本実施の形態における頬骨位置とは、位置と形状とを含む概念である。

【0089】

また、推定部１０２は、化粧時における光環境を推定する。特に、推定部１０２は、光の光線方向および光線強度を推定するとともに、ユーザに向けて照射されている光の色を推定する。本実施の形態における推定部１０２が化粧時における光環境を推定（特定）する手法としては、例えば、以下の手法を採用することができる。

【0090】

まず、化粧時にリアルタイムで取得される三次元形状情報１１３に特定の方向から特定強度の光を当てた場合のレンダリング画像を、方向や強度を変更しつつ複数作成する。そして、当該レンダリング画像と化粧時にリアルタイムに取得された撮像情報１１２との輝度分布を比較することにより、最も一致度合いの高い組み合わせを化粧時の光環境（光の方向および強度）として特定する。

【0091】

図４は、撮像情報１１２に対して推定された光環境を例示する図である。このように、光線の方向および光線の強度を推定することによって、例えば、口元などの黒い領域は「影」であると判定できる。これにより、例えば、誤ってその領域を化粧品で塗るように指示を出すことを避けることができる。

【0092】

また、化粧時の光環境における光の色を推定する手法としては、色が既知の基準物体（例えば白色のキューブなど）を化粧時に撮像して撮像情報１１２を作成する。そして、当該撮像情報１１２において、当該物体の色がどのように撮像されているかを解析することにより、当該物体に照射されている光の色（すなわち、化粧時の光環境における光の色）を推定する。

【0093】

図５は、白色のキューブで構成される基準物体９０を撮像範囲に含めて撮像した撮像情報１１２を例示する図である。図５に示す撮像情報１１２において、基準物体９０を表現する画素の色彩を判定し既知の色彩と比較すれば、撮像情報１１２が撮像されたときの光環境における光の色を特定することが可能となる。なお、ユーザの髪の毛や、常時使用している眼鏡の縁など、予め色が既知の物体として登録しておくことが可能であり、かつ、化粧時に撮像される可能性の高いものを基準物体９０として代用してもよい。

【0094】

また、推定部１０２は、推定した化粧時における光環境に応じて、ユーザの化粧時における顔色を推定する。例えば、推定部１０２は、推定した化粧時における光環境の影響を、化粧時に撮像された撮像情報１１２（ユーザ撮像画像）の顔肌部分から除去することにより、化粧時のユーザの顔色を特定する。

【0095】

情報作成部１０３は、計測制御部１００により取得された三次元形状情報１１３に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する。

【0096】

具体的には、三次元形状情報１１３に、化粧時に撮像された撮像情報１１２を用いてテクスチャマッピング技術により画像（以下、「表示ユーザ画像」と称する。）を作成し、当該表示ユーザ画像を含む化粧支援情報１１４を作成する。表示ユーザ画像は、表示部５に表示され、化粧時のいわゆる鏡面像の役割を担う画像である。

【0097】

ただし、詳細は順次説明するが、化粧支援装置１における表示ユーザ画像は、単なる鏡面像ではなく、化粧を行うユーザにとって有益な加工が施された画像として表示される。例えば、表示ユーザ画像における視点（アングル）は撮像方向に限定されるものではなく、化粧を施す場所などに応じて変更することができる。情報作成部１０３は、どの方向から見たときの表示ユーザ画像を作成するかを、操作部４から入力された視点情報に基づいて決定する。また、操作部４からの指示情報により、化粧を施す場所にズームした表示ユーザ画像を作成することもできる。

【0098】

また、情報作成部１０３は、化粧支援情報１１４を作成するときには、適宜、データベース１１１を検索し、状況に応じた化粧の仕方を示す情報や、使用すべき化粧品や道具等に関する情報（推奨物品情報）などを化粧支援情報１１４に含める。

【0099】

なお、情報作成部１０３がデータベース１１１を検索するときの条件（検索キー）として用いられる情報としては、操作部４から伝達される情報（ユーザからの指示情報）と、推定部１０２から伝達される推定情報とがある。以下に、主に推定情報によって化粧支援情報１１４を作成する具体例を説明する。

【0100】

情報作成部１０３は、推定部１０２により推定されたユーザの化粧時における肌質に適した化粧支援情報１１４を作成する。具体的には、推定された肌質に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該肌質に適した化粧の仕方を示す情報を取得し、化粧支援情報１１４に含める。

【0101】

例えば、化粧時において肌が荒れているようであれば、健康を考慮して、化粧を控えめにする、あるいは、薬用効果のある化粧品を推奨するといった化粧支援が想定される。あるいは、肌質が良好と推定された場合には、化粧のノリがよいと予想されるので、塗り回数を減らすといった化粧支援も考えられる。このように、化粧支援装置１では、化粧時の肌質に適した化粧支援を行うことができる。

【0102】

また、情報作成部１０３は、推定部１０２により推定されたユーザの化粧時における肌面の弾性に適した化粧支援情報１１４を作成する。具体的には、推定された肌面の弾性に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該弾性に応じた化粧の仕方を示す情報を取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、化粧時の肌面の弾性に適した化粧支援を行うことができる。

【0103】

また、情報作成部１０３は、推定部１０２により推定されたユーザによる押圧力に関する情報を含むように化粧支援情報１１４を作成する。具体的には、推定された押圧力に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該押圧力が適切か否かのメッセージや、当該押圧力に応じた残り塗り回数などを取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、ユーザによる押圧力の適否を判定して化粧支援を行うことができる。

【0104】

また、情報作成部１０３は、推定部１０２により推定された塗布速度に関する情報を含むように化粧支援情報１１４を作成する。具体的には、推定された塗布速度に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該塗布速度が適切か否かのメッセージや、当該塗布速度に応じた残り塗り回数などを取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、ユーザによる塗布速度の適否を判定して、当該ユーザに対する化粧支援を行うことができる。

【0105】

また、情報作成部１０３は、推定部１０２により推定されたユーザの頬骨位置に応じて化粧支援情報１１４を作成する。具体的には、頬骨の位置を基準にしてチークなどの化粧品の塗り位置を決定する。すなわち、推定された頬骨位置に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該頬骨位置に応じた塗布位置を示す情報を取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、ユーザの頬骨位置に適した化粧支援を行うことができる。

【0106】

図６は、推定した頬骨位置に応じて表示ユーザ画像（化粧支援情報１１４）にガイド９１を含めて表示する例を示す図である。図６に示す例では、ガイド９１は、化粧品を塗布すべき領域を示す円として表示されている。

【0107】

また、情報作成部１０３は、推定部１０２により推定された化粧時の光環境に応じて化粧支援情報１１４を作成する。具体的には、推定された光環境に基づいて、データベース１１１に含まれる状況に応じた化粧の仕方を検索し、当該光環境に適した化粧の仕方を示す情報を取得し、化粧支援情報１１４に含める。これにより、化粧支援装置１は、現在の光環境を考慮した化粧支援が可能となる。なお、情報作成部１０３は、光の光線方向、光線強度、光の色などの光環境を示すパラメータを利用する。

【0108】

また、情報作成部１０３は、推定部１０２により推定された化粧時における光環境と、データベース１１１に格納されている基準となる光環境とに基づいて、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２を補正する。すなわち、情報作成部１０３は、化粧時に取得されたユーザ撮像画像を、基準となる光環境に応じた表示ユーザ画像に補正する。

【0109】

図７は、撮像情報１１２と化粧支援情報１１４とを比較する図である。図７において左側に示す撮像情報１１２は、現在（化粧時）の光環境における画像（補正前の画像）である。

【0110】

情報作成部１０３は、化粧時に取得されたユーザ撮像画像を撮像情報１１２から抽出し、推定された化粧時における光環境に基づいて、ユーザ撮像画像を当該光環境の影響を取り除いた画像に変換する。次に、データベース１１１に格納されている基準となる光環境を取得し、取得した基準となる光環境において撮像されたかのような画像となるように、上記変換された画像に対してさらに画像処理を施して表示ユーザ画像を作成する。そして、このようにして作成した表示ユーザ画像を含む化粧支援情報１１４（図７において右側の画像）を作成する。

【0111】

これにより、ユーザは、常に、基準となる光環境における見栄えを確認することができる。したがって、移動先の光環境に左右されずに安定した化粧を行うことができる。なお、情報作成部１０３は、基準となる光環境の表示ユーザ画像となるように、ユーザ撮像画像を補正するか否かは、ユーザが操作部４を操作して入力する指示情報によって判断する。

【0112】

また、情報作成部１０３は、推定部１０２により推定された化粧時における光環境と、ユーザの所望する披露場所における光環境とに基づいて、当該ユーザの化粧時において撮像された撮像情報１１２を補正する。すなわち、情報作成部１０３は、化粧時に取得されたユーザ撮像画像を、ユーザの所望する披露場所における光環境に応じた表示ユーザ画像に補正する。

【0113】

より具体的には、化粧時に取得されたユーザ撮像画像を撮像情報１１２から抽出し、推定された化粧時における光環境に基づいて、ユーザ撮像画像を当該光環境の影響を取り除いた画像に変換する。次に、操作部４からの指示情報を検索キーとして、データベース１１１に格納されている披露場所における光環境を検索し、ユーザの所望する披露場所における光環境を特定する。例えば、ユーザが操作部４を操作して披露場所として「レストラン」を指定する指示情報を入力すると、データベース１１１からレストランにおける光環境が特定される。そして、特定されたレストランにおける光環境において撮像されたかのような画像となるように、上記変換された画像に対してさらに画像処理を施して表示ユーザ画像を作成する。

【0114】

これにより、ユーザは、化粧を披露する場所の光環境における化粧の見栄えを確認することができる。なお、情報作成部１０３は、ユーザの所望する披露場所における光環境の表示ユーザ画像となるように、ユーザ撮像画像を補正するか否かは、ユーザが操作部４を操作して入力する指示情報によって判断する。

【0115】

また、情報作成部１０３は、推定部１０２により推定されたユーザの化粧時における顔色に適した化粧支援情報１１４を作成する。これにより、光環境の変化に影響されることなく、そのときの顔色（健康状態など）に応じて適切な化粧支援を行うことができる。

【0116】

また、情報作成部１０３は、ユーザの所望する披露場所における光環境に適した化粧支援情報１１４を作成する。具体的には、操作部４から入力される、ユーザの所望する披露場所を示す情報を検索キーとして、データベース１１１の状況に応じた化粧の仕方を検索する。

【0117】

例えば、ユーザの所望する披露場所として「レストラン」が入力された場合には、「レストラン」を検索キーとして、レストランにふさわしい化粧の仕方をデータベース１１１から特定する。情報作成部１０３は、このようにして、特定した化粧の仕方を化粧支援情報１１４に含める。そして、ユーザは、表示部５に表示された化粧支援情報１１４を閲覧し、これに従って化粧を行うことにより、特に意識することもなく「レストラン」において映える化粧を完成させることができる。このように、化粧支援装置１は、化粧を披露する場所の光環境に対応した適切な化粧支援を行うことができる。

【0118】

また、情報作成部は、操作部４により取得された視点情報に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する。例えば、操作部４から横顔を確認する旨の指示（視点情報）が入力されたときには、表示ユーザ画像として当該ユーザの横顔の画像を作成し、化粧支援情報１１４に含める。

【0119】

図６に示す化粧支援情報１１４は、ユーザが撮像部７１に対して正対している状態で、表示されている画像である。このように化粧支援装置１は、三次元形状情報１１３に基づいて表示ユーザ画像を作成できるため、一方向からの画像だけでなく、様々な方向（アングル）からの画像を表示することができる。したがって、ユーザは、様々な視点（アングル）から自身に対する化粧の見栄えを確認することができる。

【0120】

また、ユーザは、見栄えを確認するだけではなく、化粧中に操作部４を操作することにより、視点（アングル）を変更しつつ化粧をすることもできる。例えば、横顔を表示ユーザ画像として表示部５に表示させつつ、自身は表示部５に対して正対しながら化粧をすることもできる。すなわち、正面からの画像を見ながら側面（例えば、頬）を化粧するのではなく、側面に正対した画像（横顔画像）を見ながら当該側面に対する化粧をすることができる。したがって、ユーザは正確に化粧することができる。

【0121】

なお、このような場合において、側面を撮像するようにある程度横を向きながら化粧をすることも考えられる。しかし、その場合は、表示される鏡面像も側面方向に移動してしまうため、視線を正面方向から側面方向にずらす必要があり、ユーザによる視認性能が低下する。

【0122】

また、情報作成部１０３は、ユーザの化粧目的に応じた化粧支援情報１１４を作成する。ユーザの化粧目的とは、どのような印象を与えたいかというユーザの希望であって、例えば、清楚に見える化粧や、健康的に見える化粧、ゴージャスな化粧、ワイルドな化粧などといた例が考えられる。すなわち、同じシーンであっても、ユーザが相手に与えたいと所望する印象は異なるものである。

【0123】

このように、情報作成部１０３がユーザの化粧目的に応じた化粧支援情報１１４を作成することにより、ユーザに対して提案することのできる化粧のバリエーションが増え、汎用性が向上する。なお、ユーザの化粧目的は、例えば、操作部４から指示情報として入力することができる。

【0124】

また、情報作成部１０３は、データベース１１１に登録されているユーザが所持している物品の中から推奨物品を選択し、選択した当該推奨物品に関する情報を化粧支援情報１１４に含める。これにより、状況に応じた最適な物品を提案することができ、ユーザの化粧をより適切に支援することができる。なお、推奨物品には、ハケや筆、ローラ、パッド、カーラーなどが想定される。また、同種の物品を複数登録している場合には、その中で状況に応じて最適なものを推奨物品として推奨する。例えば、ＡハケとＢハケとが登録されている場合に、Ｃ化粧品を使用するときにはＡハケを推奨し、Ｄ化粧品を使用するときにはＢハケを推奨するといったパターンが想定される。

【0125】

また、情報作成部１０３は、状況に応じてデータベース１１１を検索することによって、ユーザについて、化粧後の予測画像情報を含めた化粧支援情報１１４を作成する。例えば、情報作成部１０３は、状況に応じて推奨する化粧品を、推奨する使用方法により化粧を実行した場合の表示ユーザ画像を予測に基づく画像処理によって作成し化粧支援情報１１４に含める。

【0126】

これにより、ユーザは、化粧の完成後の状態を確認してから化粧を開始することができる。したがって、化粧支援装置１は、ユーザの予想外の結果とならないように適切に化粧を支援することができる。なお、予測画像情報に対して、ユーザによる修正が行われてから、修正後の状態となるように、情報作成部１０３がその後の化粧支援情報１１４を作成するように構成してもよい。

【0127】

また、情報作成部１０３は、ユーザについて化粧を施すべき位置に関する情報を含む化粧支援情報１１４を作成する。また、化粧を施すべき位置は、化粧品を塗るときの塗り開始位置や、化粧品を塗るときの塗り終了位置、あるいは、化粧品を塗るときの軌跡に関する情報などを含む。

【0128】

図８および図９は、化粧を施すべき位置に関する情報を含む化粧支援情報１１４を例示する図である。図８は、表示ユーザ画像とともに、線状のガイド９２，９３を示している。また、図９は、表示ユーザ画像とともに、楕円状のガイド９４，９５，９６を示している。

【0129】

このようなガイド９２ないし９６は、以下のような手法により決定することができる。例えば、頬骨や黒目、小鼻の位置により、チークの始点を決定する。一旦決定したチークの始点と、横からの顔画像とに基づいて、チークの終点や塗る領域の形を決定する。顔の形により、ハイライトの始点や長さを決定する。二重の幅やアイホールの大きさに基づいてアイシャドウの位置や塗る領域の広さや形を決定する。顔の形や顎、エラの位置、額の大きさによってシェーディングの位置、塗る領域の広さや形を決定する。

【0130】

また、頬骨の位置や形状からチークを塗るときにどのようなカーブをつければよいかといった表示（例えば、湾曲した矢印による軌跡表示）も可能である。さらに、ガイド９２ないし９６をアニメーション表示することにより、推奨する塗布速度を表現することも可能である。例えば、塗布する方向に向けて、矢印を始点から最適な塗布速度に従って徐々に延ばすような表現方法が考えられる。このような表現方法を用いれば、ユーザに対して個々の化粧品の塗り動作を指南することも可能である。

【0131】

化粧支援装置１は、ガイド９２ないし９６を表示ユーザ画像とともに、化粧支援情報１１４に含めて、表示する。このように構成することにより、化粧支援装置１は、どの部位に、どのように化粧を施すべきかを具体的に示すことができる。

【0132】

また、情報作成部１０３は、データベース１１１を検索することにより、化粧品の塗るべき濃度に関する情報を含む化粧支援情報１１４を作成する。例えば、チークを塗るときに、表示ユーザ画像における当該チークを塗る部分の近傍に、推奨する濃度（色）のパッチ画像を化粧支援情報１１４として表示させる。

【0133】

これにより、例えば、ユーザは、チークを塗っている頬の色と、表示されているパッチ画像の色とを比較し、頬の色がパッチ画像の色と等しくなったと感じたときに完成したと判断することができる。なお、単に濃度といっても、グラデーションの変化度合いのように、濃度が徐々に変化するような場合も考えられる。グラデーションは、アイシャドウやチークなどを塗る場合に用いる技法であるが、例えば、塗る化粧品の種類、領域の広さや形状などに応じて決定することができる。

【0134】

また、情報作成部１０３は、睫毛の湾曲度合いに関する情報を含む化粧支援情報１１４を作成する。

【0135】

図１０は、睫毛について表示される化粧支援情報１１４ａ，１１４ｂを例示する図である。化粧支援情報１１４ａは、現状の睫毛の周辺部位を表示ユーザ画像とした化粧支援情報１１４である。化粧支援情報１１４ｂは、化粧が完成した状態を予測して作成した睫毛の周辺部位を表示ユーザ画像とした化粧支援情報１１４である。すなわち、化粧支援情報１１４ｂは予測画像情報としての表示ユーザ画像を含む化粧支援情報１１４である。

【0136】

図１０を見れば明らかなように、化粧支援情報１１４ａ，１１４ｂのいずれにおいても、三次元形状情報１１３に基づいて、睫毛の湾曲度合いが画像として表現されている。このような化粧支援情報１１４が表示されることによって、ユーザは睫毛の湾曲形状（カール）を容易に整えることができる。

【0137】

また、情報作成部１０３は、ユーザについて、化粧の終了に関する情報を含む化粧支援情報１１４を作成する。例えば、ユーザが化粧品を塗ることにより目標の色合いになったときに、当該化粧品の塗布の終了を通知する化粧支援情報１１４を作成する。これにより、例えば、ユーザは、過度に化粧しすぎることを回避することができる。

【0138】

また、情報作成部１０３は、前記ユーザの複数の部位に対する化粧の進捗を比較することにより、当該化粧の終了を判定する。例えば、情報作成部１０３は、左の頬と右の頬とを比較して、両方の色合いが均等になったときに、頬に対する化粧の終了を通知する化粧支援情報１１４を作成する。これにより、ユーザは他の部位とのバランスをとることができる。

【0139】

図３に示す補正部１０４は、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２および／または三次元形状情報１１３に基づいてユーザの視線を推定することにより、当該視線の変化に基づいて表示部５に表示される化粧支援情報１１４の表示位置を補正する。

【0140】

以上が、化粧支援装置１の構成および機能の説明である。次に、化粧支援装置１を用いてユーザの化粧を支援する方法について説明する。なお、ユーザは、一般的なコンパクトを所持する要領で、化粧支援装置１を使って化粧を行うことができる。

【0141】

図１１は、化粧支援装置１によって実現される化粧支援方法を示す流れ図である。なお、図１１に示す各工程が開始されるまでに、化粧支援装置１のデータベース１１１には、「状況に応じた化粧の仕方」および「披露場所に応じた光環境」など、基本的な情報は格納されているものとする。また、特に断らない限り、図１１に示す各工程は、ＣＰＵ１０がプログラム１１０に従って動作することにより実行される。

【0142】

化粧支援装置１に電源が投入されると、化粧支援装置１は所定の初期設定を実行する。そして、化粧を支援するためのアプリケーション（以下、「お化粧アプリ」と称する。）がユーザによって起動されると、化粧支援装置１は表示部５にメニューを表示する（ステップＳ１）。

【0143】

図１２は、表示部５に表示されるメニュー画像５０を例示する図である。図１２に示すように、メニュー画像５０には、ボタン画像４０，４１，４２，４３が設けられている。各ボタン画像４０，４１，４２，４３は、ユーザが当該画像に触れるか、または、操作部４を操作して選択するように構成されている。

【0144】

ボタン画像４０は、ユーザ登録を行うときに選択する画像である。ユーザ登録とは、ユーザがオーナー情報を入力するときに必要となる処理である。ユーザ登録において、化粧支援装置１は、所定のＧＵＩ画面（図示せず。）を表示する。ユーザは、表示されたＧＵＩ画面に従って必要事項を入力することにより、ユーザ登録（オーナー情報の入力）が完了するように構成されている。ただし、以下の説明（図１１を含む。）では、ユーザ登録についての説明は省略する。

【0145】

ボタン画像４１は、事前処理を行うときに選択する画像である。事前処理とは、データベース１１１に登録する撮像情報１１２や準備三次元形状情報などを、予め登録する処理であるが、詳細は後述する。

【0146】

ボタン画像４２は、実際にユーザが化粧を開始するときに選択する画像である。化粧が開始された後の処理（ボタン画像４３が操作された後）については、後述する。

【0147】

ボタン画像４３は、お化粧アプリを終了させるときに選択する画像である。

【0148】

図１１に戻って、ステップＳ１を実行して、メニュー画像５０を表示すると、ＣＰＵ１０は、指示情報が入力されるまでステップＳ１を繰り返しつつ待機する（ステップＳ２）。

【0149】

メニュー画像５０におけるボタン画像４０，４１，４２，４３のうちのいずれかが操作されると、その操作に応じて指示情報が入力され、ＣＰＵ１０はステップＳ２においてＹｅｓと判定する。

【0150】

メニュー画像５０においてボタン画像４１が操作され、入力された指示情報が「事前処理」となった場合、ＣＰＵ１０は、ステップＳ３においてＹｅｓと判定し、事前処理を実行する（ステップＳ４）。

【0151】

図１３は、化粧支援装置１によって実行される事前処理を示す流れ図である。

【0152】

事前処理を開始すると、ＣＰＵ１０は、ユーザによる計測準備が完了するまで待機する（ステップＳ１１）。計測準備において、ユーザは、原則としてすべての化粧（特に色彩に影響のある装うための化粧）を落として、素の状態となる。また、計測準備において、ユーザは、基準となる光環境を準備する。

【0153】

所定の準備が完了すると、ユーザは操作部４を操作して、計測準備が完了したことを示す指示情報を入力する。これに応じて、ＣＰＵ１０は、ステップＳ１１においてＹｅｓと判定し、計測用パターンの投射を開始するように投光部７０を制御する。これにより、投光部７０が計測用パターンの投射を開始する（ステップＳ１２）。

【0154】

次に、ＣＰＵ１０は、撮像を開始するように、撮像部７１を制御する。これに応じて、撮像部７１が撮像を開始する（ステップＳ１３）。これにより、以後、事前処理が終了するまで、撮像情報１１２が取得される。なお、このときの撮像情報１１２は、表示部５に表示され、ユーザによる確認が可能な状態とされる。

【0155】

撮像が開始されると、ＣＰＵ１０は、撮像情報１１２に基づいてこのときの光環境を基準となる光環境として取得する（ステップＳ１４）。ＣＰＵ１０は、取得した基準となる光環境をデータベース１１１に格納する。

【0156】

なお、ユーザが準備した基準となる光環境において照射されている光の色が白色ではない場合、ステップＳ１４が実行される前に、表示部５は、ユーザに対して、基準物体（本実施の形態では白色のキューブ）を撮像部７１に対して提示するように促すメッセージを表示してもよい。

【0157】

基準となる光環境が取得された後も、撮像部７１は、撮像を継続し、撮像情報１１２を取得しつづける（ステップＳ１５）。

【0158】

ステップＳ１４が終了した後、ユーザは化粧支援装置１を移動させながら、自身の全周を自分撮りする。計測制御部１００は、ステップＳ１５が継続している間に取得される撮像情報１１２からユーザ撮像画像を抽出して、各方向からの情報を結合する。計測制御部１００は、結合されたユーザ撮像画像を解析し、全周にわたる画像が得られたと判断したときに、ステップＳ１５を終了する。これにより、ユーザの全周にわたる撮像が完了し、ユーザの全周に相当するカラー画像（撮像情報１１２）が取得される。そして、ユーザの全周に相当する撮像情報１１２をデータベース１１１に格納する。

【0159】

また、ステップＳ１５において、計測制御部１００は、撮像情報１１２に基づいて、三次元形状情報１１３を作成する。そして、計測制御部１００は、作成した各方向からの三次元形状情報１１３を、互いに結合して、ユーザの全周に相当する完全な三次元形状情報１１３を作成する。

【0160】

次に、計測制御部１００は、作成された完全な三次元形状情報１１３を準備三次元形状情報として、データベース１１１に格納する（ステップＳ１６）。

【0161】

なお、このとき、ユーザの部位ごとに分離して情報（撮像情報１１２や準備三次元形状情報）を保存するようにしてもよい。例えば、髪の部分と顔の部分とを分離してもよい。このように分離して保存しておくことにより、後に、例えば、髪の部分に関する情報だけが必要になった場合の処理を軽減することができる。

【0162】

ステップＳ１６を実行すると、ＣＰＵ１０は、事前処理を終了して、図１１に示す処理に戻る。事前処理を終了して図１１に戻ると、化粧支援装置１は、ステップＳ１から処理を繰り返す。

【0163】

メニュー画像５０においてボタン画像４２が操作され、入力された指示情報が「化粧開始」となった場合、ＣＰＵ１０は、ステップＳ５においてＹｅｓと判定し、化粧準備処理を実行する（ステップＳ６）。

【0164】

図１４は、化粧支援装置１によって実行される化粧準備処理を示す流れ図である。なお、図１４に示す化粧準備処理が開始されるまでに、すでに説明した事前処理が少なくとも１回は実行されているものとする。

【0165】

化粧準備処理が開始されると、ＣＰＵ１０は、撮像情報１１２を取得するように撮像部７１を制御する。これにより、撮像部７１が撮像を開始し（ステップＳ２１）、撮像情報１１２の取得が開始される。また、ステップＳ２１において、三次元形状情報１１３の作成も開始される。

【0166】

次に、推定部１０２は、撮像情報１１２と三次元形状情報１１３とに基づいて、現在（化粧時）の光環境を推定する（ステップＳ２２）。なお、ステップＳ２２を実行するとき、化粧支援装置１は、表示部５に、基準物体を配置するように促すメッセージを表示させるとよい。

【0167】

化粧時の光環境を推定すると、推定部１０２は、さらに化粧時におけるユーザの顔色を推定する（ステップＳ２３）。なお、化粧の対象がユーザの顔でない場合には、ステップＳ２３をスキップしてもよい。

【0168】

次に、推定部１０２は、三次元形状情報１１３に基づいて、ユーザの肌質を推定する（ステップＳ２４）。なお、ステップＳ２４が実行されるときには、計測制御部１００は、計測精度を向上させるために、例えば、計測用パターンを細かいパターンに変更するなどしてもよい。

【0169】

次に、推定部１０２は、撮像情報１１２に基づいて、ユーザの肌の弾性を推定する（ステップＳ２５）。このとき、化粧支援装置１は、表示部５に、ユーザに対して肌を押すように促すメッセージを表示することが好ましい。

【0170】

ステップＳ２２ないしＳ２５が順次実行されて、化粧時における各種の状態が推定されると、推定部１０２は、これらの工程において推定した結果を推定情報として、情報作成部１０３に伝達する。

【0171】

次に、ＣＰＵ１０は、化粧を行うときの条件を入力する画面を表示部５に表示させる（ステップＳ２６）。ステップＳ２６において、表示部５は、所定のＧＵＩを表示し、ユーザは当該ＧＵＩに従って、これから開始する化粧の条件を入力する。なお、ステップＳ２６においてユーザが入力する条件とは、化粧の披露場所や目的、化粧を施す部位を示す情報などである。

【0172】

ユーザによる入力が完了すると、ＣＰＵ１０はステップＳ２６を終了し、入力された情報（条件）を指示情報として保持する。さらに、情報作成部１０３は、当該指示情報に応じて、化粧が完了した後のユーザの部位を表現した予測画像情報を化粧支援情報１１４として作成する。そして、表示部５が、予測画像情報を含む化粧支援情報１１４を表示する（ステップＳ２７）。これにより、ユーザは化粧を開始する前に、ステップＳ２６で入力した条件による化粧の完成後の状態を確認することができる。したがって、ユーザの思いもよらない化粧状態に誘導されることが抑制され、化粧の失敗が抑制される。

【0173】

ステップＳ２７を実行すると、ＣＰＵ１０は、ユーザが予測画像情報によって示される完成後の状態に了解したか否かを判定する（ステップＳ２８）。ステップＳ２８における判定は、ユーザが操作部４を操作して入力する指示情報に応じて実行することができる。

【0174】

ユーザが了解しない場合（ステップＳ２８においてＮｏ。）、化粧支援装置１は、修正指示を受け付け（ステップＳ２９）てから、ステップＳ２７の処理に戻る。ステップＳ２７では、当該修正指示を反映させた予測画像情報が新たに作成され、当該予測画像情報が含まれる化粧支援情報１１４が表示される。

【0175】

一方、ユーザが了解した場合（ステップＳ２８においてＹｅｓ。）、ＣＰＵ１０は、化粧準備処理を終了して、図１１に示す処理に戻る。

【0176】

化粧準備処理を終了して図１１に示す処理に戻ると、化粧支援装置１は、化粧支援処理を実行する（ステップＳ７）。

【0177】

図１５は、化粧支援装置１によって実行される化粧支援処理を示す流れ図である。なお、化粧支援処理（ステップＳ７）が開始される前には、必ず化粧準備処理（ステップＳ６）が実行されている。したがって、化粧支援処理が開始された時点では、投光部７０による投射と、撮像部７１による撮像と、計測制御部１００による三次元形状情報１１３の作成とがすでに開始されている。

【0178】

化粧支援処理が開始されると、ＣＰＵ１０は、まず、化粧時における化粧支援装置１の動作モードを決定する（ステップＳ３１）。動作モードは、ユーザによって入力される指示情報に応じて決定される。

【0179】

すでに説明したように、化粧支援装置１は、化粧時の動作モードとして、通常動作モードと、准省電力動作モードと、省電力動作モードとを選択可能となっている。

【0180】

通常動作モードは、化粧時においてリアルタイムで撮像され続ける撮像情報１１２に基づいて、撮像部７１によって撮像されるユーザ撮像画像全体に関する三次元の形状に関する情報をリアルタイムに作成し続ける動作モードである。したがって、投光部７０による計測用パターンも撮像部７１によって撮像される範囲全体に向けて投射しつづける（少なくとも断続的に）必要がある。通常動作モードは、消費電力が最も大きい代わりに、精度の高い表示ユーザ画像が得られる動作モードである。

【0181】

通常動作モードが選択された場合において、特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２と視点情報とに基づいて、当該視点（アングル）からの表示ユーザ画像を作成するために必要な部位であって、当該撮像情報１１２に撮像されていない部位（三次元の形状に関する情報を必要とする当該ユーザの部位）を特定する。そして、特定部１０１は、計測制御部１００に特定部位情報を伝達する。

【0182】

通常動作モードにおいて、計測制御部１００は、特定部位情報に示される部位に関する準備三次元形状情報をデータベース１１１から取得して、撮像情報１１２に基づいてリアルタイムに作成した三次元の形状に関する情報と合成して、三次元形状情報１１３を作成する。

【0183】

図１６は、リアルタイムに取得された三次元の形状に関する情報と準備三次元形状情報とが合成される様子を示す概念図である。

【0184】

画像８０は、正面から撮像された撮像情報１１２に基づいて作成された表示ユーザ画像である。画像８０は、リアルタイムに作成される画像であり、現状を最も忠実に反映させた画像といえる。しかし、化粧支援装置１は、一方向（通常は正面）からしか撮像できない構成であるため、視点情報に基づいて、アングルを変更しようとすると、撮像されていない部位（撮像範囲外の部位）については画像を作成することができない。したがって、このような場合には、図１６に示す画像８０のように欠損部分を生じ、不完全な表示ユーザ画像となる。

【0185】

しかしながら、化粧支援装置１のデータベース１１１には、予め撮像し作成しておいた、撮像情報１１２および準備三次元形状情報が格納されている。したがって、計測制御部１００は、特定部１０１から伝達される特定部位情報に従って、欠損部分の三次元の形状に関する情報をデータベース１１１から取得し、これを用いて、欠損部分を補った三次元形状情報１１３を作成することができる。

【0186】

このように、化粧支援装置１では、通常動作モードにおいても、データベース１１１に格納されている準備三次元形状情報が用いられ、三次元形状情報１１３が作成される。

【0187】

なお、三次元形状情報１１３において準備三次元形状情報により補われた部位については、同じくデータベース１１１に格納されている撮像情報１１２が情報作成部１０３によりテクスチャマッピングされて表示ユーザ画像が作成される。これによって、図１６に示す画像８１のような表示ユーザ画像が作成される。また、准省電力動作モードおよび省電力動作モードにおいても、欠損部分（リアルタイムに取得された撮像情報１１２に撮像されていない部位）については、特定部１０１、計測制御部１００および情報作成部１０３によって同様の処理が実行される。

【0188】

准省電力動作モードは、化粧時においてリアルタイムで撮像され続ける撮像情報１１２に基づいて、撮像部７１によって撮像されるユーザ撮像画像のなかで、動いている部位（三次元形状が変化している部位）のみについて三次元の形状に関する情報をリアルタイムに作成し続け、他の部位（静止している部位）に関する三次元の形状に関する情報は準備三次元形状情報に基づいて作成する動作モードである。そして、計測制御部１００は、リアルタイムに作成する部分と、予め作成されている準備三次元形状情報とを合成することにより三次元形状情報１１３を作成する。したがって、投光部７０による計測用パターンの投射は、撮像部７１によって撮像される範囲全体ではなく、動いている部位のみに向けて投射すればよく、部分的な投射で済む分だけ通常動作モードに比べて消費電力が抑制される。

【0189】

准省電力動作モードが選択された場合、化粧時において特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に基づいて、動きのある部位（三次元の形状に関する情報を必要とする当該ユーザの部位）を特定する。そして、特定部１０１は、計測制御部１００に特定部位情報を伝達する。なお、動きのある部位としては、例えば、目元の部分や口元などが想定される。

【0190】

准省電力動作モードにおいて、計測制御部１００は、特定部位情報に示されている部位に向けてのみ、選択的に計測用パターンを投射するように投光部７０を制御する。

【0191】

省電力動作モードは、化粧時において撮像される撮像情報１１２に基づいて三次元の形状に関する情報を作成することはなく、三次元の形状に関する情報はすべて準備三次元形状情報を使用する動作モードである。したがって、省電力動作モードにおいては、投光部７０が計測用パターンを投射することもない。これにより、省電力動作モードでは、准省電力モードに比べてさらに消費電力が抑制される。

【0192】

なお、ステップＳ３１では、ステップＳ３１において決定された動作モードに応じて、投光部７０による計測用パターンの投射の状態と、計測制御部１００による三次元形状情報１１３の作成方法とが変更される。すなわち、決定された動作モードへの移行が実現される。

【0193】

ステップＳ３１が実行されると、情報作成部１０３は、三次元形状情報１１３に基づいて、化粧時に撮像された撮像情報１１２（ユーザ撮像情報）をテクスチャマッピングすることにより、表示ユーザ画像を作成する。さらに、情報作成部１０３は、作成した表示ユーザ画像を、ユーザが所望する条件に応じて補正して（ステップＳ３２）、表示ユーザ画像を完成させる。

【0194】

ステップＳ３２において、ユーザが所望する条件とは、ステップＳ２６において入力された指示情報の一部であり、具体的には、一旦作成された表示ユーザ画像を、化粧の披露場所の光環境に補正するのか、基準となる光環境に補正するのかを指示する情報である。なお、表示部５，６に複数の画像をそれぞれ分けて表示することができる場合には、上記の両者の補正のうちのいずれか一方を実行した表示ユーザ画像をそれぞれ完成させてもよい。

【0195】

次に、情報作成部１０３は、完成させた表示ユーザ画像と、データベース１１１から取得した様々な情報（アドバイスとなる情報）とを含む化粧支援情報１１４を作成する（ステップＳ３３）。

【0196】

化粧支援情報１１４が作成されると、補正部１０４は、化粧中にリアルタイムに取得されている撮像情報１１２に基づいて、ユーザの手ブレを検出し、検出した手ブレに応じて、化粧支援情報１１４（特に、表示ユーザ画像）の表示位置を補正する（ステップＳ３４）。そして、表示部５が補正部１０４により補正された表示位置に化粧支援情報１１４を表示する（ステップＳ３５）。

【0197】

ステップＳ３５が実行されると、ＣＰＵ１０は、現在化粧の対象となっている部位に対する化粧を終了するか否かを判定する（ステップＳ３６）。

【0198】

化粧中の部位に関する化粧の終了は、ユーザが操作部４を操作することによって指示情報として入力されるものとする。すなわち、ユーザが化粧の状態に満足し、化粧の終了を入力した場合にのみステップＳ３６においてＹｅｓと判定され、当該入力がない限り、ステップＳ３６においてＮｏと判定されてステップＳ３２からの処理が繰り返される。

【0199】

なお、図１５の説明において省略したが、ステップＳ３２ないしＳ３６が実行されている間、推定部１０２は、ユーザによる塗布速度や押圧力を推定しつづけている。そして、情報作成部１０３は、ステップＳ３３において推定部１０２から伝達される推定情報に応じた化粧支援情報１１４を作成する。

【0200】

また、終了の指示自体はユーザから入力されるが、化粧の完了を知らせる化粧支援情報１１４は、すでに説明したように、情報作成部１０３によって作成される。

【0201】

ステップＳ３６においてＹｅｓと判定すると、ＣＰＵ１０は、他の部位について引き続き化粧を行うか否かを指示するようにユーザに促すとともに、当該指示があるまで待機する。そして、ユーザからの指示が入力されると、当該指示が他の部位について引き続き化粧を行う旨の指示か否かを判定する（ステップＳ３７）。

【0202】

ユーザが他の部位についての化粧を行う旨を入力した場合には、ステップＳ３７においてＹｅｓと判定し、ステップＳ２６（図１４）からの処理を繰り返す。すなわち、新たに化粧を開始する部位に関する条件入力を受け付ける状態となる。

【0203】

一方、ユーザが他の部位についての化粧を行わない旨を入力した場合には、ステップＳ３７においてＮｏと判定し、投光部７０による投射、撮像部７１による撮像、および、計測制御部１００による三次元形状情報１１３の作成をそれぞれ終了してから、化粧支援処理を終了し、図１１に示す処理に戻る。ステップＳ７の化粧支援処理を終了して図１１に示す処理に戻った場合、化粧支援装置１は、ステップＳ１に戻って処理を繰り返す。

【0204】

メニュー画像５０においてボタン画像４３が操作され、入力された指示情報が「終了」となった場合、ＣＰＵ１０は、ステップＳ８においてＹｅｓと判定し、お化粧アプリを終了する。

【0205】

以上のように、化粧支援装置１は、ユーザを撮像して撮像情報１１２を取得する撮像部７１と、撮像部７１により取得された撮像情報１１２に基づいて、ユーザに関する三次元の形状に関する情報を取得して三次元形状情報１１３を作成する計測制御部１００と、計測制御部１００により作成された三次元形状情報１１３に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成する情報作成部１０３と、情報作成部１０３により作成された化粧支援情報１１４を表示する表示部５，６とを備える。これにより、正確で適切な化粧を、場所を選ばず、手軽に実行することができる。

【0206】

また、計測制御部１００は、ユーザに関する三次元の形状に関する情報を、ユーザの化粧時より前に取得して準備三次元形状情報として作成することにより、例えば、化粧時に三次元の形状に関する情報を取得することが困難な部位（側頭部など）について予め準備三次元形状情報を取得しておくことにより、化粧時においても完全な三次元形状情報１１３を作成することができる。

【0207】

また、情報作成部１０３は、計測制御部１００により作成された準備三次元形状情報に対して、ユーザの化粧時に撮像部７１により取得された撮像情報１１２をテクスチャマッピングすることにより、化粧支援情報１１４を作成する。これにより、化粧時に三次元計測を行わなくても、化粧時に三次元の化粧支援情報１１４を表示できる。したがって、化粧時の消費電力を抑制することができる。

【0208】

また、計測制御部１００は、ユーザの化粧時において当該ユーザに関する三次元の形状に関する情報を取得することにより、現在の形状を反映した三次元形状情報１１３を取得することができるため、化粧時の動きに追随した現実味のある自然な化粧支援情報１１４を作成することができる。

【0209】

また、特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に撮像されている部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定し、計測制御部１００は、特定部１０１により特定されたユーザの部位に関する部分についてのみ三次元の形状に関する情報をユーザの化粧時に取得し、取得した当該三次元の形状に関する情報と、準備三次元形状情報とを合成することによりユーザに関する三次元形状情報１１３を作成する。これにより、化粧時に部位が変形した場合であっても、完全な（全周にわたる）三次元の形状に関する情報をリアルタイムに取得することなく、完全な三次元形状情報１１３を作成することができる。したがって、すべての部位について、三次元の形状に関する情報を取得する場合に比べて消費電力を抑制することができる。

【0210】

また、特定部１０１は、ユーザの化粧時において撮像部７１により取得された撮像情報１１２に撮像されていない部位の中から三次元の形状に関する情報を必要とするユーザの部位を特定し、計測制御部１００は、特定部１０１により特定されたユーザの部位に関する部分についての準備三次元形状情報と、ユーザの化粧時に取得した当該ユーザに関する三次元の形状に関する情報とを合成して三次元形状情報１１３を作成する。これにより、化粧時に一方向からしか三次元の形状に関する情報を取得することができなくても、全周に関する三次元形状情報１１３を作成することができる。

【0211】

情報作成部１０３は、操作部４により取得された視点情報に基づいてユーザに施す化粧を支援するための化粧支援情報１１４を作成することにより、一方向からの撮像であっても、様々な視点（アングル）からの見栄えを確認することができる。

【0212】

補正部１０４がユーザの化粧時において撮像部７１により撮像された撮像情報１１２に基づいてユーザの視線を推定することにより、表示部５，６に表示される化粧支援情報１１４の表示位置を補正することにより、手ブレを補正することができ、電車内など揺れの激しい環境においても、安定した化粧を行うことができる。

【0213】

また、推定部１０２が計測制御部１００により作成された三次元形状情報１１３に基づいてユーザの肌質を推定し、情報作成部１０３が推定部１０２により推定されたユーザの化粧時における肌質に適した化粧支援情報１１４を作成することにより、化粧時の肌質に適した化粧支援を行うことができる。

【0214】

また、推定部１０２がユーザの肌面を押圧したときの当該肌面の変化に基づいて当該肌面の弾性を推定し、情報作成部１０３が推定部１０２により推定されたユーザの化粧時における肌面の弾性に適した化粧支援情報１１４を作成することにより、化粧時の肌面の弾性に適した化粧支援を行うことができる。

【0215】

また、推定部１０２がユーザの化粧時におけるユーザによる押圧力を推定し、化粧支援情報１１４が推定部１０２により推定されたユーザによる押圧力に関する情報を含むことにより、ユーザによる押圧力の適否を判定して化粧支援を行うことができる。

【0216】

また、推定部１０２がユーザの化粧時における化粧品の塗布速度を推定し、化粧支援情報１１４が推定部１０２により推定された塗布速度に関する情報を含むことにより、ユーザによる化粧品などの塗布速度の適否を判定して化粧支援を行うことができる。

【0217】

また、推定部１０２がユーザの頬骨位置を推定し、情報作成部１０３は、推定部１０２により推定されたユーザの頬骨位置に応じて化粧支援情報１１４を作成することにより、ユーザの頬骨位置に応じて化粧支援を行うことができる。特に、頬骨位置の影響が大きいチークによる化粧時に有効である。

【0218】

また、推定部１０２が化粧時における光環境を推定することにより、現在の光環境を考慮した化粧支援が可能となる。

【0219】

また、推定部１０２により推定された化粧時における光環境と、基準となる光環境とに基づいて、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２を補正することにより、常に、基準となる光環境における見栄えを確認することができる。したがって、移動先の光環境に左右されずに安定した化粧を行うことができる。

【0220】

また、推定部１０２により推定された化粧時における光環境と、ユーザの所望する披露場所における光環境とに基づいて、ユーザの化粧時において撮像部７１により撮像された撮像情報１１２を補正することにより、化粧時の光環境に影響されることなく、化粧を披露する場所の光環境における見栄えを確認することができる。

【0221】

また、推定部１０２が、推定した化粧時における光環境に応じて、ユーザの化粧時における顔色を推定し、情報作成部１０３が、推定されたユーザの化粧時における顔色に適した化粧支援情報１１４を作成することにより、光環境の変化に影響されることなく、そのときの顔色（健康状態など）に応じて適切な化粧支援を行うことができる。

【0222】

また、情報作成部１０３が、ユーザの所望する披露場所における光環境に適した化粧支援情報１１４を作成することにより、化粧を披露する場所の光環境に対応した適切な化粧支援を行うことができる。

【0223】

また、情報作成部１０３が、ユーザの化粧目的に応じた化粧支援情報１１４を作成することにより、いつも同じ化粧を提案するのではなく、化粧のバリエーションが増え、汎用性が向上する。

【0224】

また、情報作成部１０３が、ユーザが所持している物品の中から推奨物品を選択し、選択した前記推奨物品に関する情報を化粧支援情報１１４に含めることにより、状況に応じた物品を提案することができ、適切な化粧支援を実現することができる。

【0225】

また、化粧支援情報１１４が、ユーザについて、化粧後の予測画像情報を含むことにより、化粧の完成後の状態を確認してから化粧を開始することができる。したがって、失敗を抑制することができる。

【0226】

また、化粧支援情報１１４が、ユーザについて、化粧を施すべき位置に関する情報を含むことにより、どの領域に化粧を施すべきかを具体的に示すことができる。

【0227】

また、化粧支援情報１１４に示される化粧を施すべき位置が、化粧品を塗るときの塗り開始位置に関する情報を含むことにより、どこから塗り始めるのが適切かを具体的に示すことができる。

【0228】

また、化粧支援情報１１４に示される化粧を施すべき位置が、化粧品を塗るときの塗り終了位置に関する情報を含むことにより、どこまで塗るのが適切かを具体的に示すことができる。

【0229】

また、化粧支援情報１１４に示される化粧を施すべき位置が、化粧品を塗るときの軌跡に関する情報を含むことにより、当該化粧品を塗る途中の曲げ具合なども細かく指示することができる。

【0230】

また、化粧支援情報１１４が、化粧品の塗るべき濃度に関する情報を含むことにより、塗りすぎを防止することができるとともに、効果的なグラデーションや、シェーディングを容易に実現することができるように支援することができる。

【0231】

また、化粧支援情報１１４が、睫毛の湾曲度合いに関する情報を含むことにより、立体的な形状が特に重要な睫毛について適切な化粧支援を行うことができる。

【0232】

また、化粧支援情報１１４が、ユーザについて、化粧の終了に関する情報を含むことにより、例えば、化粧品の塗りすぎを有効に防止することができる。

【0233】

また、情報作成部１０３が、ユーザの複数の部位を比較して、化粧の終了を判定することにより、他の部位とのバランスをとることができる。

【0234】

＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

【0235】

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。

【0236】

また、上記実施の形態に示した機能ブロック（例えば、計測制御部１００や特定部１０１、推定部１０２など）は、ＣＰＵ１０がプログラム１１０に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、これらの機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。

【0237】

また、化粧の対象となるユーザの部位は、ユーザの顔に限定されるものではない。例えば、爪や頭髪など、ユーザの身体における他の部位であってもよい。

【0238】

また、筐体部２は、化粧品（ファンデーションやチークなど）や道具類（ハケやパッドなど）を収納するケースとして兼用できる構造であってもよい。

【0239】

また、上記実施の形態では、投光部７０が不可視光によってパターンを投光することにより、化粧支援情報１１４として表示される撮像情報１１２に当該パターンの可視的な影響がでないように構成していた。しかし、例えば、投光部７０が撮像部７１の撮像タイミングを避けるタイミングで当該パターンを投光するように構成してもよい。例えば、撮像部７１のフレーム間隔の間に投光部７０が当該パターンを投光するようにしてもよい。このように構成することによっても、当該パターンの可視的な影響が撮像情報１１２に出ないようにすることができる。

【符号の説明】

【0240】

１ 化粧支援装置
１０ ＣＰＵ
１００ 計測制御部
１０１ 特定部
１０２ 推定部
１０３ 情報作成部
１０４ 補正部
１１ 記憶装置
１１０ プログラム
１１１ データベース
１１２ 撮像情報
１１２ 撮像画像
１１３ 三次元形状情報
１１４，１１４ａ，１１４ｂ 化粧支援情報
４ 操作部
５，６ 表示部
７ 計測部
７０ 投光部
７１ 撮像部
８０，８１ 画像
９０ 基準物体
９１，９２，９３，９４，９５，９６ ガイド

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】