特許 7606885 化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置

(51)【国際特許分類】

   G06T 1/00 20060101AFI20241219BHJP

   A45D 44/00 20060101ALI20241219BHJP

【ＦＩ】

G06T1/00 340A

A45D44/00 A

G06T1/00 510

G06T1/00 315

【請求項の数】 11

(21)【出願番号】P 2021032680

(22)【出願日】2021-03-02

(65)【公開番号】P2022133792

(43)【公開日】2022-09-14

【審査請求日】2024-02-15

(73)【特許権者】

【識別番号】000145862

【氏名又は名称】株式会社コーセー

(73)【特許権者】

【識別番号】518104186

【氏名又は名称】公立大学法人長野大学

(74)【代理人】

【識別番号】100106781

【弁理士】

【氏名又は名称】藤井 稔也

(72)【発明者】

【氏名】五十嵐 啓二

(72)【発明者】

【氏名】丸木 航

(72)【発明者】

【氏名】田中 法博

【審査官】小池 正彦

(56)【参考文献】

【文献】特開２０１０－１９８３８２（ＪＰ，Ａ）

【文献】兼子亜弓,外2名，化粧肌の分光画像計測とCG 再現，日本色彩学会誌，2015年，第39巻,第5号，p.80-83，https://dl.ndl.go.jp/view/prepareDownload?itemId=info%3Andljp%2Fpid%2F10750640&contentNo=1

【文献】田中法博,外1名，分光反射率分析に基づいた化粧と肌のCG再現，長野大学紀要第41巻第１号（2019），2019年，第41巻,第1号，p.65-72，https://nagano.repo.nii.ac.jp/record/1268/files/nagano_41-01-07.pdf

【文献】小島伸俊,外1名，いま“顔”が面白い～顔の画像処理とその応用～ ４．化粧顔画像の解析・合成，映像情報メディア学会誌，第62巻,第12号，2008年12月01日，p.1928-1932

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ａ４５Ｄ ４４／００

(57)【特許請求の範囲】

【請求項1】

化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する第２色信号算出部と、
前記第１色信号及び前記第２色信号から前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成するオブジェクト生成部と、を備える化粧シミュレーションシステム。

【請求項2】

前記第１ＲＧＢ値を前記第１分光反射率に変換するための第１変換関数であって、前記化粧前における前記塗布対象物の色に応じた前記第１変換関数を記憶する分光変換データベースをさらに備え、
前記第１分光反射率算出部は、前記化粧前における前記塗布対象物の色に応じた前記第１変換関数を用いて前記第１分光反射率を算出する
請求項１に記載の化粧シミュレーションシステム。

【請求項3】

前記第１分光反射率から前記第２分光反射率を算出するための第２変換関数であって、前記化粧前における前記塗布対象物の色に応じた前記第２変換関数を記憶する化粧料データベースと、
前記第１分光反射率と前記化粧前における前記塗布対象物の色に応じた前記第２変換関数とを用いて前記第２分光反射率を算出する第２分光反射率算出部と、をさらに備え、
前記第２色信号算出部は、前記第２分光反射率算出部が算出した前記第２分光反射率を含む前記第２三次元反射特性モデルを用いて前記第２色信号を算出する
請求項２に記載の化粧シミュレーションシステム。

【請求項4】

前記化粧料データベースは、前記化粧料の製品ごとの前記第２変換関数及び前記第２反射特性パラメータを記憶しており、
前記第２分光反射率算出部は、前記化粧料の製品ごとの前記第２変換関数を用いて前記第２分光反射率を算出し、
前記第２色信号算出部は、前記第２分光反射率算出部が算出した前記第２分光反射率と、前記化粧料の製品ごとの前記第２反射特性パラメータとを含む前記第２三次元反射特性モデルを用いて前記第２色信号を算出する
請求項３に記載の化粧シミュレーションシステム。

【請求項5】

前記化粧料データベースは、前記化粧料に含まれる光輝剤の分光反射率と、前記光輝剤の反射特性を規定する前記光輝剤の反射特性パラメータと、前記光輝剤の大きさを規定する形状情報と、前記光輝剤の分散状態を規定する分散情報と、を記憶しており、
前記第２色信号算出部は、前記第２三次元反射特性モデルを用いて前記化粧料の前記第２色信号を算出し、さらに、前記光輝剤における前記形状情報及び前記分散情報から推定される前記光輝剤が点在する領域において、前記光輝剤の分光反射率と前記光輝剤の反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第３三次元反射特性モデルを用いて前記光輝剤の色信号を算出し、
前記第３色信号算出部は、前記第１色信号、前記第２色信号、及び、前記光輝剤の色信号から前記化粧前の前記塗布対象物に前記光輝剤を含む前記化粧料を塗布した前記化粧状態の前記塗布対象物における前記第３色信号を算出する
請求項４に記載の化粧シミュレーションシステム。

【請求項6】

前記第２分光反射率及び前記第２反射特性パラメータのうち少なくとも一方は、前記化粧料に対して実測された実測値である
請求項１または２に記載の化粧シミュレーションシステム。

【請求項7】

前記照明光の前記分光分布と、前記照明光を発生させる照明光源の空間分布であって、前記三次元オブジェクトを中心とした全方位についての前記空間分布と、を照明環境ごとに記憶する照明環境データベースをさらに備え、
前記第１色信号算出部は、前記照明環境ごとの前記照明光の前記分光分布を含む前記第１三次元反射特性モデルを用いて前記第１色信号を算出し、
前記第２色信号算出部は、前記照明環境ごとの前記照明光の前記分光分布を含む前記第２三次元反射特性モデルを用いて前記第２色信号を算出する
請求項１ないし６のうち何れか一項に記載の化粧シミュレーションシステム。

【請求項8】

前記第１分光反射率算出部、前記第１色信号算出部、前記第２色信号算出部、前記第３色信号算出部、前記第２ＲＧＢ値算出部、及び、前記オブジェクト生成部のうち少なくとも何れか一つとして機能するＧＰＵをさらに備える
請求項１ないし７のうち何れか一項に記載の化粧シミュレーションシステム。

【請求項9】

化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する工程と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する工程と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する工程と、
前記第１色信号及び前記第２色信号から前記化粧前の前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する工程と、
前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する工程と、
前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成する工程と、を含む
化粧シミュレーション方法。

【請求項10】

コンピュータに、
化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する処理と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する処理と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する処理と、
前記第１色信号及び前記第２色信号から前記化粧前の前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する処理と、
前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する処理と、
前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成する処理と、を実行させる
化粧シミュレーションプログラム。

【請求項11】

化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、
前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、
前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する第２色信号算出部と、
前記第１色信号及び前記第２色信号から前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、
前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、
前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成するオブジェクト生成部と、を備える
化粧シミュレーション装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、塗布対象物に化粧料を塗布した状態を再現するための化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置に関する。

【背景技術】

【0002】

ユーザの顔画像を用いて化粧料を塗布した後の顔のシミュレーション画像を表示する化粧シミュレーションシステムが知られている。例えば、特許文献１には、未化粧状態におけるユーザの顔画像に化粧料ごとのパターンを重畳することで、化粧料を塗布した状態の顔のシミュレーション画像を生成する化粧シミュレーション方法が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００７－２５７１９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

顔に化粧料を塗布した場合、化粧料が塗布された領域は、肌の色と化粧料の色とが組み合わされた色を有する。すなわち、使用者の肌の色が異なる場合には、同じ化粧料を塗布した場合であっても、化粧料が塗布された領域は、異なる色を有する。しかし、上記のようなユーザの顔画像に対して単純に化粧料のパターンを重畳する方法では、肌の色がシミュレーション画像に反映されず、シミュレーション画像とユーザが実際に化粧をした際の外観との乖離が大きくなってしまう。したがって、上記方法では、再現精度の高い化粧シミュレーションを行うことが困難である。

【課題を解決するための手段】

【0005】

上記課題を解決する化粧シミュレーションシステムは、化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する第２色信号算出部と、前記第１色信号及び前記第２色信号から前記化粧前の前記塗布対象物に前記化粧料を適用した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成するオブジェクト生成部と、を備える。

【0006】

上記課題を解決する化粧シミュレーション方法は、化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する工程と、前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する工程と、前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する工程と、前記第１色信号及び前記第２色信号から前記化粧前の前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する工程と、前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する工程と、前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成する工程と、を含む。

【0007】

上記課題を解決する化粧シミュレーションプログラムは、コンピュータに、化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する処理と、前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する処理と、前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する処理と、前記第１色信号及び前記第２色信号から前記化粧前の前記塗布対象物に前記化粧料を塗布した化粧状態の前記塗布対象物における第３色信号を算出する処理と、前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する処理と、前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成する処理と、を実行させる。

【0008】

上記課題を解決する化粧シミュレーション装置は、化粧料が塗布される塗布対象物における化粧前の第１ＲＧＢ値から前記化粧前の前記塗布対象物における第１分光反射率を算出する第１分光反射率算出部と、前記第１分光反射率と前記化粧前の前記塗布対象物における反射特性を規定する第１反射特性パラメータと照明光の分光分布及び幾何条件とで表現される第１三次元反射特性モデルを用いて前記化粧前の前記塗布対象物における第１色信号を算出する第１色信号算出部と、前記化粧料の第２分光反射率と前記化粧料の反射特性を規定する第２反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第２三次元反射特性モデルを用いて前記化粧料の第２色信号を算出する第２色信号算出部と、前記第１色信号及び前記第２色信号から前記化粧前の前記塗布対象物に前記化粧料を適用した化粧状態の前記塗布対象物における第３色信号を算出する第３色信号算出部と、前記第３色信号から前記化粧状態の前記塗布対象物における第２ＲＧＢ値を算出する第２ＲＧＢ値算出部と、前記第２ＲＧＢ値から前記化粧状態の前記塗布対象物を含む三次元オブジェクトを生成するオブジェクト生成部と、を備える。

【0009】

上記各構成によれば、第１三次元反射特性モデルを用いて第１色信号を算出し、第２三次元反射特性モデルを用いて第２色信号を算出することで、化粧状態における塗布対象物の色信号として、化粧料に塗布対象物の色が反映された状態の第３色信号を算出できる。そして、第３色信号から第２ＲＧＢ値を算出することで化粧状態における塗布対象物の三次元オブジェクトが生成される。これにより、シミュレーション結果として、塗布対象物の色や照明光による陰影、光沢が反映された化粧状態における塗布対象物の三次元オブジェクトを得ることができる。したがって、単に塗布対象物に化粧料の色を重畳する場合よりも、再現精度の高い化粧シミュレーションを行うことができる。また、化粧状態における照明光による陰影、光沢を再現できるため、化粧料を塗布対象物に塗布した状態の質感を再現できる。そして、例えば、ユーザに対してカウンセリングを行う際に、上記化粧シミュレーションを用いることで、ユーザに対して最適な化粧料を提案できる。

【0010】

上記化粧シミュレーションシステムにおいて、前記第１ＲＧＢ値を前記第１分光反射率に変換するための第１変換関数であって、前記化粧前おける前記塗布対象物の色に応じた前記第１変換関数を記憶する分光変換データベースをさらに備え、前記第１分光反射率算出部は、前記化粧前における前記塗布対象物の色に応じた前記第１変換関数を用いて前記第１分光反射率を算出してもよい。上記構成によれば、塗布対象物の色に応じた第１変換関数に基づいて第１分光反射率を算出することで、第１分光反射率として、より実際の塗布対象物に近い分光反射率を算出できる。したがって、より再現精度の高い化粧シミュレーションを行うことができる。

【0011】

上記化粧シミュレーションシステムにおいて、前記第１分光反射率から前記第２分光反射率を算出するための第２変換関数であって、前記化粧前における前記塗布対象物の色に応じた前記第２変換関数を記憶する化粧料データベースと、前記第１分光反射率と前記化粧前における前記塗布対象物の色に応じた前記第２変換関数とを用いて前記第２分光反射率を算出する第２分光反射率算出部と、をさらに備え、前記第２色信号算出部は、前記第２分光反射率算出部が算出した前記第２分光反射率を含む前記第２三次元反射特性モデルを用いて前記第２色信号を算出してもよい。上記構成によれば、第１分光反射率と、塗布対象物の色に応じた第２変換関数とに基づいて第２分光反射率を算出することで、実際に化粧料が塗布対象物に塗布されて塗布対象物になじんだ状態での化粧料の分光反射率により近い第２分光反射率を算出できる。したがって、より再現精度の高い化粧シミュレーションを行うことができる。

【0012】

上記化粧シミュレーションシステムにおいて、前記化粧料データベースは、前記化粧料の製品ごとの前記第２変換関数及び前記第２反射特性パラメータを記憶しており、前記第２分光反射率算出部は、前記化粧料の製品ごとの前記第２変換関数を用いて前記第２分光反射率を算出し、前記第２色信号算出部は、前記第２分光反射率算出部が算出した前記第２分光反射率と、前記化粧料の製品ごとの前記第２反射特性パラメータとを含む前記第２三次元反射特性モデルを用いて前記第２色信号を算出してもよい。上記構成によれば、化粧料の製品ごとの第２分光反射率及び第２反射特性パラメータを用いて第２色信号を算出することで、化粧料の製品ごとの色及び反射特性が反映された三次元オブジェクトを生成できる。したがって、より再現精度の高い化粧シミュレーションを行うことができる。

【0013】

上記化粧シミュレーションシステムにおいて、前記化粧料データベースは、前記化粧料に含まれる光輝剤の分光反射率と、前記光輝剤の反射特性を規定する前記光輝剤の反射特性パラメータと、前記光輝剤の大きさを規定する形状情報と、前記光輝剤の分散状態を規定する分散情報と、を記憶しており、前記第２色信号算出部は、前記第２三次元反射特性モデルを用いて前記化粧料の前記第２色信号を算出し、さらに、前記光輝剤における前記形状情報及び前記分散情報から推定される前記光輝剤が点在する領域において、前記光輝剤の分光反射率と前記光輝剤の反射特性パラメータと前記照明光の前記分光分布及び前記幾何条件とで表現される第３三次元反射特性モデルを用いて前記光輝剤の色信号を算出し、前記第３色信号算出部は、前記第１色信号、前記第２色信号、及び、前記光輝剤の色信号から前記化粧前の前記塗布対象物に前記光輝剤を含む前記化粧料を塗布した前記化粧状態の前記塗布対象物における前記第３色信号を算出してもよい。上記構成によれば、化粧料に含まれる光輝剤の分光反射率を含む第３三次元反射特性モデルを用いて光輝剤の色信号を算出できる。そして、第１色信号、第２色信号、及び、光輝剤の色信号に基づいて算出される第３色信号から第２ＲＧＢ値を算出することで、化粧状態における光輝剤の光沢が再現された三次元オブジェクトを生成できる。また、形状情報及び分散情報から推定される光輝剤が点在する領域において、光輝剤の色信号を算出することで、実際の化粧料に含まれる光輝剤の粒形状及び光輝剤の分散状態を再現できる。したがって、より再現精度の高い化粧シミュレーションを行うことができる。

【0014】

上記化粧シミュレーションシステムにおいて、前記第２分光反射率及び前記第２反射特性パラメータのうち少なくとも一方は、前記化粧料に対して計測された実測値であってもよい。上記構成によれば、第２三次元反射特性モデルを構成するパラメータである第２分光反射率及び第２反射特性パラメータのうち少なくとも一方として、化粧料に対する実測値を用いることで、様々な化粧料のシミュレーションを容易に行うことができる。例えば、新たな化粧料が開発された際には、新たな化粧料の第２分光反射率及び第２反射特性パラメータを実測することで、本システムでシミュレーションを行うことができる。

【0015】

上記化粧シミュレーションシステムにおいて、前記照明光の前記分光分布と、前記照明光を発生させる照明光源の空間分布であって、前記三次元オブジェクトを中心とした全方位についての前記空間分布と、を照明環境ごとに記憶する照明環境データベースをさらに備え、前記第１色信号算出部は、前記照明環境ごとの前記照明光の前記分光分布を含む前記第１三次元反射特性モデルを用いて前記第１色信号を算出し、前記第２色信号算出部は、前記照明環境ごとの前記照明光の前記分光分布含む前記第２三次元反射特性モデルを用いて前記第２色信号を算出してもよい。上記構成によれば、照明環境ごとの照明分光分布に基づいて第１色信号及び第２色信号を算出することで、照明環境ごとの照明光による陰影、光沢などの照明効果が反映された三次元オブジェクトを生成できる。したがって、より再現精度の高い化粧シミュレーションを行うことができる。

【0016】

上記化粧シミュレーションシステムにおいて、前記第１分光反射率算出部、前記第１色信号算出部、前記第２色信号算出部、前記第３色信号算出部、前記第２ＲＧＢ値算出部、及び、前記オブジェクト生成部のうち少なくとも何れか一つとして機能するＧＰＵをさらに備えてもよい。上記構成によれば、ＧＰＵを用いて化粧シミュレーションシステムにおける処理を実行することで、リアルタイムでの画像処理が可能となり、より好適に化粧シミュレーションを行うことができる。

【発明の効果】

【0017】

以上のような構成によれば、化粧料に塗布対象物の色を反映させることで、単に塗布対象物に化粧料の色を重畳する場合よりも化粧シミュレーションの再現精度を高めることができる。

【図面の簡単な説明】

【0018】

【図1】化粧シミュレーションシステムの全体構成を示す模式図。

【図2】ユーザ端末の構成を示すブロック図。

【図3】サーバの構成を示すブロック図。

【図4】サーバが備えるＧＰＵの機能ブロック図。

【図5】第１三次元オブジェクトが表示されたアプリ画像を表す模式図。

【図6】化粧料選択領域が表示されたアプリ画像を表す模式図。

【図7】化粧シミュレーションシステムにおける処理手順を示すフローチャート。

【図8】化粧シミュレーションシステムにおける反射の幾何学モデルを示す模式図。

【図9】図８に示す反射の幾何学モデルにおける反射光分布を示す模式図。

【図10】化粧料に含まれる光輝剤の多層膜で生じる干渉光を表す模式図。

【図11】第２三次元オブジェクトが表示されたアプリ画像を表す模式図。

【発明を実施するための形態】

【0019】

〔第１実施形態〕
以下、化粧シミュレーションシステム、化粧シミュレーション方法、化粧シミュレーションプログラム、及び、化粧シミュレーション装置の第１実施形態について図１～図１１を参照して説明する。

【0020】

〔全体構成〕
図１に示すように、化粧シミュレーションシステム１は、ユーザ端末１０と、サーバ２０とを備える。ユーザ端末１０は、ユーザ２が所有する情報処理装置であって、一例として、スマートフォンである。なお、ユーザ端末１０は、タブレット、ラップトップパソコン、デスクトップパソコンなどの情報処理装置であってもよい。

【0021】

サーバ２０は、化粧シミュレーションシステム１における各種処理を実行するサーバコンピュータであって、化粧シミュレーションを行うための化粧シミュレーション装置の一例である。具体的に、サーバ２０は、化粧前の状態である未化粧状態における顔の三次元オブジェクト３０である第１三次元オブジェクト３０ａを生成する。また、サーバ２０は、化粧後の状態である化粧状態における顔の三次元オブジェクト３０である第２三次元オブジェクト３０ｂを生成する。

【0022】

ユーザ端末１０及びサーバ２０は、通信回線であるネットワーク３を介して接続されている。ネットワーク３は、一例として、携帯電話の４Ｇ、５Ｇなどの移動通信システム、Ｗｉ‐Ｆｉ（登録商標）などの無線ＬＡＮ通信システムである。

【0023】

ユーザ端末１０には、アプリケーションプログラムとしての三次元オブジェクト表示プログラムがインストールされている。三次元オブジェクト表示プログラムは、ユーザ端末１０に第１三次元オブジェクト３０ａ及び第２三次元オブジェクト３０ｂを表示する処理を実行させるプログラムである。三次元オブジェクト表示プログラムは、ネットワークを介してアプリケーション配信装置からダウンロードされ、ユーザ端末１０にインストールされる。

【0024】

ユーザ端末１０は、タッチパネル１３を備える。タッチパネル１３には、未化粧状態の三次元オブジェクトである第１三次元オブジェクト３０ａや化粧状態の三次元オブジェクト３０であるシミュレーション結果としての第２三次元オブジェクト３０ｂが表示される。

【0025】

〔ユーザ端末〕
図２に示すように、ユーザ端末１０は、制御部１１と、メモリ１２と、タッチパネル１３と、撮像部１４と、通信部１５とを備える。制御部１１は、一例として、ＣＰＵであり、ユーザ端末１０における全体の動作を制御する。

【0026】

メモリ１２は、メインメモリとデータ記憶部とを備える。メモリ１２が備えるメインメモリは、一例として、ＲＡＭであり、ユーザ端末１０のデータやプログラムなどを一時的に記憶する。メモリ１２が備えるデータ記憶部は、不揮発性メモリであって、一例として、フラッシュメモリである。メモリ１２が備えるデータ記憶部には、例えば、三次元オブジェクト表示プログラムなど、ユーザ端末１０における各種処理を実行するためのプログラムが記憶されている。

【0027】

タッチパネル１３は、液晶パネルや有機ＥＬパネルなどの表示デバイスと、位置入力デバイスとを組み合わせたタッチ操作入力が可能なディスプレイである。すなわち、タッチパネル１３は、ユーザ端末１０において、三次元オブジェクト３０が表示される表示部であり、また、サーバ２０に対して操作入力を行う操作部である。

【0028】

撮像部１４は、一例として、ＣＣＤやＣＭＯＳ等の撮像素子を備えるＲＧＢカメラである。撮像部１４は、可視光等の光を検出し、赤、緑、青のＲＧＢ値で構成された画像データを出力する。以下では、撮像部１４で取得された画像のＲＧＢ値を第１ＲＧＢ値とする。

【0029】

撮像部１４は、第１ＲＧＢ値で構成される未化粧状態でのユーザ２の顔画像を取得する。第１三次元オブジェクト３０ａは、撮像部１４が取得した未化粧状態でのユーザ２の顔画像を構成する第１ＲＧＢ値に基づいて生成される。

【0030】

通信部１５は、ネットワーク３を介して、サーバ２０と通信する。具体的に、通信部１５は、ユーザ端末１０からの信号をサーバ２０に送信し、また、サーバ２０が生成した第１三次元オブジェクト３０ａ及び第２三次元オブジェクト３０ｂなどのデータを受信する。

【0031】

〔サーバ〕
図３に示すように、サーバ２０は、制御部２１と、メモリ２４と、通信部２５とを備える。制御部２１は、一例として、ＣＰＵ２２とＧＰＵ２３とを備える。ＣＰＵ２２は、サーバ２０における三次元オブジェクト３０の生成処理以外の全体の動作を制御する。ＧＰＵ２３は、サーバ２０における三次元オブジェクト３０の生成処理を実行する。

【0032】

メモリ２４は、メインメモリとデータ記憶部とを備える。メモリ２４が備えるメインメモリは、一例として、ＲＡＭであり、サーバ２０のデータやプログラムなどを一時的に記憶する。メモリ２４が備えるデータ記憶部は、不揮発性メモリであって、一例として、ＨＤＤやＳＳＤなどのフラッシュメモリである。

【0033】

メモリ２４が備えるデータ記憶部には、例えば、化粧シミュレーションプログラムなど、サーバ２０における各種処理を実行するためのプログラムが記憶されている。化粧シミュレーションプログラムは、第１三次元オブジェクト３０ａ及び第２三次元オブジェクト３０ｂを生成する処理をサーバ２０に実行させるプログラムである。化粧シミュレーションプログラムにおける処理は、制御部２１が備えるＧＰＵ２３によって制御される。

【0034】

メモリ２４は、データ記憶部としての分光変換データベース２４ａと、照明環境データベース２４ｂと、化粧料データベース２４ｃとを備える。分光変換データベース２４ａは、第１三次元オブジェクト３０ａにおいて、化粧料が塗布される対象である塗布対象物を構成する第１ＲＧＢ値を未化粧状態における塗布対象物の分光反射率である第１分光反射率Ｓ_１（λ）に変換するための第１変換関数Ｍを記憶する。本実施形態では、分光変換データベース２４ａは、塗布対象物の一例である顔における素肌及び唇のそれぞれについて、第１ＲＧＢ値を第１分光反射率Ｓ_１（λ）に変換するための第１変換関数Ｍを記憶する。

【0035】

第１変換関数Ｍは、多数の人々を対象として塗布対象物のＲＧＢ値及び分光反射率を実測し、塗布対象物のＲＧＢ値及び分光反射率の対応関係を実測対象者の塗布対象物の色ごとに統計的に分析することで得られる変換マトリクスである。第１変換関数Ｍは、一例として、４００ｎｍ～７００ｎｍの可視波長域を５ｎｍ間隔に区分した６１×３の変換行列である。

【0036】

具体例として、分光変換データベース２４ａは、塗布対象物の一例である肌に含まれるメラニン色素量に応じて、第１タイプの肌と、第２タイプの肌と、第３タイプの肌との３つのタイプに分けて、肌の色に応じた第１変換関数Ｍを記憶する。第１タイプの肌は、メラニン色素量が第２タイプ及び第３タイプよりも少ない第１範囲内にある肌であって、肌に光を当てた時の各波長の相対反射率が高い肌である。第２タイプの肌は、メラニン色素量が第１範囲より多い第２範囲内にある肌であって、肌に光を当てた時の各波長の相対反射率が中程度の肌である。第３タイプの肌は、メラニン色素量が第２範囲より多い第３範囲内にある肌であって、肌に光を当てた時の各波長の相対反射率が低い肌である。なお、分光変換データベース２４ａは、例えば、肌のＲＧＢ値を所定の範囲ごとに区分し、肌のＲＧＢ値における区分ごとの第１変換関数Ｍを記憶してもよい。

【0037】

照明環境データベース２４ｂは、三次元オブジェクト３０に照射される照明光の分光分布である照明分光分布Ｅ（λ）と、照明光を発生させる照明光源の空間分布との組合せである光源情報を照明環境ごとに記憶する。ここでの照明光源は、例えば、三次元オブジェクト３０に対して照明光を直接照射する直接光源と、照明環境中に存在する物体が直接光源からの照明光を三次元オブジェクト３０に向けて反射する反射光源とがあるものの、本実施形態ではこれらは特に区別されない。したがって、照明環境データベース２４ｂは、三次元オブジェクト３０を中心とした全方位について、直接光源と反射光源とを含めた照明光源の空間分布と、照明光源から照射される照明光の照明分光分布Ｅ（λ）を記憶する。なお、照明光源の空間分布は、三次元オブジェクト３０に対する照明光の入射角度などの幾何条件を規定するための情報として用いられる。

【0038】

また、ここでの照明環境とは、三次元オブジェクト３０に対して特定のシーンにおける照明効果を再現するための照明分光分布Ｅ（λ）及び照明光源の空間分布の組合せである。照明環境の具体例としては、人工の直接光源が適用される屋内環境、また、自然の直接光源が適用される屋外環境などがあり、屋外環境としては、朝、昼、夕、夜などの時間帯ごとに区分される。人工の直接光源としては、例えば、白熱電球、蛍光灯、ＬＥＤライトなどであり、自然の直接光源としては、例えば、太陽、月などである。

【0039】

照明分光分布Ｅ（λ）、及び、照明光源の空間分布は、例えば、実際の照明環境において、全方位の分光画像を取得して、可視波長域（例えば、４００～７００ｎｍ）において、５ｎｍごとの分光分布を全方位に対してサンプリングすることで求めることができる。この場合、照明環境データベース２４ｂは、分光画像の各画素における照明分光分布Ｅ（λ）を記憶する。詳述すると、分光画像における各画素の位置は、三次元オブジェクト３０を中心とした全方位の空間に分布する照明光源の空間分布を特定する情報となる。そして、各画素に割り当てられた照明分光分布Ｅ（λ）は、三次元オブジェクト３０に照射される照明光の照明分光分布Ｅ（λ）となる。換言すると、分光画像における各画素を照明光源とみなし、各画素に照明分光分布Ｅ（λ）を割り当てることで、全方位における照明光源の空間分布と、各照明光源から照射される照明光の照明分光分布Ｅ（λ）とを得ることができる。このような手法によれば、実際の照明環境において、各直接光源及び各反射光源を区別せずにシーン全体の照明光源をまとめて処理できる。したがって、照明光の境界が区別できない複数の照明光源が存在する場合であっても、照明環境の再現が可能となる。

【0040】

化粧料データベース２４ｃは、第２変換関数Ｔ（λ）を化粧料の製品ごとに記憶する。第２変換関数Ｔ（λ）は、第１分光反射率Ｓ_１（λ）に基づいて、化粧料の分光反射率である第２分光反射率Ｓ_２（λ）を算出するための変換マトリクスである。ここでの化粧料とは、塗布対象物に塗布される化粧料であって、例えば、ファンデーション、チーク、アイカラー、リップなどである。すなわち、化粧料データベース２４ｃは、ファンデーション、チークなどの化粧料の種類ごと、かつ、各化粧料の色、用途等のバリエーションごとの第２変換関数Ｔ（λ）を記憶する。

【0041】

より具体的に、化粧料データベース２４ｃは、化粧料の製品ごとに、塗布対象物の色に応じた第２変換関数Ｔ（λ）を記憶する。例えば、化粧料データベース２４ｃは、肌に塗布される化粧料であれば、化粧料の製品ごとに、第１タイプの肌、第２タイプの肌、第３タイプの肌のそれぞれについての第２変換関数Ｔ（λ）を記憶する。

【0042】

第２変換関数Ｔ（λ）は、例えば、多数の人々を対象として、被験者の塗布対象物における分光反射率Ｓ_ａと、被験者の塗布対象物に化粧料を塗布した状態の分光反射率Ｓ_ｂとを実測し、分光反射率Ｓ_ａ及び分光反射率Ｓ_ｂの変化量から測定対象者の塗布対象物の色ごとに統計的に算出される。

【0043】

また、化粧料データベース２４ｃは、化粧料の反射特性パラメータを化粧料の製品ごとに記憶する。詳細は後述するが、反射特性パラメータとは、物体表面の粗さなど物体の表面性状に依存するパラメータであって、物体表面における照明光の入射角に対する反射光の強度や光沢の広がりなどの反射特性を規定するパラメータである。化粧料の反射特性パラメータは、例えば、実際の化粧料に対して光沢計などの測定機器で計測された実測値から求めることができる。

【0044】

他にも、化粧料データベース２４ｃは、アイカラーなどの化粧料に含まれるパールやラメなどの光輝剤の分光反射率及び反射特性パラメータを記憶してもよい。なお、光輝剤の分光反射率は、化粧料が肌に塗布された状態でも塗布対象物の色の影響を受けにくいことから、肌自体の分光反射率と独立した反射成分で計算される。したがって、第２変換関数Ｔ（λ）による算出処理は行われない。そのため、光輝剤の分光反射率は、測定機器で計測された実測値が記憶される。

【0045】

通信部２５は、ネットワーク３を介して、ユーザ端末１０と通信する。具体的に、通信部２５は、ユーザ端末１０からの信号を受信し、また、サーバ２０が生成した第１三次元オブジェクト３０ａ及び第２三次元オブジェクト３０ｂなどのデータをユーザ端末１０に送信する。

【0046】

〔ＧＰＵ〕
図４に示すように、制御部２１が備えるＧＰＵ２３は、オブジェクト生成部２３ａ、第１分光反射率算出部２３ｂ、第１色信号算出部２３ｃ、第２分光反射率算出部２３ｄ、第２色信号算出部２３ｅ、第３色信号算出部２３ｆ、及び、第２ＲＧＢ値算出部２３ｇとして機能する。

【0047】

オブジェクト生成部２３ａは、未化粧状態での顔画像の第１ＲＧＢ値に基づいて、未化粧状態での顔の三次元オブジェクト３０である第１三次元オブジェクト３０ａを生成する。また、オブジェクト生成部２３ａは、後述する第２ＲＧＢ値算出部２３ｇが算出した第２ＲＧＢ値に基づいて、化粧状態における顔の三次元オブジェクト３０である第２三次元オブジェクト３０ｂを生成する。

【0048】

第１分光反射率算出部２３ｂは、第１ＲＧＢ値及び第１変換関数Ｍに基づいて、第１分光反射率Ｓ_１（λ）を算出する。第１色信号算出部２３ｃは、化粧前の塗布対象物における三次元反射特性モデルである第１三次元反射特性モデルに基づいて、第１三次元オブジェクト３０ａに対して照明光が反射した際の色信号である第１色信号Ｃ_１（λ）を算出する。

【0049】

ここでの三次元反射特性モデルとは、物体の光反射のプロセスを記述した数学モデルであり、三次元反射特性モデルを構成する物体の分光反射率及び反射特性パラメータによって、物体の色や質感が規定される。そして、三次元反射特性モデルに対して、照明光の分光分布と照明光の入射角度などの幾何条件とを与えることで、照明光が物体に反射した際の色信号が算出される。すなわち、第１三次元反射特性モデルとは、未化粧状態の塗布対象物における光反射のプロセスを記述した数学モデルである。

【0050】

また、ここでの色信号とは、照明光が物体に反射して人の目やカメラなどの視覚系に入射する電磁波の分光分布（エネルギースペクトル分布）である。色信号は、ＲＧＢ等色関数などを用いて実際に人間が知覚するＲＧＢ値などの色情報に変換される。なお、第１色信号Ｃ_１（λ）は、未化粧状態の塗布対象物に対して照明光が反射した際の色信号に相当する。

【0051】

第２分光反射率算出部２３ｄは、第１分光反射率Ｓ_１（λ）及び第２変換関数Ｔ（λ）に基づいて、第２分光反射率Ｓ_２（λ）を算出する。第２色信号算出部２３ｅは、化粧料の三次元反射特性モデルである第２三次元反射特性モデルに基づいて、化粧料に対して照明光が反射した際の色信号である第２色信号Ｃ_２（λ）を算出する。第２三次元反射特性モデルとは、化粧料における光反射のプロセスを記述した数学モデルである。なお、以下では、未化粧状態の塗布対象物についての反射特性パラメータを第１反射特性パラメータとし、化粧料についての反射特性パラメータを第２反射特性パラメータとする。

【0052】

第３色信号算出部２３ｆは、第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）に基づいて第２三次元オブジェクト３０ｂの色信号である第３色信号Ｃ_３（λ）を算出する。第３色信号Ｃ_３（λ）は、化粧状態の塗布対象物、すなわち、塗布対象物と当該塗布対象物に塗布された化粧料とに対して照明光が反射した際の色信号に相当する。第２ＲＧＢ値算出部２３ｇは、第３色信号算出部２３ｆが算出した第３色信号Ｃ_３（λ）に基づいて第２三次元オブジェクト３０ｂのＲＧＢ値である第２ＲＧＢ値を算出する。第２ＲＧＢ値は、化粧状態の塗布対象物におけるＲＧＢ値に相当する。

【0053】

〔アプリ画像〕
図５に示すように、ユーザ端末１０のタッチパネル１３には、三次元オブジェクト表示プログラムによって表示されるアプリケーション画像であるアプリ画像４０が表示される。アプリ画像４０は、三次元オブジェクト表示領域４１と、操作領域４２とを備える。三次元オブジェクト表示領域４１は、第１三次元オブジェクト３０ａまたは第２三次元オブジェクト３０ｂが表示される領域である。

【0054】

操作領域４２は、例えば、切換オブジェクト４２ａ、化粧領域選択オブジェクト４２ｂ、化粧料選択オブジェクト４２ｃ、照明選択オブジェクト４２ｄ、及び、操作オブジェクト４２ｅを備える。切換オブジェクト４２ａは、化粧料ごとにシミュレーション結果のＯＮ、ＯＦＦを切り換えるオブジェクトである。

【0055】

化粧領域選択オブジェクト４２ｂは、三次元オブジェクト３０における化粧料が適用される領域である化粧領域３１を手動で指定するためのオブジェクトである。化粧領域３１を指定する方法の一例としては、三次元オブジェクト表示領域４１に表示された第１三次元オブジェクト３０ａにおいて、化粧料を塗布したい領域をタップ操作入力で指定する。化粧領域３１としては、例えば、ファンデーションやチークであれば顔の肌全体が指定され、アイカラーであれば目元付近の肌が指定され、リップであれば唇が指定される。なお、化粧領域３１は、画像認識機能等を用いて自動で設定される構成でもよい。

【0056】

化粧料選択オブジェクト４２ｃは、シミュレーションしたい化粧料の製品を選択するためのオブジェクトである。図６に示すように、化粧料選択オブジェクト４２ｃをタップ操作することで、三次元オブジェクト表示領域４１に化粧料選択領域４３が表示される。化粧料選択領域４３には、化粧料データベース２４ｃに登録された化粧料が、製品オブジェクト４３ａとして製品ごとに表示される。製品オブジェクト４３ａをタップ操作することで、化粧シミュレーションにおいて適用される化粧料の製品が選択される。

【0057】

具体例として、ファンデーションの場合では、リキッドファンデーション、パウダーファンデーションなどファンデーションの種類ごと、及び、色ごとに表示された製品オブジェクト４３ａの中から、シミュレーションしたい製品の製品オブジェクト４３ａを選択する。

【0058】

照明選択オブジェクト４２ｄは、化粧シミュレーションにおける照明環境を選択するためのオブジェクトである。化粧料選択オブジェクト４２ｃをタップ操作することで、三次元オブジェクト表示領域４１に照明選択領域（非図示）が表示される。照明選択領域には、照明環境データベース２４ｂに登録された各種照明環境が、照明オブジェクトとして照明環境ごとに表示される。照明オブジェクトをタップ操作することで、化粧シミュレーションにおいて適用される照明環境が選択される。

【0059】

操作オブジェクト４２ｅは、三次元オブジェクト表示領域４１に表示された第１三次元オブジェクト３０ａまたは第２三次元オブジェクト３０ｂを移動、回転、拡大、縮小させるためのオブジェクトである。

【0060】

〔第１実施形態の作用〕
次に、化粧シミュレーションシステム１の作用について説明する。
図７に示すように、ステップＳ１において、ユーザ端末１０の制御部１１は、撮像部１４に未化粧状態でのユーザ２の顔画像を取得する処理を実行させる。そして、制御部１１は、第１ＲＧＢ値で構成される未化粧状態でのユーザ２の顔画像データを生成してサーバ２０に送信する処理を実行する。

【0061】

ここで取得される顔画像は、第１三次元オブジェクト３０ａを生成できるのであれば、例えば、１枚の画像でもよいし、角度を変えて撮影された複数枚の画像であってもよく、動画から取得される画像であってもよい。

【0062】

また、ステップＳ１において顔画像を撮影する際には、撮影環境における照明等の様々な要因の影響を受ける。より化粧シミュレーションに適した顔画像を取得する観点から、例えば、撮影環境における影響を低減するための補正として、撮影された顔画像に対してメモリ１２に記憶させた画像処理プログラムなどによって明度や彩度などを調整してもよい。

【0063】

ステップＳ２において、サーバ２０のオブジェクト生成部２３ａは、ユーザ端末１０から送信された未化粧状態でのユーザ２の顔画像を構成する第１ＲＧＢ値に基づいて、第１三次元オブジェクト３０ａを生成する処理を実行する。さらに、オブジェクト生成部２３ａは、生成した第１三次元オブジェクト３０ａのデータをユーザ端末１０に送信して、タッチパネル１３に表示させる処理を実行する。これにより、タッチパネル１３には、アプリ画像４０の三次元オブジェクト表示領域４１において、第１三次元オブジェクト３０ａが表示される。

【0064】

次いで、ユーザ２は、タッチパネル１３に表示された操作領域４２のオブジェクトに対してタップ操作入力を行い、化粧料が適用される化粧領域３１を設定し、さらに、シミュレーションする化粧料の製品及び照明環境を選択する。ユーザ端末１０の制御部１１は、ユーザ２が設定した化粧領域３１と、ユーザ２が選択した化粧料の製品及び照明環境とを特定する信号をサーバ２０に送信する。なお、例えば、チークとファンデーションのように、異なる種類の化粧料を複数選択してもよい。

【0065】

ステップＳ３において、第１分光反射率算出部２３ｂは、第１三次元オブジェクト３０ａを構成する第１ＲＧＢ値に基づいて、化粧領域３１における第１分光反射率Ｓ_１（λ）を算出する処理を実行する。具体的に、第１分光反射率算出部２３ｂは、分光変換データベース２４ａから化粧領域３１における塗布対象物の色に応じた第１変換関数Ｍを読み出し、化粧領域３１における第１分光反射率Ｓ_１（λ）を算出する処理を実行する。

【0066】

ここで読み出される第１変換関数Ｍは、例えば、第１三次元オブジェクト３０ａの化粧領域３１を構成する第１ＲＧＢ値に応じて自動で決定されてもよいし、ユーザ２がカラーコードのような色見本から塗布対象物に近い色を選択することで決定されてもよい。

【0067】

第１分光反射率Ｓ_１（λ）は、第１変換関数Ｍと、第１ＲＧＢ値における各要素の値であるＲ_１，Ｇ_１，Ｂ_１とを用いて、４００ｎｍ～７００ｎｍの可視波長域を５ｎｍ間隔で区分した離散的な６１次元の分光反射ベクトルｓとして近似できる。第１分光反射率Ｓ_１（λ）は、以下の式（１），（２）で表すことができる。

【0068】

【数1】

【0069】

塗布対象物の色に応じた第１変換関数Ｍに基づいて第１分光反射率Ｓ_１（λ）を算出することで、塗布対象物が有する実際の分光反射率により近い第１分光反射率Ｓ_１（λ）を算出できる。また、例えば、塗布対象物が顔における肌の場合、一般的に、分光光度計などの測定機器における測定範囲が小さいことから、顔における肌全体の分光反射率を直接測定することは困難である。これに対して、本実施形態のように、未化粧状態の顔画像が有する第１ＲＧＢ値から第１分光反射率Ｓ_１（λ）を算出することで、好適に未化粧状態における塗布対象物の分光反射率を得ることができる。

【0070】

なお、本実施形態では、例えば、髪の毛やピアスなどのアクセサリなど、化粧料が適用されない領域、すなわち、化粧領域３１以外の領域では、第１ＲＧＢ値から第１分光反射率Ｓ_１（λ）を算出する処理は実行されない。これにより、第１ＲＧＢ値から第１分光反射率Ｓ_１（λ）を算出する際の計算処理を簡略化できる。

【0071】

ステップＳ４において、第１色信号算出部２３ｃは、第１分光反射率Ｓ_１（λ）、第１反射特性パラメータ、照明光の照明分光分布Ｅ（λ）、及び、照明光の幾何条件で表現される第１三次元反射特性モデルに基づいて第１色信号Ｃ_１（λ）を算出する処理を実行する。

【0072】

具体的に、第１色信号算出部２３ｃは、照明環境データベース２４ｂからユーザ２によって選択された照明環境における照明分光分布Ｅ（λ）及び照明光源の空間分布を読み出す。そして、第１色信号算出部２３ｃは、第１三次元反射特性モデルを用いて、第１色信号Ｃ_１（λ）を算出する処理を実行する。

【0073】

第１三次元反射特性モデルは、第１分光反射率Ｓ_１（λ）、照明分光分布Ｅ（λ）、第１拡散反射関数Ｄ_ａ、及び、第１鏡面反射関数Ｇ_ａを用いて、以下の式（３）で表すことができる。なお、第１拡散反射関数Ｄ_ａは、未化粧状態の塗布対象物における拡散反射を規定する関数である。第１鏡面反射関数Ｇ_ａは、未化粧状態の塗布対象物における鏡面反射を規定する関数である。また、第１三次元反射特性モデルでは、右辺第１項が拡散反射成分を表し、右辺第２項が鏡面反射成分を表す。

【0074】

【数2】

【0075】

ここで、図８及び図９を参照して、本実施形態における反射の幾何学モデルについて説明する。図８に示すように、仮想空間５０は、仮想点５１と、仮想光源５２と、仮想視点５３とを備える。仮想点５１は、仮想光源５２からの光を受ける第１三次元オブジェクト３０ａの表面Ｓ上の点である。仮想光源５２は、仮想点５１に対して照明光を照射する。仮想視点５３は、仮想点５１を観測する視点である。

【0076】

また、照明方向ベクトルＬは、仮想点５１から仮想光源５２に向かうベクトルである。法線ベクトルＮは、表面Ｓ上の仮想点５１における法線方向のベクトルである。視線方向ベクトルＶは、仮想点５１から仮想視点５３に向かうベクトルである。照明方向ベクトルＬ、法線ベクトルＮ、及び、視線方向ベクトルＶは、三次元反射特性モデルにおける照明光の幾何条件を規定するためのパラメータである。そして、照明方向ベクトルＬと法線ベクトルＮとのなす角を入射角θ_ｉとし、法線ベクトルＮと視線方向ベクトルＶとのなす角を受光角θ_ｒとする。

【0077】

一般的に、物体が照明光を受けた場合、物体表面において生じる色信号Ｃ_０（λ）は、物体の分光反射率Ｓ_０（λ）と、照明光の分光分布Ｅ_０（λ）とを用いて、Ｃ_０（λ）＝Ｅ_０（λ）Ｓ_０（λ）として表現される。

【0078】

本実施形態では、単に物体の分光反射率及び照明光の分光分布から物体の色信号を算出するだけでなく、物体表面における拡散反射及び鏡面反射を考慮した三次元反射特性モデルを用いることで、物体表面の光沢や質感をより正確に再現している。

【0079】

具体的に、仮想点５１が仮想光源５２からの光を受けた場合、仮想点５１において全方位に生じる拡散反射光と、入射角θ_ｉと受光角θ_ｒとが近似する場合に生じる鏡面反射光とで構成される反射光が生じる。

【0080】

図９に示すように、仮想点５１において生じる反射光の強度分布は、拡散反射光強度αと、鏡面反射光強度Ｉとを足し合わせた強度分布である反射光分布ＲＤで表現される。仮想点５１において生じる反射光の強度は、受光角θ_ｒに応じて異なる値を示す。具体的に、図９における仮想点５１から反射光分布ＲＤまでの距離が受光角θｒにおける反射光の強度を表す。

【0081】

拡散反射光強度αは、拡散反射光の強度を規定するための反射特性パラメータである。拡散反射光強度αは、入射角θ_ｉに対して受光角θ_ｒが何れの値であってもほぼ一定の値である。鏡面反射光強度Ｉは、拡散反射光強度αに対する鏡面反射光の相対的な強度を規定するための反射特性パラメータである。鏡面反射光強度Ｉは、入射角θ_ｉに対して受光角θ_ｒの値が近づくにつれて増大し、入射角θ_ｉと受光角θ_ｒとが一致したときに最大値となる。

【0082】

例えば、受光角θ_ｒが入射角θ_ｉと大きく異なる受光角θ_ｒ１である場合、仮想視点５３ａにおいて観測される反射光の強度は、拡散反射光強度αの値となる。これに対して、受光角θ_ｒが入射角θ_ｉと近似する受光角θ_ｒ２である場合、仮想視点５３ｂにおいて観測される反射光の強度は、拡散反射光強度αと鏡面反射光強度Ｉとを足し合わせた値となる。

【0083】

第１拡散反射関数Ｄ_ａは、第１拡散反射光強度α_１と、照明光の幾何条件としての照明方向ベクトルＬ及び法線ベクトルＮとを用いて、以下の式（４）で表すことができる。第１拡散反射光強度α_１は、未化粧状態の塗布対象物における拡散反射光の強度を規定するための第１反射特性パラメータである。ここでは、第１拡散反射光強度α_１＝１として扱う。なお、以下の計算で用いられる照明光の幾何条件は、照明光源の空間分布、三次元オブジェクト３０の形状、及び、三次元オブジェクト３０を観測する視点位置等から算出される。

【0084】

【数3】

【0085】

また、反射光分布ＲＤにおいて、鏡面反射光が生じる範囲は、鏡面反射パラメータｍで表現される。鏡面反射パラメータｍは、物体表面の粗さなど物体の表面性状に依存するパラメータであって、光沢の広がりを規定する反射特性パラメータである。鏡面反射パラメータｍが大きいほど、鏡面反射光が生じる範囲が大きくなる。

【0086】

第１鏡面反射関数Ｇ_ａは、第１鏡面反射光強度Ｉ_１、及び、第１鏡面反射パラメータｍ_１と、照明光の幾何条件としての照明方向ベクトルＬ、法線ベクトルＮ、及び、視線方向ベクトルＶとを用いて、以下の式（５）～（７）で表すことができる。なお、式（６）は、Ｂｅｃｋｍａｎｎ関数である。また、第１鏡面反射光強度Ｉ_１は、未化粧状態の塗布対象物における拡散反射光の強度を規定するための第１反射特性パラメータである。そして、第１鏡面反射パラメータｍ_１は、未化粧状態の塗布対象物における光沢の広がりを規定するための第１反射特性パラメータである。第１鏡面反射光強度Ｉ_１及び第１鏡面反射パラメータｍ_１は、あらかじめ任意の値が設定される。

【0087】

【数4】

【0088】

なお、第１鏡面反射光強度Ｉ_１及び第１鏡面反射パラメータｍ_１は、例えば、未化粧状態でのユーザ２の顔に対して、照明光の入射角度を変えた複数の画像から求めることもできる。例えば、ステップＳ１において、未化粧状態でのユーザ２の顔画像を取得する際に、ユーザ２の顔に対して照明光の入射角度を変えた複数の画像を取得することで、第１鏡面反射光強度Ｉ_１及び第１鏡面反射パラメータｍ_１を求めることもできる。

【0089】

このように、第１三次元反射特性モデルを用いて第１色信号Ｃ_１（λ）を算出することで、未化粧状態における塗布対象物の色、及び、照明光によって生じる陰影や光沢を第１色信号Ｃ_１（λ）として再現できる。

【0090】

ステップＳ５において、第２分光反射率算出部２３ｄは、化粧領域３１において、第１分光反射率Ｓ_１（λ）及び第２変換関数Ｔ（λ）に基づいて、第２分光反射率Ｓ_２（λ）を算出する処理を実行する。具体的に、第２分光反射率算出部２３ｄは、化粧料データベース２４ｃから化粧領域３１における塗布対象物の色に応じた第２変換関数Ｔ（λ）を読み出し、化粧領域３１における第２分光反射率Ｓ_２（λ）を算出する処理を実行する。

【0091】

なお、ここで読み出される第２変換関数Ｔ（λ）は、例えば、ステップＳ３において、第１変換関数Ｍと合わせて決定されてもよく、ユーザ２がカラーコードのような色見本から塗布対象物に近い色を選択することで決定されてもよい。第２分光反射率Ｓ_２（λ）は、第１分光反射率Ｓ_１（λ）と、第２変換関数Ｔ（λ）とを用いて、以下の式（８）で表すことができる。

【0092】

【数5】

【0093】

第１分光反射率Ｓ_１（λ）と、塗布対象物の色に応じた第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ_２（λ）を算出することで、実際に化粧料が塗布対象物に塗布されてなじんだ状態での化粧料の分光反射率により近い第２分光反射率Ｓ_２（λ）を算出できる。

【0094】

ステップＳ６において、第２色信号算出部２３ｅは、第２分光反射率Ｓ_２（λ）、第２反射特性パラメータ、照明光の照明分光分布Ｅ（λ）、及び、照明光の幾何条件で表現される第２三次元反射特性モデルに基づいて、第２色信号Ｃ_２（λ）を算出する処理を実行する。

【0095】

具体的に、第２色信号算出部２３ｅは、化粧料データベース２４ｃからユーザ２によって選択された化粧料の第２反射特性パラメータを読み出す。さらに、第２色信号算出部２３ｅは、照明環境データベース２４ｂからユーザ２によって選択された照明環境における照明分光分布Ｅ（λ）及び照明光源の空間分布を読み出す。そして、第２色信号算出部２３ｅは、第２三次元反射特性モデルを用いて、第２色信号Ｃ_２（λ）を算出する処理を実行する。

【0096】

第２三次元反射特性モデルは、第２分光反射率Ｓ_２（λ）、照明分光分布Ｅ（λ）、第２拡散反射関数Ｄ_ｂ、及び、第２鏡面反射関数Ｇ_ｂを用いて、以下の式（９）～（１１）で表すことができる。なお、第２拡散反射関数Ｄ_ｂは、化粧料における拡散反射を規定する関数である。第２鏡面反射関数Ｇ_ｂは、化粧料における鏡面反射を規定する関数である。また、式（１１）に含まれるＢ（Ｎ，Ｖ，Ｌ，ｍ_２）は、Ｂｅｃｋｍａｎｎ関数である。式（９）では、右辺第１項が拡散反射成分を表し、右辺第２項が鏡面反射成分を表す。

【0097】

【数6】

【0098】

第２三次元反射特性モデルにおいて、第２拡散反射光強度α_２は、化粧料の製品ごとに設定されるパラメータであって、化粧料の拡散反射光の強度を規定するための第２反射特性パラメータである。ここでは、第２拡散反射光強度α_２＝１として扱う。第２鏡面反射光強度Ｉ_２は、化粧料の製品ごとに設定されるパラメータであって、化粧料の鏡面反射光の強度を規定するための第２反射特性パラメータである。第２鏡面反射パラメータｍ_２は、化粧料の製品ごとに設定されるパラメータであって、化粧料の光沢の広がりを規定するための第２反射特性パラメータである。

【0099】

また、シミュレーションする化粧料として、例えば、ファンデーション及びチークのように複数の化粧料が選択された場合、ステップＳ６において、第２色信号算出部２３ｅは、各化粧料の第２色信号Ｃ_２（λ）を算出する処理を実行する。

【0100】

このように、第２三次元反射特性モデルを用いて第２色信号Ｃ_２（λ）を算出することで、化粧料の色、及び、照明光によって生じる陰影や光沢を第２色信号Ｃ_２（λ）として再現できる。

【0101】

なお、ステップＳ６において、第２色信号算出部２３ｅは、アイカラーなどの化粧料に含まれるパール、ラメなどの光輝剤について、光輝剤の三次元反射特性モデルである第３三次元反射特性モデルを用いて、光輝剤の色信号Ｃ_Ｇ（λ）を算出することもできる。この場合、光輝剤を含む化粧料のベース部分、すなわち、化粧料における光輝剤以外の部分についての第２色信号Ｃ_２（λ）が第２三次元反射特性モデルによって算出され、光輝剤の色信号Ｃ_Ｇ（λ）が第３三次元反射特性モデルによって算出される。

【0102】

図１０に示すように、化粧料に含まれる光輝剤６０は、複数の薄膜６１が積層された多層膜構造を有する。仮想光源５２からの光が光輝剤６０に照射された際には、仮想視点５３において、各薄膜６１の厚さｄに依存する干渉光が観測される。したがって、このような多層膜による干渉光について、光輝剤の色信号Ｃ_Ｇ（λ）を算出することで、虹色のような光輝剤の干渉色を再現できる。なお、光輝剤６０における薄膜６１の数および厚さｄなどの多層膜構造についての情報は、化粧料データベース２４ｃに記憶される。

【0103】

第３三次元反射特性モデルは、光輝剤の分光反射率Ｓ_Ｇ、光輝剤の反射特性パラメータ、照明分光分布Ｅ（λ）、及び、照明光の幾何条件を用いて、以下の式（１２），（１３）で表すことができる。なお、第３三次元反射特性モデルでは、光輝剤の鏡面反射成分のみについての色信号Ｃ_Ｇ（λ）を算出しており、拡散反射成分は無視している。また、光輝剤は、照明光の幾何条件に依存する分光反射率Ｓ_Ｇを有する。式（１３）に含まれるＢ（Ｎ，Ｖ，Ｌ，ｍ_Ｇ）は、Ｂｅｃｋｍａｎｎ関数である。

【0104】

【数7】

【0105】

光輝剤鏡面反射関数Ｇ_Ｇは、光輝剤における鏡面反射を規定する関数である。鏡面反射光強度Ｉ_Ｇは、光輝剤の反射特性パラメータであって、光輝剤ごとの鏡面反射光の強度を規定するパラメータである。鏡面反射パラメータｍ_Ｇは、光輝剤の反射特性パラメータであって、光輝剤ごとの光沢の広がりを規定するパラメータである。

【0106】

また、光輝剤の色信号Ｃ_Ｇ（λ）を算出する処理は、化粧領域３１内で光輝剤が点在する領域において実行される。具体的に、化粧領域３１内で光輝剤が点在する領域は、光輝剤の粒形状の大きさなどを規定する形状情報、及び、実際に化粧料が塗布された領域中での光輝剤の分散状態を規定する分散情報に基づいて推定できる。化粧領域３１内で光輝剤が点在する領域を推定し、当該領域において光輝剤の色信号Ｃ_Ｇ（λ）を算出することで、実際の化粧料に含まれる光輝剤の粒形状、及び、光輝剤の分散状態を再現できる。なお、光輝剤の形状情報及び分散情報は、予め化粧料データベース２４ｃに記憶される。

【0107】

なお、光輝剤の色信号Ｃ_Ｇ（λ）を算出する際に、光輝剤の色信号Ｃ_Ｇ（λ）における特定の波長におけるスペクトル強度を高める補正を行ってもよい。また、第３三次元反射特性モデルは、光輝剤の配向性を規定する配向パラメータ、各薄膜６１の厚さｄなどのパラメータを含む構成であってもよい。

【0108】

ステップＳ７において、第３色信号算出部２３ｆは、第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）に基づいて第２三次元オブジェクト３０ｂの色信号である第３色信号Ｃ_３（λ）を算出する処理を実行する。なお、化粧領域３１のうち複数の化粧料が重畳される領域においては、それぞれの化粧料の第２色信号Ｃ_２（λ）を足し合わせることで、第３色信号Ｃ_３（λ）が算出される。

【0109】

具体例として、第３色信号算出部２３ｆは、化粧領域３１のうちファンデーションとチークとが重畳される領域において、第１色信号Ｃ_１（λ）、第２色信号Ｃ_２ｆ（λ），Ｃ_２ｃ（λ）、及び、重み係数ｗ_１～ｗ_３を用いた以下の式（１４）に基づいて第３色信号Ｃ_３（λ）を算出する処理を実行する。第２色信号Ｃ_２ｆ（λ）は、化粧料の一例であるファンデーションの色信号である。第２色信号Ｃ_２ｃ（λ）は、化粧料の一例であるチークの色信号である。また、重み係数ｗ_１～ｗ_３は、各色信号に対して重み付けをするための係数であり、シミュレーションにおける化粧料の厚みや、化粧料を重ねて塗布する順序などによって適宜決定される。

【0110】

【数8】

【0111】

このように、第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）に基づいて第３色信号Ｃ_３（λ）を算出することで、化粧状態における塗布対象物の色信号として、化粧料に塗布対象物の色が反映された状態の第３色信号Ｃ_３（λ）を算出できる。

【0112】

複数の化粧料が重畳された状態のシミュレーションを行う場合でも、第１色信号Ｃ_１（λ）及び各化粧料の第２色信号Ｃ_２（λ）に基づいて第３色信号Ｃ_３（λ）を算出することで、最表面の化粧料に塗布対象物の色と下地となる化粧料の色とが反映された色信号を算出できる。

【0113】

なお、ステップＳ７において、第３色信号算出部２３ｆは、第１色信号Ｃ_１（λ）、第２色信号Ｃ_２（λ）、及び、光輝剤の色信号Ｃ_Ｇ（λ）に基づいて、第３色信号Ｃ_３（λ）を算出する処理を実行することもできる。

【0114】

具体例として、第３色信号算出部２３ｆは、化粧領域３１のうちファンデーションと光輝剤としてパール及びラメを含むアイカラーとが重畳される領域において、以下の式（１５）に基づいて、第３色信号Ｃ_３（λ）を算出する処理を実行する。第２色信号Ｃ_２ｅ（λ）は、アイカラーのうち光輝剤を除いた部分の色信号である。色信号Ｃ_Ｇｐ（λ）は、アイカラーに含まれる光輝剤の一例であるパールの色信号である。色信号Ｃ_Ｇｌ（λ）は、アイカラーに含まれる光輝剤の一例であるラメの色信号である。

【0115】

【数9】

【0116】

このように、第１色信号Ｃ_１（λ）、第２色信号Ｃ_２（λ）、及び、光輝剤の色信号Ｃ_Ｇ（λ）に基づいて化粧状態の色信号を算出することで、化粧料に含まれる光輝剤の色や光沢が反映された第３色信号Ｃ_３（λ）を算出できる。

【0117】

ステップＳ８において、第２ＲＧＢ値算出部２３ｇは、第３色信号算出部２３ｆが算出した第３色信号Ｃ_３（λ）に基づいて、第２三次元オブジェクト３０ｂのＲＧＢ値である第２ＲＧＢ値を算出する処理を実行する。具体的に、第２ＲＧＢ値算出部２３ｇは、第３色信号Ｃ_３（λ）及びＲＧＢ等色関数を用いた以下の式（１６）に基づいて第２ＲＧＢ値を算出する処理を実行する。なお、式（１６）における左辺のＲ_２，Ｇ_２，Ｂ_２は、第２ＲＧＢ値における各要素の値である。

【0118】

【数10】

【0119】

ステップＳ９において、オブジェクト生成部２３ａは、第２ＲＧＢ値算出部２３ｇが算出した第２ＲＧＢ値に基づいて、第２三次元オブジェクト３０ｂを生成する処理を実行する。さらに、オブジェクト生成部２３ａは、生成した第２三次元オブジェクト３０ｂのデータをユーザ端末１０に送信して、タッチパネル１３に表示させる処理を実行する。

【0120】

図１１に示すように、タッチパネル１３には、アプリ画像４０の三次元オブジェクト表示領域４１において、第２三次元オブジェクト３０ｂが表示される。第２三次元オブジェクト３０ｂの化粧領域３１には、塗布対象物の一例である肌の色や下地となる化粧料の色、及び、照明光による陰影が反映された化粧状態の肌が表示される。また、化粧領域３１のうち受光角θ_ｒが入射角θ_ｉと近似する領域である光沢領域３２では、鏡面反射による光沢が再現された状態が表示される。以上の処理により、化粧シミュレーションが完了する。

【0121】

なお、第２三次元オブジェクト３０ｂが表示された状態で、別の化粧料を選択することで、再度ステップＳ３～Ｓ８の処理を実行し、別の化粧料が適用された第２三次元オブジェクト３０ｂを生成、表示させることもできる。この際、例えば、一度算出した第１色信号Ｃ_１（λ）をメモリ２４のメインメモリに記憶させることで、ステップＳ３，Ｓ４の処理を省略してもよい。このように、様々な化粧料を繰り返しシミュレーションすることで、自身の希望に合う化粧料を探すこともできる。

【0122】

第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）を照明環境ごとの照明分光分布Ｅ（λ）及び照明光源の空間分布に基づいて算出することで、シミュレーション結果としての第２三次元オブジェクト３０ｂにも照明環境が反映される。したがって、実際の様々な照明環境の照明効果を反映した化粧シミュレーションを行うことができる。また、実際の照明環境における分光分布の実測値から算出される照明分光分布Ｅ（λ）を用いることで、様々な照明環境を容易に再現できる。

【0123】

ステップＳ２～Ｓ８の処理をサーバ２０が備えるＧＰＵ２３が実行することで、ステップＳ２～Ｓ８の処理を高速で行うことができ、リアルタイムでの化粧シミュレーションが可能となる。

【0124】

また、例えば、化粧シミュレーションシステム１を用いて、ユーザ２に対して各種化粧料のシミュレーションを行うことで、ユーザ２の要望に合わせた最適な化粧料を提案するためのカウンセリングを行うこともできる。

【0125】

〔第１実施形態の効果〕
上記第１実施形態によれば、以下に列挙する効果を得ることができる。
（１－１）第１三次元反射特性モデルを用いて第１色信号Ｃ_１（λ）を算出し、第２三次元反射特性モデルを用いて第２色信号Ｃ_２（λ）を算出することで、化粧状態における塗布対象物の色信号として、化粧料に塗布対象物の色が反映された第３色信号Ｃ_３（λ）を算出できる。そして、第３色信号Ｃ_３（λ）から第２ＲＧＢ値を算出することで、化粧状態の塗布対象物を含む第２三次元オブジェクト３０ｂを生成できる。これにより、シミュレーション結果として、化粧料に塗布対象物の色が反映された化粧状態の第２三次元オブジェクト３０ｂを得ることができる。したがって、単に塗布対象物の領域に化粧料の色を重畳する場合よりも、再現精度の高い化粧シミュレーションを行うことができる。また、照明光による光沢を再現できるため、第２三次元オブジェクト３０ｂにおいて、塗布対象物に化粧料を塗布した状態の質感を再現できる。

【0126】

（１－２）塗布対象物としての肌や唇の色に応じた第１変換関数Ｍに基づいて第１分光反射率Ｓ_１（λ）を算出することで、より実際の肌や唇における分光反射率に近い第１分光反射率Ｓ_１（λ）を算出できる。

【0127】

（１－３）第１分光反射率Ｓ_１（λ）と、塗布対象物の色に応じた第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ_２（λ）を算出することで、実際に化粧料が塗布対象物に塗布されて塗布対象物になじんだ状態での化粧料の分光反射率により近い第２分光反射率Ｓ_２（λ）を算出できる。

【0128】

（１－４）化粧料の製品ごとの第２分光反射率Ｓ_２（λ）及び第２反射特性パラメータを用いて第２色信号Ｃ_２（λ）を算出することで、シミュレーション結果として、化粧料の製品ごとの色及び反射特性が反映された第２三次元オブジェクト３０ｂを生成できる。

【0129】

（１－５）第３三次元反射特性モデルを用いることで、化粧料に含まれる光輝剤の色信号Ｃ_Ｇ（λ）を算出できる。そして、第１色信号Ｃ_１（λ）、第２色信号Ｃ_２（λ）、及び、光輝剤の色信号Ｃ_Ｇ（λ）に基づいて算出される第３色信号Ｃ_３（λ）から第２ＲＧＢ値を算出することで、化粧状態における光輝剤の光沢が再現された第２三次元オブジェクト３０ｂを生成できる。また、形状情報及び分散情報から推定される光輝剤が点在する領域において、光輝剤の色信号Ｃ_Ｇ（λ）を算出することで、実際の化粧料に含まれる光輝剤の粒形状及び光輝剤の分散状態を再現できる。

【0130】

（１－６）第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）を照明環境ごとの照明分光分布Ｅ（λ）及び照明光源の空間分布に基づいて算出することで、シミュレーション結果としての第２三次元オブジェクト３０ｂにも照明環境が反映される。したがって、照明環境を反映した再現精度の高い化粧シミュレーションを行うことができる。

【0131】

（１－７）ＧＰＵ２３を用いて化粧シミュレーションシステム１におけるステップＳ２～Ｓ８の処理を実行することで、リアルタイムでの画像処理が可能となり、より好適に化粧シミュレーションを行うことができる。

【0132】

（１－８）化粧シミュレーションシステム１を用いて、ユーザ２に対して各種化粧料のシミュレーションを行うことで、ユーザ２の要望に合わせた最適な化粧料を提案するためのカウンセリングを行うこともできる。

【0133】

〔第２実施形態〕
上記第１実施形態では、分光反射率ベースの計算処理で算出された第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）に基づいて第３色信号Ｃ_３（λ）を算出し、さらに、第３色信号Ｃ_３（λ）に基づいて第２ＲＧＢ値を算出する処理を実行する例について説明した。上述の処理に代えて、ＲＧＢ値ベースの計算処理を実行することで第２ＲＧＢ値を求めることもできる。第２実施形態として、ＲＧＢ値ベースの計算処理を実行する場合の作用について以下に説明する。

【0134】

なお、第２ＲＧＢ値を求めるためのＲＧＢ値ベースの計算処理は、化粧領域３１のうち高い再現精度が必要とされない領域において実行される。すなわち、高い再現精度が必要とされる領域では、上記第１実施形態に記載される分光反射率ベースの計算処理によって第２ＲＧＢ値が算出される。また、第２実施形態において、第２ＲＧＢ値を求めるためのＲＧＢ値ベースの計算処理は、図７に示すステップＳ２以降の処理として第２ＲＧＢ値算出部２３ｇによって実行される。

【0135】

まず、第２ＲＧＢ値算出部２３ｇは、第１ＲＧＢ値、第１拡散反射関数Ｄ_ａ、第１鏡面反射関数Ｇ_ａ、及び、照明光のＲＧＢ値に基づいて、第３ＲＧＢ値を算出する処理を実行する。第３ＲＧＢ値は、塗布対象物に対して照明光が照射されることで陰影、光沢などの照明効果が反映された状態における塗布対象物のＲＧＢ値である。第３ＲＧＢ値Ｒ_３，Ｇ_３，Ｂ_３は、以下の式（１７）で表すことができる。また、照明光のＲＧＢ値Ｒ_Ｌ，Ｇ_Ｌ，Ｂ_Ｌは、照明分光分布Ｅ（λ）及びＲＧＢ等色関数を用いて、以下の式（１８）で表すことができる。なお、照明光のＲＧＢ値は、照明環境ごとに照明環境データベース２４ｂに記憶される。

【0136】

【数11】

【0137】

次いで、第２ＲＧＢ値算出部２３ｇは、第１ＲＧＢ値及び化粧料変換係数に基づいて、第４ＲＧＢ値を算出する処理を実行する。第４ＲＧＢ値は、化粧料が塗布対象物に塗布されて塗布対象物になじんだ状態での化粧料のＲＧＢ値である。すなわち、第４ＲＧＢ値には、ステップＳ２で選択された照明環境における照明光による陰影、光沢などの照明効果は反映されていない。また、化粧料変換係数は、第２変換関数Ｔ（λ）に基づいて算出される係数であって、第１ＲＧＢ値を第４ＲＧＢ値に変換するための係数である。化粧料変換係数は、化粧料ごとに予め化粧料データベース２４ｃに記憶される。第４ＲＧＢ値Ｒ_４，Ｇ_４，Ｂ_４は、以下の式（１９）で表すことができる。また、化粧料変換係数Ｒ_Ｔ，Ｇ_Ｔ，Ｂ_Ｔは、第２変換関数Ｔ（λ）及びＲＧＢ等色関数を用いて、以下の式（２０）で表すことができる。

【0138】

【数12】

【0139】

次いで、第２ＲＧＢ値算出部２３ｇは、第４ＲＧＢ値、第２拡散反射関数Ｄ_ｂ、第２鏡面反射関数Ｇ_ｂ、及び、照明光のＲＧＢ値に基づいて、第５ＲＧＢ値を算出する処理を実行する。第５ＲＧＢ値は、化粧料に対して照明光が照射されることで陰影、光沢などの照明効果が反映された化粧料のＲＧＢ値である。第５ＲＧＢ値Ｒ_５，Ｇ_５，Ｂ_５は、以下の式（２１）で表すことができる。

【0140】

【数13】

【0141】

そして、第２ＲＧＢ値算出部２３ｇは、第３ＲＧＢ値、第５ＲＧＢ値、及び、重み係数ｗに基づいて、第２ＲＧＢ値を算出する処理を実行する。具体例として、化粧領域３１のうち、ファンデーションとチークとが重畳される領域において、第２ＲＧＢ値算出部２３ｇは、以下の式（２２）に基づいて第２ＲＧＢ値を算出する処理を実行する。Ｒ_５ｆ，Ｇ_５ｆ，Ｂ_５ｆは、ファンデーションの第５ＲＧＢ値である。Ｒ_５ｃ，Ｇ_５ｃ，Ｂ_５ｃは、チークの第５ＲＧＢ値である。

【0142】

【数14】

【0143】

なお、化粧料に含まれる光輝剤は、ＲＧＢ値ベースでの計算処理が困難である。そのため、光輝剤における干渉色が再現された第６ＲＧＢ値は、上記の式（１２）を用いて分光反射率ベースで光輝剤の色信号Ｃ_Ｇ（λ）を算出した後、光輝剤の色信号Ｃ_Ｇ（λ）及びＲＧＢ等色関数から算出される。また、第６ＲＧＢ値を算出する処理は、第２ＲＧＢ値算出部２３ｇによって実行される。第６ＲＧＢ値Ｒ_６，Ｇ_６，Ｂ_６は、以下の式（２３）で表すことができる。

【0144】

【数15】

【0145】

そして、第２ＲＧＢ値算出部２３ｇは、第３ＲＧＢ値、第５ＲＧＢ値、第６ＲＧＢ値、及び、重み係数ｗに基づいて、光輝剤を含む化粧料が塗布された状態の第２ＲＧＢ値を算出する処理を実行することもできる。具体例として、第２ＲＧＢ値算出部２３ｇは、化粧領域３１のうち、ファンデーションと光輝剤としてパール及びラメを含むアイカラーとが重畳される領域において、以下の式（２４）に基づいて第２ＲＧＢ値Ｒ_２，Ｇ_２，Ｂ_２を算出する処理を実行する。Ｒ_５ｅ，Ｇ_５ｅ，Ｂ_５ｅは、アイカラーのうち光輝剤を除いた部分の第５ＲＧＢ値である。Ｒ_６ｐ，Ｇ_６ｐ，Ｂ_６ｐは、アイカラーに含まれる光輝剤の一例であるパールの第６ＲＧＢ値である。Ｒ_６ｌ，Ｇ_６ｌ，Ｂ_６ｌは、アイカラーに含まれる光輝剤の一例であるラメの第６ＲＧＢ値である。

【0146】

【数16】

【0147】

以上のようにしてＲＧＢ値ベースの計算処理によって算出された第２ＲＧＢ値は、図７に示すステップＳ９において、オブジェクト生成部２３ａが第２三次元オブジェクト３０ｂを生成する処理を実行するために用いられる。

【0148】

ＲＧＢ値ベースの計算処理によって第２ＲＧＢ値を算出する場合、赤、緑、青の三色についての３次元の計算処理が行われる。これに対して、第１実施形態のように分光反射率から算出した色信号に基づいて第２ＲＧＢ値を算出する場合、４００ｎｍ～７００ｎｍの可視光領域を５ｎｍごとに区分した６１次元の計算処理が行われる。

【0149】

すなわち、ＲＧＢ値ベースの計算処理によって第２ＲＧＢ値を算出することで、分光反射率から算出した色信号に基づいて第２ＲＧＢ値を算出する処理よりも化粧シミュレーションにおける計算処理を簡略化できる。したがって、化粧領域３１のうち高い再現精度が必要とされない領域においてＲＧＢ値ベースの計算処理を行うことで、化粧シミュレーションの再現精度を大きく低下させずに計算処理を簡略化できる。

【0150】

〔第２実施形態の効果〕
上記第２実施形態によれば、以下の効果を得ることができる。
（２－１）ＲＧＢ値ベースの計算処理によって第２ＲＧＢ値を算出することで、分光反射率から算出した色信号に基づいて第２ＲＧＢ値を算出する処理よりも化粧シミュレーションにおける計算処理を簡略化できる。したがって、化粧領域３１のうち高い再現精度が必要とされない領域においてＲＧＢ値ベースの計算処理を行うことで、化粧シミュレーションの再現精度を大きく低下させずに計算処理を簡略化できる。

【0151】

なお、上記第２実施形態は、さらに、以下のように適宜変更して実施することもできる。
・ＲＧＢ値ベースの計算処理を用いて算出された第３ＲＧＢ値及び第５ＲＧＢ値に基づいて第２ＲＧＢ値を算出する構成を例示した。しかし、これに限定されず、第３ＲＧＢ値及び第５ＲＧＢ値の何れかを分光ベースの計算によって求めてもよい。具体的に、第３ＲＧＢ値に代えて、第１色信号Ｃ_１（λ）をＲＧＢ等色関数によってＲＧＢ値に変換した値を用いてもよい。また、第５ＲＧＢ値に代えて、第２色信号Ｃ_２（λ）をＲＧＢ等色関数によってＲＧＢ値に変換した値を用いてもよい。このような構成によれば、精度を必要としない任意の計算処理のみをＲＧＢ値ベースで計算することができるため、より好適に化粧シミュレーションの計算処理を簡略化できる。

【0152】

なお、上記第１実施形態及び第２実施形態は、さらに、以下のように適宜変更して実施することもできる。
・上記第１及び第２実施形態では、化粧シミュレーションが行われる対象が顔であり、化粧料が塗布される塗布対象物が顔における肌または唇である構成を例示した。しかし、これに限定されず、本化粧シミュレーションシステム１は、顔以外であっても、化粧料が塗布される領域であれば適用可能である。化粧料が塗布される塗布対象物は、例えば、髪の毛であってもよい。その場合、塗布される化粧料は、例えば、ヘアマニキュアである。また、化粧料が塗布される塗布対象物は、例えば、爪であってもよい。その場合、塗布される化粧料は、例えば、マニキュアである。

【0153】

・ＧＰＵ２３を用いて化粧シミュレーションシステム１におけるステップＳ２～Ｓ８の処理を実行する構成を例示したが、これに限定されず、例えば、サーバ２０にＧＰＵ２３を設けずに、ＣＰＵ２２によってステップＳ２～Ｓ８の処理を実行してもよい。この場合、サーバ２０におけるステップＳ２～Ｓ８の処理速度が低下するものの、ＧＰＵ２３を設けないことも可能となる。また、例えば、ＣＰＵ２２の性能に応じて、ステップＳ２～Ｓ８の処理のうち、何れかの処理をＣＰＵ２２が実行してもよい。

【0154】

・第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）を照明環境ごとの照明分光分布Ｅ（λ）及び照明光源の空間分布に基づいて算出する構成を例示した。しかし、これに限定されず、例えば、１種類の照明分光分布Ｅ（λ）及び照明光源の空間分布のみを用いて第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）を算出する構成であってもよい。この場合、照明環境ごとの化粧シミュレーションを行うことができなくなるものの、照明環境を選択する手順などが不要となるため、第１色信号Ｃ_１（λ）及び第２色信号Ｃ_２（λ）を算出する処理が簡略化される。また、例えば、照明分光分布Ｅ（λ）として、４００～７００ｎｍの可視光領域において一様な強度を有する分光分布を用いれば、第１～第３三次元反射特性モデルにおいて、照明分光分布Ｅ（λ）についての計算を省略できる。

【0155】

・ステップＳ５において、第１分光反射率Ｓ_１（λ）と、塗布対象物の色に応じた第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ_２（λ）を算出する構成を例示した。しかし、これに限定されず、分光光度計などの計測機を用いて化粧料の分光反射率を実測し、化粧料における分光反射率の実測値を第２分光反射率Ｓ_２（λ）として用いてもよい。この場合、第１分光反射率Ｓ_１（λ）と第２変換関数Ｔ（λ）とに基づいて第２分光反射率Ｓ_２（λ）を算出する場合よりも第２色信号Ｃ_２の再現精度が若干低下するものの、様々な化粧料についての化粧シミュレーションを容易に行うことができる。例えば、新たな化粧料が開発された際には、新たな化粧料の第２分光反射率及び第２反射特性パラメータを実測することで、本化粧シミュレーションシステム１における化粧シミュレーションを行うことができる。なお、この場合、ステップＳ５の処理は省略される。

【0156】

・塗布対象物の色に応じた第１変換関数Ｍに基づいて第１分光反射率Ｓ_１（λ）を算出する構成を例示した。しかし、これに限定されず、例えば、塗布対象物の色によらず、肌や唇など塗布対象物ごとに設定される汎用的な第１変換関数Ｍに基づいて第１分光反射率Ｓ_１（λ）を算出してもよい。この場合、シミュレーション結果としての第２三次元オブジェクト３０ｂと、実際の化粧後の外観との差異が若干大きくなるものの、第１三次元オブジェクト３０ａを構成する第１ＲＧＢ値に応じて第１変換関数Ｍを決定する処理、または、ユーザ２が色見本から塗布対象物に近い色を選択する手順が不要となる。したがって、第１ＲＧＢ値から第１分光反射率Ｓ_１（λ）を算出する処理を簡略化できる。

【0157】

・ユーザ端末１０が備える撮像部１４を用いてユーザ２の顔画像を取得する構成を例示したが、これに限定されず、例えば、デジタルカメラなどの外部装置で取得した顔画像を用いて第１三次元オブジェクト３０ａを生成してもよい。

【0158】

・オブジェクト生成部２３ａが未化粧状態でのユーザ２の顔画像から第１三次元オブジェクト３０ａを生成する処理を実行する構成を例示した。しかし、これに限定されず、例えば、他のソフトウェアで生成された未化粧状態における顔の三次元オブジェクトをインポートして、第１三次元オブジェクト３０ａとして用いてもよい。この場合、インポートされた三次元オブジェクトを構成するＲＧＢ値が第１ＲＧＢ値となる。

【0159】

・本実施形態では、サーバ２０が備えるＧＰＵ２３を用いて化粧シミュレーションシステム１におけるステップＳ２～Ｓ８の処理を実行する構成を例示した。しかし、これに限定されず、例えば、ユーザ端末１０の制御部１１にＧＰＵを設け、ユーザ端末１０に化粧シミュレーションプログラムをインストールして、ユーザ端末１０が備えるＧＰＵによってステップＳ２～Ｓ８の処理を実行してもよい。

【0160】

・化粧シミュレーションシステム１は、例えば、三次元オブジェクト表示プログラムを用いて、シミュレーション結果としての第２三次元オブジェクト３０ｂに適用された化粧料を購入する処理を実行可能な構成であってもよい。この場合、サーバ２０には、決済処理を実行する決済部が設けられる。これにより、例えば、化粧シミュレーションシステム１において自身の希望に合う化粧料を探した後、当該化粧料を購入できる。

【符号の説明】

【0161】

１…化粧シミュレーションシステム
１０…ユーザ端末
１１…制御部
１２…メモリ
１３…タッチパネル
１４…撮像部
２０…サーバ
２１…制御部
２３…ＧＰＵ
２３ａ…オブジェクト生成部
２３ｂ…第１分光反射率算出部
２３ｃ…第１色信号算出部
２３ｄ…第２分光反射率算出部
２３ｅ…第２色信号算出部
２３ｆ…第３色信号算出部
２３ｇ…第２ＲＧＢ値算出部
２４…メモリ
２４ａ…分光変換データベース
２４ｂ…照明環境データベース
２４ｃ…化粧料データベース
３０…三次元オブジェクト
３０ａ…第１三次元オブジェクト
３０ｂ…第２三次元オブジェクト
３１…化粧領域
３２…光沢領域
４０…アプリ画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】