【実施例】
【0072】
実施例として、素肌とファンデーションを塗布した肌(以下、「化粧肌」ともいう。)の判別を目的とする機能性分光フィルタ2の例を示す。なお、化粧肌を第1の状態、素肌を第2の状態とする。
【0073】
1.設計手法
実施例のフィルタ2を設計する場合の設計方法を表1に示す。
【0074】
【表1】
【0075】
表1の設計方法の詳細を以下に述べる。
【0076】
〈1〉観察対象(照明光、スペクトル群)の設定
本手法は判別すべき二状態のRGB値に対し、判別分析を行ったときの判別精度の最大化を目的としている。従って、判別分析の対象となるRGB値を得るための観測環境と、最適化を行うに十分な教師スペクトルが必要となる。ここでは観測環境の照明光として標準光源D
65の分光分布を使用した。また、一般性の高いフィルタ2を設計するために、被験者ごとの肌色の違いやファンデーションの種類といった判別対象以外の情報を包含する十分な数のスペクトル群を用意した。具体的には、化粧肌については、被験者30名が粉体タイプと液体タイプの2種のファンデーションを用いたそれぞれの場合について、各被験者の顔(観察対象5)から9つの観測点を抽出することにより540点のスペクトルを用意し、素肌についても化粧肌に対応させて540点(被験者数30×観測点9×2)のスペクトルを用意した。
【0077】
素肌、化粧肌について各540点を平均した反射スペクトルを
図3に示す。
図3中、横軸は波長、縦軸は反射率であり、実線は素肌、破線は化粧肌を示す。両者の反射特性は非常に良く似ているが、僅かに違いがあることが分かる。このスペクトル差は、血中ヘモグロビンの吸収特性(550nm〜600nm)などの物理特性に基づくものである。
【0078】
〈2〉分光フィルタのモデル化
人間にはほとんど同一の色として知覚される場合であっても、その反射光スペクトルには物性の違いが現れる。この反射スペクトルの違いを捉えることで二状態を判別することがフィルタ2の目的である。そのため、フィルタ2の透過特性にはスペクトル差が特に大きい特定波長のみを通す狭帯域性が求められる。しかしながら、その一方で光学フィルタとして実現するためには波長軸上での透過特性の変化がある程度なめらかである必要がある。そこで、スプライン関数モデルを用いて、フィルタ2の分光特性T(λ)を少数パラメータp
1,p
2,・・・,p
tで記述した。スプライン関数モデルは次式[数2]のように表され、透過特性を記述するパラメータ数は波長λの範囲とスプライン関数の帯域幅ωによって決まる。
【0079】
【数2】
【0080】
ここでは波長範囲を405nm〜735nm、スプライン関数の帯域幅を15nmとした。このときのパラメータ数は23である。このモデル化により、最小で15nmの狭帯域透過特性や特定波長範囲を透過するバンドパス特性などを波長数よりも少数の変数で記述できる。
【0081】
〈3〉色情報の計算
判別分析はディジタルカメラ3の出力からなる色情報に対して行うので、スペクトルから色情報を算出する過程を設定しなければならない。一般的なディジタルカメラの場合、直接のカメラ出力はRGB値である。ここではディジタルカメラ3の感度特性として市販ディジタルカメラNikonD70(株式会社ニコンの商標または登録商標)の感度特性を実測し、それを用いてRGB値を算出した。ディジタルカメラ3のRGB感度特性を
図4に示す。
図4中、横軸は波長、縦軸は感度であり、太い実線は青色に対する感度、点線は緑色に対する感度、黒丸付きの細い実線は赤色に対する感度を示す。なお、NikonD70のガンマ特性は実測した入出力特性から推定してγ=0.7444とし、これを考慮した上で
図4に示すRGB感度特性を得た。
【0082】
図4に示すRGB感度特性をそれぞれS
R(λ)、S
G(λ)、S
B(λ)とおくと、RGB値の算出は、次式[数2−1]で表すことができる。
【0083】
【数2-1】
【0084】
ここで判別分析に用いる色情報C
Fijとして、RGB値から次式[数3]で算出される色度r
ij,g
ijを用いた。即ち、C
Fij=(r
ij,g
ij)とした。この色度は、RGB値の和(R
ij+G
ij+B
ij)で除算を行った相対値であり、輝度と無相関のパラメータになっているため、これを用いることで光源ムラなど一般的に現れやすい環境誤差の影響を受けずに状態検出を行えるフィルタが設計できる。
【0085】
【数3】
【0086】
〈4〉性能評価
フィルタ2の性能は、〈3〉で求めた色情報を元に判別分析を行ったときの判別精度をもって評価される。使用した判別分析法は、最も新規入力に対する判別精度が高いとされる線形判別分析を用いた。二群の判別を目的とする線形判別分析は次式[数4]で表されることが知られており(非特許文献1参照)、次式[数4]で表される判別関数f
dを用いることとした。
【0087】
【数4】
【0088】
なお、xは判別すべき色情報、μ
1は第1群に属する色情報C
F1jの平均、μ
2は第2群に属する色情報C
F2jの平均、P
1は第1群に属する色情報C
F1jの事前確率(観測確率)、P
2は第2群に属する色情報C
F2jの事前確率とする。分光透過率T(λ)が変化すると算出される色情報C
Fijが変化するため、分散共分散行列Σ、平均μ
1、μ
2は、再計算される。P
1、P
2は共に0.5とされる。
【0089】
そして、「f
d(C
Fij)≧0のとき、色情報C
Fijを第1群に分類し、f
d(C
Fij)<0のとき、色情報C
Fijを第2群に分類する」という上記判別ルールに従って色情報C
Fijを分類し、上記[数1]で表される誤判別率eで性能評価する。
【0090】
〈5〉最適化
〈1〉〜〈4〉により、このフィルタ2の設計問題は非線形最適化問題として定式化された。最適化すべきパラメータ数は〈2〉で述べた通り23であり、〈4〉で定義した誤判別率eを最小化するものを求める。ここでは、確率的最適化手法の一種であるSA(シミュレーティッドアニーリング)法を用いた。ここで用いる最適化手法はGA(遺伝的アルゴリズム)やNelder-Mead法などSA法以外の手法でもかまわない。実施例における最適化の手順は次のステップ1〜5からなる。
〈ステップ1〉各パラメータ初期値を次の[数5]のように定める。なお、各記号の意味を表2に示す。
【0091】
【数5】
【0092】
【表2】
【0093】
〈ステップ2〉次の[数6]のように、変動量値を更新する。保有解に乱数を付加したものを新しい解(生成解)とし、分光特性を求める(上記〈2〉参照)。生成数と重点化変数を1増やす。
【0094】
【数6】
【0095】
〈ステップ3〉分光特性と教師データから生成解の誤判別率を求め(上記〈3〉,〈4〉参照)、現在の保有解ならびに最良解と比較する。
(イ)次の[数7]のように、最良解よりも生成解の誤判別率が低い場合には、最良解、保有解を更新し重点化変数を0に戻す。
【0096】
【数7】
【0097】
(ロ)次の[数8]のように、乱数付加前よりも生成解の誤判別率が改善されている場合には、保有解を更新する。
【0098】
【数8】
【0099】
(ハ)生成解の誤判別率が改善されていない場合(即ち、上記(イ)(ロ)のいずれでもない場合)には、次の[数9]のように、確率分布にしたがって保有解を更新するか否かを決定する。
【0100】
【数9】
【0101】
〈ステップ4〉生成数が生成数閾値を超えていないならばステップ2へ戻り、超えていればステップ5に進む。
〈ステップ5〉次の[数10]のように、生成数を初期化、温度を更新する。重点化変数が再重点化閾値を越えているならば保有解を最良解に更新し、越えていなければ更新しない。そして、温度が目標温度に達していないならばステップ2へ戻り、目標温度に達していれば、そのときの最良解を最適パラメータとする。
【0102】
【数10】
【0103】
2.フィルタ分光透過率の最適化と光学フィルタ化の結果
上記1.の設計方法によって得られた分光透過率(最適T(λ))を、
図5に黒丸付き実線で示す。また、この分光透過率(理論設計)を表3に示す。併せて、SiO
2とTiO
2を積層し膜生成シミュレーションを行い、理論設計に近似した特性が物理的に実現可能であることを確認した。膜生成シミュレーションにより得られた分光透過率を、
図5に点線で示すとともに、表4−1〜4−2に示す。また、このときの膜構成は、表5に示すように、SiO
2/TiO
2交互層にて計31層であった。この膜構成は、所要の分光透過率を得るための公知の膜設計ソフト(「Film Star」FTG Software Association社、USA)を使用して求めたものである。
【0104】
【表3】
【0105】
【表4-1】
【0106】
【表4-2】
【0107】
【表5】
【0108】
その後、実際に真空蒸着装置にて成膜を行い、膜シミュレーションとほぼ近似の特性が得られることを確認した。
図6に、上記設計方法によって得られた分光透過率(理論設計)を破線で、実際に成膜した多層膜光学フィルタ2(実設計)の分光透過率を実線で示す。
【0109】
理論設計と実設計の透過特性にはずれが見られるが、教師スペクトル群に対する判別精度を上記[数4]の判別関数で評価したところ、理論設計での判別精度が82.5%であったのに対し、実設計の透過特性から求めた判別精度は82.9%であった。わずかであるが透過特性の誤差は判別精度を向上させる方向に作用している。なお、上記[数4]の判別関数での評価の際には、[数4]内のパラメータ(平均μ
1,μ
2、分散共分散行列Σなど)は再計算した。
【0110】
3.フィルタリングの効果検証
実際に成膜した上記フィルタ2が素肌と化粧肌の判別に有効であることを確認するために、フィルタ有り・無しそれぞれの場合についてディジタルカメラ3(NikonD70)で素肌と化粧肌の撮影を行い、出力されたRGB値から構成される色情報(r,g)の分布を評価した。なお、r、gは、フィルタ2の設計時と同じく、RGB値のうちのR値、G値をそれぞれRGB値の和(R値+G値+B値)で除した値であるが、ここでは、[数2−1]のような式で算出したRGB値ではなく、実際にカメラ3から出力されたRGB値を用いる。すなわち、作成されたフィルタ2を用いた評価時には、実際にカメラ3から出力されたRGB値を用いる。
図7−1は、フィルタ無しの場合に撮影によって得られた色情報の分布であり、
図7−2は、フィルタ有りの場合に撮影によって得られた色情報の分布である。色情報は、被験者20名の素肌と化粧肌のそれぞれの場合の全顔から各被験者数百点ずつ自動抽出した。また、これらの図中、濃い色の点は素肌、薄い色の点は化粧肌の色情報であり、図中に示される楕円は、分布に二次元正規分布を仮定したときの、1σの等確率楕円である。これらの図よりあきらかに、フィルタ2を用いない場合には、素肌と化粧肌とで色情報の分布が重なっており、色情報に基づく判別は不可能であるが、フィルタ2を装着することで素肌と化粧肌とで色情報の分布が分離され、非常に高い精度で判別可能となっている。
【0111】
即ち、実施例のフィルタ2は、フィルタ2を介してディジタルカメラ3で化粧肌を撮影したときの色情報の群を第1群、フィルタ2を介して同ディジタルカメラ3で素肌を撮影したときの色情報の群を第2群、フィルタ2を介さずに同ディジタルカメラ3で化粧肌を撮影したときの色情報の群を第3群、フィルタ2を介さずに同ディジタルカメラ3で素肌を撮影したときの色情報の群を第4群、と表記したときに、第1群(
図7−2の薄い色の点の群)と第2群(
図7−2の濃い色の点の群)との分離の程度が、第3群(
図7−1の薄い色の点の群)と第4群(
図7−1の濃い色の点の群)との分離の程度よりも大きくなるように、多層膜の分光透過率が設定されている。ここで、「第1群と第2群の分離の程度」とは、第1群に属する色情報の分布範囲と第2群に属する色情報の分布範囲との分離の程度をいう。第3群と第4群の分離の程度についても同様である。また、「分離の程度が大きい」とは、「重なりが小さい」と換言できる。
【0112】
さらに、実施例のフィルタ2によれば、第1群に属する色情報を一方の側に第2群に属する色情報を他方の側に所定の精度以上の分類精度で分類する境界を設定可能な程度に、第1群と第2群とが分離される。ここで、境界は、実施例のフィルタ2を作成したときの判別関数f
d(但し、各パラメータは
図7−2に示す第1群と第2群の色情報から再計算されたもの)で表され、具体的には、f
d(x)=0を満たすxからなる線であり、
図7−2中に破線で示す。そして、上述した判別精度から、この境界は、80%以上(
図7−2の例では90%以上)の高精度で、第1群に属する色情報を境界の一方の側に、第2群に属する色情報を境界の他方の側に分類可能である。なお、境界の分類精度は、フィルタ2の用途等から定められる所定の精度以上であればよく、80%以上に限られない。
【0113】
また、
図7−1中に示す破線は、第3群と第4群とから計算される境界f
d(x)=0を示し、この境界によっては第3群に属する色情報と第4群に属する色情報とを分類することは困難であることが分かる。
【0114】
4.組成の異なるファンデーションの検出と塗布量の定量評価
図8はファンデーション4種(液体2種、粉体2種)の塗布量を変化させて、実設計のフィルタ2をディジタルカメラ3のレンズ7に装着して計測を行った際の検出結果である。
図8の縦軸は判別分析の際に得られる判別スコアf
d(x)を表す。ここで、判別関数f
dは、フィルタ2の作成に用いた[数4]で表される関数であるが、各パラメータ(すなわち、分散共分散行列Σ、平均μ
1,μ
2)は、
図7−2に示す第1群と第2群の色情報から再計算されたものである。なお、事前確率P
1,P
2は0.5で固定とし再計算しない。後述する5.〜7.における判別関数f
dも同様である。すなわち、フィルタ2の作成時とフィルタ2を用いた評価時とで、用いられる判別関数f
dは、同じ式で表されるがパラメータ(係数)が異なり得る。塗布部は両前腕とし、塗布量は、粉体の場合は0.2〜0.3[mg/cm
2]、液体の場合は1/3[μl/cm
2]を基準量として、1倍〜3倍までの3段階と規定した。
図8では、左から順に第1の粉体を塗布した場合、第1の液体を塗布した場合、第2の粉体を塗布した場合、第2の液体を塗布した場合を示し、これらの各場合について、塗布量が1倍の場合を黒色、2倍の場合を灰色、3倍の場合を白色で示す。
【0115】
図8より、ファンデーションごとに検出値に違いはあるが、いずれのファンデーションについても検出可能であることが確認された。また、単一のファンデーション内であれば塗布量が多いほど判別スコアが高く、判別スコアから塗布量を定量評価できる可能性が高いことが分かった。
【0116】
定量評価の方法としては、例えば、塗布量を変化させた教師スペクトル群から判別スコアと塗布量との対応テーブルを作成して上記判別装置4内に用意しておき、判別装置4が、その対応テーブルを参照して、観察対象の観測点における判別スコアから、その観測点における塗布量を推定し出力する方法や、後述する7.のように検量線を用いる方法がある。
【0117】
5.化粧塗布領域の可視化
図9に、同一人の顔の向かって左半分を化粧を塗布しない素肌部、右半分をファンデーションを塗布した化粧塗布部として、ファンデーション塗布状態を計測し、分布を可視化した結果を示す。なお、
図9の各図は、カラー画像を擬似的に表したものであり、素肌部の色と同色の部分には網掛け表示を施さず、素肌部の色と異なる色の部分には網掛け表示を施し、更に、異なる色には異なる網掛け表示を用いることにより色の違いを表している。
【0118】
図9(a)はフィルタ2を用いない場合の計測結果であり、化粧塗布部と素肌部とでは色の違いが現れず、両者の判別が困難であることが分かる。
【0119】
図9(b)はフィルタ2を装着して撮影したカラー画像である。フィルタ2を装着することによって、化粧塗布部と素肌部との間に色の違いが生じ、化粧塗布部が鮮明化されていることが分かる。
【0120】
さらに
図9(b)のカラー画像に対して判別分析を行い、判別スコアをカラーリングしたものが
図9(c)である。着色部(網掛け表示が施された部分)が化粧塗布部(第1の状態)と判別された領域であり、カラーマップを用いてファンデーションの分布を評価することが出来る。なお、
図9(c)における網掛け表示は、右側のダイヤグラムに示すように、0〜3までの判別スコアに対応している。
【0121】
図9(d)は、上記3.で示した色情報群から推定した母集団の統計情報を元に、観測部が化粧塗布部である確率をマッピングしたものである。この可視化手法を用いることで、計測結果を定量情報として取り扱うことが出来る。このケースでは意図的に全顔の半面にファンデーションを塗布しているため、ほぼ塗布域全域にわたって略100%と評価されている。なお、
図9(d)における網掛け表示は、右側のダイヤグラムに示すように、0〜100%までの確率に対応している。
【0122】
ここで、上記確率の算出法について説明する。ある画素が色度C
F=(r,g)であるときに、その部分が化粧塗布部であるという事後確率P(化粧|C
F)は、次式[数11]で表される。
【0123】
【数11】
【0124】
ここで、p
化粧、p
素肌は任意の画素を調べたときに、そもそも化粧が塗布されているか、塗布されていないかを表す確率(事前確率)であり、今回の場合、化粧を塗布するか否かについての事前の情報は無いものとして、それぞれp
化粧=p
素肌=0.5(等確率)とした。また、P
化粧(C
F)、P
素肌(C
F)はそれぞれ、化粧肌、素肌の場合の色度の確率分布(即ち、化粧肌、素肌のそれぞれについて、どのような色になることが多いかを表すもの)である。具体的なP
化粧(C
F)、P
素肌(C
F)の値は、計測された色度データ(
図7−2)に対して2次元正規分布を当てはめることで求めた。ここで、フィルタ2の作成時に用いた色度データではなく、実際に計測した色度データを用いたのは、照明光等の計測環境が評価時と略同じだからである。
【0125】
以上のようにして、事後確率P(化粧|C
F)を元の画像(
図9(b))の全画素について求め、可視化したものが
図9(d)である。
【0126】
6.クレンジング状態の化粧分布評価
被験者自身の手法でクレンジングを行ったケース(自己流クレンジング)と、専門家の指導を受けてクレンジングを行ったケース(指導付きクレンジング)について、それぞれ化粧分布を計測・評価した。
図10はマネキン上に計測した被験者9名の化粧分布の平均をプロットしたものである。
図10における網掛け表示は、右側のダイヤグラムに示すように、−1.5〜+1.5までの判別スコアに対応し、(a)は自己流クレンジング、(b)は指導付きクレンジング、(c)は化粧塗布状態を示す。但し、指導付きクレンジング(
図10(b))と化粧塗布状態(
図10(c))の化粧分布が一様となるように正規化を行っている。化粧分布の平均は、各被験者の顔の輪郭、目や鼻などの特徴点が一致するように画像変換を行うことで求めた。ここでは変換手法として局所重み平均法(local weighted mean)を用いた。
【0127】
ここで、正規化画像の作成方法について説明する。
図10(a)は、被験者9名分の指導付きクレンジングの平均分布画像をI
n(x,y)、化粧塗布の平均分布画像をI
c(x,y)とし、I
n(x,y)=−1、I
c(x,y)=+1となるように正規化したときの相対的な変化として、自己流クレンジングの化粧分布画像I
FN(x,y)を表示したものである。正規化前の分布画像をI
F(x,y)とすれば、正規化後のI
FN(x,y)の各画像値は次式[数12]で表される。
【0128】
【数12】
【0129】
これにより、化粧の塗布状態以外の要因(顔の場所、光の当たり方など)による変化をキャンセルし、純粋に化粧塗布状態の変化を捉えることができる。
【0130】
図10(a),(b)を比較すると、額の生え際付近で被験者自身の手法でクレンジングした場合にファンデーションが検出されやすいことが確認できる。これは従来の知見と一致する結果であることから、フィルタ2を用いることでクレンジング残りが起きやすい部位を可視化できたといえる。さらに、画像中に存在するファンデーション塗布部である確率が90%を超える画素の数を比較したところ、
図11に示されるように二条件で差がみられた。これらについて片側検定・有意水準0.01でt検定を行ったところ有意差が認められた。
【0131】
7.肌上のファンデーション付着量定量手法
7−1.概要
実施例のフィルタ(上記2.で成膜した実設計のフィルタ)2を用いて撮影された画像から被写体の肌に付着するファンデーションの量を定量するための検量線を定義し、ファンデーション塗布状態の定量的評価手法を実現した。検量線は、既知の液体型ファンデーションを塗布したときの顔画像を基に定義した。フィルタ出力から直接ファンデーション付着量を推定する対数関数型と、事前に計測しておいた素肌画像を用いて補正を行うベースライン補正型の、二種類の検量線を設計した。後者はクレンジング残りのような微量のファンデーションを検出する際に効果を発揮する。以下、詳説する。
【0132】
7−2.検量線作成実験
実施例のフィルタ2は、素肌と化粧肌の判別精度最大化を目的として設計されているが、実際に計測画像から得られる判別スコアにはファンデーション塗布量との相関が確認されている。すなわち、判別スコアからファンデーション塗布量を推定できる可能性がある。そこで、判別スコアとファンデーション塗布量との間に検量線を引くために、検量線作成実験を行った。以下にその実験内容を述べる。
【0133】
(1)実験手法
ファンデーション塗布量とフィルタ出力の関係を明らかにするために、顔全体の14箇所に量をコントロールした液体型ファンデーションを塗布し、実施例のフィルタ2を装着したディジタルカメラ3で撮影を行った。カメラ3は、フィルタ2の設計に用いたものと同じNikonD70を用いた。塗布領域を
図12に、実験条件を表6に示す。表6に示すように、光源(照明光)としては、蛍光灯Diva-Lite(国際照明株式会社の商標または登録商標)のデイライトタイプを用いた。なお、
図7−1、7−2に示す色情報の計測においても、この照明光を用いている。光源の色温度は約6000Kであり、鏡面反射を防止するために光源に偏光フィルムを装着するとともに、カメラ3にも偏光フィルタを装着した。また、色校正用色票としてx-rite Muncell Color Checker mini(エックスライト社の商標または登録商標)の白を用い、被験者の顔と共にその色票を撮影し、カメラ3から出力された各画素のRGB値を、コンピュータからなる判別装置4に入力し、判別装置4において、色票の部分のRGB値が白を示す値となるように補正を行なってから、判別関数f
dで判別スコアを算出した。
図12に示すように、観測角度は正面と±45°の3方向とした。
図12中では塗布領域14箇所に番号を割り振っており、各観測角度について図示されている長方形枠領域は実際に分析に用いる領域を示している。塗布領域の面積は3cm×2cmとした。使用するファンデーションの色は、全6色から被験者毎に最も適していると思われる1色を被験者自身が選択したが、被験者が4名であるので、実際に使用された色は4色であった。
【0134】
【表6】
【0135】
実験では最初に素肌状態を計測し、その後ファンデーション塗布量が規定量になるように重ね塗りを繰り返しながら計測した。塗布量のコントロールにはマイクロピペットを使用した。実験手順の詳細を以下に示す。
【0136】
〈1〉洗顔、クレンジング、化粧水塗布
〈2〉化粧下地塗布
〈3〉素肌状態計測
〈4〉ファンデーション塗布(各領域に0.5[μL])
〈5〉化粧塗布状態の計測
〈6〉ファンデーションを重ね塗りし、塗布量を次の計測条件(表6参照)と一致させる
〈7〉〈5〉に戻り、以下塗布量10[μL]となるまで繰り返す
(2)実験結果
上記検量線作成実験により得られた塗布量と判別スコアの関係を、
図13に示す。
図13は、横軸を1cm
2当たりの塗布量、縦軸を判別スコアとして、全被験者、全領域から得た塗布量ごとの判別スコアの平均値をプロットしたものであり、図中のエラーバーは塗布量ごとの標準偏差を表す。
図13より、ファンデーション塗布量と判別スコアの間に対数関数的な関係を確認できる。
【0137】
7−3.検量線の設計と評価
検量線作成実験より、塗布量と判別スコアの間に明らかな対数的関係を確認できた。そこで、
図13の計測データに対するフィッティング関数として、以下に示す2つの式を定義した。式のyは判別スコア、xはファンデーション塗布量y
0は素肌状態での判別スコアを表す。a、b、cは係数ならびに定数項である。
【0138】
【数13】
【0139】
【数14】
【0140】
[数13]は単純な対数関数であるのに対し、[数14]はx=0の時y=y
0を充たすようにベースライン補正を加えられている。これにより、素肌状態を計測した場合にはファンデーション塗布量が0となる推定式を得ることが出来る。
【0141】
そして、[数13]及び[数14]の係数ならびに定数項を、
図13に示す実験結果を基に、最急降下法と最小二乗法を用いて求めた。求めた係数及び定数項、検量線から得られる推定値(すなわち、実際の塗布量に対する判別スコアを検量線に当てはめることにより推定した推定塗布量)と実際の塗布量との決定係数R
2、予測標準誤差(SEP)を表7に示す。なお、[数13]で表される検量線を対数関数型、[数14]で表される検量線をベースライン補正型という。SEPは下記式[数15]を用いて求めた。[数15]におけるNはサンプルの総数、x
i’は塗布量x
iに対する推定値を示す。表7より、いずれの検量線を用いた場合でも非常に高い推定精度を得られることが分かる。
【0142】
【表7】
【0143】
【数15】
【0144】
[数13]、[数14]で表される検量線を用いたときの推定値は、それぞれ、
図14、
図15に示すとおりである。
図14、
図15の実線は、横軸を実際の塗布量(1cm
2当たり)、縦軸を推定値(1cm
2当たり)として、全被験者、全領域の塗布量ごとの推定値の平均をプロットしたものであり、図中のエラーバーは標準偏差を示す。
図15より、ベースライン補正型は、特に塗布量が少ない場合に誤差が小さいことがわかる。
【0145】
7−4.適用例
7−3.において、フィルタ2を用いることで肌に付着しているファンデーションの付着量を高精度に推定可能であることが示された。そこで、上に述べた二つの検量線を顔画像の画素ごとに適用し、実際にファンデーションを塗布した顔画像のファンデーション分布を推定した。ベースライン補正型については、事前に計測した素肌状態の判別スコアを、[数14]におけるy
0とし、画素ごとに塗布量を求めた。なお素肌画像と可視化対象である顔画像との位置ずれは、輪郭、パーツの位置などが一致するように画像変換を適用することで解消した。画像変換には、局所重み平均法を用いた。
【0146】
(1)検量線作成実験の計測画像
まず検量線の効果確認のために、検量線作成実験で計測した被験者1名の顔画像に対して検量線を適用した。
図16は対数関数型の検量線を用いた場合、
図17はベースライン補正型の検量線を用いた場合の可視化結果であり、各画像は、左から順に、実際の塗布量が1塗布領域(=6cm
2)当たり0、1、2、4、6、10μLの各場合を示す。なお、求めたファンデーション分布は、画像変換を用いてメイクアップドールの画像上に貼り付けて表示されている。詳しくは、判別装置4において、
図16、17の右端部のスケールに示すように推定値に応じて色を設定しておき、被験者の顔画像の各塗布領域の各画素について、その色情報から判別関数f
dを用いて判別スコアを算出し、判別スコアに検量線を適用して塗布量を推定した。そして、その推定値に応じた色を、メイクアップドールの画像上の対応する画素に表示した。なお、
図16、
図17は、推定値が高いほど色が濃くなるように設定したグレースケール画像であるが、実際にはカラー画像で表している。
図16、
図17より、いずれの検量線を用いた場合も良好な推定結果が得られていることが分かる。また、特に素肌状態に着目すると、対数関数型の検量線を用いた場合(
図16)は頬や唇にエラーが現れているが、ベースライン補正型の検量線を用いた場合(
図17)はこれが現れないことが確認できる。
【0147】
(2)ファンデーション一様塗布状態の可視化
主観的に肌色が一様に見えるようファンデーションを一様に塗布したときのファンデーション付着量を可視化した。詳しくは、被験者1名に目視で肌色が一様に見えるようにファンデーション1種類を顔全体に塗布してもらい、フィルタ2を装着したカメラ3で撮影してその出力値を判別装置4に入力し、判別関数f
dを用いて判別スコアを算出し、検量線を適用して、ファンデーション付着量の推定値を得た。なお、検量線作成実験のときと同じ条件で撮影を行い、同じ色票で補正を行なった。そして、判別装置4で推定値に対応して色を設定しておき、推定値に応じた色を被験者の顔の画像の上に表示することにより、推定値の可視化を行った。可視化結果を
図18に示す。検量線は、[数13]に示される対数関数型を使用した。
図18より、目視では一様に分布しているように見えるファンデーションが、実際には非常に不均一に分布していることが分かる。なお、
図18は、図の右端部のスケールに示すように、推定値が高いほど色が濃くなるように設定したグレースケール画像であるが、実際にはカラー画像で表している。
【0148】
7−5.ファンデーション色の影響調査
ファンデーションの色が塗布量と判別スコアとの相関関係に与える影響を調査するために、被験者1名の顔の6箇所にそれぞれ異なる色のファンデーションを塗布し、フィルタ2を装着したカメラ3で撮影してその出力値を判別装置4に入力し、判別スコアを算出する実験を行った。なお、検量線作成実験のときと同じ条件で撮影を行い、同じ色票で補正を行なった。塗布量は1回の塗布につき3μL/9cm
2と一定にし、塗布回数は4回とした。また、用いたファンデーションの色は、オークルB(Ocher B)、オークルC(Ocher C)、オークルD(Ocher D)、ベージュB(Beige B)、ベージュC(Beige C)、ベージュD(Beige D)である。なお、検量線作成実験のときと同じ条件で撮影を行い、同じ色票で補正を行なった。
【0149】
上記実験により得られた塗布量と判別スコアの関係を、
図19に示す。
図19は、横軸を1cm
2当たりの塗布量、縦軸を判別スコアとして、各ファンデーション色に対する判別スコアをプロットしたものである。
図19より、ファンデーションの色が塗布量と判別スコアとの相関関係に与える影響は、小さいことが分かる。すなわち、色が異なるファンデーションに対しても、同じ検量線を適用できることが分かる。
【0150】
以上説明したことから、フィルタ2を用いた評価システム1によれば、判別装置4において観察対象5の各部分について判別スコアを算出でき、判別スコアから当該部分におけるファンデーション等の化粧料の付着量(塗布量)を定量的に評価できる。また、その判別スコアを、観察対象5の画像、または、観察対象5を模した画像(例えば、マネキンの顔の画像)上の該当部分に、色等で表示すれば、化粧料の付着量を可視化できる(
図9(c)参照)。
【0151】
また、判別装置4において、観察対象5の各部分について化粧肌である確率または素肌である確率を推定することもでき、その確率を、観察対象5の画像、または、観察対象5を模した画像上の該当部分に、色等で表示すれば、化粧肌または素肌である確率を可視化できる(
図9(d)参照)。
【0152】
さらに、判別スコアから肌上の化粧料の付着量を高精度に推定できる(すなわち、定量的な評価を行うことができる)ので、その推定値に基づいて、化粧料のつき、広がり、なじみ具合等、化粧料の塗布性を評価することや、経時的な化粧料の付着量の変化を観察して、化粧崩れ等、化粧料の持続性を評価することができる。すなわち、肌への化粧料の付着量から、その化粧料の塗膜を評価できる。また、推定値を、観察対象5の画像、または、観察対象5を模した画像上の該当部分に、色等で表示すれば、化粧料の付着量を可視化できる。
【0153】
なお、評価時に用いる色情報は、実施例の色度のようにカメラ3の出力から算出するものでなくてもよく、カメラ3の出力をそのまま用いることも可能である。但し、実施例のように、RGB値のうちの2値(例えば、R値とG値)をそれぞれRGB値の和(すなわち、R値+G値+B値)で除算した値からなる2次元データである色度を、色情報として用いれば、上述したように環境誤差の影響を受け難くなるとともに、二次の判別関数を用いることができて、判別が容易である。なお、r
ijまたはg
ijの代わりに、B値をRGB値の和で除算したb
ijを用いてもよい。
【0154】
また、上述した二状態の判別を繰返して行うことにより、3つ以上の状態を判別することも可能である。あるいは、上述したように、判別する際の閾値を2つ以上設けることにより、3つ以上の状態を判別することも可能である。
【0155】
さらに、判別関数は、二状態の判別が可能なものであればよく、線形のものにに限らず、非線形であってもよい。以下、マハラノビス距離を用いた例について説明する。マハラノビス距離とは、観測Xが群iからどれだけ離れているかを示す距離であり、観測Xの群iからのマハラノビス距離D
i(X)は、次式[数16]で表される。
【0156】
【数16】
【0157】
分散共分散行列に基づくため、マハラノビス距離が等しい点の集合は、
図20に示すように楕円を描く。群の分布をそれぞれ二次元正規分布と仮定すれば、マハラノビス距離を所属確率(群に所属する確率)に置き換えることができ、等マハラノビス距離の楕円は等所属確率楕円ということができる。したがって、教師スペクトル群から第1群と第2群の平均と分散共分散行列とを求めておき、判別すべき色情報が与えられたとき、第1群及び第2群からのマハラノビス距離を求めて、マハラノビス距離が小さい(すなわち、所属確率が高い)方の群に分類すればよいこととなる。すなわち、両群からの所属確率が等しい点が作る境界(
図20の符号Lで示す線)を表す関数を判別関数として、この境界のどちら側にあるかで分類することができ、マハラノビス距離から二次の判別関数を得られることとなる。両群の分散共分散行列が等しければ、この判別関数は線形となるが、そうでない場合には非線形となる。