特許 6346789 顔画像分析方法及び顔画像分析装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6346789

(24)【登録日】2018年6月1日

(45)【発行日】2018年6月20日

(54)【発明の名称】顔画像分析方法及び顔画像分析装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180611BHJP

   G06T 7/42 20170101ALI20180611BHJP

   G06T 1/00 20060101ALI20180611BHJP

【ＦＩ】

   G06T7/00 660A

   G06T7/42

   G06T1/00 340A

【請求項の数】14

【全頁数】30

(21)【出願番号】特願2014-107322(P2014-107322)

(22)【出願日】2014年5月23日

(65)【公開番号】特開2015-5281(P2015-5281A)

(43)【公開日】2015年1月8日

【審査請求日】2017年4月18日

(31)【優先権主張番号】特願2013-110352(P2013-110352)

(32)【優先日】2013年5月24日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000000918

【氏名又は名称】花王株式会社

(73)【特許権者】

【識別番号】304021831

【氏名又は名称】国立大学法人千葉大学

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】津村 徳道

(72)【発明者】

【氏名】藤原 伊純

(72)【発明者】

【氏名】豊田 彩織

(72)【発明者】

【氏名】小島 伸俊

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開２００８−２７６４０５（ＪＰ，Ａ）

【文献】 特開２０１０−０５５６３１（ＪＰ，Ａ）

【文献】 特開２０１１−２４００８６（ＪＰ，Ａ）

【文献】 津村 徳道，“画像からの質感解析とその応用”，映像情報メディア学会誌，日本，一般社団法人映像情報メディア学会，２０１２年 ５月 １日，Vol.66, No.5，pp.349-356

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，７／００−７／９０

Ｈ０４Ｎ １／３８７

(57)【特許請求の範囲】

【請求項1】

形状が規格化された顔画像を高周波成分が除去された低周波成分画像及び該高周波成分のみを含む高周波成分画像に分離する周波数成分分離工程と、
複数のサンプル顔画像から求められる複数次の基底ベクトルを取得し、前記顔画像に含まれる対象顔画像から前記周波数成分分離工程により分離された前記低周波成分画像及び前記高周波成分画像の各々に対する主成分分析により、該対象顔画像に関する、該基底ベクトルの複数の重み係数を取得する対象係数取得工程と、
前記対象係数取得工程により取得された前記複数の重み係数から、前記基底ベクトルが持つ基底次数の中の少なくとも一部の分析対象基底次数における複数の分析対象重み係数を選択し、該選択された前記対象顔画像のための複数の分析対象重み係数と、前記複数のサンプル顔画像に関する複数の分析対象重み係数及び複数の指標値を用いた重回帰分析により算出される顔画像指標式とを用いて、前記対象顔画像を分析する分析工程と、
を含む顔画像分析方法。

【請求項2】

前記周波数成分分離工程は、更に、前記顔画像に含まれる、形状が規格化された前記複数のサンプル顔画像を、高周波成分が除去された低周波成分画像及び該高周波成分のみを含む高周波成分画像に分離し、
前記複数のサンプル顔画像から前記周波数成分分離工程により分離された、前記低周波成分画像及び前記高周波成分画像の各々に対する主成分分析により、前記低周波成分画像及び前記高周波成分画像に関し、前記基底ベクトルをそれぞれ取得する基底ベクトル取得工程と、
前記基底ベクトル取得工程での前記主成分分析により、前記複数のサンプル顔画像の各々に関する、前記基底ベクトルの複数の重み係数をそれぞれ取得するサンプル係数取得工程と、
前記サンプル係数取得工程により取得された前記複数の重み係数の中の前記複数の分析対象重み係数と、前記複数のサンプル顔画像に関する複数の指標値とを用いた重回帰分析により、前記顔画像指標式を推定する指標式算出工程と、
を更に含む請求項１に記載の顔画像分析方法。

【請求項3】

前記顔画像指標式は、前記周波数成分分離工程での各分離単位に対応する、第１の顔画像指標式と第２の顔画像指標式とを少なくとも含み、
前記分析工程は、前記低周波成分画像に対する主成分分析により得られた、前記対象顔画像のための前記複数の分析対象重み係数を、前記第１の顔画像指標式に適用し、かつ、前記高周波成分画像に対する主成分分析により得られた、前記対象顔画像のための前記複数の分析対象重み係数を、前記第２の顔画像指標式に適用して、前記対象顔画像に対する指標値を、前記周波数成分分離工程での分離単位毎に、それぞれ推定する、
請求項１又は２に記載の顔画像分析方法。

【請求項4】

前記分析工程は、
目標指標値を取得する目標取得工程と、
前記顔画像指標式を用いて、前記目標指標値と前記対象顔画像の現指標値との差分に対応する複数の分析対象重み係数を算出し、かつ、該算出された複数の分析対象重み係数により、前記対象顔画像のための前記複数の分析対象重み係数を更新することで、前記対象顔画像を変調し、変調顔画像を生成する変調工程と、
を含む請求項１から３のいずれか１項に記載の顔画像分析方法。

【請求項5】

前記周波数成分分離工程は、前記顔画像に対して、複数段階の２次元離散ウェーブレット変換を行うことにより、各段階について、対角低周波成分画像、対角高周波成分画像、水平方向高周波成分画像及び垂直方向高周波成分画像をそれぞれ生成し、
前記対象係数取得工程は、前記対象顔画像のための前記複数の重み係数を、前記各段階の、前記対角低周波成分画像、前記対角高周波成分画像、前記水平方向高周波成分画像及び前記垂直方向高周波成分画像の各々について取得する、
請求項１から４のいずれか１項に記載の顔画像分析方法。

【請求項6】

前記周波数成分分離工程は、前記顔画像の解像度に基づいて、２次元離散ウェーブレット変換を行う段階数を決定する、
請求項５に記載の顔画像分析方法。

【請求項7】

前記顔画像から、ヘモグロビン色素画像、メラニン色素画像及び陰影画像をそれぞれ抽出する独立成分分析工程、
を更に含み、
前記周波数成分分離工程は、前記独立成分分析工程により抽出された、前記ヘモグロビン色素画像、前記メラニン色素画像及び前記陰影画像の各々を、前記低周波成分画像及び前記高周波成分画像に分離する、
請求項１から６のいずれか１項に記載の顔画像分析方法。

【請求項8】

被験者の内部反射光画像を取得する画像取得工程と、
前記画像取得工程で取得された前記内部反射光画像から、形状が規格化された前記顔画像を生成する規格化工程と、
を更に含む請求項１から７のいずれか１項に記載の顔画像分析方法。

【請求項9】

被験者の表面反射光画像を取得する画像取得工程と、
前記画像取得工程で取得された前記表面反射光画像から、形状が規格化された前記顔画像を生成する規格化工程と、
を更に含み、
前記周波数成分分離工程は、
２次元離散ウェーブレット変換により、前記顔画像を前記低周波成分画像及び前記高周波成分画像に分離し、
２次元離散ウェーブレット変換により得られる高周波成分画像に対して絶対値計算を行う、
ことを含む、
請求項１から４のいずれか１項に記載の顔画像分析方法。

【請求項10】

前記周波数成分分離工程は、前記絶対値計算により得られる高周波成分絶対値画像に対して更なる２次元離散ウェーブレット変換を行う、
請求項９に記載の顔画像分析方法。

【請求項11】

前記周波数成分分離工程は、前記絶対値計算により得られる高周波成分絶対値画像を分離後の高周波成分画像として生成する、
請求項９又は１０に記載の顔画像分析方法。

【請求項12】

前記絶対値計算により符号が反転した画素の情報を保持する工程、
を更に含み、
前記分析工程は、
目標指標値を取得する目標取得工程と、
前記顔画像指標式を用いて、前記目標指標値と前記対象顔画像の現指標値との差分に対応する複数の分析対象重み係数を算出し、かつ、該算出された複数の分析対象重み係数により、前記対象顔画像のための前記複数の分析対象重み係数を更新することで、前記対象顔画像を変調し、変調顔画像を生成する変調工程と、
を含み、
前記変調工程は、前記更新された複数の分析対象重み係数を用いて前記対象顔画像を変調する際に、前記保持される画素情報に基づいて、前記絶対値計算により反転された符号を回復させて、前記変調顔画像を生成する、
請求項９から１１のいずれか１項に記載の顔画像分析方法。

【請求項13】

請求項１から１２のいずれか１項に記載の顔画像分析方法を実行する顔画像分析装置。

【請求項14】

請求項１から１２のいずれか１項に記載の顔画像分析方法を少なくとも１つのコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像の分析技術に関する。

【背景技術】

【0002】

顔画像又は顔の一部の画像に対して画像解析を行うことにより、肌の状態や顔の見た目年齢等の評価や、或る目標の顔画像への顔画像操作等が行われている。

【0003】

例えば、下記特許文献１は、規格化された顔画像に対して主成分分析（ＰＣＡ（Principal Component Analysis））及び重回帰分析を行うことにより、顔画像の立体感及び肌色の明るさに寄与する基底を抽出し、抽出された基底の係数を変化させて或る目標の顔画像を生成する手法を提案する。また、下記特許文献２は、顔の一部の偏光画像に対して独立成分分析（ＩＣＡ（Independent Component Analysis））を行うことにより、メラニン成分画像とヘモグロビン成分画像とを抽出し、これらのヒストグラム分布に基づいて、テクスチャのみを目標画像に近づけた被験者のシミュレーション画像を生成する手法を提案する。なお、非特許文献１については、参考文献として後述する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００８−２７６４０５号公報

【特許文献2】特開２００９−８２７３６号公報

【非特許文献】

【0005】

【非特許文献1】Norimichi Tsumura, etc., "Image-based skin color and texture analysis/synthesis by extracting hemoglobin and melanin information in the skin", acm Transactions on Graphics, Vol.22, No.3.pp.770-779(2003), Proceedings of ACM SIGGRAPH 2003

【発明の概要】

【発明が解決しようとする課題】

【0006】

上述の特許文献２のような、顔の部分的な肌画像を用いる顔分析方法では、部分的な情報のみを用いているため、顔全体についての何らかの評価指標を得ることには向かない。

【0007】

一方、顔画像の特徴解析及び操作のためには、上記特許文献１のように、ＰＣＡがよく用いられる。ＰＣＡは、分散の大きな固有成分（基底）を求めるため、複数人に共通した顔特徴を効率的に取得及び操作することができる。ところが、ＰＣＡは、局所的な空間周波数を考慮した解析ではないため、その基底に、空間周波数の種々異なる成分が混在していまい、空間周波数的に大域性を有する基底となる。色ムラ成分、凹凸ムラ成分、テカリ成分等のような顔全体の評価指標に影響を与える因子は、その大きさ、空間周波数、位置等に応じて、顔全体に対して異なった評価指標を与える。よって、ＰＣＡを用いた顔画像の特徴解析及び操作では、局所的な空間周波数が埋もれてしまい、顔画像の評価指標を精度よく分析することができない場合がある。

【0008】

本発明は、このような課題に鑑みてなされたものであり、顔画像を用いて、顔全体の評価指標を高精度に分析する技術を提供する。ここで、顔全体の評価指標とは、肌年齢等のような定量的な指標、及び、見た目年齢、若々しさ、美肌感等のような顔全体の見た目の印象の指標を含む。

【課題を解決するための手段】

【0009】

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

【0010】

第１の側面に係る顔画像分析方法は、形状が規格化された顔画像を高周波成分が除去された低周波成分画像及び該高周波成分のみを含む高周波成分画像に分離する周波数成分分離工程と、複数のサンプル顔画像から求められる複数次の基底ベクトルを取得し、上記顔画像に含まれる対象顔画像から周波数成分分離工程により分離された低周波成分画像及び高周波成分画像の各々に対する主成分分析により、対象顔画像に関する、当該基底ベクトルの複数の重み係数を取得する対象係数取得工程と、対象係数取得工程により取得された複数の重み係数から、基底ベクトルが持つ基底次数の中の少なくとも一部の分析対象基底次数における複数の分析対象重み係数を選択し、選択された対象顔画像のための複数の分析対象重み係数と、複数のサンプル顔画像に関する複数の分析対象重み係数及び複数の指標値を用いた重回帰分析により算出される顔画像指標式とを用いて、対象顔画像を分析する分析工程と、を含む。

【0011】

なお、本発明の他の側面としては、上記第１側面に係る顔画像分析方法を実行する顔画像分析装置であってもよいし、上記第１側面に係る顔画像分析方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記憶媒体であってもよい。

【発明の効果】

【0012】

上記各側面によれば、顔画像を用いて、顔全体の評価指標を高精度に分析する技術を提供することができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態における顔画像分析装置のハードウェア構成例を概念的に示す図である。

【図2】第１実施形態における顔画像分析装置の動作例を示すフローチャートである。

【図3】第１実施形態における顔画像分析装置の処理構成例を概念的に示す図である。

【図4】第２実施形態における顔画像分析装置における、サンプル顔画像を分析する動作の例を示すフローチャートである。

【図5】第２実施形態における顔画像分析装置における、対象顔画像を分析する動作の例を示すフローチャートである。

【図6】第２実施形態における顔画像分析装置の処理構成例を概念的に示す図である。

【図7】第３実施形態における顔画像分析装置における、対象顔画像を分析する動作の例を示すフローチャートである。

【図8】第３実施形態における顔画像分析装置の処理構成例を概念的に示す図である。

【図9】２次元離散ウェーブレット変換を用いた周波数成分分離処理の概念を示す図である。

【図10】３段階の２次元離散ウェーブレット変換（多重解像度解析）の結果を示す図である。

【図11】１段階の２次元離散ウェーブレット変換（多重解像度解析）の結果を示す図である。

【図12】低周波成分画像に対する主成分分析の結果を示す図である。

【図13】高周波成分画像に対する主成分分析の結果を示す図である。

【図14】メラニン色素画像の低周波成分画像のみを変調させた結果を示す図である。

【図15】メラニン色素画像の高周波成分画像のみを変調させた結果を示す図である。

【図16】実施例２における顔画像分析装置の、サンプル顔画像を分析する動作の例を示すフローチャートである。

【図17】実施例２における２次元離散ウェーブレット変換の概念を示す図である。

【図18】実施例２における周波数成分分離処理の概念を示す図である。

【図19】実施例２の顔画像分析装置における、対象顔画像を分析する動作の例を示すフローチャートである。

【図20】実施例２における主成分分析の結果の一部を示す図である。

【図21】実施例２における顔画像分析装置の処理構成例を概念的に示す図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

【0015】

［第１実施形態］
〔ハードウェア構成〕
図１は、第１実施形態における顔画像分析装置（以降、単に分析装置とも表記する）１０のハードウェア構成例を概念的に示す図である。第１実施形態における分析装置１０は、いわゆるコンピュータであり、ＣＰＵ（Central Processing Unit）２、メモリ３、入出力インタフェース（Ｉ／Ｆ）４等を有する。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、可搬型記憶媒体等である。

【0016】

入出力Ｉ／Ｆ４は、入力部７、出力部９、他のコンピュータや他の装置と通信を行う通信装置等と接続される。入力部７は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。出力部９は、ディスプレイ装置やプリンタ等のようなユーザに情報を提供する装置である。なお、分析装置１０のハードウェア構成は制限されない。

【0017】

〔動作例（顔画像分析方法）〕
図２は、第１実施形態における顔画像分析装置１０の動作例を示すフローチャートである。以下、図２を用いて、第１実施形態における顔画像分析方法を説明する。
顔画像分析装置１０により実行される顔画像分析方法は、図２に示されるように、周波数成分分離工程（Ｓ２１）、対象係数取得工程（Ｓ２２）及び分析工程（Ｓ２３）を含む。

【0018】

周波数成分分離工程（Ｓ２１）は、形状が規格化された顔画像を、高周波成分が除去された低周波成分画像及びその高周波成分のみを含む高周波成分画像に分離する。顔画像の規格化には、アフィン変換を用いたワーピング処理やモーフィング処理等が行われる。顔画像の規格化の詳細については、第２実施形態以降で説明する。第１実施形態において、周波数成分分離が行われる前の、形状が規格化された顔画像は、後述のような内部反射光画像でなくてもよく、後述のような独立成分分析により分離されるヘモグロビン色素画像、メラニン色素画像及び陰影画像でなくてもよい。

【0019】

顔画像分析装置１０は、周波数分解、多重解像度解析等と呼ばれる周知の画像処理技術を用いて、当該顔画像から、低周波成分画像及び高周波成分画像を抽出する。例えば、顔画像分析装置１０は、当該顔画像を２次元フーリエ変換して得られる空間周波数成分の情報に、所定の高周波成分及び所定の低周波成分を除去するフィルタを掛け、このフィルタリングされた空間周波数成分情報を逆２次元フーリエ変換することで、低周波成分画像及び高周波成分画像を取得することができる。また、顔画像分析装置１０は、２次元離散ウェーブレット変換のような多重解像度解析を用いて、当該顔画像から、低周波成分画像及び高周波成分画像を抽出することもできる。２次元離散ウェーブレット変換の詳細については後述する。本実施形態は、当該顔画像から低周波成分画像及び高周波成分画像を抽出する手法を制限しない。更に、本実施形態は、分離される低周波成分画像及び高周波成分画像の数を制限しない。

【0020】

ここで、形状が規格化された顔画像には、分析対象となる顔画像（以降、対象顔画像とも表記する）、サンプル顔画像等が含まれる。対象顔画像は、サンプル顔画像に含まれてもよい。このため、（Ｓ２１）では、顔画像分析装置１０は、形状が規格化された対象顔画像を当該低周波成分画像及び当該高周波成分画像に分離してもよいし、形状が規格化された複数のサンプル顔画像を当該低周波成分画像及び当該高周波成分画像に分離してもよい。

【0021】

対象係数取得工程（Ｓ２２）は、複数のサンプル顔画像から求められる複数次の基底ベクトルを取得し、形状が規格化された対象顔画像から周波数成分分離工程（Ｓ２１）で分離された低周波成分画像及び高周波成分画像の各々に対する主成分分析（ＰＣＡ）により、対象顔画像に関する、当該基底ベクトルの複数の重み係数を取得する。具体的には、顔画像分析装置１０は、複数次の基底ベクトルの元となる複数のサンプル顔画像の平均顔と対象顔画像との差分情報を取得し、この差分情報と複数次の基底ベクトルとの内積を計算することにより、対象顔画像に関する、当該複数次の基底ベクトルの重み係数を取得することができる。ここで取得される複数の重み係数は、当該基底ベクトルの各基底次数の重み係数の集まりである。よって、顔画像分析装置１０は、（Ｓ２１）での分離単位ごとに、複数の重み係数をそれぞれ取得する。

【0022】

分析工程（Ｓ２３）は、（Ｓ２２）で取得された複数の重み係数から複数の分析対象重み係数を選択し、選択された複数の分析対象重み係数と顔画像指標式とを用いて、対象顔画像を分析する。分析対象重み係数とは、基底ベクトルが持つ基底次数の中の少なくとも一部の分析対象基底次数における重み係数を意味する。分析対象重み係数は、基底ベクトルが持つ全基底次数の全重み係数であってもよいし、一部の基底次数の重み係数であってもよい。また、顔画像指標式とは、当該基底ベクトルの元となる複数のサンプル顔画像から求められる複数の分析対象重み係数及び複数の指標値を用いた重回帰分析により、算出される重回帰式を意味する。この顔画像指標式の取得方法の詳細については第２実施形態以降で説明する。

【0023】

顔画像分析装置１０は、対象顔画像の分析として、顔画像指標式で用いられる指標に関する、対象顔画像のあてはまり程度を示す指標値を算出してもよいし、その指標に基づいて対象顔画像を変調してもよい。指標値は、上述したように、定量的な指標の値であってもよいし、顔全体の印象を定量化した値であってもよい。本実施形態は、対象顔画像の分析対象重み係数と顔画像指標式とを用いた分析であれば、分析工程における対象顔画像の分析内容を制限しないし、評価指標についても制限しない。

【0024】

〔処理構成〕
図３は、第１実施形態における顔画像分析装置１０の処理構成例を概念的に示す図である。第１実施形態における顔画像分析装置１０は、周波数成分分離部１２、対象係数取得部１４、分析部１８等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４を介してインストールされ、メモリ３に格納されてもよい。

【0025】

顔画像分析装置１０は、図３に示される各処理部を用いて、図２に示される顔画像分析方法を実行することができる。この場合、周波数成分分離部１２は、上述の周波数成分分離工程（Ｓ２１）を実行し、対象係数取得部１４は、上述の対象係数取得工程（Ｓ２２）を実行し、分析部１８は、上述の分析工程（Ｓ２３）を実行する。

【0026】

顔画像分析装置１０は、形状が規格化された対象顔画像及びサンプル顔画像、並びに、当該複数次の基底ベクトル及び当該顔画像指標式を、顔画像分析装置１０自身で予め保持していてもよいし、顔画像分析装置１０自身で生成してもよいし、他のコンピュータや可搬型記録媒体等から入出力Ｉ／Ｆ４を介して取得してもよい。

【0027】

〔第１実施形態における作用及び効果〕
上述のように、第１実施形態では、対象顔画像から、高周波成分が除去された低周波成分画像及びその高周波成分のみを含む高周波成分画像が抽出され、低周波成分画像及び高周波成分画像に対してそれぞれ、複数のサンプル顔画像から得られた複数次の基底ベクトルを用いた主成分分析（ＰＣＡ）が行われる。これにより、対象顔画像に関する複数次の基底ベクトルの重み係数が、空間周波数成分の分離単位毎にそれぞれ算出される。

【0028】

ここで、対象顔画像に含まれる低周波成分は、顔全体又は顔の部位全体にわたる広範囲の色素濃度分布と定義することができ、顔の肌全体の色素濃度に関係する成分を示す。一方、高周波成分は、局所的な色素濃度分布と定義することができ、顔に含まれる微細な色素濃度に関係する成分を示す。第１実施形態では、このように特徴の異なった各色素濃度分布（高周波成分画像及び低周波成分画像）に対しＰＣＡを行うことで、特徴の異なった各色素濃度分布の特徴量を取得することができる。具体的には、低周波成分画像から得られる基底ベクトルは、顔全体の色素ムラを表現し、高周波成分画像から得られる基底ベクトルは、顔の微細な色素ムラや個人の特徴を表現する。従って、第１実施形態によれば、先行技術では考慮することが困難であった特徴量（狭帯域の空間周波数特性）を利用することができる。このような作用効果は、実施例の項において更に詳述する。

【0029】

第１実施形態では、このような複数の重み係数の中から選択された複数の分析対象重み係数と、複数のサンプル顔画像に基づく顔画像指標式とに基づいて、対象顔画像が分析される。従って、第１実施形態によれば、顔全体に広がる特徴、顔の微細な特徴及び個人的な特徴を網羅的に考慮して顔画像分析を行うことができる。結果、第１実施形態によれば、顔画像を用いて、顔全体の評価指標を高精度に分析することができる。

【0030】

［第２実施形態］
以下、第２実施形態における顔画像分析装置１０及び顔画像分析方法について、第１実施形態と異なる内容を中心に説明する。第１実施形態と同じ内容の説明は、適宜省略される。第２実施形態における顔画像分析装置１０のハードウェア構成は、図１に示される第１実施形態と同じである。

【0031】

〔動作例（顔画像分析方法）〕
以下、第２実施形態における顔画像分析方法を説明する。
顔画像分析装置１０により実行される第２実施形態における顔画像分析方法は、サンプル顔画像を分析する第１工程と、対象顔画像を分析する第２工程とを含む。当該第１工程は、基底ベクトルや顔画像指標式を更新する場合を除き、１度実行されればよい。当該第２工程は、当該第１工程の後に実行され、対象顔画像の分析が要求されるタイミングで実行されればよい。

【0032】

図４は、第２実施形態における顔画像分析装置１０における、サンプル顔画像を分析する動作の例を示すフローチャートである。以下、図４を用いて、第２実施形態における顔画像分析方法に含まれる上記第１工程について説明する。

【0033】

画像取得工程（Ｓ４１）は、各サンプル提供者の顔全体がそれぞれ写る複数の内部反射光画像を取得する。内部反射光画像とは、顔の肌表面での反射光成分が除外された、サンプル提供者の顔画像である。顔画像分析装置１０が、入出力Ｉ／Ｆ４を介して接続される撮像装置（図示せず）を有している場合には、例えば、次のような方法で内部反射光画像を取得することができる。光源の前（光源とサンプル提供者との間）にｓ偏光のみを通す偏光板Ｓが設置され、ｐ偏光のみを通する偏光板Ｐが撮像装置の前（撮像装置とそのサンプル提供者との間）に設置された環境において、撮像装置は、偏光板Ｐを介して、サンプル提供者の顔全体を撮像する。顔画像分析装置１０は、撮像装置で撮像された各サンプル提供者の顔画像を入出力Ｉ／Ｆ４を介してそれぞれ取得する。

【0034】

顔画像分析装置１０は、複数の内部反射光画像を、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得してもよい。なお、本実施形態では、内部反射光画像のデータ形式は制限されない。当該画像データは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式、ＧＩＦ（Graphic Interchange Format）形式等のファイルとして取得される。

【0035】

また、取得される内部反射光画像には、顔全体が写っていればよく、背景や頭部以外の部位が写っていてもよい。また、評価指標に応じて、サンプル提供者の顔は、素顔でも化粧を施した顔（化粧顔）でもよい。サンプル提供者は、分析対象の年齢層及び性別をカバーするように、決められることが望ましい。以降、（Ｓ４１）で取得された内部反射光画像は、単に、顔画像と表記される。

【0036】

規格化工程（Ｓ４２）は、（Ｓ４１）で取得された各顔画像から、形状が規格化された複数のサンプル顔画像及び平均顔画像を生成する。本実施形態は、顔画像の形状の規格化手法を制限しない。例えば、顔画像分析装置１０は、次のように、規格化工程を実行する。顔画像分析装置１０は、元の顔画像から複数の特徴点を検出し、検出された特徴点の外縁に基づいて顔領域を抽出し、抽出された顔領域の正規化（ワーピング処理）を行う。顔領域の正規化により、顔の向き、大きさ、画像内の位置が統一される。更に、顔画像分析装置１０は、正規化された各サンプル提供者の顔画像を合成することで、複数のサンプル提供者の平均顔を生成し、正規化された各顔画像の形状をその平均顔の形状に標準化する。このような顔画像の操作は、例えば、ＦＵＴＯＮ（foolproof utilities for facial image manipulation system）と呼ばれる周知の顔画像合成システムを用いて実施される。顔画像分析装置１０は、標準化された各顔画像から分析対象外領域（肌色の部分以外の領域（目、唇、眉等））を除外することで、当該複数のサンプル顔画像を生成する。

【0037】

独立成分分析工程（Ｓ４３）は、平均顔画像及び形状が規格化された複数のサンプル顔画像に対して独立成分分析を行うことで、平均顔画像及び各サンプル顔画像から、ヘモグロビン色素画像、メラニン色素画像及び陰影画像をそれぞれ抽出する。以降、（Ｓ４３）で抽出されるヘモグロビン色素画像、メラニン色素画像及び陰影画像をそれぞれ色素成分画像と表記する場合もある。ここで、独立成分分析を用いて、顔画像から３タイプの色素成分画像を抽出する手法には、上記非特許文献１に記載される色素成分分解法を用いることができる。

【0038】

周波数成分分離工程（Ｓ４４）は、（Ｓ４３）で抽出されたヘモグロビン色素画像、メラニン色素画像及び陰影画像をそれぞれ、高周波成分が除去された低周波成分画像及びその高周波成分のみを含む高周波成分画像に分離する。（Ｓ４４）における空間周波数成分を分離する手法は、第１実施形態における（Ｓ２１）と同様である。ここまでの工程により、平均顔画像及び形状が規格化された各サンプル顔画像から、次のような低周波成分画像及び高周波成分画像がそれぞれ取得される。
−ヘモグロビン色素画像の高周波成分画像
−ヘモグロビン色素画像の低周波成分画像
−メラニン色素画像の高周波成分画像
−メラニン色素画像の低周波成分画像
−陰影画像の高周波成分画像
−陰影画像の低周波成分画像

【0039】

基底ベクトル取得工程（Ｓ４５）は、（Ｓ４４）で分離された、低周波成分画像及び高周波成分画像のそれぞれを主成分分析することにより、各低周波成分画像及び各高周波成分画像に関し、複数次の基底ベクトルをそれぞれ取得する。言い換えれば、顔画像分析装置１０は、平均顔画像及び全サンプル顔画像の各々から（Ｓ４４）の分離で得られる上述の６つの画像タイプの各々に対して主成分分析をそれぞれ行う。この主成分分析では、各サンプル顔と平均顔との各差分情報から固有ベクトル及び固有値がそれぞれ算出され、算出された固有ベクトル及び固有値から複数次の基底ベクトルが取得される。これにより、顔画像分析装置１０は、上述の６つの画像タイプに対応する６つの複数次の基底ベクトルを取得する。基底ベクトルの次数は、例えば、サンプル提供者の数に対応する。

【0040】

サンプル係数取得工程（Ｓ４６）は、（Ｓ４５）での主成分分析により、複数のサンプル顔画像の各々についての、複数次の基底ベクトルの重み係数をそれぞれ取得する。具体的には、顔画像分析装置１０は、各サンプル顔画像に関し、上述の６つの画像タイプに対応する６つの複数次の基底ベクトルの重み係数をそれぞれ取得する。

【0041】

分析対象基底次数選択工程（Ｓ４７）は、基底ベクトルの基底次数の中から分析対象となる基底次数（分析対象基底次数）を選択する。顔画像分析装置１０は、全ての基底次数を分析対象基底次数に設定してもよいし、次のように一部の基底次数を分析対象基底次数に設定してもよい。顔画像分析装置１０は、（Ｓ４６）で取得された、複数のサンプル顔画像の各々についての重み係数群と、各サンプル顔画像に関する指標値との関係を重回帰分析し、決定係数（Ｒ^２）に基づいて、基底ベクトルが持つ全基底次数の中から、分析対象基底次数を選択する。例えば、決定係数が所定値より大きい基底次数が分析対象基底次数に選択されてもよいし、決定係数の大きい基底次数から所定数の基底次数が分析対象基底次数に選択されてもよい。分析対象基底次数は、上述のように算出された６つの複数次の基底ベクトルの各々について別々に選択されてもよいし、共通に選択されてもよい。また、各サンプル顔画像に関する指標値は、サンプル提供者へのヒアリングや所定評価者による官能評価に基づいて予め収集され、内部反射光画像と共に顔画像分析装置１０により取得される。

【0042】

指標式算出工程（Ｓ４８）は、（Ｓ４７）で選択された分析対象基底次数に基づいて、（Ｓ４６）で取得された複数の重み係数の中から、複数の分析対象重み係数を選択し、選択された複数の分析対象重み係数と、複数のサンプル顔画像に関する複数の指標値との関係を重回帰分析することにより、重回帰式である顔画像指標式を推定する。即ち、顔画像指標式は、分析対象重み係数を説明変数とし、指標値を目的変数とする重回帰式である。（Ｓ４８）により、顔画像分析装置１０は、上述の６つの画像タイプに対応する６つの顔画像指標式を推定する。

【0043】

図５は、第２実施形態の顔画像分析装置１０における、対象顔画像を分析する動作の例を示すフローチャートである。以下、図５を用いて、第２実施形態における顔画像分析方法に含まれる上記第２工程について説明する。

【0044】

画像取得工程（Ｓ５１）は、被験者の顔全体が写る内部反射光画像を取得する。内部反射光画像の取得方法については図４の（Ｓ４１）と同様である。ここで取得される内部反射光画像には、被験者の顔全体が写っていればよく、背景や頭部以外の部位が写っていてもよく、分析の指標に応じて、内部反射光画像に写る被験者の顔は、素顔でも化粧を施した顔（化粧顔）でもよい。以降、（Ｓ５１）で取得された内部反射光画像は、（Ｓ５１）で取得された顔画像と表記される。

【0045】

規格化工程（Ｓ５２）は、（Ｓ５１）で取得された顔画像から、形状が規格化された対象顔画像を生成する。顔画像の形状の規格化手法は、基本的には、（Ｓ４２）と同様である。但し、（Ｓ５２）では、顔画像分析装置１０は、正規化された顔画像の形状を、（Ｓ４２）で生成された平均顔の形状に標準化する。

【0046】

独立成分分析工程（Ｓ５３）は、形状が規格化された対象顔画像に対して独立成分分析を行うことで、対象顔画像から、ヘモグロビン色素画像、メラニン色素画像及び陰影画像をそれぞれ抽出する。独立成分分析の手法については（Ｓ４３）と同様である。

【0047】

周波数成分分離工程（Ｓ５４）は、処理対象となる画像が対象顔画像である点以外、（Ｓ４４）と同様である。ここまでの工程により、形状が規格化された対象顔画像から、次のような低周波成分画像及び高周波成分画像がそれぞれ取得される。
−ヘモグロビン色素画像の高周波成分画像
−ヘモグロビン色素画像の低周波成分画像
−メラニン色素画像の高周波成分画像
−メラニン色素画像の低周波成分画像
−陰影画像の高周波成分画像
−陰影画像の低周波成分画像

【0048】

対数係数取得工程（Ｓ５５）は、（Ｓ５４）で分離された、低周波成分画像及び高周波成分画像に対する主成分分析により、対象顔画像に関する、複数次の基底ベクトルの重み係数を取得する。このとき、顔画像分析装置１０は、（Ｓ４５）で取得された上述の６つの画像タイプに対応する６つの複数次の基底ベクトルを用いて、主成分分析を行う。具体的には、顔画像分析装置１０は、（Ｓ４２）で生成された平均顔と対象顔画像との差分情報を取得し、この差分情報と（Ｓ４５）で取得された複数次の基底ベクトルとの内積を計算することにより、対象顔画像に関する、当該複数次の基底ベクトルの重み係数を取得することができる。これにより、顔画像分析装置１０は、対象顔画像に関し、上述の６つの画像タイプに対応する６つの複数次の基底ベクトルの重み係数をそれぞれ取得する。

【0049】

分析工程（Ｓ５６）は、（Ｓ４７）で選択された分析対象基底次数に基づいて、（Ｓ５５）で取得された複数の重み係数の中から複数の分析対象重み係数を選択し、選択された複数の分析対象重み係数と、（Ｓ４８）で算出された顔画像指標式とを用いて、上述の６つの画像タイプに対応する、対象顔画像の６つの指標値を推定する。具体的には、顔画像分析装置１０は、各画像タイプに対応する複数の分析対象重み係数を、各画像タイプに対応する顔画像指標式にそれぞれ適用することで、各画像タイプに対応する対象顔画像の指標値をそれぞれ推定する。

【0050】

図４及び図５では、サンプル提供者と被験者とが異なることが想定されたが、サンプル提供者の中に被験者が含まれていてもよい。即ち、複数のサンプル顔画像の中に対象顔画像が含まれてもよい。この場合、図５に示される（Ｓ５１）から（Ｓ５５）は、図４に示される（Ｓ４１）から（Ｓ４４）及び（Ｓ４６）に代替されるため、実行されなくてもよい。
〔装置構成〕
図６は、第２実施形態における顔画像分析装置１０の処理構成例を概念的に示す図である。第２実施形態における顔画像分析装置１０は、画像取得部２１、規格化処理部２２、独立成分分析部２３、周波数成分分離部２４、主成分分析部２５、回帰分析部２６、顔画像分析部２７等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４を介してインストールされ、メモリ３に格納されてもよい。

【0051】

顔画像分析装置１０は、図６に示される各処理部を用いて、次のように、図４及び図５に示される顔画像分析方法を実行することができる。画像取得部２１は、画像取得工程（Ｓ４１）及び（Ｓ５１）を実行する。規格化処理部２２は、規格化工程（Ｓ４２）及び（Ｓ５２）を実行する。独立成分分析部２３は、独立成分分析工程（Ｓ４３）及び（Ｓ５３）を実行する。周波数成分分離部２４は、周波数分離工程（Ｓ４４）及び（Ｓ５４）を実行する。主成分分析部２５は、基底ベクトル取得工程（Ｓ４５）、サンプル係数取得工程（Ｓ４６）及び対象係数取得工程（Ｓ５５）を実行する。回帰分析部２６は、分析対象基底次数選択工程（Ｓ４７）及び指標式算出工程（Ｓ４８）を実行する。顔画像分析部２７は、分析工程（Ｓ５６）を実行する。周波数成分分離部２４は、第１実施形態における周波数成分分離部１２に相当し、主成分分析部２５は、第１実施形態における対象係数取得部１４に相当し、顔画像分析部２７は、第１実施形態における分析部１８に相当する。

【0052】

〔第２実施形態における作用及び効果〕
顔全体の評価指標に影響を与える色ムラには、ソバカス、ホクロ、シミ（色素沈着）等のメラニン色素を要因とする色ムラと、ニキビ、頬の赤身等のヘモグロビン色素を要因とする色ムラとがある。よって、色ムラに関する指標を高精度に分析するためには、異なる要因毎に分析することが望ましい。例えば、顔の加齢変化を考えた場合、メラニン色素を要因とする色ムラと、ヘモグロビン色素を要因とする色ムラとでは、要因となる要素が異なるため、それぞれ異なる変化を示す可能性が高い。更に、顔全体の評価指標に影響を与える他の因子として、目元のしわ、ほうれい線、頬や顎のたるみ、頬のこけ等のような凹凸ムラがある。凹凸ムラは、陰影として顔画像に表われる。よって、凹凸ムラに関する指標を高精度に分析するためには、顔画像内において、上述のような色素成分とは分けて陰影成分を分析することが望ましい。

【0053】

そこで、上述のように第２実施形態では、平均顔画像及び形状が規格化された複数のサンプル顔画像並びに形状が規格化された対象顔画像に対して独立成分分析が適用され、平均顔画像及び各サンプル顔画像並びに対象顔画像から、ヘモグロビン色素画像、メラニン色素画像及び陰影画像がそれぞれ抽出される。更に、これら分離された各成分画像に対して、周波数成分分離が行われる。これにより、第２実施形態によれば、ヘモグロビン色素画像、メラニン色素画像及び陰影画像の抽出が行われない形態に比べて、顔全体における色素ムラ及び凹凸ムラを高精度に分析することができる。

【0054】

更に、第２実施形態では、分析の元となる顔画像として、内部反射光画像が利用される。これにより、処理対象となる顔画像に、表面反射光成分等の、色ムラ及び凹凸ムラの分析にとってのノイズ成分が含まれるのを防ぐことができ、結果として、内部反射光画像でない通常の顔画像が利用される形態に比べて、色ムラ及び凹凸ムラに関する分析精度を向上させることができる。

【0055】

また、第２実施形態では、上述のように得られるヘモグロビン色素画像、メラニン色素画像及び陰影画像に対して、主成分分析が適用されて、複数のサンプル顔画像に対する複数次の基底ベクトルが取得される。この基底ベクトルが利用されて、複数のサンプル顔画像の各々及び対象顔画像に関する、当該基底ベクトルの複数の重み係数がそれぞれ取得される。これにより、第２実施形態によれば、顔画像における、広帯域の空間周波数特性のみでなく、狭帯域の空間周波数特性を考慮することができ、ひいては、顔全体に広がる特徴、顔の微細な特徴及び個人的な特徴を網羅的に考慮して顔画像分析を行うことができる。

【0056】

更に、第２実施形態では、複数のサンプル顔画像の各々についての重み係数群と、各サンプル顔画像に関する指標値との関係の重回帰分析により、基底ベクトルが持つ全基底次数の中から、顔全体の評価指標に与える影響の大きい基底次数が、分析対象基底次数として選択される。そして、選択された分析対象基底次数の重み係数と、複数のサンプル顔画像に関する複数の指標値との関係を重回帰分析することにより、重回帰式である顔画像指標式が推定される。これにより、全ての基底次数を用いて顔画像指標式を得るのに比べて、効率的に顔画像指標式を得ることができる。

【0057】

第２実施形態では、複数のサンプル顔画像からこのように得られた基底ベクトル及び顔画像指標式、並びに、対象顔画像からこのように得られた重み係数群を用いて、各画像タイプ（ヘモグロビン色素画像、メラニン色素画像及び陰影画像と、高周波成分画像及び低周波成分画像との各ペア）に対応する対象顔画像の指標値がそれぞれ推定される。従って、第２実施形態によれば、顔全体の評価指標に影響与え得る色ムラ及び凹凸ムラの要因ごとの、顔全体に広がる特徴、顔の微細な特徴及び個人的な特徴が網羅的に反映された指標値を得ることができ、結果として、顔画像を用いて、顔全体の評価指標を高精度に分析することができる。

【0058】

［第３実施形態］
以下、第３実施形態における顔画像分析装置１０及び顔画像分析方法について、第１実施形態及び第２実施形態と異なる内容を中心に説明する。第１実施形態及び第２実施形態と同じ内容の説明は、適宜省略される。第３実施形態における顔画像分析装置１０のハードウェア構成は、図１に示される第１実施形態と同じである。

【0059】

〔動作例（顔画像分析方法）〕
以下、第３実施形態における顔画像分析方法を説明する。
第３実施形態における顔画像分析方法は、対象顔画像を分析する第２工程に含まれる分析工程において、対象顔画像を変調する点で、第２実施形態と異なる。

【0060】

図７は、第３実施形態における顔画像分析装置１０における、対象顔画像を分析する動作の例を示すフローチャートである。以下、図７を用いて、第３実施形態における顔画像分析方法に含まれる上記第２工程について説明する。但し、図７において、図５と同じ符号が付された工程（Ｓ５１）から工程（Ｓ５６）は、第２実施形態と同様である。第３実施形態における顔画像分析方法は、分析工程（Ｓ５６）に、目標取得工程（Ｓ７１）及び顔画像変調工程（Ｓ７２）を含む。

【0061】

目標取得工程（Ｓ７１）では、顔画像分析装置１０は、目標指標値を取得する。顔画像分析装置１０は、目標指標値を、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得してもよいし、入力部７を用いてユーザにより入力されたデータとして取得してもよいし、予め保持していてもよい。目標指標値とは、対象顔画像を変化させる目標となる指標値であり、例えば、被験者の実年齢３０歳に対して、４０歳が目標指標値に設定される。また、分析工程（Ｓ５６）で対象顔画像の見た目年齢２５歳が指標値として推定された場合、目標指標値として見た目年齢４５歳が取得される。取得される目標指標値は任意である。

【0062】

顔画像変調工程（Ｓ７２）では、顔画像分析装置１０は、当該顔画像指標式を用いて、目標指標値と対象顔画像の現指標値との差分に対応する複数の分析対象重み係数を算出し、かつ、算出された複数の分析対象重み係数により、対象顔画像のための複数の分析対象重み係数を更新することで、対象顔画像を変調し、変調顔画像を生成する。ここで、対象顔画像の現指標値には、評価指標が定量的指標である場合には、対象顔画像に写る被験者の定量的な指標値（例えば、実年齢）が利用されてよく、評価指標が顔印象のような定性的指標である場合には、分析工程（図５のＳ５６）で推定された指標値が利用されてもよい。また、対象顔画像の現指標値は、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得されてもよいし、入力部７を用いてユーザにより入力されてもよい。

【0063】

当該差分に対応する分析対象重み係数は、第２実施形態で説明した６つの画像タイプの各々の顔画像指標式に基づき、当該各画像タイプについてそれぞれ取得される。顔画像分析装置１０は、当該差分に対応する分析対象重み係数を、分析工程（Ｓ５６）で用いられる対象顔画像のための分析対象重み係数に加算又は減算し、更新された分析対象重み係数、及び、対象係数取得工程（Ｓ５５）で取得された分析対象基底次数以外の基底次数の重み係数と、当該複数次の基底ベクトルと、平均顔との線形和により、当該６つの画像タイプに対応する変調画像を生成する。続いて、顔画像分析装置１０は、その変調画像の中の、（Ｓ５４）で分離された周波数成分画像どうしをそれぞれ再合成する。この再合成は、例えば、（Ｓ５４）の分離処理の逆の処理を行うことで実現される。これにより、変調されたヘモグロビン色素画像、変調されたメラニン色素画像及び変調された陰影画像が得られる。

【0064】

顔画像分析装置１０は、上記再合成により得られた、変調されたヘモグロビン色素画像、変調されたメラニン色素画像及び変調された陰影画像を、再統合する。この再統合には、例えば、上記非特許文献１に記載される手法が利用される。具体的には、上記非特許文献１に記載される（式１０）におけるρ_ｍ（ｘ，ｙ）、ρ_ｈ（ｘ，ｙ）及びｐ^ｌｏｇ（ｘ，ｙ）に、変調されたヘモグロビン色素画像、変調されたメラニン色素画像及び変調された陰影画像を適用することにより、変調後の画像に対応するｃ^ｌｏｇ（ｘ，ｙ）が取得され、ｅｘｐ（ｃ^ｌｏｇ（ｘ，ｙ））×２５５を算出することにより、ＲＧＢ画像である変調後の顔画像が取得される。ここで得られる変調後の顔画像は、形状が規格化された内部反射光画像を変調した画像である。

【0065】

顔画像分析装置１０は、その変調後の顔画像に対して、規格化工程（Ｓ５２）の逆の処理を適用することにより、規格化される前の形状を持つ変調後の内部反射光画像を取得する。具体的には、顔画像分析装置１０は、除外された分析対象外領域（目、唇、眉等）を復元し、平均顔の形状から元の形状に復元する。

【0066】

図７の例では、目標取得工程（Ｓ７１）で１つの目標指標値が得られることが例示されたが、複数の目標指標値が取得され（Ｓ７１）、各目標指標値に対する変調後の顔画像がそれぞれ取得されてもよい（Ｓ７２）。

【0067】

〔装置構成〕
図８は、第３実施形態における顔画像分析装置１０の処理構成例を概念的に示す図である。第３実施形態における顔画像分析装置１０は、第２実施形態の構成に加えて、顔画像変調部２８を更に有する。顔画像変調部２８についても、他の処理部と同様に実現される。

【0068】

顔画像分析装置１０は、図８に示される各処理部を用いて、図４及び図７に示される顔画像分析方法を実行することができる。顔画像変調部２８は、目標取得工程（Ｓ７１）及び顔画像変調工程（Ｓ７２）を実行する。他の処理部については第２実施形態と同様である。

【0069】

第３実施形態では、第２実施形態における顔画像分析方法に、対象顔画像の変調が追加されたが、その分析工程（分析処理）における対象顔画像の指標値の推定を行うことなく、対象顔画像の変調が行われるようにしてもよい。この形態では、図８の顔画像分析部２７が不要となる。

【0070】

〔第３実施形態における作用及び効果〕
上述のように、第３実施形態では、目標指標値が取得され、元の対象顔画像が、この目標指標値に対応する顔画像に変調される。この顔画像変調では、サンプル顔画像を分析する第１工程で取得される顔画像指標式、基底ベクトル及び平均顔が利用され、当該第２工程の逆の手順が順次実行されることで、変調された対象顔画像が生成される。

【0071】

従って、第３実施形態によれば、第２実施形態で述べたような高精度な分析により得られる分析情報（基底ベクトル、顔画像指標式等）を用いて、対象顔画像を変調するため、目標指標値に対応する顔画像を高精度に生成することができる。即ち、第３実施形態によれば、現指標値から目標指標値への顔画像の変化を高精度に再現することができる。

【0072】

［上述の各実施形態の補足］
上述の各実施形態では、周波数成分分離処理において、顔画像から高周波成分画像と低周波成分画像とを抽出する例が示されたが、抽出される高周波成分画像及び低周波成分画像の数及び空間周波数の分離境界は制限されない。

【0073】

例えば、上記周波数成分分離工程（Ｓ５４）において、顔画像分析装置１０が、顔画像に対して、複数段階の２次元離散ウェーブレット変換を行うことにより、各段階について、対角低周波成分画像、対角高周波成分画像、水平方向高周波成分画像及び垂直方向高周波成分画像をそれぞれ生成するようにしてもよい。この場合、上記対象係数取得工程（Ｓ５５）において、顔画像分析装置１０は、対象顔画像のための複数の重み係数を、当該各段階の、対角低周波成分画像、対角高周波成分画像、水平方向高周波成分画像及び垂直方向高周波成分画像の各々について取得する。

【0074】

図９は、２次元離散ウェーブレット変換を用いた周波数成分分離処理の概念を示す図である。図９の例によれば、顔画像分析装置１０（周波数成分分離部２４）は、独立成分分析により抽出されるヘモグロビン色素画像、メラニン色素画像及び陰影画像を処理前の顔画像として、この処理前の顔画像に対して２次元離散ウェーブレット変換を行うことにより低周波成分画像及び高周波成分画像を生成する。２次元離散ウェーブレット変換では、画像の横方向（各行）に対して離散ウェーブレット変換が行われることにより、画像が横方向における高周波成分Ｈと低周波成分Ｌとに分離される。次に、分離された画像に対して、縦方向（各列）に離散ウェーブレット変換が行われることにより、画像が横方向及び縦方向においてそれぞれ分離される。１段階の２次元離散ウェーブレット変換により、処理前の顔画像は、対角低周波成分画像ＬＬ、対角高周波成分画像ＨＨ、水平方向高周波成分画像ＨＬ及び垂直方向高周波成分画像ＬＨに分離される。

【0075】

周波数成分分離処理において１段階の２次元離散ウェーブレット変換が行われる場合には、当該低周波成分画像として図９に示される画像ＬＬが抽出され、当該高周波成分画像として図９に示される画像ＨＬ、ＬＨ及びＨＨが抽出される。更に、周波数成分分離処理では、複数段階の２次元離散ウェーブレット変換が行われてもよい。２段階の２次元離散ウェーブレット変換によれば、当該低周波成分画像として図９に示される画像ＬＬ及びＬＬＬＬが抽出され、当該高周波成分画像として図９に示される画像ＨＨ、ＨＬ、ＬＨ、ＬＬＨＨ、ＬＬＨＬ及びＬＬＬＨが抽出される。

【0076】

上述の第２実施形態及び第３実施形態に置いて、２段階の２次元離散ウェーブレット変換が行われる場合、顔画像分析装置１０（主成分分析部２５）は、次のような２４個のタイプの各画像に対してそれぞれ主成分分析を行うことができる。但し、この場合でも、顔画像分析装置１０は、低周波成分画像ＬＬＬＬ、及び、高周波成分画像ＨＨに対してのみ、主成分分析を行うようにしてもよい。
−ヘモグロビン色素画像の低周波成分画像ＬＬＬＬ
−ヘモグロビン色素画像の低周波成分画像ＬＬ
−ヘモグロビン色素画像の高周波成分画像ＬＬＬＨ
−ヘモグロビン色素画像の高周波成分画像ＬＬＨＬ
−ヘモグロビン色素画像の高周波成分画像ＬＬＨＨ
−ヘモグロビン色素画像の高周波成分画像ＨＬ
−ヘモグロビン色素画像の高周波成分画像ＬＨ
−ヘモグロビン色素画像の高周波成分画像ＨＨ
−メラニン色素画像について８つの画像
−陰影画像について８つの画像

【0077】

ここで、２次元離散ウェーブレット変換の多重解像度解析によれば、元信号である画像（色素濃度分布）の次元（画素数）は、１段階あたり４分の１に減少する。即ち、処理前の顔画像の画素数が２６２１４４（＝５１２×５１２）である場合、１段階変換後の低周波成分画像ＬＬの画素数は、６５５３６（＝２５６×２５６）であり、２段階変換後の低周波成分画像ＬＬＬＬの画素数は、１６３８４（＝１２８×１２８）であり、３段階変換後の低周波成分画像ＬＬＬＬＬＬの画素数は、４０９６（＝６４×６４）である。ここで、低周波成分画像の一画素で表わされる肌領域が約４ｍｍ（ミリメートル）程度となる段階までの多重解像度解析が行われることが望ましい。更に多くの段階まで多重解像度解析を行ってもよいが、分解能が低下するため、処理効率が悪くなるからである。例えば、２６２１４４画素の画像に顔全体（１５から２５ｃｍ程度）が写っている場合、その画像は、画素当たり約０．５ｍｍの分解能を持ち、３段階変換後の画像は、約４ｍｍ程度の分解能を持つ。また、（１０２４×１０２４）画素の画像に顔全体が写っている場合には、４段階の２次元離散ウェーブレット変換を行えばよい。

【0078】

従って、顔画像分析装置１０（周波数成分分離部２４）は、顔画像の解像度（画素数）に基づいて、２次元離散ウェーブレット変換を行う段階数を決定するようにしてもよい。

【0079】

［変形例］
上述の第２実施形態及び第３実施形態では、内部反射光画像が取得され、形状が規格化された内部反射光画像に対して独立成分分析が行われ、独立成分分析により分離されたヘモグロビン色素画像、メラニン色素画像及び陰影画像に対して周波数成分分離処理が行われた。しかしながら、内部反射光ではなく、一般的な顔画像が取得され、形状が規格化された一般的な顔画像に対して独立成分分析が行われてもよいし、独立成分分析を行うことなく、形状が規格化された内部反射光画像に対して周波数成分分離処理を行うようにしてもよい。このような変形例では、第２実施形態及び第３実施形態に比べ、分析精度は落ちるものの、先行技術に比較しては有意な効果を得ることができる。

【0080】

また、評価指標が、テカリ成分等のような表面反射光で表わされる顔の特徴に由来するものである場合、内部反射光画像に代え、又は、内部反射光画像に加えて、表面反射光画像が取得され、形状が規格化された表面反射光画像に対して、上述のような処理が施されるようにしてもよい。この変形例によれば、テカリ成分等の他の成分を考慮して、顔全体の特徴解析及び顔画像操作を行うことができる。

【0081】

更に、上述の第２実施形態及び第３実施形態では、分析対象基底次数が選択されたが、処理速度は落ちるものの、全ての基底次数の重み係数を用いて重回帰分析を行うようにしてもよい。

【0082】

また、上述の第２実施形態及び第３実施形態では、当該６つの各画像タイプに対応する対象顔画像の指標値がそれぞれ推定されたが、対象顔画像の指標値が、或る統合された単位で推定されるようにしてもよい。例えば、顔画像分析装置１０は、高周波成分画像及び低周波成分画像に関する各指標値を統合して、メラニン色素画像、ヘモグロビン色素画像及び陰影画像の３タイプについて、対象顔画像の指標値をそれぞれ推定するようにしてもよい。更に、顔画像分析装置１０は、対象顔画像の１つの指標値を推定するようにしてもよい。

【0083】

以下に実施例を挙げ、上述の各実施形態を更に詳細に説明する。但し、上述の各実施形態は、以下の各実施例から限定を受けない。以下の各実施例により、上述の各実施形態の作用及び効果の正当性が証明される。

【実施例1】

【0084】

図１０は、３段階の２次元離散ウェーブレット変換（多重解像度解析）の結果を示す図である。図１１は、１段階の２次元離散ウェーブレット変換（多重解像度解析）の結果を示す図である。図１０及び図１１における元信号となる処理前の顔画像の画素数は、２６２１４４（＝５１２×５１２）である。但し、図１０及び図１１では、顔領域を明確に判断できるように、各周波数成分の画像に対してマスキング処理が施されている。

【0085】

図１０及び図１１に示すように、多重解像度解析により、顔画像が、高周波成分画像と低周波成分画像とに分離されている。図１１（ａ）で示されるように、低周波成分画像は、色素濃度分布の大局的な情報を表しており、図１１（ｂ）、（ｄ）及び（ｅ）に示されるように、高周波成分画像は、色素濃度分布の差分であるため、顔の局所的な色素濃度の変化を表している。即ち、高周波成分画像には、ほくろやそばかすといった微細な色ムラが含まれている。また、図１０に示されるように、多重解像度解析を多段階行うことで、より顕著に特徴量が分離され、低周波成分画像には、顔の色素濃度分布の微細な変化は含まれず、そのほとんどが高周波成分画像に含まれている。このように、図１０及び図１１によれば、３段階の多重解像度解析により、色素濃度分布の広範囲の変化と微細な変化の分離が可能であることが明らかとなる。

【0086】

図１２は、低周波成分画像に対する主成分分析の結果を示す図であり、図１３は、高周波成分画像に対する主成分分析の結果を示す図である。図１２及び図１３では、１７枚のサンプル顔画像が用いられたため、１６個の主成分（１６次の基底ベクトル）が得られた。

【0087】

図１２によれば、低周波成分の主成分では、顔全体又は顔の部位全体にわたる色ムラの特徴量が表現されている。図１３によれば、高周波成分での主成分では、微細な色ムラや個人の特徴が表現されている。例えば、図１３（ａ）の第１主成分のほくろ部分や、図１３（ｄ）の第４主成分の頬の部分等である。図１２及び図１３によれば、高周波成分の各主成分は、顔の微細な色ムラや個人独特の色ムラの特徴量を表現しているとみなすことができる。これにより、各周波数成分に対する主成分分析により、異なった種類の色素ムラの特徴量を得ることが可能であることが明らかとなり、更に、低周波数成分に対する主成分分析により、顔全体又は顔の部位全体にわたる色ムラの特徴量がより顕著に表現された主成分を得ることができることが明らかとなる。

【0088】

図１４は、メラニン色素画像の低周波成分画像のみを変調させた結果を示す図であり、図１５は、メラニン色素画像の高周波成分画像のみを変調させた結果を示す図である。図１４及び図１５の例では、実年齢が評価指標とされ、対象顔画像の現指標値が２４歳であり、２０歳、３０歳、４０歳及び５０歳の４つの目標指標値が設定され、各目標指標値に対応する変調顔画像がそれぞれ生成された。具体的には、３段階の離散ウェーブレット変換により得られる低周波成分画像を用いた重回帰分析により、実年齢を指標値とする顔画像指標式が取得され、この顔画像指標式を用いて、現指標値と各目標指標値との各差分に対応する分析対象重み係数がそれぞれ取得された。そして、各差分に対応する分析対象重み係数で更新された重み係数により、各目標指標値に対応する、変調された低周波成分画像がそれぞれ生成され、その変調された画像に対して逆２次元離散ウェーブレット変換を適用することで、各目標指標値に対応する、変調されたメラニン色素画像がそれぞれ生成された。その後、その再構成されたメラニン色素画像と、元のヘモグロビン色素画像及び元の陰影画像とを再合成することで、各年齢に対応する変調顔画像が生成された。

【0089】

図１４に示されるように、低周波成分のみを加齢変調させた結果、顔全体の肌色が黒く変色していく結果が得られた。つまり、顔全体のメラニン濃度の増加とみなせる結果が得られた。一方、図１５に示されるように、高周波成分のみを年齢変調させた結果、そばかすのような微細な色ムラが徐々に発生していく結果が得られた。つまり、局所的なメラニン濃度の増加とみなせる結果が得られた。これらの結果は、主成分分析で取得された各周波数成分の色ムラの特徴量の特性に依存し、その特性を変調により強調した結果に相当し、この変調結果は、十分に加齢変調とみなすことができる。このように、周波数成分分離工程（周波数成分分離処理）により、顔全体の色素ムラの特徴量を低周波成分に、顔の微細な色素ムラの特徴量を高周波成分に分離することが可能であることが明らかとなった。そして、各周波数成分で主成分分析及び重回帰分析を行うことで、各周波数成分の特徴を有した顔の見えの変化の再現が可能であることが明らかとなった。

【0090】

以下、上述の第２実施形態及び第３実施形態と同様の手法で、２０代から８０代の２０３名（女性：２０１名、男性：２名）のサンプル顔画像が分析された結果が示される。以下には、分析結果として、選択された分析対象基底次数が例示される。この例では、各色素成分画像に対して３段階の２次元離散ウェーブレット変換が行われ、各周波数成分画像に対する主成分分析により複数次の基底ベクトルの重み係数が算出された。そして、算出された各サンプル顔画像の重み係数群と指標値との関係の重回帰分析の結果に基づいて、決定係数（Ｒ^２）の大きい基底次数から順に、分析対象基底次数が選択された。以下には、実年齢が評価指標とされた場合と、若々しさの印象が評価指標とされた場合との結果が示される。

【0091】

ここでは、上述の結果の一部を抜粋して例示する。具体的には、メラニン色素画像に関し分離される下記の各周波数成分画像の中の、（タイプ１）、（タイプ２）、（タイプ３）、（タイプ４）及び（タイプ５）について、選択された分析対象基底次数が抜粋される。
（タイプ１）メラニン色素画像の低周波成分画像ＬＬＬＬＬＬ
（タイプ２）メラニン色素画像の低周波成分画像ＬＬＬＬ
（タイプ３）メラニン色素画像の高周波成分画像ＬＬＬＬＬＨ
（タイプ４）メラニン色素画像の高周波成分画像ＬＬＨＬ
（タイプ５）メラニン色素画像の高周波成分画像ＬＨ

【0092】

以下、抜粋された各タイプについて、決定係数が大きい順に、分析対象基底次数が列挙される。
評価指数（指標値）が実年齢の場合：
（タイプ１）１、６、３、１４、５、１３、１９、７、４６、１４８、４、１８１
（タイプ２）１、６、３、１３、５、１４、１９、１２６、７、２０、４、８１、９、３７
（タイプ３）３、４、９、１０、２０、２２、３８、４７、１７、１２４、６１、３５、１、１５６、８４、９３
（タイプ４）１、３、４、５、１７、８１、５０、１２、１５、５９、２７、６５、１２４、９４、４０、１８１、１９１、７４、１０３、３７、６１、１３、１８７、１５３、９
（タイプ５）３、６、７、２、３０、２５、７９、１２６、１７８、７０、１４、１１０、４９、３６、１０１、２３、１９３、５、８４、２９、１８９、１５３、４７、９、３１、１５６、１６２、５３、１２３、９１、２６、５８、９０、４４、１００、８７

【0093】

評価指数が若々しさの場合の分析結果の例としては、指標式算出工程（指標式算出処理）で得られた顔画像指標式の一部が抜粋され、示される。なお、以下に示す各タイプは、上述の評価指数（指標値）が実年齢の場合と同様である。

【数1】

【0094】

次に、表面反射光画像を用いる具体例を実施例２として、以下に説明する。

【実施例2】

【0095】

以下、実施例２における顔画像分析装置１０及び顔画像分析方法について、上述の内容とは異なる内容を中心に説明する。上述と同じ内容の説明は、適宜省略される。実施例２における顔画像分析装置１０のハードウェア構成は、図１に示される第１実施形態と同じである。

【0096】

〔動作例（顔画像分析方法）〕
以下、実施例２における顔画像分析方法を説明する。
図１６は、実施例２における顔画像分析装置１０の、サンプル顔画像を分析する動作の例を示すフローチャートである。以下、図１６を用いて、実施例２における顔画像分析方法に含まれる上記第１工程について説明する。

【0097】

画像取得工程（Ｓ１６１）は、各サンプル提供者の顔全体がそれぞれ写る複数の表面反射光画像を取得する。表面反射光画像とは、顔の肌表面での反射光成分を含む、サンプル提供者の顔画像である。表面反射光画像は、当該反射光成分のみを含んでもよいし、当該反射光成分と他の成分とを含んでもよい。顔画像分析装置１０は、上述の複数の表面反射光画像を、可搬型記録媒体、他のコンピュータ等から入出力Ｉ／Ｆ４を経由して取得してもよい。また、顔画像分析装置１０は、撮像装置（図示せず）を有する場合には、例えば、次のような方法で表面反射光画像を取得することができる。

【0098】

顔画像分析装置１０は、被験者の肌にＳ偏光を投射しＳ偏光及びＰ偏光を撮像して得られる各偏光画像から表面反射光画像を取得する。具体的には、顔画像分析装置１０は、Ｓ偏光を投射しＳ偏光を撮像して得られる偏光画像（Ｓ−Ｓ偏光画像）と、Ｓ偏光を投射しＰ偏光を撮像して得られる偏光画像（Ｓ−Ｐ偏光画像）との差分を取る。Ｓ−Ｓ偏光画像は、被験者の肌の表面反射光成分が強く、内部反射光成分が少ない画像であり、Ｓ−Ｐ偏光画像は、被験者の肌の内部反射光成分が強い画像である。よって、Ｓ−Ｓ偏光画像とＳ−Ｐ偏光画像との差分を得ることにより、表面反射光成分以外のノイズを更に抑えた表面反射光画像を取得することができる。また、顔画像分析装置１０は、Ｐ偏光を投射しＳ偏光を撮像して得られるＰ−Ｓ偏光画像と、Ｐ偏光を投射しＰ偏光を撮像して得られるＰ−Ｐ偏光画像とを更に用いて、表面反射光画像を取得するようにしてもよい。これにより、表面反射光成分以外のノイズを更に抑えた表面反射光画像を取得することができる。

【0099】

取得される表面反射光画像に写るものは、上述の内部反射光画像と同様である。以降、（Ｓ１６１）で取得された表面反射光画像は、単に、顔画像と表記される。

【0100】

規格化工程（Ｓ１６２）は、（Ｓ１６１）で取得された各顔画像から、形状が規格化された複数のサンプル顔画像及び平均顔画像を生成する。（Ｓ１６２）の処理内容は、処理対象が表面反射光画像となる点を除き、上述の（Ｓ４２）と同様である。

【0101】

周波数成分分離工程（Ｓ１６３）は、（Ｓ１６２）で生成された平均顔画像及び形状が規格化された複数のサンプル画像をそれぞれ、高周波成分が除去された低周波成分画像及びその高周波成分のみを含む高周波成分画像に分離する。実施例２では、（Ｓ１６３）の分離手法として、２次元離散ウェーブレット変換が用いられる。この変換には、例えば、Ｈａａｒウェーブレットが利用される。但し、利用されるウェーブレットは制限されない。以降、２次元離散ウェーブレット変換は、ウェーブレット変換と略称される場合もある。

【0102】

表面反射光画像は、顔全体の光沢（テカリ）と、毛穴やシワ等の凹凸ムラを表現するところ、高空間周波数成分に出現する凹凸ムラの特徴は、個人差が大き過ぎるため、主成分分析での抽出が難しい可能性がある。そこで、実施例２は、高周波成分画像の解像度を下げ、個人差を吸収したうえで、主成分分析で当該特徴を抽出する。具体的には、（Ｓ１６３）において、対角低周波成分画像（ＬＬ、ＬＬＬＬ等）だけでなく、高周波成分画像に対してもウェーブレット変換が適用される。高周波成分画像に対しても２次元離散ウェーブレット変換を適用することは新たな発想である。２次元離散ウェーブレット変換を用いた空間周波数成分の分離手法では、通常、図９に示されるように、対角低周波成分画像（ＬＬ、ＬＬＬＬ等）のみが２段階目以降の変換の対象とされるからである。

【0103】

図１７は、実施例２における２次元離散ウェーブレット変換の概念を示す図である。図１７の例では、２段階目のウェーブレット変換が、対角低周波成分画像ＬＬだけでなく、対角高周波成分画像ＨＨ、水平方向高周波成分画像ＨＬ及び垂直方向高周波成分画像ＬＨに対しても適用される。これにより、（Ｓ１６３）は、各高周波成分（ＨＬ、ＨＨ、ＬＨ）における各対角低周波成分画像（ＣＨ、ＣＤ、ＣＶ）をそれぞれ生成する。但し、（Ｓ１６３）は、各対角低周波成分画像（ＣＨ、ＣＤ、ＣＶ）の中のいずれか１つ又はいずれか２つを生成してもよい。

【0104】

ところが、各高周波成分における各対角低周波成分画像において、テカリや凹凸ムラの特徴情報が大幅に減少してしまう恐れがある。ウェーブレット変換で高周波成分画像の解像度を下げる過程において、隣接画素で正負情報として現れるエッジ情報が、正負の打ち消しあいにより、大幅に減少してしまう可能性があるからである。そこで、実施例２では、周波数成分分離工程（Ｓ１６３）において、絶対値計算（Ｓ１６４）が行われる。具体的には、（Ｓ１６４）は、１段階目の変換で得られる高周波成分画像に対して絶対値計算を行う。

【0105】

図１８は、実施例２における周波数成分分離処理の概念を示す図である。１段階目のウェーブレット変換により取得される各高周波成分画像では、図１８の折れ線グラフに示されるように、テカリや凹凸ムラが隣接画素の正負情報として出現する。このような各高周波成分画像に対してそのまま２段階目のウェーブレット変換を適用した場合、エッジ情報が、正負の打ち消しあいにより、大幅に減少してしまう可能性がある。そこで、実施例２は、１段階目の変換で得られた各高周波成分画像に対して絶対値計算（Ｓ１６４）を行う。このとき、符号が逆転した画素の符号情報を保持してもよい。（Ｓ１６３）は、その絶対値計算により得られる各高周波成分絶対値画像に対して２段階目のウェーブレット変換をそれぞれ適用することにより、高周波成分における各対角低周波成分画像を生成する。これにより、解像度低下の過程におけるテカリや凹凸ムラの特徴情報の減少を防ぐことができる。更に、その絶対値計算により符号が逆転した画素の符号情報を保持していれば、画像の再合成を行う際に、元の符号に回復させることができる。画像の再合成の詳細は後述する。

【0106】

（Ｓ１６３）で２段階のウェーブレット変換が行われる場合には、平均顔画像及び形状が規格化された各サンプル顔画像から、例えば、次のような低周波成分画像及び高周波成分画像がそれぞれ分離される。
−低周波成分画像＝低周波成分における対角低周波成分画像ＬＬ及びＬＬＬＬ
−高周波成分画像＝高周波成分における対角低周波成分画像ＣＨ、ＣＤ及びＣＶ
但し、画像ＨＬ、ＨＨ及びＬＨも高周波成分画像として利用することもできる。更に、図１７に示される画像ＬＬＨＬ、ＬＬＨＨ及びＬＬＬＨ、並びに、高周波成分における画像ＣＨ、ＣＨ及びＣＶ以外の高周波成分画像も高周波成分画像として利用してもよい。この場合、各高周波成分画像には絶対値計算が適用されることが望ましい。

【0107】

基底ベクトル取得工程（Ｓ１６５）は、（Ｓ１６３）で分離された、低周波成分画像及び高周波成分画像のそれぞれを主成分分析することにより、各低周波成分画像及び各高周波成分画像に関し、複数次の基底ベクトルをそれぞれ取得する。（Ｓ１６５）の処理内容は、上述の（Ｓ４５）と同様である。
以降、（Ｓ１６６）、（Ｓ１６７）及び（Ｓ１６８）の各処理内容は、上述の（Ｓ４６）、（Ｓ４７）及び（Ｓ４８）と同様である。

【0108】

図１９は、実施例２の顔画像分析装置１０における、対象顔画像を分析する動作の例を示すフローチャートである。以下、図１９を用いて、実施例２における顔画像分析方法に含まれる上記第２工程について説明する。

【0109】

画像取得工程（Ｓ１９１）は、被験者の顔全体が写る表面反射光画像を取得する。表面反射光画像の取得方法については図１６の（Ｓ１６１）と同様である。また、取得される表面反射光画像に写るものは、図５の（Ｓ５１）で取得された内部反射光画像と同様である。以降、（Ｓ１９１）で取得された表面反射光画像は、単に、顔画像と表記される。

【0110】

規格化工程（Ｓ１９２）は、（Ｓ１９１）で取得された顔画像から、形状が規格化された対象顔画像を生成する。顔画像の形状の規格化手法は、図５の（Ｓ５２）と同様である。

【0111】

周波数成分分離工程（Ｓ１９３）は、処理対象となる画像が対象顔画像である点以外、上述の（Ｓ１６３）と同様である。（Ｓ１９３）は、絶対値計算（Ｓ１９４）と共に、絶対値計算により符号が反転した画素の情報を保持すること（Ｓ１９５）を含む。（Ｓ１９５）で保持される情報は、符号が反転した画素の位置を示す情報のみであってもよいし、当該画素の位置と反転する前の符号を示す情報であってもよい。但し、後述の再合成を行わない場合には、（Ｓ１９５）は不要である。

【0112】

（Ｓ１９６）は、図５の（Ｓ５５）と同様である。
（Ｓ１９７）は、図５の（Ｓ５６）の処理内容に加えて、目標取得工程（Ｓ１９８）及び顔画像変調工程（Ｓ１９９）を含む。目標取得工程（Ｓ１９８）は、図７の（Ｓ７１）と同様である。

【0113】

顔画像変調工程（Ｓ１９９）では、顔画像分析装置１０は、（Ｓ１９８）で取得された目標指標値に応じて変調された対象顔画像を生成する。但し、実施例２では、顔画像分析装置１０は、更新された複数の分析対象重み係数を用いて対象顔画像を変調する際に、（Ｓ１９５）で保持された画素情報に基づいて、（Ｓ１９４）での絶対値計算により反転された符号を回復させて、変調顔画像を生成する。

【0114】

具体的には、顔画像分析装置１０は、図７の（Ｓ７２）と同様に、対象顔画像のための複数の分析対象重み係数を更新する。顔画像分析装置１０は、更新された分析対象重み係数、及び、対象係数取得工程（Ｓ１９６）で取得された分析対象基底次数以外の基底次数の重み係数と、当該複数次の基底ベクトルと、平均顔との線形和により、高周波成分及び低周波成分に関し、変調画像をそれぞれ生成する。顔画像分析装置１０は、２次元離散ウェーブレットの逆変換を行うことで、生成された変調画像を再合成する。当該逆変換の際に、顔画像分析装置１０は、（Ｓ１９４）での絶対値計算により反転された符号を回復させる。顔画像分析装置１０は、その変調後の顔画像に対して、規格化工程（Ｓ１９２）の逆の処理を適用することにより、規格化される前の形状を持つ変調後の表面反射光画像を取得する。具体的には、顔画像分析装置１０は、除外された分析対象外領域（目、唇、眉等）を復元し、平均顔の形状から元の形状に復元する。

【0115】

図１６及び図１９では、サンプル提供者と被験者とが異なることが想定されたが、サンプル提供者の中に被験者が含まれていてもよい。即ち、複数のサンプル顔画像の中に対象顔画像が含まれてもよい。この場合、図１９に示される（Ｓ１９１）から（Ｓ１９６）は、図１６に示される（Ｓ１６１）から（Ｓ１６４）及び（Ｓ１６６）に代替されるため、実行されなくてもよい。

【0116】

図２０は、実施例２における主成分分析の結果の一部を示す図である。図２０の例によれば、（Ｓ１９３）において、３段階の２次元離散ウェーブレット変換が行われる。具体的には、１段階目のウェーブレット変換により得られる対角高周波成分画像ＨＨ、水平方向高周波成分画像ＨＬ及び垂直方向高周波成分画像ＬＨに対して絶対値計算が行われた後、２段階目のウェーブレット変換は、その絶対値計算により得られるＨＨ、ＨＬ及びＬＨ、並びに、対角低周波成分画像ＬＬに対してそれぞれ適用される。３段階目のウェーブレット変換は、低周波成分における対角低周波成分画像ＬＬＬＬ、高周波成分における対角低周波成分画像ＨＨＬＬ、ＨＬＬＬ、ＬＨＬＬにそれぞれ適用される。図２０の例によれば、３段階のウェーブレット変換により、高周波成分画像として、画像ＣＨ、ＣＤ及びＣＶが原画像から分離される。但し、他の画像を高周波成分画像として利用することもできる。

【0117】

図２０には、分離された高周波成分画像ＣＨ、ＣＤ及びＣＶに対する主成分分析で得られた上位４つの主成分の画像がそれぞれ表されている。図２０に表される画像により、実施例２によれば、表面反射光画像の高周波成分からもテカリや凹凸ムラの特徴情報が抽出可能であることが示される。更に、当該画像を見ると、ＣＨ画像、ＣＶ画像及びＣＤ画像の各主成分により、次のような特徴情報がそれぞれ抽出可能なことが明らかとなった。水平方向の成分を含むＣＨ画像の主成分からは、主に、額のシワのような横方向の特徴情報が抽出可能である。垂直方向の成分を含むＣＶ画像の主成分からは、主に、顎や眉間のシワや頬の毛穴のような縦方向の特徴情報が抽出可能である。対角方向の成分を含むＣＤ画像の主成分からは、頬付近のシワのような斜め方向の特徴情報が抽出可能である。

【0118】

〔装置構成〕
図２１は、実施例２における顔画像分析装置１０の処理構成例を概念的に示す図である。実施例２における顔画像分析装置１０は、画像取得部３１、規格化処理部３２、周波数成分分離部３３、主成分分析部３４、回帰分析部３５、絶対値計算部３６、画素情報保持部３７、顔画像分析部３８、顔画像変調部３９等を有する。これら各処理部は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４を介してインストールされ、メモリ３に格納されてもよい。

【0119】

顔画像分析装置１０は、図２１に示される各処理部を用いて、次のように、図１６及び図１９に示される顔画像分析方法を実行することができる。画像取得部３１は、画像取得工程（Ｓ１６１）及び（Ｓ１９１）を実行する。規格化処理部３２は、規格化工程（Ｓ１６２）及び（Ｓ１９２）を実行する。周波数成分分離部３３は、２次元離散ウェーブレット変換を実行する。絶対値計算部３６は、１段階目のウェーブレット変換で得られる高周波成分画像に対して絶対値計算を行う。即ち、絶対値計算部３６は、（Ｓ１６４）及び（Ｓ１９４）を実行する。画素情報保持部３７は、絶対値計算部３６による絶対値計算で符号が反転した画素の情報を保持する（Ｓ１９５）。周波数成分分離部３３、絶対値計算部３６及び画素情報保持部３７は、（Ｓ１６３）及び（Ｓ１９３）を実行する。

【0120】

主成分分析部３４は、基底ベクトル取得工程（Ｓ１６５）、サンプル係数取得工程（Ｓ１６６）及び対象係数取得工程（Ｓ１９６）を実行する。回帰分析部３５は、分析対象基底次数選択工程（Ｓ１６７）及び指標式算出工程（Ｓ１６８）を実行する。顔画像分析部３８は、分析工程（Ｓ１９７）を実行する。顔画像変調部３９は、目標取得工程（Ｓ１９８）及び顔画像変調工程（Ｓ１９９）を実行する。

【0121】

上述のように、実施例２では、１段階目のウェーブレット変換により得られる高周波成分画像に対しても、２段階目以降のウェーブレット変換が適用される。実施例２は、このようにして高周波成分画像の解像度を下げることで、高空間周波数成分に出現するテカリ及び凹凸ムラの個人差を縮め、結果として、高周波成分画像からも、被験者の皮膚の表面の特徴情報を抽出可能とした。更に、実施例２では、高周波成分画像に対して絶対値計算が適用された高周波成分画像に対して、ウェーブレット変換が適用される。これにより、ウェーブレット変換を適用することでの、テカリ及び凹凸ムラの特徴情報の減少を抑制する。実施例２によれば、テカリ及び凹凸ムラ等の成分を考慮して、顔全体の特徴解析及び顔画像操作を行うことができる。

【0122】

更に、実施例２によれば、ウェーブレット変換により得られる方向別（水平方向、垂直方向及び対角方向）の高周波成分から、方向毎の特徴成分を抽出することもできる。これにより、実施例２によれば、テカリや凹凸ムラといった被験者の肌表面の特徴量を方向別に区別した状態で利用して、顔全体の評価指標を高精度に分析することができ、かつ、目標指標値に対応する顔画像を高精度に生成することができる。

【0123】

上述の実施例２では、分析工程（Ｓ１９７）に、目標取得工程（Ｓ１９８）及び顔画像変調工程（Ｓ１９９）を含めなくてもよい。この場合、分析工程（Ｓ１９７）は、低周波成分画像及び高周波成分画像の各々に対応する対象顔画像の指標値をそれぞれ推定することのみを行えばよい。この場合、顔画像分析装置１０は、顔画像変調部３９を持たなくてもよい。

【0124】

また、周波数成分分離工程（Ｓ１６３）及び（Ｓ１９３）で実行されるウェーブレット変換の段階数は、１段階のみであってもよい。この場合には、サンプル係数取得工程（Ｓ１６６）及び対象係数取得工程（Ｓ１９６）では、低周波成分画像ＬＬ、並びに、絶対値計算が適用された高周波成分画像ＨＨ、ＨＬ及びＬＨに対して、主成分分析が実行されることが望ましい。また、複数段階のウェーブレット変換が実行される場合で、かつ、高周波成分画像として、高周波成分における対角低周波成分画像以外の画像（ＨＨＨＬ、ＨＨＬＨ、ＨＬＨＬ等）が利用される場合には、その画像に絶対値計算を適用して得られた画像に対して主成分分析が実行されることが望ましい。

【0125】

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、工程の実行順序は、その記載の順番に制限されない。図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態、各変形例及び各実施例は、内容が相反しない範囲で組み合わせることができる。

【符号の説明】

【0126】

２ ＣＰＵ
３ メモリ
１０ 顔画像分析装置（分析装置）
１２ 周波数成分分離部
１４ 対象係数取得部
１８ 分析部
２１、３１ 画像取得部
２２、３２ 規格化処理部
２３ 独立成分分析部
２４、３３ 周波数成分分離部
２５、３４ 主成分分析部
２６、３５ 回帰分析部
２７、３８ 顔画像分析部
２８、３９ 顔画像変調部
３６ 絶対値計算部
３７ 画素情報保持部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】