特許 6872742 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6872742

(24)【登録日】2021年4月22日

(45)【発行日】2021年5月19日

(54)【発明の名称】顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20210510BHJP

【ＦＩ】

   G06T1/00 340A

【請求項の数】10

【全頁数】24

(21)【出願番号】特願2016-129615(P2016-129615)

(22)【出願日】2016年6月30日

(65)【公開番号】特開2018-5434(P2018-5434A)

(43)【公開日】2018年1月11日

【審査請求日】2019年4月10日

【前置審査】

(73)【特許権者】

【識別番号】801000027

【氏名又は名称】学校法人明治大学

(73)【特許権者】

【識別番号】000145862

【氏名又は名称】株式会社コーセー

(74)【代理人】

【識別番号】110001612

【氏名又は名称】きさらぎ国際特許業務法人

(72)【発明者】

【氏名】荒川 薫

(72)【発明者】

【氏名】築山 文彦

【審査官】 ▲広▼島 明芳

(56)【参考文献】

【文献】 特開２０１５−０８０６４７（ＪＰ，Ａ）

【文献】 特開２００１−１１８０６４（ＪＰ，Ａ）

【文献】 特開２００５−１９６２７０（ＪＰ，Ａ）

【文献】 特開２００６−０５３８２１（ＪＰ，Ａ）

【文献】 特開２００６−０５３８５２（ＪＰ，Ａ）

【文献】 特開２０１２−２３８１３５（ＪＰ，Ａ）

【文献】 荒川 薫，外１名，ε−分離型非線形フィルタバンクとその顔画像美観化への応用，電子情報通信学会論文誌 （Ｊ８８−Ａ） 第１１号，日本，社団法人電子情報通信学会，２０１５年１１月 １日，第J88-A巻，pp.1216-1225

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

顔画像を表す顔画像情報を入力し、前記顔画像情報から前記顔画像のしわ成分、しみ成分及び毛穴成分をそれぞれ抽出する成分抽出手段と、
この成分抽出手段で抽出されたしわ成分、しみ成分及び毛穴成分に対して各々の除去率をそれぞれ調整する除去率調整手段と、
前記除去率調整手段によって調整されたしわ成分の除去率、しみ成分の除去率及び毛穴成分の除去率を記憶する記憶手段と、
前記除去率調整手段によって調整された前記しわ成分の除去率、前記しみ成分の除去率及び前記毛穴成分の除去率によって各々増減したしわ成分、しみ成分及び毛穴成分を合成し顔画像を生成する合成手段と、
前記合成手段によって合成された顔画像情報を出力する出力手段とを備え、
前記出力手段から出力される顔画像情報は、前記しわ成分、しみ成分及び毛穴成分の除去率をそれぞれ異ならせて複数生成され、
前記出力手段は、複数生成された顔画像情報に基づく複数の候補顔画像を表示手段の表示画面上に表示し、
前記表示された複数の候補顔画像の中から、ユーザにより指定された所望の候補顔画像の選択指示及び最終的な候補顔画像の決定指示のうちのいずれか一つを受け付ける入力手段を更に有し、
前記入力手段によって前記候補顔画像の決定指示が受け付けられた場合に、前記最終的な顔画像情報と共に前記しわ成分、しみ成分及び毛穴成分の除去率を前記表示手段に表示する
ことを特徴とする顔画像処理システム。

【請求項2】

入力された画像情報に含まれる入力顔画像の目の領域、鼻の領域及び口の領域の少なくとも一つを除外した顔領域を示す前記顔画像を抽出する顔領域抽出手段を設けたことを特徴とする請求項１記載の顔画像処理システム。

【請求項3】

前記成分抽出手段は、
前記入力された前記顔画像を表す顔画像情報を、振幅−周波数空間にて第１の成分、第２の成分、第３の成分、第４の成分及び第５の成分に分割し、前記第４の成分を抽出するフィルタ手段と、
前記フィルタ手段によって抽出された前記第４の成分に基づいて、前記顔画像内のしわ成分、しみ成分及び毛穴成分を認識し、これら各成分の前記顔画像内における出現位置及び形状を判別する成分認識手段と
を備えたことを特徴とする請求項１又は２記載の顔画像処理システム。

【請求項4】

前記除去率調整手段は、前記しわ成分、しみ成分及び毛穴成分に対して重み付けを行って前記各成分の前記顔画像内での除去率を調整することを特徴とする請求項３記載の顔画像処理システム。

【請求項5】

前記合成手段は、前記記憶手段に記憶された除去率に基づく前記しわ成分、しみ成分及び毛穴成分に対応する第４の成分と、前記フィルタ手段によって分割された前記第１の成分、第２の成分、第３の成分及び第５の成分又は入力された前記顔画像情報とを合成することを特徴とする請求項３記載の顔画像処理システム。

【請求項6】

前記合成手段の後段に、
前記顔画像情報の輝度及び色情報の少なくとも一つが所定の範囲である肌色領域を抽出する肌色抽出手段と、
前記肌色抽出手段によって抽出された肌色領域内の肌色の色合いを変化させる色合調整手段とを有する顔色処理手段を備えた
ことを特徴とする請求項１〜５のいずれか１項記載の顔画像処理システム。

【請求項7】

前記入力手段によって前記候補顔画像の選択指示が受け付けられた場合に、選択された候補顔画像を表す顔画像情報に基づき前記成分抽出手段、前記除去率調整手段及び前記顔色処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段を更に備え、
前記成分抽出手段、前記除去率調整手段及び前記顔色処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記候補顔画像の決定指示が受け付けられるまで繰り返し行う
ことを特徴とする請求項６記載の顔画像処理システム。

【請求項8】

前記入力手段によって前記候補顔画像の決定指示が受け付けられた場合に、前記記憶手段は、決定された候補顔画像を表す顔画像情報を生成する前記パラメータを基準パラメータとして記憶する
ことを特徴とする請求項７記載の顔画像処理システム。

【請求項9】

成分抽出手段、除去率調整手段、記憶手段、合成手段及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、
前記成分抽出手段によって、入力された顔画像を表す顔画像情報から前記顔画像のしわ成分、しみ成分及び毛穴成分をそれぞれ抽出する工程と、
前記除去率調整手段によって、抽出されたしわ成分、しみ成分及び毛穴成分に対して各々の除去率をそれぞれ調整する工程と、
前記記憶手段によって、前記しわ成分の除去率、しみ成分の除去率及び毛穴成分の除去率を記憶する工程と、
前記合成手段によって、前記除去率を調整する工程にて調整されたしわ成分の除去率、しみ成分の除去率及び毛穴成分の除去率によって各々増減したしわ成分、しみ成分及び毛穴成分を合成し顔画像を生成する工程と、
前記出力手段によって、合成された顔画像情報を出力する工程とを備え、
前記出力手段から出力される顔画像情報は、前記しわ成分、しみ成分及び毛穴成分の除去率をそれぞれ異ならせて複数生成され、
複数生成された顔画像情報に基づく複数の候補顔画像を表示手段の表示画面上に表示し、
前記顔画像処理システムは、前記表示された複数の候補顔画像の中から、ユーザにより指定された所望の候補顔画像の選択指示及び最終的な候補顔画像の決定指示のうちのいずれか一つを受け付ける入力手段を更に有し、
前記入力手段によって前記候補顔画像の決定指示が受け付けられた場合に、前記最終的な顔画像情報と共に前記しわ成分、しみ成分及び毛穴成分の除去率を前記表示手段に表示する
ことを特徴とする顔画像処理方法。

【請求項10】

成分抽出手段、除去率調整手段、記憶手段、合成手段及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、
前記コンピュータに、
入力された顔画像を表す顔画像情報から前記成分抽出手段によって前記顔画像のしわ成分、しみ成分及び毛穴成分をそれぞれ抽出させるステップと、
抽出されたしわ成分、しみ成分及び毛穴成分に対して各々の除去率を前記除去率調整手段によってそれぞれ調整させるステップと、
前記記憶手段に前記しわ成分の除去率、しみ成分の除去率及び毛穴成分の除去率を記憶させるステップと、
前記除去率を調整させるステップにて調整された前記しわ成分の除去率、前記しみ成分の除去率及び前記毛穴成分の除去率によって各々増減したしわ成分、しみ成分及び毛穴成分を前記合成手段によって合成し顔画像を生成させるステップと、
合成された顔画像情報を前記出力手段によって出力させるステップとを実行させ、
前記出力手段から出力される顔画像情報は、前記しわ成分、しみ成分及び毛穴成分の除去率をそれぞれ異ならせて複数生成され、
複数生成された顔画像情報に基づく複数の候補顔画像を表示手段の表示画面上に表示し、
前記顔画像処理システムは、前記表示された複数の候補顔画像の中から、ユーザにより指定された所望の候補顔画像の選択指示及び最終的な候補顔画像の決定指示のうちのいずれか一つを受け付ける入力手段を更に有し、
前記入力手段によって前記候補顔画像の決定指示が受け付けられた場合に、前記最終的な顔画像情報と共に前記しわ成分、しみ成分及び毛穴成分の除去率を前記表示手段に表示する
ことを特徴とする顔画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顔画像情報を入力し画像処理を施して出力する顔画像処理システム、顔画像処理方法及び顔画像処理プログラムに関する。

【背景技術】

【0002】

人の顔画像を表す顔画像情報を入力し、この顔画像情報に対して画像処理を施して実際の顔画像とは異なって見えるように処理した顔画像を出力する顔画像合成装置が知られている（例えば、特許文献１参照）。この顔画像合成装置は、例えば次のように画像処理を行っている。

【0003】

顔画像合成装置は、複数人の顔画像からしみ又はしわを検出し、年齢又は年齢層に対応する年齢形状特徴を生成し、複数人のしみ又はしわから年齢又は年齢層に対応するしみモデル又はしわモデルを作成する。一方、対象者の顔画像からしみ又はしわを有しない顔形状が抽出され、この顔形状が年齢形状特徴に基づき変形される。

【0004】

また、しみモデル又はしわモデルのうち指定された年齢又は年齢層に対応するしみモデル又はしわモデルが変形された顔形状に合致するよう変形され、この変形されたしみモデル又はしわモデルが対象者の顔画像に適用される。このような処理により、対象者の顔形状を指定された年齢又は年齢層に対応する顔形状に年齢操作することができ、対象者の顔画像を所望の年齢又は年齢層に対応する自然な顔画像に年齢操作することができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４６８２３７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述した従来技術の顔画像合成装置では、複数人の顔画像に基づいて作製された年齢形状特徴やしみモデル又はしわモデルを、対象者の顔画像から抽出されたしみ又はしわのない顔形状に適用することで顔画像を合成している。このため、純粋に対象者が求めている理想とする自然な顔画像を提供しているとは言い難かった。

【0007】

本発明は、上記事情に鑑みてなされたもので、対象者にとって理想とする、より自然な顔画像を自在に生成することができる顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明に係る顔画像処理システムは、顔画像を表す顔画像情報を入力し、前記顔画像情報から前記顔画像のしわ成分、しみ成分及び毛穴成分を抽出する成分抽出手段と、この成分抽出手段で抽出されたしわ成分、しみ成分及び毛穴成分に対して各々の除去率を調整する除去率調整手段と、前記除去率を記憶する記憶手段と、前記除去率調整手段によって調整された除去率によって各々増減したしわ成分、しみ成分及び毛穴成分を合成し顔画像を生成する合成手段と、前記合成手段によって合成された顔画像情報を出力する出力手段とを備えたことを特徴とする。

【0009】

本発明の一実施形態においては、入力された画像情報に含まれる入力顔画像の目の領域、鼻の領域及び口の領域の少なくとも一つを除外した顔領域を示す前記顔画像を抽出する顔領域抽出手段を設ける。

【0010】

本発明の他の実施形態においては、前記成分抽出手段は、前記入力された前記顔画像を表す顔画像情報を、振幅−周波数空間にて第１の成分、第２の成分、第３の成分、第４の成分及び第５の成分に分割し、前記第４の成分を抽出するフィルタ手段と、前記フィルタ手段によって抽出された前記第４の成分に基づいて、前記顔画像内のしわ成分、しみ成分及び毛穴成分を認識し、これら各成分の前記顔画像内における出現位置及び形状を判別する成分認識手段とを備える。

【0011】

本発明の更に他の実施形態においては、前記除去率調整手段は、前記しわ成分、しみ成分及び毛穴成分に対して重み付けを行って前記各成分の前記顔画像内での除去率を調整する。

【0012】

本発明の更に他の実施形態においては、前記合成手段は、前記記憶手段に記憶された除去率に基づく前記しわ成分、しみ成分及び毛穴成分に対応する第４の成分と、前記フィルタ手段によって分割された前記第１の成分、第２の成分、第３の成分及び第５の成分とを合成する。或いは、合成手段は、前記記憶手段に記憶された除去率に基づく前記しわ成分、しみ成分及び毛穴成分と入力された前記顔画像情報（入力顔画像情報ｘ（ｎ））とを合成し得る。

【0013】

本発明の更に他の実施形態においては、前記合成手段の後段に、前記顔画像情報の輝度及び色情報の少なくとも一つが所定の範囲である肌色領域を抽出する肌色抽出手段と、前記肌色抽出手段によって抽出された肌色領域内の肌色の色合いを変化させる色合調整手段とを有する顔色処理手段を備える。

【0014】

本発明の更に他の実施形態においては、前記出力手段から出力される顔画像情報は複数生成され、前記出力手段は、複数生成された顔画像情報に基づく複数の候補顔画像を表示手段の表示画面上に表示し、前記表示された複数の候補顔画像の中から、ユーザにより指定された所望の候補顔画像の選択指示及び最終的な候補顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、前記入力手段によって前記候補顔画像の選択指示が受け付けられた場合に、選択された候補顔画像を表す顔画像情報に基づき前記成分抽出手段、前記除去率調整手段及び前記顔色処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを備え、前記成分抽出手段、前記除去率調整手段及び前記顔色処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記候補顔画像の決定指示が受け付けられるまで繰り返し行う。

【0015】

本発明の更に他の実施形態においては、前記入力手段によって前記候補顔画像の決定指示が受け付けられた場合に、前記記憶手段は、決定された候補顔画像を表す顔画像情報を生成する前記パラメータを基準パラメータとして記憶する。

【0016】

本発明に係る顔画像処理方法は、成分抽出手段、除去率調整手段、記憶手段、合成手段及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、前記成分抽出手段によって、入力された顔画像を表す顔画像情報から前記顔画像のしわ成分、しみ成分及び毛穴成分を抽出する工程と、前記除去率調整手段によって、抽出されたしわ成分、しみ成分及び毛穴成分に対して各々の除去率を調整する工程と、前記記憶手段によって、前記除去率を記憶する工程と、前記合成手段によって、前記除去率を調整する工程にて調整された除去率によって各々増減したしわ成分、しみ成分及び毛穴成分を合成し顔画像を生成する工程と、前記出力手段によって、合成された顔画像情報を出力する工程とを備えたことを特徴とする。

【0017】

本発明に係る顔画像処理プログラムは、成分抽出手段、除去率調整手段、記憶手段、合成手段及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、前記コンピュータに、入力された顔画像を表す顔画像情報から前記成分抽出手段によって前記顔画像のしわ成分、しみ成分及び毛穴成分を抽出させるステップと、抽出されたしわ成分、しみ成分及び毛穴成分に対して各々の除去率を前記除去率調整手段によって調整させるステップと、前記記憶手段に前記除去率記憶させるステップと、前記除去率を調整させるステップにて調整された除去率によって各々増減したしわ成分、しみ成分及び毛穴成分を前記合成手段によって合成し顔画像を生成させるステップと、合成された顔画像情報を前記出力手段によって出力させるステップとを実行させることを特徴とする。

【発明の効果】

【0018】

本発明によれば、対象者にとって理想とするより自然な顔画像を自在に生成することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の第１の実施形態に係る顔画像処理システムの全体構成を示すブロック図である。

【図2】同顔画像処理システムの演算手段の構成を示すブロック図である。

【図3】同顔画像処理システムの顔画像処理部の内部構成を示すブロック図である。

【図4】同顔画像処理システムの顔画像処理部における非線形関数の例を示す図である。

【図5】同顔画像処理システムの顔画像処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。

【図6】同顔画像処理システムの顔画像処理部におけるε−フィルタバンクの構成を示す図である。

【図7】同顔画像処理システムの顔画像処理部におけるε−フィルタバンクによる振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。

【図8】同顔画像処理システムの顔画像処理部に入力される顔画像情報により表される顔画像処理前の顔画像の例を示す図である。

【図9】同顔画像処理システムの顔画像処理部における成分認識部でのしわ成分、しみ成分及び毛穴成分の認識判別方法を説明するための図である。

【図10】同顔画像処理システムの顔画像処理部における成分認識部で判別された各成分を抽出表示した顔画像を示す図である。

【図11】同顔画像処理システムにおける表示画面上に表示された候補顔画像の表示態様を示す図である。

【図12】本発明の第２の実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。

【図13】同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。

【図14】本発明の第３の実施形態に係る顔画像処理システムの全体構成を示すブロック図である。

【図15】同顔画像処理システムの顔色処理部の内部構成を示すブロック図である。

【図16】同顔画像処理システムによる画像処理手順を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、添付の図面を参照して、本発明の実施の形態に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを詳細に説明する。ただし、以下の実施の形態は、各請求項に係る発明を限定するものではなく、また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らず、多くの変形が本発明の技術的思想の範囲内で当分野において通常の知識を有するものにより可能である。

【0021】

図１は、本発明の第１の実施形態に係る顔画像処理システムの全体構成を示すブロック図である。また、図２は、この顔画像処理システムの演算手段の構成を示すブロック図である。更に、図３は、この顔画像処理システムの顔画像処理部の内部構成を示すブロック図であり、図４はこの顔画像処理部における非線形関数の例を示す図である。

【0022】

図１に示すように、第１の実施形態に係る顔画像処理システムは、コンピュータやワークステーション等のハードウェアである演算手段２上で実現されるものである。また、顔画像処理システムは、入力手段１と、出力手段３と、記憶手段４とを備える。入力手段１は、数値や文字或いは各種の指示等の操作入力に用いられ得る複数の操作キーを有するキーボード、マウス、タッチパネル及びリモートコントローラ等の入力デバイス、並びにデジタルカメラやスキャナ等の画像情報を取得して入力する画像入力デバイスなどからなる。

【0023】

出力手段３は、各種の情報と共に顔画像情報に基づく顔画像を表示画面上に表示するディスプレイ等の画像出力デバイスや、顔画像情報に基づく顔画像を媒体上に印刷出力する画像印刷デバイスなどからなる。記憶手段４は、各種の情報やパラメータ等を格納するＲＡＭやＲＯＭと共にＳＳＤ、磁気ディスクドライブ、光ディスクドライブ、メモリカードなどの記憶デバイス及び記憶媒体からなる。

【0024】

一方、演算手段２は、図２に示すように、例えば入力された入力顔画像情報ｘ（ｎ）に含まれる対象者（ユーザ）の顔画像（以下、「対象顔画像」と呼ぶ。）を表す入力顔画像から、その目の領域、鼻（又は鼻孔）の領域及び口の領域の少なくとも一つ（以下、「除外領域」と呼ぶ。）を除外した顔領域を示す顔画像（以下、「顔領域画像」と呼ぶ。）を抽出する顔領域抽出部５として機能し得る。また、演算手段２は、入力顔画像と共にこの顔領域画像や除外領域を表す除外領域画像（画像データ）を入力し、これらに基づき各種画像処理を行う顔画像処理部１０としても機能し得る。

【0025】

まず、顔領域抽出部５は、入力顔画像情報ｘ（ｎ）の入力顔画像から、この顔画像に含まれる対象者の対象顔画像を認識する。入力顔画像情報ｘ（ｎ）は、例えばＢＭＰ，ＪＰＥＧ，ＧＩＦ，ＰＮＧ，ＲＡＷ等の画像フォーマットからなる。対象顔画像の認識には、例えばラプラシアンフィルタ等の輪郭検出フィルタを用いることができる。

【0026】

次に、顔領域抽出部５は、公知の顔部分特徴点抽出法等により、認識した対象顔画像を表す入力顔画像の除外領域を認識し、この除外領域を除外した顔領域画像を抽出する。なお、本実施形態では目の領域、鼻の領域及び口の領域を全て除外領域とするようにしている。このような除外領域は、しわ、しみ及び毛穴等の成分として抽出され得るが、予め入力顔画像から除外しておけば顔画像処理負荷が軽減されるからである。その他、除外領域は上記のもの以外にも、任意に設定することが可能である。そして、顔領域抽出部５は、例えば顔領域画像と共に除外領域画像を顔画像処理部１０に出力する。

【0027】

なお、顔領域抽出部５は顔画像処理システムに必須の構成ではないため、省略することも可能である。ただし、顔領域抽出部５を省略した場合は、後段の顔画像処理部１０における顔画像に関する処理のタスクが増加して負荷が増える場合がある。また、顔領域抽出部５にて除外領域を除外した場合であっても、図２及び図３に示すように、顔画像処理部１０において顔領域画像と共に除外領域画像が処理されるようにしてもよい。

【0028】

顔画像処理部１０は、図３に示すように、入力された入力顔画像と共に、顔領域抽出部５からの顔領域画像（及び除外領域画像）に基づいて、対象顔画像のしわ成分、しみ成分及び毛穴成分を抽出する成分抽出部１６を備える。また、この成分抽出部１６で抽出されたしわ成分、しみ成分及び毛穴成分に対する各々の除去率を調整する除去率調整部１３ａ，１３ｂ，１３ｃを有する成分調整部１３を備える。

【0029】

また、顔画像処理部１０は、成分調整部１３における各除去率調整部１３ａ〜１３ｃにおいて調整された除去率によって各々増幅或いは減衰したしわ成分、しみ成分及び毛穴成分を、入力顔画像、或いはその構造成分や所定成分、顔領域画像、除外領域画像等と共に合成し出力する顔画像（以下、「出力顔画像」と呼ぶ。）を生成する合成部１４を備える。なお、成分調整部１３における各除去率調整部１３ａ〜１３ｃの除去率は、入力手段１を介して対象者により選択又は指定され記憶手段４に記憶される。この除去率は、例えば正の値で増幅方向の、また負の値で減衰方向の各成分の表現（付加や除去）の割合を示している。また、合成部１４により合成された出力顔画像を表す出力顔画像情報ｙ（ｎ）は、出力手段３により出力される。

【0030】

顔画像処理部１０の成分抽出部１６は、入力された入力顔画像情報（ｘ（ｎ））を振幅−周波数空間において所定の成分に分割し抽出するフィルタ手段であるε−フィルタバンクＡ１１ａ及びε−フィルタバンクＢ１１ｂ（以下、特に明記しない限りこれらをまとめて「ε−フィルタバンク１１」と称する。）と、このε−フィルタバンク１１によって抽出された所定の成分に基づき、対象顔画像のしわ成分、しみ成分及び毛穴成分を判別して認識する成分認識部Ａ１２ａ及び成分認識部Ｂ１２ｂ（以下、特に明記しない限りこれらをまとめて「成分認識部１２」と称する。）とを備える。

【0031】

ε−フィルタバンク１１は、フィルタ手段として機能し、具体的には、入力顔画像情報ｘ（ｎ）を振幅−周波数空間にて、例えば顔画像の構造成分を示す第１の成分（ｙ１（ｎ））及び第２の成分（ｙ２（ｎ））、顔画像の肌の所定成分を示す第３の成分（ｙ３（ｎ））、第４の成分（ｙ４（ｎ））、並びに第５の成分（ｙ５（ｎ））に分割する。

【0032】

そして、本実施形態においては、ε−フィルタバンク１１は、第４の成分を抽出して成分認識部１２に出力すると共に、第１の成分、第２の成分、第３の成分及び第５の成分を合成部１４に出力する。成分認識部１２は、抽出され入力された第４の成分に基づいて、対象顔画像内のしわ成分、しみ成分及び毛穴成分を認識し、これら各成分の対象顔画像内における出現位置及び形状を判別する。

【0033】

具体的には、ε−フィルタバンクＡ１１ａは、入力顔画像情報ｘ（ｎ）から第４の成分を抽出して成分認識部Ａ１２ａに出力する。成分認識部Ａ１２ａは、第４の成分と共に顔領域画像を入力してしわ成分を上記のように認識して判別し、このしわ成分を出力する。また、ε−フィルタバンクＢ１１ｂは、加減算器６に入力された入力顔画像情報ｘ（ｎ）から成分認識部Ａ１２ａからのしわ成分を減じたものから更に第４の成分を抽出して成分認識部Ｂ１２ｂに出力する。成分認識部Ｂ１２ｂは、第４の成分と共に顔領域画像を入力してしみ成分と毛穴成分を上記のように認識して判別し、これらしみ成分及び毛穴成分を出力する。

【0034】

そして、後段の成分調整部１３の除去率調整部１３ａは、成分認識部Ａ１２ａから出力されたしわ成分に対して重み付けを行って、しわ成分の顔画像内での除去率を調整する。また、除去率調整部１３ｂは、成分認識部Ｂ１２ｂから出力されたしみ成分に対して重み付けを行って、しみ成分の顔画像内での除去率を調整する。更に、除去率調整部１３ｃは、成分認識部Ｂ１２ｂから出力された毛穴成分に対して重み付けを行って、毛穴成分の顔画像内での除去率を調整する。なお、重み付けは除去率調整方式の一例であるためこれに限定されるものではない。また、成分調整部１３にて調整された各々の除去率は、記憶手段４に記憶される。

【0035】

そして、合成部１４は、ε−フィルタバンク１１から出力された顔画像の構造成分である第１及び第２の成分（ｙ１（ｎ），ｙ２（ｎ））、第３の成分（ｙ３（ｎ））並びに第５の成分（ｙ５（ｎ））及び／又は入力顔画像情報ｘ（ｎ）を入力すると共に、記憶手段４に記憶された除去率に基づき成分調整部１３の各除去率調整部１３ａ〜１３ｃにおいて、例えば除去率によって各々増減して調整されたしわ成分、しみ成分及び毛穴成分を入力する。このように、合成部１４は、入力した第１、第２、第３、第５の成分、及び／又は入力顔画像情報ｘ（ｎ）と、しわ成分、しみ成分及び毛穴成分とを加算（合成）し得ると共に、例えば顔領域抽出部５で抽出された顔領域画像や除外された除外領域画像を加算（合成）して出力顔画像を生成し、この顔画像を表す出力顔画像情報ｙ（ｎ）を出力する。

【0036】

なお、ε−フィルタバンク１１は、より具体的にはε−分離型非線形フィルタバンクにより構成される。そして、フィルタ手段は、ε−フィルタバンク１１の他にも種々の非線形フィルタを用いたフィルタバンクにより構成し得る。ここで、まずはε−フィルタバンク１１で用いられるε−フィルタの原理について説明する。

【0037】

本実施形態に係る顔画像処理システムの顔画像処理部１０において、まず、例えばそれぞれ第ｎ時点における入力された入力顔画像情報を入力信号ｘ（ｎ）とし、出力される出力顔画像情報を出力信号ｙ（ｎ）とする。そして、ε−フィルタは、次式（１）からなる非再帰型低域通過フィルタに非線形関数Ｆを導入することにより実現され、次式（２）のように表される。

【0038】

【数1】

【0039】

【数2】

【0040】

なお、上記の式（１），（２）において、ａ_ｉは、総和が１なる非再帰型低域通過フィルタ係数であり、Ｆは図４に示すような非線形関数であって、その絶対値はある値ε以下に制限されている。このとき、入力信号ｘ（ｎ）と出力信号ｙ（ｎ）との差は、次式（３）のようにある値ε’以下に制限される。

【0041】

【数3】

【0042】

また、このとき、特に全てのａ_ｉが正とすると、ε’＝εである。振幅が十分小さな加法性高周波雑音が入力信号に含まれている場合は、εを雑音の振幅ピーク・ピーク値程度に設定すると、その雑音は上記の式（１）により表される低域通過フィルタで平滑される。また、出力信号は入力信号±ε以内となるので、大きな振幅変化を保ちながら雑音の除去を行うことが可能である。

【0043】

図５は、顔画像処理システムの顔画像処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。このようなε−フィルタでは、図示のように、出力信号ｙ（ｎ）としては入力における低周波数成分又は大振幅成分が得られ、それに対し振幅ε以下の小振幅高周波数成分は、ｘ（ｎ）−ｙ（ｎ）として得られる。

【0044】

したがって、ｘ（ｎ）−ｙ（ｎ）をｕ（ｎ）と表すと、このε−フィルタは、入力信号ｘ（ｎ）に対して、その振幅−周波数空間を図５（ａ）に示すように分ける。なお、通常の線形低域通過フィルタは、その振幅−周波数空間を図５（ｂ）に示すように分けるものに相当する。

【0045】

図６は、顔画像処理システムの顔画像処理部におけるε−フィルタバンクの構成を示す図である。上記のようなε−フィルタをフィルタバンク状に組み合わせると、その入力信号ｘ（ｎ）をその振幅−周波数に応じて複数の領域に分割することができる。ここで、図６に示すように、ε−フィルタバンク１１（１１ａ，１１ｂ）は、線形低域通過フィルタとε−フィルタとを組み合わせた構造からなる。

【0046】

このε−フィルタバンク１１において、図６に示すＬは線形低域通過フィルタであり、Ｅ１，Ｅ２，Ｅ３はε−フィルタである。これら各フィルタは二次元フィルタ、または水平・垂直方向一次元フィルタの組み合わせとし、ｎは二次元平面における画素の位置（ｉ，ｊ）を表すものとする。

【0047】

なお、各出力信号ｙ１（ｎ），ｙ２（ｎ），ｙ３（ｎ），ｙ４（ｎ），ｙ５（ｎ）の総和は入力信号ｘ（ｎ）に等しく、線形低域通過フィルタＬとε−フィルタＥ２の窓サイズは等しくｗ０とし、さらにε−フィルタＥ１，Ｅ３の窓サイズも等しくｗ１とすることができる。また、各ε−フィルタＥ１，Ｅ２，Ｅ３の値ε（これを順にε１，ε２，ε３とする。）は、ε１＞ε２＞ε３の関係にあるとすることができる。

【0048】

図７は、顔画像処理システムの顔画像処理部におけるε−フィルタバンクによる振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。また、図８は、顔画像処理システムの顔画像処理部に入力される顔画像情報により表される顔画像処理前の顔画像の例を示す図である。

【0049】

なお、図８以降の顔画像においては、画像内の両目部分を伏せた表示となっているが、実際には両目部分が表示されていてもよく、更に図示の例では上述した除外領域の部分も全て含んだ状態で表示がなされているものとする。上記のように構成されたε−フィルタバンク１１は、入力信号ｘ（ｎ）の振幅−周波数空間を、例えば図７に示すような各領域に分割する。

【0050】

また、図８に示すような入力顔画像３０を表す顔画像情報においては、例えば目、鼻、口、眉などの顔の主要部分（すなわち、目の領域、鼻の領域及び口の領域など）は、一般的に大振幅信号として表されることが知られている。また、顔のベース（構造）部分（例えば、頬など）は低周波数信号として表される。

【0051】

さらに、顔の肌のしわ（特に、小じわ）部分やしみ部分などの肌の美観を損ねる要因となり得る部分は、比較的小振幅で周波数が高い信号として表される。さらにまた、顔の肌の自然な凹凸である毛穴成分はより振幅の小さな高周波数信号として表される。そこで、本実施形態に係る顔画像処理システムの顔画像処理部１０において、ε−フィルタバンク１１は、入力信号ｘ（ｎ）を例えば図７に示すような振幅−周波数空間にて分割する。

【0052】

すなわち、ε−フィルタバンク１１は、入力信号ｘ（ｎ）を、顔画像の構造成分を示す第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）と、顔画像の肌の所定成分を示す第３の成分ｙ３（ｎ）、第４の成分ｙ４（ｎ）、第５の成分ｙ５（ｎ）とに分割する。

【0053】

そして、顔画像の肌の所定成分を示す第４の成分ｙ４（ｎ）を抽出する。なお、抽出した第４の成分ｙ４（ｎ）に基づき、例えばε−フィルタバンクＡ１１ａを通過した段階で元の入力顔画像３０から肌のしわ成分を抽出して表示することができるしわ成分抽出表示顔画像を構成（生成）し得る。また、ε−フィルタバンクＢ１１ｂを通過した段階で元の入力顔画像３０から肌のしみ成分及び毛穴成分をそれぞれ抽出して表示することができるしみ成分抽出表示顔画像及び毛穴成分抽出表示顔画像をそれぞれ表す顔画像情報を構築（生成）し得る。

【0054】

具体的には、図６に示したε−フィルタバンク１１において、線形低域通過フィルタＬ及びε−フィルタＥ１，Ｅ２，Ｅ３の窓サイズｗ０，ｗ１と、ε−フィルタＥ１，Ｅ２，Ｅ３の値ε１，ε２，ε３とを、それぞれ適切な値に設定する。そうすると、図７に示すように、第１及び第２の成分ｙ１（ｎ），ｙ２（ｎ）を顔の主要部分及びベース（構造）部分とし、第３の成分ｙ３（ｎ）、第４の成分ｙ４（ｎ）、第５の成分ｙ５（ｎ）を肌の所定成分とすることができる。

【0055】

ここで、窓サイズｗ０は第３の成分ｙ３（ｎ）と第１の成分ｙ１（ｎ）との周波数帯を分けるものとし、窓サイズｗ１は第３の成分ｙ３（ｎ）と第５の成分ｙ５（ｎ）との周波数帯を分けるものとする。また、ε−フィルタＥ１のεの値ε１は、第４の成分ｙ４（ｎ）の振幅（ピーク−ピーク）の最大値程度とし、ε−フィルタＥ２のεの値ε２は、第３の成分ｙ３（ｎ）の振幅（ピーク−ピーク）の最大値程度とし、ε−フィルタＥ３のεの値ε３は、第５の成分ｙ５（ｎ）の振幅（ピーク−ピーク）の最大値程度とする。

【0056】

このように構成されたε−フィルタバンクＡ１１ａにおいては、上述したように入力信号ｘ（ｎ）からの顔画像の主要部分及びベース（構造）部分を示す第１及び第２の成分ｙ１（ｎ），ｙ２（ｎ）は、分割された上で合成部１４に入力される。また、ε−フィルタバンクＡ１１ａにおいては、入力信号ｘ（ｎ）から顔画像の肌の所定成分を示す第３、第４及び第５の成分ｙ３（ｎ），ｙ４（ｎ），ｙ５（ｎ）が分割され、第４の成分ｙ４（ｎ）が抽出されて成分抽出部１６の成分認識部Ａ１２ａに入力されると共に、第３及び第５の成分ｙ３（ｎ），ｙ５（ｎ）は合成部１４に入力される。

【0057】

また、ε−フィルタバンクＢ１１ｂにおいては、上述したように加減算器６において入力顔画像からしわ成分を減じた入力信号ｘ（ｎ）からの顔画像の第１〜第５の成分ｙ１（ｎ）〜ｙ５（ｎ）は分割された上で、第１、第２、第３、第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ３（ｎ），ｙ５（ｎ）が合成部１４に入力されると共に、第４の成分ｙ４（ｎ）が抽出されて成分抽出部１６の成分認識部Ｂ１２ｂに入力される。

【0058】

成分認識部Ａ１２ａは、まず、入力された第４の成分ｙ４（ｎ）に基づいて、顔画像内のしわ成分を認識する。次いで、成分認識部Ｂ１２ｂは、入力された第４の成分ｙ４（ｎ）に基づいて、顔画像内のしみ成分及び毛穴成分を認識する。

【0059】

すなわち、これら各成分は、成分認識部１２において、例えば第４の成分ｙ４（ｎ）及び顔領域画像が構成する顔画像の全画素を走査して、輝度値がマイナスとなる黒色部分として認識される。そして、各成分として認識された部分は、例えばその部分の画素数の塊である画素集団（画素群）の面積及び画素の分散分布によって、毛穴成分、しみ成分、しわ成分と分けられ、これら各成分の顔画像内における出現位置及び形状が判別される。

【0060】

図９は、顔画像処理システムの顔画像処理部における成分認識部でのしわ成分、しみ成分及び毛穴成分の認識判別方法を説明するための図である。図９に示すように、例えば毛穴成分としみ成分との判別は、画素群の面積に基づき行われる。すなわち、黒色部分として認識された各成分のうち、毛穴成分としわ成分とを比較した場合、画素群の面積が図示のように比較的小さいものは毛穴成分と判別し、画素群の面積が図示のように比較的大きいものはしみ成分と判別する。

【0061】

一方、例えばしみ成分としわ成分との判別は、画素群の中心点からの分散分布の大きさに基づき行われる。すなわち、黒色部分として認識された各成分のうち、しみ成分としわ成分とを比較した場合、画素群の中心点Ｐ２からの分散分布が小さいものはしみ成分と判別し、画素群の中心点Ｐ１からの分散分布が大きいものはしわ成分と判別する。

【0062】

なお、しみ成分と判別された部分については、更に所定のしきい値等と比較することにより、例えば大きいしみ成分及び小さいしみ成分に分割するようにしてもよい。各成分の顔画像内における出現位置及び形状は、判別時に自動的に認識される。こうして認識判別された各成分を抽出表示した抽出表示顔画像は、次のようになる。

【0063】

図１０は、顔画像処理システムの顔画像処理部における成分認識部で判別された各成分を抽出表示した顔画像を示す図である。成分認識部１２にて各成分をそれぞれ抽出表示した顔画像を、例えば出力手段３の一つであるディスプレイの表示画面上に表示すると、各顔画像は次のように表示される。

【0064】

すなわち、しわ成分を抽出表示した「しわ画像」であるしわ成分抽出表示顔画像３０ａは、図１０（ａ）に示すようになる。また、毛穴成分を抽出表示した「毛穴画像」である毛穴成分抽出表示顔画像３０ｂは、図１０（ｂ）に示すようになる。更に、しみ成分を抽出表示した「しみ画像」であるしみ成分抽出表示顔画像３０ｃは、図１０（ｃ）に示すようになる。

【0065】

なお、図示は省略するが、上記各成分の認識判別の際の精度向上方法として、本実施形態の顔画像処理システムにおいては、次のような方法を採用し得る。まず、ε−フィルタバンクＡ１１ａとε−フィルタバンクＢ１１ｂとでパラメータを異ならせ、ε−フィルタバンクＢ１１ｂにより抽出される第４の成分ｙ４（ｎ）の方が低い周波数を含むようにする。そして、成分認識部Ａ１２ａと成分認識部Ｂ１２ｂとで、次のような処理を行う。

【0066】

すなわち、まず成分認識部Ａ１２ａでは、顔領域画像における処理対象領域において、（１）第４の成分ｙ４（ｎ）が所定のしきい値ＴＨ_１以下である画素を黒にし、それ以外の画素を白にする。次いで、（２）黒の画素の塊をラベリングする。そして、（３）ラベルＬの塊の画素数をｎ_Ｌとし、空間分散をｖ_Ｌとする。最後に、ｖ_Ｌ／ｎ_Ｌが所定のしきい値ＴＨ_２より大きければ、ラベルＬに対応する第４の成分ｙ４（ｎ）の信号をしわ成分として認識し、出現位置及び形状を判別してしわ成分を抽出する。これにより、入力顔画像からしわ成分を完全に抽出したしわ成分抽出表示顔画像を生成し得る。

【0067】

そして、しわ成分を抽出した顔画像を入力顔画像情報ｘ（ｎ）から差し引くことでしわ成分除去表示顔画像を生成することができ、例えばこれをε−フィルタバンクＢ１１ｂに入力して再解析を行う。その後、成分認識部Ｂ１２ｂでは、顔領域画像における処理対象領域において、（１）第４の成分ｙ４（ｎ）が所定のしきい値ＴＨ_３以下である画素を黒にし、それ以外の画素を白にする。次いで、（２）黒の画素の塊をラベリングする。そして、（３）ラベルＬの塊の画素数をｎ_Ｌとし、空間分散をｖ_Ｌとする。

【0068】

更に、（４−１）ｎ_Ｌが所定のしきい値ＴＨ_４より大きく、且つｖ_Ｌ／ｎ_Ｌが所定のしきい値ＴＨ_５より小さければ、ラベルＬに対応する第４の成分ｙ４（ｎ）の信号をしみ成分として認識し、出現位置及び形状を判別して、しみ成分を抽出する。これにより、入力顔画像からしみ成分を完全に抽出したしみ成分抽出表示顔画像を生成し得る。また、しみ成分を抽出した顔画像を入力顔画像情報ｘ（ｎ）から差し引くことでしみ成分除去表示顔画像を生成し得る。

【0069】

一方、（４−２）ｎ_Ｌが１以上であり且つ所定のしきい値ＴＨ_６より小さく、且つｖ_Ｌ／ｎ_Ｌが所定のしきい値ＴＨ_７より小さければ、ラベルＬに対応する第４の成分ｙ４（ｎ）の信号を毛穴成分として認識し、出現位置及び形状を判別して毛穴成分を抽出する。これにより、入力顔画像から毛穴成分を完全に抽出した毛穴成分抽出表示顔画像を生成し得る。また、毛穴成分を抽出した顔画像を入力顔画像情報ｘ（ｎ）から差し引くことで毛穴成分除去表示顔画像を生成し得る。

【0070】

このように、しわ成分を先に抽出した後にしみ成分及び毛穴成分を抽出するように処理すれば、各成分の認識判別の精度をより向上させることができ、各成分をより精度よく抽出表示した各抽出表示顔画像３０ａ〜３０ｃ等を生成することが可能となる。ただし、上述したようなしわ成分、しみ成分及び毛穴成分の認識・抽出順序は一例であるため、各成分の認識・抽出順は適宜変更することができる。

【0071】

こうして、成分認識部１２にて顔画像内の成分として認識判別されたしわ成分、しみ成分及び毛穴成分は、成分調整部１３に出力され、各除去率調整部１３ａ〜１３ｃにおいて例えば重み付けが行われて、顔画像内での除去率がそれぞれ調整される。成分調整部１３においては、例えば任意或いはランダムに各成分の除去率が調整され、その除去率が記憶手段４に記憶される。

【0072】

そして、除去率が調整されたしわ成分、しみ成分及び毛穴成分は合成部１４に入力され、この合成部１４において各成分の除去率によって各々増減したしわ成分、しみ成分、毛穴成分が、入力顔画像情報ｘ（ｎ）又は第１、第２、第３及び第５の成分と共に合成される。これにより、最終的にしわ成分、しみ成分及び毛穴成分の各成分が任意或いはランダムに除去率にしたがって表現（除去や付加）された複数の候補顔画像が生成される。なお、顔画像処理がスタートして最初に生成された複数の候補顔画像は、例えば第１世代の候補顔画像として、ディスプレイの表示画面上に表示され得る。

【0073】

図１１は、顔画像処理システムにおける表示画面上に表示された候補顔画像の表示態様を示す図である。図１１に示すように、表示画面上のウィンドウ枠２０内には、例えばしわ、しみ及び毛穴の各成分がランダムに表現された第１世代の複数（ここでは、１０個）の候補顔画像３１，３２，３３，３４，３５，３６，３７，３８，３９，４０が表示される。また、ウィンドウ枠２０の右端部には、パネル表示部２０ａが表示される。このパネル表示部２０ａには、例えばＯＫボタン２１，２２と、選択メッセージ表示欄２３ａ，２３ｂと、候補顔画像番号表示欄２５と、戻るボタン２６，２７とが表示される。候補顔画像番号表示欄２５には、候補顔画像３１〜４０に対応する番号１〜１０が表示される。また、選択メッセージ表示欄２３ａには、「１０枚の中から３枚を選んでください」というテキストメッセージが表示される。更に、選択メッセージ表示欄２３ｂには、「最終候補決定？」というテキストメッセージが表示される。

【0074】

なお、ユーザによって入力手段１の一つであるキーボードやマウス等を用いて選択枠２４又は候補顔画像番号表示欄２５によって選択された候補顔画像は、例えば選択枠２４によって囲まれた状態で表示されると共に、候補顔画像番号表示欄２５において該当する候補顔画像番号が丸囲み状態で表示される。すなわち、候補顔画像の選択は、マウス等によってユーザが選択枠２４を動かして選択するか、候補顔画像番号表示欄２５内の候補顔画像番号を選択するかにより行われる。図１１に示す例では、選択枠２４及び候補顔画像番号表示欄２５により、候補顔画像３３，３８，３９の３つがユーザに選択された状態であることが示されている。この状態で、ＯＫボタン２１を選択押下すると、候補顔画像３枚が選択されたこととなる。一方、選択枠２４等により最終的な候補顔画像を例えば１つ選択した状態でＯＫボタン２２を選択押下すると、最終的な候補顔画像が選択決定されたこととなる。なお、戻るボタン２６，２７は、前画面や前処理に戻る際に選択押下される。

【0075】

そして、ＯＫボタン２１を選択押下して候補顔画像の選択がなされると、ユーザによって選択された候補顔画像３３，３８，３９に基づいて、次世代の候補顔画像の生成が行われる。なお、この場合、成分抽出部１６における成分抽出処理、成分調整部１３における除去率調整処理などの各処理において用いられる上述した除去率のパラメータや、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３などの各種のパラメータは、例えば公知の遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：ＧＡ）を用いたインタラクティブ進化計算（ＩＥＣ）により最適値が設定され得る。

【0076】

なお、このような最適値の設定は、遺伝的アルゴリズムを用いたインタラクティブ進化計算によるものに限定されるものではなく、その他種々の計算方式で設定されてもよい。ここで、公知の遺伝的アルゴリズムを用いたインタラクティブ進化計算に基づく交叉処理及び突然変異処理について簡単に説明する。

【0077】

本実施形態の顔画像処理システムにおけるＧＡを用いたＩＥＣにおいては、まず前提として、例えば上記除去率のパラメータや、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３、その他の各種のパラメータを連結して二進数表現する。そして、連結したものを１つの染色とし、その染色体が１つの個体を表すものとする。

【0078】

次に、こうして表した個体に対してＧＡを適用する。まず、交叉処理については、選択された３つの候補顔画像３３，３８，３９について、例えばランダムに２つの画像を交叉することを複数回（ここでは、２回）行って、結果的に複数個（ここでは、４つ）の交叉後の候補顔画像を生成する。これにより、それぞれの画像の嗜好性（好み）を掛け合わせた交叉後の候補顔画像が生成される。なお、交叉後の候補顔画像は、本実施形態では第２世代（次世代）となる。

【0079】

次に、突然変異処理については、上記のように選択された３つの候補顔画像３３，３８，３９と共に交叉処理にて生成された４つの候補顔画像の中から、ウィンドウ枠２０内に表示される１０個の候補顔画像を揃えるべく、例えばランダムに選択された３つの候補顔画像におけるそれぞれの遺伝子配列の１点を変化させることを実行して、３つの突然変異後の候補顔画像を生成する。

【0080】

なお、突然変異処理は、次のような要求に応えるためにも必要である。すなわち、突然変異処理がなく交叉処理のみが行われて、その結果の候補顔画像のみがウィンドウ枠２０内に表示される場合は、仮に第１世代の候補顔画像３１〜４０の中にユーザの嗜好性（好み）に合致した顔画像が存在しないとしたら、第２世代において好みではない顔画像の組み合わせでの遺伝子交叉となってしまう。このような場合は、ユーザの嗜好性に近い顔画像を選択することができなくなるという不具合が発生してしまうこととなる。従って、このような不具合を防止するためにも、交叉処理と共に突然変異処理も行うべきものである。

【0081】

そして、このように交叉処理及び突然変異処理を経て生成された複数の候補顔画像は、第２世代（次世代）の候補顔画像として、第１世代（前世代）の中から選択された３つの候補顔画像３３，３８，３９と共に、出力手段３の一つであるディスプレイの表示画面上のウィンドウ枠２０内に表示される。

【0082】

こうして第２世代の候補顔画像が表示された後、例えば選択枠２４により、１つの候補顔画像をユーザが選択して選択メッセージ表示欄２３ｂの下方のＯＫボタン２２を選択押下すれば、最終候補を決定することができる。また、第２世代の候補顔画像の中から、上述したように再度３枚の候補顔画像を選択して選択メッセージ表示欄２３ａの下方のＯＫボタン２１を選択押下した場合は、更に次世代の候補顔画像が生成されて表示される。このように、表示画面上のウィンドウ枠２０内において表示された候補顔画像のうち、ユーザが嗜好性に合致したものを１つ決定した場合は、その決定した候補顔画像が最終的に出力される出力顔画像となる。

【0083】

なお、この場合、ユーザが最終的に１つ決定した候補顔画像は、例えば表示画面上の別のウィンドウ枠内にしわ、しみ及び毛穴の各成分の除去率と共に表示されてもよい。このとき、各成分の除去率と共に、最終的に決定された候補顔画像を表す顔画像情報を生成する各種のパラメータは、ユーザの基準パラメータとして記憶手段４に記憶され得る。一方、ユーザが嗜好性に合致したものを１つ決定しない場合は、上述したように繰り返し第３世代、第４世代と、候補顔画像が最終的に決定されるまで複数の候補顔画像の生成が繰り返され得る。

【0084】

このように、第１の実施形態に係る顔画像処理システムによれば、顔画像処理においてユーザの顔画像そのものに含まれるしわ成分、しみ成分及び毛穴成分の除去率を調整して顔画像を生成することができる。従って、ユーザにとって理想とする、より自然な顔画像を自在に生成することができる。

【0085】

なお、このような本実施形態の顔画像処理システムの活用法としては、例えば次のようなものが挙げられる。すなわち、一例として、本顔画像処理システムを化粧品販売店に導入する。そして、来店したユーザの素顔画像を表す顔画像情報を顔画像処理システムに入力する。

【0086】

その後、例えば（１）顔画像処理部１０によりユーザの好みのファンデーションの塗布済み顔画像を生成し、これらの顔画像を比較してしわ成分、しみ成分及び毛穴成分の各成分のファンデーションによる隠蔽効果を評価する。或いは、（２）異なるファンデーションの塗布済み顔画像を生成し、これらファンデーションの違いによる各成分の隠蔽効果や隠蔽性能を評価する。

【0087】

また、（３）ファンデーションの塗布済み顔画像における経時変化に伴う各成分の隠蔽効果や隠蔽性能の変化を確認し、時間経過による化粧もちを評価する。更には、これらの評価結果、及びそれに伴う顔画像情報や基準パラメータ等に基づいて、（４）新たなメイクアップ製品（ファンデーション、ＢＢ（Ｂｌｅｍｉｓｈ Ｂａｌｍ）、コンシーラ等のメイク製品）の開発を行う。

【0088】

そして、ファンデーション等の他、（５）各種のスキンケア製品のしわ、しみ、毛穴等各成分の改善効果等を評価する。このように、本顔画像処理システムは、例えば上記（１）〜（５）等に有効活用することもできる。次に、本顔画像処理システムにおいて実施される顔画像処理方法による画像処理手順について説明する。

【0089】

図１２は、本発明の第２の実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。また、図１３は、この顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。なお、以降においては、既に説明した部分や構成要素と同一又は相当する部分や構成要素については、同一の符号を付して説明を省略する場合がある。

【0090】

本実施形態に係る顔画像処理方法は、例えば予め用意された顔画像処理プログラムを顔画像処理システムのコンピュータ（演算手段２）にインストールして実行させることにより実現する。なお、このコンピュータは、ＣＰＵやＲＡＭ、ＲＯＭ、ＨＤＤ、ＳＳＤ等の各種演算装置や記憶装置（記憶手段４）を備える本体と、各種の情報を表示画面上に表示するディスプレイ（出力手段３）と、受け付けられた情報をＣＰＵ等に入力する入力インタフェース（入力Ｉ／Ｆ）及びキーボードやマウス等の入力装置（入力手段１）とを備えた一般的な構成により実現されている。以下、処理の主体は特に明記しない限りコンピュータであるとする。

【0091】

図１２に示すように、まず、図８に示すようなユーザの対象顔画像を含む入力顔画像の画像情報（画像データ）を入力Ｉ／Ｆを介して入力する（ステップＳ１００）。そして、入力された画像情報に基づき、コンピュータによって上述したような顔領域抽出処理（ステップＳ１０１Ａ）が行われる。これにより、除外領域が除外された顔領域画像を表す顔画像情報が生成される。なお、顔領域の抽出が行われない場合は、このステップＳ１０１Ａの顔領域抽出処理は省略される。

【0092】

次に、コンピュータによって、上述した成分抽出認識処理（ステップＳ１０１Ｂ）及び成分除去率調整処理（ステップＳ１０１Ｃ）が行われ、初期（第１世代）の複数の候補顔画像が生成され（ステップＳ１０２）、これらの候補顔画像をディスプレイ上に表示する（ステップＳ１０４）。

【0093】

ここで、初期の候補顔画像は、例えば上述したような各成分の除去率や、ｗ０，ｗ１，ε１，ε２，ε３等のパラメータなどの各種のパラメータ値や数値の組をランダムにＭ通り作成し、各種のパラメータ値や数値の組毎に１つの処理画像を求めることで、結果的にＭ個の出力画像（候補顔画像）を生成することで得られる。これらをディスプレイ上に表示すれば、ユーザはしわ成分、しみ成分及び毛穴成分の除去率がそれぞれ異なるＭ個の候補顔画像を視認することが可能となる。

【0094】

こうして表示された複数の候補顔画像の中から、例えばユーザが主観的に最も望ましいと思われるしわ、しみ及び毛穴の表示態様の最終的な顔画像が見つからなかった場合は、ユーザがマウス等の入力装置を利用して、例えばウィンドウ枠２０内の選択枠２４等により表示された候補顔画像を選択すること等により、所望のＳ個の候補顔画像の選択指示を行う。

【0095】

従って、コンピュータは、入力装置からの情報に基づき、最終的な顔画像が決定されたか否かを判断する（ステップＳ１０６）。最終的な顔画像の決定指示が受け付けられて出力する顔画像が決定された場合（ステップＳ１０６のＹｅｓ）は、その顔画像を表す顔画像情報をコンピュータにて生成する除去率やデータのパラメータを含む各種のパラメータを決定し（ステップＳ１０８）、この決定されたパラメータを基準パラメータとして記憶装置に記憶する（ステップＳ１０９）。そして、最終的な顔画像を表す顔画像情報を出力して（ステップＳ１１０）、本フローチャートによる一連の顔画像処理を終了する。

【0096】

なお、上記ステップＳ１１０における顔画像情報の出力は、画像データを他のコンピュータ等に対してデータ出力したり、ディスプレイ上に表示出力したり、紙面上に印刷出力したりする種々の出力形態が含まれる。また、上記の各種のパラメータや基準パラメータを記憶装置に記憶する際に、最終的な顔画像を表す顔画像情報と関連付けて記憶するようにすれば、最終的な顔画像を表す顔画像情報と共にこれらのパラメータも出力することができる。

【0097】

一方、上記ステップＳ１０６において、最終的な顔画像が決定されなかった場合（ステップＳ１０６のＮｏ）は、ＧＡを用いたＩＥＣを行って（ステップＳ１２０）、次世代の候補顔画像を複数生成する。その後、生成した複数の候補顔画像の各種のパラメータを記憶装置に一時的に記憶し（ステップＳ１３０）、次世代の候補顔画像を生成した上で（ステップＳ１３２）上記ステップＳ１０４に移行して次世代の候補顔画像を表示し、以降の処理を繰り返す。

【0098】

ここで、上記ステップＳ１２０におけるＩＥＣは、例えば図１３に示すように行われる。すなわち、上記ステップＳ１０６にて最終的な顔画像が決定されなかった場合は、ユーザによって所望の候補顔画像の選択指示がなされたことになるので、コンピュータはユーザにより指定された候補顔画像の選択を受け付ける（ステップＳ１２２）。そして、受け付けた候補顔画像に適用された各種のパラメータ値や数値に基づいて交叉処理（ステップＳ１２４）及び突然変異処理（ステップＳ１２６）を行う。

【0099】

すなわち、ＧＡを用いたＩＥＣにおいて、コンピュータは、例えば上述したようにディスプレイ上に表示された初期（前世代）のＭ個の候補顔画像（ステップＳ１０４）の中から、ユーザにより選択されたＳ個の候補顔画像（例えば、ステップＳ１０６のＮｏ及びＳ１２２）を表す顔画像情報に適用された各種のパラメータ値、すなわち、各成分の除去率や、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を再び連結して二進数表現の染色体とみなす。

【0100】

こうして、選択されたＳ個の個体に対して上述したような交叉処理（ステップＳ１２４）を行い、Ｔ１個の個体を新たに生成する。また、選択されたＳ個の個体と生成されたＴ１個の個体に対し、突然変異処理（ステップＳ１２６）を行い、新たにＴ２個の個体を生成する。これらＴ１個及びＴ２個の個体は、次期（次世代）の候補顔画像になる。なお、Ｓ個＋Ｔ１個＋Ｔ２個は例えばＭ個に等しい値とする。

【0101】

これら交叉処理及び突然変異処理で得られたＳ個＋Ｔ１個＋Ｔ２個の個体がそれぞれ示す各種のパラメータ値、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を用いて、候補顔画像を表す顔画像情報を生成する。すなわち、これによりＳ個＋Ｔ１個＋Ｔ２個の顔画像（候補顔画像）を出力し得ることとなる。

【0102】

こうして得られたＳ個＋Ｔ１個＋Ｔ２個の候補顔画像を再びディスプレイ上に表示し（ステップＳ１３０及びＳ１３２の後のステップＳ１０４）、ユーザが最も望ましいと主観的に思える顔画像があればそれを最終的な顔画像として決定し、そうでなければ再度所望の顔画像をＳ個選択させる。

【0103】

その後、再びコンピュータはＳ個の個体に基づいて交叉処理や突然変異処理を行う。このような処理を、ユーザが満足する最終的な顔画像が決定される（ステップＳ１０６のＹｅｓ）まで繰り返す。このように顔画像処理を行うことによって、しわ成分、しみ成分及び毛穴成分の表示態様をユーザの好みに近付けた、すなわちユーザにとって理想とするより自然な顔画像を生成することが可能となる。また、生成した顔画像を表す顔画像情報を各種のパラメータ値や数値、基準パラメータと共に種々の分野に有効利用することが可能となる。

【0104】

図１４は、本発明の第３の実施形態に係る顔画像処理システムの全体構成を示すブロック図であり、図１５は、この顔画像処理システムの顔色処理部の内部構成を示すブロック図である。また、図１６は、この顔画像処理システムによる画像処理手順を示すフローチャートである。第３の実施形態に係る顔画像処理システムは、上述した顔画像処理部１０の構成の一部に顔色処理部１５を備えた点が、顔画像処理部１０が顔色処理部１５を備えない構成の第１の実施形態に係る顔画像処理システムと相違している。

【0105】

顔色処理部１５は、図１４に示すように、合成部１４の後段に設けられている。この顔色処理部１５は、図１５に示すように、例えば合成部１４からの出力顔画像を表す顔画像情報の輝度及び色情報の少なくとも一つが所定の範囲である肌色領域を、出力顔画像から抽出する肌色抽出部１５ａと、抽出された肌色領域内の肌色の色合いを変化させる色合調整部１５ｂとを有して構成されている。

【0106】

ここで、色情報としては、例えばＲＧＢ値、ＣＭＹＫ値、ＣＩＥＬＡＢ（Ｌ＊ａ＊ｂ＊）値、マンセル表示値、ＣＩＥＸＹＺ値、フィルタで得られた濃度値や、分光画像、分光反射波形、或いは反射透過率、赤外波長、紫外波長又はＸ線波長などが挙げられる。例えば、Ｌ＊ａ＊ｂ＊表色系においては、Ｌ＊は明度を表し、色相と彩度をａ＊ｂ＊を使用して色調として表すことも可能である。

【0107】

なお、顔色処理部１５は、例えば予め記憶手段４に記憶された輝度及び色情報の少なくとも一つのパラメータの値が所定の範囲となる複数のプリセットパターンや、各種のパラメータ値を利用する。これら各プリセットパターンや各種のパラメータ値は、顔色処理部１５に格納されていてもよい。

【0108】

各プリセットパターンは、例えば人種別、性別、住環境（緯度、経度、地域）別、季節別、時刻別等に種類分けされて予め設定されている。そして、肌色抽出部１５ａは、例えばユーザが指定したプリセットパターンに基づいて、輝度及び色情報の少なくとも一つのパラメータの値がそのプリセットパターンで指定されている所定の範囲内となる肌色領域を抽出する。なお、肌色抽出部１５ａは、例えば入力された出力顔画像の顔領域全体の肌色領域を抽出する。

【0109】

また、色合調整部１５ｂは、肌色抽出部１５ａにより抽出された肌色領域内の色情報、例えば各画素の色相や輝度を、次式（４）及び（５）を用いて変化させる。なお、式中の変数Ｘ、Ｙは、それぞれ０≦Ｘ＜１６、０≦Ｙ＜１６の値を取り得る。

【0110】

【数4】

【0111】

【数5】

【0112】

すなわち、色合調整部１５ｂは、図１５に示すように、例えば肌色抽出部１５ａからの肌色領域のＲＧＢの色情報をＨＬＳ（ＨＳＬ）色空間に展開し、色相（Ｈ）を上記式（４）によって変更してｈ_ｏｌｄからｈ_ｎｅｗにする。また、輝度（Ｌ）を上記式（５）によって変更してＬ_ｏｌｄからＬ_ｎｅｗにする。そして、これら変更した色相（Ｈ）と輝度（Ｌ）を変更しなかった彩度（Ｓ）と合成して肌色領域のＲＧＢの色情報に変換し、色合いを調整した肌色領域のＲＧＢの色情報を含む出力顔画像を生成した上で、出力顔画像情報ｙ（ｎ）を出力する。

【0113】

なお、色合調整部１５ｂは、上記式（４）及び（５）を用いずに色合いを調整することもできるが、その場合はランダムに色が変化してしまう場合があるため、肌色領域の肌色が好ましくない肌色となるケースが確認されたため、好適ではない。そして、顔色処理部１５における顔色のデータや各処理のパラメータ値は、随時記憶手段４に記憶され顔色処理に利用され得る。

【0114】

こうして肌色領域内の肌色を変化させた出力顔画像を表す出力顔画像情報ｙ（ｎ）は、図１４に示す場合は図示しない出力手段３に出力される。なお、候補顔画像の生成・表示における肌色の変化については、例えばＧＡを用いたＩＥＣにより最終的な候補を決定するようにしてもよい。この場合は、ユーザが最終的に決定した候補顔画像の肌色が理想の顔色として、肌色を決定する各種のパラメータ値と共に顔色データとして記憶手段４に記憶される。

【0115】

この第３の実施形態に係る顔画像処理システムによる画像処理手順は、例えば図１６に示すようになる。すなわち、上述した第２の実施形態の画像処理手順において、ステップＳ１０１Ｃの除去率調整処理の後段に上述したような顔色処理部１５による顔色処理（ステップＳ１０１Ｄ）が行われる。これにより、初期の候補顔画像の生成時（ステップＳ１０２）には顔色（肌色領域の肌色）も変更させた候補顔画像を生成して、次のステップＳ１０４にて表示することが可能となる。

【0116】

このように、第３の実施形態に係る顔画像処理システムによれば、顔画像処理においてしわ、しみ及び毛穴成分の各成分の除去率を調整するのみならず、顔色を調整して顔画像を生成することができるので、よりユーザが理想とする自然な顔画像を自在に生成し出力することができる。なお、本実施形態の顔画像処理システムは、顔色処理部１５の処理をメインストリームとして動作するようにしてもよい。すなわち、第１の実施形態におけるしわ成分、しみ成分及び毛穴成分に関する処理は行わずに、顔色に関して種々の変化を見せる候補顔画像を生成するようにしてもよい。

【0117】

顔色の処理に特化した場合は、本実施形態の顔画像処理システムは、例えば化粧品販売店において、（１）ユーザの理想とする顔色の出力顔画像を表す顔画像情報から各種のパラメータ値や顔色のデータを取得して、これらにマッチングするファンデーションを検索したり、提供したりすることに活用することができる。また、このような各種のパラメータ値や顔色のデータを利用すれば、例えば（２）化粧品販売店のスタッフとのカウンセリング等を介さずとも、ユーザが直接インターネット上で自身の嗜好に合う化粧品等を検索したり購入したりすることができるようになる。

【0118】

そして、第３の実施形態に係る顔画像処理システムは、上記（１），（２）の活用の他、例えば全ての機能を利用可能に構成すれば、ユーザのしわ成分、しみ成分及び毛穴成分の各成分や肌色の輝度、色情報をユーザにとって理想化した顔画像を生成し出力することが可能な美顔化システムとして機能させることができる。

【0119】

例えば、このような美顔化システムをインターネット上で相互利用可能に構成すれば、上記のようなカウンセリングを受けられないような地域に居住するユーザ、言語が異なるユーザ、発音にハンディキャップのあるユーザ等の種々のユーザに対し、顔色、しわ、しみ、毛穴等を調整したユーザの理想とする顔とマッチングするような種々の化粧品を提案することが可能になる。

【0120】

更に、各種のパラメータ値やデータを利用することでユーザの理想の顔を作り上げるファンデーションを３Ｄプリンタで出力したり、これらのデータ等を完全オーダーメイドの化粧品を作製したりすることに利用することもでき、生成した理想とする顔画像に基づきユーザの顔に実際にメイクを施す３Ｄメイクアップ装置に適用することも可能となる。

【0121】

なお、第２の実施形態で説明した顔画像処理方法は、上記のように予め用意された顔画像処理プログラムをコンピュータで実行することにより実現することができるのみならず、ＨＤ、ＣＤ−ＲＯＭ、ＤＶＤ、メモリカード等のコンピュータで読み取り可能な記録媒体に記録された顔画像処理プログラムを、コンピュータにより読み出して実行することにより実現するようにしてもよい。顔画像処理プログラムは、インターネット等のネットワークを介して配布可能な伝送媒体であってもよい。

【0122】

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0123】

例えば、上述した実施形態においては、成分抽出部１６のε−フィルタバンク１１において抽出された肌の所定成分を示す第３、第４及び第５の成分ｙ３（ｎ），ｙ４（ｎ），ｙ５（ｎ）のうち、第４の成分ｙ４（ｎ）のみに基づいてしわ成分、しみ成分及び毛穴成分を認識・判別するように構成したが、これに限定されるものではない。

【0124】

すなわち、フィルタの窓サイズやフィルタ値を調整して、顔画像の肌の所定成分を示す第３〜第５の成分ｙ３（ｎ）〜ｙ５（ｎ）すべてを用い、例えば肌のしみ成分を第３の成分ｙ３（ｎ）で表し、肌のしわ成分を第４の成分ｙ４（ｎ）で表し、更に肌の自然な凹凸である毛穴成分を第５の成分ｙ５（ｎ）で表すように構成してもよい。

【0125】

この場合は、入力顔画像情報ｘ（ｎ）をε−フィルタバンク１１にて第１〜第５の成分ｙ１（ｎ）〜ｙ５（ｎ）に分割した後、顔画像の構造成分を示す第１及び第２の成分ｙ１（ｎ），ｙ２（ｎ）を合成部１４に出力すると共に、第３〜第５の成分ｙ３（ｎ）〜ｙ５（ｎ）を成分認識部１２に出力する。

【0126】

そして、成分認識部１２において、第３〜第５の成分ｙ３（ｎ）〜ｙ５（ｎ）に基づき、しみ成分、しわ成分及び毛穴成分を認識・判別し、成分調整部１３にて各成分の除去率を調整するようにすればよい。このような構成によっても、上述した実施形態と同様の作用効果を奏し、ユーザにとって理想とする、より自然な顔画像を自在に生成することが可能である。

【符号の説明】

【0127】

１ 入力手段
２ 演算手段
３ 出力手段
４ 記憶手段
５ 顔領域抽出部
１０ 顔画像処理部
１１ ε−フィルタバンク
１２ 成分認識部
１３ 成分調整部
１３ａ〜１３ｃ 除去率調整部
１４ 合成部
１５ 顔色処理部
１６ 成分抽出部
２０ ウィンドウ枠

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】