特許 5810384 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5810384

(24)【登録日】2015年10月2日

(45)【発行日】2015年11月11日

(54)【発明の名称】顔画像処理システム、顔画像処理方法及び顔画像処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20151022BHJP

【ＦＩ】

   G06T1/00 340A

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2011-105899(P2011-105899)

(22)【出願日】2011年5月11日

(65)【公開番号】特開2012-238135(P2012-238135A)

(43)【公開日】2012年12月6日

【審査請求日】2014年1月23日

【新規性喪失の例外の表示】特許法第３０条第１項適用 平成２３年３月１日 株式会社日本評論社発行の数学セミナー 第５０巻３号において発表

(73)【特許権者】

【識別番号】801000027

【氏名又は名称】学校法人明治大学

(74)【代理人】

【識別番号】100092820

【弁理士】

【氏名又は名称】伊丹 勝

(72)【発明者】

【氏名】荒川 薫

【審査官】 山内 裕史

(56)【参考文献】

【文献】 特開２０１０−０６６９４３（ＪＰ，Ａ）

【文献】 特開２００１−１１８０６４（ＪＰ，Ａ）

【文献】 鷲見 慎一郎，インタラクティブ進化計算を用いた顔画像陰影強調美観システム，電子情報通信学会２０１０年基礎・境界ソサイエティ大会講演論文集，日本，社団法人電子情報通信学会，２０１０年 ８月３１日，１７２ページ

【文献】 田尻 文雄，インタラクティブ進化計算を用いた顔画像強調美観化システム，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２００６年 ３月１５日，Ｖｏｌ．１０５ Ｎｏ．６７７，４３〜４７ページ

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

入力された顔画像を構成する入力顔画像情報を振幅−周波数空間にて顔の構造成分を示す低周波成分である第１の成分及び大振幅成分である第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す小振幅高周波成分である第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去するフィルタ手段と、
前記フィルタ手段によって抽出された第１の成分に対して輝度強調処理を施す輝度強調処理手段と、
前記フィルタ手段によって抽出された第２及び第５の成分に対して輪郭強調処理を施す輪郭強調処理手段と、
前記輝度強調処理手段によって輝度強調処理が施された第１の成分と、前記輪郭強調処理手段によって輪郭強調処理が施された第２及び第５の成分とを合成する合成手段と、
前記合成手段によって合成された顔画像を表す出力顔画像情報を出力する出力手段と
を備えたことを特徴とする顔画像処理システム。

【請求項2】

前記出力顔画像情報は複数生成され、
前記出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、
前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、
前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記フィルタ手段、前記輝度強調処理手段及び前記輪郭強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備え、
前記フィルタ手段、前記輝度強調処理手段及び前記輪郭強調処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
ことを特徴とする請求項１記載の顔画像処理システム。

【請求項3】

前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成する前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた
ことを特徴とする請求項２記載の顔画像処理システム。

【請求項4】

前記フィルタ手段は、ε−分離型非線形フィルタバンクにより構成され、
前記輝度強調処理手段は、シグモイド関数を用いて非線形勾配処理を行う
ことを特徴とする請求項１〜３のいずれか１項記載の顔画像処理システム。

【請求項5】

前記輝度強調処理手段は、非線形勾配処理によって前記第１の成分の明暗の差を強めて陰影を強調する
ことを特徴とする請求項１〜４のいずれか１項記載の顔画像処理システム。

【請求項6】

前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも１つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、
前記フィルタ手段、前記輝度強調処理手段、前記輪郭強調処理手段、及び前記合成手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す
ことを特徴とする請求項１〜５のいずれか１項記載の顔画像処理システム。

【請求項7】

前記出力手段は、前記合成手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部以外の領域と判断された顔画像情報とを合成して前記出力顔画像情報を出力する
ことを特徴とする請求項６記載の顔画像処理システム。

【請求項8】

フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す低周波成分である第１及の成分及び大振幅成分である第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す小振幅高周波成分である第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、
前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施す工程と、
前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施す工程と、
前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成する工程と、
前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力する工程とを備えたことを特徴とする顔画像処理方法。

【請求項9】

フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、
前記コンピュータに、
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す低周波成分である第１の成分及び大振幅成分である第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す小振幅高周波成分である第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、
前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施させるステップと、
前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施させるステップと、
前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成させるステップと、
前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力させるステップとを実行させる
ことを特徴とする顔画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、顔画像情報を入力し美観化処理を施して出力する顔画像処理システム、顔画像処理方法及び顔画像処理プログラムに関する。

【背景技術】

【0002】

従来より、人の顔画像を表す顔画像情報を入力し、この顔画像情報に対して例えば肌色を明るくしたり肌領域の平滑化を行ったりする美観化処理を施して、実際の顔画像よりも奇麗に見えるように処理した顔画像を出力することができるシステムが知られている（例えば、非特許文献１参照）。

【0003】

このシステムは、いわゆるε−フィルタバンクなる非線形ディジタルフィルタバンクにインタラクティブ進化計算（Ｉｎｔｅｒａｃｔｉｖｅ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔｉｎｇ：ＩＥＣ）を導入し、更にアンシャープマスキングによる画像強調フィルタを導入して顔画像の輪郭を強調し、画像全体のぼけを抑制するように構成されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】田尻文雄、松井喬志、荒川薫、野本弘平；「インタラクティブ進化計算を用いた顔画像強調美観化システム」、社団法人電子情報通信学会技術研究報告ＳＩＳ２００５−６７、ｐｐ．４３−４７、２００６年３月

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述した非特許文献１に開示されているシステムでは、顔画像の輪郭を強調して画像全体のぼけを抑制することはできるが、これと共に顔画像がはっきりし過ぎて場合によってはきつい感じに見られる顔画像が生成されてしまうという問題があった。

【0006】

この発明は、上述した従来技術による問題点を解消するため、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る顔画像処理システムは、入力された顔画像を構成する入力顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去するフィルタ手段と、前記フィルタ手段によって抽出された第１の成分に対して輝度強調処理を施す輝度強調処理手段と、前記フィルタ手段によって抽出された第２及び第５の成分に対して輪郭強調処理を施す輪郭強調処理手段と、前記輝度強調処理手段によって輝度強調処理が施された第１の成分と、前記輪郭強調処理手段によって輪郭強調処理が施された第２及び第５の成分とを合成する合成手段と、前記合成手段によって合成された顔画像を表す出力顔画像情報を出力する出力手段とを備えたことを特徴とする。

【0008】

本発明の一つの実施形態においては、出力顔画像情報は複数生成され、出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示する。そして、システムは、表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、入力手段によって出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づきフィルタ手段、輝度強調処理手段及び輪郭強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備える。フィルタ手段、輝度強調処理手段及び輪郭強調処理手段は、演算手段によって設定されたパラメータに基づく顔画像情報の生成を、入力手段によって出力顔画像の決定指示が受け付けられるまで繰り返し行う。

【0009】

前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた構成であっても良い。

【0010】

前記フィルタ手段は、ε−分離型非線形フィルタバンクにより構成され、輝度強調処理手段は、シグモイド関数を用いて非線形勾配処理を行うものでも良い。

【0011】

前記輝度強調処理手段は、例えば非線形勾配処理によって前記第１の成分の明暗の差を強めて陰影を強調する。これにより、顔画像の彫りを深くすることができる。

【0012】

前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも１つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、前記フィルタ手段、前記輝度強調処理手段、前記輪郭強調処理手段、及び前記合成手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す構成としても良い。このようにすれば、顔画像情報の処理対象領域を肌色領域部に対してのみと限定することができ、肌色領域部以外の顔画像領域への余計な影響を抑え、処理時間を短縮することができる。

【0013】

前記出力手段は、前記合成手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部以外と判断された顔画像情報とを合成して前記出力顔画像を出力するものでも良い。

【0014】

本発明の一態様に係る顔画像処理方法は、フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施す工程と、前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施す工程と、前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成する工程と、前記合成手段により合成された出力顔画像情報を前記出力手段によって出力する工程とを備えたことを特徴とする。

【0015】

本発明の一態様に係る顔画像処理プログラムは、フィルタ手段、輝度強調処理手段、輪郭強調処理手段、合成手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、前記コンピュータに、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、前記抽出された第１の成分に対して前記輝度強調処理手段によって輝度強調処理を施させるステップと、前記抽出された第２及び第５の成分に対して前記輪郭強調処理手段によって輪郭強調処理を施させるステップと、前記輝度強調処理が施された第１の成分と前記輪郭強調処理が施された第２及び第５の成分とを前記合成手段によって合成させるステップと、前記出力手段によって、前記合成手段により合成された出力顔画像情報を出力させるステップとを実行させることを特徴とする。

【発明の効果】

【0016】

本発明によれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。

【図2】同顔画像処理システムの画像情報処理部の構成における演算手段を示すブロック図である。

【図3】同顔画像処理システムの画像情報処理部における非線形関数の例を示す図である。

【図4】同顔画像処理システムの画像情報処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。

【図5】同顔画像処理システムのε−フィルタバンクの構成を示す図である。

【図6】同顔画像処理システムのε−フィルタバンクによる振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。

【図7】同顔画像処理システムの輝度強調処理に用いられる非線形関数の一例を示す図である。

【図8】同顔画像処理システムの輝度強調処理に用いられる非線形関数の一例を示す図である。

【図9A】同顔画像処理システムの顔画像処理前の顔画像を示す図である。

【図9B】比較例に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。

【図9C】他の比較例に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。

【図9D】他の比較例に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。

【図9E】本実施形態に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。

【図9F】同顔画像処理システムの顔画像処理による結果の顔画像を示す図である。

【図10A】図９Ｂの一部拡大図である。

【図10B】図９Ｅの一部拡大図である。

【図11】輝度値の測定ラインを示す図である。

【図12A】原画像の測定ラインにおける輝度値の測定値を示すグラフである。

【図12B】比較例１の測定ラインにおける輝度値の測定値を示すグラフである。

【図12C】比較例２の測定ラインにおける輝度値の測定値を示すグラフである。

【図12D】本実施形態の測定ラインにおける輝度値の測定値を示すグラフである。

【図13】図１２Ａ〜Ｄを重ねて示したグラフである。

【図14】図１３の一部拡大図である。

【図15】図１３の一部拡大図である。

【図16】本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。

【図17】同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。

【発明を実施するための形態】

【0018】

以下に、添付の図面を参照して、この発明に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムの実施の形態を詳細に説明するが、これらの実施形態に限定されるものではなく、多くの変形が本発明の技術的思想の範囲内で当分野において通常の知識を有するものにより可能である。

【0019】

図１は、本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。図２は、この顔画像処理システムの画像情報処理部を構成する演算手段２の構成を示すブロック図である。図３は、この画像処理部における非線形関数の例を示す図である。

【0020】

図１に示すように、顔画像処理システムは、コンピュータやワークステーション等のハードウェアである演算手段２上で実現されるものである。演算手段２は、例えば入力された顔画像を構成する入力顔画像情報（画像データ）に基づき各種画像処理を行う画像情報処理部として機能する。

【0021】

画像情報処理部は、例えば図２に示すように、入力された顔画像情報を振幅−周波数空間において所定の成分に分割し、抽出・除去するε−フィルタバンク１１（フィルタ手段）と、このε−フィルタバンク１１から出力された特定の成分に対して非線形処理の一種である非線形勾配処理による輝度強調処理を施す輝度強調処理部１２と、ε−フィルタバンク１１から出力された特定の成分に対して輪郭強調処理を施す輪郭強調処理部１３と、輝度強調処理部１２から出力された成分と輪郭強調処理部１３から出力された成分とを加算する加算器１４（合成手段）とを備えて構成されている。

【0022】

ε−フィルタバンク１１は、より具体的にはε−分離型非線形フィルタバンクにより構成される。また、輝度強調処理部１２は、より具体的にはシグモイド関数を用いた非線形勾配処理を行うシグモイド処理部（以下、「ＳＩＧＭ処理部」と略記する。）により構成される。

【0023】

なお、フィルタ手段としては、ε−フィルタバンク１１の他にも種々の非線形フィルタを用いたフィルタバンクにより構成することができる。また、輝度強調処理部１２は、シグモイド関数の他にも種々の非線形関数を用いた非線形勾配処理を行うように構成することができる。

【0024】

次に、ε−フィルタバンク１１で用いられるε−フィルタの原理について説明する。本実施形態に係る顔画像処理システムにおいて、それぞれ第ｎ時点における入力された顔画像情報を入力信号ｘ（ｎ）とし、出力される顔画像情報を出力信号ｙ（ｎ）とすると、ε−フィルタは、次式（１）からなる非再帰型低域通過フィルタに非線形関数Ｆを導入することにより実現され、次式（２）のように表される。

【0025】

【数1】

【0026】

【数2】

【0027】

上記式（１），（２）において、ａ_ｉは、総和が１なる非再帰型低域通過フィルタ係数であり、Ｆは図３に示すような非線形関数であって、その絶対値はある値ε以下に制限されている。このとき、入力信号ｘ（ｎ）と出力信号ｙ（ｎ）との差は、次式（３）のようにある値ε’以下に制限される。

【0028】

【数3】

【0029】

このとき、特に全てのａ_ｉが正とすると、ε’＝εである。振幅が十分小さな加法性高周波雑音が入力信号に含まれている場合は、εを雑音の振幅ピーク・ピーク値程度に設定すると、その雑音は上記式（１）により表される低域通過フィルタで平滑される。また、出力信号は入力信号±ε以内となるので、大きな振幅変化を保ちながら雑音の除去を行うことが可能である。

【0030】

図４は、顔画像処理システムの画像情報処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。このようなε−フィルタでは、出力信号ｙ（ｎ）としては入力における低周波数成分又は大振幅成分が得られ、それに対し振幅ε以下の小振幅高周波成分は、ｘ（ｎ）−ｙ（ｎ）として得られる。

【0031】

従って、ｘ（ｎ）−ｙ（ｎ）をｕ（ｎ）と表すと、このε−フィルタは、入力信号ｘ（ｎ）に対して、その振幅−周波数空間を図４（ａ）に示すように分ける。なお、通常の線形低域通過フィルタは、その振幅−周波数空間を図４（ｂ）に示すように分けるものに相当する。

【0032】

図５は、顔画像処理システムのε−フィルタバンクの構成を示す図である。上記のようなε−フィルタをフィルタバンク状に組み合わせると、その入力信号ｘ（ｎ）をその振幅−周波数に応じて複数の領域に分割することができる。従って、これをε−フィルタバンク１１として、図５に示すように構成することができる。ここで、図５に示すように、ε−フィルタバンク１１は、線形低域通過フィルタとε−フィルタとを組み合わせた構造からなる。

【0033】

このε−フィルタバンク１１において、Ｌは線形低域通過フィルタであり、Ｅ１，Ｅ２，Ｅ３はε−フィルタである。各フィルタは二次元フィルタ、または水平・垂直方向一次元フィルタの組み合わせとし、ｎは二次元平面における画素の位置（ｉ，ｊ）を表すものとする。なお、各出力信号ｙ１（ｎ）〜ｙ５（ｎ）の総和は入力信号ｘ（ｎ）に等しく、線形低域通過フィルタＬとε−フィルタＥ２の窓サイズは等しくｗ０とし、更にε−フィルタＥ１，Ｅ３の窓サイズも等しくｗ１とする。また、各ε−フィルタＥ１，Ｅ２，Ｅ３の値ε（これを順にε１，ε２，ε３とする。）は、ε１＞ε２＞ε３の関係にあるとする。

【0034】

図６は、顔画像処理システムのε−フィルタバンク１１による振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。このように構成されたε−フィルタバンク１１は、入力信号ｘ（ｎ）の振幅−周波数空間を図６に示すような領域に分割する。顔画像を表す顔画像情報においては、例えば目、鼻、口、眉などの顔の主要部分は一般的に大振幅信号として表されることが知られている。

【0035】

また、顔のベース部分（例えば、頬など）は低周波数信号として表され、顔のしわ（特に、小じわ）部分やしみ部分などの肌の美観を損ねる要因となる成分は、比較的小振幅で周波数が高い信号として表される。更に、顔の自然な凹凸成分はより振幅の小さな高周波数信号として表される。

【0036】

そこで、本実施形態に係る顔画像処理システムにおいては、ε−フィルタバンク１１は、入力信号ｘ（ｎ）を図６に示すような振幅−周波数空間にて分割する。すなわち、ε−フィルタバンク１１は、顔の構造成分を示す第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）と、顔の肌のしみ成分を示す第３の成分ｙ３（ｎ）と、顔の肌のしわ成分を示す第４の成分ｙ４（ｎ）と、顔の肌の自然な凹凸成分を示す第５の成分ｙ５（ｎ）とに分割する。

【0037】

そして、顔の構造成分を示す第１及び第２の成分（すなわち、ｙ１（ｎ），ｙ２（ｎ））並びに顔の肌の自然な凹凸成分を示す第５の成分（すなわち、ｙ５（ｎ））を抽出する。これと共に、顔の肌のしみ成分及びしわ成分に相当する振幅周波数成分（すなわち、第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ））のみを除去する。これにより、まず、ε−フィルタバンク１１を通過した段階で肌を滑らかに見せることができるような顔画像情報を構築する。

【0038】

具体的には、図５に示したε−フィルタバンク１１において、線形低域通過フィルタＬ及びε−フィルタＥ１，Ｅ２，Ｅ３の窓サイズｗ０，ｗ１と、ε−フィルタＥ１，Ｅ２，Ｅ３のεの値ε１，ε２，ε３とを適切な値に設定する。すると、図６に示すように、第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）を顔の主要部分及びベース部分とし、第３の成分ｙ３（ｎ）を肌のしみ成分及び第４の成分ｙ４（ｎ）を肌のしわ成分とし、第５の成分ｙ５（ｎ）を肌の自然な凹凸成分とすることができる。

【0039】

ここで、窓サイズｗ０は肌のしみ成分と顔のベース部分との周波数帯を分けるものとし、窓サイズｗ１は肌のしみ成分と肌の自然な凹凸成分との周波数帯を分けるものとする。また、ε−フィルタＥ１のεの値ε１は、除去すべき肌のしわ成分の振幅（ピーク−ピーク）の最大値程度とし、ε−フィルタＥ２のεの値ε２は、肌のしみ成分の振幅（ピーク−ピーク）の最大値程度、及びε−フィルタＥ３のεの値ε３は、肌の自然な凹凸成分の振幅（ピーク−ピーク）の最大値程度とする。

【0040】

このように構成されたε−フィルタバンク１１においては、上述したように入力信号ｘ（ｎ）から顔の肌のしみ及びしわ成分を示す第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ）が除去される。そして、出力される第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のうち、特定の成分である顔の構造成分を示す第１の成分ｙ１（ｎ）のみが輝度強調処理部１２に入力され、顔の構造成分を示す第２の成分ｙ２（ｎ）及び顔の肌の自然な凹凸成分を示す第５の成分ｙ５（ｎ）が輪郭強調処理部１３に入力される。

【0041】

顔の構造成分を示す第１の成分ｙ１（ｎ）のような顔の大まかな構造を表す成分が輝度強調処理部１２（例えば、ＳＩＧＭ処理部）にてコントラスト強調され、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）に対して輪郭強調処理部１３にて輪郭強調処理がなされて、これらの成分がその後合成されると、次のような顔画像を得ることができる。

【0042】

すなわち、ε−フィルタバンク１１を通過したことで肌を滑らかに見せることができるようになった顔画像情報が表す顔画像の奥行き感が、輝度強調処理部１２にて強調されて彫りの深い顔立ちを生成することができると共に、輪郭強調処理部１３にて顔の特徴成分が鮮明になり、更に明暗のグラデーションがなめらかになり、過度の輪郭強調がなされるのを抑制する。その結果、頬の影が自然な明暗で強調されて小顔化されて見える顔画像を生成することができる。

【0043】

次に、輝度強調処理部１２について詳細に説明する。輝度強調処理部１２で、コントラスト強調の度合いを調整できるようにするために、例えば顔構造成分ｕ（ｎ）を次式（４）のように変換する。

【0044】

【数4】

【0045】

なお、式（４）中ａは［０，１］のパラメータで、ａが大きい程コントラスト強調が強く施され、ａが０ならコントラスト強調は行われない。このコントラスト強調は、例えば顔構造成分ｕ（ｎ）に対して次に説明する非線形関数Ｆを用いることにより施すことができる。

【0046】

図７及び図８は、輝度強調処理部１２の非線形勾配処理に用いられる非線形関数Ｆの例を示す図である。図７は、非線形関数Ｆの一例として用いられるシグモイド関数Ｇ（ｙ）を示している。コントラスト強調における輝度の最大値を２５５とすると、第１の成分ｙ１（ｎ）を次式（５）によりｙ１’（ｎ）に置き換える。

【0047】

【数5】

【0048】

ここで、シグモイド関数Ｇ（ｙ）としては、具体的には、例えば次式（６）のようなものを用いることができる。

【0049】

【数6】

【0050】

こうして、輝度強調処理部１２にて非線形勾配処理が施された第１の成分ｙ１’（ｎ）と、ε−フィルタバンク１１により抽出された第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）を輪郭強調処理部１３にて輪郭強調処理した第２及び第５の成分ｙ２’（ｎ），ｙ５’（ｎ）の合成成分ｚ（ｎ）とを、加算器１４にて加算する。これにより、出力顔画像情報ｙ（ｎ）を得ることができる。

【0051】

なお、上記式（６）のγは、Ｇ（ｙ）がｙ＝０で０、ｙ＝２５５で２５５に近くなるような値として１／３０に設定しておく。

【0052】

また、非線形関数Ｆは、図７のシグモイド関数Ｇ（ｙ）のような曲線状ではなく、例えば図８に示すように、輝度が高いところについては顔のテカリを防止するために一部直線形とする関数などでも良い。上記の他にも種々の非線形関数を輝度強調処理部１２に用いることができる。

【0053】

演算手段２における画像情報処理部の出力信号により、上記のように入力顔画像と比べると顔の頬の影が強調されて小顔化されて見えると共に、過度の強調が抑えられてより奇麗に見える顔画像が生成される。なお、本実施形態に係る顔画像処理システムでは、輪郭強調処理部１３において、第２及び第５の成分に対して輪郭強調処理としてアンシャープマスキングを行い、顔画像の輪郭を鮮明にする（例えば、強調度合いのパラメータをαとした）処理が行われる。

【0054】

そして、各処理において用いられる上述した窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３、αやβなどの各パラメータは、例えば公知の遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：ＧＡ）を用いたインタラクティブ進化計算（ＩＥＣ）により最適値が設定される。

【0055】

ここで、アンシャープマスキングは、例えば輪郭強調処理部１３への入力信号ｙ（ｉ）（ｊ）に対して出力信号ｚ（ｉ）（ｊ）を得ることにより行われ、このときの画像強調フィルタとしては、次式（７）で表すものを用いることができる。なお、式（７）中のαは強調の程度を決めるパラメータである。

【0056】

【数7】

【0057】

図９Ａは、顔画像処理システムの顔画像処理前の顔画像を示す図である。図９Ｂ〜図９Ｄは、従来の顔画像処理システムの顔画像処理による結果の顔画像を示す図である。図９Ｅ及び図９Ｆは、本発明に係る顔画像処理システムの顔画像処理による結果の顔画像を示す図である。また、図１０Ａ及び図１０Ｂは、それぞれ図９Ｂ及び図９Ｅの一部拡大図である。なお、顔画像処理に用いられた原画像の大きさは２５６×２５６のＲＧＢ各８ビットのカラー画像であり、出力された結果もカラー画像であるが、図９Ａ〜Ｆにおいてはカラー画像をモノクロ画像に変更している。

【0058】

図９Ａは、顔画像処理システムに入力された顔画像情報により表される入力顔画像を示している。また、図９Ｂ〜図９Ｄは、比較のために従来例を示し、ε−フィルタバンク１１により抽出された第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のうち、輝度強調処理が施された第１の成分ｙ１’（ｎ）と第２及び第５の成分とを加算したものに、別途輪郭強調処理を施した結果の顔画像を示している。更に、図９Ｅ及び図９Ｆは、本実施形態にて説明したように輝度強調処理が施された第１の成分ｙ１’（ｎ）と輪郭強調処理が施された第２及び第５の成分とを加算した結果の顔画像を示している。

【0059】

図９Ｂ及び図９Ｄは、輪郭強調処理として弱いシャープニングを施したもので、図９Ｃは強いシャープニングを施し、さらに輝度強調処理として、図９Ｂ及び図９Ｃは強めの処理を、図９Ｄは弱めの処理をそれぞれ施したものである。一方、図９Ｅ及び図９Ｆは、輪郭強調処理として弱いシャープニングを施し、さらに輝度強調処理として、図９Ｅは強めの処理を、図９Ｆは弱めの処理をそれぞれ施したものである。

【0060】

図９Ｂ〜図９Ｄに示すように、第１の成分ｙ１（ｎ）に対して輝度強調を行い陰影を強めた後に、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）と合成したものに輪郭強調を施したものは、陰影が強調された上で輪郭強調がされている。このため、図９Ａに示すものよりも、図９Ｂの一部を拡大した図１０Ａ（ｂ）に示すように、下顎の部分などに陰影がくっきりと表れて若干不自然な感じが目立つようになった。また、図１０Ａ（ａ）に示すように、目の下のしわなども若干強調されすぎている感が否めなかった。すなわち、明暗のグラデーションがくっきりと際立ちすぎている印象の顔画像となった。

【0061】

これに対し、図９Ｅ及び図９Ｆに示すように、第１の成分ｙ１（ｎ）に対して輝度強調を行い陰影を強めると共に、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）に対してのみ輪郭強調を行い、これらを合成したものは、図１０Ｂ（ａ）に示すような目の下のしわや、図９Ｅの一部を拡大した図１０Ｂ（ｂ）に示すような下顎の部分などにおける明暗のグラデーションが図９Ｂ〜図９Ｄのものと比べてより滑らかになり、自然な感じの陰影が現われて柔らかい印象を与えつつも彫りが深くはっきりと引き締まって見える顔画像となった。これにより、小顔化された印象を与えることができるような顔画像となった。

【0062】

図１１は、しわＡ及び顎の線Ｂの輝度値の測定ラインＬ１を説明するための図である。図１２Ａは入力顔画像情報の原画像が示す顔画像のラインＬ１上における測定輝度値を示す図である。図１２Ｂは、入力顔画像情報に対して平滑処理のみを行った場合の比較例１の顔画像のラインＬ１上における測定輝度値を示す図である。図１２Ｃは、入力顔画像情報に対して輝度強調処理を施した第１の成分と第２及び第５の成分とを加算したものに輪郭強調処理を施した比較例２の顔画像のラインＬ１上における測定輝度値を示す図である。図１２Ｄは、図９Ｅに基づく本実施形態に係る顔画像処理システムにより生成した顔画像のラインＬ１上における測定輝度値を示す図である。また、図１３は図１２Ａ〜図１２Ｄの横軸の３７から１６３までを抽出し、一つにまとめて示した図であり、図１４は図１２Ｃと図１２Ｄの横軸の５３から８９までを抽出し、一つにまとめて示した図であり、図１５は、図１２Ｃと図１２Ｄの横軸の１１９から１４５までを抽出し、一つにまとめて示した図である。

【0063】

なお、図１２Ａ〜図１２Ｄにおいては、縦軸の値が小さいほど暗いことを示しており、最大輝度値は２５５となっている。

【0064】

図１２Ｃ及び図１２Ｄのような輝度強調を行うと、輝度値の中央の値である１２７．５以下の値はより小さく、それよりも大きな値はより大きくなり、図１２Ａ及び図１２Ｂと比較して陰影が強調されることが判明した。また、図１２Ｃのような輝度強調を行うと、図１２Ｄに示す本実施形態と比較して、図１３中Ｃ、Ｄ、Ｅで示すような輝度値の変化部においては変化が急峻なものとなった。これは、明るい領域から急に暗い領域に変化することを意味し、図１２Ｃでは顔画像の明暗の境が際立つこととなる。

【0065】

特に、図１２Ｃに示す場合では、ラインＬ１上におけるしわＡの振幅が大きいためにしわＡが目立つと共に、ラインＬ１上における顎の線Ｂの前後で輝度が急峻に変化するために顎の線の付近の影がくっきりと現われる顔画像となった。このような現象は、図１２Ｃにおける顔画像処理が顔の大まかな構成成分である第１の成分ｙ１（ｎ）を輝度強調して明暗の差を大きくした結果に対して第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）を加算したものを輪郭強調したことによるものである。

【0066】

これに対し、図１２Ｄに示すような本実施形態に係る顔画像処理システムにより生成された顔画像では、図１４及び図１５に示すように、顎の線Ｂの部分やしわＡの部分のみならず、図１３に示すように上記Ｃ、Ｄ、Ｅで示すような輝度値の変化部においても振幅が小さく変化が急峻ではないために、過度の強調を抑えつつも顔画像の陰影を強調して引き締まって見える顔画像を生成可能であることが判明した。

【0067】

このように、本実施形態に係る顔画像処理システムによれば、入力された顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えつつも、過度の強調を抑制した顔画像を生成することができる。これにより、実際の顔画像（入力顔画像）よりもより奇麗に見える顔画像を出力することができる。

【0068】

図１６は、本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。図１７は、同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。なお、以降において既に説明した部分と重複する箇所には同一の符号を附して説明を割愛する。

【0069】

この顔画像処理方法は、例えば予め用意された顔画像処理プログラムを顔画像処理システムのコンピュータ（演算手段２）に実行させることにより実現する。このコンピュータは、ＣＰＵやＨＤＤ等の各種装置を備える本体と、出力手段３として情報を表示画面上に表示するディスプレイと、入力手段１として受け付けられた情報をＣＰＵ等に入力する入力インタフェース（入力Ｉ／Ｆ）及びキーボードやマウス等の入力デバイスとを備えた一般的な構成により実現されている。以下、処理主体は特に明記しない場合はコンピュータであるとする。

【0070】

図１６に示すように、まず、図９Ａに示すような入力顔画像を表す顔画像情報（画像データ）を入力Ｉ／Ｆを介して入力する（ステップＳ１００）。次に、入力された顔画像情報に基づき、演算手段２によって複数の初期候補顔画像を生成し（ステップＳ１０２）、これらの候補顔画像をディスプレイ上に表示する（ステップＳ１０４）。ここで、上述したようなｗ０，ｗ１，ε１，ε２，ε３，α，βなどの各パラメータの値の組をランダムにＭ通り作成し、各パラメータの値の組毎に１つの処理画像を求める。結果的にＭ個の出力画像（候補顔画像）が表示される。

【0071】

このとき、顔画像処理システムの利用者（ユーザ）は、入力デバイスを利用して、表示された複数の候補顔画像の中から、最も望ましいと主観的に思える顔画像がなかった場合は所望の出力顔画像の選択指示を行う。また、最も望ましいと主観的に思える顔画像があった場合は最終的な出力顔画像の決定指示を行う。

【0072】

従って、コンピュータ２は、入力デバイスからの情報に基づき、出力顔画像が決定されたか否かを判断する（ステップＳ１０６）。最終的な出力顔画像の決定指示が受け付けられて出力顔画像が決定された場合（ステップＳ１０６のＹｅｓ）は、その顔画像を表す顔画像情報を演算手段２にて生成する各種パラメータを基準パラメータとして決定し（ステップＳ１０８）、記憶手段４に記憶して顔画像情報を出力し（ステップＳ１１０）、本フローチャートによる一連の処理を終了する。なお、ステップＳ１１０における顔画像情報の出力は、画像データを出力したり、ディスプレイ上に表示出力したり、紙面上に印刷出力したりする種々の出力形態が含まれる。また、上記の各種パラメータを記憶せずに、顔画像情報のみを表示又は保存するようにしても良い。

【0073】

一方、上記ステップＳ１０６にて、出力顔画像が決定されなかった場合（ステップＳ１０６のＮｏ）は、ＧＡを用いたＩＥＣを行って（ステップＳ１２０）次世代の候補顔画像を複数生成する。そして、これら候補顔画像のパラメータを記憶手段に一時記憶して（ステップＳ１３０）、上記ステップＳ１０４に移行し、以降の処理を繰り返す。

【0074】

上記ステップＳ１２０のＩＥＣは、図１７に示すように行われる。すなわち、上記ステップＳ１０６にて出力顔画像が決定されなかった場合は、ユーザによって所望の出力顔画像の選択指示がなされたからである。従って、コンピュータ２は、所望の出力顔画像の選択により指定された候補顔画像の選択を受け付け（ステップＳ１２２）、受け付けた候補顔画像に適用されたパラメータに基づいて交叉処理（ステップＳ１２４）及び突然変異処理（ステップＳ１２６）を行う。

【0075】

ここで、顔画像処理システムにおけるＧＡを用いたＩＥＣについて簡単に説明する。このＩＥＣにおいては、図示は省略するが、まず前提として、例えば上記窓サイズｗ０，ｗ１やεの値ε１，ε２，ε３、その他の各種パラメータを連結して二進数表現する。そして、連結したものを１つの染色とし、その染色体が１つの個体を表すものとする。

【0076】

次に、この個体に対してＧＡを適用する。具体的には、例えばディスプレイ上に表示されたＭ個の候補顔画像（ステップＳ１０４）の中から、例えばユーザが好ましいと思うものをＳ個選択して貰う（例えば、ステップＳ１０６のＮｏ及びステップＳ１２２）。そして、選択されたＳ個の候補顔画像を表す顔画像情報に適用された各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を再び連結して二進数表現の染色体とみなす。そして、選択されたＳ個の個体に対して交叉処理（ステップＳ１２４）を行い、Ｔ１個の個体を新たに生成する。更に、選択されたＳ個の個体と生成されたＴ１個の個体に対し突然変異処理（ステップＳ１２６）を行い、新たにＴ２個の個体を生成する。ここで、Ｓ＋Ｔ１＋Ｔ２はＭに等しいとする。

【0077】

これら交叉処理及び突然変異処理で得られたＳ＋Ｔ１＋Ｔ２個の個体がそれぞれ表す各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を用いて顔画像を表す顔画像情報を処理する。これにより、Ｓ＋Ｔ１＋Ｔ２個の顔画像出力（すなわち、候補顔画像）が得られることとなる。

【0078】

こうして得られたＳ＋Ｔ１＋Ｔ２個の候補顔画像をディスプレイ上に表示し、ユーザが最も望ましいと主観的に思える顔画像があればそれを出力顔画像として決定し、そうでなければ所望の出力顔画像をＳ個選択する。

【0079】

その後、再びＳ個の個体を生成して交叉処理や突然変異処理を行うことを、ユーザが満足する最終的な出力顔画像が決定される（ステップＳ１０６のＹｅｓ）まで繰り返す。このような処理により、ユーザの主観的評価に基づき効果的に美観化された顔画像を生成することが可能となる。

【0080】

以上述べたように、本実施形態に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムによれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見えると共に、過度の強調を抑えた顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することが可能となる。

【0081】

なお、本実施形態で説明した顔画像処理方法は、予め用意された顔画像処理プログラムをコンピュータで実行することにより実現することができることは言うまでもなく、この顔画像処理プログラムは、ＨＤ、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、この顔画像処理プログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であっても良い。

【0082】

また、図示は省略するが、上述した顔画像処理システムにおいて、例えば演算手段２のε−フィルタバンク１１の前段に、入力顔画像情報の輝度や色情報（例えば、Ｒ，Ｇ，Ｂ成分やＹ信号など）が所定の範囲である肌色領域部を顔画像情報から抽出する肌色抽出部を設けても良い。この場合、演算手段２は、この肌色抽出部で抽出された肌色領域部を示す顔画像情報に対してのみ上述したような処理を行うようにすると、顔画像の肌色領域以外への処理の影響を抑えることができ、処理も迅速になるので、より効果的である。

【符号の説明】

【0083】

１ 入力手段
２ 演算手段
３ 出力手段
４ 記憶手段
１１ ε−フィルタバンク
１２ 輝度強調処理部
１３ 輪郭強調処理部
１４ 加算器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図12A】

【図12B】

【図12C】

【図12D】

【図13】

【図14】

【図15】

【図16】

【図17】

【図9A】

【図9B】

【図9C】

【図9D】

【図9E】

【図9F】

【図10A】

【図10B】

【図11】