知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-19
(45)【発行日】2022-12-27
(54)【発明の名称】顔画像中の照明条件を評価する方法及び装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20221220BHJP
【ＦＩ】
G06T7/00 660A
【請求項の数】
9
(21)【出願番号】P 2018193664
(22)【出願日】2018-10-12
(65)【公開番号】P2019075118
(43)【公開日】2019-05-16
【審査請求日】2021-07-09
(31)【優先権主張番号】201710970321.8
(32)【優先日】2017-10-16
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】ルゥ・ピンピン
(72)【発明者】
【氏名】リィウ・ルゥジエ
【審査官】新井 則和
(56)【参考文献】
【文献】特開２０１７－１４７６５８（ＪＰ，Ａ）
【文献】特開２００４－０２１３７３（ＪＰ，Ａ）
【文献】島野 美保子 外4名，任意照明下顔認識のための顔表面の位置相関を考慮したＭＡＰ推定，情報処理学会論文誌，Vol. 47，No. SIG 10（CVIM15），2006年07月15日
【文献】Xiaohua Xie et al.，Normalization of Face Illumination Based on Large-and Small-Scale Features，IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 20, NO. 7，IEEE，2011年07月31日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5658185
【文献】Terrence Chen et al.，Total Variation Models for Variable Lighting Face Recognition，IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 28, NO. 9，IEEE，2006年09月30日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=1661553
【文献】西山 正志，山口 修，物体表面の見え属性分類に基づく Self Quotient Image を用いた顔認識，電子情報通信学会技術研究報告 Vol. 105，No. 374，2005年10月20日
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
顔画像中の照明条件を評価する方法であって、前記顔画像を照明特徴成分と顔特徴成分に分解する分解ステップ；
前記顔画像中の所定領域を抽出する抽出ステップ；
前記所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算ステップ；及び
前記最大輝度特徴、前記最小輝度特徴、及び前記照明方向特徴に基づいて、前記顔画像中の照明条件を評価する評価ステップを含み、
前記計算ステップは、
前記所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；
前記平均照明特徴成分及び前記全体平均値に基づいて、前記所定領域内の隣接する領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、前記照明方向特徴を計算することを含む、方法。
【請求項2】
請求項１に記載の方法であって、前記分解ステップは、
全変動TV（Total Variation）モデル、対数全変動LTV（Logarithm Total Variation）モデル、及びSQI（Self Quotient Image）モデルのうちの１つを用いて、前記顔画像を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と前記顔特徴成分とすることを含む、方法。
【請求項3】
請求項１に記載の方法であって、前記分解ステップは、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、前記顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
前記初期照明特徴成分に前記初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；
前記初期顔特徴成分を前記初期顔特徴成分の平均値で割って、前記顔特徴成分を取得することを含む、方法。
【請求項4】
請求項１に記載の方法であって、前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、方法。
【請求項5】
請求項１に記載の方法であって、前記評価ステップは、
前記最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
前記最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
前記照明方向特徴の絶対値が照明方向閾値よりも大きい場合、側光条件と評価することを含む、方法。
【請求項6】
請求項１に記載の方法であって、評価結果をユーザにフィードバックするフィードバックステップをさらに含む、方法。
【請求項7】
請求項１に記載の方法であって、前記照明条件が所定条件を満足しない顔画像を除去する除去ステップをさらに含む、方法。
【請求項8】
請求項７に記載の方法であって、前記所定条件は、輝度均一、直射光、又は乱反射を含む、方法。
【請求項9】
顔画像中の照明条件を評価する装置であって、前記顔画像を照明特徴成分と顔特徴成分に分解する分解手段；
前記顔画像中の所定領域を抽出する抽出手段；
前記所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算手段；及び
前記最大輝度特徴、前記最小輝度特徴、及び前記照明方向特徴に基づいて、前記顔画像中の照明条件を評価する評価手段を含み、
前記計算手段は、
前記所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；
前記平均照明特徴成分及び前記全体平均値に基づいて、前記所定領域内の隣接する領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、前記照明方向特徴を計算することを行う、装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関し、特に、顔画像中の照明条件（lighting condition）を効率よく評価し得る方法及び装置に関する。
【背景技術】
【0002】
近年、情報技術の進歩に伴い、顔認識に基づく応用が増えている。顔認識システムについて言えば、照明条件は、顔の検出、アラインメント、検証などのモジュールに大きく影響することがある。例えば、異なる照明条件、例えば、光源、照明方向、照明輝度の違いにより、顔認識に異なる程度の影響を与え得る。特に低輝度や高輝度、側光（サイドライト）条件は、顔認識システムのパフォーマンスにシビアなダメージを与えることができる。
【0003】
上述のような問題を解決するために、サンプルの数を増やし、例えば、同じ人物から異なる照明条件下での多くの顔画像を取得することにより、異なる照明環境中での顔認識のロバストネスを向上させる技術が提案されている。しかし、このような方法は、データ量がかなり増え、データの収集がより難しくなるだけでなく、検証モジュールの収斂（収束）が難しいため、検証モジュールをトレーニングする困難さも増してしまう。また、関心のない照明成分（component）を除去することにより、顔画像をより規則的にする新しい照明正規化方法も開発されている。しかし、このような方法は、より多くの計算量を要するので、システムの即時性が低下してしまうと共に、関連モデルを、新しい照明正規化方法による顔画像の新しい特性に適応するために再びトレーニングする必要もある。
【0004】
上述のような問題を解決するとともに、従来技術の欠点を回避し、照明条件が良くない顔画像の顔認識システムへの影響を簡単且つ有効に避けるために、顔画像中の照明条件を評価し、評価結果をユーザにフィードバックし、又は、照明条件が理想でない顔画像を直接除去することができる。このようにして、顔認識システムの認識率を上げ、ユーザとのインタラクションにより、顔認識システムのユーザーフレンドリーを向上させることができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明の目的は、顔画像中の照明条件を効率よく評価することができる方法及び装置を提供することにある。
【課題を解決するための手段】
【0006】
上述の目的を達成するために、本発明の一側面によれば、顔画像中の照明条件を評価する方法が提供され、該方法は、顔画像を照明特徴成分と顔特徴成分に分解し；顔画像中の所定領域を抽出し；所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し；及び、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価することを含む。
【0007】
本発明の他の側面によれば、顔画像中の照明条件を評価する装置が提供され、該装置は、顔画像を照明特徴成分と顔特徴成分に分解する分解手段；顔画像中の所定領域を抽出する抽出手段；所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算手段；及び最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する評価手段を含む。
【0008】
本発明の他の側面によれば、記憶媒体が提供される。前記記憶媒体には、マシン（コンピュータ）可読プログラムが含まれており、情報処理装置（コンピュータ）上で前記プログラムを行う時に、前記プログラムは、前記情報処理装置に、本発明の上述のような方法を実行させることができる。
【0009】
また、本発明の他の側面によれば、コンピュータプログラムが提供される。前記プログラムには、マシン（コンピュータ）実行可能な指令が含まれており、情報処理装置（コンピュータ）上で前記指令を行う時に、前記指令は、前記情報処理装置に、本発明の上述のような方法を実行させることができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施例による顔画像中の照明条件を評価する方法のフローチャートである。
【図2】グレースケール顔画像の一例を示す図である。
【図5】所定領域の一例を示す図である。
【図7】本発明の実施例による顔画像中の照明条件を評価する装置の構成図である。
【図8】本発明の実施例に用いられ得るコンピュータの構成図である。
【発明を実施するための形態】
【0011】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。なお、本発明の実施例では、評価ターゲットとしての照明条件は、主に、照明の量（quantity of illumination／light（照明量／光量とも言う））及び照明する方向（照明方向とも言う）を含む。
【0012】
以下、図1をもとに、本発明の実施例による顔画像中の照明条件を評価する方法の処理フローを説明する。
【0013】
図1は、本発明の実施例による顔画像中の照明条件を評価する方法のフローチャートである。図1に示すように、該方法は、次のようなステップを含み、即ち、顔画像を照明特徴成分と顔特徴成分に分解し（ステップS1）；顔画像中の所定領域を抽出し（ステップS2）；所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し（ステップS3）；及び、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する（ステップS4）。
【0014】
ステップS1では、顔画像を照明特徴成分と顔特徴成分に分解する。
【0015】
入力画像がグレースケール画像の場合、直接、顔画像とすることができる。入力画像がカラー画像の場合、グレースケール画像に変換してから顔画像とする必要があり、例えば、RGB画像ならグレースケール画像に変換し、HSV画像ならVチャネル成分を抽出する。
【0016】
顔画像中の各画素点の照明特徴成分は、該画素点の照明強度を表す。各画素点の「照明特徴成分」×（乗算）「反射率」は、該画素点のグレースケール値に等しい。照明特徴成分は、外部照明及び物体の陰影を反映する。
【0017】
顔特徴成分が表すのは、顔画像中の顔に関する特徴であり、その中には、照明に関する特徴が一切含まれない。
【0018】
顔画像は、照明特徴成分と顔特徴成分の２つの成分のみに分解する。言い換えると、この２つの成分は、完全な顔画像を構成する。
【0019】
従来の全変動（TV／Total Variation）モデル、対数全変動（LTV）モデル、及びSQI（Self Quotient Image／SQI）モデルのうちの１つのモデルを用いて、ステップS1の分解を実現することができる。
【0020】
具体的には、上述のモデルのうちの１つを直接利用することで、顔画像を初期（initial）照明特徴成分と初期顔特徴成分に分解して、照明特徴成分と顔特徴成分とすることができる。
【0021】
他の実施例では、TVモデル、LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分にし、その後、「初期照明特徴成分」×「初期顔特徴成分の平均値」を照明特徴成分とし、また、「初期顔特徴成分」／（除算）「初期顔特徴成分の平均値」を顔特徴成分とすることができる。
【0022】
「初期顔特徴成分」／「初期顔特徴成分の平均値」は、本質的には、顔特徴成分を正規化することである。上述のように、顔画像を２つの成分のみに分解し、その２つの成分は、完全な顔画像を構成する。よって、顔特徴成分正規化後、それ相応に、「初期照明特徴成分」×「初期顔特徴成分の平均値」で、照明特徴成分を得ることができる。このようにして、異なる顔画像を比較する時に、１つの成分としての顔特徴成分がすべて正規化され、これにより、もう１つの成分としての照明特徴成分がより良い比較可能性を有し、照明特徴成分の比較を行いやすい。
【0023】
【0024】
ステップS2では、顔画像中の所定領域を抽出する。
【0025】
顔認識システムの関心領域が顔画像全体でなく、目や鼻、口をコアとする中心領域であるため、前段（preceding stage）としての照明条件の評価も、このような中心領域に集中する。
【0026】
ステップS2中の所定領域は、目（２つ）、鼻、及び口を覆う（カバーする）４つの領域を含む。図5は、所定領域の一例を示している。なお、図5に示す４つの領域は、例示に過ぎずない。所定領域が目、鼻、及び口をカバーすることができれば良く、また、領域の個数が４つであることも、例示に過ぎない。上下左右で計４つの領域が存在する時に、後続の照明方向特徴の検出に有利である。何故なら、顔が平らであるとするため、隣接する領域の相違（差）を用いて照明方向を判断できるからである。
【0027】
従来の画像処理方法及びCNNに基づく技術は、上述の所定領域を検出することができる。例えば、先ず、２つの目の２つの中心点及び口角を表す２つの特徴点を検出し、そして、この４つのポイント（特徴点）を用いて図5に示すような４つの領域を形成する。以下、所定領域内の照明特徴成分に基づいて、顔画像の照明条件を評価する。具体的には、図5に示す４つの所定領域を例として説明を行う。
【0028】
ステップS3では、所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算。
【0029】
図6は、ステップS3の詳しいプロセスを示している。
【0030】
図6に示すように、ステップS61では、所定領域内の各領域中の平均照明特徴成分l1～l4を計算する。
【0031】
ステップS62では、上述の平均照明特徴成分l1～l4のうちの最大値lmax、最小値lmin、及び平均値
（外1）
を最大輝度特徴、最小輝度特徴、及び全体の平均値（全体平均値とも言う）として計算する。
（外1）
を最大輝度特徴、最小輝度特徴、及び全体の平均値（全体平均値とも言う）として計算する。
【0032】
ステップS63では、上述の平均照明特徴成分l1～l4及び全体平均値に基づいて、所定領域内の隣接領域のグレースケール偏差l’1～l’4を計算する。
【0033】
そして、次のような行列Aを形成することができる。
【数1】
【0034】
そのうち、
であり、i＝1，2，3，4である。
【数2】
であり、i＝1，2，3，4である。
【0035】
ステップS64では、グレースケール偏差l’1～l’4に基づいて、照明方向特徴la、leを計算する。
【0036】
平面の方程式（Plane Equation）Ax＝0の場合、そのうち、x＝[a，b，c]であり、
を満足する必要がある。ｘの値を求めば、a、b、cの値を得ることができる。
【数3】
を満足する必要がある。ｘの値を求めば、a、b、cの値を得ることができる。
【0037】
【数4】
とすれば、d＜0の場合、la＝a且つle＝-bであり、d＞0の場合、la＝-a且つle＝bである。
【0038】
ステップS4では、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する。
【0039】
評価の基準は、次の通りであり、即ち、
最大輝度特徴lmaxが低輝度閾値THlよりも小さい場合、低輝度条件と評価し；
最小輝度特徴lminが高輝度閾値THhよりも大きい場合、高輝度条件と評価し；及び
照明方向特徴laの絶対値及びleの絶対値のうちの少なくとも１つがその対応する照明方向閾値THa又はTHeよりも大きい場合、側光（サイドライト（side light））条件と評価する。
最大輝度特徴lmaxが低輝度閾値THlよりも小さい場合、低輝度条件と評価し；
最小輝度特徴lminが高輝度閾値THhよりも大きい場合、高輝度条件と評価し；及び
照明方向特徴laの絶対値及びleの絶対値のうちの少なくとも１つがその対応する照明方向閾値THa又はTHeよりも大きい場合、側光（サイドライト（side light））条件と評価する。
【0040】
閾値の例は、例えば、THl＝0.2、THh＝0.8、THa＝0.2、THe＝0.2である。
【0041】
顔が円柱状であるとする場合、他の方法を用いて、グレースケール偏差に基づいて、照明方向特徴を計算することもできる。なお、関連する計算は、当業者にとって既知である。
【0042】
１つの実施例では、評価結果をユーザにフィードバックする。ユーザは、例えば、再び顔画像を撮影により取得することができる。
【0043】
１つの実施例では、照明条件が所定条件を満足しない顔画像を除去する。所定条件は、輝度均一、直射光、又は乱反射を含む。高輝度条件、低輝度条件、及び側光条件と評価された顔画像は、すべて、所定条件を満足しない顔画像である。
【0044】
以下、図7に基づいて、本発明の実施例による顔画像中の照明条件を評価する装置を説明する。
【0045】
図7は、本発明の実施例における顔画像中の照明条件を評価する装置の構成図である。図7に示すように、本実施例による顔画像中の照明条件を評価する装置700は、分解手段71であって、顔画像を照明特徴成分と顔特徴成分に分解するように構成されるもの；抽出手段72であって、顔画像中の所定領域を抽出するように構成されるもの；計算手段73であって、所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算するように構成されるもの；及び評価手段74であって、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価するように構成させるものを含む。
【0046】
１つの実施例では、分解手段71は、さらに、全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と前記顔特徴成分とするように構成される。
【0047】
１つの実施例では、分解手段71は、さらに、TVモデル、LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；そして、「初期照明特徴成分」×「初期顔特徴成分の平均値」で前記照明特徴成分を取得し、また、「初期顔特徴成分」／「初期顔特徴成分の平均値」で前記顔特徴成分を取得するように構成される。
【0048】
１つの実施例では、所定領域は、目（２つ）、鼻、及び口をカバーする４つの領域を含む。
【0049】
１つの実施例では、計算手段73は、さらに、所定領域内の各領域中の平均照明特徴成分を計算し；これらの平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；これらの平均照明特徴成分及び全体平均値に基づいて、所定領域内の隣接領域のグレースケール偏差を計算し；そして、グレースケール偏差に基づいて、照明方向特徴を計算するように構成される。
【0050】
１つの実施例では、評価手段74は、さらに、最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び、照明方向特徴の絶対値が照明方向閾値よりも大きい場合、側光条件と評価するように構成される。
【0051】
１つの実施例では、装置700は、フィードバック手段であって、評価結果をユーザにフィードバックするように構成されるものをさらに含む。
【0052】
１つの実施例では、装置700は、除去手段であって、照明条件が所定条件を満足しない顔画像を除去するように構成されるものをさらに含む。
【0053】
１つの実施例では、所定条件は、輝度均一、直射光、又は乱反射を含む。
【0054】
本実施例による装置700に含まれる各手段の処理は、上述の方法に含まれる各ステップの処理と同様であるので、便宜のため、ここでは、これらの処理の詳細な説明を省略する。
【0055】
なお、上述の装置中の各手段は、ソフトウェア、ファームウェア、ハードウェア、又はその組み合わせの方式で構成されても良い。構成に当たって使用可能な具体的な手段又は方法は、当業にとって既知であるため、ここでは、その詳しい説明を省略する。ソフトウェア又はファームウェアにより実現される場合、記憶媒体又はネットワークから専用ハードウェア構造を有するコンピュータ（例えば、図8に示す汎用コンピュータ800）に該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされている時に、上述のような各種の機能を実行することができる。
【0056】
図8は、本発明の実施例に用いられ得るコンピュータ800の構成図である。
【0057】
図8では、中央処理装置（CPU）801は、ROM 802に記憶されているプログラム、又は、記憶部808からRAM 803にロードされているプログラムに基づいて、各種の処理を行う。RAM 803には、必要に応じて、CPU 801が各種の処理を実行する時に必要なデータを記憶しても良い。なお、CPU 801、ROM 802及びRAM 803は、バス804を経由して接続される。入力／出力インターフェース805も、バス804に接続される。
【0058】
また、次のような部品は、入力／出力インターフェース805に接続され、即ち、入力部806（キーボード、マウスなどを含む）、出力部807（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部808（ハードディスクなどを含む）、及び通信部809（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部809は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ810を入力／出力インターフェース805に接続させても良い。取り外し可能な媒体811、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ810にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部808にインスタールされるようにさせることができる。
【0059】
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体811から、ソフトウェアを構成するプログラムをインストールすることができる。
【0060】
なお、当業者が理解すべきは、このような記憶媒体は、図8に示すような取り外し可能な811に限定されない。取り外し可能な媒体811は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器を含む。或いは、記憶媒体は、ROM 802、記憶部分808中のハードディスクなどであっても良い。
【0061】
本発明は、さらに、マシン可読指令コードを含むプログラムプロダクト（プログラム）に関する。指令コードは、マシン（例えば、コンピュータ）により読み出されて実行される時に、前述の実施例における方法を実行することができる。
【0062】
それ相応に、前述のようなマシン可読取指令コードを含むプログラムプロダクトを記憶した記憶媒体も本発明の開示に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカードなどを含むが、これらに限定されない。
【0063】
また、以上の実施例などに関し、さらに次のような付記を開示する。
【0064】
（付記1）
顔画像中の照明条件を評価の方法であって、
顔画像を照明特徴成分と顔特徴成分に分解し；
顔画像中の所定領域を抽出し；
所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し；及び
最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価するステップを含む、方法。
顔画像中の照明条件を評価の方法であって、
顔画像を照明特徴成分と顔特徴成分に分解し；
顔画像中の所定領域を抽出し；
所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し；及び
最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価するステップを含む、方法。
【0065】
（付記2）
付記1に記載の方法であって、
前記分解ステップは、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と前記顔特徴成分とすることを含む、方法。
付記1に記載の方法であって、
前記分解ステップは、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と前記顔特徴成分とすることを含む、方法。
【0066】
（付記3）
付記1に記載の方法であって、
前記分解ステップは、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
初期照明特徴成分に初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；
初期顔特徴成分を初期顔特徴成分の平均値で割って、前記顔特徴成分を取得することを含む、方法。
付記1に記載の方法であって、
前記分解ステップは、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
初期照明特徴成分に初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；
初期顔特徴成分を初期顔特徴成分の平均値で割って、前記顔特徴成分を取得することを含む、方法。
【0067】
（付記4）
付記1に記載の方法であって、
前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、方法。
付記1に記載の方法であって、
前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、方法。
【0068】
（付記5）
付記1に記載の方法であって、
前記計算ステップは、
所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び前記全体平均値として計算し；
前記平均照明特徴成分及び前記全体平均値に基づいて、所定領域内の隣接領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、照明方向特徴を計算することを含む、方法。
付記1に記載の方法であって、
前記計算ステップは、
所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び前記全体平均値として計算し；
前記平均照明特徴成分及び前記全体平均値に基づいて、所定領域内の隣接領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、照明方向特徴を計算することを含む、方法。
【0069】
（付記6）
付記1に記載の方法であって、
前記評価ステップは、
最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
照明方向特徴の絶対値が照明方向閾値よりも大きい場合、側光条件と評価することを含む、方法。
付記1に記載の方法であって、
前記評価ステップは、
最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
照明方向特徴の絶対値が照明方向閾値よりも大きい場合、側光条件と評価することを含む、方法。
【0070】
（付記7）
付記1に記載の方法であって、
評価結果をユーザにフィードバックするステップをさらに含む、方法。
付記1に記載の方法であって、
評価結果をユーザにフィードバックするステップをさらに含む、方法。
【0071】
（付記8）
付記1に記載の方法であって、
照明条件が所定条件を満足しない顔画像を除去するステップをさらに含む、方法。
付記1に記載の方法であって、
照明条件が所定条件を満足しない顔画像を除去するステップをさらに含む、方法。
【0072】
（付記9）
付記8に記載の方法であって、
所定条件は、輝度均一、直射光、又は乱反射を含む、方法。
付記8に記載の方法であって、
所定条件は、輝度均一、直射光、又は乱反射を含む、方法。
【0073】
（付記10）
顔画像中の照明条件を評価する装置であって、
顔画像を照明特徴成分と顔特徴成分に分解する分解手段；
顔画像中の所定領域を抽出する抽出手段；
所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算手段；及び
最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する評価手段を含む、装置。
顔画像中の照明条件を評価する装置であって、
顔画像を照明特徴成分と顔特徴成分に分解する分解手段；
顔画像中の所定領域を抽出する抽出手段；
所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算手段；及び
最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する評価手段を含む、装置。
【0074】
（付記11）
付記10に記載の装置であって、
前記分解手段は、さらに、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像分解を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と顔特徴成分とするように構成される、装置。
付記10に記載の装置であって、
前記分解手段は、さらに、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像分解を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と顔特徴成分とするように構成される、装置。
【0075】
（付記12）
付記10に記載の装置であって、
前記分解手段は、さらに、
TVモデル、LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
初期照明特徴成分に初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；及び
初期顔特徴成分を初期顔特徴成分の平均値で割って、前記顔特徴成分を取得するように構成される、装置。
付記10に記載の装置であって、
前記分解手段は、さらに、
TVモデル、LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
初期照明特徴成分に初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；及び
初期顔特徴成分を初期顔特徴成分の平均値で割って、前記顔特徴成分を取得するように構成される、装置。
【0076】
（付記13）
付記10に記載の装置であって、
前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、装置。
付記10に記載の装置であって、
前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、装置。
【0077】
（付記14）
付記10に記載の装置であって、
前記計算手段は、さらに、
所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；及び
前記平均照明特徴成分及び前記全体平均値に基づいて、前記所定領域内の隣接領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、照明方向特徴を計算するように構成される、装置。
付記10に記載の装置であって、
前記計算手段は、さらに、
所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；及び
前記平均照明特徴成分及び前記全体平均値に基づいて、前記所定領域内の隣接領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、照明方向特徴を計算するように構成される、装置。
【0078】
（付記15）
付記10に記載の装置であって、
前記評価手段は、さらに、
最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
照明方向特徴の絶対値が方向閾値よりも大きい場合、側光条件と評価するように構成される、装置。
付記10に記載の装置であって、
前記評価手段は、さらに、
最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
照明方向特徴の絶対値が方向閾値よりも大きい場合、側光条件と評価するように構成される、装置。
【0079】
（付記16）
付記10に記載の装置であって、
評価結果をユーザにフィードバックするフィードバック手段をさらに含む、装置。
付記10に記載の装置であって、
評価結果をユーザにフィードバックするフィードバック手段をさらに含む、装置。
【0080】
（付記17）
付記10に記載の装置であって、
照明条件が所定条件を満足しない顔画像を除去する除去手段をさらに含む、装置。
付記10に記載の装置であって、
照明条件が所定条件を満足しない顔画像を除去する除去手段をさらに含む、装置。
【0081】
（付記18）
付記17に記載の装置であって、
所定条件は、輝度均一、直射光、又は乱反射を含む、装置。
付記17に記載の装置であって、
所定条件は、輝度均一、直射光、又は乱反射を含む、装置。
【0082】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】