特許 6355306 顔照合装置、顔照合方法及び顔照合プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6355306

(24)【登録日】2018年6月22日

(45)【発行日】2018年7月11日

(54)【発明の名称】顔照合装置、顔照合方法及び顔照合プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20180702BHJP

【ＦＩ】

   G06T7/00 510B

   G06T7/00 350B

   G06T7/00 300F

【請求項の数】10

【全頁数】23

(21)【出願番号】特願2013-144941(P2013-144941)

(22)【出願日】2013年7月10日

(65)【公開番号】特開2015-18399(P2015-18399A)

(43)【公開日】2015年1月29日

【審査請求日】2016年7月6日

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(72)【発明者】

【氏名】河田 耕三

【審査官】 松浦 功

(56)【参考文献】

【文献】 特開２００８−２８２０８９（ＪＰ，Ａ）

【文献】 特開２００４−１４５５７６（ＪＰ，Ａ）

【文献】 特開２００４−０９４４９１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０６Ｋ ９／００

Ａ６１Ｂ ５／１１７１

(57)【特許請求の範囲】

【請求項1】

照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、
照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手段と、
前記照明影響基準データ算出手段により算出された照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段と
を備え、
前記照明影響基準データ算出手段は、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出する
ことを特徴とする顔照合装置。

【請求項2】

前記影響度算出手段は、前記照明環境基準データを用いて前記入力データ及び／又は前記登録データの照明パラメータを算出し、算出した照明パラメータと前記特徴変動基準データとを用いて前記入力データ及び／又は前記登録データの各局所領域における特徴変動率を算出し、
前記特徴変動率に応じて各局所領域の重みを算出する領域重み算出手段をさらに備え、
前記照合処理手段は、前記領域重み算出手段により算出された領域重みを用いて前記各局所領域の類似度に対する重み付けを行って前記入力データと前記登録データとを照合処理する
ことを特徴とする請求項１に記載の顔照合装置。

【請求項3】

前記照明影響基準データ算出手段は、前記照明環境の異なる複数の顔画像を含む前記学習データに対して解像度を低下させる低解像度化処理を行い、前記低解像度化処理を行った前記学習データから前記照明環境基準データを算出し、
前記影響度算出手段は、前記入力データ及び／又は前記登録データに対して解像度を低下させる低解像度化処理を行い、前記低解像度化処理を行った前記入力データ及び／又は前記登録データと前記照明環境基準データとを用いて前記照明パラメータを算出する
ことを特徴とする請求項２に記載の顔照合装置。

【請求項4】

前記照明影響基準データ算出手段は、前記低解像度化処理を行った前記学習データの画素数を行数又は列数、前記複数の顔画像データの数を列数又は行数とする画素値行列を生成し、前記画素値行列の固有ベクトルを前記照明環境基準データとして算出し、
前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び／又は前記登録データの各画素値と前記照明環境基準データとの積を前記照明パラメータとして算出する
ことを特徴とする請求項３に記載の顔照合装置。

【請求項5】

前記照明影響基準データ算出手段は、前記低解像度化処理を行った前記学習データの顔画像の各画素値と前記照明環境基準データとの積を前記照明パラメータとして算出するとともに、前記低解像度化処理前の学習データから各局所領域の特徴変動量を算出し、各局所領域について、当該局所領域の特徴変動量が前記照明パラメータの線形変換であると仮定した場合の前記線形変換の係数行列を前記特徴変動基準データとして算出し、
前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び／又は前記登録データから算出した前記照明パラメータと、前記特徴変動基準データとの積を前記入力データ及び／又は前記登録データにおける特徴変動量として算出する
ことを特徴とする請求項４に記載の顔照合装置。

【請求項6】

前記領域重み算出手段は、前記影響度算出手段が前記入力データと前記登録データの双方について各局所領域における特徴変動率を算出した場合に、前記各局所領域について、大きい方の特徴変動率を用いて領域重みを算出することを特徴とする請求項２〜５のいずれか一つに記載の顔照合装置。

【請求項7】

照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合方法であって、
照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出ステップと、
前記照明影響基準データ算出ステップにより算出された照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出ステップと、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出ステップと、
前記類似度算出ステップにより算出された各局所領域における特徴量の類似度と、前記影響度算出ステップにより算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理ステップと
を含み、
前記照明影響基準データ算出ステップにおいて、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出する
ことを特徴とする顔照合方法。

【請求項8】

照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、
照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手順と、
前記照明影響基準データ算出手順により算出された照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、
前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順と
をコンピュータに実行させ、
前記照明影響基準データ算出手順において、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出する
ことを特徴とする顔照合プログラム。

【請求項9】

照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、
あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段と
を備え、
前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含む
ことを特徴とする顔照合装置。

【請求項10】

照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、
あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、
前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、
前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順と
をコンピュータに実行させ、
前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含む
ことを特徴とする顔照合プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、事前に登録された人物の顔画像又は該顔画像の特徴量からなる登録データと、照合対象となる人物（以下、「照合対象者」と言う）の顔画像又は該顔画像の特徴量からなる入力データとを照合する顔照合装置、顔照合方法及び顔照合プログラムに関する。

【背景技術】

【0002】

従来、照合対象者が事前に登録された人物と一致するか否かを判定するために、事前に登録された人物の顔画像又は該顔画像の特徴量からなる登録データと、照合対象者の顔画像又は該顔画像の特徴量からなる入力データとを照合処理する顔照合技術が知られている。

【0003】

例えば、特許文献１には、入力データを分割した小領域ごとの特徴量を抽出し、登録データを分割した小領域ごとの特徴量との類似度を求めて、入力データと登録データとを照合処理する技術が開示されている。また、特許文献２には、入力データにおける複数の部分領域と、登録データの該当する部分領域との距離値を算出し、距離値の小さい順に算出した統合距離値により入力データと登録データとを照合処理する技術が開示されている。

【0004】

このように、従来の顔照合技術によれば、入力データと登録データの類似度又は距離値を用いて顔照合処理が行われているが、顔照合装置が照明の影響を受けてその照合精度が低下する場合がある。このため、かかる照明の影響を低減しつつ顔照合処理を行う従来技術が知られており、例えば、照明が特定方向から照射される点を考慮して、照明の影響を受ける部分の画素値を補正する画像照合装置が開示されている（特許文献３参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特許第４１７５４１３号

【特許文献2】特許第４１６１６５９号

【特許文献3】特開２００２−２４８３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記特許文献３のものは、常に照明が特定方向から照射される場合にしか適用することができず、顔画像のどの部分に照明の影響が生ずるかが特定できない場合には、どの画素の重みを低くすれば良いかが不定となるため、動的かつ適応的に照明の影響を除外することができないという問題点がある。

【0007】

例えば、顔照合装置の近傍に移動式の照明装置が設置されている場合や、顔照合装置の設置場所を変更した場合には、その都度補正すべき画素を変更しなければ、照明の影響を除去することができない。

【0008】

このため、照明による顔照合処理に対する影響をいかにして動的かつ適応的に低減するかが重要な課題となっている。なお、かかる課題は、照明による顔照合装置に対する影響に限られるものではなく、日光等の各種光源による顔照合装置に対する影響においても同様に生ずる課題である。例えば、顔照合装置が、時間帯によって日光が入り込む屋内領域又は屋外に設置されている場合には、日光の照射方向は一定ではないので、上記特許文献３を用いたとしても日光の影響を効率良く除去できないからである。なお、本明細書では、人工の照明による光の当たり具合と、日光等の自然光による光の当たり具合とを含めて照明環境と称する。

【0009】

本発明は、上記従来技術の課題を解決するためになされたものであって、日光及び照明等の光源による顔照合に対する影響を動的かつ適応的に低減することのできる顔照合装置、顔照合方法及び顔照合プログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

上述した課題を解決し、目的を達成するため、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手段と、前記照明影響基準データ算出手段により算出された照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段とを備え、前記照明影響基準データ算出手段は、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出することを特徴とする。

【0011】

また、本発明は、上記発明において、前記影響度算出手段は、前記照明環境基準データを用いて前記入力データ及び／又は前記登録データの照明パラメータを算出し、算出した照明パラメータと前記特徴変動基準データとを用いて前記入力データ及び／又は前記登録データの各局所領域における特徴変動率を算出し、前記特徴変動率に応じて各局所領域の重みを算出する領域重み算出手段をさらに備え、前記照合処理手段は、前記領域重み算出手段により算出された領域重みを用いて前記各局所領域の類似度に対する重み付けを行って前記入力データと前記登録データとを照合処理することを特徴とする。

【0012】

また、本発明は、上記発明において、前記照明影響基準データ算出手段は、前記照明環境の異なる複数の顔画像を含む前記学習データに対して解像度を低下させる低解像度化処理を行い、前記低解像度化処理を行った前記学習データから前記照明環境基準データを算出し、前記影響度算出手段は、前記入力データ及び／又は前記登録データに対して解像度を低下させる低解像度化処理を行い、前記低解像度化処理を行った前記入力データ及び／又は前記登録データと前記照明環境基準データとを用いて前記照明パラメータを算出することを特徴とする。

【0013】

また、本発明は、上記発明において、前記照明影響基準データ算出手段は、前記低解像度化処理を行った前記学習データの画素数を行数又は列数、前記複数の顔画像データの数を列数又は行数とする画素値行列を生成し、前記画素値行列の固有ベクトルを前記照明環境基準データとして算出し、前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び／又は前記登録データの各画素値と前記照明環境基準データとの積を前記照明パラメータとして算出することを特徴とする。

【0014】

また、本発明は、上記発明において、前記照明影響基準データ算出手段は、前記低解像度化処理を行った前記学習データの顔画像の各画素値と前記照明環境基準データとの積を前記照明パラメータとして算出するとともに、前記低解像度化処理前の学習データから各局所領域の特徴変動量を算出し、各局所領域について、当該局所領域の特徴変動量が前記照明パラメータの線形変換であると仮定した場合の前記線形変換の係数行列を前記特徴変動基準データとして算出し、前記影響度算出手段は、前記低解像度化処理を行った前記入力データ及び／又は前記登録データから算出した前記照明パラメータと、前記特徴変動基準データとの積を前記入力データ及び／又は前記登録データにおける特徴変動量として算出することを特徴とする。

【0015】

また、本発明は、上記発明において、前記領域重み算出手段は、前記影響度算出手段が前記入力データと前記登録データの双方について各局所領域における特徴変動率を算出した場合に、前記各局所領域について、大きい方の特徴変動率を用いて領域重みを算出することを特徴とする。

【0016】

また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合方法であって、照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出ステップと、前記照明影響基準データ算出ステップにより算出された照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出ステップと、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出ステップと、前記類似度算出ステップにより算出された各局所領域における特徴量の類似度と、前記影響度算出ステップにより算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理ステップとを含み、前記照明影響基準データ算出ステップにおいて、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出することを特徴とする。

【0017】

また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、照明環境の異なる複数の顔画像を含む学習データを用いて、顔画像における光源の影響度を算出する際の基準となる照明影響基準データを算出する照明影響基準データ算出手順と、前記照明影響基準データ算出手順により算出された照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順とをコンピュータに実行させ、前記照明影響基準データ算出手順において、前記照明環境の異なる複数の顔画像を含む前記学習データから、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを前記照明影響基準データとして算出することを特徴とする。
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手段と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された各局所領域における特徴量の類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段とを備え、前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含むことを特徴とする。
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、あらかじめ照明環境の異なる複数の顔画像を含む学習データを用いて算出した、顔画像における光源の影響度を算出する際の基準となる照明影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における光源の影響度を算出する影響度算出手順と、前記入力データの各局所領域における特徴量と前記登録データの対応する局所領域における特徴量との間の類似度を算出する類似度算出手順と、前記類似度算出手順により算出された各局所領域における特徴量の類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順とをコンピュータに実行させ、前記照明影響基準データは、前記照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データと、前記照明パラメータに対応する照明環境下において前記局所領域における特徴量に生ずる特徴変動量を求める際の基準となる特徴変動基準データとを含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば、動的かつ適応的に光源による影響を低減することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、顔照合装置による顔照合処理の概念を説明するための説明図である。

【図2】図２は、顔照合装置の構成を示すブロック図である。

【図3】図３は、照明影響基準データの生成について説明するための説明図である。

【図4】図４は、特徴量分布と特徴変動率について説明するための説明図である。

【図5】図５は、図２に示した照明影響基準データ生成部の詳細について説明するための説明図である。

【図6】図６は、特徴量及び特徴変動率の生成について説明するための説明図である。

【図7】図７は、登録及び照合の詳細について説明するための説明図である。

【図8】図８は、ロジスティックシグモイド関数を領域重みの算出に用いる場合について説明するための説明図である。

【図9】図９は、顔照合装置の学習及び登録に係る処理手順を示すフローチャートである。

【図10】図１０は、照明影響基準データ生成処理の処理手順を示すフローチャートである。

【図11】図１１は、特徴変動率算出処理の処理手順を示すフローチャートである。

【図12】図１２は、顔照合装置の照合に係る処理手順を示すフローチャートである。

【図13】図１３は、学習データの撮像について説明するための説明図である。

【図14】図１４は、顔照合装置の各機能部をプログラムにより実現する場合の説明図である。

【発明を実施するための形態】

【0020】

以下に、添付図面を参照して、本発明に係る顔照合装置、顔照合方法及び顔照合プログラムの好適な実施例を詳細に説明する。以下に示す実施例では、照明の影響を除去する場合について説明するが、日光等の他の光源の影響を除去する場合にも同様に適用することができる。

【実施例】

【0021】

まず、本実施例に係る顔照合装置１０の顔照合処理の概念について説明する。図１は、顔照合装置１０による顔照合処理の概念を説明するための説明図である。同図に示す顔照合装置１０は、従来の顔照合装置のように「特定方向の照明」の影響を除去するだけではなく、照明方向及び照度が変動したとしても動的かつ適応的に照明変動の影響を除去しつつ顔照合処理を行う。

【0022】

具体的には、かかる顔照合装置１０は、登録データの登録処理及び入力データを用いた照合処理に先だって、学習データを用いた学習処理を行う。この学習データには、照明変動ありの学習データと、照明変動なしの学習データとが含まれる。照明変動ありの学習データは、照明方向及び照度の異なる照明環境下で撮像された複数人の顔画像データである。照明変動なしの学習データは、照明変動ありの学習データを生成したのと同一の人物の顔画像データで均一な照明環境下で撮像したものを複数人分集めたものである。

【0023】

顔照合装置１０は、照明変動ありの学習データと照明変動なしの学習データとを用いて、後述する照明影響基準データ１３ａを生成する。この照明影響基準データ１３ａは、顔画像における照明の影響度を算出する際の基準となるデータである。

【0024】

照明影響基準データ１３ａは、顔のパーツのうち、どこが照明の影響を受けやすく、どこが照明の影響を受けにくいかを示すものである。例えば、あごのライン等のパーツであれば、照明の影響があってもエッジ強度が変動するのみであり、エッジ自体は残るために個人の特徴を示すことができる。このため、あごのライン等のパーツは、照明の影響を比較的受けにくいパーツである。これに対し、鼻や口のように周囲のパーツとの画素値の差が小さいパーツは、照明によっては形状が不明瞭となり、個人の特徴を示すことが難しくなる場合がある。このため、鼻や口等は、照明の影響を比較的受けやすいパーツとなる。

【0025】

このようにして、学習段階において照明影響基準データ１３ａを生成したならば、顔照合装置１０は、事前に登録された人物の顔画像そのもの又は顔画像の特徴量からなる登録データの入力を受け付け、登録データの複数の局所領域（区分した領域）における特徴量を算出する。また、学習データから生成した照明影響基準データ１３ａを用いて、各局所領域における特徴量が照明の影響によりどれだけ変動しているかを示す特徴変動率を算出する。

【0026】

次に、顔照合装置１０は、被照合対象者の顔画像データからなる入力データを受け付けたならば、この入力データの複数の局所領域における特徴量を算出する。また、学習データから生成した照明影響基準データ１３ａを用いて、各局所領域の特徴量が照明の影響によりどれだけ変動しているかを示す特徴変動率を算出する。

【0027】

そして、この顔照合装置１０は、登録データの特徴変動率と入力データの特徴変動率とを用いて各局所領域における領域重みを算出する。この領域重みは、特徴変動率が大きいほど（照明の影響が大きいほど）小さな値とする。

【0028】

このようにして領域重みを算出したならば、顔照合装置１０は、登録データと入力データの対応する局所領域における特徴量の類似度を求め、求めた類似度に当該局所領域における領域重みを適用して重み付き類似度を算出し、この重み付き類似度を用いて登録データと入力データの照合処理を行う。例えば、かかる重み付き類似度の総和が所定のしきい値以上であれば同一人物であると判定し、しきい値未満であれば異なる人物であると判定することになる。

【0029】

このように、顔照合装置１０は、顔画像における照明の影響度を算出する際の基準となる照明影響基準データ１３ａを学習データから生成し、登録データ及び入力データの各局所領域における特徴変動率を照明影響基準データ１３ａから算出し、特徴変動率に応じた重み付き類似度を用いた照合処理を行う。

【0030】

顔照合装置１０は、照明方向及び照度の異なる種々の照明環境の下で撮像された複数人の顔画像データを学習データに用いることで、特定方向のみならず、多様な照明環境下において、顔の各パーツに対応する各局所領域が、どの程度照明の影響を受けやすいかを示す照明影響基準データ１３ａを生成するのである。

【0031】

この照明影響基準データ１３ａを用いて登録データ及び入力データの各局所領域における特徴変動率、すなわち、照明による影響の大きさを評価し、照明の影響の大きいパーツに対応する局所領域の重みを下げて照合を行うことにより、登録データ及び入力データにおける照明環境が不明であったとしても、動的かつ適応的に照明影響を低減することができる。

【0032】

次に、図１に示した顔照合装置１０の構成を図２のブロック図を用いて説明する。図２に示すように、この顔照合装置１０は、画像入力受付部１１、表示操作部１２、記憶部１３及び制御部１４を有する。

【0033】

画像入力受付部１１は、学習データとしての顔画像、登録データとしての登録人の顔画像及び入力データとしての被顔照合人の顔画像をそれぞれカメラやスキャナ等から受け付けるインタフェースである。表示操作部１２は、タッチパネルディスプレイ、キーボードやマウス等のインタフェースである。

【0034】

記憶部１３は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、照明影響基準データ１３ａ及び登録特徴データ１３ｂを記憶する。

【0035】

照明影響基準データ１３ａは、学習データが入力された場合に生成されて記憶部１３に格納される。登録特徴データ１３ｂは、登録データの各局所領域の特徴量１３ｃ及び特徴変動率１３ｄを含むデータであり、登録データが入力された場合に生成されて記憶部１３に格納される。

【0036】

制御部１４は、顔照合装置１０を全体制御する制御部である。制御部１４は、照明影響基準データ生成部１４ａ、特徴量算出部１４ｂ、特徴変動率算出部１４ｃ、類似度算出部１４ｄ、領域重み算出部１４ｅ及び照合処理部１４ｆを有する。

【0037】

照明影響基準データ生成部１４ａは、画像入力受付部１１が学習データを受け付けた場合に、学習データから照明影響基準データ１３ａを生成し、記憶部１３に格納する処理部である。

【0038】

特徴量算出部１４ｂは、画像入力受付部１１が登録データ又は入力データを受け付けた場合に、受け付けたデータの複数の局所領域について特徴量を算出する処理部である。

【0039】

特徴変動率算出部１４ｃは、画像入力受付部１１が登録データ又は入力データを受け付けた場合に、照明影響基準データ１３ａを用い、各局所領域の特徴量が照明の影響によりどれだけ変動しているかを示す特徴変動率を算出する処理部である。

【0040】

類似度算出部１４ｄは、登録データと入力データとの対応する局所領域について特徴量の類似度を算出する処理部である。領域重み算出部１４ｅは、登録データの各局所領域の特徴変動率と入力データの局所領域の特徴変動率とを用い、各局所領域について領域重みを算出する。領域重みは、特徴変動率が大きいほど、すなわち、照明の影響が大きいほど小さな値とする。

【0041】

照合処理部１４ｆは、特徴変動率算出部１４ｃにより算出された各局所領域の類似度に対し、領域重み算出部１４ｅにより算出された各局所領域の領域重みをかけて各局所領域毎の重み付き類似度を算出し、この各局所領域毎の重み付き類似度を用いて登録データと入力データとの照合処理を行う処理部である。

【0042】

次に、照明影響基準データ１３ａの生成についてさらに説明する。図３は、照明影響基準データ１３ａの生成について説明するための説明図である。照明影響基準データ１３ａには、照明変動ベクトル３３、特徴変動係数行列３２及び特徴量分布３１が含まれる。照明影響基準データ生成部１４ａは、照明変動ありの学習データと、特徴変動なしの学習データとから、照明変動ベクトル３３、特徴変動係数行列３２及び特徴量分布３１を生成するのである。

【0043】

照明影響基準データ生成部１４ａは、まず、照明変動ありの学習データを低解像度化する。例えば、縦８０画素かつ横８０画素の学習データでは、画素数「Ｑ」の値は「８０×８０＝６４００」である。この学習データを縦１０画素かつ横１０画素の縮小データに低解像度化した場合には、縮小データの画素数「ｑ」の値は「１０×１０＝１００」となる。低解像度化の具体的な手法としては、平滑化、画素値の平均、間引き等、任意の方法を用いることができる。

【0044】

このように、画素数「Ｑ」の学習データを画素数「ｑ」に低解像度化することにより、個人の特徴に対応する成分が減少し、照明の影響に対応する成分が残ることになる。従って、照明環境の異なるｒ枚の学習データについて、それぞれ縮小データを生成すると、それぞれの照明環境に対応するｒ枚の縮小データが得られる。

【0045】

照明影響基準データ生成部１４ａは、画素数ｑの縮小データｒ枚を用い、ｒ行ｑ列の画素値行列を生成する。この画素値行列では、１つの行におけるｑ個の要素は、１つの縮小データにおけるｑ個の画素の画素値である。

【0046】

照明影響基準データ生成部１４ａは、ｒ行ｑ列の画素値行列の共分散行列を求める。そして、この共分散行列の固有値を算出し、大きい順にｋ個の固有値を選択する。照明影響基準データ生成部１４ａは、選択した固有値に対応するｋ個の固有ベクトルを照明変動ベクトル３３とする。なお、ｋの値としては任意の数を用いることができる。この照明変動ベクトル３３は、照明環境の異なる複数の顔画像データから、照明環境に対応する照明パラメータを求める際の基準となる照明環境基準データとして使用される。ここで、照明パラメータは撮像画像から得られた照明の方向を示す。

【0047】

この照明変動ベクトル３３により、縮小データの照明環境に対応する照明パラメータを得ることができる。具体的には、照明影響基準データ生成部１４ａは、縮小データのｑ個の画素値を１行ｑ列の行列とし、照明変動ベクトル３３との積を求めることで、当該縮小データの照明パラメータＸを算出する。この照明パラメータＸの算出をｒ枚の縮小データについて行うことにより、ｒ個の照明パラメータＸが得られる。

【0048】

また、照明影響基準データ生成部１４ａは、学習時には低解像度化を行う前の照明変動ありの学習データにおけるｎ個の局所領域Ｐ１〜Ｐｎの特徴量を算出する。特徴量は、ｍ次元であるものとする。例えば、１つの局所領域について、その周囲に５×５のサンプル点を設定し、各サンプル点のｘ方向微分値とｙ方向微分値をとる場合には、ｍ＝５×５×２＝５０次元となる。

【0049】

照明影響基準データ生成部１４ａは、学習時には、ｒ枚の学習データのそれぞれに対し、局所領域Ｐ１〜Ｐｎの特徴量の算出を行う。そして、局所領域Ｐ１〜Ｐｎのそれぞれについて個人別の平均特徴量を算出する。そして、ｒ枚の学習データのそれぞれについて、局所領域Ｐ１〜Ｐｎの特徴量と、対応する個人の当該局所領域の平均特徴量とのずれを特徴変動量Ｙ１〜Ｙｎとして算出する。この結果、局所領域Ｐ１〜Ｐｎの特徴変動量Ｙ１〜Ｙｎが、ｒ枚分得られる。なお、特徴量がｍ次元であるので、特徴変動量Ｙ１〜Ｙｎもｍ次元となる。

【0050】

照明影響基準データ生成部１４ａは、同一の学習データから得られた特徴変動量Ｙ１〜Ｙｎと、照明パラメータＸとを用い、
Ｙ１＝Ａ１Ｘ，・・・Ｙｎ＝ＡｎＸ
により、係数行列Ａ１，・・・Ａｎを算出する。係数行列Ａ１，・・・Ａｎは、ｍ行ｋ列の行列であり、局所領域Ｐ１〜Ｐｎに対応して係数行列Ａ１〜Ａｎが得られる。この係数行列Ａ１〜Ａｎが特徴変動係数行列３２であり、照明パラメータに対応する照明環境下において局所領域の特徴変動量を求める際の基準となる特徴変動基準データとして使用される。

【0051】

さらに、照明影響基準データ生成部１４ａは、照明変動なしの学習データから特徴量分布を算出する。具体的には、照明影響基準データ生成部１４ａは、均一な照明環境下で撮像された照明変動なしの複数人の学習データから、各局所領域の特徴量を求め、局所領域ごとに特徴量の分布を求める。そして、特徴量の各次元の分布幅を合計し、その局所領域の特徴量分布３１とする。

【0052】

顔照合装置１０は、特徴量分布３１を登録データ及び入力データの特徴変動率の算出に用いる。図４は、特徴量分布３１と特徴変動量について説明するための説明図である。図４（ａ）は、特徴量分布のうち、１次元目と２次元目の分布を示している。図４（ａ）では、照明変動がない場合の特徴量は、１次元目の分布の幅（変動量）がＬ１であり、２次元目の分布の幅がＬ２である。図４（ａ）では２次元分を図示したが、特徴量の次元数ｍだけの分布の幅が存在する。照明変動がある場合の特徴量は、図４（ｂ）に示す様に、１次元目の分布の幅（変動量）がｌ１であり、２次元目の分布の幅がｌ２である。但し、ｌ１、ｌ２は照明条件により異なる。この特徴変動量の算出は、後述する特徴変動率算出部１４ｃ内部の特徴変動量算出部５３により行う。

【0053】

次に、図２に示した照明影響基準データ生成部１４ａの詳細について説明する。図５は、図２に示した照明影響基準データ生成部１４ａの詳細について説明するための説明図である。図５に示すように照明影響基準データ生成部１４ａは、その内部に特徴量算出部４１、特徴量分布算出部４２、特徴変動量算出部４３、低解像度化処理部４４、照明変動ベクトル算出部４５、照明パラメータ算出部４６及び特徴変動係数行列算出部４７を有する。

【0054】

特徴量算出部４１は、学習データの複数の局所領域について特徴量を算出する処理部である。特徴量算出部４１は、照明変動なしの学習データの各局所領域について特徴量を算出した場合には、算出した特徴量を特徴量分布算出部４２に出力する。また、特徴量算出部４１は、照明変動ありの学習データの各局所領域について特徴量を算出した場合には、算出した特徴量を特徴変動量算出部４３に出力する。

【0055】

特徴量分布算出部４２は、特徴量算出部４１が照明変動なしの複数人の学習データから算出した特徴量の分布を局所領域ごとに求める。そして、特徴量の各次元の分布幅を合計し、その局所領域の特徴量分布３１とする。

【0056】

特徴変動量算出部４３は、特徴量算出部４１が照明変動ありの複数の学習データから算出した特徴量を用い、各局所領域の個人別の平均特徴量を算出する。そして、特徴変動量算出部４３は、照明変動ありの複数の画像データについて、各局所領域の特徴量の個人別の平均特徴量からのずれを特徴変動量Ｙとして算出し、特徴変動係数行列算出部４７に出力する。

【0057】

低解像度化処理部４４は、照明変動ありの学習データを低解像度化する処理部である。低解像度化処理部４４は、照明変動ありの学習データを低解像度化した縮小データを照明変動ベクトル算出部４５及び照明パラメータ算出部４６に出力する。

【0058】

照明変動ベクトル算出部４５は、画素数ｑの縮小データｒ枚を用い、ｒ行ｑ列の画素値行列を生成し、画素値行列の共分散行列を求める。そして、この共分散行列の固有値を大きい順にｋ個選択し、選択した固有値に対応するｋ個の固有ベクトルを照明変動ベクトル３３とする。照明変動ベクトル算出部４５は、照明変動ベクトル３３を照明パラメータ算出部４６に出力する。

【0059】

照明パラメータ算出部４６は、縮小データのｑ個の画素値を１行ｑ列の行列とし、照明変動ベクトル３３との積を求めることで、当該縮小データの照明パラメータＸを算出する。この照明パラメータＸの算出をｒ枚の縮小データについて行うことにより、ｒ個の照明パラメータＸが得られる。照明パラメータ算出部４６は、ｒ個の照明パラメータＸを特徴変動係数行列算出部４７に出力する。

【0060】

特徴変動係数行列算出部４７は、特徴変動量算出部４３により算出された特徴変動量Ｙと、照明パラメータ算出部４６により算出された照明パラメータＸとを用い、
Ｙ１＝Ａ１Ｘ，・・・Ｙｎ＝ＡｎＸ
により、係数行列Ａ１，・・・Ａｎを算出する。係数行列Ａ１，・・・Ａｎは、ｍ行ｋ列の行列であり、局所領域Ｐ１〜Ｐｎに対応して係数行列Ａ１〜Ａｎが得られる。特徴変動係数行列算出部４７は、この係数行列Ａ１〜Ａｎを特徴変動係数行列３２とする。

【0061】

照明影響基準データ生成部１４ａは、特徴量分布算出部４２が算出した特徴量分布３１、特徴変動係数行列算出部４７が算出した特徴変動係数行列３２、並びに照明変動ベクトル算出部４５が算出した照明変動ベクトル３３を照明影響基準データ１３ａとして記憶部１３に格納する。

【0062】

次に、登録特徴データ１３ｂに含まれる特徴量１３ｃ及び特徴変動率１３ｄの生成についてさらに説明する。図６は、特徴量１３ｃ及び特徴変動率１３ｄの生成について説明するための説明図である。

【0063】

特徴量算出部１４ｂは、登録データから局所領域Ｐ１〜Ｐｎの特徴量１３ｃを算出する。特徴変動率算出部１４ｃは、登録データから局所領域Ｐ１〜Ｐｎの特徴変動率１３ｄを算出する。

【0064】

特徴変動率算出部１４ｃは、まず、登録データを低解像度化する。例えば、縦８０画素かつ横８０画素の登録データでは、画素数「Ｑ」の値は「８０×８０＝６４００」である。この登録データを縦１０画素かつ横１０画素の縮小データに低解像度化した場合には、縮小データの画素数「ｑ」の値は「１０×１０＝１００」となる。低解像度化の具体的な手法としては、平滑化、画素値の平均、間引き等、任意の方法を用いることができる。

【0065】

このように、画素数「Ｑ」の登録データを画素数「ｑ」に低解像度化することにより、個人の特徴に対応する成分が減少し、照明の影響に対応する成分が残ることになる。

【0066】

特徴変動率算出部１４ｃは、縮小データのｑ個の画素値を１行ｑ列の行列とし、照明変動ベクトル３３との積を求めることで、当該縮小データの照明パラメータＸを算出する。

【0067】

特徴変動率算出部１４ｃは、照明パラメータＸと特徴変動係数行列３２による線形変換、すなわち、
Ｙ＝ＡＸ
により、特徴変動量Ｙを算出する。特徴変動係数行列３２は、局所領域Ｐ１〜Ｐｎに対応して係数行列Ａ１〜Ａｎを有する。係数行列Ａ１〜Ａｎは、それぞれｍ行ｋ列の行列である。照明パラメータＸと係数行列Ａ１〜Ａｎとの積を求めることで、局所領域Ｐ１〜Ｐｎに対応する特徴変動量Ｙ１〜Ｙｎを得ることができる。

【0068】

特徴変動率算出部１４ｃは、特徴変動量Ｙの各次元の値の合計を特徴量分布３１で除算することにより、特徴変動率ｒＹを算出する。特徴変動率ｒＹは、局所領域ごとに求められる。特徴変動率算出部１４ｃは、局所領域Ｐ１〜Ｐｎに対応する特徴変動率ｒＹ１〜ｒＹｎを特徴変動率１３ｄとする。

【0069】

次に、登録及び照合の詳細について説明する。図７は、登録及び照合の詳細について説明するための説明図である。図７に示すように、特徴量算出部１４ｂは、登録データから局所領域の特徴量を算出した場合には、算出した特徴量を登録特徴データ１３ｂの特徴量１３ｃとする。また、特徴量算出部１４ｂは、入力データから局所領域の特徴量を算出した場合には、算出した特徴量を類似度算出部１４ｄに出力する。

【0070】

特徴変動率算出部１４ｃは、登録データから局所領域の特徴変動率を算出した場合には、算出した局所領域の特徴変動率を登録特徴データ１３ｂの特徴変動率１３ｄとする。また、特徴変動率算出部１４ｃは、入力データから局所領域の特徴変動率を算出した場合には、算出した局所領域の特徴変動率を領域重み算出部１４ｅに出力する。

【0071】

ここで、特徴変動率は、照明変動が存在する場合に、特徴変動量の各次元の値の合計を特徴量分布で除算することにより得られる。図４（ａ）では特徴量の分布は１次元目がＬ１で２次元目がＬ２であり、図４（ｂ）では特徴変動量の１次元目がｌ１、２次元目がｌ２である。この場合、特徴変動率ｒＹは、
ｒＹ＝（ｌ１＋ｌ２＋・・・＋ｌｎ）／（Ｌ１＋Ｌ２＋・・・＋Ｌ５０）
により求められる。

【0072】

類似度算出部１４ｄは、特徴量算出部１４ｂにより入力データの特徴量が出力された場合に、登録特徴データ１３ｂの特徴量１３ｃとの類似度を局所領域ごとに算出する。類似度算出部１４ｄは、算出した局所領域ごとの類似度を照合処理部１４ｆに出力する。

【0073】

領域重み算出部１４ｅは、特徴変動率算出部１４ｃにより入力データの特徴変動率が出力された場合に、登録特徴データ１３ｂの特徴変動率１３ｄと入力データの特徴変動率とを用いて領域重みを算出し、照合処理部１４ｆに出力する。

【0074】

照合処理部１４ｆは、類似度算出部１４ｄにより算出された局所領域毎の類似度に対し、領域重み算出部１４ｅにより算出された局所領域毎の重みをかけて重み付き類似度を算出し、この重み付き類似度を用いて登録データと入力データと照合処理を行う。具体的には、照合処理部１４ｆは、重み付き類似度の総和を算出し、重み付き類似度の総和が閾値以上である場合に、登録データと入力データとが同一人物であると判定する。

【0075】

特徴変動率算出部１４ｃは、その内部に低解像度化処理部５１、照明パラメータ算出部５２、特徴変動量算出部５３及び変動率算出処理部５４を有する。低解像度化処理部５１は、登録データ及び入力データを低解像度化する処理部である。低解像度化処理部５１は、低解像度化して得た縮小データを照明パラメータ算出部５２に出力する。

【0076】

照明パラメータ算出部５２は、縮小データのｑ個の画素値を１行ｑ列の行列とし、記憶部１３から読み出した照明変動ベクトル３３との積を求めることで、当該縮小データの照明パラメータＸを算出する。照明パラメータ算出部５２は、算出した照明パラメータＸを特徴変動量算出部５３に出力する。

【0077】

特徴変動量算出部５３は、照明パラメータＸと記憶部１３から読み出した特徴変動係数行列３２による線形変換により、特徴変動量Ｙを算出する処理部である。特徴変動量算出部５３は、算出した特徴変動量Ｙを変動率算出処理部５４に出力する。変動率算出処理部５４は、特徴変動量Ｙの各次元の値の合計を特徴量分布３１で除算することにより、特徴変動率ｒＹを算出する。

【0078】

次に、領域重みの算出について説明する。領域重みは、特徴変動率の値によって単調減少する関数であれば、ロジスティックシグモイド関数、２次関数又は３次関数等、任意の関数を用いることができる。

【0079】

図８は、ロジスティックシグモイド関数を領域重みの算出に用いる場合について説明するための説明図である。ロジスティックシグモイド関数は、（ｘ，ｙ）＝（０，０．５）の点で点対称な関数であり、特徴変動率をｘ軸、領域重みをｙ軸とすれば、特徴変動率が大きくなるほど領域重みは小さくなる。

【0080】

次に、顔照合装置１０の学習及び登録に係る処理手順について説明する。図９は、顔照合装置１０の学習及び登録に係る処理手順を示すフローチャートである。

【0081】

まず、画像入力受付部１１は、学習データを受け付ける（ステップＳ１０１）。照明影響基準データ生成部１４ａは、学習データを用いて照明影響基準データ生成処理を行い（ステップＳ１０２）、生成した照明影響基準データ１３ａを記憶部１３に格納する（ステップＳ１０３）。

【0082】

そして、画像入力受付部１１が登録データの入力を受け付けると（ステップＳ１０４）、特徴量算出部１４ｂは、登録データの複数の局所領域について特徴量を算出する（ステップＳ１０５）。

【0083】

また、特徴変動率算出部１４ｃは、画像入力受付部１１が受け付けた登録データと、照明影響基準データ１３ａとを用い、特徴変動率を算出する処理を行う（ステップＳ１０６）。その後、顔照合装置１０は、ステップＳ１０５で算出した特徴量と、ステップＳ１０６で算出した特徴変動率とを登録特徴データ１３ｂとして記憶部１３に格納し（ステップＳ１０７）、処理を終了する。

【0084】

次に、図９にステップＳ１０２として示した照明影響基準データ生成処理について説明する。図１０は、照明影響基準データ生成処理の処理手順を示すフローチャートである。

【0085】

照明影響基準データ生成部１４ａの特徴量算出部４１は、まず照明変動なしの学習データの複数の局所領域について特徴量を算出する（ステップＳ２０１）。

【0086】

特徴量分布算出部４２は、特徴量算出部４１が照明変動なしの複数人の学習データから算出した特徴量の分布を局所領域ごとに求め、特徴量の各次元の分布幅を合計し、特徴量分布３１とする（ステップＳ２０２）。

【0087】

特徴量算出部４１は、照明変動ありの学習データの複数の局所領域について特徴量を算出する（ステップＳ２０３）。特徴変動量算出部４３は、特徴量算出部４１が照明変動ありの複数の学習データから算出した特徴量を用い、各局所領域の個人別の平均特徴量を算出し、各局所領域の特徴量の個人別の平均特徴量からのずれを特徴変動量Ｙとして算出する（ステップＳ２０４）。

【0088】

低解像度化処理部４４は、照明変動ありの学習データを低解像度化する（ステップＳ２０５）。照明変動ベクトル算出部４５は、画素数ｑの縮小データｒ枚を用い、ｒ行ｑ列の画素値行列を生成し、画素値行列の共分散行列を求める。そして、この共分散行列の固有値を大きい順にｋ個選択し、選択した固有値に対応するｋ個の固有ベクトルを照明変動ベクトル３３として算出する（ステップＳ２０６）。

【0089】

照明パラメータ算出部４６は、縮小データのｑ個の画素値を１行ｑ列の行列とし、照明変動ベクトル３３との積を求めることで、当該縮小データの照明パラメータＸを算出する（ステップＳ２０７）。

【0090】

特徴変動係数行列算出部４７は、ステップＳ２０４で算出された特徴変動量Ｙと、ステップＳ２０７で算出された照明パラメータＸとを用い、
Ｙ＝ＡＸ
により、特徴変動係数行列３２を求める。

【0091】

照明影響基準データ生成部１４ａは、ステップＳ２０２で算出された特徴量分布３１、ステップＳ２０８で算出された特徴変動係数行列３２、並びにステップＳ２０６で算出された照明変動ベクトル３３を照明影響基準データ１３ａとして（ステップＳ２０９）、処理を終了する。

【0092】

次に、図９にステップＳ１０６として示した特徴変動率算出処理について説明する。図１１は、特徴変動率算出処理の処理手順を示すフローチャートである。

【0093】

特徴変動率算出部１４ｃの低解像度化処理部５１は、登録データ又は入力データを低解像度化し、縮小データを生成する処理を行う（ステップＳ３０１）。照明パラメータ算出部５２は、縮小データのｑ個の画素値を１行ｑ列の行列とし、記憶部１３から読み出した照明変動ベクトル３３との積を求めることで、当該縮小データの照明パラメータＸを算出する（ステップＳ３０２）。

【0094】

特徴変動量算出部５３は、照明パラメータＸと記憶部１３から読み出した特徴変動係数行列３２による線形変換により、特徴変動量Ｙを算出する（ステップＳ３０３）。変動率算出処理部５４は、特徴変動量Ｙの各次元の値の合計を特徴量分布３１で除算することにより、特徴変動率ｒＹを算出し（ステップＳ３０４）、処理を終了する。

【0095】

次に、顔照合装置１０の照合に係る処理手順について説明する。図１２は、顔照合装置１０の照合に係る処理手順を示すフローチャートである。

【0096】

まず、画像入力受付部１１は、入力データを受け付ける（ステップＳ４０１）。特徴量算出部１４ｂは、入力データから複数の局所領域について特徴量を算出する（ステップＳ４０２）。

【0097】

また、特徴変動率算出部１４ｃは、画像入力受付部１１が受け付けた入力データと、照明影響基準データ１３ａとを用い、特徴変動率を算出する特徴変動率算出処理を行う（ステップＳ４０３）。この特徴変動率算出処理としては、図１１に示した処理を用いればよい。

【0098】

その後、顔照合装置１０は、入力データと照合処理する登録特徴データ１３ｂを選択する（ステップＳ４０４）。領域重み算出部１４ｅは、各局所領域について、選択した登録特徴データ１３ｂの特徴変動率と、入力データの特徴変動率とを比較し、特徴変動率の大きい方を選択する（ステップＳ４０５）。領域重み算出部１４ｅは、選択した特徴変動率により各局所領域の領域重みを算出する（ステップＳ４０６）。

【0099】

類似度算出部１４ｄは、各局所領域について、選択した登録特徴データ１３ｂの特徴量と、入力データの特徴量との類似度を算出する（ステップＳ４０７）。照合処理部１４ｆは、ステップＳ４０７で算出された類似度に対し、ステップＳ４０６で算出された領域重みをかけて重み付き類似度を算出し、重み付き類似度を合計する（ステップＳ４０８）。

【0100】

照合処理部１４ｆは、合計した重み付き類似度（総和類似度）が閾値以上であるならば（ステップＳ４０９；Ｙｅｓ）、選択した登録特徴データ１３ｂと入力データとが同一人物のものであると判定し、選択した登録特徴データ１３ｂに関する情報（氏名等）を照合結果として出力して（ステップＳ４１２）、処理を終了する。

【0101】

総和類似度が閾値未満であるならば（ステップＳ４０９；Ｎｏ）、照合処理部１４ｆは、全ての登録特徴データ１３ｂを選択済であるか否かを判定する（ステップＳ４１０）。

【0102】

未選択の登録特徴データ１３ｂが残っているならば（ステップＳ４１０；Ｎｏ）、照合処理部１４ｆは、未選択の登録特徴データ１３ｂから入力データと照合処理する登録特徴データ１３ｂを選択する（ステップＳ４０４）。全ての登録特徴データ１３ｂを選択済であるならば（ステップＳ４１０；Ｙｅｓ）、照合処理部１４ｆは、「該当者無し」を照合結果として出力して、処理を終了する。

【0103】

次に、学習データの撮像について説明する。照明変動ありの学習データを撮像する場合には、照明方向及び照度の異なる照明環境下で人物の顔を撮像する。図１３は、学習データの撮像について説明するための説明図である。

【0104】

図１３に示すように、被写体となる人物の周囲に複数のＬＥＤ（Light Emitting Diode）照明７１を設置し、被写体となる人物の正面に撮像装置６１を設ける。撮像装置６１は、撮像制御装置６０により撮像タイミングを制御され、撮像結果を撮像制御装置６０に送信する。

【0105】

撮像制御装置６０は、照明制御装置７０と接続され、照明制御装置７０に対して照明制御指示を送信可能である。照明制御装置７０は、ＬＥＤ照明７１の点灯状態を個別に制御可能することで、照明制御指示に応じた照明環境を実現する。

【0106】

このため、撮像制御装置６０は、ＬＥＤ照明７１の点灯状態の違いにより、照明方向及び照度の異なる多様な照明環境を仮想的に実現し、各照明環境下で学習データの撮像を行うことできる。

【0107】

次に、図２に示した顔照合装置１０の各機能部をプログラムにより実現する場合について説明する。図１４は、図２に示した顔照合装置の各機能部をプログラムにより実現する場合の説明図である。同図に示すように、図２に示した顔照合装置１０は、ＣＰＵ１１１（メインメモリを含む）、フラッシュメモリ１１２、ディスプレイユニット１１３、操作受付ユニット１１４をバス１１９で接続した構成となる。

【0108】

ここで、このフラッシュメモリ１１２に顔照合プログラム１３０を記憶しておき、ＣＰＵ１１１は、この顔照合プログラム１３０をフラッシュメモリ１１２から読み出して図示しないメインメモリに展開し、顔照合プログラム１３０が有するプロセスを実行する。

【0109】

具体的には、かかる顔照合プログラム１３０により、照明影響基準データ生成プロセス１２０ａ、特徴量算出プロセス１２０ｂ、特徴変動率算出プロセス１２０ｃ、類似度算出プロセス１２０ｄ、領域重み算出プロセス１２０ｅ及び照合処理プロセス１２０ｆが生成される。

【0110】

この照明影響基準データ生成プロセス１２０ａが図２に示した照明影響基準データ生成部１４ａに対応し、特徴量算出プロセス１２０ｂが図２に示した特徴量算出部１４ｂに対応し、特徴変動率算出プロセス１２０ｃが図２に示した特徴変動率算出部１４ｃに対応し、類似度算出プロセス１２０ｄが図２に示した類似度算出部１４ｄに対応し、領域重み算出プロセス１２０ｅが図２に示した領域重み算出部１４ｅに対応し、照合処理プロセス１２０ｆが図２に示した及び照合処理部１４ｆに対応する。

【0111】

上述してきたように、本実施例に係る顔照合装置１０は、顔画像における照明の影響度を算出する際の基準となる照明影響基準データ１３ａを学習データから生成し、登録データ及び入力データの各局所領域における特徴変動率を照明影響基準データ１３ａから算出し、特徴変動率に応じた重み付き類似度により照合処理を行う。このため、登録データ及び入力データにおける照明環境が不明であったとしても、動的かつ適応的に照明影響を低減することができる。

【0112】

なお、上記実施例では、いずれかの登録特徴データと入力データとの総和類似度が閾値以上となった場合には報知を行なって処理を終了し、いずれの登録特徴データとの総和類似度も閾値未満であった場合にも報知を行なうこととしたが、照合結果をどのように出力するかは適宜設定可能である。

【0113】

例えば、全ての登録特徴データについて総和類似度を算出し、総和類似度が最大となる登録特徴データに関する情報を照合結果として出力することとしてもよい。また、総和類似度が閾値を超えた登録特徴データを全て照合結果として出力してもよい。また、いずれの登録特徴データとの総和類似度も閾値未満であった場合には、報知を行なわなくともよい。

【0114】

また、上記実施例では、特徴変動率によって重み付けを行った重み付き類似度を全て合計した総和類似度に基づいて照合を行う場合について説明を行ったが、特徴変動率の小さい局所領域の類似度を選択的に用いて照合処理を行ってもよい。

【0115】

また、上記実施例では、入力データと登録データの双方について特徴変動率を求め、その一方を類似度に対する重みの算出に使用する場合について説明を行ったが、入力データの特徴変動率と入力データの特徴変動率の双方を用いて類似度に対する重みを算出してもよい。また、入力データ又は登録データの一方についてのみ特徴変動率を算出し、類似度に対する重みを算出してもよい。例えば、登録データについては均一な照明環境下で撮像できるならば、入力データについてのみ特徴変動率を算出し、類似度に対する重みを算出すればよい。

【産業上の利用可能性】

【0116】

以上のように、本発明に係る顔照合装置、顔照合方法及び顔照合プログラムは、光源による影響を動的かつ適応的に低減することに適している。

【符号の説明】

【0117】

１０ 顔照合装置
１１ 画像入力受付部
１２ 表示操作部
１３ 記憶部
１３ａ 照明影響基準データ
１３ｂ 登録特徴データ
１３ｃ 特徴量
１３ｄ 特徴変動率
１４ 制御部
１４ａ 照明影響基準データ生成部
１４ｂ 特徴量算出部
１４ｃ 特徴変動率算出部
１４ｄ 類似度算出部
１４ｅ 領域重み算出部
１４ｆ 照合処理部
３１ 特徴量分布
３２ 特徴変動係数行列
３３ 照明変動ベクトル
４１ 特徴量算出部
４２ 特徴量分布算出部
４３，５３ 特徴変動量算出部
４４，５１ 低解像度化処理部
４５ 照明変動ベクトル算出部
４６，５２ 照明パラメータ算出部
４７ 特徴変動係数行列算出部
５４ 変動率算出処理部
６０ 撮像制御装置
６１ 撮像装置
７０ 照明制御装置
７１ ＬＥＤ照明

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】