特開 2017-182606 特徴量抽出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-182606(P2017-182606A)

(43)【公開日】2017年10月5日

(54)【発明の名称】特徴量抽出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170908BHJP

【ＦＩ】

   G06T7/00 300F

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

【全頁数】22

(21)【出願番号】特願2016-71544(P2016-71544)

(22)【出願日】2016年3月31日

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】高田 直幸

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA04

5L096EA03

5L096EA13

5L096EA14

5L096EA35

5L096FA32

5L096FA33

5L096FA60

5L096FA69

5L096GA08

5L096HA09

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】簡易な処理で、微細な特徴を抽出することができるようにする。
【解決手段】記憶部３０は、複数の学習用顔画像から学習して求めた再構成基底を記憶している。再構成手段４１は、入力顔画像と再構成基底とを用いて入力顔画像を再構成した入力再構成顔画像を生成し、登録顔画像と再構成基底とを用いて登録顔画像を再構成した登録再構成顔画像を生成する。特徴量算出手段４２は、入力顔画像と入力再構成顔画像との差分画像から第一顔照合特徴量を抽出し、登録顔画像と登録再構成顔画像との差分画像から第二顔照合特徴量を抽出する。
【選択図】図２

【特許請求の範囲】

【請求項1】

物体を撮像した物体画像から特徴量を抽出する特徴量抽出装置であって、
複数の学習用物体画像に基づいて学習を行うことにより求めた基底ベクトルの集合である再構成基底を予め記憶した記憶部と、
前記物体画像と前記再構成基底とを用いて前記物体画像を再構成した再構成物体画像を生成する再構成物体画像生成手段と、
前記物体画像と前記再構成物体画像との差分画像から特徴量を抽出する特徴量抽出手段と、
を含む特徴量抽出装置。

【請求項2】

前記物体画像は、入力された入力物体画像、及び登録されている登録物体画像であり、
前記再構成物体画像生成手段は、前記再構成物体画像として、前記入力物体画像と前記再構成基底とを用いて前記入力物体画像を再構成した入力再構成物体画像を生成し、
前記特徴量抽出手段は、前記特徴量として、前記入力物体画像と前記入力再構成物体画像との差分画像である第一差分画像から第一特徴量を抽出すると共に、前記登録物体画像と前記入力再構成物体画像との差分画像である第二差分画像から第二特徴量を抽出し、
前記第一特徴量と前記第二特徴量との比較により前記入力物体画像と前記登録物体画像とを画像照合する照合手段を更に含む請求項１記載の特徴量抽出装置。

【請求項3】

前記物体画像は、入力された入力物体画像、及び登録されている登録物体画像であり、
前記再構成物体画像生成手段は、前記再構成物体画像として、前記入力物体画像と前記再構成基底とを用いて前記入力物体画像を再構成した入力再構成物体画像、及び前記登録物体画像と前記再構成基底とを用いて前記登録物体画像を再構成した登録再構成物体画像を生成し、
前記特徴量抽出手段は、前記特徴量として、前記入力物体画像と前記入力再構成物体画像との差分画像である第一差分画像から第一特徴量を抽出すると共に、前記登録物体画像と前記登録再構成物体画像との差分画像である第二差分画像から第二特徴量を抽出し、
前記第一特徴量と前記第二特徴量との比較により前記入力物体画像と前記登録物体画像とを画像照合する照合手段を更に含む請求項１記載の特徴量抽出装置。

【請求項4】

前記物体画像は、入力された入力物体画像、及び登録されている登録物体画像であり、
前記再構成物体画像生成手段は、前記再構成物体画像として、前記登録物体画像と前記再構成基底とを用いて前記登録物体画像を再構成した登録再構成物体画像を生成し、
前記特徴量抽出手段は、前記特徴量として、前記入力物体画像と前記登録再構成物体画像との差分画像である第一差分画像から第一特徴量を抽出すると共に、前記登録物体画像と前記登録再構成物体画像との差分画像である第二差分画像から第二特徴量を抽出し、
前記第一特徴量と前記第二特徴量との比較により前記入力物体画像と前記登録物体画像とを画像照合する照合手段を更に含む請求項１記載の特徴量抽出装置。

【請求項5】

前記特徴量抽出手段は、前記第一差分画像と前記入力物体画像とから前記第一特徴量を抽出し、前記第二差分画像と前記登録物体画像とから前記第二特徴量を抽出する請求項２〜請求項４の何れか一項に記載の特徴量抽出装置。

【請求項6】

前記特徴量抽出手段は、前記第一特徴量として、前記第一差分画像の各画素を前記学習により求まる再構成残差の分散値で除算した画像から特徴量を抽出する請求項２〜請求項５の何れか一項に記載の特徴量抽出装置。

【請求項7】

前記入力物体画像は、異なる時刻に撮像した複数の入力物体画像であり、
前記再構成物体画像生成手段は、前記複数の入力物体画像の各々について前記入力再構成物体画像を生成し、
前記特徴量抽出手段は、各入力物体画像について該入力物体画像に対応する前記入力再構成物体画像との前記第一差分画像を求め、各入力物体画像について求めた前記第一差分画像に基づいて得られる統合差分画像から前記第一特徴量を抽出する請求項２又は請求項３に記載の特徴量抽出装置。

【請求項8】

前記特徴量抽出手段は、前記第一差分画像における所定閾値以上の画素値の画素位置を前記第一特徴量として抽出し、前記第二差分画像における前記所定閾値以上の画素値の画素位置を前記第二特徴量として抽出する請求項２〜請求項７の何れか一項に記載の特徴量抽出装置。

【請求項9】

前記基底ベクトルの集合に含まれる基底ベクトルの数を、前記学習用物体画像と、前記学習用物体画像及び前記再構成基底を用いて再構成した再構成物体画像との残差が予め定められた範囲内となるように設定した請求項１〜請求項８の何れか一項に記載の特徴量抽出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、特徴量抽出装置に係り、特に、物体画像から特徴量を抽出する特徴量抽出装置に関する。

【背景技術】

【0002】

従来、対象者の顔を撮影して取得した２次元の顔画像と登録された顔画像とを照合することで、その対象者を認証する顔画像認証装置が提案されている。このような顔画像認証装置は、事前に取得した対象者本人の登録顔画像と、利用時に取得した入力顔画像とを照合して類似度を算出し、類似度を用いて一致判定を行った結果に基づいて認証の可否を決定する。そのため、登録顔画像と入力顔画像との間に、顔の向きや表情などにおいて差異が生じていると類似度が低くなり、認証の誤り率が高くなる。

【0003】

登録顔画像と入力顔画像とを照合して本人確認を行う方法としては、非特許文献１に開示されているように、大きさと位置を正規化した顔画像中の各画素の輝度値列からなる特徴ベクトルの部分空間を主成分分析により生成し、入力顔画像と登録顔画像との特徴ベクトルを前記部分空間上に射影して類似度を算出し、照合判定を行う固有顔（Eigenface）法が広く知られている。

【0004】

非特許文献１の従来技術によれば、顔の向きや表情の変化によって顔画像中に部分的なゆがみが生じ、登録顔画像と入力顔画像との間で特徴ベクトルの各要素に対応する画素の位置関係が変わると、類似度が低くなり認証の可否が正しく判定できない問題があった。

【0005】

こうした問題に対し、個人性による顔画像の変動を表す部分空間と、照明条件や表情の変動による顔画像の変動を表す部分空間とを分離して推定し、個人性による顔画像の変動を表す部分空間への射影によって照合判定を行う方法が、非特許文献２で開示されている。

【0006】

非特許文献２の従来技術によれば、個人性による顔画像の変動を表す部分空間に特徴ベクトルを射影することで、照明条件や表情の変動の影響が低減され、非特許文献１の従来技術の問題点を緩和することができる。また、主成分分析で求められた固有値が大きい固有ベクトルで構成される空間とは異なり、非特許文献２の従来技術で求められた部分空間にはシャープな特徴が残る為、低次元の部分空間でも、目や鼻の形状といった共通的な顔面特徴を反映した照合が可能となる。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】M. Turk and A. Pentland, “Face Recognition using Eigenfaces”, IEEE Conference on Computer Vision and Pattern Recognition, Maui, HI, June 1991.

【非特許文献2】Simon J.D. Prince, James H. Elder, “Probabilistic Linear Discriminant Analysis for Inferences About Identity”, IEEE 11th International Conference on Computer Vision, 2007

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、シミやホクロといった微細な特徴を部分空間に反映するためには、当該部分空間を非常に高い次元数で構成する必要があり、計算の精度や処理時間の問題から現実的ではなかった。

【0009】

本発明は、簡易な処理で、微細な特徴を抽出することができる特徴量抽出装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の目的を達成するために本発明に係る特徴量抽出装置は、物体を撮像した物体画像から特徴量を抽出する特徴量抽出装置であって、複数の学習用物体画像に基づいて学習を行うことにより求めた基底ベクトルの集合である再構成基底を予め記憶した記憶部と、前記物体画像と前記再構成基底とを用いて前記物体画像を再構成した再構成物体画像を生成する再構成物体画像生成手段と、前記物体画像と前記再構成物体画像との差分画像から特徴量を抽出する特徴量抽出手段と、を含んで構成されている。

【0011】

本発明に係る物体画像は、入力された入力物体画像、及び登録されている登録物体画像であり、前記再構成物体画像生成手段は、前記再構成物体画像として、前記入力物体画像と前記再構成基底とを用いて前記入力物体画像を再構成した入力再構成物体画像を生成し、前記特徴量抽出手段は、前記特徴量として、前記入力物体画像と前記入力再構成物体画像との差分画像である第一差分画像から第一特徴量を抽出すると共に、前記登録物体画像と前記入力再構成物体画像との差分画像である第二差分画像から第二特徴量を抽出し、前記第一特徴量と前記第二特徴量との比較により前記入力物体画像と前記登録物体画像とを画像照合する照合手段を更に含むことができる。

【0012】

本発明に係る物体画像は、入力された入力物体画像、及び登録されている登録物体画像であり、前記再構成物体画像生成手段は、前記再構成物体画像として、前記入力物体画像と前記再構成基底とを用いて前記入力物体画像を再構成した入力再構成物体画像、及び前記登録物体画像と前記再構成基底とを用いて前記登録物体画像を再構成した登録再構成物体画像を生成し、前記特徴量抽出手段は、前記特徴量として、前記入力物体画像と前記入力再構成物体画像との差分画像である第一差分画像から第一特徴量を抽出すると共に、前記登録物体画像と前記登録再構成物体画像との差分画像である第二差分画像から第二特徴量を抽出し、前記第一特徴量と前記第二特徴量との比較により前記入力物体画像と前記登録物体画像とを画像照合する照合手段を更に含むことができる。

【0013】

本発明に係る物体画像は、入力された入力物体画像、及び登録されている登録物体画像であり、前記再構成物体画像生成手段は、前記再構成物体画像として、前記登録物体画像と前記再構成基底とを用いて前記登録物体画像を再構成した登録再構成物体画像を生成し、前記特徴量抽出手段は、前記特徴量として、前記入力物体画像と前記登録再構成物体画像との差分画像である第一差分画像から第一特徴量を抽出すると共に、前記登録物体画像と前記登録再構成物体画像との差分画像である第二差分画像から第二特徴量を抽出し、前記第一特徴量と前記第二特徴量との比較により前記入力物体画像と前記登録物体画像とを画像照合する照合手段を更に含むことができる。

【0014】

本発明に係る特徴量抽出手段は、前記第一差分画像と前記入力物体画像とから前記第一特徴量を抽出し、前記第二差分画像と前記登録物体画像とから前記第二特徴量を抽出することができる。

【0015】

本発明に係る特徴量抽出手段は、前記第一特徴量として、前記第一差分画像の各画素を前記学習により求まる再構成残差の分散値で除算した画像から特徴量を抽出することができる。

【0016】

本発明に係る特徴量抽出手段は、前記第一差分画像における所定閾値以上の画素値の画素位置を前記第一特徴量として抽出し、前記第二差分画像における前記所定閾値以上の画素値の画素位置を前記第二特徴量として抽出することができる。

【0017】

本発明に係る入力物体画像は、異なる時刻に撮像した複数の入力物体画像であり、前記再構成物体画像生成手段は、前記複数の入力物体画像の各々について前記入力再構成物体画像を生成し、前記特徴量抽出手段は、各入力物体画像について該入力物体画像に対応する前記入力再構成物体画像との前記第一差分画像を求め、各入力物体画像について求めた前記第一差分画像に基づいて得られる統合差分画像から前記第一特徴量を抽出することができる。

【0018】

本発明に係る再構成基底に含まれる基底ベクトルの数を、前記学習用物体画像と、前記学習用物体画像及び前記再構成基底を用いて再構成した再構成物体画像との残差が予め定められた範囲内となるように設定することができる。

【発明の効果】

【0019】

以上説明したように、本発明の特徴量抽出装置によれば、物体画像と再構成基底とを用いて物体画像を再構成した再構成物体画像を生成し、物体画像と再構成物体画像との差分画像から特徴量を抽出することにより、簡易な処理で、微細な特徴を抽出することができる、という効果が得られる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態に係る出入管理システムの構成を示す概略図である。

【図2】本発明の実施の形態に係る顔画像認証装置の構成を示すブロック図である。

【図3】顔画像の特徴点及び矩形を説明するための図である。

【図4】矩形で切り出しを行なった顔領域画像の一例を示す図である。

【図5】（Ａ）は顔領域画像の例を示す図、及び（Ｂ）は再構成顔画像の例を示す図である。

【図6】差分画像の例を示す図である。

【図7】差分画像に対して閾値処理を施した結果を示す図である。

【図8】本発明の実施の形態に係る顔画像認証装置による認証処理の動作を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、出入管理システムに本発明を適用し、物体画像として、入力顔画像及び登録顔画像を用い、入力顔画像と登録顔画像とを照合する場合を例に説明する。

【0022】

＜システム構成＞
以下、部屋の入口の出入を管理するための出入管理システム１００の設置例を模式的に示した図１と、本発明を適用した出入管理システム１００の概略構成を示した図２を参照し、本発明の実施の形態の構成を説明する。

【0023】

（出入管理システム１００）
出入管理システム１００は、撮像装置１、電気錠制御装置２、および顔画像認証装置３を有する。図１に示す模式図では、撮像装置１、電気錠制御装置２、および顔画像認証装置３が部屋の出入口付近に配置されている。図１に示すように、撮像装置１は、入口１０１に通じる通路を撮影領域として撮影できるように入口１０１の近傍の壁面または天井に、撮影方向をやや下方へ向け、入口１０１に通ずる通路側へ向けた状態で取り付けられる。これにより、撮像装置１は、進行方向１０２に沿って入口１０１に向かう人物１１０を撮像することができる。

【0024】

顔画像認証装置３は、電気錠制御装置２を介して電気錠１０４を制御することにより部屋の入口１０１の出入を管理する。入口１０１には、扉１０３が設けられ、扉１０３には電気錠１０４が設けられる。電気錠１０４は、顔画像認証装置３により施錠及び解錠の制御が可能となっている。電気錠１０４は、扉１０３を常時施錠しており、顔画像認証装置３にて通行が許可された人物であると認証できれば一定時間（例えば５秒）のみ解錠される。なお、電気錠１０４は、解錠され扉が開けられた後、扉が閉じて一定時間が経過すると、自動的に施錠される。

【0025】

以下、図２を参照して、顔画像認証装置３について詳細に説明する。図２は、本発明を適用した出入管理システム１００の概略構成を示す図である。

【0026】

（撮像装置１）
撮像装置１は、図１に示したように所定の撮影領域を撮影する監視カメラである。撮像装置１は、顔画像認証装置３と接続され、取得した入力画像を顔画像認証装置３へ出力する。

【0027】

（電気錠制御装置２）
電気錠制御装置２は、顔画像認証装置３と接続され、顔画像認証装置３からの信号に従って、電気錠１０４を施錠又は解錠する。

【0028】

（顔画像認証装置３）
顔画像認証装置３は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成され、撮像装置１が撮影した人物の顔画像を認証し、入口１０１の通行を許可された人物であると認証されれば電気錠制御装置２に対して電気錠１０４の制御信号を出力する。顔画像認証装置３は、機能的には、顔画像取得部１０、出力部２０、記憶部３０、及び画像処理部４０から構成される。以下、顔画像認証装置３の各部について詳細に説明する。

【0029】

（顔画像取得部１０）
顔画像取得部１０は撮像装置１と接続され、撮像装置１が撮影した入力画像から、人物の顔を含む顔領域画像を抽出し、画像処理部４０に出力する。前記入力画像に複数の人物の顔が撮影されている場合は、複数の人物毎に、順次顔領域画像を抽出し、画像処理部４０に出力する。

【0030】

顔領域画像の抽出に際しては、後述する画像再構成処理が可能な状態となるように顔領域画像の切り出し位置、及びサイズを正規化する。具体的には、顔領域画像から両目中心、鼻頂点、及び口中心の４点の特徴点を抽出し、両目間のピクセル数が既定値になるように顔画像の拡大縮小を行うとともに、前記４点の特徴点の重心位置を中心とした所定のサイズの矩形で切り出す。ここでの両目間ピクセル数、及び矩形の切り出しサイズは、再構成基底の算出に先立って位置合わせした学習用顔画像の両目間ピクセル数、及び矩形の切り出しサイズと同値とする。

【0031】

なお、顔領域画像の抽出方法、および顔特徴点の抽出方法は従来から多数提案されており、適宜公知の方法を採用すれば良い。例えば、顔画像や顔特徴点周辺の画像を学習した識別器と呼ばれるフィルタにて抽出する方法や、入力画像の二値化エッジ画像を生成し、当該エッジ画像において顔の形状である楕円形状部分や、顔特徴点周辺の特徴的な形状を検出する方法を採用すれば良い。

【0032】

（出力部２０）
出力部２０は、外部の接続機器である電気錠制御装置２と接続されたインターフェース及びその制御回路である。出力部２０は、画像処理部４０から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置２に対して認証成功の旨を示す信号を出力する。

【0033】

（記憶部３０）
記憶部３０は、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部３０は、顔画像認証装置３を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部４０との間でこれらの情報を入出力する。各種データには、再構成基底３１、及び入口１０１の通行を許可されている登録者の登録顔画像３３を示すデータが含まれる。

【0034】

（再構成基底３１）
再構成基底３１は、人物の顔画像を再構成する部分空間を表す基底ベクトルの集合である。当該基底ベクトルの要素数は、再構成手段４１が出力する画像の画素数と同じであり、人物の顔画像は、当該基底ベクトルの線形和によって再構成される。再構成基底３１に含まれる基底ベクトルの数は有限であり、例えば、多数の人物の顔画像に対して因子分析を適用することで既定数の基底ベクトルを求めることができる。

【0035】

以下、学習用に用意したＮ枚の人物の顔画像に対して因子分析を適用し、Ｍ個の基底ベクトルを求める手順を具体的に説明する。以下の説明では、再構成手段４１が出力する画像の画素数をＤとし、因子分析を適用する人物の顔画像をＤ次元のベクトル

、Ｎ枚の人物の顔画像の平均を同じくＤ次元のベクトル

、Ｍ個の基底ベクトルからなる部分空間をＤ×Ｍの行列

で表す。

【0036】

学習に先立って、Ｎ枚の人物の顔画像の位置合わせを行う。位置合わせの方法には、例えば、両目間ピクセル数と顔画像の重心を合わせる方法がある。具体的には、図３に示すように顔画像３００から両目中心、鼻頂点、及び口中心の特徴点３０１を抽出し、両目間のピクセル数が既定値になるように顔画像の拡大縮小を行うとともに、前記４点の特徴点の重心位置３０２を中心とする所定のサイズの矩形３０３で切り出しを行なう。図４に両目間ピクセル数が100となるように拡大縮小し、特徴点重心を中心とする１辺192ピクセルの矩形で切り出しを行なった顔画像を例示する。

【0037】

人物の顔画像

は、部分空間内の座標を表すＭ次元のベクトル

と、再構成の残差を表すＤ次元のベクトル

を用いて、式（１）で表せると仮定する。

【0038】

【数1】

（１）

【0039】

再構成の残差を表すＤ次元のベクトル

が平均0、分散行列

の正規分布に従うとすると、

の尤度を最大化する

を求めるEM（expectation−maximization）アルゴリズムは、式（２）で与えられる。

【0040】

【数2】

（２）

【0041】

まず、

に任意の初期値を設定し、式（２）に示したE-Stepで

および

の期待値

を求める。次に、M-StepでE-Stepで求めた

、
を用いて新たな

を求める。このE-StepとM-Stepを繰り返すことで、学習用の人物の顔画像

に対する尤度を最大化する

が得られる。こうして得られた

を再構成基底３１として、記憶部30に記憶する。

【0042】

再構成基底

を構成する基底の数Ｍについては、顔画像の次元数Ｄに比べて十分に小さく、かつ、任意の学習用の顔画像

と、顔画像

を再構成基底

で再構成した再構成顔画像

との残差Ｅ_iが十分に小さくなる程度の数に設定する。残差Ｅ_iについては、式（３）で表されるピクセル単位の差分量などで表し、任意の学習用の顔画像

に対し残差Ｅ_iが予め定められた範囲（例えば、10から20までの範囲）内となるように基底の数Ｍを設定する。

【0043】

【数3】

（３）

【0044】

再構成顔画像

については、上記式（２）で求められる顔画像

に対応する再構成基底

からなる部分空間内の座標

の期待値

を用いて、式（４）により求めることができる。

【0045】

【数4】

（４）

【0046】

尚、再構成基底３１の算出法については、以上説明した因子分析法の他にも、主成分分析や独立成分分析、スパースコーディングなど、公知の様々な多変量解析手法が適用できるが、いずれの多変量解析手法を適用した場合でも、再構成基底を構成する基底の数Ｍについては、顔画像の次元数Ｄに比べて十分に小さく、かつ、顔画像と再構成基底３１による再構成顔画像との残差が十分に小さくなる程度の数に設定する。

【0047】

（登録顔画像３３）
登録顔画像３３は、予め出入を許可された人物の顔画像であり、入力された顔画像との認証に使用する。人物毎に、１枚または複数枚の顔画像が記憶される。

【0048】

（画像処理部４０）
画像処理部４０は、メモリ、その周辺回路及びそのマイクロプロセッサなどのいわゆるコンピュータにより構成され、顔画像取得部１０から取得した顔領域画像に対し記憶部３０を参照しながら各種処理を実行し、その処理結果を出力部２０に出力する。画像処理部４０は、再構成手段４１、特徴量算出手段４２、及び照合手段４３を有する。画像処理部４０の各手段は、マイクロプロセッサ上で動作するソフトウェアにより実現される機能モジュールである。

【0049】

（再構成手段４１）
再構成手段４１は、顔画像取得部１０で切り出し位置、及びサイズを正規化した顔領域画像を、記憶部３０に記憶されている再構成基底３１を参照して再構成する。

【0050】

以下、顔画像取得部１０が出力した顔領域画像のベクトルを

として、再構成手段４１における画像再構成処理を詳細に説明する。

【0051】

は、再構成基底の学習用顔画像と同様に、式（５）の形式で表せると仮定すると、式（５）中の

の期待値

は、式（２）のE-Stepで示した式と同様に、式（５）で求められる。

【0052】

【数5】

（５）

【数6】

（６）

【0053】

ここで求めた

の期待値

を用いて、式（７）により入力再構成顔画像

を得る。

【0054】

【数7】

（７）

【0055】

以上説明した方法では、再構成に使用する基底の寄与度を決定するにあたって、各基底方向の学習用の人物の顔画像

の広がりは考慮していない。すなわち、以上説明した方法で求めた再構成顔画像は、主成分分析で求められた固有値が大きい固有ベクトルで構成される空間に投影して得られる顔画像とは異なり、目や鼻の形といった顔面特徴を反映したシャープな画像となる特徴がある。図５に、顔領域画像の例５００と以上説明した方法による再構成顔画像５０１の例を示す。

【0056】

再構成手段４１は、顔画像取得部１０で取得した顔領域画像と同様に、登録顔画像３３を、記憶部３０に記憶されている再構成基底３１を参照して再構成して、登録再構成顔画像を得る。

【0057】

（特徴量算出手段４２）
特徴量算出手段４２は、顔画像取得部１０が出力した顔領域画像

と、再構成手段４１で求めた入力再構成顔画像

の差分画像である第一差分画像を求め、当該第一差分画像から顔画像の照合に用いる顔照合特徴量を算出する。

【0058】

入力顔画像

の輝度値が0〜255の8bit表現である場合、通常は再構成顔画像

の輝度値も同様に0〜255の範囲で値をとる。したがって、従来の特徴量算出の方法を適用する為に、差分画像についても輝度値が0〜255の8bit表現とする場合には、例えば式（８）に示すような値域変換を適用して、差分画像

を得る。

【0059】

【数8】

（８）

【0060】

以上で説明した通り、再構成手段４１で求めた再構成顔画像

は、図５（Ｂ）の再構成顔画像５０１に示すように目や鼻の形といった顔面特徴を反映したシャープな画像となる特徴がある為、差分画像

には、主にホクロやシミといった個人間で発生位置が異なるような微細な特徴が反映される。図６に差分画像

の例６００と、差分画像６００上に現れたホクロの特徴６０１を示す。

【0061】

特徴量算出手段４２は少なくとも、以上の手順で求めた第一差分画像

から顔画像の照合に用いる第一顔照合特徴量を算出する。顔照合特徴量の算出については、例えばLBP（Local Binary Pattern）など、種々様々な公知の方法が利用できるので、詳細の説明は省略する。特徴量算出手段４２は、第一差分画像

に限らず、顔領域画像

や入力再構成顔画像

からも顔照合特徴量を抽出しても良い。

【0062】

特徴量算出手段４２は、顔画像取得部１０が出力した顔領域画像と同様に、登録顔画像３３についても、登録顔画像３３と再構成手段４１で求めた登録再構成顔画像との差分画像である第二差分画像を求め、当該第二差分画像から顔画像の照合に用いる第二顔照合特徴量を算出する。

【0063】

本実施の形態では、画像処理部４０は、記憶部３０に記憶されているすべての登録顔画像３３について登録顔画像３３から登録再構成顔画像および第二差分画像を求め、予め第二顔照合特徴量を算出しておく。なお、画像処理部４０は、顔領域画像を照合する度に、各登録顔画像３３についての第二顔照合特徴量を算出してもよい。

【0064】

（照合手段４３）
照合手段４３は、顔画像取得部１０が出力した顔領域画像と、記憶部３０に記憶されている全ての登録顔画像３３とを照合する。

【0065】

以下、照合手段４３における照合処理を詳細に説明する。まず、顔領域画像から算出した第一顔照合特徴量と、登録顔画像３３から算出した第二顔照合特徴量との類似度を求め、当該類似度が最大となる登録顔画像３３を選択し、当該類似度が認証閾値以上である場合に、顔領域画像に写っている顔が当該登録顔画像３３に対応する登録者の顔であると判定する。

【0066】

顔領域画像から算出した第一顔照合特徴量と、登録顔画像３３から算出した第二顔照合特徴量との類似度の算出法については、正規化相関値やL2距離の逆数等、特徴量算出手段４２で算出した特徴量に合わせて、種々様々な公知の方法から選択すればよいので、詳細の説明は省略する。

【0067】

照合手段４３は、登録者の顔であると判定すると、出力部２０に認証成功を示す信号を出力し、電気錠制御装置２に対して解錠制御を行う信号を出力させる。

【0068】

＜顔画像認証装置の動作＞
以下、図８に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置３による認証処理の動作を説明する。なお、以下に説明する動作は、入力画像を１つ取得するごとに実行される。

【0069】

最初に、顔画像認証装置３の顔画像取得部１０は、撮像装置１が撮影した入力画像を取得する（ステップＳ１０１）。そして、顔画像取得部１０は当該入力顔画像から顔領域画像を抽出する（ステップＳ１０２）。顔画像取得部１０は、１つ以上の顔領域画像が抽出されたか否かを判定し（ステップＳ１０３）、顔領域画像が全く抽出されなかった場合には以降の処理を行わず、認証処理を終了する。一方、１つ以上の顔領域画像が抽出された場合、顔画像取得部１０は、ステップＳ１０４に処理を移行させる。

【0070】

以下のステップＳ１０４〜Ｓ１０９の処理は、顔画像取得部１０が抽出した顔領域画像ごとに行われる。

【0071】

再構成手段４１は、記憶部３０に記憶されている再構成基底３１を参照して、顔領域画像

から入力再構成顔画像

を求める（ステップＳ１０４）。次に、特徴量算出手段４２は、顔領域画像

と再構成手段４１が出力した入力再構成顔画像

から第一差分画像

を求め（ステップＳ１０５）、第一差分画像

から第一顔照合特徴量を求める（ステップＳ１０６）。

【0072】

次に、照合手段４３は、特徴量算出手段４２が算出した第一顔照合特徴量と、記憶部３０に記憶された全ての登録顔画像３３の第二顔照合特徴量との類似度を算出し、類似度が最も高くなる登録顔画像３３を選択する（ステップＳ１０７）。選択された登録顔画像３３における類似度が認証閾値以上である場合（ステップＳ１０８）、顔領域画像に写る人物の顔は、当該登録顔画像３３に対応する登録者の顔であると判定し、出力部２０に認証成功を示す信号を出力する（ステップＳ１０９）。認証成功を示す信号が出力部２０に出力された場合、出力部２０から電気錠制御装置２に対して解錠制御を行う信号が出力される。一方、選択された登録顔画像３３における類似度が認証閾値未満である場合、照合手段４３は、特に処理を行わない。

【0073】

全ての顔領域画像についてステップＳ１０４〜１０９の処理が終わると、画像処理部４０は、一連のステップを終了する。

【0074】

以上説明してきたように、本発明の実施の形態に係る顔画像認証装置は、顔領域画像と再構成基底とを用いて顔領域画像を再構成した入力再構成顔画像を生成し、顔領域画像と入力再構成顔画像との差分画像から特徴量を抽出することにより、顔画像からホクロやシミといった個人特有の微細な特徴を表す顔照合特徴量を抽出することができる。この結果、双子など目鼻口等の器官の形状が非常に類似しているが、ホクロやシミなどの個人特有の特徴は異なる人物の識別において、高い識別精度を得ることが可能となる。

【0075】

＜変形例＞
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、顔画像取得部１０は、撮像装置１が撮影した入力画像を処理して、画像処理部４０へ出力するが、ハードディスク等の媒体から入力画像を取得し、顔領域画像を抽出した上で画像処理部４０へ出力してもよい。

【0076】

また、本実施の形態では、認証結果を通行の可否に使用するので電気錠制御装置２へ認証結果を出力しているが、一般公衆回線や携帯電話回線などの通信回線を介して、認証結果を監視センタ装置などの外部装置へ出力してもよい。また、外部装置への出力とせずに、認証結果を表示するランプを顔画像認証装置３に設けておき、認証結果を通行者に知らせてもよい。

【0077】

また、上記の実施の形態では、第一差分画像を求める場合の再構成顔画像として入力再構成顔画像を用い、かつ、第二差分画像を求める場合の再構成顔画像として登録再構成顔画像を用いる例について説明したが、再構成顔画像として、登録再構成顔画像を用いることなく入力再構成顔画像を用いて第一差分画像及び第二差分画像の各々を求めてもよく、再構成顔画像として、入力再構成顔画像を用いることなく登録再構成顔画像を用いて第一差分画像及び第二差分画像の各々を求めてもよい。

【0078】

再構成顔画像として入力再構成顔画像を用いて第一差分画像及び第二差分画像の各々を求める場合は、顔領域画像と入力再構成顔画像との差分画像を第一差分画像として求め、求めた第一差分画像から第一顔照合特徴量を抽出し、登録顔画像と入力再構成顔画像との差分画像を第二差分画像として求め、求めた第二差分画像から第二顔照合特徴量を抽出する。

【0079】

また、再構成顔画像として登録再構成顔画像を用いて第一差分画像及び第二差分画像の各々を求める場合は、顔領域画像と登録再構成顔画像との差分画像を第一差分画像として求め、求めた第一差分画像から第一顔照合特徴量を抽出し、登録顔画像と登録再構成顔画像との差分画像を第二差分画像として求め、求めた第二差分画像から第二顔照合特徴量を抽出する。

【0080】

また、本実施形態では、特徴量算出手段４２は、単純な差分演算によって差分画像のベクトル

を求めているが、図６に示すように、再構成残差が大きい部分にも差分が現れる。そこで、入力顔画像のベクトル

と再構成顔画像のベクトル

との差に対し、画素毎に、再構成基底３１の算出時に求めた再構成残差の分散行列

の対角成分で除算する等して、第一差分画像を求めることにより、残差の影響を低減するように構成しても良い。例えば、式（９）のようにして差分画像

の各ピクセルの画素値を求めても良い。

【0081】

【数9】

（９）
ただし、

はそれぞれ、

の要素であり、

である。

【0082】

さらには、特徴量算出手段４２で求めた差分画像

について絶対値が所定閾値以上のピクセルを抽出し、当該ピクセルの位置情報を、個人特有の特徴を有する位置情報を表す顔照合特徴量として抽出しても良い。この場合には、顔領域画像についての第一差分画像から、絶対値が所定閾値以上のピクセルを抽出し、当該ピクセルの位置情報を、第一顔照合特徴量として抽出し、登録顔画像についての第二差分画像の各々から、絶対値が所定閾値以上のピクセルを抽出し、当該ピクセルの位置情報を、第二顔照合特徴量として抽出する。

【0083】

また、図７に示すように、上記式（９）で求めた差分画像

の各ピクセルに対して、画素値が所定閾値未満の場合は画素値を０にする閾値処理を施してもよい。こうした画像から画像特徴量やピーク位置を顔照合特徴量として抽出して比較してもよい。これにより、個人特有の特徴を有する位置情報の照合が可能となる。

【0084】

さらには、特徴量算出手段４２で求めた差分画像を時間方向に蓄積し、かつ、平均した統合差分画像を、差分画像

としても良い。この場合には、再構成手段４１は、異なる時刻に撮像した複数の入力顔画像の各々について入力再構成顔画像を求め、特徴量算出手段４２は、各入力顔画像について該入力顔画像に対応する入力再構成顔画像との第一差分画像を求め、各入力顔画像について求めた第一差分画像を平均して得られる統合差分画像から第一顔照合特徴量を抽出するようにすればよい。

【0085】

また、顔画像認証装置に本発明を適用する場合を例に説明したが、これに限定されるものではない。例えば、入力された顔画像が表わす顔の状態を推定する装置に、本発明を適用してもよい。この場合、入力された顔画像について抽出された特徴量から、顔の状態を推定するようにすればよい。

【0086】

また、入力された顔画像の特徴量を抽出して画像照合を行う場合を例に説明したが、これに限定されるものではなく、顔以外の形状を有する物体を表す画像の特徴量を抽出して、画像照合を行うようにしても良い。例えば、車を表す画像の特徴量を抽出して、画像照合を行うようにしても良い。

【0087】

以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0088】

１ 撮像装置
２ 電気錠制御装置
３ 顔画像認証装置
１０ 顔画像取得部
３０ 記憶部
３１ 再構成基底
３３ 登録顔画像
４０ 画像処理部
４１ 再構成手段
４２ 特徴量算出手段
４３ 照合手段
１００ 出入管理システム
３００ 顔画像
５０１ 再構成顔画像
６００ 差分画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】