特開 2017-182459 顔画像認証装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-182459(P2017-182459A)

(43)【公開日】2017年10月5日

(54)【発明の名称】顔画像認証装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170908BHJP

【ＦＩ】

   G06T7/00 510B

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

【全頁数】13

(21)【出願番号】特願2016-68693(P2016-68693)

(22)【出願日】2016年3月30日

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(72)【発明者】

【氏名】木谷 朋之

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA04

5B043AA09

5B043BA04

5B043EA07

5B043EA08

5B043EA09

5B043EA12

5B043EA13

5B043GA02

(57)【要約】      （修正有）

【課題】似た眼鏡をかけた人物が複数登録されていても他人受理を防止できる顔画像認証装置を提供する。
【解決手段】本発明の顔画像認証装置１は、顔画像摂動手段４３、摂動類似度算出手段４５、統合類似度算出手段４６を有する。顔画像摂動手段４３は、入力顔画像をロール角方向に所定の角度ずつ摂動、すなわち回転させた摂動顔画像を生成し、摂動類似度算出手段４５は、登録顔画像との摂動類似度をその角度ごとに求める。統合類似度算出手段４６は、最高の摂動類似度の角度を摂動中心角度に選び、さらに摂動中心角度を含む範囲の角度にて求められた摂動類似度から統合類似度を計算することで、傾いた眼鏡の影響を排除して認証する。その際、摂動中心角度近傍の角度にて求められた摂動類似度を統合類似度の計算には用いず、さらに角度変化に対する摂動類似度の変化の様子を参照するのが好適である。
【選択図】図２

【特許請求の範囲】

【請求項1】

登録者の登録顔画像を記憶する記憶部と、
入力顔画像と前記登録顔画像のいずれか一方を参照顔画像とし、他方を予め定めた複数の摂動角度だけ回転させて当該摂動角度ごとの摂動顔画像を生成する顔画像摂動手段と、
前記参照顔画像を前記摂動角度ごとの前記摂動顔画像のそれぞれと比較して、前記摂動角度ごとの摂動類似度を算出する摂動類似度算出手段と、
前記摂動類似度のうち最大の前記摂動類似度が算出された摂動角度を摂動中心角度とし、当該摂動中心角度との差が予め定めた上限角度以下である判定用範囲を設定して、当該判定用範囲の摂動角度について算出された前記摂動類似度を統合して統合類似度を求める統合類似度算出手段と、
前記統合類似度が認証閾値以上であると前記入力顔画像の人物が前記登録者であると判定する認証判定手段と
を有することを特徴とした顔画像認証装置。

【請求項2】

前記統合類似度算出手段は、前記判定用範囲を、前記摂動中心角度との差が前記上限角度よりも小さい下限角度以下の範囲を除外して設定し、前記統合類似度を求めることを特徴とした請求項１に記載の顔画像認証装置。

【請求項3】

前記統合類似度算出手段は、前記判定用範囲の摂動角度について算出された前記摂動類似度の平均を前記統合類似度として求めることを特徴とした請求項１または２に記載の顔画像認証装置。

【請求項4】

前記統合類似度算出手段は、前記摂動中心角度との差が前記上限角度よりも小さい角度以下である前記摂動角度について算出された前記摂動類似度の平均値と前記判定用範囲の摂動角度について算出された前記摂動類似度の平均値との差が大きいほど前記統合類似度を小さく補正することを特徴とした請求項１から３のいずれか１項に記載の顔画像認証装置。

【請求項5】

前記統合類似度算出手段は、前記判定用範囲の摂動角度について算出された前記摂動類似度の分散が大きいほど前記統合類似度を小さく補正することを特徴とした請求項３または４に記載の顔画像認証装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、入力顔画像の人物が登録者であるか否かを判定する顔画像認証装置に関する。

【背景技術】

【0002】

顔画像認証装置には、予め登録された登録者以外の他人をその登録者として認証してしまう他人受理と、登録者本人の認証に失敗する本人棄却の両方を低減することが求められる。例えば、顔画像認証装置を機密性が求められる部屋への入室資格を有するか否かの判定に用いる場合、他人受理は情報漏洩につながりかねないので許されない。一方で、利便性の観点から、眼鏡などを装着していても本人棄却が発生しないことが求められる。

【0003】

特許文献１には、本人棄却をしないよう眼鏡を装着した顔画像を登録して、さらに登録者が眼鏡を装着している場合に判定を厳しくして他人受理を防ぐ技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２−１６０００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、本人自身では気がつかない程度であっても眼鏡が傾いている場合、眼鏡の傾きの影響で登録された顔画像と入力された顔画像とが全体として類似していないと判断され他人棄却が発生しかねない。さらには似た眼鏡で登録している人物が他におり、入力顔画像の眼鏡の傾きが本人の登録顔画像よりも他人の登録顔画像の傾きに近いと、本人どうしの類似度と他人どうしの類似度が近くなりやすい。すると特許文献１に開示された顔画像認証装置によって他人受理の防止を図ると、眼鏡が傾いている場合に本人棄却となってしまう。

【0006】

さらには眼鏡の傾きに限らず、笑顔の口元から覗く歯や加齢に伴い際立つ鼻唇溝（ほうれい線）などの要因でも同様な現象が発生することが確認されている。つまり類似度の算出の際に登録顔画像と入力顔画像とで揃うべき顔画像の傾きがずれてしまい、いわば傾きの基準が不明確になっているということができる。

【0007】

本発明は上記問題点を解決するためになされたものであり、眼鏡の装着状態や表情等により顔画像の傾きが不明確となっても本人棄却を防止できる顔画像認証装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

かかる課題を解決するため本発明は、登録者の登録顔画像を記憶する記憶部と、入力顔画像と登録顔画像のいずれか一方を参照顔画像とし、他方を予め定めた複数の摂動角度だけ回転させて摂動角度ごとの摂動顔画像を生成する顔画像摂動手段と、参照顔画像を摂動角度ごとの摂動顔画像のそれぞれと比較して、摂動角度ごとの摂動類似度を算出する摂動類似度算出手段と、摂動類似度のうち最大の摂動類似度が算出された摂動角度を摂動中心角度とし、摂動中心角度との差が予め定めた上限角度以下である判定用範囲を設定して、判定用範囲の摂動角度について算出された摂動類似度を統合して統合類似度を求める統合類似度算出手段と、統合類似度が認証閾値以上であると入力顔画像の人物が登録者であると判定する認証判定手段とを有することを特徴とした顔画像認証装置を提供する。

【0009】

本発明にかかる顔画像認証装置において統合類似度算出手段は、判定用範囲を、摂動中心角度との差が上限角度よりも小さい下限角度以下の範囲を除外して設定し、統合類似度を求めることが好適である。

【0010】

本発明にかかる顔画像認証装置において統合類似度算出手段は、判定用範囲の摂動角度について算出された摂動類似度の平均を統合類似度として求めることが好適である。

【0011】

本発明にかかる顔画像認証装置において統合類似度算出手段は、摂動中心角度との差が上限角度よりも小さい角度以下である摂動角度について算出された摂動類似度の平均値と判定用範囲の摂動角度について算出された摂動類似度の平均値との差が大きいほど統合類似度を小さく補正することが好適である。

【0012】

本発明にかかる顔画像認証装置において統合類似度算出手段は、判定用範囲の摂動角度について算出された摂動類似度の分散が大きいほど統合類似度を小さく補正することが好適である。

【発明の効果】

【0013】

本発明に係る顔画像認証装置は、形が似た眼鏡を装着する登録者が他に登録されていても、顔画像を用いて対象者を認証するか否かを正確に判定可能な顔画像認証装置を提供できるという効果を奏する。

【図面の簡単な説明】

【0014】

【図1】本発明の一実施形態にかかる顔画像認証装置が設置され運用される様子の模式図である。

【図2】本発明にかかる顔画像認証装置のブロック図である。

【図3】入力顔画像から抽出された特徴点と摂動中心点を示す図である。

【図4】摂動中心点を中心に摂動させた摂動顔画像を示す図である。

【図5】認証処理に用いる特徴量を例示する図である。

【図6】摂動角に対する摂動類似度の変化を示す図である。

【図7】摂動中心角を基準にした摂動類似度を本人どうしと他人どうしとで比較した図である。

【図8】摂動類似度を統合する範囲を示す図である。

【図9】本発明の一実施形態にかかる顔画像認証装置の動作を示すフロー図である。

【発明を実施するための形態】

【0015】

以下、本発明を出入管理システムに適用した場合の一実施形態について図を参照しつつ説明する。
図１は、本実施の形態にかかる顔画像認証装置が適用された出入管理システムが設置され、運用される様子を示す模式図である。
図１に示すように、顔画像認証装置１は、電気錠制御装置３を介して不図示の電気錠を制御することにより部屋の入口４の出入を管理する。撮像装置２は、入口４に通じる通路を撮影領域として撮影できるように入口４の近傍の壁面または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像装置２は、進行方向６に沿って入口４に向かう人物５を撮像することができる。

【0016】

撮像装置２は、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に撮影領域の像を結像するための結像光学系を有する。撮像装置２は、撮影領域内を通行する人物５の顔を順次撮影できるように人物の進行方向６の略正面に設置される。そして撮像装置２は、所定の時間間隔（例えば、200msec）ごとに、撮影領域を撮影して入力画像を取得する。入力画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、入力画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、入力画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。撮像装置２は、顔画像認証装置１と接続され、取得した入力画像を顔画像認証装置１へ出力する。

【0017】

電気錠制御装置３は、不図示の電気錠を制御する制御装置である。電気錠制御装置３は、顔画像認証装置１と接続され、顔画像認証装置１からの信号に従って、電気錠を施錠又は解錠する。電気錠は、入口４を常時施錠としており、顔画像認証装置１が人物５を通行許可された正当な権限を有すると判定すると、顔画像認証装置１から解錠の信号を受け、例えば５秒のみ解錠する。その後、人物５が入口４を通行するか、一定時間経過後（例えば５秒後）に自動的に施錠する。

【0018】

顔画像認証装置１は、ＣＰＵ、ＭＰＵ、周辺回路、端子、各種メモリなどから構成され、撮像装置２が取得した入力画像から、人物５の顔画像を抽出後、認証し、人物５が入口４の通行を許可された人物であると認証されれば電気錠制御装置３に対して電気錠（不図示）の解錠制御信号を出力する。
顔画像認証装置１は、顔画像取得部１０、出力部２０、記憶部３０、画像処理部４０から構成される。以下、顔画像認証装置１の各部について図２を参照して詳細に説明する。

【0019】

画像取得部１０は、撮像装置２と接続されるインターフェース回路、例えばビデオインターフェース及びオーディオインターフェースあるいはユニバーサル・シリアル・バスといったシリアルバスに準じるインターフェース回路を有する。画像取得部１０は、撮像装置２から入力画像を取得して画像処理部４０へ出力する。なお、本実施形態では、画像取得部１０は、撮像装置２が撮影した順に入力画像を画像処理部４０へ出力するが、ハードディスク等の媒体から入力画像を撮影時刻の古い順に取得し、画像処理部４０へ出力するようにしてもよい。

【0020】

出力部２０は、外部の接続機器である電気錠制御装置３と接続するインターフェース及びその制御回路である。そして出力部２０は、画像処理部４０から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置３に対して解錠制御を行う信号を出力する。また、出力部２０は、不図示の認証結果表示ランプと接続され、画像処理部４０から人物についての認証成功、認証失敗を示す信号を受け取ると、その認証結果に応じて当該認証結果表示ランプを点灯または消灯させてもよい。あるいは、ネットワーク接続することとして、認証結果を遠隔地に設置された監視センタ装置へ出力するようにしてもよい。

【0021】

記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部３０は、顔画像認証装置１を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部４０との間でこれらの情報を入出力する。
各種データには、入口４の通行を許可されている登録者の氏名、登録者ＩＤ及び登録顔画像等の登録者データ３１が含まれる。

【0022】

登録者データ３１の一部である登録顔画像は認証処理に用いられる。顔画像そのものが記憶されてもよいが、予め特徴量を成分とする特徴量ベクトルを求めておき記憶しておく。顔画像そのものが記憶されている場合は、特徴量を成分とした特徴量ベクトルを認証処理のたびに求める。登録顔画像と特徴量ベクトルの両方が記憶されてもよい。登録顔画像が記憶される場合には、後述する特徴点が登録作業の際に設定された上で登録されるのが好適である。
一人分の登録者データ３１には１枚または複数枚分の登録顔画像または特徴量ベクトルを用意する。
記憶部３０には、撮像装置２が取得した入力画像から人物５の画像を抽出する際の背景差分処理に用いるために、撮影領域が無人のときに取得した背景画像を記憶してもよい。

【0023】

画像処理部４０は、例えば、いわゆるコンピュータにより構成され、撮像装置２から取得した入力画像に対し記憶部３０を参照しながら各種処理を実行し、その処理結果を出力部２０に外部へ出力させる。そのために画像処理部４０は、顔検出手段４１、摂動中心点算出手段４２、顔画像摂動手段４３、特徴量算出手段４４、摂動類似度算出手段４５、統合類似度算出手段４６、認証判定手段４７を有する。
画像処理部４０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、画像処理部４０の各手段について詳細に説明する。

【0024】

顔検出手段４１は、画像取得部１０から入力された入力画像から人物５の顔部分を検出して入力顔画像とし、正規化の後に摂動中心点算出手段４２に出力する。
顔部分の検出は、従来から提案されている周知の方法を適宜採用すればよい。例えば、記憶部３０に予め背景画像を記憶しておいて、画素ごとに入力画像と一定以上の差がある変化領域を人物５の全身の領域として抽出し、その変化領域内部にてエッジを抽出して二値化し、楕円形状を検出する一般化ハフ変換を作用させて顔部分から入力顔画像を切り出せばよい。あるいは多数の顔画像を学習データとして用意し、統計的な学習処理により顔部分を直接抽出する識別器を構築して用いてもよい。

【0025】

そして顔検出手段４１は、検出した入力顔画像から周知の手法にて特徴点を抽出する。特徴点を抽出した結果を図３に示す。図３には、入力顔画像３００について●印に示すように右目中心３０１、左目中心３０２、鼻尖点３０３、口点３０４などから抽出された特徴点が合計２０点について示されている。
顔検出手段４１は、抽出された特徴点を用いて入力顔画像の正規化処理を行う。そのために右目中心３０１と左目中心３０２を結んだ直線を考え、その直線が予め決めておいた長さになるように入力顔画像を拡大縮小する。

【0026】

摂動中心点算出手段４２は、顔検出手段４１にて検出された入力顔画像を後述する顔画像摂動手段４３にて摂動させる際の中心となる摂動中心点を算出する。本発明においては、摂動とは顔画像についてのロール角方向の回転を意味する。
摂動中心点算出手段４２は、図３の入力顔画像３００に定義された座標系（不図示）において、顔検出手段４１が抽出した特徴点からいくつかを選び、その座標値の平均値から摂動中心点３０５を求める。例えば右目中心点３０１、左目中心点３０２、鼻尖点３０３、口点３０４を用いればよい。全ての特徴点を用いてもよい。求めた摂動中心点３０５の座標情報および入力顔画像３００を顔画像摂動手段４３に出力する。

【0027】

顔画像摂動手段４３は、入力顔画像３００を摂動中心点３０５を中心に画像のロール角方向に所定の摂動角だけ回転させた摂動顔画像を生成する。
本発明でいうロール角方向について、図１を用いて説明する。図１において、撮像装置２と人物５の顔との位置関係を踏まえたＸＹＺ座標系を定義している。
Ｘ軸は人物５の顎から頭頂に向けて、Ｙ軸は人物５の左耳から右耳に向けて、Ｚ軸は撮像装置２から人物５の顔の表側を通り後頭部に向けて定義される。各軸はそれぞれ互いに直交しており、３次元直交座標系となっている。本発明でいうロール角方向とは、Ｚ軸の周りでの回転であり、矢印７に示す方向を正と定義する。

【0028】

図４を用いて摂動顔画像を説明する。
図４（ａ）には、入力顔画像３００に、摂動の基準となる正中線３０７が重ねて示されている。正中線３０７は顔の表面の左右方向の中央に、額から顎にかけて定義される基準線であり、本実施の形態では、既に特徴点の一部として抽出されている鼻根点３０６、鼻尖点３０３、口点３０４を結んだ直線として定義される。
図４（ａ）のように、回転処理を行わず顔検出手段４１にて検出されたそのままの状態を摂動角度が０度と定義し、時計回りを正の角度とする。

【0029】

そして図４（ｂ）に示すように、顔画像摂動手段４３は、摂動中心点３０５を中心に最大の摂動限界角度まで所定の刻みごとに摂動角度３０８だけに回転させ、それぞれの摂動角度の顔画像を摂動顔画像３０９として求める。
摂動限界角度は、顔画像認証技術において登録顔画像との照合処理を行う意味のある、人の顔らしい範囲として定義することができる。または、人の首の関節の可動範囲を考慮し、胴体や脚が直立の状態にて最大限頭部を左右方向に傾けられる角度から決めても良い。
あるいは、後述する特徴量算出手段４４にて用いる特徴量としてＨｏＧ特徴量を採用した場合には、直線成分の回転方向の分解能に基づいて決定してもよい。すなわち一般的なＨｏＧ特徴量は１回転を８方向に分割して、２２．５度ごとのエッジ強度をヒストグラム化して特徴量とするが、登録顔画像と入力顔画像との逆回転方向のずれを考慮して、その半分である１１．２５度を摂動限界角度の最低値とし、同一人物の登録顔画像と入力顔画像ならば同一人物と認証される最大の摂動角度を実験的に求め、摂動限界角度の最大値に設定すればよい。例えば摂動限界角度の最大値が実験的に２０度と求められた場合、本実施の形態では摂動限界角度を±１５度とする。
また摂動角度は１度刻みで変化させることとする。処理速度や精度との関係から刻みを１度よりも粗くても細かくても良い。

【0030】

特徴量算出手段４４は、摂動類似度算出手段４５にて摂動顔画像と登録者データ３１の登録顔画像との類似度計算に用いる特徴量を、摂動顔画像３０９から算出する。
特徴量は、図５に例を模式的に示すように、エッジの強度やエッジの方向に基づくものを好適なものとして用いることとする。本実施の形態では、ガボールウェーブレット特徴量５００や、ＨｏＧ特徴量５０１、周波数スペクトル（不図示）など顔画像認証の分野では周知のものを適宜選択して用いることとする。

【0031】

特徴量算出手段４４は、顔検出手段４１が抽出した各特徴点、本実施の形態では２０点について、それぞれの特徴点を中心に所定の大きさの小領域を定義し、当該小領域内部の画像から特徴量を求めることとする。小領域の大きさは用いる特徴量ごとに可変とすることができ、例えばＨｏＧ特徴量では３２×３２画素とすることができる。
または特徴量算出手段４４は、特徴点を中心にした小領域内部の画像からのみならず、摂動顔画像から全ての特徴点を含み、共通の形と大きさにて眉毛から鼻、顎付近にかけて切り出した矩形領域全体から特徴量を求めてもよい。
特徴量算出手段４４は、求めた特徴量を成分とする特徴量ベクトルを生成して、記憶部３０の一時記憶領域に記憶させるとともに、摂動類似度算出手段４５に出力する。

【0032】

摂動類似度算出手段４５は、摂動顔画像から求めた特徴量ベクトルと、記憶部３０に記憶されている各登録者の特徴量ベクトルとの類似度を、摂動角度を異ならせた摂動顔画像ごとに求めて、その登録者のその摂動角度における摂動類似度として記憶部３０に一時記憶させる。特徴量ベクトルどうしの類似度の算出方法は周知の方法でよく、０で除算しないよう留意しつつＬ２距離の逆数として定義すればよい。
さらに摂動類似度算出手段４５は、摂動類似度の最大値にて全ての摂動類似度を除算することにより最大１になるよう正規化する。
そして摂動類似度算出手段４５は、記憶部３０に記憶されている登録者データ３１ごとに同様の処理を行う。

【0033】

統合類似度算出手段４６は、記憶部３０に一時記憶されている摂動類似度を統合して、入力顔画像の人物と登録顔画像の人物が一致するか否かを判定するための統合類似度を算出する。本実施の形態では、摂動類似度の統合は平均処理とする。別の実施形態において統合類似度算出手段４６は、摂動類似度の分散値を求めてその分散値に応じた係数を摂動類似度の最高値から減算したり、除算して統合して
もよい。
この際、統合類似度算出手段４６は、単純に全ての摂動類似度を用いるのではなく、以下のような処理にて統合類似度を求める。図６を用いて説明する。
図６（ａ）には、摂動角度に対する摂動類似度の変化について、本人どうしの場合が符号８００の実線グラフにて、他人どうしの場合が符号８１０の一点鎖線のグラフにて示されている。

【0034】

ここで、摂動角度が０度付近の摂動類似度を参照して統合すると、必ずしも他人どうしの統合類似度よりも本人どうしの統合類似度が高くなるとは限らない。
これは図６（ｂ）に示す登録顔画像７１０において、登録作業時に登録者が気づかない程度に眼鏡７１１が向かって時計方向にわずかに傾いているのに対し、図６（ｃ）に示す入力顔画像７２０では逆に眼鏡７２１が向かって反時計方向にわずかに傾いている場合に発生する。
すなわち、登録顔画像７１０と入力顔画像７２０が同一人物のものであっても、摂動角度が０度では摂動類似度が最高にはならず図６（ａ）に示すように、摂動角度が数度の場合に最高値８０１をとることがある。
よって他人どうしの摂動類似度８１１と比較すると、摂動角度が０度付近の摂動類似度の統合では誤った認証結果につながりかねない。

【0035】

そこで統合類似度算出手段４６は、記憶部３０に記憶されている各登録者の摂動角度ごとの摂動類似度を参照して登録者ごとに摂動類似度の最高値を特定し、最高値が算出された摂動角度をその登録者の摂動中心角度として決定する。
そして統合類似度算出手段４６は、各登録者ごとの摂動類似度について摂動中心角度から一定範囲の摂動類似度を統合する。これにより、図７に示すように、仮に摂動中心角度では本人どうしの摂動類似度の最高値８０１の方が他人どうしの摂動類似度の最高値８１１よりも低くても、摂動中心角度を中心にした一定範囲を統合することにより本人の統合類似度の方が高くなり本人棄却が防止できることになる。

【0036】

さらに、統合類似度算出手段４６は、摂動類似度の統合処理にあたり、用いる摂動類似度の範囲を以下のように限定する。図８を用いて説明する。
図８（ａ）に示すように、統合類似度算出手段４６は、摂動中心角度６００を中心とし上限角度６０５を設定し、さらに上限角度６０５よりも小さな下限角度６０４を設定して、下限角度６０４から定まる特定範囲６０２に含まれる摂動角度について求められた摂動類似度は統合類似度の算出には用いず、下限角度６０４と上限角度６０５から定まる判定範囲６０３に含まれる摂動角度を用いて統合類似度を求めることとする。

【0037】

これは、図７からわかるように、摂動類似度は、最高値を示す摂動中心角度から摂動角度が大きくなるほど下がっていく。これは本人どうしであっても、眼鏡にしても鼻や口などの部位にしても、互いの位置がずれると類似しないことになるためである。
本人どうしの摂動類似度８００は摂動角度が摂動中心角度から離れると値は緩やかに下がっていく。これは、摂動類似度は顔画像の各部分から求められた特徴が合わせられているが、摂動類似度の値に影響を与える眼鏡のフレームから抽出されるエッジ情報に基づく類似度が下がっても、顔の他の部位からの類似度は下がりにくく、全体として摂動角度が大きくなっても類似度は高いままを維持する傾向にあるからである。
これに対し、他人どうしの摂動類似度８１０は、摂動角度が摂動中心角度から離れるほど値が急激に下がる傾向にある。これは、仮に摂動中心角度における摂動類似度が本人よりも高くなっても、摂動角度が大きくなると類似度に影響を与える眼鏡のフレームから抽出されるエッジ情報に基づく類似度が下がることに加え、顔の他の部位からの類似度は他人であるが故に当然値は下がるからである。

【0038】

従って、統合類似度算出手段４６における統合類似度の算出にあたっては、登録顔画像と入力顔画像とで顔の傾きが揃った状態と想定される摂動類似度が最大の摂動中心角度をまず特定して、図８（ａ）に示すように、その摂動中心角度から一定の範囲に含まれる摂動角度から求められた摂動類似度を統合するのが望ましいが、例外として特定範囲６０２に含まれる摂動角度から求められた摂動類似度は統合に用いず、判定範囲６０３に含まれる摂動角度から求められた摂動類似度を統合するのが好適となる。

【0039】

上限角度６０５は、本人どうしであれば摂動類似度が十分高い値を維持する範囲として実験的に決定するものする。本実施の形態では摂動中心角度６００から±１０度とする。計算負荷を考慮してより狭くしてもより広くしてもよい。または正の回転方向と負の回転方向のいずれかに偏って入力画像の顔が傾きやすい理由があるならば、その方向には大きめの範囲を設定するのが好適である。さらには摂動中心角度６００から正の回転方向または負の回転方向のみを設定して計算量削減を図ってもよい。
特定範囲６０２を定める下限角度６０４は、摂動中心角度６００における摂動類似度と大差が無い摂動類似度が求められる範囲とし、本実施の形態では摂動中心角度６００から±２度とする。摂動中心角度のみとしてもよく、さらに広い範囲としてもよい。

【0040】

本実施の形態では、統合類似度算出手段４６は、判定範囲６０３に含まれる摂動角度について求められた摂動類似度を平均して統合類似度を求めることとしているが、摂動類似度の平均をそのまま後述の認証判定手段４７にて用いるのではなく、本人と他人との峻別の性能向上を図るため、求められた統合類似度にさらに重み付けをすることも好適である。
例えば判定範囲６０３に含まれる摂動角度について求められた摂動類似度の分散値を求め、その値が大きいほど、統合類似度を小さくすべく０に近い１未満の正数を重みとして乗算する。これは、図７の他人どうしの摂動類似度８１０からわかるように、他人の場合には摂動角度が摂動中心角度から離れるほど、摂動類似度が急激に小さくなり、その変化が大きいほど他人らしいと考えられるからである。

【0041】

または、同様な理由により特定範囲６０２に含まれる摂動角度について求められた摂動類似度の平均値と、判定範囲６０３に含まれる摂動角度について求められた摂動類似度の平均値との差が大きいほど、統合類似度を小さくすべく０に近い１未満の正数を重みとして乗算してもよい。前者の平均が仮に高くても、後者の平均が低いと他人らしいと考えられるからである。特定範囲６０２に限らずそれに代えて、摂動類似度の平均値を求める範囲を摂動中心角度に近い狭い角度の範囲としてもよい。
あるいは、統合類似度を小さくするために、一旦求められた統合類似度から所定の正の定数を減算してもよい。
さらには、特定範囲の摂動角度から求められた摂動類似度の影響が小さいことが予見される場合には統合類似度の計算から除外せず、図８（ｂ）のように、判定範囲６０１を上限角度６０５から定めてもよい。

【0042】

認証判定手段４７は、統合類似度算出手段４６が算出した統合類似度を所定の認証閾値と比較し、超えている場合には登録顔画像の人物と入力顔画像の人物が同一人物であると判定し、その旨を出力部２０に出力する。
統合類似度が認証閾値を超える登録者が複数の場合には、統合類似度が最高の人物とする。

【0043】

以下、図９に示すフロー図を用いて本発明にかかる顔画像認証装置の動作を説明する。
ステップＳ１００にて、画像取得部１０は、撮像装置２から人物５が写った入力画像を取得し、画像処理部４０の顔検出手段４１に出力する。
ステップＳ１１０にて、顔検出手段４１は、入力画像から人物５の顔部分が写った入力顔画像を検出する処理を行う。顔が検出されなかった場合には、処理をステップＳ１００に戻し（ステップＳ１２０のＮｏの分岐）、顔が検出された場合には処理を次のステップＳ１３０に移す（同じくＹｅｓの分岐）

【0044】

ステップＳ１３０にて、顔検出手段４１は、図３に示したように入力顔画像から特徴点を公知の方法にて抽出する。本実施の形態では２０点を抽出する。
ステップＳ１４０にて、摂動中心点算出手段４２は、抽出された特徴点の一部または全部を用いてその座標値の平均から摂動中心点３０５を求める（図３参照）。
ステップＳ１５０とステップＳ１６０は、正および負の摂動限界角度の範囲内で、所定の刻みごと、例えば１度ごとに繰り返し行われる。
ステップＳ１５０にて、顔画像摂動手段４３は、摂動中心点３０５を中心に入力顔画像を摂動（回転）させ、摂動顔画像を生成する（図４参照）。
ステップＳ１６０にて、特徴量算出手段４４は、摂動顔画像における特徴点それぞれを中心にした小領域からＨｏＧ特徴量などの特徴量を算出し、特徴量ベクトルを求め記憶部３０に一時記憶する。

【0045】

ステップＳ１７０からステップＳ１９０は、記憶部３０に記憶されている登録者データ３１ごとに処理される。
ステップＳ１７０にて、摂動類似度算出手段４５は、ステップＳ１６０にて求められた摂動角度ごとの特徴量ベクトルと、処理対象となっている登録者の特徴量ベクトルとの類似度を求め、記憶部３０に一時記憶させる。
ステップＳ１８０にて、統合類似度算出手段４６は、記憶部３０に記憶されている摂動類似度の最大値を特定し、それに対応する摂動角度を摂動中心角度として決定する。

【0046】

ステップＳ１９０にて、統合類似度算出手段４６は、摂動中心角度を基準に、図８を用いて説明したように、判定範囲６０３に含まれる摂動角度についての摂動類似度を統合して統合類似度とする。摂動類似度の平均を統合類似度とすることができる。
そして統合類似度算出手段４６は、登録者データ３１ごとに求められた統合類似度を認証判定手段４７に出力する。

【0047】

ステップＳ２００にて、認証判定手段４７は、登録者データ３１ごとに求められた統合類似度のうち、最高値を特定し、それが予め定めた認証閾値を超えるか否かを調べる。超えない場合は（Ｎｏの分岐）、人物５は登録者ではないとして特に信号を出力することはせず、処理をステップＳ１００に戻す。すなわち電気錠（不図示）は施錠が維持されるため、人物５は入口４を通行することはできない。
統合類似度の最高値が認証閾値を超える場合には（Ｙｅｓの分岐）、認証に成功したとして認証判定手段４７は、その旨を出力部２０に出力し、出力部２０は電気錠を解錠するよう電気錠制御装置３に信号を出力する（ステップＳ２１０）。
これにより人物５は入口４を通行でき、入口４が閉じられると一定時間後に再度施錠され、処理をステップＳ１００に戻す。

【0048】

なお、ステップＳ１５０〜ステップＳ１９０では、一旦全ての摂動角度に対して摂動顔画像を求めてから、登録者データごとに統合類似度を求めることとしているが、計算の順番としてこれに代え、１つの摂動顔画像を求めるたびに登録者データそれぞれとの摂動類似度を計算して記憶部に記憶し、統合類似度を求めてもよい。

【0049】

これまで述べてきた実施の形態では、エッジ情報に基づくことを条件とした特徴量、例えばＨｏＧ特徴量などを適宜用い、摂動により本人どうしに比べると他人どうしでは摂動角度が大きくなると類似度が下がることを利用して本人と他人との判別を行うとしていた。さらに特徴量の設計に工夫を加えることもできる。
例えば様々な条件で取得された顔画像を学習データとして収集しておき、“Graph Embedding and Extensions: A General Framework for Dimensionality Reduction”,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 29, NO. 1, JANUARY 2007（Shuicheng Yan他）に開示されている方法によって、特徴量を投影した特徴量算出空間において、顔の向きや照明、年齢などの条件が変化することに対する、本人どうしの特徴量の変化、すなわち個人内変動よりも、他人どうしの特徴量の変化、すなわち他人間変動が小さくなるよう学習処理によって特徴量算出空間が形成されるのが好適である。
すなわち学習データにロール角方向の角度が異なる顔画像を含めておくことで、摂動角度が大きくなることによる類似度の変化が本人どうしよりも他人どうしの方が大きくなるようにすることができる。

【0050】

また本実施の形態では、入力顔画像を摂動させるものとして説明してきたが、それに代わり登録顔画像を摂動させることとしても、全く同じ手順にて認証処理ができる。この場合、記憶部に記憶される登録者データは、摂動中心点が求められている登録顔画像、または摂動限界角度までの全ての摂動角度ごとの特徴量ベクトルを予め記憶しておくのが好適である。

【符号の説明】

【0051】

４３・・・顔画像摂動手段
４５・・・摂動類似度算出手段
４６・・・統合類似度算出手段
３０５・・・摂動中心点
３０９・・・摂動顔画像
６０３・・・判定用範囲

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】