特開 2017-182605 参照点位置決定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2017-182605(P2017-182605A)

(43)【公開日】2017年10月5日

(54)【発明の名称】参照点位置決定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20170908BHJP

   G06T 1/00 20060101ALI20170908BHJP

【ＦＩ】

   G06T7/00 C

   G06T1/00 340A

   G06T7/00 510B

【審査請求】有

【請求項の数】9

【出願形態】ＯＬ

【全頁数】18

(21)【出願番号】特願2016-71543(P2016-71543)

(22)【出願日】2016年3月31日

(71)【出願人】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】特許業務法人太陽国際特許事務所

(72)【発明者】

【氏名】高田 直幸

【テーマコード（参考）】

5B043

5B057

5L096

【Ｆターム（参考）】

5B043AA04

5B043AA09

5B043BA04

5B043EA05

5B043GA02

5B057BA02

5B057DA07

5B057DB02

5B057DC05

5B057DC08

5L096BA08

5L096BA18

5L096CA02

5L096FA06

5L096FA66

5L096FA69

5L096HA07

(57)【要約】

【課題】物体の向きに依らずに、物体全体から特徴を抽出するための参照位置を安定して決定することができるようにする。
【解決手段】記憶部３０に、三次元の物体モデルにおける複数の基準３Ｄ特徴点３１及び複数の基準３Ｄ参照点３２を予め記憶する。位置合わせ手段４１は、顔領域画像から抽出した複数の抽出特徴点と複数の基準３Ｄ特徴点３１との二次元空間及び三次元空間の少なくとも一方におけるずれが最小となるように、顔領域画像が表す顔の三次元形状の向き及び形状の少なくとも一方を補正するパラメータを位置合わせパラメータとして求める。参照点位置決定手段４２は、位置合わせパラメータを用いて顔領域画像に、複数の基準３Ｄ参照点３２を射影して、顔領域画像の複数の参照点の各々の位置を求める。
【選択図】図２

【特許請求の範囲】

【請求項1】

物体を撮像した入力物体画像における複数の参照点の各々の位置を決定する参照点位置決定装置であって、
三次元の物体モデルにおける複数の特徴点の各々の三次元位置を表す複数の基準３Ｄ特徴点と、前記三次元の物体モデルにおける複数の参照点の各々の三次元位置を表す複数の基準３Ｄ参照点とを予め記憶した記憶手段と、
前記入力物体画像から抽出した複数の抽出特徴点と前記複数の基準３Ｄ特徴点との二次元空間及び三次元空間の少なくとも一方におけるずれが最小となるように、前記入力物体画像が表す物体の三次元形状の向き及び形状の少なくとも一方を補正するパラメータを位置合わせパラメータとして求める位置合わせ手段と、
前記位置合わせパラメータを用いて前記入力物体画像に、前記複数の基準３Ｄ参照点を射影して、前記入力物体画像の複数の参照点の各々の位置を求める参照点位置決定手段と、
を含む参照点位置決定装置。

【請求項2】

前記位置合わせ手段は、前記パラメータを用いて前記基準３Ｄ特徴点を前記入力物体画像に射影した基準２Ｄ特徴点と、該基準２Ｄ特徴点に対応する前記抽出特徴点との画像上における位置ずれが最小となるよう前記位置合わせパラメータを求める請求項１に記載の参照点位置決定装置。

【請求項3】

前記位置合わせ手段は、前記パラメータを用いて前記抽出特徴点を三次元空間に逆投影した直線と、該抽出特徴点に対応する前記基準３Ｄ特徴点と、の三次元空間における距離の総和を用いて、前記ずれが最小となるよう前記位置合わせパラメータを求める請求項１に記載の参照点位置決定装置。

【請求項4】

前記位置合わせ手段は、
予め定められた３次元形状モデル上に配置した、前記複数の基準３Ｄ特徴点に対応する複数の３Ｄ特徴点と、前記複数の３Ｄ特徴点の各々の部位画像情報とに基づいて、前記複数の３Ｄ特徴点の各々に対し、前記パラメータを用いて前記３Ｄ特徴点を前記入力物体画像上に投影した位置での画像情報と、前記３Ｄ特徴点の前記部位画像情報とに基づいて算出される、前記３Ｄ特徴点の適合度を表す局所尤度の総和が最大となるよう、当該３Ｄ特徴点の各々の三次元位置を前記複数の抽出特徴点の各々の三次元位置として求めると共に、前記位置合わせパラメータを求める請求項１〜請求項３の何れか一項に記載の参照点位置決定装置。

【請求項5】

前記参照点位置決定手段は、前記位置合わせ手段によって求められた前記複数の抽出特徴点の各々の三次元位置と、前記複数の基準３Ｄ特徴点の各々の三次元位置とに基づいて、前記複数の基準３Ｄ参照点に対応する、前記入力物体画像が表す物体の三次元形状における複数の３Ｄ参照点を求め、
前記位置合わせパラメータを用いて前記入力物体画像に、前記複数の３Ｄ参照点を射影して、前記入力物体画像の複数の参照点の位置を求める請求項４記載の参照点位置決定装置。

【請求項6】

前記複数の基準３Ｄ参照点を、前記物体の全体に略均等に配置されるように設定されたものとした請求項１〜５の何れか一項に記載の参照点位置決定装置。

【請求項7】

前記複数の基準３Ｄ参照点を、前記三次元の物体モデルの略正対する位置にある平面上に均等間隔に配置した点を前記三次元の物体モデルの三次元形状に逆投影することにより得られたものとした請求項６記載の参照点位置決定装置。

【請求項8】

前記複数の基準３Ｄ参照点を、前記物体の画像特徴が変動することが予め予想される位置については前記基準３Ｄ参照点を配置しないように設定されたものとした請求項５又は請求項７に記載の参照点位置決定装置。

【請求項9】

前記参照点位置決定手段によって求められた前記複数の参照点の位置に基づいて、前記入力物体画像から、登録物体画像と照合するための特徴量を抽出する特徴量抽出手段を更に含む請求項１〜請求項８の何れか一項に記載の参照点位置決定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、参照点位置決定装置に係り、特に、入力物体画像における参照点の位置を決定する参照点位置決定装置に関する。

【背景技術】

【0002】

従来、対象者の顔を撮影して取得した２次元の顔画像を登録された顔画像と照合することで、その対象者を認証する顔画像認証装置が提案されている。このような顔画像認証装置は、事前に取得した対象者本人の登録顔画像と、利用時に取得した入力顔画像とを照合して類似度を算出し、類似度を用いた一致判定を行った結果に基づいて認証の可否を決定する。そのため、登録顔画像と入力顔画像との間に、顔の向きや表情などにおいて差異が生じていると類似度が低くなり、認証の誤り率が高くなる。

【0003】

登録顔画像と入力顔画像とを照合して本人確認を行う方法としては、非特許文献１に開示されているように、大きさと位置を正規化した顔画像中の各画素の輝度値列からなる特徴ベクトルの部分空間を主成分分析により生成し、入力顔画像と登録顔画像との特徴ベクトルを前記部分空間上に射影して類似度を算出し、照合判定を行う固有顔（Eigenface）法が広く知られている。

【0004】

非特許文献１の従来技術によれば、顔の向きや表情の変化によって顔画像中に部分的なゆがみが生じ、登録顔画像と入力顔画像との間で特徴ベクトルの各要素に対応する画素の位置関係が変わると、類似度が低くなり認証の可否が正しく判定できない問題があった。

【0005】

こうした問題に対し、目鼻口といった器官の端や輪郭上に特徴点を設定し、登録顔画像と入力顔画像の双方から特徴点を抽出して特徴点周辺の画素情報から特徴ベクトルを求め、当該特徴ベクトルの比較によって類似度を算出し、照合判定を行う方法が、非特許文献２で開示されている。

【0006】

非特許文献２の従来技術によれば、目鼻口といった器官の端や輪郭には特徴的な画像特徴が現れる為、顔の向きや表情の変化に追従して特徴点を抽出することが可能であり、これによって、登録顔画像と入力顔画像との間で、特徴ベクトルを算出する位置の対応関係を保つことができ、非特許文献１の従来技術の問題点を緩和することができる。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】M. Turk and A. Pentland, “Face Recognition using Eigenfaces”, IEEE Conference on Computer Vision and Pattern Recognition, Maui, HI, June 1991.

【非特許文献2】Wiskott, L et al., “Face Recognition by Elastic Bunch Graph Matching”, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, p.775-779, 1997

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、特徴点の位置が目鼻口といった特徴的な画像特徴が現れる器官の周辺に限定される為、上記非特許文献２の従来技術では、頬や額等の肌部分から特徴ベクトルを求めることができない、すなわち顔全体から特徴ベクトルを求めることができないという問題があった。

【0009】

本発明は、物体の向きに依らずに、物体全体から特徴を抽出するための参照位置を安定して決定することができる参照点位置決定装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記の目的を達成するために本発明に係る参照点位置決定装置は、物体を撮像した入力物体画像における複数の参照点の各々の位置を決定する参照点位置決定装置であって、三次元の物体モデルにおける複数の特徴点の各々の三次元位置を表す複数の基準３Ｄ特徴点と、前記三次元の物体モデルにおける複数の参照点の各々の三次元位置を表す複数の基準３Ｄ参照点とを予め記憶した記憶手段と、前記入力物体画像から抽出した複数の抽出特徴点と前記複数の基準３Ｄ特徴点との二次元空間及び三次元空間の少なくとも一方におけるずれが最小となるように、前記入力物体画像が表す物体の三次元形状の向き及び形状の少なくとも一方を補正するパラメータを位置合わせパラメータとして求める位置合わせ手段と、前記位置合わせパラメータを用いて前記入力物体画像に、前記複数の基準３Ｄ参照点を射影して、前記入力物体画像の複数の参照点の各々の位置を求める参照点位置決定手段と、を含んで構成されている。

【0011】

本発明に係る位置合わせ手段は、前記パラメータを用いて前記基準３Ｄ特徴点を前記入力物体画像に射影した基準２Ｄ特徴点と、該基準２Ｄ特徴点に対応する前記抽出特徴点との画像上における位置ずれが最小となるよう前記位置合わせパラメータを求めることができる。

【0012】

本発明に係る位置合わせ手段は、前記パラメータを用いて前記抽出特徴点を三次元空間に逆投影した直線と、該抽出特徴点に対応する前記基準３Ｄ特徴点と、の三次元空間における距離の総和を用いて、前記ずれが最小となるよう前記位置合わせパラメータを求めることができる。

【0013】

本発明に係る位置合わせ手段は、予め定められた３次元形状モデル上に配置した、前記複数の基準３Ｄ特徴点に対応する複数の３Ｄ特徴点と、前記複数の３Ｄ特徴点の各々の部位画像情報とに基づいて、前記複数の３Ｄ特徴点の各々に対し、前記パラメータを用いて前記３Ｄ特徴点を前記入力物体画像上に投影した位置での画像情報と、前記３Ｄ特徴点の前記部位画像情報とに基づいて算出される、前記３Ｄ特徴点の適合度を表す局所尤度の総和が最大となるよう、当該３Ｄ特徴点の各々の三次元位置を前記複数の抽出特徴点の各々の三次元位置として求めると共に、前記位置合わせパラメータを求めることができる。

【0014】

本発明に係る参照点位置決定手段は、前記位置合わせ手段によって求められた前記複数の抽出特徴点の各々の三次元位置と、前記複数の基準３Ｄ特徴点の各々の三次元位置とに基づいて、前記複数の基準３Ｄ参照点に対応する、前記入力物体画像が表す物体の三次元形状における複数の３Ｄ参照点を求め、前記位置合わせパラメータを用いて前記入力物体画像に、前記複数の３Ｄ参照点を射影して、前記入力物体画像の複数の参照点の位置を求めることができる。

【0015】

本発明に係る複数の基準３Ｄ参照点を、前記物体の全体に略均等に配置されるように設定することができる。

【0016】

本発明に係る複数の基準３Ｄ参照点は、前記三次元の物体モデルの略正対する位置にある平面上に均等間隔に配置した点を前記三次元の物体モデルの三次元形状に逆投影することにより得られることができる。

【0017】

本発明に係る複数の基準３Ｄ参照点を、前記物体の画像特徴が変動することが予め予想される位置については前記基準３Ｄ参照点を配置しないように設定することができる。

【0018】

本発明に係る参照点位置決定手段によって求められた前記複数の参照点の位置に基づいて、前記入力物体画像から、登録物体画像と照合するための特徴量を抽出する特徴量抽出手段を更に含むことができる。

【発明の効果】

【0019】

以上説明したように、本発明の参照点位置決定装置によれば、入力物体画像から抽出した複数の抽出特徴点と複数の基準３Ｄ特徴点との二次元空間又は三次元空間の少なくとも一方におけるずれが最小となるよう求めた位置合わせパラメータを用いて、入力物体画像に、複数の基準３Ｄ参照点を射影して、入力物体画像の複数の参照点の位置を求めることにより、物体の向きに依らずに、物体全体から特徴を抽出するための参照位置を安定して決定することができる、という効果が得られる。

【図面の簡単な説明】

【0020】

【図1】本発明の実施の形態に係る出入管理システムの構成を示す概略図である。

【図2】本発明の実施の形態に係る顔画像認証装置の構成を示すブロック図である。

【図3】標準的な人物顔の３次元形状上に配置した基準３Ｄ特徴点の模式図である。

【図4】正面を向いた標準的な人物顔の３次元形状に対して基準３Ｄ特徴点を配置した例を示す図である。

【図5】正面を向いた標準的な人物顔の３次元形状に対して基準３Ｄ参照点を配置した例を示す図である。

【図6】画像特徴が変動することが予想される顔部位については基準３Ｄ参照点を配置しないようにした例を示す図である。

【図7】顔領域画像から抽出した顔特徴点と、基準３Ｄ特徴点を顔領域画像に位置合わせパラメータで射影した基準２Ｄ特徴点の例を示す図である。

【図8】顔領域画像の顔向きに合わせて配置された２Ｄ参照点の例を示す図である。

【図9】顔領域画像の顔特徴点の各々の三次元位置である３Ｄ特徴点と、位置合わせパラメータを用いて座標変換した基準３Ｄ特徴点との例を示す図である。

【図10】個人の特徴点位置に合わせた摂動３Ｄ参照点の例を示す図である。

【図11】基準３Ｄ特徴点、基準３Ｄ参照点、３Ｄ特徴点、及び摂動３Ｄ参照点の例を示す図である。

【図12】本発明の実施の形態に係る顔画像認証装置による認証処理の動作を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、出入管理システムに本発明を適用した場合を例に説明する。

【0022】

＜システム構成＞
以下、部屋の入口の出入を管理するための出入管理システム１００の設置例を模式的に示した図１と、本発明を適用した出入管理システム１００の概略構成を示した図２を参照し、本発明の実施の形態の構成を説明する。

【0023】

（出入管理システム１００）
出入管理システム１００は、撮像装置１、電気錠制御装置２、および顔画像認証装置３を有する。図１に示す模式図では、撮像装置１、電気錠制御装置２、および顔画像認証装置３が部屋の出入口付近に配置されている。図１に示すように、撮像装置１は、入口１０１に通じる通路を撮影領域として撮影できるように入口１０１の近傍の壁面または天井に、撮影方向をやや下方へ向け、入口１０１に通ずる通路側へ向けた状態で取り付けられる。これにより、撮像装置１は、進行方向１０２に沿って入口１０１に向かう人物１１０を撮像することができる。

【0024】

顔画像認証装置３は、電気錠制御装置２を介して電気錠１０４を制御することにより部屋の入口１０１の出入を管理する。入口１０１には、扉１０３が設けられ、扉１０３には電気錠１０４が設けられる。電気錠１０４は、顔画像認証装置３により施錠及び解錠の制御が可能となっている。電気錠１０４は、扉１０３を常時施錠しており、顔画像認証装置３にて通行が許可された人物であると認証できれば一定時間（例えば５秒）のみ解錠される。なお、電気錠１０４は、解錠され扉が開けられた後、扉が閉じて一定時間が経過すると、自動的に施錠される。

【0025】

以下、図２を参照して、顔画像認証装置３について詳細に説明する。図２は、本発明を適用した出入管理システム１００の概略構成を示す図である。

【0026】

（撮像装置１）
撮像装置１は、図１に示したように所定の撮影領域を撮影する監視カメラである。撮像装置１は、顔画像認証装置３と接続され、取得した入力画像を顔画像認証装置３へ出力する。

【0027】

（電気錠制御装置２）
電気錠制御装置２は、顔画像認証装置３と接続され、顔画像認証装置３からの信号に従って、電気錠１０４を施錠又は解錠する。

【0028】

（顔画像認証装置３）
顔画像認証装置３は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro−Processing Unit）、周辺回路、端子、及び各種メモリなどから構成され、撮像装置１が撮影した人物の顔画像を認証し、入口１０１の通行を許可された人物であると認証されれば電気錠制御装置２に対して電気錠１０４の制御信号を出力する。顔画像認証装置３は、機能的には、顔画像取得部１０、出力部２０、記憶部３０、及び画像処理部４０から構成される。以下、顔画像認証装置３の各部について詳細に説明する。

【0029】

（顔画像取得部１０）
顔画像取得部１０は撮像装置１と接続され、撮像装置１が撮影した入力画像から、人物の顔を含む顔領域画像を抽出し、画像処理部４０に出力する。前記入力画像に複数の人物顔が撮影されている場合は、順次顔領域画像を抽出し、画像処理部４０に出力する。

【0030】

なお、顔領域画像の抽出方法は従来から多数提案されており、適宜公知の方法を採用すれば良い。例えば、顔画像を学習した識別器と呼ばれるフィルタにて抽出する方法や、入力画像の二値化エッジ画像を生成し、当該エッジ画像において顔の形状である楕円形状部分を顔領域画像とする方法を採用すれば良い。

【0031】

（出力部２０）
出力部２０は、外部の接続機器である電気錠制御装置２と接続されたインターフェース及びその制御回路である。出力部２０は、画像処理部４０から人物についての認証成功を示す信号を受け取ると、接続されている電気錠制御装置２に対して認証成功の旨を示す信号を出力する。

【0032】

（記憶部３０）
記憶部３０は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の半導体メモリ、又は磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。記憶部３０は、顔画像認証装置３を制御するためのコンピュータプログラム及び各種データを記憶し、画像処理部４０との間でこれらの情報を入出力する。各種データには、基準３Ｄ特徴点３１、基準３Ｄ参照点３２、及び入口１０１の通行を許可されている登録者の登録顔画像３３が含まれる。

【0033】

（基準３Ｄ特徴点３１）
基準３Ｄ特徴点３１は、人物の顔の器官である「右目」、「左目」、「鼻」、及び「口」と、それぞれの器官に対応した「目尻」、「目頭」、「上瞼中心」、及び「下瞼中心」など、標準的な人物顔の３次元形状上の位置である。

【0034】

図３に、標準的な人物顔の３次元形状３００上に配置した基準３Ｄ特徴点３１の模式図を示す。例えば、図３のように、標準的な人物顔の３次元形状３００の重心を原点とし、水平軸であるＸ軸３０１、鉛直軸であるＹ軸３０２、及び奥行き軸であるＺ軸３０３を備えた直交座標系を採用し、部位として「右目」の特徴たる「目尻」の３次元座標（ｘ₁、ｙ₁、ｚ₁）を、「右目」及び「目尻」と対応付けて基準３Ｄ特徴点３１として記憶部３０に記憶している。なお、標準的な人物顔の３次元形状３００が、物体モデルの一例である。

【0035】

基準３Ｄ特徴点３１の数について特に制限はないが、人物の顔の器官の端や輪郭上などの２次元顔画像においても特徴的な画像特徴が得られる位置に配置する。図４に、正面を向いた標準的な人物顔の３次元形状３００（前記Ｘ軸３０１、Ｙ軸３０２、Ｚ軸３０３に対する回転角が０°の状態）に対して基準３Ｄ特徴点を配置した例を示す。この例では、２０点の基準３Ｄ特徴点が配置されている。

【0036】

なお、前記標準的な人物顔の３次元形状３００については、基準３Ｄ特徴点３１を求める際にのみ用意されていればよく、記憶部３０に常時記憶しておく必要はない。

【0037】

（基準３Ｄ参照点３２）
基準３Ｄ参照点３２は、前記標準的な人物顔の３次元形状３００上に、均等かつ顔全体に配置された点の位置である。

【0038】

図５に、正面を向いた標準的な人物顔の３次元形状３００（前記Ｘ軸３０１、Ｙ軸３０２、Ｚ軸３０３に対する回転角が０°の状態）に対して、Ｘ軸３０１の方向とＹ軸３０２の方向で規定される平面、すわなち、標準的な人物顔の３次元形状３００の略正対する位置にある平面上に、例えば１ｃｍ間隔で均等かつ顔全体に配置した点を、標準的な人物顔の３次元形状３００に射影することにより得られた、基準３Ｄ参照点３２の例を示す。この例では１６０点の基準３Ｄ参照点が配置されている。例えば、左上の基準３Ｄ参照点を第１番目として、右下に向けてラスタ走査順にシリアル番号を付与し、第n番目たる基準３Ｄ参照点の３次元座標（Ｘ_n、Ｙ_n、Ｚ_n）を、シリアル番号nと対応付けて基準３Ｄ参照点３２として記憶する。基準３Ｄ参照点３２の数については特に制限はないが、基準３Ｄ特徴点３１が配置されている顔の器官周辺だけでなく、頬の部分等、人物の顔の器官が存在しない場所にも配置することが望ましい。例えば、器官周辺の基準３Ｄ特徴点３１の補間点や補外点にも、基準３Ｄ特徴点３１を配置するようにしてもよい。

【0039】

なお、図６に示すように、装飾品の着脱や表情変動によって画像特徴が変動することが予想される顔部位については参照点を配置しない構成にしても良い。図６の例では、眼鏡の着脱、および口の開閉を想定し、目の周辺および口の中心部分に参照点を配置していない。

【0040】

（登録顔画像３３）
登録顔画像３３は、予め出入を許可された人物の顔画像であり、入力された顔画像との認証に使用する。１枚または複数枚の顔画像が記憶される。

【0041】

（画像処理部４０）
画像処理部４０は、メモリ、その周辺回路及びそのマイクロプロセッサなどのいわゆるコンピュータにより構成され、顔画像取得部１０から取得した顔画像に対し記憶部３０を参照しながら各種処理を実行し、その処理結果を出力部２０に出力する。画像処理部４０は、位置合わせ手段４１、参照点位置決定手段４２、及び顔照合手段４３を有する。画像処理部４０の各手段は、マイクロプロセッサ上で動作するソフトウェアにより実現される機能モジュールである。

【0042】

（位置合わせ手段４１）
位置合わせ手段４１は、顔画像取得部１０にて取得した顔領域画像の顔特徴点位置と、記憶部３０に記憶している基準３Ｄ特徴点３１の位置合わせを行う。

【0043】

具体的には、位置合わせ手段４１は、前記顔領域画像の顔特徴点と、基準３Ｄ特徴点３１を前記顔領域画像に射影した基準２Ｄ特徴点が十分に近くなるように、前記直交座標系内で標準的な３次元形状３００の位置や顔向きなどを調整し、少なくとも前記Ｘ軸３０１、Ｙ軸３０２、及びＺ軸３０３に対する並進（Ｔ_x，Ｔ_y，Ｔ_z）と回転角（Ｒ_x，Ｒ_y，Ｒ_z）とスケーリングパラメータｓを、前記顔領域画像の位置合わせパラメータとして得る。

【0044】

基準３Ｄ特徴点３１の前記顔領域画像への射影については、一般的な方法を採用すれば良い。例えばピンホールカメラモデルであれば、第n番目の基準３Ｄ特徴点３１の３次元座標を（ｘ_n、ｙ_n、ｚ_n）とすると、第n番目の基準３Ｄ特徴点３１を前記顔領域画像に射影した位置（ｘ_n´、ｙ_n´）は、並進（Ｔ_x，Ｔ_y，Ｔ_z）と回転角（Ｒ_x，Ｒ_y，Ｒ_z）とスケーリングパラメータｓとを用いて、式（１）で表すことができる。

【0045】

【数1】

（１）
ただし、

ここで、Tは、転置を表す。

【0046】

図７は、顔領域画像７００から抽出した顔特徴点７０１と、基準３Ｄ特徴点３１を顔領域画像に位置合わせパラメータ

で射影した基準２Ｄ特徴点７０２の例を示す。ここで、顔特徴点７０１は、個人の顔画像から抽出した特徴点となる為、標準的な人物顔の３次元形状３００上に配置された基準３Ｄ特徴点３１を射影した基準２Ｄ特徴点７０２とは、完全に一致した位置とはならない。したがって、前記位置合わせパラメータ

は、顔特徴点７０１と基準２Ｄ特徴点７０２の位置ずれを最小にするパラメータとして求められる。

【0047】

位置ずれについては、公知の様々な方法で定量化すれば良く、例えば、顔特徴点７０１と基準２Ｄ特徴点７０２の対応する各々の特徴点間で距離を求め、距離の総和を、位置ずれとしても良い。また、顔領域画像７００から抽出した顔特徴点７０１と、基準３Ｄ特徴点３１との三次元空間における位置ずれが最小となるように位置合わせパラメータを求めても良く、この場合には、例えば、顔特徴点７０１を３次元空間に逆投影した直線と、対応する基準３Ｄ特徴点３１との距離の総和を位置ずれとしても良い。

【0048】

また、前記顔領域画像の顔特徴点を抽出する為には、公知の様々な手法を用いることができる。例えば、前記顔領域画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出し、エッジ画素の位置、及びパターンなどに基づいて求めた特徴量が、目、鼻、及び口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに、顔の各部位に相当するテンプレートと顔領域画像７００とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。

【0049】

さらには、例えば特開２０１４−１７８８６２号公報で開示されている特徴点抽出方法を用いることで、前記顔領域画像の位置合わせパラメータとして、並進（Ｔ_x，Ｔ_y，Ｔ_z）と回転角（Ｒ_x，Ｒ_y，Ｒ_z）、スケーリングパラメータｓだけでなく、前記顔領域画像が表す顔の３次元形状の形状パラメータを抽出し、顔領域画像の顔特徴点の各々の三次元位置を求める。

【0050】

具体的には、まず、個人の顔形状の違いと顔の向き変動を表現できる３次元形状モデル上に配置した、複数の基準３Ｄ特徴点に対応する３Ｄ特徴点と、３Ｄ特徴点毎の部位画像情報とを予め持つ。また、位置合わせパラメータである、並進（Ｔ_x，Ｔ_y，Ｔ_z）と回転角（Ｒ_x，Ｒ_y，Ｒ_z）、及びスケーリングパラメータｓを用いて、３次元形状モデルのパラメータの初期値を設定する。

【0051】

３Ｄ特徴点毎に、３次元形状モデルの形状パラメータおよび向きを用いて当該３Ｄ特徴点を顔領域画像上に投影した位置での画像情報と、当該３Ｄ特徴点の部位画像情報とを参照することで３Ｄ特徴点の適合度を表す局所尤度を算出し、その総和で全体の３Ｄ特徴点の適合度たる尤度を求める。３Ｄ特徴点の配置は、前記３次元形状モデルの形状パラメータ、および向きによって決定されるため、前記尤度が最大となるように前記３次元形状モデルの形状パラメータ、位置および向きを摂動させることで、２次元顔画像に尤も適合する３Ｄ特徴点の配置を求め、顔領域画像の顔特徴点の各々の三次元位置とし、また、このときの３次元形状モデルの形状パラメータ、位置および向きを取得する。

【0052】

（参照点位置決定手段４２）
参照点位置決定手段４２は、位置合わせ手段４１が出力した位置合わせパラメータを用いて、記憶部３０に記憶される基準３Ｄ参照点３２を前記顔領域画像に射影し、前記顔領域画像上の２Ｄ参照点の位置を決定する。

【0053】

基準３Ｄ参照点３２の前記顔領域画像への射影については、基準３Ｄ特徴点３１の射影と同様に一般的な方法を採用すれば良い。例えばピンホールカメラモデルであれば、第n番目の基準３Ｄ参照点３２の３次元座標を（Ｘ_n、Ｙ_n、Ｚ_n）とすると、第n番目の基準３Ｄ参照点３２を前記顔領域画像に射影した２Ｄ参照点の位置（Ｘ_n´、Ｙ_n´）は、位置合わせ手段４１で求めたと回転行列

と並進ベクトル

とスケーリングパラメータｓを用いて式（２）で表すことができる。

【0054】

【数2】

（２）
上記式（２）の右辺は、基準３Ｄ参照点３２を、顔領域画像が表す顔の向きと大きさに合わせた三次元形状モデルの回転・並進位置における３Ｄ参照点に変換した結果を表している。すなわち、上記式（２）は、基準３Ｄ参照点３２を、顔領域画像が表す顔の三次元形状における３Ｄ参照点に変換し、当該３Ｄ参照点を顔領域画像上に射影した２Ｄ参照点の位置を求めることを表している。

【0055】

図８は、位置合わせ手段４１で求めた位置合わせパラメータ

を用いて、式（２）にて基準３Ｄ参照点３２を顔領域画像７００上に射影した２Ｄ参照点８０１の例を示す。図８に示すように、顔領域画像７００の顔向きに合わせて２Ｄ参照点８０１が配置される。

【0056】

なお、前記位置合わせ手段４１において、例えば、特開２０１４−１７８８６２で開示されている特徴点抽出方法を用いることで、前記顔領域画像の位置合わせパラメータである並進（Ｔ_x，Ｔ_y，Ｔ_z）、回転角（Ｒ_x，Ｒ_y，Ｒ_z）、及びスケーリングパラメータｓだけでなく、前記顔領域画像の顔特徴点の各々の三次元位置を求めている場合は、顔特徴点の各々の三次元位置と、形状パラメータ、位置、及び向きとを用いて、前記顔領域画像の特徴点位置にフィッティングした２Ｄ参照点の位置を求めるようにしてもよい。

【0057】

以下、前記顔領域画像の特徴点位置にフィッティングした２Ｄ参照点を得る手順を、図９及び図１０の模式図を参照して説明する。図９は、顔領域画像の顔特徴点の各々の三次元位置である３Ｄ特徴点９０１と、位置合わせ手段４１で位置合わせパラメータとして求めた並進（Ｔ_x，Ｔ_y，Ｔ_z）と回転角（Ｒ_x，Ｒ_y，Ｒ_z）を用いて座標変換した基準３Ｄ特徴点３１を表している。ここで、３Ｄ特徴点９０１は、個人の顔画像から抽出した特徴点となる為、標準的な人物顔の３次元形状３００上に配置された基準３Ｄ特徴点３１とは、完全に一致した位置とはならない。

【0058】

基準３Ｄ特徴点３１と基準３Ｄ参照点３２は、いずれも標準的な人物顔の３次元形状３００上に配置された点であるので、基準３Ｄ特徴点３１が前記３Ｄ特徴点９０１の位置に移動するように、薄板スプライン変換などの既知のワーピング手法を用いて基準３Ｄ参照点３２を変位させると、図１０に示すように個人の特徴点位置に合わせた摂動３Ｄ参照点１００１が得られる。

【0059】

参照点の摂動の様子が分かりやすいように、顔向きを正面にして、すなわち並進及び回転角をいずれも０として示したワーピングによる参照点の変位結果を図１１に示す。この図では、基準３Ｄ特徴点３１、基準３Ｄ参照点３２、３Ｄ特徴点９０１、及び摂動３Ｄ参照点１００１の配置を示している。図１１では特徴点、参照点の配置がわかりやすいように、目や鼻などの顔の器官を模式的に表したが、実際には、参照点位置決定手段４２では基準３Ｄ特徴点３１、基準３Ｄ参照点３２、３Ｄ特徴点９０１、及び摂動３Ｄ参照点１００１の各点情報のみが扱われる。

【0060】

図１１に示した基準３Ｄ特徴点３１と３Ｄ特徴点９０１の抽出結果を比較すると、標準的な人物顔の３次元形状よりも、眉毛と目の間隔がやや狭く、鼻がやや上に位置し、かつ、口もやや小さいという個人特徴があることがわかるが、前記ワーピング手法によって、基準３Ｄ特徴点３１が前記３Ｄ特徴点９０１の位置に移動するようにワーピングさせることで、前記個人特徴を反映した摂動３Ｄ参照点１００１が得られることが示されている。

【0061】

摂動３Ｄ参照点１００１の前記顔領域画像への射影については、基準３Ｄ特徴点３１の射影と同様に一般的な方法を採用すれば良い。例えばピンホールカメラモデルであれば、上記式（２）における第n番目の基準３Ｄ参照点３２の３次元座標を（Ｘ_n、Ｙ_n、Ｚ_n）に代えて、第n番目の摂動３Ｄ参照点１００１の３次元座標（Ｘ_n´´、Ｙ_n´´、Ｚ_n´´）を用い、回転行列

と並進ベクトル

とスケーリングパラメータｓに代えて、３次元形状モデルの形状パラメータ、回転および並進から得られるものを用いることで、第n番目の摂動３Ｄ参照点１００１を前記顔領域画像に射影した２Ｄ参照点の位置（Ｘ_n´、Ｙ_n´）を得ることができる。

【0062】

（顔照合手段４３）
顔照合手段４３は、顔画像取得部１０が抽出した顔領域画像と、記憶部３０に記憶されている全ての登録顔画像３３を照合する。

【0063】

以下、顔照合手段４３における照合処理を詳細に説明する。顔照合手段４３は、参照点位置決定手段４２で決定した前記顔領域画像７００上の２Ｄ参照点８０１と、記憶部３０に記憶されている登録顔画像の２Ｄ参照点について、対応する参照点同士の類似度を求める。参照点同士の類似度は、当該参照点周辺の局所領域画像から特徴ベクトルを求め、その類似度をもって算出する。局所領域画像から特徴ベクトルを求め類似の程度を算出する方法については、例えば、局所領域内の各画素の輝度や色の相違度を用いるなど、種々様々な公知の方法が利用できるので、詳細の説明は省略する。そして、顔照合手段４３は、対応する参照点同士の類似度の総和が最大となる登録顔画像を選択し、当該類似度の総和が認証閾値以上である場合に、顔領域画像７００に写っている顔が当該登録顔画像に対応する登録者の顔であると判定する。

【0064】

なお、画像処理部４０は、前記顔領域画像７００から２Ｄ参照点８０１を決定するのと同様の方法で、位置合わせ手段４１及び参照点位置決定手段４２の各処理により、記憶部３０に記憶されているすべての登録顔画像３３についての２Ｄ参照点を決定しておく。あるいは、画像処理部４０は、顔領域画像を照合する度に、前記顔領域画像７００から２Ｄ参照点８０１を決定するのと同様の方法により、各登録顔画像についての参照点を決定してもよい。

【0065】

顔照合手段４３は、登録者の顔であると判定すると、出力部２０に認証成功を示す信号を出力し、電気錠制御装置２に対して解錠制御を行う信号を出力させる。

【0066】

＜顔画像認証装置の動作＞
以下、図１２に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置３による認証処理の動作を説明する。なお、以下に説明する動作は、入力画像を１つ取得するごとに実行される。また、記憶部３０に記憶されているすべての登録顔画像３３についての２Ｄ参照点が、予め決定されて、記憶部３０に記憶されている場合を例に説明する。

【0067】

最初に、顔画像認証装置３の顔画像取得部１０は、撮像装置１が撮影した入力画像を取得する（ステップＳ１０１）。そして、顔画像取得部１０は当該入力顔画像から顔領域画像を抽出する（ステップＳ１０２）。顔画像取得部１０は、１つ以上の顔領域画像が抽出されたか否かを判定し（ステップＳ１０３）、顔領域が全く抽出されなかった場合には以降の処理を行わず、認証処理を終了する。一方、１つ以上の顔領域画像が抽出された場合、顔画像取得部１０は、ステップＳ１０４に処理を移行させる。

【0068】

以下のステップＳ１０４〜Ｓ１０９の処理は、顔画像取得部１０が抽出した顔領域画像ごとに行われる。

【0069】

位置合わせ手段４１は、顔領域画像上の特徴点位置に基づき、基準３Ｄ特徴点３１の位置合わせパラメータ

を求める（ステップＳ１０４）。次に、参照点位置決定手段４２は、位置合わせ手段４１が出力した位置合わせパラメータ

を用いて基準３Ｄ参照点３２を顔領域画像上に射影し、２Ｄ参照点の位置を決定する（ステップＳ１０５）。

【0070】

次に、顔照合手段４３は、参照点位置決定手段４２が決定した２Ｄ参照点周辺の局所領域画像と、記憶部３０に記憶された全ての登録顔画像の２Ｄ参照点周辺の局所領域画像からそれぞれ特徴ベクトルを求めて類似度を算出し（ステップＳ１０６）、局所領域画像の類似度の総和が最も高くなる登録顔画像を選択する（ステップＳ１０７）。選択された登録顔画像における局所領域画像の類似度の総和が認証閾値以上である場合（ステップＳ１０８）、顔領域画像に写る人物の顔は、当該登録顔画像に対応する登録者の顔であると判定し、出力部２０に認証成功を示す信号を出力する（ステップＳ１０９）。認証成功を示す信号が出力部２０に出力された場合、出力部２０から電気錠制御装置２に対して解錠制御を行う信号が出力される。一方、選択された登録顔画像における局所領域画像の類似度の総和が認証閾値未満である場合、顔照合手段４３は、特に処理を行わない。

【0071】

全ての顔領域画像についてステップＳ１０４〜１０９の処理が終わると、画像処理部４０は、一連のステップを終了する。

【0072】

以上説明してきたように、本発明の実施の形態に係る顔画像認証装置は、入力画像から得られる顔領域画像から抽出した複数の抽出特徴点と複数の基準３Ｄ特徴点との二次元空間又は三次元空間の少なくとも一方における位置ずれが最小となるよう、位置合わせパラメータを求め、位置合わせパラメータを用いて顔領域画像に、複数の基準３Ｄ参照点を射影して、顔領域画像の複数の参照点の位置を求めることにより、顔向きに依らずに、顔領域画像全体から特徴を抽出するための参照位置を安定して決定することができる。

【0073】

また、顔領域画像の特徴ベクトルを算出する為の局所領域位置を決定する参照点を、当該顔領域画像の顔向きに合わせて決定することができる。さらには、目鼻口といった器官の周辺だけでなく、頬や額等の肌部分にも、顔向きに合わせて参照点を配置することができる。本発明の実施の形態によって決定した参照点周辺の局所領域画像から特徴ベクトルを求め、当該特徴ベクトルの類似度で入力顔画像と登録顔画像の照合を行うことで、正面向き以外の顔画像でも、目鼻口といった器官の周辺だけでなく、頬や額等の肌部分の類似の度合いを評価することが可能となり、精度良く認証を行うことができる。

【0074】

＜変形例＞
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、顔画像取得部１０は、撮像装置１が撮影した入力画像を処理して、画像処理部４０へ出力するが、ハードディスク等の媒体から入力画像を取得し、顔領域画像を抽出した上で画像処理部４０へ出力してもよい。

【0075】

また、本実施の形態では、認証結果を通行の可否に使用するので電気錠制御装置２へ認証結果を出力しているが、一般公衆回線や携帯電話回線などの通信回線を介して、認証結果を監視センタ装置などの外部装置へ出力してもよい。また、外部装置への出力とせずに、認証結果を表示するランプを顔画像認証装置３に設けておき、認証結果を通行者に知らせてもよい。

【0076】

また、本実施形態では、基準３Ｄ特徴点３１として、眉毛について左右の眉中心、左目及び右目のそれぞれについて目頭、目尻、上瞼中心及び下瞼中心と、鼻について鼻尖点、鼻下点、及び左右の鼻側および鼻下側と、口について上唇中心上端、下唇中心下端、及び左右の口角点の２０箇所を記憶するものとしたが、この例よりも少数または多くの特徴点を設定しても良い。

【0077】

また、位置合わせ手段４１で、位置合わせパラメータ

だけでなく、詳細な３Ｄ特徴点９０１が得られる場合には、参照点位置決定手段４２において、基準３Ｄ特徴点３１と３Ｄ特徴点９０１の位置関係に基づき、基準３Ｄ参照点３２の位置を摂動させた摂動３Ｄ参照点１００１を求め、摂動３Ｄ参照点１００１を顔領域画像に射影することで２Ｄ参照点を決定しても良い。

【0078】

また、本実施形態では、基準３Ｄ特徴点３１、基準３Ｄ参照点３２、３Ｄ特徴点９０１、摂動３Ｄ参照点１００１の位置や、回転、並進を表す座標系として直交座標系を採用したが、基準３Ｄ特徴点３１、基準３Ｄ参照点３２、３Ｄ特徴点９０１、摂動３Ｄ参照点１００１の位置や、回転、並進を表すことができれば、種々の座標系を採用できる。

【0079】

また、本実施形態では、位置合わせ手段４１で、位置合わせパラメータ

を求めた後に、３次元形状モデルの形状パラメータ、位置および向きと、詳細な３Ｄ特徴点９０１とを得る場合を例に説明したが、これに限定されるものではない。位置合わせパラメータ

を求めずに、特開２０１４−１７８８６２号公報で開示されている特徴点抽出方法を用いて、３次元形状モデルの形状パラメータ、位置および向きと、詳細な３Ｄ特徴点９０１とを得るようにしてもよい。更に、顔の向きが予め分かっている場合には、３次元形状モデルの形状パラメータ、位置と、詳細な３Ｄ特徴点９０１とだけを得るようにしてもよい。例えば、顔の向きが正面であることを予め分かっている場合である。

【0080】

また、顔照合手段４３は、対応する参照点同士の類似度の総和が最大となる登録顔画像を選択し、顔領域画像７００に写っている顔が当該登録顔画像に対応する登録者の顔であるか否かを判定する場合を例に説明したが、これに限定されるものではない。例えば、顔照合手段４３は、対応する参照点同士及び対応する特徴点同士の類似度の総和が最大となる登録顔画像を選択し、顔領域画像７００に写っている顔が当該登録顔画像に対応する登録者の顔であるか否かを判定するようにしてもよい。

【0081】

また、顔画像認証装置に本発明を適用する場合を例に説明したが、これに限定されるものではない。例えば、入力された顔画像が表わす顔の状態を推定する装置に、本発明を適用してもよい。この場合、入力された顔画像について決定された２Ｄ参照点の特徴量から、顔の状態を推定するようにすればよい。

【0082】

また、入力された顔画像の２Ｄ参照点を決定する場合を例に説明したが、これに限定されるものではなく、顔以外の形状を有する物体を表す画像の２Ｄ参照点を決定するようにしても良い。例えば、車を表す画像の２Ｄ参照点を決定するようにしても良い。

【0083】

以上のように、当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

【符号の説明】

【0084】

３ 顔画像認証装置
３１ 基準３Ｄ特徴点
３２ 基準３Ｄ参照点
４０ 画像処理部
４１ 位置合わせ手段
４２ 参照点位置決定手段
４３ 顔照合手段
１００ 出入管理システム
７００ 顔領域画像
７０１ 顔特徴点
７０２ 基準２Ｄ特徴点
８０１ ２Ｄ参照点
９０１ ３Ｄ特徴点
１００１ 摂動３Ｄ参照点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】