特許 5773737 照合装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5773737

(24)【登録日】2015年7月10日

(45)【発行日】2015年9月2日

(54)【発明の名称】照合装置

(51)【国際特許分類】

   G06T 7/00 20060101AFI20150813BHJP

【ＦＩ】

   G06T7/00 510B

   G06T7/00 300B

【請求項の数】7

【全頁数】25

(21)【出願番号】特願2011-105000(P2011-105000)

(22)【出願日】2011年5月10日

(65)【公開番号】特開2012-238058(P2012-238058A)

(43)【公開日】2012年12月6日

【審査請求日】2014年3月24日

(73)【特許権者】

【識別番号】000006666

【氏名又は名称】アズビル株式会社

(74)【代理人】

【識別番号】100064621

【弁理士】

【氏名又は名称】山川 政樹

(74)【代理人】

【識別番号】100098394

【弁理士】

【氏名又は名称】山川 茂樹

(72)【発明者】

【氏名】中島 寛

(72)【発明者】

【氏名】長嶋 聖

【審査官】 新井 則和

(56)【参考文献】

【文献】 国際公開第２００７／００４５２２（ＷＯ，Ａ１）

【文献】 特開昭６３−２０４４８２（ＪＰ，Ａ）

【文献】 特開昭６３−２９２３７５（ＪＰ，Ａ）

【文献】 特開２００５−１０７５８７（ＪＰ，Ａ）

【文献】 特開平１０−１８７９７０（ＪＰ，Ａ）

【文献】 国際公開第２００７／００４５２０（ＷＯ，Ａ１）

【文献】 特開２００１−３１９２２９（ＪＰ，Ａ）

【文献】 特開２００９−０８６９５１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００−７／６０

(57)【特許請求の範囲】

【請求項1】

参照画像と登録画像とを照合する照合装置において、
前記参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層として、この高解像度画像と同一の画像領域で解像度のみを低くした解像度が異なる複数の低解像度の階層画像を作成する階層画像作成手段と、
前記参照画像と同一解像度の複数の登録画像を記憶する登録画像記憶手段と、
前記登録画像記憶手段に記憶されている登録画像を１つずつ読み出す登録画像読出手段と、
前記階層画像作成手段によって作成された参照画像の低解像度の階層画像と前記登録画像読出手段によって読み出された登録画像の前記参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度の算出を任意の低解像度の階層画像から行い、この算出された類似度に基づいて、前記登録画像読出手段によって読み出された登録画像を前記参照画像と照合する登録画像候補として選択する第１の登録画像候補選択手段と
を備えることを特徴とする照合装置。

【請求項2】

請求項１に記載された照合装置において、
前記第１の登録画像候補選択手段は、
前記算出された類似度が所定の基準値を満たす場合に、前記登録画像読出手段によって読み出された登録画像の登録画像候補として選択する
ことを特徴とする照合装置。

【請求項3】

請求項２に記載された照合装置において、
前記第１の登録画像候補選択手段は、
前記階層画像の階層毎に、前記基準値として、その階層の解像度に応じて定められた基準値を用いる
ことを特徴とする照合装置。

【請求項4】

請求項１〜３の何れか１項に記載された照合装置において、
前記参照画像から所定の計測情報を取得する計測情報取得手段と、
前記計測情報取得手段によって取得された計測情報に基づいて前記登録画像記憶手段に記憶されている複数の登録画像の中から前記参照画像と照合する登録画像候補を選択する第２の登録画像候補選択手段とを備え、
前記第１の登録画像候補選択手段は、
前記第２の登録画像候補選択手段によって選択された登録画像候補を組み合わせて登録画像候補を選択する
ことを特徴とする照合装置。

【請求項5】

請求項１に記載された照合装置において、
前記階層画像作成手段によって作成された参照画像の階層画像および前記登録画像読出手段によって読み出された登録画像の前記参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定する特徴領域設定手段と、
前記特徴領域設定手段によって前記特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索する対応領域探索手段と、
前記特徴領域設定手段によって一方の階層画像に設定された特徴領域と前記対応領域探索手段によって他方の階層画像から探索された対応領域との類似度に基づいて、前記登録画像読出手段によって読み出された登録画像を前記参照画像と照合する登録画像候補として選択する第２の登録画像候補選択手段とを備え、
前記第１の登録画像候補選択手段は、
前記第２の登録画像候補選択手段によって選択された登録画像候補を組み合わせて登録画像候補を選択する
ことを特徴とする照合装置。

【請求項6】

請求項１に記載された照合装置において、
前記参照画像から所定の計測情報を取得する計測情報取得手段と、
前記計測情報取得手段によって取得された計測情報に基づいて前記登録画像記憶手段に記憶されている複数の登録画像の中から前記参照画像と照合する登録画像候補を選択する第２の登録画像候補選択手段と、
前記階層画像作成手段によって作成された参照画像の階層画像および前記登録画像読出手段によって読み出された登録画像の前記参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定する特徴領域設定手段と、
前記特徴領域設定手段によって前記特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索する対応領域探索手段と、
前記特徴領域設定手段によって一方の階層画像に設定された特徴領域と前記対応領域探索手段によって他方の階層画像から探索された対応領域との類似度に基づいて、前記登録画像読出手段によって読み出された登録画像を前記参照画像と照合する登録画像候補として選択する第３の登録画像候補選択手段とを備え、
前記第１の登録画像候補選択手段は、
前記第２の登録画像候補選択手段によって選択された登録画像候補および前記第３の登録画像候補選択手段によって選択された登録画像候補を組み合わせて登録画像候補を選択する
ことを特徴とする照合装置。

【請求項7】

請求項１〜６の何れか１項に記載された照合装置において、
前記第１の登録画像候補選択手段は、
前記選択された登録画像候補の数が０であった場合、前記参照画像と前記登録画像との照合結果を不一致とする
ことを特徴とする照合装置。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、参照画像と登録画像とを照合する照合装置に関するものである。

【背景技術】

【0002】

近年、コンピュータ室や重要機械室への入退室管理、コンピュータ端末や銀行の金融端末へのアクセス管理などの個人認証を必要とする分野において、これまでの暗証番号やＩＤカードに代わって、生体情報に基づいて個人の認証を行うシステムが開発されている。

【0003】

生体情報を用いた個人認証システムは、記憶や所持を必要としないこと、盗難の危険性が低いことから注目されている。生体情報による個人認証では、指紋・虹彩・顔・掌紋・筆跡などが利用されるが、その中でも顔を用いた個人認証は、利便性と受容性が高いことから注目されている。

【0004】

例えば、ビルなどの入退室管理に用いられる個人認証システムでは、入室しようとする人の顔を撮像して参照画像とし、この参照画像と予め登録されている人の顔の画像（登録画像）との照合を行い、参照画像と登録画像とが一致した場合に、その人の入室を許可するようにする。

【0005】

この参照画像と登録画像との照合処理において、本出願人は、参照画像および登録画像のそれぞれについて、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を作成し、この階層画像の低解像度画像から高解像度画像に向かって位相限定相関法（ＰＯＣ：Phase-Only Correlation）を用いた対応点の探索を行い（例えば、特許文献１，２参照）、探索後の対応領域の位相限定相関値に基づいて、参照画像と登録画像との照合を行うようにしている。以下、この階層画像を用いての対応点探索による照合方式を階層ＰＯＣと呼ぶ。

【0006】

この階層ＰＯＣでは、例えば、参照画像について、その原画像（１２８×１２８の画素の画像）を高解像度画像とし、この高解像度画像の下層に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層に３２×３２の画素の画像（第２の低解像度画像）を作成する。また、登録画像について、参照画像と同様に、その原画像（１２８×１２８の画素の画像）を高解像度画像とし、この高解像度画像の下層に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層に３２×３２の画素の画像（第２の低解像度画像）を作成する。この原画像を含む階層画像において、高解像度画像の階層を第０層、第１の低解像度画像の階層を第１層、第２の低解像度画像の階層を第２層とする。

【0007】

そして、登録画像の原画像に対してｘ軸方向にｍ個、ｙ軸方向にｎ個の基準点を定め、この登録画像の原画像に定めた基準点毎に、最下層（第２層）の階層画像から、探索ウィンドウ（局所領域）を定めて、その局所領域に対応する参照画像における対応領域の探索を開始する。この対応領域の探索はＰＯＣ照合によって行い、当該階層画像についてその対応領域の探索が終了すると、当該階層画像についての探索結果を次の階層（第１層）での探索に反映させるというようにして、順次解像度の高い階層画像について対応領域の探索を行い、最上層（第０層）の階層画像に至るまで順に対応領域の探索を繰り返す。

【0008】

そして、最上層（第０層）の階層画像において、対応領域が見つかれば、その対応領域の位相限定相関値を求める。以下、同様にして、登録画像の局所領域毎に、参照画像の対応領域を低解像度画像から高解像度画像に向かって探索し、探索後の対応領域の位相限定相関値を求め、この求めた位相限定相関値に基づいて参照画像と登録画像との照合を行う。

【0009】

なお、ＰＯＣは、もとになる画像のデータとこれと照合すべき画像のデータとをフーリエ変換で数学的に処理して、振幅（濃淡データ）と位相（像の輪郭データ）とに分解し、このうち位相情報のみを用いて、両画像の相関を求めるアルゴリズムであり、外乱に強く、高精度な演算結果を得られるという特色がある。

【0010】

ＰＯＣについては、上述した特許文献１，２の他、特許文献３などにもその詳細が説明されている。ＰＯＣでは、一方の画像に２次元離散的フーリエ変換を施してフーリエ画像を作成する。そして、このフーリエ画像と同様の処理を施して作成されている他方の画像のフーリエ画像とを合成し、この合成フーリエ画像に対して振幅を１とする処理を行ったうえ、２次元離散的フーリエ変換を施して相関データとする。この相関データ（ＰＯＣ関数）は、周波数空間における振幅が１とされ、位相のみとされているが、基本的には一方の画像と他方の画像とを畳み込んだデータと考えることができ、一方の画像と他方の画像との相関を表すものである。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】特開２００８−２０９２７５号公報

【特許文献2】特開２００８−１２３１４１号公報

【特許文献3】特開平１０−６３８４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0012】

しかしながら、上述した階層ＰＯＣによる照合では、参照画像と登録画像との照合を高精度で行うことができるが、参照画像を複数の登録画像と総当たりで照合する１：Ｎ照合に適用すると、処理量が多くなり、照合速度が低下するという問題がある。

【0013】

本発明は、このような課題を解決するためになされたもので、その目的とするところは、高精度と高速処理を両立させることが可能な照合装置を提供することにある。

【課題を解決するための手段】

【0014】

このような目的を達成するために本発明は、参照画像と登録画像とを照合する照合装置において、参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層として、この高解像度画像と同一の画像領域で解像度のみを低くした解像度が異なる複数の低解像度の階層画像を作成する階層画像作成手段と、参照画像と同一解像度の複数の登録画像を記憶する登録画像記憶手段と、登録画像記憶手段に記憶されている登録画像を１つずつ読み出す登録画像読出手段と、階層画像作成手段によって作成された参照画像の低解像度の階層画像と登録画像読出手段によって読み出された登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度の算出を任意の低解像度の階層画像から行い、この算出された類似度に基づいて、登録画像読出手段によって読み出された登録画像を参照画像と照合する登録画像候補として選択する第１の登録画像候補選択手段とを備えることを特徴とする。

【0015】

この発明では、参照画像と登録画像とを照合する際、参照画像について、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の低解像度の階層画像を作成する。そして、登録画像記憶手段から登録画像を１つずつ読み出し、その読み出した登録画像を参照画像と照合する登録画像候補とするか否かを判断する。すなわち、参照画像と登録画像とを照合する前に、実際に照合する登録画像を絞り込む。これにより、１：Ｎ照合における照合回数を減らし、高精度と高速処理を両立させる。

【0016】

本発明において、登録画像記憶手段には、参照画像と同一解像度の複数の登録画像が記憶されている。この場合、登録画像は、その登録画像の原画像のみを記憶させるようにしてもよいし、その登録画像の原画像を含む階層画像を記憶させるようにしてもよい。登録画像の階層画像を記憶させる場合、参照画像の階層画像に対応させて、その原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像を記憶させるようにする。

【0017】

本発明において、登録画像の階層画像を記憶させるようにした場合、登録画像としてその原画像を含む階層画像が読み出される。そして、作成された参照画像の低解像度の階層画像と読み出された登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、登録画像候補の選択が行われる。

【0018】

本発明において、登録画像の原画像のみを記憶させるものとした場合、登録画像としてその原画像が読み出され、この原画像を最も解像度の高い高解像度画像とし、この高解像度画像を最上層とする解像度が異なる複数の階層画像が作成される。この登録画像の階層画像は参照画像の階層画像に対応して作成される。そして、作成された参照画像の低解像度の階層画像と作成された登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、登録画像候補の選択が行われる。

【0019】

本発明において、同一の低解像度の階層画像の類似度の算出は、任意の低解像度の階層画像から行うようにする。この場合、例えば、算出された類似度が所定の基準値を満たす場合に、読み出された登録画像の登録画像候補として選択する。また、この場合、例えば、階層画像の階層毎に、基準値として、その階層の解像度に応じて定められた基準値を用いるようにする。

【0020】

本発明において、参照画像から所定の計測情報を取得する計測情報取得手段と、計測情報取得手段によって取得された計測情報に基づいて登録画像記憶手段に記憶されている複数の登録画像の中から参照画像と照合する登録画像候補を選択する第２の登録画像候補選択手段とを設け、第１の登録画像候補選択手段は、第２の登録画像候補選択手段によって選択された登録画像候補を組み合わせて登録画像候補を選択する構成としてもよい。

【0021】

例えば、参照画像から所定の計測情報として、瞳間距離、顔サイズ、瞳サイズ、顔曲率などを取得し、この取得した計測情報に基づいて登録画像を絞り込む。そして、この計測情報に基づいて絞り込んだ登録画像と同一の低解像度の階層画像の類似度に基づいて絞り込んだ登録画像とを組み合わせて、最終的な登録画像候補を得るようにする。

【0022】

この場合、計測情報に基づいて絞り込んだ登録画像をさらに同一の低解像度の階層画像の類似度に基づいて絞り込んで最終的な登録画像候補を得るようにしたり、計測情報に基づいて絞り込んだ登録画像と同一の低解像度の階層画像の類似度に基づいて絞り込んだ登録画像とのＡＮＤをとって最終的な登録画像候補を得るようにしたり、計測情報に基づいて絞り込んだ登録画像と同一の低解像度の階層画像の類似度に基づいて絞り込んだ登録画像とのＯＲをとって最終的な登録画像候補を得るようにするなど、種々の方式が考えられる。

【0023】

また、本発明において、階層画像作成手段によって作成された参照画像の階層画像および登録画像読出手段によって読み出された登録画像の参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定する特徴領域設定手段と、特徴領域設定手段によって特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索する対応領域探索手段と、特徴領域設定手段によって一方の階層画像に設定された特徴領域と対応領域探索手段によって他方の階層画像から探索された対応領域との類似度に基づいて、登録画像読出手段によって読み出された登録画像を参照画像と照合する登録画像候補として選択する第２の登録画像候補選択手段とを設け、第１の登録画像候補選択手段は、第２の登録画像候補選択手段によって選択された登録画像候補を組み合わせて登録画像候補を選択する構成としてもよい。

【0024】

この場合、参照画像の階層画像あるいは登録画像の階層画像に対して特徴領域が設定される。例えば、特徴領域として、目や鼻など特徴的な部分を含むゾーンが設定される。そして、特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域が他方の階層画像から探索され、一方の階層画像に設定された特徴領域と他方の階層画像から探索された対応領域との類似度に基づいて、登録画像候補の選択が行われる。

【0025】

また、本発明において、取得された計測情報に基づいて登録画像記憶手段に記憶されている複数の登録画像の中から参照画像と照合する登録画像候補を選択する第２の登録画像候補選択手段と、階層画像作成手段によって作成された参照画像の階層画像および登録画像読出手段によって読み出された登録画像の参照画像の階層画像に対応する階層画像の何れか一方に対して予め定められた特徴領域を設定する特徴領域設定手段と、特徴領域設定手段によって特徴領域が設定された一方の階層画像の当該特徴領域に対応する対応領域を他方の階層画像から探索する対応領域探索手段と、特徴領域設定手段によって一方の階層画像に設定された特徴領域と対応領域探索手段によって他方の階層画像から探索された対応領域との類似度に基づいて、登録画像読出手段によって読み出された登録画像を参照画像と照合する登録画像候補として選択する第３の登録画像候補選択手段とを設け、第１の登録画像候補選択手段は、第２の登録画像候補選択手段によって選択された登録画像候補および第３の登録画像候補選択手段によって選択された登録画像候補を組み合わせて登録画像候補を選択する構成としてもよい。

【0026】

また、本発明において、選択された登録画像候補の数が０であった場合、参照画像と登録画像との照合結果を不一致と判断するようにしてもよい。例えば、記憶されている登録画像を全て読み出したにも拘わらず、選択された登録画像候補の数が０であった場合、参照画像と登録画像との照合結果を不一致とする。このようにすると、参照画像と登録画像との照合を行う前に、すなわち参照画像と照合する登録画像を絞り込む分類処理の段階で、照合結果が得られるものとなる。

【発明の効果】

【0027】

本発明によれば、登録画像を１つずつ読み出し、参照画像の低解像度の階層画像と登録画像の参照画像の階層画像に対応する階層画像のうち同一の低解像度の階層画像との類似度に基づいて、読み出された登録画像を参照画像と照合する登録画像候補として選択するようにしたので、参照画像と登録画像との照合を行う前に、参照画像と照合する登録画像を絞り込むようにして、１：Ｎ照合における照合回数を減らし、高精度と高速処理を両立させることが可能となる。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施の形態を示す照合装置のブロック構成図である。

【図2】この照合装置における対象物の登録処理を示すフローチャートである。

【図3】この照合装置における対象物の照合処理を示すフローチャートである。

【図4】この照合装置における対象物の照合処理における登録画像候補の選択処理の第１例（登録画像候補の選択処理１）を示すフローチャートである。

【図5】登録画像候補の選択処理で作成された参照画像の階層画像および読み出された登録画像の階層画像を例示する図である。

【図6】登録画像候補の選択処理の第２例（登録画像候補の選択処理２）を示すフローチャートである。

【図7】登録画像候補の選択処理１，２と組み合わせて用いられる登録画像処理３のフローチャートである。

【図8】登録画像候補の選択処理１，２と組み合わせて用いられる登録画像処理４のフローチャートである。

【図9】登録画像候補の選択処理４で作成された参照画像の階層画像および読み出された登録画像の階層画像を特徴領域および対応領域と合わせて例示する図である。

【図10】特徴領域を規定する点として予め定められた基準点およびこの基準点を中心として登録画像の最上層の階層画像（高解像度画像（原画像））に対して設定された特徴領域を示す図である。

【図11】登録画像候補の選択処理１の変形例を示すフローチャートである。

【図12】登録画像候補の選択処理２の変形例を示すフローチャートである。

【図13】登録画像候補の選択処理４の変形例を示すフローチャートである。

【発明を実施するための形態】

【0029】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。
図１はこの発明の一実施の形態を示す照合装置のブロック構成図である。同図において、１０は第１のＣＣＤカメラ、１１は第２のＣＣＤカメラ、１２は液晶表示装置（ＬＣＤ）、２０は処理部であり、処理部２０は、ＣＰＵを有する制御部２０−１と、ＲＯＭ２０−２と、ＲＡＭ２０−３と、ハードディスク（ＨＤ）２０−４と、フレームメモリ（ＦＭ）２０−５と、外部接続部（Ｉ／Ｆ）２０−６と、フーリエ変換部（ＦＦＴ）２０−７とを備えており、ＲＯＭ２０−２には登録プログラムと照合プログラムが格納されている。また、ＣＣＤカメラ１０，１１は、所定の距離Ｌを隔てて設置されている。すなわち、ＣＣＤカメラ１０，１１は、そのレンズ１０−１，１１−１間の距離をＬとして、横方向に並んで配置されている。図では分かり易いように、照合装置は上方向から見た図とし、対象物（人間の顔）は横方向から見た図としている。

【0030】

〔対象物の登録〕
この照合装置において、対象物を人間の顔Ｍ１とした場合、この対象物（登録対象物）Ｍ１の登録は次のようにして行われる。運用する前に、利用者は、ＣＣＤカメラ１０，１１に顔Ｍ１を向け、登録スタートスイッチ（図示せず）を押す。

【0031】

〔画像キャプチャ〕
制御部２０−１は、登録スタートスイッチが押されると（図２：ステップＳ１０１のＹＥＳ）、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの登録対象物Ｍ１を捉えた画像を左カメラの画像として取り込み、ＣＣＤカメラ１１からの登録対象物Ｍ１を捉えた画像を右カメラの画像として取り込む（ステップＳ１０２）。

【0032】

〔顔領域の検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する（ステップＳ１０３）。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。

【0033】

〔瞳領域の検出および顔画像の正規化〕
そして、制御部２０−１は、検出した左右の顔領域の画像（左右の顔画像）から画像処理によって瞳領域を検出し（ステップＳ１０４）、３Ｄ計測によってカメラから登録対象物Ｍ１までの距離Ｒを算出し（ステップＳ１０５）、この算出した距離Ｒに基づいて右の顔画像のサイズを正規化する（ステップＳ１０６）。

【0034】

〔階層画像の作成〕
そして、制御部２０−１は、ステップＳ１０６で正規化した顔画像を登録画像の原画像として、その原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する（ステップＳ１０７）。

【0035】

そして、制御部２０−１は、この原画像を含む階層画像（高解像度画像、第１の低解像度画像、第２の低解像度画像）を利用者の登録画像としてＨＤ２０−４に保存する（ステップＳ１０８）。以下、同様にして、全ての利用者について、その利用者の登録画像（原画像を含む階層画像）をＨＤ２０−４に保存して行く。この実施の形態では、利用者の数を数千人規模とし、これら利用者の登録画像をＨＤ２０−４に保存させる。

【0036】

なお、この例では、右の顔画像を登録するようにしたが、左の顔画像を登録するようにしてもよく、左右の顔画像を登録するようにしてもよい。この実施の形態では、説明上、右の顔画像を登録するものとした。

【0037】

〔対象物の照合〕
この照合装置において、照合対象物を人間の顔Ｍ１とした場合、この顔Ｍ１の照合は次のようにして行われる。図３に制御部２０−１がＲＯＭ２０−２に格納されている照合プログラムに従って実行する照合処理のフローチャートを示す。

【0038】

〔画像キャプチャ〕
利用者は、ＣＣＤカメラ１０，１１の前に立つ。すると、制御部２０−１は、ＣＣＤカメラ１０，１１の撮像領域に顔Ｍ１が入ったことを認識し、フレームメモリ２０−５を介して、ＣＣＤカメラ１０からの顔Ｍ１を捉えた画像を左カメラの画像として取り込み、ＣＣＤカメラ１１からの顔Ｍ１を捉えた画像を右カメラの画像として取り込む（ステップＳ２０１）。

【0039】

〔顔領域の検出〕
そして、制御部２０−１は、取り込んだ左カメラの画像および右カメラの画像から画像処理によって顔領域を検出する（ステップＳ２０２）。なお、この際、顔領域の輝度が一定範囲でなければ、ゲインコントロールし、左カメラの画像および右カメラの画像の取り込みを再度行う。また、この例では、左右の顔領域を検出するようにしたが、左か右の何れか一方の顔領域を検出するようにしてもよい。

【0040】

〔瞳領域の検出および顔画像の正規化〕
そして、制御部２０−１は、検出した左右の顔領域の画像（左右の顔画像）から画像処理によって瞳領域を検出し（ステップＳ２０３）、３Ｄ計測によってカメラから照合対象物Ｍ１までの距離Ｒを算出し（ステップＳ２０４）、この算出した距離Ｒに基づいて右の顔画像のサイズを正規化する（ステップＳ２０５）。

【0041】

〔登録画像候補の選択：登録画像候補の選択処理１（実施の形態１）〕
そして、制御部２０−１は、ステップＳ２０５で正規化した顔画像を参照画像の原画像とし、この参照画像と照合する登録画像候補の選択処理を開始する（ステップＳ２０６）。図４にこの登録画像候補の選択処理の第１例（登録画像候補の選択処理１）のフローチャートを実施の形態１として示す。

【0042】

この登録画像候補の選択処理１において、制御部２０−１は、ステップＳ２０５で得た参照画像の原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する（ステップＳ３０１）。

【0043】

そして、制御部２０−１は、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を読み出す（ステップＳ３０２）。すなわち、第１番目の登録画像について、最上層（第０層）に位置する高解像度画像（１２８×１２８の画素の画像）と、この高解像度画像の下層（第１層）に位置する第１の低解像度画像（６４×６４の画素の画像）と、この第１の低解像度画像の下層（第２層）に位置する第２の低解像度画像（３２×３２の画素の画像）とを読み出す。

【0044】

図５（ａ），（ｂ）にステップＳ３０１で作成された参照画像の階層画像とステップＳ３０２で読み出された登録画像の階層画像を例示する。図５（ａ）において、Ｊ０は登録画像の第０層に位置する階層画像（高解像度画像（１２８×１２８の画素の画像））、Ｊ１は登録画像の第１層に位置する階層画像（第１の低解像度画像（６４×６４の画素の画像））、Ｊ２は登録画像の第２層に位置する階層画像（第２の低解像度画像（３２×３２の画素の画像））であり、図５（ｂ）において、Ｉ０は参照画像の第０層に位置する階層画像（高解像度画像（１２８×１２８の画素の画像））、Ｉ１は参照画像の第１層に位置する階層画像（第１の低解像度画像（６４×６４の画素の画像））、Ｉ２は参照画像の第２層に位置する階層画像（第２の低解像度画像（３２×３２の画素の画像））である。

【0045】

制御部２０−１は、このような参照画像の階層画像Ｉ０，Ｉ１，Ｉ２および登録画像の階層画像Ｊ０，Ｊ１，Ｊ２を得た後、Ｎ＝２とし（ステップＳ３０３）、参照画像の第Ｎ層の階層画像と登録画像の第Ｎ層の階層画像との類似度を算出する（ステップＳ３０４）。この場合、Ｎ＝２であるので、参照画像の第２層の階層画像Ｉ２と登録画像の第２層の階層画像Ｊ２との類似度を算出する。

【0046】

そして、予め定められている第２層の基準値ＴＨを読み出し（ステップＳ３０５）、算出した類似度と読み出した第２層の基準値ＴＨとを比較する（ステップＳ３０６）。ここで、第２層の基準値ＴＨは、その階層の解像度に応じて定められている。

【0047】

算出した類似度が第２層の基準値ＴＨ以上であれば（ステップＳ３０６のＹＥＳ）、ステップＳ３０２で読み出した登録画像を登録画像候補として選択し（ステップＳ３０７）、選択された登録画像候補の数Ｍ（初期値０）をＭ＝Ｍ＋１とする（ステップＳ３０８）。

【0048】

そして、選択された登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ３０９のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ３１２のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ３０２）、ステップＳ３０３以下の処理を繰り返す。

【0049】

算出した類似度が第２層の基準値ＴＨ以上でなければ（ステップＳ３０６のＮＯ）、より解像度の高い階層画像があることを確認のうえ（ステップＳ３１０のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ３１１）、ステップＳ３０４へ戻る。この場合、Ｎ＝１とされるので、制御部２０−１は、参照画像の第１層の階層画像Ｉ１と登録画像の第１層の階層画像Ｊ１との類似度を算出する。

【0050】

そして、予め定められている第１層の基準値ＴＨを読み出し（ステップＳ３０５）、算出した類似度と読み出した第１層の基準値ＴＨとを比較する（ステップＳ３０６）。ここで、第１層の基準値ＴＨは、その階層の解像度に応じて定められている。

【0051】

算出した類似度が第１層の基準値ＴＨ以上であれば（ステップＳ３０６のＹＥＳ）、ステップＳ３０２で読み出した登録画像を登録画像候補として選択し（ステップＳ３０７）、選択された登録画像候補の数ＭをＭ＝Ｍ＋１とする（ステップＳ３０８）。

【0052】

そして、選択された登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ３０９のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ３１２のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ３０２）、ステップＳ３０３以下の処理を繰り返す。

【0053】

算出した類似度が第１層の基準値ＴＨ以上でなければ（ステップＳ３０６のＮＯ）、より解像度の高い階層画像があることを確認のうえ（ステップＳ３１０のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ３１１）、ステップＳ３０４へ戻る。この場合、Ｎ＝０とされるので、制御部２０−１は、参照画像の第０層の階層画像Ｉ０と登録画像の第０層の階層画像Ｊ０との類似度を算出する。

【0054】

そして、予め定められている第０層の基準値ＴＨを読み出し（ステップＳ３０５）、算出した類似度と読み出した第０層の基準値ＴＨとを比較する（ステップＳ３０６）。ここで、第０層の基準値ＴＨは、その階層の解像度に応じて定められている。

【0055】

算出した類似度が第０層の基準値ＴＨ以上であれば（ステップＳ３０６のＹＥＳ）、ステップＳ３０２で読み出した登録画像を登録画像候補として選択し（ステップＳ３０７）、選択された登録画像候補の数ＭをＭ＝Ｍ＋１とする（ステップＳ３０８）。

【0056】

そして、選択された登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ３０９のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ３１２のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ３０２）、ステップＳ３０３以下の処理を繰り返す。

【0057】

算出した類似度が第０層の基準値ＴＨ以上でなければ（ステップＳ３０６のＮＯ）、制御部２０−１は、より解像度の高い階層画像があるか否かをチェックする（ステップＳ３１０のＹＥＳ）。この場合、第０層よりも解像度の高い階層画像はないので（ステップＳ３１０のＮＯ）、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ３１２のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ３０２）、ステップＳ３０３以下の処理を繰り返す。

【0058】

これにより、次々に登録画像の階層画像がＨＤ２０−４から読み出され、解像度が低い順に登録画像の階層画像と参照画像の階層画像との類似度が算出され、算出された類似度とその階層の基準値ＴＨとが比較され、何れかの階層で類似度が基準値ＴＨ以上であることが確認された登録画像が登録画像候補として選択されて行く。

【0059】

そして、制御部２０−１は、この処理の繰り返し中、選択された登録画像候補の数Ｍが１００となれば（ステップＳ３０９のＹＥＳ）、登録画像候補の選択処理を終了し、図３に示したステップＳ２０７への処理へと進む。

【0060】

なお、この処理の繰り返し中、選択された登録画像候補の数Ｍが１００に達する前に、他の登録画像がなくなれば（ステップＳ３１３のＮＯ）、制御部２０−１は、選択された登録画像候補が存在するか否かをチェックする（ステップＳ３１３）。ここで、選択された登録画像候補が存在すれば（ステップＳ３１３のＹＥＳ）、登録画像候補の選択処理を終了し、図３に示したステップＳ２０７への処理へと進む。

【0061】

これに対して、選択された登録画像候補が存在しなければ（ステップＳ３１３のＮＯ）、すなわちＨＤ２０−４から登録画像を全て読み出したにも拘わらず、選択された登録画像候補の数が０であれば、参照画像と登録画像との照合結果を不一致として（ステップＳ３１４）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

【0062】

〔参照画像と登録画像候補との照合〕
制御部２０−１は、上述した登録画像候補の選択処理後（ステップＳ２０６）、この選択処理によって選択された第１番目の登録画像候補をＨＤ２０−４から読み出す（ステップＳ２０７）。そして、ステップＳ２０５で得られた参照画像とステップＳ２０７で読み出した登録画像候補とを階層ＰＯＣで照合する（ステップＳ２０８）。階層ＰＯＣについては前述したのでここでの詳しい説明は省略する。

【0063】

そして、この階層ＰＯＣで得た相関値を閾値と比較し（ステップＳ２０９）、相関値が閾値以上であれば（ステップＳ２０９のＹＥＳ）、参照画像と登録画像との照合結果を一致として（ステップＳ２１０）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。また、外部接続部２０−６を介して、解錠指令などとして出力される。

【0064】

相関値が閾値以上でなければ（ステップＳ２０９のＮＯ）、制御部２０−１は、他の登録画像候補がＨＤ２０−４に保存されていることを確認のうえ（ステップＳ２１１のＹＥＳ）、ＨＤ２０−４から次の登録画像候補を読み出し（ステップＳ２０７）、ステップＳ２０８以下の処理を繰り返す。

【0065】

これにより、一致するという照合結果が得られるまで、次々にＨＤ２０−４から登録画像候補が読み出され、この読み出された登録画像候補と参照画像との階層ＰＯＣでの照合が繰り返される。

【0066】

この階層ＰＯＣでの照合の繰り返し中、他の登録画像候補がなくなれば（ステップＳ２１１のＮＯ）、制御部２０−１は、参照画像と登録画像との照合結果を不一致として（ステップＳ２１２）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

【0067】

なお、この実施の形態１では、ステップＳ３０３においてＮ＝２とし、第２層（最下層）の階層画像から登録画像と参照画像との類似の算出を開始するようにしたが、ステップＳ３０３においてＮ＝１とし、第１層の階層画像から登録画像と参照画像との類似の算出を開始するようにしてもよい。

【0068】

このようにして、本実施の形態では、参照画像と登録画像との照合を行う前に、参照画像と照合する登録画像が絞り込まれるものとなり、１：Ｎ照合における照合回数を減らし、高精度と高速処理が両立されるものとなる。

【0069】

なお、この例では、登録画像候補と参照画像との照合を階層ＰＯＣで行うようにしたが、必ずしも階層ＰＯＣで行わなくてもよく、原画像のみを用いる一般的な照合手法を採用するようにしてもよい。

【0070】

また、この例では、２次元の画像を照合するものとしたが、３次元の画像を照合するようにしてもよい。３次元の画像を照合する場合、ＩＣＰ（Iterative Closest Point）アルゴリズムによる照合手法を適用することが考えられる。

【0071】

〔実施の形態２：登録画像候補の選択処理２〕
図６に図３に示したフローチャートにおけるステップ２０６での登録画像候補の選択処理の別の例（登録画像候補の選択処理２）を実施の形態２として示す。

【0072】

この登録画像候補の選択処理２において、制御部２０−１は、ステップＳ２０５で得た参照画像の原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する（ステップＳ４０１、図５（ｂ）参照）。

【0073】

そして、制御部２０−１は、Ｎ＝２とし（ステップＳ４０２）、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を読み出す（ステップＳ４０３）。すなわち、第１番目の登録画像について、最上層（第０層）に位置する高解像度画像（１２８×１２８の画素の画像）と、この高解像度画像の下層（第１層）に位置する第１の低解像度画像（６４×６４の画素の画像）と、この第１の低解像度画像の下層（第２層）に位置する第２の低解像度画像（３２×３２の画素の画像）とを読み出す（図５（ａ）参照）。

【0074】

次に、制御部２０−１は、参照画像の第Ｎ層の階層画像と登録画像の第Ｎ層の階層画像との類似度を算出する（ステップＳ４０４）。この場合、Ｎ＝２であるので、参照画像の第２層の階層画像Ｉ２と登録画像の第２層の階層画像Ｊ２との類似度を算出する。

【0075】

そして、予め定められている第２層の基準値ＴＨを読み出し（ステップＳ４０５）、算出した類似度と読み出した第２層の基準値ＴＨとを比較する（ステップＳ４０６）。ここで、第２層の基準値ＴＨは、その階層の解像度に応じて定められている。

【0076】

算出した類似度が第２層の基準値ＴＨ以上であれば（ステップＳ４０６のＹＥＳ）、ステップＳ３０２で読み出した登録画像を登録画像候補として選択し（ステップＳ４０７）、選択された登録画像候補の数Ｍ（初期値０）をＭ＝Ｍ＋１とする（ステップＳ４０８）。

【0077】

そして、選択された登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ４０９のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ４１０のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0078】

算出した類似度が第２層の基準値ＴＨ以上でなければ（ステップＳ４０６のＮＯ）、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ４１０のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0079】

これにより、次々に登録画像の階層画像がＨＤ２０−４から読み出され、その登録画像の第２層の階層画像と参照画像の第２層の階層画像との類似度が算出され、算出された類似度と第２層の基準値ＴＨとが比較され、算出された類似度が基準値ＴＨ以上であることが確認された登録画像が登録画像候補として選択されて行く。

【0080】

そして、この処理中、ＨＤ２０−４から全ての登録画像が読み出され、他の登録画像がなくなった場合（ステップＳ４１０のＮＯ）、制御部２０−１は、より解像度の高い階層画像があることを確認し（ステップＳ４１１のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ４１２）、ステップＳ４０３へ戻る。

【0081】

これにより、制御部２０−１は、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を再度読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0082】

この場合、Ｎ＝１であるので、登録画像の第１層の階層画像と参照画像の第１層の階層画像との類似度を算出し（ステップＳ４０４）、予め定められている第１層の基準値ＴＨを読み出し（ステップＳ４０５）、算出した類似度と読み出した第１層の基準値ＴＨとを比較する（ステップＳ４０６）。ここで、第１層の基準値ＴＨは、その階層の解像度に応じて定められている。

【0083】

算出した類似度が第１層の基準値ＴＨ以上であれば（ステップＳ４０６のＹＥＳ）、ステップＳ４０３で読み出した登録画像を登録画像候補として選択し（ステップＳ４０７）、選択された登録画像候補の数ＭをＭ＝Ｍ＋１とする（ステップＳ４０８）。

【0084】

そして、登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ４０９のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ４１０のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0085】

算出した類似度が第１層の基準値ＴＨ以上でなければ（ステップＳ４０６のＮＯ）、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ４１０）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0086】

これにより、次々に登録画像の階層画像がＨＤ２０−４から読み出され、その登録画像の第１層の階層画像と参照画像の第１層の階層画像との類似度が算出され、算出された類似度と第１層の基準値ＴＨとが比較され、算出された類似度が第１層の基準値ＴＨ以上であることが確認された登録画像が登録画像候補として選択されて行く。

【0087】

そして、この処理中、ＨＤ２０−４から全ての登録画像が読み出され、他の登録画像がなくなった場合（ステップＳ４１０のＮＯ）、制御部２０−１は、より解像度の高い階層画像があることを確認し（ステップＳ４１１のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ４１２）、ステップＳ４０３へ戻る。

【0088】

これにより、制御部２０−１は、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を再度読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0089】

この場合、Ｎ＝０であるので、登録画像の第０層の階層画像Ｊ０と参照画像の第０層の階層画像Ｉ０との類似度を算出し（ステップＳ４０４）、予め定められている第０層の基準値ＴＨを読み出し（ステップＳ４０５）、算出した類似度と読み出した第０層の基準値ＴＨとを比較する（ステップＳ４０６）。ここで、第０層の基準値ＴＨは、その階層の解像度に応じて定められている。

【0090】

算出した類似度が第０層の基準値ＴＨ以上であれば（ステップ４０６のＹＥＳ）、ステップＳ４０３で読み出した登録画像を登録画像候補として選択し（ステップＳ４０７）、選択された登録画像候補の数ＭをＭ＝Ｍ＋１とする（ステップＳ４０８）。

【0091】

そして、登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ４０９のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ４１０のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0092】

算出した類似度が第０層の基準値ＴＨ以上でなければ（ステップＳ４０６のＮＯ）、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ４１０）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ４０３）、ステップＳ４０４以下の処理を繰り返す。

【0093】

これにより、次々に登録画像の階層画像がＨＤ２０−４から読み出され、その登録画像の第０層の階層画像と参照画像の第０層の階層画像との類似度が算出され、算出された類似度と第０層の基準値ＴＨとが比較され、算出された類似度が第０層の基準値ＴＨ以上であることが確認された登録画像が登録画像候補として選択されて行く。

【0094】

なお、制御部２０−１は、この処理の繰り返し中、選択された登録画像候補の数Ｍが１００となれば（ステップＳ４０９のＹＥＳ）、登録画像候補の選択処理を終了し、図３に示したステップＳ２０７への処理へと進む。

【0095】

また、この処理の繰り返し中、選択された登録画像候補の数Ｍが１００に達する前に、より解像度の高い階層画像がなくなった場合（ステップＳ４１１のＮＯ）、制御部２０−１は、選択された登録画像候補が存在するか否かをチェックする（ステップＳ４１３）。ここで、選択された登録画像候補が存在すれば（ステップＳ４１３のＹＥＳ）、登録画像候補の選択処理を終了し、図３に示したステップＳ２０７への処理へと進む。

【0096】

これに対して、選択された登録画像候補が存在しなければ（ステップＳ４１３のＮＯ）、すなわち第１層、第２層、第０層の全階層について、ＨＤ２０−４から登録画像を全て読み出したにも拘わらず、選択された登録画像候補の数が０であれば、参照画像と登録画像との照合結果を不一致として（ステップＳ４１４）、処理を終了する。この場合の照合結果は液晶表示装置１２に表示される。

【0097】

なお、この実施の形態２では、ステップＳ４０２においてＮ＝２とし、第２層（最下層）の階層画像から登録画像と参照画像との類似の算出を開始するようにしたが、ステップＳ４０２においてＮ＝１とし、第１層の階層画像から登録画像と参照画像との類似の算出を開始するようにしてもよい。

【0098】

〔実施の形態３：登録画像候補の選択処理３〕
図７に登録画像候補の選択処理３のフローチャートを示す。実施の形態３では、この登録画像候補の選択処理３を登録画像候補の選択処理１，２と組み合わせて、最終的な登録画像候補を得るようにする。なお、この実施の形態３では、登録画像候補の選択処理１，２で選択される登録画像候補を第１の登録画像候補とし、登録画像候補の選択処理３で選択される登録画像候補を第２の登録画像候補とする。

【0099】

登録画像候補の選択処理３において、制御部２０−１は、ステップＳ２０５で得られた参照画像から計測情報として瞳間距離を算出し（ステップＳ５０１）、この算出された瞳間距離が属する登録画像の瞳間距離グループをＨＤ２０−４から選択する（ステップＳ５０２）。そして、この瞳間距離グループの登録画像を第２の登録画像候補として選択する（ステップＳ５０３）。

【0100】

そして、制御部２０−１は、登録画像候補の選択処理４で選択した第２の登録画像候補と登録画像候補の選択処理１，２で選択した第１の登録画像候補とを組み合わせて、最終的な登録画像候補を得る。

【0101】

例えば、実施の形態３の第１例として、登録画像候補の選択処理３で選択された第２の登録画像候補について、登録画像候補の選択処理１又は２を行って、最終的な登録画像候補を得るようにする。

【0102】

例えば、実施の形態３の第２例として、登録画像候補の選択処理１又は２で選択された第１の登録画像候補と登録画像候補の選択処理３で選択された第２の登録画像候補とのＡＮＤをとって、最終的な登録画像候補を得るようにする。

【0103】

例えば、実施の形態３の第３例として、登録画像候補の選択処理１又は２で選択された第１の登録画像候補と登録画像候補の選択処理３で選択された第２の登録画像候補とのＯＲをとって、最終的な登録画像候補を得るようにする。

【0104】

なお、この実施の形態３では、参照画像から計測情報として瞳間距離を取得するようにしたが、顔サイズ、瞳サイズ、顔曲率などを取得し、この取得した計測情報に基づいて第１の登録画像候補を選択するようにしてもよい。

【0105】

〔実施の形態４：登録画像候補の選択処理４〕
図８に登録画像候補の選択処理４のフローチャートを示す。実施の形態４では、この登録画像候補の選択処理４を登録画像候補の選択処理１，２と組み合わせて、最終的な登録画像候補を得るようにする。なお、この実施の形態４では、登録画像候補の選択処理１，２で選択される登録画像候補を第１の登録画像候補とし、登録画像候補の選択処理４で選択される登録画像候補を第３の登録画像候補とする。

【0106】

この登録画像候補の選択処理４において、制御部２０−１は、ステップＳ２０５で得た参照画像の原画像（１２８×１２８の画素の画像）を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に６４×６４の画素の画像（第１の低解像度画像）を作成し、この第１の低解像度画像の下層（第２層）に３２×３２の画素の画像（第２の低解像度画像）を作成する（ステップＳ６０１、図９（ｂ）参照）。

【0107】

そして、制御部２０−１は、ＨＤ２０−４に保存されている第１番目の登録画像（原画像を含む階層画像）を読み出す（ステップＳ６０２）。すなわち、第１番目の登録画像について、最上層（第０層）に位置する高解像度画像（１２８×１２８の画素の画像）と、この高解像度画像の下層（第１層）に位置する第１の低解像度画像（６４×６４の画素の画像）と、この第１の低解像度画像の下層（第２層）に位置する第２の低解像度画像（３２×３２の画素の画像）とを読み出す（図９（ａ）参照）。

【0108】

制御部２０−１は、このような参照画像の階層画像Ｉ０，Ｉ１，Ｉ２および登録画像の階層画像Ｊ０，Ｊ１，Ｊ２を得た後、予め定められた基準点を読み込んで、対応領域探索のための特徴領域を登録画像の階層画像Ｊ０，Ｊ１，Ｊ２に設定する（ステップＳ６０３）。

【0109】

この例では、登録画像の原画像に対して設定されている図１０（ａ）に示すような基準点プレートＰＬから、特徴領域を規定する点として予め定められた基準点Ｐ１を読み込み、この基準点Ｐ１を中心とする３２×３２の画素の領域を特徴領域Ｓ０として登録画像の階層画像Ｊ０に設定する。この例において、基準点Ｐ１は、階層画像Ｊ０において、特徴領域Ｓ０のゾーン内に特徴的な部分として右目が入るような点として定められている。

【0110】

同様にして、登録画像の階層画像Ｊ１に対して、基準点Ｐ１に対応する点を中心とする３２×３２の画素の領域を特徴領域Ｓ１として設定し、登録画像の階層画像Ｊ２に対して、基準点Ｐ１に対応する点を中心とする３２×３２の画素の領域を特徴領域Ｓ２として設定する。なお、階層画像Ｊ２は３２×３２の画素の画像であるので、階層画像Ｊ２の全領域が特徴領域Ｓ２として設定される。

【0111】

そして、制御部２０−１は、Ｎ＝２とし（ステップＳ６０４）、登録画像の第Ｎ層の階層画像の特徴領域に対応する参照画像の第Ｎ層の階層画像の対応領域の探索を行う（ステップＳ６０５）。この場合、Ｎ＝２であるので、登録画像の第２層の階層画像Ｊ２の特徴領域Ｓ２に対応する参照画像の第２層の階層画像Ｉ２の対応領域Ｓ２’の探索をＰＯＣ照合によって行う。

【0112】

そして、制御部２０−１は、この探索した登録画像の第２層の階層画像Ｊ２における特徴領域Ｓ２と参照画像の第２層の階層画像Ｉ２における対応領域Ｓ２’との類似度を算出し（ステップＳ６０６）、予め定められている第２層の基準値ＴＨを読み出し（ステップＳ６０７）、算出した類似度と読み出した第２層の基準値ＴＨとを比較する（ステップＳ６０８）。ここで、第２層の基準値ＴＨは、その階層の解像度と特徴領域Ｓ２の位置とに応じて定められている。

【0113】

算出した類似度が第２層の基準値ＴＨ以上であれば（ステップＳ６０８のＹＥＳ）、ステップＳ６０２で読み出した登録画像を登録画像候補（第３の登録画像候補）として選択し（ステップＳ６０９）、選択された登録画像候補の数Ｍ（初期値０）をＭ＝Ｍ＋１とする（ステップＳ６１０）。

【0114】

そして、選択された登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ６１１のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ６１３のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ６０２）、ステップＳ６０３以下の処理を繰り返す。

【0115】

算出した類似度が第２層の基準値ＴＨ以上でなければ（ステップＳ６０８のＮＯ）、より解像度の高い階層画像があることを確認のうえ（ステップＳ６１２のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ６１４）、ステップＳ６０５へ戻る。この場合、Ｎ＝１とされるので、制御部２０−１は、第２層の階層での探索結果を反映させて、登録画像の第１層の階層画像Ｊ１の特徴領域Ｓ１に対応する参照画像の第１層の階層画像Ｉ１の対応領域Ｓ１’の探索をＰＯＣ照合によって行う（ステップＳ６０５）。

【0116】

そして、制御部２０−１は、この探索した登録画像の第１層の階層画像Ｊ１における特徴領域Ｓ１と参照画像の第１層の階層画像Ｉ１における対応領域Ｓ１’との類似度を算出し（ステップＳ６０６）、予め定められている第１層の基準値ＴＨを読み出し（ステップＳ６０７）、算出した類似度と読み出した第１層の基準値ＴＨとを比較する（ステップＳ６０８）。ここで、第１層の基準値ＴＨは、その階層の解像度と特徴領域Ｓ１の位置とに応じて定められている。

【0117】

算出した類似度が第１層の基準値ＴＨ以上であれば（ステップＳ６０８のＹＥＳ）、ステップＳ６０２で読み出した登録画像を登録画像候補（第３の登録画像候補）として選択し（ステップＳ６０９）、選択された登録画像候補の数ＭをＭ＝Ｍ＋１とする（ステップＳ６１０）。そして、選択された登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ６１１のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ６１３のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ６０２）、ステップＳ６０３以下の処理を繰り返す。

【0118】

算出した類似度が第１層の基準値ＴＨ以上でなければ（ステップＳ６０８のＮＯ）、より解像度の高い階層画像があることを確認のうえ（ステップＳ６１２のＹＥＳ）、Ｎ＝Ｎ−１とし（ステップＳ６１４）、ステップＳ６０５へ戻る。この場合、Ｎ＝０とされるので、制御部２０−１は、第１層の階層での探索結果を反映させて、登録画像の第０層の階層画像Ｊ０の特徴領域Ｓ０に対応する参照画像の第０層の階層画像Ｉ０の対応領域Ｓ０’の探索をＰＯＣ照合によって行う（ステップＳ６０５）。

【0119】

そして、制御部２０−１は、この探索した登録画像の第０層の階層画像Ｊ０における特徴領域Ｓ０と参照画像の第０層の階層画像Ｉ０における対応領域Ｓ０’との類似度を算出し（ステップＳ６０６）、予め定められている第０層の基準値ＴＨを読み出し（ステップＳ６０７）、算出した類似度と読み出した第０層の基準値ＴＨとを比較する（ステップＳ６０８）。ここで、第０層の基準値ＴＨは、その階層の解像度と特徴領域Ｓ０の位置とに応じて定められている。

【0120】

算出した類似度が第０層の基準値ＴＨ以上であれば（ステップＳ６０８のＹＥＳ）、ステップＳ６０２で読み出した登録画像を登録画像候補（第３の登録画像候補）として選択し（ステップＳ６０９）、選択された登録画像候補の数ＭをＭ＝Ｍ＋１とする（ステップＳ６１０）。そして、選択された登録画像候補の数Ｍが１００に達していないことを確認のうえ（ステップＳ６１１のＮＯ）、またＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ６１３のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ６０２）、ステップＳ６０３以下の処理を繰り返す。

【0121】

算出した類似度が第０層の基準値ＴＨ以上でなければ（ステップＳ６０８のＮＯ）、制御部２０−１は、より解像度の高い階層画像があるか否かをチェックする（ステップＳ６１２）。この場合、第０層よりも解像度の高い階層画像はないので（ステップＳ６１２のＮＯ）、ＨＤ２０−４に他の登録画像が保存されていることを確認のうえ（ステップＳ６１３のＹＥＳ）、ＨＤ２０−４から次の登録画像を読み出し（ステップＳ６０２）、ステップＳ６０３以下の処理を繰り返す。

【0122】

これにより、次々に登録画像の階層画像がＨＤ２０−４から読み出され、解像度が低い順に登録画像の階層画像の特徴領域と参照画像の階層画像の対応領域との類似度が算出され、算出された類似度とその階層の基準値ＴＨとが比較され、何れかの階層で類似度が基準値ＴＨ以上であることが確認された登録画像が第３の登録画像候補として選択されて行く。

【0123】

そして、制御部２０−１は、この処理の繰り返し中、選択された登録画像候補の数Ｍが１００となれば（ステップＳ６１１のＹＥＳ）、登録画像候補の選択処理を終了する。また、この処理の繰り返し中、選択された登録画像候補の数Ｍが１００に達する前に、他の登録画像がなくなった場合にも（ステップＳ６１３のＮＯ）、登録画像候補の選択処理を終了する。

【0124】

そして、制御部２０−１は、登録画像候補の選択処理４で選択した第３の登録画像候補と登録画像候補の選択処理１，２で選択した第１の登録画像候補とを組み合わせて、最終的な登録画像候補を得る。

【0125】

例えば、実施の形態４の第１例として、登録画像候補の選択処理４で選択された第３の登録画像候補について、登録画像候補の選択処理１又は２を行って、最終的な登録画像候補を得るようにする。

【0126】

例えば、実施の形態４の第２例として、登録画像候補の選択処理１又は２で選択された第１の登録画像候補と登録画像候補の選択処理４で選択された第３の登録画像候補とのＡＮＤをとって、最終的な登録画像候補を得るようにする。

【0127】

例えば、実施の形態４の第３例として、登録画像候補の選択処理１又は２で選択された第１の登録画像候補と登録画像候補の選択処理４で選択された第３の登録画像候補とのＯＲをとって、最終的な登録画像候補を得るようにする。

【0128】

なお、この実施の形態４では、ステップＳ６０４においてＮ＝２とし、第２層（最下層）の階層画像から特徴領域に対応する対応領域の探索（類似度の算出）を開始するようにしたが、ステップＳ６０４においてＮ＝１とし、第１層の階層画像から特徴領域に対応する対応領域の探索および類似度の算出を開始するようにしてもよい。

【0129】

また、上述した実施の形態４では、登録画像の階層画像Ｊ０，Ｊ１，Ｊ２に特徴領域Ｓ０，Ｓ１，Ｓ２を定めるようにしたが、参照画像の階層画像Ｉ０，Ｉ１，Ｉ２に特徴領域Ｓ０，Ｓ１，Ｓ２を定め、登録画像の階層画像Ｊ０，Ｊ１，Ｊ２から対応領域Ｓ０’，Ｓ１’，Ｓ２’を探索するようにしてもよい。

【0130】

また、この実施の形態４では、登録画像候補の選択処理４を登録画像候補の選択処理１，２と組み合わせて、最終的な登録画像候補を得るようにしたが、登録画像候補の選択処理３および４を登録画像候補の選択処理１，２と組み合わせて、最終的な登録画像候補を得るようにしてもよい。

【0131】

また、上述した実施の形態１，２では、Ｍ＝１００に達するまで登録画像候補の選択を行うようにしたが、類似度が非常に高い場合には登録画像候補の選択をそこで終了するようにしてもよい。例えば、実施の形態１（図４）で言えば、ステップＳ３０６で類似度が基準値ＴＨよりも遙かに大きな所定値ＴＨｍａｘ以上であった場合、そこで登録画像候補の選択を終了するようにする。実施の形態４（図８）でも同様に、ステップＳ６０８で類似度が基準値ＴＨよりも遙かに大きな所定値ＴＨｍａｘ以上であった場合、そこで第３の登録画像候補の選択を終了するようにしてもよい。これにより、高速化を達成することができる。

【0132】

また、上述した実施の形態１，２では、Ｍ＝１００に達するまで登録画像候補の選択を行うようにしたが、全ての登録画像と分類のための照合処理をして、類似度（スコア）が高いものの上位Ｍ個を登録画像候補として選択するようにしてもよい。例えば、実施の形態１（図４）で言えば、ＨＤ２０−４に保存されている登録画像の全てについて分類のための照合処理をして類似度を求め、その類似度が高い上位Ｍ個の登録画像を登録画像候補として選択するようにする。実施の形態４（図８）でも同様に、ＨＤ２０−４に保存されている登録画像の全てについて分類のための照合処理をして類似度を求め、その類似度が高い上位Ｍ個の登録画像を第３の登録画像候補として選択するようにしてもよい。

【0133】

また、上述した実施の形態１〜４において、類似度の計算方法（例えば、ステップＳ２０８（図３）、ステップＳ３０４（図４）、ステップＳ４０４（図６）、ステップＳ６０６（図８）などでの類似度の計算方法）についてはその詳細を述べなかったが、この場合の類似度の計算方法として次のような方法が考えられる。

【0134】

〔特定の顔データ、特定の階層、特定のエリアで類似度を算出する方法〕
案１．対応点毎の相関値の平均値を類似度にする。
案２．閾値Tより高い対応点の数を類似度にする。
⇒ 特定エリアの外乱（着用物など）に影響をうけにくくなる。
案３．上下左右全体などエリア毎に閾値 "T_high" より高い対応点の数を類似度にする。閾値 "T_high" はエリア毎に変えても良い。
⇒ サングラス、メガネ、ひげの発生、傷、眼帯などの影響を受けにくい照合が実現できる。
案４．上下左右全体などエリア毎に閾値 "T_high" より高い対応点の数を類似度にする。このとき、いずれかのエリア毎に閾値 "T_low" より低い対応点の数が多い場合、後段の類似度判定処理でＮＧとする。閾値 "T_high"、"T_low" はエリア毎に変えても良い。
⇒ 同一の着用物による他人誤認を防ぐことができる。例えば、フレームの太い眼鏡による誤認がなくなる。

【0135】

なお、例えば実施の形態１（図４）では、ステップＳ３０４で類似度の算出を行い、ステップＳ３０６で類似度と基準値との比較を行うようにしているが、類似度の算出と基準値との比較を１ステップで行うようにしてもよい。他の実施の形態でも同様。

【0136】

また、上述した実施の形態１〜４では、登録画像の階層画像を登録画像としてＨＤ２０−４に記憶させるようにしたが、登録画像の原画像のみを記憶させるようにしてもよい。登録画像の原画像のみを記憶させる場合には、登録画像（原画像）の読み出しを行った後、この読み出した登録画像の原画像を最上層（第０層）の高解像度画像とし、この高解像度画像の下層（第１層）に第１の低解像度画像を作成し、この第１の低解像度画像の下層（第２層）に第２の低解像度画像を作成するようにする。

【0137】

図１１に登録画像候補の選択処理１において、登録画像（原画像）の読み出しを行った後、登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップＳ３０２で登録画像の原画像を読み出すようにし、このステップＳ３０２の後に、登録画像の階層画像を作成するステップＳ３１５を設けるようにする。

【0138】

図１２に登録画像候補の選択処理２において、登録画像（原画像）の読み出しを行った後、登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップＳ４０３で登録画像の原画像を読み出すようにし、ステップＳ４０３の後に、登録画像の階層画像を作成するステップＳ４１５を設けるようにする。

【0139】

図１３に登録画像候補の選択処理４において、登録画像（原画像）の読み出しを行った後、登録画像の階層画像を作成するようにした場合のフローチャートを示す。この場合、ステップＳ６０２で登録画像の原画像を読み出すようにし、ステップＳ６０２の後に、登録画像の階層画像を作成するステップＳ６１５を設けるようにする。

【産業上の利用可能性】

【0140】

本発明の照合装置は、参照画像と登録画像とを照合する照合装置として、入退室を管理するシステムに限らず、各種の対象物を認証するシステム（例えば、印刷などの画像チェック、半田基板チェックなど）において利用することが可能である。

【符号の説明】

【0141】

１０，１１…ＣＣＤカメラ、１０−１，１１−１…レンズ、１２…液晶表示装置（ＬＣＤ）、２０…処理部、２０−１…制御部、２０−２…ＲＯＭ、２０−３…ＲＡＭ、２０−４…ハードディスク（ＨＤ）、２０−５…フレームメモリ（ＦＭ）、２０−６…外部接続部（Ｉ／Ｆ）、２０−７…フーリエ変換部（ＦＦＴ）、Ｉ０，Ｉ１，Ｉ２…参照画像の階層画像、Ｊ０，Ｊ１，Ｊ２…登録画像の階層画像、Ｓ０，Ｓ１，Ｓ２…特徴領域、Ｓ０’，Ｓ１’，Ｓ２’…対応領域、ＰＬ…基準テンプレート、Ｐ１…基準点。

【図1】

【図2】

【図3】

【図4】

【図6】

【図7】

【図8】

【図11】

【図12】

【図13】

【図5】

【図9】

【図10】