(58)【調査した分野】(Int.Cl.,DB名)
予め登録されている登録画像中の複数の特徴点それぞれについて、撮影装置によって取得された照合画像中の各特徴点との位置差および特徴量の類似度を算出する類似度算出部と、
前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する照合部と、を備えることを特徴とする照合装置。
前記登録画像中の特徴点それぞれについて前記照合画像のうち前記類似度が最大となる特徴点との位置差を算出し、算出された位置差のうち少なくともいずれかを含む母集団から代表値を算出する代表値算出部を備え、
前記照合部は、前記登録画像中の各特徴点について前記照合画像のうち前記類似度が最大となる特徴点との位置差と前記代表値との差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合することを特徴とする請求項1記載の照合装置。
前記照合画像と前記登録画像との照合の前に、前記照合画像と前記登録画像との位置合わせを行う位置合わせ部を備えることを特徴とする請求項1または2に記載の照合装置。
予め登録されている登録画像中の複数の特徴点それぞれについて、撮影装置によって取得された照合画像中の各特徴点との位置差および特徴量の類似度を類似度算出部が算出し、
前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、照合部が、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する、ことを特徴とする照合方法。
【発明を実施するための形態】
【0009】
実施例の説明に先立って、特徴点を用いた照合方式(特徴点照合方式)の概略について説明する。特徴点照合方式では、画像の中で特徴的な点(特徴点)を抽出し、特徴点近傍の画像から算出した特徴量を基に照合を行う。例えば、
図1(a)および
図1(b)で例示するように、指紋や静脈の分岐点などを特徴点として抽出し、当該特徴点近傍の画像から特徴量を算出する。具体的な特徴量として、例えばLPQ(Blur Insensitive Texture Classification Using Local Phase Quantization等で開示)などの様々な方式がある。
【0010】
照合処理には様々な方式を用いることが可能であるが、以下では一例を述べる。まず、
図2で例示するように、予め登録された登録画像の特徴点(以下、登録特徴点と称する。)の特徴量と、認証時に被写体を撮影することで取得された照合画像の特徴点(以下、照合特徴点と称する。)の特徴量とを比較し、特徴点ペアを探索する。なお、登録画像および照合画像のおおよその位置合わせ正規化は、実施済みであるとする。位置合わせ正規化として、XY方向の位置や回転などの正規化を用いることができる。
【0011】
まず、登録特徴点に対してループを行い、ペアとなる照合特徴点を探索する。ここで、特徴点ペアの探索では、(1)空間的距離(X,Y距離)、(2)特徴量スコア、の2つを指標として用いる。空間的距離に関しては、注目している登録特徴点の座標(Xri,Yri)と照合特徴点の座標(Xii,Yii)との距離を求め、当該距離が閾値Rth以下であることを条件とする。所定の距離以下の特徴点の中で、特徴量スコアが最大となる照合特徴点を探索する。
【0012】
具体的には、特徴量同士がどの程度似ているかを表す類似度を特徴量スコアとして算出し、最大の特徴量スコアを与える照合特徴点を探索する。
図3(a)は、得られた全特徴点ペアの結果を例示する図である。この結果から、登録画像と照合画像との認証が成功したか否かを判断するための照合スコアを求める。例えば、特徴量スコアでソートし、特徴量スコア上位(例えば、上位10位)の平均を求め、当該平均を照合スコアとする。照合スコアが閾値以上であれば、認証成功となる。なお、当該ソートの順番を、以下、ランクと称する。例えば、当該ソートの結果の1位がランク1位であり、当該ソートの結果の2位がランク2位である。
【0013】
ここで、位置差(移動量)に着目した特徴点ペアの選択処理を行うことで、認証精度が改善する。移動量とは、求めた対応点ペアの座標の差異のことである。例えば、登録特徴点1の座標が(100,100)であったとする。最も特徴量スコアが高かった照合特徴点が照合特徴点1であり、その座標が(90,91)であったとする。この場合、登録特徴点1と照合特徴点1との間の移動量は、(10,9)と求まる。このように対応点ごとに移動量を求める。
図3(b)は、
図3(a)とは別の結果で移動量を例示する図である。
【0014】
ここで、全体の平均的な移動量から大きく外れた特徴点ペアは、誤った対応点であると判断することができる。
図3(b)の例では、ランク3位の特徴点ペアにおいて、移動量が他と大きくずれている。そのため、ランク3位の特徴点ペアを照合スコアの計算対象から除外することで、認証精度を高めることができる。
【0015】
このように、事前に登録画像と照合画像とのおおよその位置合わせ(平行移動補正、回転補正などの正規化処理)を適用した上で照合処理を行っている。しかしながら、正規化処理で完全に補正されるとは限らず、誤差が残る場合がある。なお、平行移動は、一般的に特徴量スコアに大きく影響しない。一方、回転補正は、特徴量スコアに大きく影響する。例えば、上記で挙げたLPQ特徴は回転不変な特徴ではないため、回転ズレがあると特徴量スコアが劣化する。このようなケースでは本人拒否が発生してしまう問題がある。
【0016】
以下の実施例では、適切な特徴点のペアを生成することで認証精度を高めることができる照合装置、照合方法および照合プログラムについて説明する。
【実施例1】
【0017】
図4(a)は、実施例1に係る照合装置100のハードウェア構成を説明するためのブロック図である。
図4(b)は、後述する生体センサ105の模式図である。
図4(a)で例示するように、照合装置100は、CPU101、RAM102、記憶装置103、表示装置104、生体センサ105、通信部106、属性情報取得部107などを備える。これらの各機器は、バスなどによって接続されている。
【0018】
CPU(Central Processing Unit)101は、中央演算処理装置である。CPU101は、1以上のコアを含む。RAM(Random Access Memory)102は、CPU101が実行するプログラム、CPU101が処理するデータなどを一時的に記憶する揮発性メモリである。
【0019】
記憶装置103は、不揮発性記憶装置である。記憶装置103として、例えば、ROM(Read Only Memory)、フラッシュメモリなどのソリッド・ステート・ドライブ(SSD)、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。本実施例に係る照合プログラムは、記憶装置103に記憶されている。表示装置104は、液晶ディスプレイ、エレクトロルミネッセンスパネル等であり、後述する各処理の結果などを表示する。
【0020】
生体センサ105は、被写体の画像を取得する撮影装置であり、本実施例においては、ユーザの生体の画像を取得する撮影装置である。
図4(b)で例示するように、生体センサ105は、一例として、CMOS(Complementary Metal Oxide Semiconductor)カメラなどである。生体センサ105は、例えば、手のひら静脈画像、指紋画像、顔画像などの、特徴点が現れる画像を取得することができる。
【0021】
通信部106は、例えば、LAN(Local Area Network)などへの接続インタフェースである。属性情報取得部107は、キーボード、マウスなどの入力機器であり、例えば、ユーザを識別するためのID、ユーザ名、パスワードなどを入力するための装置である。
【0022】
記憶装置103に記憶されている照合プログラムは、実行可能にRAM102に展開される。CPU101は、RAM102に展開された照合プログラムを実行する。それにより、照合装置100による各処理が実行される。照合プログラムが実行されることによって、照合処理などが実行される。
【0023】
図5は、照合プログラムの実行によって実現される照合装置100の各機能のブロック図である。
図5で例示するように、照合プログラムの実行によって、全体管理部10、生体データ取得部20、正規化処理部30、特徴抽出部40、データベース部50、記憶部60、照合処理部70などが実現される。照合処理部70は、ペア照合部71、ペアリスト作成部72、全体移動量算出部73、最終スコア算出部74などとして機能する。
【0024】
図6は、本実施例に係る照合処理の詳細を表すフローチャートの一例である。
図6で例示するように、属性情報取得部107は、例えば、ユーザのIDを属性情報として取得する(ステップS1)。次に、生体データ取得部20は、生体センサ105から当該ユーザの生体から照合画像を取得する(ステップS2)。
【0025】
次に、正規化処理部30は、ステップS1で取得されたIDに対応する登録画像をデータベース部50から取得し、当該登録画像に対して照合画像を正規化する(ステップS3)。正規化処理として、平行移動、回転移動などの位置合わせを行うことができる。平行移動は、被写体領域(指領域や手のひら領域)の重心座標などを基に行うことができる。また、回転移動として、輪郭のエッジを算出し、エッジ方向を基に行うことができる。
【0026】
次に、特徴抽出部40は、正規化後の照合画像から特徴点を抽出する。例えば、指紋や静脈の交点、分岐点などを特徴点とすることができる。特徴抽出部40は、算出した特徴点近傍領域の画像から特徴量を特徴量ベクトルとして算出する。具体的な算出方式としては前述したLPQなどを利用することができる。
【0027】
次に、ペア照合部71は、登録特徴点のそれぞれについて、照合画像のうち位置差が閾値以下となる照合特徴点について、特徴量スコアを算出する(ステップS4)。その際に、ペア照合部71は、登録特徴点と照合特徴点との移動量を算出する。次に、ペアリスト作成部72は、ペア情報リストを作成する(ステップS5)。
図7は、ペア情報リストを例示する図である。
図7で例示するように、第1位には、特徴量スコアが最大のものが格納される。第2位には、特徴量スコアが次点のものが格納される。
【0028】
次に、全体移動量算出部73は、ペア情報リストの全ての移動量から全体移動量を算出する(ステップS6)。全体移動量として、統計処理に基づく代表値を用いることができる。例えば、代表値として、各移動量の平均値やメディアンなどを用いることができる。また、全体移動量を求める際、特徴量スコアや順位に制限を設けることで、少なくともいずれかの移動量を用いてもよい。例えば、特徴点ペア情報リストのうち、所定閾値以上の特徴量スコアを持つペアや、所定順位以上のペアのみを用いて全体移動量を求めてもよい。このようにすることで、特徴量スコアが低い特徴点ペアの情報を排除することができ、結果として精度が改善する。
【0029】
次に、最終スコア算出部74は、全体移動量と移動量との差異が閾値以上となるペアを除外した上で、最終スコアを算出する(ステップS7)。具体的には、以下のように最終スコアを算出することができる。まず、最終スコア算出部74は、特徴点ペア情報リストを参照し、ランク上位からN個の特徴点を取得する。Nは、所定の定数である。最終スコア算出部74は、上位N個の特徴点を取得するにあたり、該当する特徴点ペアの移動量をチェックする。最終スコア算出部74は、全体移動量と比較して該当する特徴点ペアの移動量が大きい場合には、該当特徴点はスコア算出から除外する。最終スコア算出部74は、このようにして求めたN個の特徴点ペアの特徴量スコアの平均値などを最終的なスコアとして算出する。
【0030】
図8は、ステップS7の詳細を表すフローチャートの一例である。
図8で例示するように、最終スコア算出部74は、変数nに1を代入する(ステップS11)。変数nは、上位N個の特徴点ペアを求めるに当たり、現在探索しているランクを示す。変数n=1であれば、ランク1位のペアを探索することを意味する。
【0031】
次に、最終スコア算出部74は、変数idxに1を代入する(ステップS12)。変数idxは、特徴点ペア情報リストにおける着目点を意味し、具体的には何行目のデータに着目しているかを意味する。
図7の例では、ランク1位の第1位が1行目であり、ランク1位の第2位が2行目であり、ランク2位の第1位が3行目である。
【0032】
次に、最終スコア算出部74は、変数idxが特徴点ペア数Lnよりも大きいか否かを判定する(ステップS13)。特徴点ペア数Lnは、特徴点ペア情報リストにおける全ペア数である。ステップS13で「No」と判定された場合、最終スコア算出部74は、フローチャートを終了する。これは、所定の数N個の特徴点ペアを求めることができなかった場合を意味している。このような場合は、照合画像と登録画像との照合スコアとして、非常に低い値が設定される。生体認証の例であれば、他人と判断される。
【0033】
次に、最終スコア算出部74は、特徴点ペア情報リストのidx番目のペアの妥当性をチェックする(ステップS14)。これは、特徴点ペア情報リストにおいてidx番目のペアに着目し、これが妥当かどうかチェックを行うものである。具体的には以下の点から判断する。まず、idx番目のペアの移動量に着目し、全体移動量との差異が閾値以上であれば、妥当ではないと判断する。また、第2位を利用する場合には、着目している特徴点ペアの照合点に着目する。正しいペアの場合、登録点と照合点とは1:1に対応するはずである。そのため、着目している特徴点ペアの照合点が既に妥当な特徴点ペアとして出現しているかどうかのチェックを行う。
図7を例に説明する。登録特徴点1の第1位スコアを与える照合特徴点1の移動量と全体移動量との差異が閾値未満であれば、該当ペアが妥当と判断され、第2位のペアは妥当ではないと判断される。また、照合特徴点1は登録特徴点1とペアであると判断されるため、登録特徴点2の第2位である照合特徴点1とのペアはこの時点で妥当ではないと判断される。一方、登録特徴点3の第1位のスコアを与える照合特徴点2の移動量と全体移動量との差異が閾値以上であれば、該当ペアは妥当ではないと判断され、第2位のペアが妥当であると判断される。
【0034】
次に、最終スコア算出部74は、ステップS14の結果に基づいて、idx番目のペアの特徴量スコアが妥当であるか否かを判定する(ステップS15)。ステップS15で「No」と判定された場合、idxに1を足し合わせる(ステップS16)。その後、ステップS13から再度実行される。ステップS15で「Yes」と判定された場合、上位n番目の特徴量スコアとして、特徴点ペア情報リストのidx番目の特徴量スコアを設定する(ステップS17)。次に、最終スコア算出部74は、変数nに1を足し合わせる(ステップS18)。
【0035】
次に、最終スコア算出部74は、変数nがNよりも大きいか否かを判定する(ステップS19)。ステップS19で「No」と判定された場合、ステップS16が実行される。ステップS19で「Yes」と判定された場合、最終スコア算出部74は、上位N個のスコアから最終スコアを算出する(ステップS20)。その後、フローチャートの実行が終了する。
【0036】
本実施例によれば、各登録特徴点について、第1位の位置差が大きくなる場合に、最終スコアの算出の際に第1位ではなく第2位が用いられる。この構成によれば、回転誤差が大きくなる場合等に、適切な特徴点ペアを用いることができるようになる。すなわち、回転誤差が大きくなったために偶発的に特徴量スコアが大きくなった照合特徴点を、除外することができる。また、回転誤差が大きくなったために偶発的に特徴量スコアが小さくなった照合特徴点を用いることができる。したがって、最終スコアの算出精度が向上し、認証精度が向上する。
【0037】
なお、不適切な対応点ペアの移動量は様々な方向にばらつくため、全体移動量を求めて平均化することで、ばらつきの影響を抑制することができる。したがって、第1位の位置差を判定する際に、移動量と全体移動量との差を用いることで、各特徴点ペアが適切であるか否かを判断する精度が向上する。ただし、全体移動量を用いなくても、位置差が所定の閾値より大きいか否かを判定しても、各特徴点ペアが適切であるか否かを判断することができる。
【0038】
なお、本実施例においては、ペア情報リストにおいて、各登録特徴点に対して第1位および第2位だけ格納しているが、それに限られない。例えば、第3位以下の照合特徴点も含めてもよい。例えば、第1位の位置差が閾値を上回り、第2の位置差も閾値を上回る場合に、位置差が閾値以下の第3位の特徴量スコアを用いて最終スコアを算出してもよい。
【0039】
本実施例において、生体センサ105が、照合画像を取得する撮影装置の一例として機能する。ペア照合部71が、予め登録されている登録画像中の複数の特徴点それぞれについて、前記照合画像中の各特徴点との位置差および特徴量の類似度を算出する類似度算出部の一例として機能する。最終スコア算出部74が、前記登録画像中の各特徴点について、前記照合画像のうち前記類似度が最大となる特徴点との位置差が閾値より大きい場合に、前記類似度が次点以下の特徴点との前記類似度を用いて、前記照合画像と前記登録画像とを照合する照合部の一例として機能する。全体移動量算出部73が、前記登録画像中の特徴点それぞれについて前記照合画像のうち前記類似度が最大となる特徴点との位置差を算出し、算出された位置差のうち少なくともいずれかを含む母集団から代表値を算出する代表値算出部の一例として機能する。正規化処理部30が、前記照合画像と前記登録画像との照合の前に、前記照合画像と前記登録画像との位置合わせを行う位置合わせ部の一例として機能する。
【実施例2】
【0040】
位置合わせの精度が高い場合等では、第2位以下のペアを最終スコアに反映しない方が高い認証精度を得られる場合がある。例えば、回転誤差がほとんど発生しないような場合には、第2位以下を用いずに第1位だけを用いる方が、認証精度が高くなる。そこで、第2実施例においては、正規化処理部30による正規化処理の信頼度が高い場合には、第2位以下の特徴量スコアを最終スコアに反映させないようにする。
【0041】
図9は、実施例2に係る照合装置100aの各機能のブロック図である。照合装置100aの機能が実施例1に係る照合装置100の機能と異なる点は、正規化処理部30に、正規化信頼度算出部31が実現される点である。
【0042】
正規化信頼度算出部31は、正規化処理部30による正規化処理の信頼度を算出する。例えば、信頼度として、回転補正の信頼度を算出することができる。この場合の信頼度は、回転補正がどの程度正しいかを表す指標である。すなわち、信頼度は、回転誤差が大きい場合には低くなり、回転誤差が小さい場合には高くなる数値である。例えば、回転補正として、被写体の輪郭(指の輪郭線や手のひらの輪郭線)を用いて回転補正を行うケースが挙げられる。例えば、
図10(a)で例示するように、輪郭線が綺麗に映っていれば、それを基に正確な回転補正を行うことができる。そこで、信頼度として高い数値を算出する。しかしながら、画像ブレや被写体の位置ズレが大きい場合などには、
図10(b)で例示するように、輪郭線が薄いか映っていないケースがあり得る。このような場合には、信頼度として低い数値を算出する。具体的には、正規化信頼度算出部31は、回転補正の元となる輪郭データの強さ(エッジ強度)が大きいほど高い信頼度となり、映っている輪郭が長いほど高い信頼度となるように、信頼度を算出する。
【0043】
その他、正規化信頼度算出部31は、照合画像のノイズが少ないほど高い信頼度となるように、信頼度を算出してもよい。また、信頼度算出方法として以下のような方式で信頼度を算出してもよい。まず、太陽光などの環境光の有無を基準とすることができる。外光が存在する場合、強烈な光によるサチュレーションなどが起こり、輪郭情報の信頼性が低下することが考えられる。CMOSカメラなどの特徴画像撮影用とは別に照度センサを設けておき、外光強度に応じて信頼度を算出する。また、生体認証システムの構成として、画像データ(特徴画像)をネットワークで転送する構成とする場合がある。運用環境によっては画像データを圧縮して転送する必要が生ずる場合がある。例えば、ネットワーク帯域が非常に狭いケースでは、画像圧縮が必須のケースが出てくる。画像を圧縮すると、ブロックノイズなど画像圧縮に固有の画質劣化が生ずるケースがある。このようなシステムでは、例えば圧縮品質に応じて信頼度を設定する構成としてもよい。
【0044】
図11は、信頼度に応じて、第1位を利用するか第2以下を利用するか否かを判定するためのフローチャートを例示する図である。
図11のフローチャートは、
図6のフローチャートのステップS3が実行された後に、実行される。
図11で例示するように、正規化信頼度算出部31は、正規化された照合画像の信頼度を算出する(ステップS21)。次に、全体管理部10は、ステップS21で算出された信頼度が閾値未満であるか否かを判定する(ステップS22)。ステップS22で「Yes」と判定された場合、全体管理部10は、
図6のフローチャートのステップS4以降の処理を許容する(ステップS23)。ステップS22で「No」と判定された場合、全体管理部10は、
図6のフローチャートのステップS5において、ペアリスト作成部72に第1位だけのリストを作成するように指示する(ステップS24)。次に、全体管理部10は、
図6のフローチャートのステップS7において、最終スコア算出部74に、第1位の特徴量スコアだけから最終スコアを算出するように指示する(ステップS25)。この場合、位置差が大きくなる照合特徴点は除外してもよい。
【0045】
本実施例によれば、照合画像の正規化の信頼度が高い場合には、最終スコアの算出から、第2位以下の特徴量スコアを除外することができる。一方、照合画像の正規化の信頼度が低い場合には、最終スコアの算出に、第2位以下の特徴量スコアを反映させることができる。このように、照合画像の正規化の信頼度に応じて第2位以下の特徴量を用いるか否かを決定することで、認証精度を向上させることができる。
【0046】
本実施例においては、正規化信頼度算出部31、照合画像の被写体の回転誤差が閾値未満になるか否かを判定する判定部、または、照合画像の被写体の輪郭の信頼度を算出する信頼度算出部の一例として機能する。
【実施例3】
【0047】
実施例2では、正規化処理の信頼度を算出することで、回転ズレが大きいか否かを動的に判断した。一方、回転誤差が生じないことが予め想定される運用条件では、正規化処理の信頼度を動的に算出しなくてもよい。そこで、第3実施例では、回転誤差が生じにくい運用条件、回転誤差が生じる運用条件、などを予め情報として格納しておき、回転誤差が生じにくい運用条件では第2位以下の特徴量スコアを最終スコアに反映させないようにする。
【0048】
図12は、実施例3に係る照合装置100bの各機能のブロック図である。照合装置100bの機能が実施例1に係る照合装置100の機能と異なる点は、照合処理部70に、フラグ情報格納部75がさらに実現される点である。フラグ情報格納部75は、第2位以下のペアを最終スコアに反映させるか否かを判断するためのフラグを格納する。
【0049】
例えば、生体認証用ガイド(生体部位を保持するための物理的なガイド)の有無によってフラグを切り替えることができる。例えば、登録画像の登録時にはガイドを用い、認証時にもガイドを用いる運用条件では、回転誤差が生じにくくなる。このような場合には、第2位以下を用いずに第1位だけを用いる方が、認証精度が高くなる。一方、登録画像の登録時にはガイドを用いて、認証時にはガイドを用いない運用条件では、登録画像と照合画像との間で回転誤差が大きくなる傾向がある。このような場合、第2位以下の特徴量スコアを最終スコアに反映させる。
【0050】
フラグ情報格納部75は、登録時にも認証時にもガイドを用いる場合にはフラグF=0を格納し、登録時にガイドを用いて認証時にはガイドを用いない場合にはフラグF=1を格納する。
【0051】
図13は、フラグFに応じて、第1位を利用するか第2以下を利用するか否かを判定するためのフローチャートを例示する図である。
図13のフローチャートは、
図6のフローチャートのステップS3が実行された後に、実行される。
図13で例示するように、全体管理部10は、フラグFが1であるか否かを判定する(ステップS31)。ステップS31で「Yes」と判定された場合、全体管理部10は、
図6のフローチャートのステップS4以降の処理を許容する(ステップS32)。ステップS31で「No」と判定された場合、全体管理部10は、
図6のフローチャートのステップS5において、ペアリスト作成部72に第1位だけのリストを作成するように指示する(ステップS33)。次に、全体管理部10は、
図6のフローチャートのステップS7において、最終スコア算出部74に、第1位の特徴量スコアだけから最終スコアを算出するように指示する(ステップS34)。この場合、位置差が大きくなる照合特徴点は除外してもよい。
【0052】
本実施例によれば、照合装置の運用条件に応じて、第2以下を用いるか第1位だけを用いるかを判断することができる。具体的には、回転誤差が生じにくい運用条件などでは、最終スコアの算出から、第2位以下の特徴量スコアを除外することができる。一方、回転誤差が生じやすい運用条件では、最終スコアの算出に、第2位以下の特徴量スコアを反映させることができる。このように、運用条件に応じて第2位以下の特徴量を用いるか否かを決定することで、認証精度を向上させることができる。
【0053】
本実施例においては、フラグ情報格納部75が、照合装置の運用条件を格納する格納部の一例として機能する。
【0054】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。