【実施例1】
【0020】
図1は、第1の実施例の指の血管パターンを生体情報として用いた生体認証システムの全体の構成を示す図である。
【0021】
同図に示すように、第1の実施例の認証システムは、入力装置2、認証処理部10、記憶装置14、表示部15、入力部16、スピーカ17及び画像入力部18を含む。
【0022】
入力装置2は、その筐体に設置された光源3及び筐体内部に設置された撮像装置9を含む。なお、本明細書において、認証処理部10の画像処理機能に画像入力部18を含めて画像処理部という場合がある。いずれにしても、認証処理部10は画像処理機能を備える。この認証処理部10は、後で詳述するように、画像処理機能として、生体の各種の特徴データを照合する照合処理機能、更には、撮像装置9によって撮像された画像より、指の屈曲、浮き、曲げなどの生体の位置・形状情報を検出する生体位置・形状検出機能を備えている。
【0023】
光源3は、例えば、赤外線LED(Light Emitting Diode)などの発光素子であり、入力装置2の上に提示された指1に赤外光を照射する。撮像装置9は、入力装置2に提示された指1の画像を撮影する。
【0024】
画像入力部18は、入力装置2の撮像装置9で撮影された画像を取得し、取得した画像を認証処理部10へ入力する。
【0025】
認証処理部10は、中央処理部(CPU:Central Processing Unit)11、メモリ12及び種々のインターフェイス(IF)13を含む。
【0026】
CPU11は、メモリ12に記憶されているプログラムを実行することによって各種処理を行う。メモリ12は、CPUによって実行されるプログラムを記憶する。また、メモリ12は、画像入力部18から入力された画像を一時的に記憶する。
【0027】
インターフェイス13は、認証処理部10と外部の装置とを接続する。具体的には、インターフェイス13は、入力装置2、記憶装置14、表示部15、入力部16、スピーカ17及び画像入力部18などと接続する。入力装置2に接続されるインターフェイス13を介して、入力装置2内の、複数の光源3の点燈、複数の撮像装置9の操作のための制御信号が送られる。また、撮像装置9で撮像された画像は、画像入力部18、インターフェイス13を介して認証処理部10に入力される。
【0028】
記憶装置14は、生体認証システムの利用者の登録データを、第1特徴データとして予め記憶している。登録データは、利用者を照合するための情報であり、例えば、指静脈パターンの画像等である。通常、指静脈パターンの画像は、主に指の掌側の皮下に分布する血管(指静脈)を暗い影のパターンとして撮像した画像である。
【0029】
表示部15は、例えば、液晶ディスプレイであり、認証処理部10から受信した情報を表示する出力装置である。
【0030】
入力部16は、例えば、キーボードであり、利用者から入力された情報を認証処理部10に送信する。スピーカ17は、認証処理部10から受信した情報を、例えば音声などの音響信号で発信する出力装置である。
【0031】
図2Aおよび
図2Bは、第1の実施例の生体認証システムの入力装置の構造を説明する図である。
図2Aと
図2Bの差異は、前者は指1と指置き板21とが平行になるように指が置かれた状態を示し、後者は指先だけを指置き板21に設置させた状態を示す。利用者によっては指1の根元を装置に接触させにくい場合もあるため、
図2Bに示すように指を置く場合があり、この場合も認証を行う。
【0032】
図2Aは、上部に示した入力装置2の側面の断面図、および下部に示した上面からの平面図である。入力装置2には、指の血管や指紋や皮膚表面のしわや関節しわや爪を撮影するための光源3とカメラ9が複数台具備されている。好適には、複数台のカメラ9の光軸の延長線は互いに同一の点で交差する。撮影する生体の同一部分を撮影可能とするためである。
【0033】
本明細書では、血管や指紋、しわや爪など、個人特徴を有する各部位をモダリティ、あるいはモーダルと称する。また利用者は図面右側に位置するものとし、図面右側から装置に対して指1を提示することにより、利用者の生体の特徴を示す第2特徴データを抽出させる。光源3−a、3−b、3−cは赤外光を発光する光源であり、指静脈や指表面のしわ、関節しわ、爪などを撮影するための光源となる。カメラ9−a、9−b、9−cはその赤外光を受光し、指1の赤外画像を撮影する。
【0034】
入力装置2には、利用者が指1を置くための指置き板21が具備されており、利用者は指置き板21の上に指1を置く。指先を置く目安の位置として、ガイド用光源22によって可視光を指置き板21に照射し、その部分を円形に照らす。利用者はその周辺を目安に指先を合わせて置くことで認証が開始される。従来のように物理的に指の置く位置を固定するのではなく、本発明では利用者が迷わないように指を置く目安の位置を示すに留め、指の置き方に対する制約を軽減している。ただし、利用者が提示する指の位置は、指置き板21の上であればいずれの場所であってもよい。
【0035】
上述したように、標準的な指の置き方としては、
図2Aに示すように、指1と指置き板21とが平行になるように置く。しかしながら、利用者によっては指1の根元を装置に接触させにくい場合もあるため、
図2Bに示すように指先だけを指置き板21に設置させた場合も認証を行う。
【0036】
指置き板21は、入力装置2の内部と外部とを仕切る境界に設置されている。装置下部のカメラ9−bまたは9−cは指置き板21を介して生体の映像を獲得するため、指置き板21は赤外光に対して透明な素材、例えばアクリルやガラスなどにより形成されている。指置き板21は利用者の指を支えると共に、装置内部へのほこりの侵入を防ぐ効果もある。さらには、太陽光のような外光に含まれる多様な波長のうち、赤外光源3より発光されない波長で、かつカメラ9が受光可能な波長を反射して遮る光学フィルタとすることで、外光の影響を受けにくくすることができる。このとき、利用者には指置き板21は黒く見えることになるが、これによりガイド用光源22の可視光の反射がより鮮明に見えるという効果も得られる。
【0037】
指置き板21は、標準的な指の置き方をした場合に、指の根元が指置き板21と密着しないよう、筐体右側の構造物24よりも僅かに下側に設置されている。もし指置き板21が筐体右側の構造物24と同一の高さに設置されていると、指全体を指置き板21に押し付ける可能性がある。この場合、指の掌側の血管パターンが圧迫によって消失し、第2特徴データとなる、個人特徴として有用な静脈パターンの情報量が低減し、認証精度が低下する。これに対し、本実施例の構成では、指置き板21の上面を、構造物24よりも下側に下げることで、少なくとも指先を除く指表面への圧迫を回避することができる。これにより、血管が圧力により消失することなく、多様な指の特徴量を撮影することができる。
【0038】
同図の構成において、生体の撮影は、装置に設置された複数のカメラによって実施される。カメラとしては、装置筐体の下方に設置されたカメラ9−bと9−cと、装置の図面左側に設置されたカメラ9−aを備えており、それぞれ指1を様々な角度から撮影する。装置下方に具備される2台のカメラ9−bと9−cは、指置き板21を介して生体情報を撮影する。
【0039】
カメラ9−bは、装置の中央下部に、撮影の光軸が鉛直上方に向かうように設置されており、またカメラ9−cは装置右側の下部に、光軸が左上方向に向かうように傾けて設置されている。鉛直上方に向けて設置されたカメラ9−bは指1の腹側の情報を撮影するものであり、また、傾けて設置されているカメラ9−cは、指の根元側から指先側に向けて仰ぐように指1の腹側を撮影する。また装置左側にあるカメラ9−aは、カメラ設置台23に設置され、やや高い位置より指1の指先と指の背面とを撮影する。すなわち、下方に設置されたカメラ9−bと9−cとでは撮影できない指1の反対側を撮影することが可能となる。
【0040】
また、カメラの周囲にはそれぞれ光源3−a、3−b、3−cが具備されており、各光源は指1に対して赤外線の反射光あるいは透過光を発光することができる。装置下方に具備される光源3−bと3−cは、指1の手のひら側を照らし、指表面で反射された光は反射光として下方のカメラ9−b、9−cにより観察できる。また指を透過した光は透過光として、左側のカメラ9−aにより観察できる。同様に、左側のカメラ9−aの近傍に位置する光源3−aは、指の手の甲側を照射し、指表面で反射された光は反射光として左側のカメラ9−aにより観察でき、透過した光は下方のカメラ9−b、9−cにより観察できる。
【0041】
なお、本実施例において光源3−aは図面水平方向に光軸が向いているものと、やや下方に傾けて設置されたものとが複数存在する。このように複数の設置角度の光源を具備することで、指の位置に応じて適切な光源を選択して照射することが可能となる。同様に、装置下部の光源についても、鉛直上方の向きに設置される光源3−bと左方向斜め上の向きに設置される光源3−cのどちらを点灯するかは指の位置に応じて適切に決定される。
【0042】
反射光の画像には主に指紋や皮膚のしわ、関節のしわなどが映り、透過光の画像には主に指静脈が映る。これらの映像は個人を識別するための有用な特徴量であるため認証に利用する。
【0043】
図3Aおよび
図3Bは、本実施例の構成の生体認証システムの入力装置によって、装置下方に設置されるカメラ9−bと、装置下方右側に設置されるカメラ9−cによって撮影される被写体によって、指表面の距離計測を行う原理図を示す。
図3Aは指が浮いていない場合、
図3Bは指根元が浮いている状態を示している。なお、以下に説明する距離計測は、上述したCPU11のプログラムの実行により実現可能である。
【0044】
前述の通り、利用者は指1を比較的自由な位置に置くが、特に指の根元側の浮きや指関節の曲げが発生しやすい。そこで、本実施例の構成では指表面と装置との距離を計測することで、指の浮きや曲げの状態を把握することができる。装置下方には2台のカメラが設置されているため、一般的なステレオ視の技術に基づく距離計測が可能である。さらに、装置下方のカメラは指の長手方向に並んで配置されているため、特に指の浮きの方向に対する距離の変化を捉えやすく、詳細な距離計測が可能となる。つまり、指の根元側の浮き沈みの変化に対し、その直近で撮影できるカメラ9−cにおける映像の変化は大きく、僅かな変化でも捉えることができる。
【0045】
指の表面で光が反射した画像を撮影すると、例えば皮膚のしわ、指紋、関節のしわ、などの指の表面に存在する特徴的な形状が映り込む。そこで、装置下方の光源3−bより指1に光を照射した状態で、鉛直上方を向いたカメラ9−bにより撮影された指1の手のひら側の反射画像31−bと、下方の斜め上方を向いたカメラ9−cにより撮影された指1の手のひら側の反射画像31−cを撮影する。すると、共通の反射画像を異なる角度から撮影することができる。被写体の注目点32−bと32−cとに着目すると、下方のカメラ9−bの画像と、右側のカメラ9−cの画像とでは異なる座標に映る。また、注目点間の相対的な位置関係は、指の浮きなどによって変化する。
【0046】
図3Aは指が指置き板21の上面から浮いていない場合、
図3Bは指根元が指置き板21の上面から浮いている状態を示しているが、
図3Aでは同じ注目点32−bに対し、反射画像31−bに映る注目点32−bの方が反射画像31−cに映る対応点32−cよりも図面右側にある。その一方、
図3Bでは指が浮かび上がっているためその位置関係がずれ、反射画像31−bに映る注目点32−bの方が左に移動する。この変化を定量的に考慮することで、指の立体形状が獲得できる。
【0047】
立体形状を獲得するためには、両カメラカメラ9−b、9−cの位置と光軸の向きが既知である必要がある。既知である場合には、三角測量の原理により注目点まで距離を算出することができる。すなわち、一般的な3次元計測の方法によりカメラの位置や向きのパラメータを設定し、両カメラの画素の対応関係と距離との関係をキャリブレーションした上で、両画像間で対応する指表面上の点を至る場所で多数得ることができれば、指表面全体の立体的な形状を得ることができる。
【0048】
これを実現するためには、撮影画像32−bと32−cとの間において、同一の注目点同士を検出して対応付ける必要がある。注目点は、例えば指向性の高い小さなスポット光を任意の点に照射し、その反射光を2つのカメラによって撮影することで得ることもできる。この場合、両画像におけるスポット光の映る座標を得てその点までの立体的な距離を求め、スポット光の位置をずらしながらこれを繰り返す。これにより指表面全体の対応点群が得られるため、指表面の3次元構造が獲得できる。しかしながら、この手法を実現するにはスポット光を制御する装置が必要となるためコストが上昇する。これに対し、2枚の画像に映る指表面の特徴的な形状から画像処理によって特徴点を抽出し、両画像間の特徴点同士の対応点を求める方法を利用しても良い。この処理は、SIFT特徴量などの一般的な輝度勾配を利用した特徴点抽出と対応点探索の手法により実施できる。これにより装置を低コスト化することが可能となる。
【0049】
SIFT特徴量を利用した立体構造検出の一具体例について示す。初めに、認証処理部10のCPU11が、2台のカメラ位置と光軸の情報から、2つのカメラの画像上の座標とカメラからの距離を関連付ける距離テーブルをメモリ12上に作成する。次に、両カメラによって同時に撮影された指表面の反射画像32−bと32−cに対し、SIFT(Scale-invariant feature transform)特徴点を多数抽出し、続いて両画像間の特徴点における対応点を探索する。これにより、両画像間で多数の対応点を得ることができる。最後に、距離テーブルからカメラからの距離を獲得することで指表面の立体構造を得ることができる。SIFT特徴量以外にも、画像の一部を切り出したブロック領域をテンプレートマッチングする、ブロックマッチングの手法により対応点を計算しても同様の効果が得られる。なお、このような画像処理による対応点の獲得においては、誤って対応する点も多数存在する。これに対し、幾何学的に矛盾するねじれの関係にあるような点が存在する場合は、矛盾の無い点群の組み合わせのうち最も対応点の多い点群を採用するなどの処理を実行することにより、安定して正確に指表面の立体構造を獲得することができる。
【0050】
図4は、上述した第1の実施例の生体認証システムの処理手順を説明する処理フローを示す図である。本処理フローの実行制御は、
図1の認証処理部10内のCPU11で実行されるプログラムで実現可能である。この処理フローは、上述した撮像装置9によって撮像された画像より、指の屈曲、浮き、曲げなどの生体の位置・形状情報を検出する生体位置・形状検出機能、及び生体の各種の特徴データを照合する照合処理機能を含む画像処理機能を実現するものである。
【0051】
はじめに、CPU11のプログラム実行により、インターフェイス13を介し入力装置2に送信する制御信号により、装置下方に具備される光源3−bより赤外光を点滅しながら照射する。そして、同時に、CPU11のプログラム実行により、インターフェイス13を介し入力装置2に送信する制御信号により、下方のカメラ9−b、9−cで映像を撮影する(S301)。
【0052】
このとき、装置上方に被写体が存在しない場合は光源の光は反射することなく上方に放出され、下方のカメラによってその光を観測することはできない。一方、装置上方に被写体が存在する場合は、光源の光は被写体の表面で反射するため、下方のカメラで観測できる。よって、光源の点滅の周期に合わせて輝度値に明暗が生じる画像領域には被写体が存在していることを意味する。この輝度の変化量が生じる画像領域の面積が特定の閾値より大きい場合、指が提示されたとして撮影処理を開始する(S302)。
【0053】
まず、CPU11のプログラム実行により、下方の光源3−bを照射し、下方の2台のカメラ9−b、9−cによってその映像を撮影する(S303)。この処理では、指に照射した反射光を撮影するが、反射光が最適に映し出されるように光源の強度を調整する。先程検出された被写体が存在する領域に対し、CPU11のプログラム実行により、上述した距離計測の手法を利用してその部位に対する立体距離を求める。すると、指の表面が指置き板21に接触しているかどうか、あるいは接触している場所を割り出すことができる。なお、指表面の立体構造は、適用する立体検出手法や装置の置かれる環境などによって、その精度や解像度は異なるが、少なくとも、指の根元側が浮いているか否か、指先が浮いているか否か、が判定できればよい。それも判定できない場合には、利用者に対して指を置き直すなどのフィードバックを与えても良い。
【0054】
次に、獲得した指の表面の形状に基づき、指の姿勢を判断し(S304)、撮影する部位、撮影方法、補正方法、を判定し、最も状態の良い方法で各部位の透過画像、反射画像の撮影を行う(S305)。このS305にて実行される機能までが、本実施例における生体位置・形状検出機能である。
【0055】
そして、得られた画像から、指静脈、指紋、皮膚のしわ、関節のしわ、爪の画像を獲得し、それぞれの特徴量を第2特徴データとして抽出する(S306)。この特徴量抽出は、認証処理部10が実行する画像処理機能の一部である。そして、画像処理機能に含まれる照合処理機能で、得られた第2特徴データに対して、第1特徴データである登録データとの照合を行い(S307)、一致判定を実施し(S308)、一致したら認証成功(S309)となり、一致しなければ認証失敗(S310)となる。
【0056】
最後に、認証が成功したにもかかわらず、一致率の低いモーダルがあるかどうかを判定し(S311)、もしある場合はそのモーダルの登録データを学習する学習処理機能を実施する(S312)。具体的な学習処理機能の実施例は後述する。
【0057】
図5A、
図5B、
図5Cは、CPU11のプログラム実行により実現する、指の姿勢を判定する生体位置・形状検出機能の一具体例を示す。この指の姿勢は、距離計測の手法によって取得した、指の手のひら側の指表面の立体構造51によって判定する。
図5Aに示すように、指表面の立体構造51の位置が概ね指置き板21に近い場所にある場合、同図右側の矢印に示すように、指は装置に対して平行に置かれており、特に指の根元が浮かび上がっている状態ではない、と判定できる。これは、たとえば、生体位置・形状検出機能を実現するプログラムにおいて、指表面の立体構造51の中で最も高い位置が特定の閾値を超えていないかを判定することで実施できる。
【0058】
また、
図5Bのように、指表面の立体構造51における指根元側の高さが指置き板21より特定の閾値より離れた位置にある場合には、生体位置・形状検出機能により、同図右側の矢印で示すように、指の根元が浮いていると判定できる。同様に、指先側が浮いている場合も判定することができる。
【0059】
さらに、
図5Cのように、指の関節が曲がっているかどうかは、同図右側の連なる二つの矢印で示すように、指表面の立体構造51が指先方向から根元に行くに従い上昇しそして途中から下降する、という状態を、生体位置・形状検出機能を実現するプログラム処理により、検知することで判定できる。
【0060】
また、指の関節が逆方向に反り返る状態も同様に検出可能である。この具体的な判定方法としては、指表面の立体構造51を曲面と見なして空間的に1次、2次微分し、この結果から指表面の立体構造51に対する場所ごとの曲率を求め、その結果に応じてこの曲面が上に凸で、さらに最も屈曲している場所52を探す。そして、その曲面の高さが特定の閾値よりも高い場合はその場所で指の関節が屈曲していると判定する。
【0061】
更に、指に存在する様々な個人特徴を撮影する際には、関節の屈曲の有無など上述の指の状態検出の結果を利用することで、その指状態に適した撮影方法を採用することができる。
【0062】
たとえば指紋を撮影する場合、指先位置は上述の通り指表面の立体構造51を獲得した際の、図面左側の端点の位置周辺に存在する。その部分の画像を抽出すると指紋画像を取り出すことができる。指紋画像は反射光の照射によっても撮影できるが、真皮層に形成される指紋は透過光によっても撮影できる。そこで、S304、S305で実行される生体位置・形状検出機能により、検出された指先の位置に最も近い光源を照射する。たとえば、反射光を照射する場合、
図2Aにおける複数の光源3−bのうち、最も指先に近い光源を照射すれば良く、また透過光を照射する場合、
図2Aにおける複数の光源3−aの装置下方を照射する光源のうち、指先の位置を照射できる角度の光源を選択する。これにより、適切な輝度を持つ指紋画像を得ることができる。
【0063】
また更に、指表面に分布する手のひら側のしわや関節部のしわについても同様に撮影できる。指1がいずれの姿勢の場合においても、鉛直上方を向いた光源3−bを利用して光を照射すれば良い。このとき、指全体を一様に照射する必要があることから、光源3−bの各光源を独立に制御し、一様な反射光が得られる強度にて照射する。同様に、手の甲側の皮膚表面の情報も撮影する。この場合、光源3−aより指1に対して光を照射し、その反射光をカメラ9−aで撮影する。この場合、上記と同様に、複数の光源3−aの照射強度をそれぞれ制御して一様な輝度が得られるように調整する。
【0064】
さらにまた、手の甲側の指のしわを撮影する映像には爪の映像も映し出される。指先の位置は上述の処理によって得ることができるが、その座標系は装置下部のカメラ9−b、9−cのものである。しかしカメラ9−aの設置位置と光軸の方向とが分かれば、装置下部のカメラとの座標の対応付けは可能であり、カメラ9−aの座標系における指先の位置に変換できる。その位置に対して爪を検出することで検出誤りを低減することができ、提示された爪の形状情報と輝度情報を安定して得ることができる。
【0065】
なお、本実施例の構成の生体認証システムでは光源とカメラは赤外線を発光・受光するものであるため、色情報を獲得することはできないが、当然ながらカメラ9−aをカラーカメラとすることで色情報を獲得することも可能である。あるいは光源を複数の波長が照射できる素子とし、各波長での獲得画像の違いから色情報を獲得することもできる。このように、色情報を利用することで爪から得られる情報量が増加し、認証精度の向上が期待できる。
【0066】
指静脈パターンの撮影においては、指の反対側から光を照射し、その逆側から撮影する透過光撮影が最も鮮明に撮影できることが知られている。そこで、指が指置き板21の面に設置されている場合には、光源3−aを照射することで、指の腹側の透過光を下部の2台のカメラ9−b、9−cで撮影すれば獲得できる。さらに、下部の光源3−b、3−cを照射し、指の手の甲側の透過光をカメラ9−aで撮影すれば、指の手の甲側の静脈パターンが得られる。このとき、指に直接照射されずに回り込んできた散乱光が指静脈を観測する側の皮膚表面に照射されると、内部の血管が観測しにくくなり映像が不鮮明になる。そこで、指の位置に応じて必要な光源のみを点灯し、それ以外を消灯する制御が必要となる。
【0067】
これを実現するために、本実施例では、上述したS304で得た、指の立体情報を利用して光源照射の最適化を行う。上述の通り指の立体形状が得られているため、指1が置かれている位置と角度が検出できる。まず、上述したS305において、手のひら側の静脈を撮影する場合は光源3−aを点灯する。このとき、指1が指置き板21に対して平行に置かれている場合は、光源3−aのうち、斜め下方に光軸を持つ光源のみを点灯し、水平方向に光軸を持つ光源は消灯する。また、もし指1の根元側が浮かび上がっている場合には水平方向の光源も点灯する。また、斜め下方に光軸を持つ光源のうち、その延長上に指1が存在しない場合にはその光源を消灯する。これらの制御により、指静脈の透過画像の画質の低下を防ぐとともに消費電力を低減できる。また、手の甲側の静脈を撮影する場合は、装置下方の光源9−bについては指1が直上に存在しない光源は消灯する。これにより、漏れ光などの不要な光の発生が小さくなり、より鮮明な静脈画像を得ることができる。
【0068】
図6Aと
図6Bと
図6Cは、本実施例の構成の生体認証システムにおける、手の甲側の情報の撮影の様子を示した模式図である。これまで、手のひら側と手の甲側の指画像とを撮影する一実施例について説明したが、指の置き方によっては、手の甲側あるいは手のひら側のパターンが得られない場合もある。
図6Aは、指1が装置から浮かび上がらない例、
図6Bと
図6Cは指1が屈曲している例を示す。各図とも、その右側部にカメラによる撮影映像を模式的に示している。
【0069】
指1が浮いていない場合は、カメラ9−aの設置高さによってはカメラ9−aの画像61は、
図6Aの右側に示すように、爪部分しか観測できない場合がある。この場合は、手の甲側の指静脈、関節しわの撮影はできないので、S304で実行される生体位置・形状検出機能の判断に従い、手の甲側の指静脈、関節しわは撮影の対象から除外する。一方、
図6Bや
図6Cの通り指1の根元側が浮かび上がると、同図の右側部に示すように、爪だけではなく手の甲の指静脈63や、関節しわ64が観測できる。
図6Bは光源3−bを照射して手の甲の静脈63を観測する例、
図6Cは光源3−aを照射して関節しわ64を観測する例、である。このように、指1の置かれた状態に応じて撮影できる情報は変化するため、指1の置かれた状態を、生体位置・形状検出機能で判断し、その判断結果に応じて、撮影できた情報に関してのみ認証に利用するよう制御する。
【0070】
なお、カメラ9−aを装置のさらに高い所に設置し、さらに光軸を下方に傾けることで指1の手の甲側を撮影しても良い。これにより多くの場合において手の甲側の指の生体情報を撮影できる。しかしながら、これにより装置の高さが大きくなるため設置できる場所の制約が増えると共に、指の置かれる位置は変動するため、必ずしも手の甲側が撮影できるとは限らない。よって、いずれの場合も
図6Aで示した通り手の甲側が撮影できない場合を考慮する必要がある。
【0071】
次に、本実施例の構成の生体認証システムの認証処理部10の画像処理機能に含まれる照合処理機能により、上記の通り撮影された指の腹側の静脈、手の甲側の静脈、腹側の指紋、指のしわ、関節しわ、手の甲側のしわ、爪、の情報である第2特徴データに基づき、第1特徴データである登録情報との照合を行う。
【0072】
照合処理機能による静脈、指紋の照合は、CPU11のプログラム実行により、一般的に知られる方法を用いて実施することができる。すなわち、静脈については赤外透過光より暗い線パターンを検出し、登録された線パターンとの類似度をテンプレートマッチングによって計算する方法などが利用できる。指紋についても、指紋の分岐点や端点などの特徴点を検出し、登録された特徴点との対応点を求め、その類似度を評価する手法が利用できる。ただし、上述の通り指の提示される指の3次元形状はその時に応じて変化するため、生体位置・形状検出機能で検出した指の立体形状に基づき補正を掛けても良い。例えば、カメラ9−bで撮影された画像あるいは抽出した特徴量を、指置き板21に平行な平面に投影することで、指の提示角度によらない特徴量が生成できる。なお、特徴量そのものを平面投影するのではなく、撮影された静脈や指紋などの画像を立体構造と共に記録しておき、照合の際に一時的に平面投影しても良く、また3次元形状の空間内での照合を実施しても良い。
【0073】
同様に、指の関節しわによる照合についても、指静脈の照合と同様に線パターンを検出して照合を行うことができる。
【0074】
図7は、本実施例の構成の生体認証システムにおいて、爪の形状により照合を行う一具体例を模式的に示す図である。この爪の形状による照合も、上述した認証処理部10内のCPU11のプログラム実行により実現できる。同図の左側部に示すように、撮影された爪画像71に映る指1と爪62は若干傾いている。そこで、まずはじめに、指領域73を検出する。指1の存在しない画像を事前に記憶しておき、指1が置かれたことを検知した際の画像との差分により指領域を検出できる。次に、指領域のエッジを検出する。これは指領域を2値化した際の周囲を探索することで得られる。次に、指先の主方向74を検出する。指領域73のエッジは楕円状であるため、その長軸をハフ変換などにより求めることで得られる。続いて爪領域75を求める。これは、指領域内をグラフカット法やスネークなどの一般的な手法により、テクスチャの異なる領域を囲うようにセグメンテーションを実施することで得られる。続いて撮影された爪画像71を、正規化された爪画像72に正規化する。先に得た指先の主方向74が真下に向くように爪領域73の重心を中心に画像を回転し、また爪領域75と指の主方向74とが交わる2点の距離が一定値となるように拡大縮小を行う。これにより、
図7の右側部に示す正規化された爪画像72が得られる。
【0075】
このように正規化された爪画像を利用し、爪画像のテンプレートマッチング、あるいは爪領域75の外周の形状に対する相違度を最小二乗誤差などにより評価し、爪そのものがどの程度類似しているかを判定することで、照合が実現できる。
【0076】
なお、爪には三日月部分が存在することから、三日月領域を爪領域を得た方法と同様に検出、登録し、同様に照合しても良い。
【0077】
本実施例の構成の生体認証システムの認証処理部10は、上述のように、
図4の登録パターンとの照合(S307)において、様々なモーダルに対して照合を行った結果に基づき、ベイズ確率によって統合確率を求める。すなわち、本実施例においては、複数の撮像装置から、指の複数の特徴量を検出し、複数の特徴量が出現する確率、即ち出現頻度を算出し、算出した確率に基づき照合を行う。
【0078】
図8Aと
図8Bは、本人、他人の各モーダルごとの照合値の出現頻度分布の一例を示す図である。
図8Aは、手のひら側の指の情報に対する照合値の分布であり、
図8Bは手の甲側の指の情報に対する、静脈、指紋、皮膚しわ、関節しわ、それぞれの照合値の分布である。本実施例においては、認証処理部10の照合処理機能で得られる照合値を特徴量同士の相違度であるとする。
図8Aと
図8Bにはモーダルごとに2つの出現頻度分布が示されており、横軸が照合値、縦軸が出現頻度である。同一モダリティ同士の照合は相違度が小さいため、本人分布81、83、85、87、89、91、93、95は図面左側に現れ、同様にして他人分布82、84、86、88、90、92、94、96は右側に現れる。同じモダリティの場合においてもそれぞれの単独の認証精度は異なる。従って、同一指の同一モダリティ間の照合値の分布である本人分布と、別指の同一モダリティ間の照合値の分布である他人分布とでは、それらの分布間の距離が異なることが分かる。
【0079】
ここで、本実施例の構成の生体認証システムの認証処理部10のCPU11のプログラム実行によって実現される照合処理機能(
図4のS307、S308、S309等)において、複数のモダリティに対する照合値を統合し、最終的にその登録者であることを判定する一具体例について説明する。手法の説明に先立ち,想定する認証システムの概要と使用する記号の定義について述べる。まず、N人の登録者のM個のモーダルの特徴量をE[N][M]と表す。また未知の入力者Xのモーダルの特徴量をI[M]とする。また,登録データEと入力データIとの照合によって得られる照合値をS[N][M]とする。なお照合値の取り得る値は0〜1であり,相違度を表すものとする。すなわち、照合値が0の場合は完全に特徴量同士が一致しているものとする。
【0080】
入力データIとの照合により照合値Sを獲得したとき,これを登録者Rとして受理した場合の1:N認証時のFAR(=nFAR)は事後確率を利用すると以下の式のように記述できる。
【0081】
nFAR(HR|S) = 1 - P(HR|S) ・・・(1)
ただし,P(HR|S) = Π
{m=0〜M-1}GpI[R][m](S[R][m]) /
(Σ
{n=0〜N-1}{Π
{m=0〜M-1}GpI[n][m](S[n][m])}+1),・・・(2)
ただし,GpI[R][M](S)=G[R][M](S)/I[R][M](S),・・・(3)
ここで,G[R][M](S)とI[R][M](S)はそれぞれ登録者RのモーダルMの本人分布と他人分布であり,GpI[R][M](S)は尤度比である。またHRは入力者Xが登録指Rと同一人物である事象を示し,P(HR|S)は照合値Sを観測した後に事象HRが成立する事後確率を意味する。
【0082】
上述の式(1)は、認証システムのFAR(False Acceptance Rate)である。これがシステムのセキュリティレベルを決定付ける。従って、FARに任意の閾値を設定し、閾値を下回る登録者Rが存在した場合はその登録者として入力者を受理する。
【0083】
図9は、本実施例の構成の生体認証システムにおいて、同図の上部に示すような指の屈曲状態における判定処理の一具体例の説明図である。認証処理部10の生体位置・形状検出機能により、指が屈曲しているという判定が下された場合、手のひら側の指静脈のパターンは、指の皮のたるみなどによってほとんど観測されない場合がある。逆に、指が逆方向に反り返った状態では手の甲側の指静脈は観測しにくいものとなる。このとき、これらの情報を照合に活用する場合、指の立体構造を正規化して幾何学的に補正するだけではうまく一致させることができない。そこで、指の関節が順方向に屈曲している場合は、認証処理部10は、その後の照合処理機能において、手のひら側の指静脈と指の関節しわの照合は実施せず、その他の情報に基づいて認証を行う。すなわち、指の第一の特徴である屈曲状態から、第二の特徴のである手のひら側、手の甲側の指静脈の品質を判定し、この判定結果に基づき、認証に用いる情報を選定することができる。
【0084】
この図の例では、指1の関節が大きく屈曲し、同図右下部に示すように、画像31−bに映る手のひら側の静脈97は観測しにくいものとなる。その反面、同図左下部に示すように、手の甲側の静脈63は皮膚が伸ばされている状態となるためしわができにくく、鮮明に撮影できる。従って、このような指関節の屈曲状態では、認証処理部10では、手のひら側の静脈パターンの照合結果と手の甲側の照合結果に対し、手のひら側の照合結果に対する重みを小さくする、あるいはゼロにすることで、手の甲側の照合結果が優先されるように確率を計算する。同様に、指の関節が逆方向に反り返っている場合には、手の甲側の指静脈や関節しわの照合は実施しない。これにより、精度が下がる可能性のある撮影状態における生体情報の使用を回避し、全体的な精度劣化を防ぐことができる。
【0085】
図10は、本実施例の構成の生体認証システムの認証処理部10において、登録されたモーダルが変化した際の確率の学習処理機能の一具体例の説明図である。この確率分布の学習は、
図4の処理フロー中の学習処理(S312)に対応する。すなわち、認証処理部10は、CPU11のプログラム実行により、学習処理(S312)として、複数の特徴量のうちの第一の特徴量の確率を、他の特徴量より算出された照合結果と、検出した第一の特徴量に基づき、更新する学習処理機能を実行する。
【0086】
上述のように、指の提示する角度によって、撮影される指静脈、指紋、しわ、爪、の情報は変化する。このため、単純な幾何学補正では対応できないほどの情報の変化が発生することが想定される。さらには、例えば生体の経年変化、付け爪などの装飾品などにより、登録されている情報から本質的にモーダルが変化することも想定される。そこで、上述の通り多数のモーダルを利用して照合を行い、認証が受理された場合には撮影された全ての生体情報を、新規に追加登録を行う学習処理機能を設ける。
【0087】
図10では、爪62の一致率が低い場合の学習処理機能の例である。この利用者は、登録時は同図左下部に示すような通常の爪62を登録したが、今回の入力試行において同図右下部に示すような付け爪101を付けていたとする。また、爪以外のモーダルで一致率が高かったため認証は正しく受理されたが、爪62の照合の結果、その照合値が同図左上部に示す爪の本人分布95に従わなかったため一致率が低く判定されたとする。この場合、本実施例の認証システムは、今回の付け爪101の特徴量を当該利用者の登録データとして追加するとともに、同一の付け爪101が入力されたときの照合値の本人分布102を追加登録する。これにより、付け爪101を付けて指1を入力した場合、同図右上部に示す追加された本人分布102に従った照合値が得られることになるため、爪の照合においても一致率の低下が抑制できる。元々の爪62のデータと共に付け爪101の特徴データが追加されることになるため、当利用者は今回の付け爪101を付ける可能性があるということがシステムに対して学習されたことになり、前述の確率計算がより正確に実施できる。
【0088】
なお、付け爪101を初めて撮影した場合は、同じ付け爪同士の照合値を多数得ることができないため、本人分布を得ることは困難である。この場合は、付け爪101を撮影した1枚の画像に対してノイズや変形を意図的に加え、疑似的に多数の撮影が行われたものとして、それらの相互照合を実施することで照合値を多数獲得しても良い。これにより、1回の撮影で本人分布を推定することができる。
【0089】
また、上述の経年変化あるいは装飾品による登録データとの一致率低下に関連して、単なる指の置き方が登録時と異なるために一致率が低下する場合も考えられる。これに対し、指の立体構造や指の提示角度と撮影情報も同時に保存し、そのときの生体情報とリンクさせて記憶してもよい。この場合、次回以降、同じ指の提示角度で指が置かれた際、その角度として保存されている生体情報のみを利用して照合する。これにより、指角度に応じた特徴量のみに限定して照合することができるため、不要なデータとの照合が避けられるため誤った他人受入れの発生率を低下させると共に、処理速度の向上にも寄与する。
【0090】
なお、認証が受理された際に追加登録するデータは、著しく一致率の低い生体特徴に限定しても良い。これにより、不要な登録データを学習する必要が無くなり、登録データサイズを低減できる。
【実施例5】
【0108】
第5の実施例は、複数の情報を複合的に活用する生体認証システムの実施例である。個人を特定する情報には、所有物や知識、生体情報など、様々な情報を利用することができる。これらの情報は、それぞれ唯一性が高いものや低いもの、安定して存在するものや経時的に変化するもの、他者に譲渡することができるものやできないもの、容易に提示できるものとできないもの、など、様々な特性を有する。そして、これらの情報を複合的に活用することで、認証結果の信頼性を高めることができる。さらには、利用者が認証を行うためだけに装置を操作する必要が無ければ、無意識のうちに認証処理を完了することができる。そのためには、外見的に観察できる情報、たとえば常に身に付けている衣類や眼鏡、外見的な身体情報である、身長、骨格、皮膚のメラニン量、そして行動履歴などを自動収集し、それらの唯一性や永続性などの特徴を考慮しながら総合判定する必要がある。ここでは、多様な個人特徴による認証技術をメニーモーダル認証と呼ぶ。
【0109】
図14は、第5の実施例である、様々な情報を利用して個人認証を行うメニーモーダル個人認証の一実施例を説明するための図である。
【0110】
利用者141は、扉142に近付くと、カメラ145によってその容姿を撮影される。容姿としては、顔、身長、服装、骨格、立ち姿勢、などがある。さらには、床下の圧力センサ143により、体重と足形を測定する。また、利用者141が所有している携帯端末144のIDを無線リーダ148に飛ばす。カメラ145は、たとえばレーザを用いた距離センサーと連動することが可能であり、利用者141の立体構造を得ることができる。さらにはカメラ145をカラーカメラとすることによって、顔、服の色の情報を撮影することができる。これらの様々な情報は、ネットワーク147を介して認証装置146に送られる。
【0111】
認証装置146は、これらの撮影された情報を統合し、事前に登録されている利用者かどうかを判定する。もし判定の結果、登録者であることが分かれば扉141が自動的に開き、入室することができる。しかしながら、撮影し得る全ての情報を利用しても一意に利用者を特定できない場合には、明示的な認証操作に基づく認証を実施させる。
【0112】
本実施例では、上記で例示した指の様々な特徴量を利用した認証装置を用いている。明示的な認証操作を実施させる際には、
図1に示した表示部15やスピーカ17などを介し、指をかざすように指示する。利用者はこの入力装置2に指を提示する。前述の通り指を置く自由度が高いため、利用者は装置に触れただけの感覚で認証が実施できる。その結果、指の登録データによって利用者が特定されれば、自動扉142が開く。これで棄却されれば、利用者は非登録者と見なされ、入室することができない。このシステムにより、利用者が明示的な操作をしない状態であっても入室権限の有無を判定できることから、利便性の高い認証が実現できる。また、複数の情報を利用することから、高精度な認証が実現できる。このとき、認証結果の信頼度が低い場合は明示的な認証操作を要求することにより、認証精度を保証することができる。以上より、本実施例は、利便性が高く、高精度な個人認証を実現できる。
【0113】
なお、全てのモーダルを統合して利用者の本人確率を求める計算は、上述の実施例で示した方法により実施できる。また、モーダルが変化する際の学習も上述と同様に実施できる。特に服装の情報については、大まかな色相情報と、上着、ズボン、シャツなどの色の配置的な組み合わせの情報を持ち、短期間での変化は少ないものの、上着を脱ぐ、という行動により突然変化を来す特性がある。この特性についても、上述の学習の枠組みで統計分布を学習することが可能である。
【0114】
このような、確率の統合方式とデータの自動更新により、利用するほどその人の傾向を表す確率分布が学習されていき、より登録者らしさを正確に判定できる。
【0115】
図15は、
図14において利用者141が入室した際に、自席のPC(Personal Computer)にログインするまでの処理の流れの説明図である。
【0116】
室内には、利用者141の他にも存在するものとする。誰が存在しているかは、入室管理によって室内にいる人物が特定されていることから把握できる。
【0117】
自席のPC152には、手のひら側の指静脈のみを撮影できる認証端末151と容姿を撮影するカメラ153が設置されている。これらはPC152の内部に搭載されていても良い。このとき、
図14における入室時では利用できた、圧力センサや、指の手の甲側を含む指全体の静脈や指紋が撮影できる端末は設置されていない。このとき、まずカメラ153によって利用者141の顔と服を撮影し、これらを用いて認証を行う。入室しているのは利用者141の他にB氏、C氏、D氏の、合わせて4名だけであるとすると、この4名の中で誰に最も近い顔かを判定するだけである。さらに、例えば利用者Bは別席でPCにログインしており、そのPCに付随するカメラで撮影された顔が利用者Bであると判定している場合、当該PC152に近付いている人物は利用者Bではないことが明確となるため、さらに利用者141、C氏、D氏の3名に絞り込むことができる。もし、服の色特徴が、利用者141が直近に入室した際の色とほぼ一致しており、さらに、C氏、D氏の現在、過去を含めた服の色と大きく異なれば、上述の確率計算式においては利用者141の確率が最大となる。
【0118】
ここで、カメラ153の映像より利用者141の確率が最も高いと判定され、さらに所定の信頼度を超えた場合には、このPC152に近付いている人物を利用者141と確定し、PC152に近付いた時点ですでに利用者141のアカウントでPC152がログインされる。利用者141はログイン操作について何も意識することなく、自動的に自分のアカウントでPC152が起動されていることになり、高い利便性を享受できる。精度としても、可能な限りの情報を集約することで判定の信頼性を高め、高精度な認証を実現できる。
【0119】
もし、カメラ153の情報で認証されない場合には、指静脈の認証装置151に指を入れ、認証判定を実施する。このとき、カメラ153での判定結果も活用する。指静脈の方が高精度である場合、確率計算の結果として、カメラ153による認証よりも指静脈の認証結果の重みが高くなる。そして、指静脈で利用者141であることを判定できればログインが可能となる。もしこの時点でも利用者141と判定されない場合は、通常のPCのログイン操作として、パスワードを入力する。ただし、これまでのカメラ153と指静脈認証151の認証判定結果を活用しても良い。その場合、パスワードを若干間違えていても、統合的な確率として利用者141であると判定できれば、ログインを可能とすることもできる。このときは、パスワードの打ち間違えの頻度やその傾向に関する統計分布を用意しておけば、パスワードを一つのモーダルとして取り込むことができる。
【0120】
この実施例においては、本来登録されている全モーダルを撮影する環境が無い場合においても認証判定が実施でき、また、新しいモーダルを撮影するセンサが付属している認証システムを通過すれば、自動的に新しいモーダルが登録データに学習され追加される。そのため、再登録することなしに、徐々に個人のモーダル情報が拡充し、利用するほどに精度が高められ、また別モーダルの認証システムへの自動的な移行も可能となる。
【0121】
図16Aおよび
図16Bは、上述した各実施例における、統計分布の推定に基づく判定手法の一具体例を説明するための図である。
【0122】
個人認証における各モーダルに対する第1特徴データである登録データは、一般的にそのモーダルの特徴量に加え、その登録者の識別IDや管理情報などの様々な付随情報を含めて登録する。その中には、上述の実施例における確率計算に利用するための情報として、そのモーダルの特徴量に対する尤度分布を保存することも考えられる。
【0123】
尤度分布の保持形態は、照合値とその出現頻度とのペアをテーブルとして持たせても良いが、テーブルが肥大化することを防ぐために、一般的に知られている統計分布への近似が行われる。例えば、正規分布、対数正規分布、二項分布、β分布、スチューデントのt分布などが用いられる。これらの分布は、幾つかのパラメータを与えておけば、照合値に対応する出現頻度を得ることができる。例えば正規分布においては、平均、分散の2つのパラメータが決定していれば、ある照合値における出現頻度が得られる。統計分布に近似する利点として、幾つかのパラメータを与えるだけで出現頻度が得られることから、全出現頻度を保持するためのテーブルを確保することに比べて記憶容量が小さく済むことである。
【0124】
しかしながら、少ない個数の統計パラメータを保持するために、例えば1つのパラメータを8バイトの浮動小数点数で保持する場合、正規分布においては平均と分散の2パラメータを記憶するために16バイトの記憶容量が必要となる。本人分布と他人分布のそれぞれを記憶するには、さらにその2倍の32バイトが必要である。登録データ量の上限に制約がある場合、たとえばICカード内にデータを保持する場合や、既に定義済みの登録データフォーマットに変更を加えることが困難な場合には、32バイトの情報の追加ができないことも考えられる。
【0125】
そこで、各モーダルについて、予め代表的な分布を用意しておき、当該登録データの特徴量がどの代表分布に近いかを推定し、その分布の番号だけを保持することでこの問題を解決することができる。以下、その一具体例について説明する。
【0126】
まず、事前に多数の被験者に対するモーダルの撮影と照合を実施し、個人ごとにどのような本人分布、他人分布が観測されるかを調査しておく。次に、本人分布、他人分布がどの程度のばらつきを持っているかを評価する。例えば本人分布に着目すると、被験者によって平均値と分散はばらつくが、そのばらつきの範囲を調べておく。これらから典型的な分布をいくつか決定し、これらを代表分布と定義する。これらは、たとえば、正規分布の平均が0.1から0.3の範囲でばらつき、分散は0.01から0.02の間でばらつくとする。これに対し、分布の平均が0.1、0.2、0.3の3通りで、かつ分散が0.01、0.02の2通りとした分布として、それらの組み合わせによって生成される6通りの正規分布を代表分布として決定する。
図16Aには、指静脈に関する代表分布として本人分布162−a、162−b、162−cと、他人分布163−a、163−b、163−c、が示されている。これは、第1特徴データとして、生体の特徴量が出現する確率を複数個保持することを意味する。
【0127】
次に、特定の利用者の登録を実施する際に、その利用者のそのモーダルがどの統計分布に近い挙動を示すかを推定する。たとえば、利用者の指静脈データ161が得られたとき、他の登録者の指静脈の登録データ164に対して実際に照合処理を行い、どのような照合値が観測されるかを測定する。他の登録者が多いほど、実測できる照合値が多数得られるため、照合値の出現頻度がより正確に得られるが、少ない場合は、他の登録データと自身のデータに対し、撮影されたモーダル情報に様々な変化、たとえば画像ノイズや変形をランダムに与えるなどを施しながら、多数繰り返しても良い。特に、本人分布を推定する場合には、多くの画像を得ることが難しいため、1枚の撮影画像に変化を与えることは有効である。変化の与え方としては、カメラで撮影できるモーダルであればカメラノイズを乱数で与えることや、そのモーダルに特有な変形、たとえば指静脈であれば指の回転角のずれや部分的な欠損、を疑似的に与える。これにより、実測する照合値の数を増やすことができる。
【0128】
図16Bは入力された生体の頻度分布と、最も類似する代表分布とを示す。上述のようにして得られた多数の照合値に対し、これを事前に求めた典型的な分布のうち、最も近い分布を決定する。具体的には、最尤推定などの統計的手法に基づき、実測で得られた照合値がどの代表分布に近いかを評価する。他人のデータとの照合では他人分布が、本人同士のデータとの照合では本人分布が、それぞれ推定される。ここでは、指静脈データ161に対する本人分布の推定結果165と他人分布の推定結果166とが得られた。この実施例において、最も近い代表分布は、本人分布162−b、他人分布163−cとなる。
【0129】
最後に、選ばれた代表分布の番号を登録データに付与する。付与するデータサイズは、高々代表分布の個数を表現できるビット数で収められるため、統計分布のパラメータを保持する場合よりも必要なデータサイズは小さい。本実施例では代表分布の全数が6個であるため、本人分布と他人分布とを合わせて3ビットで表現できる。この登録者の指静脈で照合処理を実施した場合、その時に得られる照合値は、付与された代表分布の出現頻度に近い頻度で現れると考えられる。これによって、上述の確率計算にこの出現頻度分布を利用することができ、事前に出現頻度分布が不明である場合に比べて高精度に本人確率を推定することができる。
【0130】
従って、本発明により、登録データとして追加する情報をできるだけ小さくしながらも、その登録者のそのモーダルにおける確率分布に近い情報を参照することができ、高精度化を実現することができる。
【0131】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明のより良い理解のために詳細に説明したのであり、必ずしも説明の全ての構成を備えるものに限定されものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0132】
更に、上述した各構成、機能、処理部等は、それらの一部又は全部を実現するプログラムを作成することによりソフトウェアで実現することができるが、CPUで実行するプログラムに代え、例えば集積回路で設計する等によりハードウェアで実現しても良いことは言うまでもない。