(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-19
(45)【発行日】2024-02-28
(54)【発明の名称】生体認証装置、生体認証方法、および生体認証用プログラム
(51)【国際特許分類】
G06V 40/19 20220101AFI20240220BHJP
H04N 23/611 20230101ALI20240220BHJP
H04N 23/67 20230101ALI20240220BHJP
G03B 15/00 20210101ALI20240220BHJP
G06T 7/00 20170101ALI20240220BHJP
【FI】
G06V40/19
H04N23/611
H04N23/67
G03B15/00 Q
G06T7/00 510D
(21)【出願番号】P 2023100888
(22)【出願日】2023-06-20
(62)【分割の表示】P 2022501556の分割
【原出願日】2020-02-21
【審査請求日】2023-06-20
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】大網 亮磨
【審査官】武田 広太郎
(56)【参考文献】
【文献】米国特許出願公開第2010/0034529(US,A1)
【文献】特開2016-135640(JP,A)
【文献】国際公開第2018/220963(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 40/19
H04N 23/611
H04N 23/67
G03B 15/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
被写体を撮像し第1画像を生成する撮像部と、
被写体から前記撮像部までの距離と、画像における前記被写体の合焦距離と、前記第1画像が撮影された後に前記撮像部が再度撮像するまでに前記被写体が移動する移動距離と、前記画像における前記被写体の合焦度と、に基づいて、前記撮像部の焦点距離を制御する焦点制御手段と、
前記焦点制御手段が焦点距離を制御した後に撮像された第2画像に含まれる前記被写体の虹彩領域に基づいて、前記被写体の認証結果を生成する認証部と、
を備える情報処理装置。
【請求項2】
前記焦点制御手段は、生体認証の対象となる前記被写体の画像における合焦の度合を示す合焦情報と前記画像の特徴点間の距離より求めた前記被写体までの推定距離とに基づき得られる差分距離情報であって、前記推定距離と前記被写体に対する合焦距離のずれを示す前記差分距離情報を利用して、前記推定距離と前記被写体に対する前記合焦距離のずれを前記差分距離情報に基づき補正した補正距離を生成する補正手段を備え、
前記補正手段は、前記差分距離情報が探索された後は、前記探索された差分距離情報に基づいて該探索された後の前記被写体の画像より得られる前記推定距離を補正することで、前記補正距離を生成する
請求項1に記載の情報処理装置。
【請求項3】
前記補正手段は、前記差分距離情報を探索するために、前記推定距離の前後の距離を前記補正距離として生成する
請求項2に記載の情報処理装置。
【請求項4】
前記補正手段は、前記被写体の前記差分距離情報の入力を受ける場合、前記入力された前記差分距離情報を用いて前記推定距離を補正し、前記補正距離を生成する
請求項2に記載の情報処理装置。
【請求項5】
前記被写体の画像が顔画像である場合、該被写体における顔の付帯物の検出による付帯物情報の生成、または、顔の向きの情報の算出の少なくともいずれか一方を行う画像分析手段をさらに備え、
前記補正手段は、前記付帯物情報または前記向き情報の一方ないしは双方に基づいて、前記補正距離の生成方法を変える
請求項2に記載の情報処理装置。
【請求項6】
前記補正手段は、
前記差分距離情報が探索されていない場合、前記焦点制御手段の制御により得られた前記補正距離の異なる前記被写体の画像に対し、算出される該画像の前記合焦情報を利用して、前記差分距離情報を探索しつつ前記補正距離を生成し、
前記差分距離情報が探索された後は、前記探索された差分距離情報に基づいて該探索された後の前記被写体の画像より得られる前記推定距離を補正することで、前記補正距離を生成する
請求項2から請求項5のいずれか1項に記載の情報処理装置。
【請求項7】
前記被写体の移動距離は、前記第1画像が撮影された後、第2画像撮影されるまでの間に被写体が移動する距離を含む、
請求項1から6のいずれか1項に記載の情報処理装置。
【請求項8】
前記焦点制御手段は、前記被写体から前記撮像部までの距離と、前記画像における前記被写体の合焦距離と、前記第1画像が撮影された後に前記撮像部が再度撮像するまでに前記被写体が移動する移動距離及び移動時間と、前記被写体の移動速度と、前記画像における前記被写体の合焦度と、に基づいて、前記撮像部の焦点距離を制御する、
請求項1から7のいずれか1項に記載の情報処理装置。
【請求項9】
被写体から該被写体を撮像し第1画像を生成する撮像部までの距離と、画像における前記被写体の合焦距離と、前記第1画像が撮影された後に前記撮像部が再度撮像するまでに前記被写体が移動する移動距離と、前記画像における前記被写体の合焦度と、に基づいて、前記撮像部の焦点距離を制御し、
焦点距離を制御した後に撮像された第2画像に含まれる前記被写体の虹彩領域に基づいて、前記被写体の認証結果を生成する、
コンピュータによる情報処理方法。
【請求項10】
被写体から該被写体を撮像し第1画像を生成する撮像部までの距離と、画像における前記被写体の合焦距離と、前記第1画像が撮影された後に前記撮像部が再度撮像するまでに前記被写体が移動する移動距離と、前記画像における前記被写体の合焦度と、に基づいて、前記撮像部の焦点距離を制御し、
焦点距離を制御した後に撮像された第2画像に含まれる前記被写体の虹彩領域に基づいて、前記被写体の認証結果を生成する、
ことをコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、生体認証装置、生体認証方法、および生体認証用プログラムに関する。
【背景技術】
【0002】
顔や、虹彩などのその一部を使って人物を認識する方式が数多く提案されている。これらの方式では、顔やその一部をカメラで撮影し、個人を識別可能な情報を抽出し、個人の照合を行う。この際、精度の高い認証を行うには、高画質な画像を得る必要がある。
【0003】
特許文献1では、センサから顔の額、鼻頭といった各特徴点までの距離を利用した認証方法が記載されている。特許文献2では、距離センサを用いて撮像装置の調整をおこなう認証システムを開示している。特許文献3は、主撮像部と副撮像部から得られる2つの画像から算出された視差量等の誤差を補正した距離情報を求めることで光学系の変位や変形による像ズレが発生した状態でも高精度かつ高速なフォーカス制御が可能な制御装置を開示している。
【先行技術文献】
【特許文献】
【0004】
【0005】
【0006】
【発明の概要】
【発明が解決しようとする課題】
【0007】
この開示は、上記関連する技術を改善する生体認証装置、生体認証方法、および生体認証用プログラムを提供することを目的としている。
【課題を解決するための手段】
【0008】
本開示の一実施形態による生体認証装置は、生体認証の対象となる被写体の画像における合焦の度合を示す合焦情報と前記画像の特徴点間の距離より求めた前記被写体までの推定距離とに基づき得られる差分距離情報であって、前記推定距離と前記被写体に対する合焦距離のずれを示す前記差分距離情報を利用して、前記推定距離と前記被写体に対する前記合焦距離のずれを前記差分距離情報に基づき補正した補正距離を生成する補正手段と、前記補正距離に基づいて、前記被写体の画像取得時における焦点を制御するための情報を生成する焦点制御手段と、前記焦点の制御を行った後に撮影された前記被写体の画像の中から、生体認証を行う画像を選択するための情報を生成する合焦判定手段と、を備える。
【0009】
本開示の一実施形態によるコンピュータによる生体認証方法は、生体認証の対象となる被写体の画像における合焦の度合を示す合焦情報と前記画像の特徴点間の距離より求めた前記被写体までの推定距離とに基づき得られる差分距離情報であって、前記推定距離と前記被写体に対する合焦距離のずれを示す前記差分距離情報を利用して、前記推定距離と前記被写体に対する前記合焦距離のずれを前記差分距離情報に基づき補正した補正距離を生成し、前記補正距離に基づいて、前記被写体の画像取得時における焦点を制御するための情報を生成し、前記焦点の制御を行った後に撮影された前記被写体の画像の中から、生体認証を行う画像を選択するための情報を生成する。
【0010】
本開示の一実施形態による記録媒体は、コンピュータを、生体認証の対象となる被写体の画像における合焦の度合を示す合焦情報と前記画像の特徴点間の距離より求めた前記被写体までの推定距離とに基づき得られる差分距離情報であって、前記推定距離と前記被写体に対する合焦距離のずれを示す前記差分距離情報を利用して、前記推定距離のずれを前記差分距離情報に基づき補正した補正距離を生成する補正手段と、前記補正距離に基づいて、前記被写体の画像取得時における焦点を制御するための情報を生成する焦点制御手段と、前記焦点の制御を行った後に撮影された前記被写体の画像の中から、生体認証を行う画像を選択するための情報を生成する合焦判定手段と、として機能させるプログラムを記録する。
【図面の簡単な説明】
【0011】
【
図1】生体認証装置の第1の実施形態における機能ブロック図である。
【
図2】生体認証装置の動作を示すフローチャートである。
【
図3】第1の実施形態における調整部の動作を示すフローチャートである。
【
図5】生体認証装置の第2の実施形態における機能ブロック図である。
【
図6】第2の実施形態における調整部の動作を示すフローチャートである。
【
図7】生体認証装置の第3の実施形態における機能ブロック図である。
【
図8】第3の実施形態における調整部の動作を示すフローチャートである。
【
図9】生体認証装置の第4の実施形態における機能ブロック図である。
【
図10】第4の実施形態における調整部の動作を示すフローチャートである。
【
図11】生体認証装置のハードウェア構成を例示する図である。
【
図12】生体認証装置の最小構成図を示す図である。
【
図13】最小構成における生体認証装置の処理フロー図を示す図である。
【発明を実施するための形態】
【0012】
以下、本開示の一実施形態による生体認証装置を、図面を参照して説明する。
【0013】
(第1の実施の形態)
図1は第1の実施の形態による生体認証装置1の構成を示す図である。
図1において、符号1は生体認証装置を、符号2は撮像装置を示す。生体認証装置1は、撮像装置2により撮影された映像より画像を取得し、得られた画像を用いた生体認証を行う。撮像装置2は、生体認証の対象となる生体部分を含む被写体を撮像可能な装置である。なお、撮像装置2は、
図1において生体認証装置1と別の装置として図示しているが、撮像装置2は生体認証装置1の一部であってもよい。
【0014】
生体認証装置1は、画像情報取得部101、調整部10、画像選択部107、生体認証部108を備える。
【0015】
画像情報取得部101は、撮像装置2を制御して得られた映像から画像を取得する。画像情報取得部101は、得た画像の情報を調整部10と画像選択部107へ出力する。また、画像情報取得部101は、調整部10からの焦点制御に関する情報を利用して、撮像装置2の焦点制御を行い、新たな画像を取得する。
調整部10は、画像情報取得部101で得た画像における合焦の程度を判定するとともに、画像に写る特徴点間の距離を用いて被写体までの推定距離を求め、求めた推定距離と被写体に対する合焦距離のずれを示す差分距離を求める。また、調整部10は、求めた推定距離のずれを差分距離情報に基づいて補正した補正距離を生成し、補正距離に基づいて被写体の画像取得時における焦点を制御するための情報を生成する。調整部10は、焦点を制御するための情報を画像情報取得部101に出力する。
画像選択部107は、画像情報取得部101から出力される画像情報の中で、画像の焦点が合った生体認証を行う画像を選択画像として生体認証部108へ出力する。
生体認証部108は、画像選択部107から出力される選択画像に対して生体認証処理を行い、認証結果を生成する。
【0016】
次に調整部10について説明する。調整部10は、合焦判定部102、特徴点抽出部103、距離推定部104、補正部105、焦点制御部106を含む。
合焦判定部102は、画像情報取得部101から出力される画像情報を解析して焦点が合っているかを判定し、焦点が合っているかを表す合焦情報を補正部105へ出力する。また、合焦判定部102は、焦点があっているかの判断結果より、焦点があった画像またはフレームを特定するための情報である選択情報を生成し、画像選択部107に出力する。
特徴点抽出部103は、画像情報取得部101から出力される画像情報から顔のランドマークとなる特徴点を検出し、距離推定部104へ顔ランドマークの位置情報を出力する。
【0017】
距離推定部104は、特徴点抽出部103から出力されるランドマーク位置情報に基づいて、ランドマーク位置間の距離から被写体までの距離を推定し、推定距離情報を、補正部105へ出力する。
補正部105は、距離推定部104から出力される推定距離情報と、合焦判定部102から出力される合焦情報とに基づいて、被写体までの距離を補正し、得られた補正距離情報を焦点制御部106へ出力する。
焦点制御部106は、焦点制御部106から出力される補正距離情報に基づいて、レンズの焦点を制御するための制御情報を生成し、画像情報取得部101へ出力する。
【0018】
次に、
図1に示す生体認証装置1の動作について
図2を用いて説明する。まず、生体認証としては、顔や頭部の全部、あるいは一部を用いた生体認証を対象にする。例えば、顔認証、虹彩認証、目の周囲領域での認証、耳認証などが対象に含まれる。
【0019】
画像情報取得部101は、撮像装置2を制御して、被写体の人物の映像を撮影し、画像の取得を行う(ステップS1)。ここで、撮像装置2としては、上述の生体認証に用いる部位が、認証に可能な解像度、画質で撮影できるものであれば、どのようなものでもよい。例えば、USBカメラであってもよいし、IPカメラやWebカメラ、CCTVカメラであってもよい。ただし、近赤外光を用いて生体認証を行う場合(虹彩認証など)には、カメラは近赤外の領域の映像を、生体認証に必要な解像度、画質で撮影できるものである必要がある。
また、撮像装置2は、被写体までの距離に応じて焦点を調節する仕組みを有する。この仕組みとしては、従来オートフォーカスで用いている任意の機構を用いることができる。また、液体レンズなど、近年使われるようになってきた新しいデバイスを用いてもよい。撮像装置2は、少なくとも、外部から焦点を制御できるようになっており、焦点制御部106から入力される制御情報に従って焦点が制御可能な装置とする。焦点制御の例としては、レンズの距離を調節するフォーカスリングの回転角、あるいはフォーカスリングを回転させるのに用いるフォーカスモータの回転角を制御情報に含む。また、液体レンズの場合であれば、制御情報は液体レンズの制御電圧情報を含み、制御電圧を指定された値に変更し、画像を取得する。
画像情報取得部101で取得された画像は、調整部10と画像選択部107へ出力する。また、調整部10では、合焦判定部102と特徴点抽出部103とにおいて取得された画像を用いた処理が行われる。
【0020】
調整部10は、画像情報取得部101で得た画像を利用して、被写体の画像取得時における焦点を制御するための情報を生成する(ステップS2)。より具体的には、調整部10は、画像情報取得部101で得た画像における合焦の度合を判定するとともに、画像の特徴点間の距離より求めた被写体までの推定距離を求め、求めた推定距離と被写体に対する合焦距離のずれを示す差分距離情報を求める。また、調整部10は、求めた推定距離のずれを差分距離情報に基づいて補正した補正距離を生成し、補正距離に基づいて被写体の画像取得時における焦点を制御するための情報を生成する。
なお、調整部10による被写体の画像取得時における焦点の調整処理は、生体認証を定められた精度で行える程度に画像における焦点が合うまで行われる。あるいは、調整部10による被写体の画像取得時における焦点の調整処理は、定められた所定回数行われるものとする。その間、ステップS1、ステップS2のフィードバック処理が繰り返され、その後、ステップS3に進む。
【0021】
画像選択部107は、入力される画像を一定期間蓄積している。そして、調整部10の合焦判定部102から出力される焦点が合ったことを示す選択情報に基づいて、画像を選択し、出力する(ステップS3)。ここで、“画像”とは、撮像装置2でえられた映像における所定のフレーム、または、所定のフレームから取得した静止画とする。選択情報は、焦点があった画像を特定するための情報であり、焦点が合った画像のフレーム番号やタイムスタンプなどの情報である。選択情報で選択された画像は選択画像として生体認証部108へ出力される。
なお、選択する画像は1枚だけでなく、複数枚であってもよい。例えば、合焦指標が一番高くなるフレームの前後のフレームも選択するようにしてもよい。これにより、焦点のあった位置が、生体認証で用いる部位ではなく、少しずれた位置だった場合でも、生体認証に必要な部位の焦点が合った画像を取得できる可能性が高まり、生体認証で失敗する確率を低減できる。
【0022】
生体認証部108は、画像選択部107から出力される選択画像に対して生体認証処理を行い、認証結果を生成する(ステップS4)。より具体的には、生体認証部108は、入力される画像から用いる生体認証に応じた特徴量を抽出する。そして、あらかじめ登録されている人物の特徴量と比較し、生体認証の対象となる人物が誰であるか、あるいは誰とも合致しないかを判定する。例えば、虹彩照合の場合には、選択された画像から目領域を切り出し、虹彩の特徴量を抽出する。そして、抽出された特徴量と、あらかじめ登録されている虹彩の特徴量の比較を実施し、認証結果を生成する。
【0023】
以下、生体認証装置1の調整部10の動作(
図2のステップS2)について、
図3を用いて詳細に説明する。生体認証装置1の調整部10の動作の説明において、最初に、生体認証の対象となる被写体の人物が止まっている場合における調整部10の動作について述べ、次に、人物が動く場合における調整部10の動作について説明する。
【0024】
(被写体の人物が止まっている場合の動作)
合焦判定部102は、画像情報取得部101から出力される画像情報を解析し、焦点が合っているかの判定である合焦判定を行う(ステップS21)。合焦判定では、画像の所定領域におけるフォーカスがあっているかどうかを表す合焦指標を算出する。合焦指標は、フォーカスがあっているときほど高い値になる指標であり、例えば、画像の高周波成分の電力や、エッジ成分がどの程度あるかを評価した値である。
合焦指標を用いて焦点が合っているかどうかを判定する方式は様々である。例えば、合焦指標が所定の閾値を超えたときに焦点が合っていると判定してもよいし、焦点制御によって焦点の位置をずらしながら撮影し、合焦指標を求め、極大となる点を求めて合焦判定を行ってもよい。後者の場合は、その場ですぐに焦点が合っているかどうかがわかるわけではなく、数回焦点位置を動かして撮影した後で、焦点が合った画像がわかることになる。よって、焦点が合った画像として選択される可能性がある画像を後述の画像選択部107で一時的に保持しておく必要がある。
【0025】
また、合焦判定部102は、合焦判定の結果に基づいて、合焦情報を生成し、出力する。合焦情報は、対象となる画像の焦点が合っているかどうかを表す情報である。これは、合っているか、いないかのいずれかを示す2値情報であってもよいし、または、焦点が合っている程度を表す連続値であってもよい。連続値である場合、例えば、上述の合焦スコアの値をそのまま用いてもよい。また、数回焦点を振ってその中の極大値を求める方式の場合には、合焦したかどうかの情報に加え、焦点を振った中で合焦指標が最大となった画像を識別するインデックス(フレーム番号やタイムスタンプなど)を含めるようにする。この合焦情報は合焦の度合を示す情報となる。
求まった合焦情報は、補正部105へ入力される。また、どのフレームの焦点が合っているかを示す情報、ないしは、合焦の度合を示す情報は選択情報として、画像選択部107へ出力される。
【0026】
特徴点抽出部103は、入力された画像に対して、顔検出、あるいは頭部検出を行い、顔や頭部に含まれる特徴的な部位の位置である顔ランドマークを求める(ステップS22)。なお、以後において、顔ランドマークを単にランドマークまたは特徴点とも呼ぶこともある。
なお、顔や頭部自体、あるいはその部位の検出には、顔や頭部、あるいはその部位の特徴点を学習させた検出器を用いて行うことができる。例えば、画像からの特徴抽出方法の1つであるHOG(Histograms of Oriented Gradients)特徴量を抽出し、抽出した特徴量に基づいて検出する検出器を用いる。また、別の例として、機械学習による画像認識の一種であるCNN(Convolutional Neural Network)を用いて画像から直接検出する検出器を用いてもよい。
【0027】
特徴点抽出部103は、これらのランドマークのうち、距離推定部104において、被写体までの距離を推定するのに用いる特徴点のみの位置情報(画像上での位置座標)を求めればよい。例えば、両目の瞳孔の間の距離である目間距離に基づいて、被写体までの距離を推定する場合には、両目の瞳孔を特徴点とし、その位置を求める。あるいは、瞳孔の位置の代わりに、目のほかの特徴点(内眼角や外眼角など)の位置を求め、これらの特徴点間の距離を目間距離の代わりに用いるようにしてもよい。あるいは、目の代わりに鼻や口など、他の特徴点との距離を代わりに用いるようになっていてもよく、その場合は用いる特徴点の位置を求めるようにすればよい。得られたランドマークの位置情報は、距離推定部104へ出力される。
【0028】
距離推定部104は、求まったランドマークの位置情報から被写体までの距離を推定する(ステップS23)。人の顔の大きさの個人差は大きくないと仮定すると、特徴点の位置間の距離から、被写体から顔までの距離を大まかに推定できる。特徴点としては、上述の通り、様々なものを用いることができるが、以下では、一例として、特徴点として両目の瞳孔を用い、瞳孔間の距離である目間距離を用いて被写体までの距離を求める場合について説明する。
【0029】
この場合、距離推定部104では、目間距離とカメラから被写体までの距離との関係式をあらかじめ求めておき、その式に基づいて、被写体までの距離を求めるようにすればよい。すなわち、目間距離をd、推定される被写体までの距離をDEとすると、関係式は数1のように表せる。
【0030】
【0031】
この関数f(d)をあらかじめ求めておき、用いるようにする。例えば、関数f(d)は線形回帰によって求めた直線で近似してもよいし、多項式やその他の数式を当てはめることによって求めるようにしてもよい。あるいは、区間ごとに近似したものを組み合わせて表現するようになっていてもよい。このようにして求まった被写体までの推定距離は推定距離情報として、補正部105へ出力される。
【0032】
補正部105は、推定距離情報と合焦情報に基づいて、被写体までの距離を補正するための補正距離に関する情報の生成を行う(ステップS24)。補正部105の処理については、別途詳細に説明する。
【0033】
焦点制御部106は、補正距離情報に基づいて、撮像装置2の焦点を制御するための制御情報を生成する(ステップS25)。この制御情報は、上述のように、撮像装置2で焦点を合わせる方式に応じて生成される。また、焦点制御部106は、生成した制御情報を画像情報取得部101へ出力する。なお、画像情報取得部101は、得た制御情報を用いて撮像装置2の焦点制御を行い、焦点の制御を行った映像より、焦点の異なる新たな画像を得る。
【0034】
次に、補正部105の動作について、詳細に説明する。補正部105は、推定距離情報と合焦情報に基づいて、被写体までの距離を補正するための補正距離に関する情報の生成を行う。
補正部105は、補正距離に関する情報の生成において、現在時刻における推定距離と合焦情報ではなく、過去に入力された推定距離と、対応する補正距離、合焦情報も用いるとよい。このため、補正部105では、過去一定時間内に入力された推定距離と出力した補正距離の結果を、時刻と対応付けて保持しているものとする。
推定距離DEに基づいて距離を補正し、補正距離DCを求める方法は任意である。以下では、推定距離DEに差分距離ΔDを加算して、補正距離DCを求める場合について説明する。なお、補正方法は以下に説明する方法に限らない。
【0035】
補正部105の動作としては、大別すると、合焦距離探索モードと合焦追従モードとがある。合焦距離探索モードは、合焦状態に対応する合焦差分距離ΔDfが求まっていない状態で合焦差分距離ΔDfを求めるモードである。合焦追従モードは合焦差分距離ΔDfが求まった後で、その値を用いて距離を補正し、合焦状態を維持するモードである。以下では、それぞれのモードでの補正部105の動作について説明する。
【0036】
(合焦距離探索モード)
初期状態では、合焦差分距離ΔDfは不定であるため、合焦距離探索モードで動作する。このモードでは、一定の規則に従って、推定距離DEから補正距離DCを求める。ここで、時刻tnにおける、初期推定距離(時刻t0のときの推定距離)からの変動分をg1(tn)とすると、補正距離Dcは数2のように表現できる。ここで、g1は、合焦距離探索モードで得られる変動分を表す。
【0037】
【0038】
数2のg1(tn)としては、例えば、数3のように距離δ1(>0)ずつ変化させていく関数を用いることができる。また、nは、初期推定距離を求めた時刻t0から
図3に示す処理を行った回数を示し、tnはn回目における時刻を示す。
【0039】
【0040】
数3において、N1は、合焦距離探索モードにおいて、入力される合焦情報が合焦したことを示すまでの平均的な継続回数を指標として定める値である。好ましくは、合焦情報が合焦したことを示すまでの繰り返し回数の平均的な継続回数より小さな値、例えば、平均的な継続回数のおおよそ半分の値とする。これにより、推定距離DEの前後の距離を補正距離として生成することができるようになる。
このような算出は、入力される合焦情報が合焦したことを示すまで継続する。
ただし、推定距離が初期値から大きくずれた場合には、その推定値を基準として上述の処理をやり直してもよい。例えば、時刻tjでの推定距離DE(tj)が最初の推定距離DE(t0)から一定比率以上変化した場合には、時刻tjでの推定距離DE(tj)を基準にして、再度探索をやり直してもよい。
【0041】
合焦判定部102で求めた合焦情報が合焦したことを示した場合には、その時点での差分距離ΔDを合焦差分距離ΔDfとして求める。現時刻をtnとし、時刻ti(i<n)の画像において焦点が合っていたことを合焦情報が示す場合には、時刻tiでの、補正距離と推定距離の差分が、個人差等に基づく距離のずれということになる。よって、数4で示される、補正距離から推定距離を引いた値を合焦差分距離ΔDfとして求め、その対象人物に対する差分距離情報として記憶する。
【0042】
【0043】
(合焦追従モード)
合焦追従モードについて説明する。合焦距離探索モードによる差分距離情報が求まった後は、数5に示すように、推定距離情報に合焦差分距離ΔDfを加算することで、補正距離を算出するようにする(合焦追従モード)。
【0044】
【0045】
あるいは、上記の合焦差分距離は、推定距離DEに依存する可能性もある。よって、合焦差分距離ΔDfを数6に示すように、推定距離DEの関数として捉え、焦点が合うたびに、あった時の差分距離と推定距離の組を蓄積し、この関数を求めるようにしてもよい。
【0046】
【0047】
この場合、差分距離情報は、推定距離DEから合焦差分距離ΔDfを求める関数を記載する情報になる。最初は推定距離DEによらずに一定として制御し、DEが変化したときに、焦点が合わなくなるようであれば、この後に述べるようにして焦点位置を少し振って調節し、合焦差分距離を求める。これをDEと対応付けて記憶しておき用いるようにする。この際、回帰直線によるフィッティングを行い、その係数を差分距離情報として保持していてもよい。
このようにして求まった補正距離によって制御した結果として得られる合焦情報が、焦点が十分に合わないことを示す場合には、さらにその前後で距離を少しだけ振るようにする。例えば、g1(t)よりも値域が狭い関数g2(t)を用いて、数7に従って制御することが考えられる。ここで、g2は、合焦追従モードで得られる変動分を表す。
【0048】
【0049】
関数g2(t)としては、例えば、0<|δ2|<|δ1|、0<N2<N1とし、数8や数9のような関数を用いることが考えられる。
【0050】
【0051】
【0052】
これにより、推定距離DEとΔDf前により求められる補正距離DCに対して前後距離での微調整を行った、より精度の高い補正距離DC(tn)の取得が可能となる。そして、合焦したときのDE(tn)とΔDf+g2(tn)の値を関連付けて記憶し、それ以降の差分距離の計算で用いるようにする。
【0053】
次に、上述の補正部105の動作を、フローチャートを用いて説明する。
図4は、補正部105の処理フローを表すフローチャートである。
補正部105は、差分距離情報があるかどうか(すでに算出済みかどうか)をチェックする(ステップS24a)。差分距離情報がまだ求まっていない場合(ステップS24a:No)、補正部105は、合焦距離探索モードで合焦差分距離を算出する(ステップS24b)。
差分距離情報がすでに求まっている場合(ステップS24a:Yes)は、補正部105は、合焦追従モードで合焦差分距離の調整を行う(ステップS24c)。そして、補正部105は、求めた合焦差分距離から補正距離の算出を行う(ステップS24d)。
【0054】
以上の処理を、生体認証において十分な精度が得られる程度に焦点の合った画像が得らえるまで、あるいは、予め定められた回数、繰り返す。このようにして得られた補正距離情報は焦点制御部106へ出力される。
【0055】
(被写体の人物が動く場合の動作)
次に、被写体の人物は一定の場所で静止しているのではなく、被写体が動く場合における生体認証装置1の動作について述べる。例えば、被写体となる人物がゲートにおいて歩きながら認証を行う等の場合には、人物と撮像装置2の距離は人物が動くことによって変化する。そこで、人の動きに合わせて焦点の位置を変化させ、生体認証を行う。以下では、人物が撮像装置2の方へ向かって移動しながら認証を行う場合について述べる。なお、人物が撮像装置2の方へ向かって移動する場合に限らず、人物の動きの予測が可能な任意の場合にも同様に適用可能である。
【0056】
被写体となる人物が撮像装置2の方へ向かって移動する場合、時間の経過とともに被写体までの距離(以後単に被写体距離とも呼ぶ)は減少する。よって、現時点での被写体距離よりも短い距離で焦点が合うように設定しておけば、少し先の時点で被写体距離が設定した距離となり、合焦画像を取得できる。そして、合焦画像を取得した後は、また少し先の時間で合焦画像を取得できるように、少し先の時点で想定される被写体距離で焦点が合うように設定する。すなわち、先の時間で合焦画像が取得できるように補正距離を算出する。より具体的には、例えば、人物が移動する場合において、次の画像が取得される先の時間にて合焦画像が取得できるよう、人物の歩行速度や次の新たな画像の取得時までに予測される人物の移動距離など、合焦画像を取得するための予測の基となる情報を利用して、補正距離を算出する。
そして、合焦画像を取得した後は、同様のことを繰り返す。これにより、複数の位置で合焦画像を取得し、生体認証を行えるようになる。以下では、これを実現する補正部105の動作について説明する。
【0057】
(合焦距離探索モード)
補正部105では、合焦距離探索モードのときは、合焦差分距離ΔDfが求まっていない。そこで、個人差によって生じ得る|ΔDf|の最大値よりも少し大きな値をLとして、数10によって、補正距離DC (tn)を算出する。
【0058】
【0059】
合焦情報が合焦したことを示すまでは、この固定値を補正値として出力する。合焦情報が合焦したことを示した場合は、上述と同様にして、数4によって、合焦差分距離ΔDfとして求める。
【0060】
(合焦追従モード)
合焦追従モードでは、少し先の時点における被写体距離を予測し、その時点で焦点が合うように補正距離DCを設定する。焦点が合った画像の時刻をtiとすると、次に合焦画像を取得する予定時刻(これをtmとする)の、時刻tiからの経過時間を求め、その間に移動し得る距離を求め、その距離より少し大きい距離をLMとして求める。そして、補正距離DCを数11によって算出する。
【0061】
【0062】
ここで、人物の歩行速度をV、マージンをδ3 (>0)とすると、LMは数12で表される。
【0063】
【0064】
なお、人物の歩行速度Vとしては、平均的な値を用いてもよいし、目間距離dの時刻変動から歩行速度Vを推定して用いるようにしてもよい。すなわち、これより以前の時刻における推定距離DEの算出履歴を用いて歩行速度Vを推定し、用いるようにしてもよい。
このようにして求めた補正距離DCは、被写体距離がこの値になり、合焦判定部102による合焦情報は焦点が合ったことを示すまで出力される。合焦後は、上述と同様にして、再度LMを求め、補正距離Dcを算出する。この際、合焦差分距離ΔDfも合わせて算出し、更新するようにしてもよい。被写体が遠い位置で求まった合焦差分距離よりも、近い位置で求まった値の方が、顔ランドマーク間の相対位置の精度が向上することによって一般的に精度がよくなる。よって、合焦差分距離ΔDfも適切に更新することで合焦位置の推定精度が上がり、生体認証を実行できる回数が増え、生体認証の失敗率を低減できる。
【0065】
補正部105以外の動作については、人物が止まっている場合と同様である。ただし、補正部105での合焦距離探索モードでの探索については、人物が生体認証に適した距離まで近づく前から実行することも可能である。これにより、生体認証に適した位置まで人物が近づいた時には、合焦追従モードに移行しているため、より高速な認証が可能となる。
このように、顔のランドマークとなる部位の位置から人物までの距離を算出する際に、個人差を考慮して焦点を制御することで、高速に焦点を合わせられるようになり、複数回の生体認証をより高速に実行できるようになる。このため、1度生体認証画像の取得に失敗しても、その後の画像取得でリカバリできるようになり、より確実に生体認証できるようになる。
【0066】
(第2の実施の形態)
次に、第2の実施の形態における生体認証装置1について説明する。
図5は、第2の実施の形態における生体認証装置1における機能ブロック図を示す。
図1に示す第2の実施の形態における生体認証装置1における機能ブロック図との違いは、補正部105aにあり、他の処理部は同様である。第2の実施の形態における生体認証装置1の補正部105aは、差分距離情報の入力を受ける場合、入力された差分距離情報に基づいて推定距離を補正して、補正距離を生成する。
【0067】
第2の実施の形態における生体認証装置1の調整部10aの動作を
図6に示す。
図6において、第1の実施の形態における生体認証装置1の調整部10との動作の違いは、ステップS24aにおける補正部105aの動作にある。以下、ステップS24aにおける補正部105aの動作について説明する。
【0068】
補正部105aの動作は、第1の実施の形態における補正部105の動作と比べ、可搬媒体3から差分距離情報の入力を受け、入力された差分距離情報を用いて補正距離の生成を行う以外は同じである。ここで、差分距離情報は、第1の実施の形態で述べた差分距離情報と基本的には同じであり、個人差を補正するための情報である。以前の認証の時に求まった差分距離情報を、スマートフォンなどの可搬媒体3に格納しておき、次の認証時にはシステムに読み取らせて入力するようにする。
【0069】
あるいは、生体認証を登録する際に、照合時と同様の手順で差分距離情報が求まっているのであれば、補正部105aは、その時に求まった差分距離情報を格納しておいて照合時に用いるようにしてもよい。また、差分距離情報そのものを格納しておくのではなく、目間距離などを登録時に一緒に計測、あるいは、推定して可搬媒体3に格納しておき、それから差分距離情報を求めるようにしてもよい。
【0070】
補正部105aは、差分距離情報が入力された場合には、その値を基準に補正距離を算出する。すなわち、最初から数5に従って補正距離を算出する。これにより、差分距離情報がわからない場合に比べ焦点をより早く合わせることができるようになり、生体認証にかかる時間を短縮できる。
【0071】
(第3の実施の形態)
次に、第3の実施の形態における生体認証装置1について説明する。
図7は、第3の実施の形態における生体認証装置1における機能ブロック図を示す。
図1に示す第1の実施の形態における生体認証装置1における機能ブロック図との違いは、画像分析部109、補正部105bにあり、他の処理部は同様である。
【0072】
第3の実施の形態における画像分析部109は、被写体の画像が顔画像である場合、被写体における顔の付帯物の検出による付帯物情報の生成、または、顔の向きの情報の算出の少なくともいずれか一方を行う。補正部105bは、画像分析部109により得られた付帯物情報または顔の向き情報の一方ないしは双方に基づいて、補正距離の算出方法を変える。
【0073】
第3の実施の形態における生体認証装置1の調整部10bの動作を
図8に示す。
図8において、第1の実施の形態における生体認証装置1の調整部10との動作の違いは、ステップS20における画像分析部109の動作、ステップS24bにおける補正部105bにある。以下、画像分析部109、補正部105bの動作について説明する。
【0074】
画像分析部109は、画像情報取得部101から出力される画像から、顔に付帯されている付帯物を検出するとともに、顔向きを推定し、得られた付帯物と向きの情報を求める(ステップS20)。
【0075】
すなわち、画像分析部109は、入力される画像に対して、顔に付帯物があるかどうかを検出する。ここで、付帯物は、顔に付加されているオブジェクトのことを指し、具体的には、眼鏡、サングラス、眼帯、ゴーグル、マスク、ニカブなどである。この検出については、一般オブジェクト検出と同様にして学習した検出器を用いることで検出できる。
また、画像分析部109では、顔の向きも算出する。すなわち、正面向きに対して、縦方向、横方向にどの程度ずれた方向を向いているかを算出する。これも、顔の向きごとに学習させた判定器を用いて判定が可能である。
得られた付帯物の情報、顔の向きの情報は、補正部105bへ出力される。
【0076】
補正部105bは、距離推定部104から出力される推定距離情報と、合焦判定部102から出力される合焦情報と、画像分析部109から出力される付帯物の情報、顔の向きの情報とから、補正距離を求め、焦点制御部106へ出力する(ステップS24b)。
【0077】
すなわち、補正部105bは、付帯物・向き情報に基づいて、距離の補正方法を調節する。付帯物がなく、顔の向きが正面の場合には、補正部105と同様に補正を行う。
【0078】
また、補正部105bは、付帯物がある場合には、それに応じて補正方法を変える。例えば、眼鏡の場合には、眼鏡のレンズの屈折により、計測される目間距離が、正しい値からずれている可能性がある。このため、このずれも考慮して補正する。例えば、近視用の眼鏡の場合、目間が実際よりも小さく算出され、実際よりも遠くにいるように推定される可能性がある。このため、近視用の眼鏡の人が多い状況では、この点を考慮し、補正部105bは、合焦距離探索モードで変化させる補正距離の範囲を、より近いほうに偏るように制御してもよい。
一方、顔の向きが正面でない場合には、その向きを考慮して目間距離を補正してもよい。例えば、顔が斜め横方向を向いている場合、求まる目間距離は実際の距離より短くなる。よって、補正部105bは、傾きによる補正分を差分距離に加え、補正を行うようにする。具体的には、横方向の回転角がθのときに、目間距離dの代わりに、数13に示す、補正した目間距離d’を用いるようにする。
【0079】
【0080】
なお、補正部105bは、第2の実施の形態で説明した補正部105aのように、差分距離が入力できるようになっていてもよい。この場合、補正部105bは、入力される差分距離情報を用いて補正距離の生成を行う。
このように、顔に付帯物をつけている場合や、向きが正面でない場合であっても、そのことを考慮して補正を実施することで、高速に焦点を合わせられるようになる。
【0081】
(第4の実施の形態)
次に、第4の実施の形態における生体認証装置1について説明する。
図9は、第4の実施の形態における生体認証装置1における機能ブロック図を示す。
図7に示す第3の実施の形態における生体認証装置1における機能ブロック図との違いは、合焦判定部102cあり、他の処理部は同様である。
【0082】
第4の実施の形態における合焦判定部102cは、画像分析部109により得られた付帯物に関する情報または顔の向き情報に基づき、被写体の画像から生体認証用の画像の選択基準を変更する。
【0083】
第4の実施の形態における生体認証装置1の調整部10cの動作を
図10に示す。
図10において、第3の実施の形態における生体認証装置1の調整部10bとの動作の違いは、ステップS21cにおける合焦判定部102cの動作にある。以下、画像分析部109と合焦判定部102cの動作について説明する。
【0084】
画像分析部109は、画像情報取得部101から出力される画像から、顔に付帯されている付帯物を検出するとともに、顔向きを推定し、得られた付帯物に関する情報、顔の向きの情報を求める(ステップS20)。画像分析部109の動作の詳細は、第3の実施の形態における説明の通りである。
【0085】
合焦判定部102cは、画像情報取得部101から出力される画像と、画像分析部109から出力される付帯物に関する情報、顔の向き情報に基づいて合焦情報、および選択情報を生成し、合焦情報を補正部105bへ出力するとともに、選択情報を画像選択部107へ出力する(ステップS21c)。
すなわち、合焦判定部102cは、付帯物に関する情報、顔の向きに関する情報より、顔に付帯物はなく、顔の向きは正面であることを示している場合の動作は、合焦判定部102と同様の動作を行う。
一方、眼鏡などの付帯物があることを示す場合、合焦判定部102cは、合焦判定の方法や選択情報の判定方式を変更してもよい。例えば、生体認証が虹彩認証の場合、合焦画像をそのまま使うと、眼鏡のフレームに焦点が合って、虹彩に焦点が合わない可能性がある。よって、付帯物情報に眼鏡が含まれる場合、合焦スコアが最大となる位置から少し遠くにずらした位置を合焦位置として求めるようにしてもよい。また、選択情報も、合焦指標が最大となるフレームだけでなく、それよりも焦点位置が少し遠い位置のフレームを選択するようにしてもよい。
このようにすることで、取得した画像の焦点が生体認証に必要な部位に合っていないリスクを低減でき、付帯物がある場合の生体認証の失敗率を低減できる。
【0086】
なお、各実施の形態では、生体認証として、顔に関する認証、すなわち、虹彩認証等を例として説明したが、これに限定されるものではない。顔以外の生体の画像情報を用いて認証する方法であれば適用可能であり、例えば、非接触での指紋・掌紋や静脈認証への適用も可能である。この場合、ランドマーク情報は、手のひらや指の特徴点になる。
【0087】
次に、生体認証装置1におけるハードウェアの構成例について述べる。
図11は、生体認証装置のハードウェア構成を例示する図である。
図11では、生体認証装置1を実現するための計算機9のほか、ネットワーク11、カメラ12を例示する。計算機9は任意の計算機である。例えば計算機9は、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機9は、生体認証装置1を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【0088】
計算機9は、バス91、プロセッサ92、メモリ93、ストレージデバイス94、入出力インタフェース95、および、外部インタフェース96を備える。バス91は、プロセッサ92、メモリ93、ストレージデバイス94、入出力インタフェース95、及びネットワークインタフェースともなる外部インタフェース96が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ92などを互いに接続する方法は、バス接続に限定されない。プロセッサ92は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などの種々のプロセッサである。メモリ93は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス94は、ハードディスク、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。
【0089】
入出力インタフェース95は、計算機9と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース95には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。
【0090】
外部インタフェース96は、計算機9をネットワーク11などに接続するためのインタフェースである。
図11は、外部インタフェース96がネットワークインタフェースであり、ネットワーク11と接続している場合について記しているが、これに限らない。図の場合、このネットワークは、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。外部インタフェース96がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。
【0091】
外部インタフェース96は、ネットワークインタフェースではなく、直接外部機器を接続するインタフェースであってもよい。例えば、USB(Universal Serial Bus)やIEEE1394などにより、ネットワークを介さずに直接、カメラ12と接続されるようになっていてもよい。
さらに、ネットワーク11にはカメラ12が接続されており、計算機9とカメラ12とはネットワーク11を介してデータを通信できるようになっている。この場合、カメラ12は、生体認証装置1の撮像装置2に該当する。
【0092】
ストレージデバイス94は、生体認証装置1の各処理部を実現するプログラムモジュールを記憶している。プロセッサ92は、これら各プログラムモジュールをメモリ93に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
なお、生体認証装置1の一部の機能はカメラ12側で実行されていてもよい。すなわち、カメラ12の内部にプロセッサやストレージデバイス、メモリが格納されており、生体認証装置1の各処理部の処理の全部、あるいは一部をこれらのコンポーネントを用いて実行するようになっていてもよい。例えば、画像情報取得部101、合焦判定部102、特徴点抽出部103、距離推定部104、補正部105(105a)、焦点制御部106、画像選択部107、生体認証部108をカメラ12側で実行し、それ以外の処理を計算機9側で実行するようになっていてもよい。あるいは、特徴点抽出部103の処理もカメラ12側で実行するようになっており、それ以外については、計算機9側で実行するようになっていてもよい。あるいは、生体認証部108以外の処理をすべてカメラ側で実行するようになっていてもよい。
【0093】
図12は、生体認証装置1の最小構成図を示す図である。
生体認証装置1は、補正部105、焦点制御部106、合焦判定部102を備える。
【0094】
図13は、
図12に示す最小構成における生体認証装置の処理フロー図を示す図である。
補正部105は、生体認証の対象となる被写体の画像における合焦の度合を示す合焦情報と前記画像の特徴点間の距離より求めた前記被写体までの推定距離とに基づき得られる差分距離情報であって、前記推定距離と前記被写体に対する合焦距離のずれを示す前記差分距離情報を利用して、前記推定距離と前記被写体に対する前記合焦距離のずれを前記差分距離情報に基づき補正した補正距離を生成する(ステップS101)。
焦点制御部106は、前記補正距離に基づいて、前記被写体の画像取得時における焦点を制御するための情報を生成する(ステップS102)。
合焦判定部102は、前記焦点の制御を行った後に撮影された前記被写体の画像の中から、生体認証を行う画像を選択するための情報を生成する(ステップS103)。
以上の処理は、生体認証において所定の精度の認証を行える焦点の合った画像が得られるまで繰り返えしてもよい。
【0095】
以上のように、生体認証装置1は、個人差を考慮して高速に焦点を合わせられるようになる。そのため、二回目以降に焦点を合わせて撮影する際に高速に焦点合わせができ、最初の画像取得で失敗した場合でも、高速に生体認証できるようになる。
【0096】
また、生体認証装置1では、追加のデバイスが必要とせず、生体認証での精度を向上につながる画像の高画質化が可能になる、という効果も得られる。
【0097】
また、生体認証装置1を用いることで、生体認証の対象となる被写体までの距離を測るセンサがなくても高速に焦点を合わせ、生体認証を実行できるようになる。また、生体認証の対象となる人物が静止していても、動いていても用いることができる。このため、決済向けの生体認証システムや、ゲート向けの歩きながらの生体認証システム等に用いることができるようになる。
【0098】
以上、本開示を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本開示の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本開示の技術的範囲に含まれ得る。そしてこのことは、特許請求の範囲に記載した事項から明らかである。
【符号の説明】
【0099】
1 生体認証装置
2 撮像装置
3 可搬媒体
10、10a、10b、10c 調整部
101 画像情報取得部
102、102c 合焦判定部
103 特徴点抽出部
104 距離推定部
105、105a、105b 補正部
106 焦点制御部
107 画像選択部
108 生体認証部
109 画像分析部