IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

<>
  • 特許-認証システムおよび認証方法 図1
  • 特許-認証システムおよび認証方法 図2
  • 特許-認証システムおよび認証方法 図3
  • 特許-認証システムおよび認証方法 図4
  • 特許-認証システムおよび認証方法 図5
  • 特許-認証システムおよび認証方法 図6
  • 特許-認証システムおよび認証方法 図7
  • 特許-認証システムおよび認証方法 図8
  • 特許-認証システムおよび認証方法 図9
  • 特許-認証システムおよび認証方法 図10
  • 特許-認証システムおよび認証方法 図11
  • 特許-認証システムおよび認証方法 図12
  • 特許-認証システムおよび認証方法 図13
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2023-02-16
(45)【発行日】2023-02-27
(54)【発明の名称】認証システムおよび認証方法
(51)【国際特許分類】
   G06V 40/19 20220101AFI20230217BHJP
   G06V 40/16 20220101ALI20230217BHJP
   G06T 7/00 20170101ALI20230217BHJP
【FI】
G06V40/19
G06V40/16 A
G06T7/00 510F
【請求項の数】 14
(21)【出願番号】P 2022112427
(22)【出願日】2022-07-13
【審査請求日】2022-07-13
【早期審査対象出願】
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】棚橋 智
【審査官】千葉 久博
(56)【参考文献】
【文献】特開2018-106720(JP,A)
【文献】特開2017-219576(JP,A)
【文献】特開2012-164357(JP,A)
【文献】特開2008-258830(JP,A)
【文献】米国特許出願公開第2021/0019540(US,A1)
【文献】国際公開第2020/115890(WO,A1)
【文献】国際公開第2016/084214(WO,A1)
【文献】中国実用新案第207742680(CN,U)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 40/19
G06V 40/16
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
被認証者に非可視光を照射する少なくとも1つの照明と、
前記非可視光が照射された前記被認証者を撮像する第1撮像装置と、
前記第1撮像装置と通信可能であって、前記第1撮像装置により撮像された第1非可視光画像に基づく前記被認証者の認証を実行する認証装置と、を備える認証システムであって、
前記照明は、
第1の偏光板により前記非可視光を第1の方向に偏光して照射し、
前記第1撮像装置は、
第2の偏光板により前記第1の方向と略直交する第2の方向で前記非可視光を偏光した非可視光を受光して、前記被認証者を撮像
前記認証装置は、
前記第1非可視光画像を表示するモニタを備え、
前記照明と前記第1撮像装置とは、
前記モニタの前記第1非可視光画像を表示する表示領域の中心位置に対してそれぞれ非点対称となる位置に配置される、
認証システム。
【請求項2】
前記非可視光は、波長が940nmの近赤外光である、
請求項1に記載の認証システム。
【請求項3】
前記認証装置は、
前記第1非可視光画像に映る前記被認証者の顔を検出し、
検出された前記第1非可視光画像上の前記被認証者の顔の位置情報に基づいて、前記第1非可視光画像に映る前記被認証者の顔の位置を示す第1の枠を生成し、
前記第1非可視光画像に前記第1の枠を重畳して、前記モニタに表示する、
請求項1に記載の認証システム。
【請求項4】
前記認証装置と通信可能であって、前記非可視光が照射された前記被認証者の表面反射光を受光して撮像する第2撮像装置、をさらに備え、
前記第2撮像装置は、
前記被認証者を撮像した第2撮像画像を前記認証装置に送信し、
前記認証装置は、
前記第2撮像画像を前記モニタに表示する、
請求項1に記載の認証システム。
【請求項5】
前記認証装置は、
前記第1非可視光画像に映る前記被認証者の顔を検出し、
検出された前記第1非可視光画像上の前記被認証者の顔の位置情報に基づいて、前記第2撮像画像に映る前記被認証者の顔の位置を示す第2の枠を生成し、
前記第2撮像画像に前記第2の枠を重畳して、前記モニタに表示する、
請求項4に記載の認証システム。
【請求項6】
前記第2撮像画像は、非可視光画像であって、
前記第2撮像装置は、
前記被認証者により反射された表面反射光のうち非可視光を透過するフィルタを介してイメージセンサで受光して、前記被認証者を撮像する、
請求項4に記載の認証システム。
【請求項7】
前記第2撮像画像は、非可視光画像であって、
前記第2撮像装置は、
第3の偏光板により前記第1の方向と略平行する第3の方向で、前記被認証者により反射された表面反射光を偏光し、
偏光後の非可視光を受光して、前記被認証者を撮像する、
請求項4に記載の認証システム。
【請求項8】
前記第2撮像画像は、可視光画像であって、
前記第2撮像装置は、
前記被認証者により反射された表面反射光を受光して、前記被認証者を撮像する、
請求項4に記載の認証システム。
【請求項9】
前記照明と前記第1撮像装置とは、
前記第1非可視光画像に重畳された前記第1の枠の中心位置に対してそれぞれ非点対称となる位置に配置される、
請求項3に記載の認証システム。
【請求項10】
前記照明と、前記第1撮像装置および前記第2撮像装置とは、
前記モニタの前記第2撮像画像を表示する表示領域の中心位置に対してそれぞれ非点対称となる位置に配置される、
請求項4に記載の認証システム。
【請求項11】
前記照明と、前記第1撮像装置および前記第2撮像装置とは、
前記第2撮像画像上に重畳された前記第2の枠の中心位置に対してそれぞれ非点対称となる位置に配置される、
請求項5に記載の認証システム。
【請求項12】
前記認証装置は、
前記被認証者が認証された場合、事前に設定された所定の動作を実行し、
前記被認証者が認証されない場合、前記第1非可視光画像を前記モニタに表示する、
請求項1に記載の認証システム。
【請求項13】
前記認証装置は、
前記被認証者が認証された場合、事前に設定された所定の動作を実行し、
前記被認証者が認証されない場合、前記第2撮像画像を前記モニタに表示する、
請求項4に記載の認証システム。
【請求項14】
被認証者に非可視光を照射する少なくとも1つの照明と、
前記非可視光が照射された前記被認証者を撮像する第1撮像装置と、
前記第1撮像装置と通信可能であって、撮像された第1非可視光画像を表示するモニタを有し、前記被認証者の認証を実行する認証装置と、を備え
前記照明と前記第1撮像装置とが、前記モニタの前記第1非可視光画像を表示する表示領域の中心位置に対してそれぞれ非点対称となる位置に配置される認証システムが行う認証方法であって、
第1の偏光板により前記非可視光を第1の方向に偏光して照射し、
第2の偏光板により前記第1の方向と略直交する第2の方向で前記非可視光を偏光した非可視光を受光して、前記被認証者を撮像し、
撮像された前記第1非可視光画像に基づいて、前記被認証者を認証する、
認証方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、認証システムおよび認証方法に関する。
【背景技術】
【0002】
特許文献1には、物体の生体認証のためのデバイスが開示されている。デバイスは、追加的な赤外線条件を伴う周囲光条件の下で、物体の少なくとも1つの写真を撮像するように、925nm~955nmの間のピーク波長を備える赤外スペクトルに敏感な光学画像センサ素子と、追加的な赤外光を提供する赤外光源と、写真から取得される生体認証のための画像または画像コードを提供する処理ユニットとを含む。デバイスは、撮像された赤外光写真から太陽光写真を減算し、生体認証のための画像または画像コードを取得する。
【先行技術文献】
【特許文献】
【0003】
【文献】特表2021-501401号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、屋内外の様々な場所で、人物の顔が撮像された写真(顔画像)を用いた生体認証の利用が増加している。しかしながら、デバイスは、人物の顔に太陽光あるいは照明光が照射される環境、人物の顔が逆光,夜間あるいは雨天等の低照度となる環境等で写真を撮像する場合、写真に写る人物の顔が白飛び状態、逆光状態等となり、生体認証に使用される人物の顔の特徴を撮像できない可能性があった。
【0005】
また、近年、マスクを着用した状態で撮像された写真を用いた生体認証を実現可能なデバイスが望まれている。このような写真を用いた生体認証では、生体認証に必要となる特徴量が減少するため目の特徴量が重要となる。しかし、眼鏡に光(太陽光,照明光等)が反射する正反射が発生した場合、デバイスは、眼鏡に光(太陽光,照明光等)が映り込むため、生体認証に必要な目の特徴量の算出が困難となる可能性があった。
【0006】
本開示は、上述した従来の事情に鑑みて案出され、正反射による照明光の映り込みを抑制し、生体認証により適した顔画像を取得可能な認証システムおよび認証方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本開示は、被認証者に非可視光を照射する少なくとも1つの照明と、前記非可視光が照射された前記被認証者を撮像する第1撮像装置と、前記第1撮像装置と通信可能であって、前記第1撮像装置により撮像された第1非可視光画像に基づく前記被認証者の認証を実行する認証装置と、を備える生体認証システムであって、前記照明は、第1の偏光板により前記非可視光を第1の方向に偏光して照射し、前記第1撮像装置は、第2の偏光板により前記第1の方向と略直交する第2の方向で前記非可視光を偏光した非可視光を受光して、前記被認証者を撮像前記認証装置は、前記第1非可視光画像を表示するモニタを備え、前記照明と前記第1撮像装置とは、前記モニタの前記第1非可視光画像を表示する表示領域の中心位置に対してそれぞれ非点対称となる位置に配置される、認証システムを提供する。
【0008】
また、本開示は、被認証者に非可視光を照射する少なくとも1つの照明と、前記非可視光が照射された前記被認証者を撮像する第1撮像装置と、前記第1撮像装置と通信可能であって、撮像された第1非可視光画像を表示するモニタを有し、前記被認証者の認証を実行する認証装置と、を備え、前記照明と前記第1撮像装置とが、前記モニタの前記第1非可視光画像を表示する表示領域の中心位置に対してそれぞれ非点対称となる位置に配置される認証システムが行う生体認証方法であって、第1の偏光板により前記非可視光を第1の方向に偏光して照射し、第2の偏光板により前記第1の方向と略直交する第2の方向で前記非可視光を偏光した非可視光を受光して、前記被認証者を撮像し、撮像された前記第1非可視光画像に基づいて、前記被認証者を認証する、認証方法を提供する。
【発明の効果】
【0009】
本開示によれば、正反射による照明光の映り込みを抑制し、生体認証により適した顔画像を取得できる。
【図面の簡単な説明】
【0010】
図1】実施の形態1に係る生体認証システムのユースケースを説明する図
図2】実施の形態1に係る生体認証システムの内部構成例を説明するブロック図
図3】実施の形態1に係る生体認証システムの動作手順例を示すシーケンス図
図4】実施の形態2に係る生体認証システムの内部構成例を説明するブロック図
図5】実施の形態2の変形例1に係る生体認証システムの内部構成例を説明するブロック図
図6】実施の形態2の変形例2に係る生体認証システムの内部構成例を説明するブロック図
図7】実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システムの動作手順例を示すシーケンス図
図8】実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システムの動作手順例を示すシーケンス図
図9】可視光画像、非可視光画像、および偏光の有無による非可視光画像について説明する図
図10】カメラおよび照明の配置基準点の設定例1,2を説明する図
図11】カメラが1台である場合のカメラおよび照明のそれぞれの配置例を説明する図
図12】カメラが2台である場合のカメラおよび照明のそれぞれの配置例を説明する図
図13】照明が2つである場合のカメラおよび照明のそれぞれの配置例を説明する図
【発明を実施するための形態】
【0011】
以下、適宜図面を参照しながら、本開示に係る認証システムおよび認証方法の構成および作用を具体的に開示した実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0012】
(実施の形態1)
図1を参照して、実施の形態1に係る生体認証システム100について説明する。図1は、実施の形態1に係る生体認証システム100のユースケースを説明する図である。図2は、実施の形態1に係る生体認証システム100の内部構成例を説明するブロック図である。
【0013】
なお、図1では、照明13により照射される非可視光照明と、ユーザの顔(肌)の内部により反射されて第1カメラ22に入射し、受光される内部散乱光との説明を分かりやすくするために、認証装置P1および顔認証サーバS1の図示を省略している。
【0014】
認証システムの一例としての生体認証システム100は、照明装置LT1と、第1撮像装置C1と、認証装置P1と、顔認証サーバS1とを含む。なお、図2に示す生体認証システム100は、一例であってこれに限定されない。例えば、生体認証システム100は、ネットワークを含んでよい。認証装置P1と顔認証サーバS1とは、ネットワークを介してデータ送受信可能に接続されてよい。また、登録顔画像データベースDBは、顔認証サーバS1と別体で構成されてよい。
【0015】
照明装置LT1は、生体認証対象であるユーザに波長940nmの近赤外線光を含む非可視光の照明を照射する。照明装置LT1は、通信部10と、制御部11と、照明電源部12と、照明13と、第1偏光板14とを含む。
【0016】
通信部10は、第1撮像装置C1の第1カメラ22との間でデータ通信可能に接続されて、第1カメラ22から送信された制御指令を制御部11に出力する。
【0017】
制御部11は、通信部10から出力された制御指令に基づいて、照明電源部12のON,OFF制御(つまり、照明13の点灯,消灯制御)を実行する。
【0018】
照明電源部12は、制御部11により制御されて照明13への電源の供給をON,OFFする。
【0019】
照明13は、少なくとも1つのLED(Light-Emitting Diode)により実現される。照明13は、照明電源部12から電源を供給されて、波長940nmの近赤外線光である非可視光を照射する。なお、照明13は、点光源であってもよいし、面光源であってもよい。
【0020】
第1偏光板14は、第2偏光板20に対して直交配置(つまり、クロスニコル)されて、照明13から照射された非可視光を第1の方向に偏光する。例えば、図1に示す例において、第1偏光板14は、照明13の非可視光の垂直成分のみを透過する。
【0021】
第1撮像装置C1は、ユーザの顔を含む領域を撮像し、生体認証に用いられるユーザの第1撮像画像(第1非可視光画像の一例)を取得する。第1撮像装置C1は、第2偏光板20と、BPF(Band-Pass Filter)21と、第1カメラ22とを含む。
【0022】
第2偏光板20は、第1偏光板14に対して直交配置(つまり、クロスニコル)されて、ユーザの顔により反射された正反射光および内部散乱光と、他の光(太陽光,可視光である照明光等)とのうち第1の方向の成分(つまり、正反射光の成分)を除去し、内部散乱光および他の光のうち第2の方向の成分のみを透過する。
【0023】
BPF21は、第2偏光板20を透過した内部散乱光および他の光のうち非可視光(つまり、波長940nmの近赤外線光)のみを透過する。これにより、BPF21は、第1カメラ22のSiフォトダイオード(不図示)が受光可能なセンサ感度範囲内であり、かつ、空気中に含まれる水分によって太陽光の減衰が大きい波長940nmの非可視光のみを透過できる。
【0024】
第1カメラ22は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、Siフォトダイオードと、例えばCCD(Charged-Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)とを含む固体撮像素子であり、撮像面に結像した非可視光(内部散乱光)による光学像を電気信号に変換する。第1カメラ22は、変換後の電気信号(第1撮像画像のデータ)を認証装置P1に送信する。
【0025】
認証装置P1は、例えば、PC(Personal Computer),ノートPC,タブレット端末,スマートフォン等により実現されて、生体認証対象であるユーザの認証を実行する。認証装置P1は、通信部30と、制御部31と、メモリ32と、表示部33とを含む。
【0026】
通信部30は、第1撮像装置C1の第1カメラ22と、顔認証サーバS1の通信部40との間でそれぞれ無線通信あるいは有線通信可能に接続されて、データの送受信を実行する。通信部30は、第1カメラ22から送信された第1撮像画像のデータを取得して、制御部31に出力する。
【0027】
通信部30は、制御部31から出力された顔画像を顔認証サーバS1に送信する。また、通信部30は、顔認証サーバS1から送信された顔画像に対応する認証スコアを取得して、制御部31に出力する。
【0028】
なお、図2では図示を省略しているが、通信部30は、制御部31により生成された制御指令(例えば、第1撮像装置C1の第1カメラ22に撮像を開始させる制御指令等)を第1カメラ22に送信してもよい。第1カメラ22は、通信部30から送信された制御指令に基づいて、露光を(撮像)開始するとともに、照明装置LT1の照明13を点灯(ON)させる制御指令を生成し、通信部10に送信してもよい。
【0029】
制御部31は、例えばCPU(Central Processing Unit)またはFPGA(Field Programmable Gate Array)を用いて構成されて、メモリ32と協働して、各種の処理および制御を行う。具体的には、制御部31は、メモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、認証装置P1の機能を実現する。
【0030】
制御部31は、第1カメラ22により撮像された第1撮像画像に画像解析処理を実行して、第1撮像画像に映るユーザの顔を検出する。制御部31は、検出されたユーザの顔を含む領域を第1撮像画像から切り出して、顔画像を生成する。制御部31は、生成された顔画像を通信部30に出力して、顔認証サーバS1に送信させる。
【0031】
制御部31は、検出されたユーザの顔の位置情報に基づいて、ユーザの顔位置を示す枠(図10に示す枠FB)を生成し、第1撮像画像に重畳する。制御部31は、枠重畳後の第1撮像画像を表示部33に出力して、表示させる。
【0032】
また、制御部31は、顔認証サーバS1から送信された認証スコアが閾値以上であるか否かに基づいて、顔画像(第1撮像画像)に映るユーザが事前に登録顔画像データベースDBに登録された登録済みユーザであるか否かを判定する。
【0033】
制御部31は、認証スコアが閾値以上であると判定した場合、ユーザが事前に登録顔画像データベースDBに登録された登録済みユーザであり、生体認証「OK」(つまり、成功)であると判定する。制御部31は、事前に設定された所定の認証成功動作(所定の動作の一例)を実行する。
【0034】
なお、ここでいう認証成功動作は、生体認証システム100の用途に基づいて、生体認証システム100の利用者,管理者等により事前に設定された動作(制御)である。認証成功動作は、例えば、扉,入場ゲート等の開錠動作,開放動作、物品購入の決済動作、生体認証結果が成功であることを通知する認証結果画面の生成および表示動作等である。
【0035】
一方、制御部31は、認証スコアが閾値以上でないと判定した場合、ユーザが事前に登録顔画像データベースDBに登録された登録済みユーザでなく、生体認証「NG」(つまり、失敗)であると判定する。制御部31は、ユーザに生体認証失敗を通知する認証失敗画面(不図示)を生成して、表示部33に出力する。
【0036】
メモリ32は、例えば制御部31の各処理を実行する際に用いられるワークメモリとしてのRAM(Random Access Memory)と、制御部31の動作を規定したプログラムおよびデータを格納するROM(Read Only Memory)とを有する。RAMには、制御部31により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、制御部31の動作を規定するプログラムが書き込まれている。
【0037】
モニタの一例としての表示部33は、例えばLCD(Liquid Crystal Display)または有機EL(Electroluminescence)等の表示用デバイスを用いて構成されてよい。表示部33は、制御部31から出力された認証失敗画面を表示(出力)したり、枠FBが重畳された第1撮像画像を表示(出力)したりする。
【0038】
顔認証サーバS1は、認証装置P1から送信された第1撮像画像に映るユーザが事前に登録顔画像データベースDBに登録されたいずれかのユーザである確からしさを示す認証スコアを算出する。顔認証サーバS1は、通信部40と、制御部41と、メモリ42と、登録顔画像データベースDBとを含む。なお、登録顔画像データベースDBは、別体で構成され、顔認証サーバS1との間で通信可能に接続されてもよい。
【0039】
通信部40は、認証装置P1との間で無線通信あるいは有線通信可能に接続されて、データの送受信を実行する。通信部40は、認証装置P1から送信された顔画像(第1撮像画像)のデータを取得して、制御部41に出力する。通信部40は、制御部41から出力された認証スコアの情報を認証装置P1に送信する。
【0040】
制御部41は、例えばCPUまたはFPGAを用いて構成されて、メモリ42と協働して、各種の処理および制御を行う。具体的には、制御部41は、メモリ42に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、顔認証サーバS1の機能を実現する。
【0041】
制御部41は、取得された顔画像と、事前に登録顔画像データベースDBに登録された複数のユーザのそれぞれの登録顔画像とを照合し、顔画像に映るユーザと、登録済みのユーザとが同一人物であるか否かの指標である認証スコアをそれぞれ算出(評価)する。制御部41は、算出された認証スコアの情報を通信部40に出力して、認証装置P1に送信させる。
【0042】
メモリ42は、例えば制御部41の各処理を実行する際に用いられるワークメモリとしてのRAMと、制御部41の動作を規定したプログラムおよびデータを格納するROMとを有する。RAMには、制御部41により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、制御部41の動作を規定するプログラムが書き込まれている。
【0043】
登録顔画像データベースDBは、所謂ストレージであって、例えばフラッシュメモリ、HDD(Hard Disk Drive)あるいはSSD(Solid State Drive)等の記憶媒体を用いて構成される。登録顔画像データベースDBは、ユーザごとの登録顔画像と、ユーザに関する情報(例えば、ユーザの氏名,生年月日,年齢,性別,住所,電話番号,ID等)とを対応付けて格納(登録)する。
【0044】
次に、図3を参照して、生体認証システム100により実行される生体認証動作について説明する。図3は、実施の形態1に係る生体認証システム100の動作手順例を示すシーケンス図である。
【0045】
なお、ステップSt11~ステップSt16の処理が実行される順番は、図3に示す順番でなくてよい。例えば、ステップSt13の処理の後に、ステップSt11~ステップSt12の処理を実行してもよいし、ステップSt16の処理の後にステップSt14の処理が実行されてもよい。
【0046】
第1撮像装置C1は、撮像開始とともに、照明13を点灯させる制御指令を生成し、生成された制御指令を照明装置LT1に送信して、照明13の点灯を要求する(St11)。
【0047】
照明装置LT1は、第1撮像装置C1から送信された制御指令を取得した場合、照明電源部12による照明13への電源供給を開始し、照明13を点灯する(St12)。
【0048】
第1撮像装置C1は、第1カメラ22の露光を開始し(St13)、所定の露光時間経過後に露光を終了する(St14)。第1撮像装置C1は、露光(撮像)終了した後、照明13を消灯させる制御指令を生成し、生成された制御指令を照明装置LT1に送信して、照明13の消灯を要求する(St15)。
【0049】
照明装置LT1は、第1撮像装置C1から送信された制御指令を取得した場合、照明電源部12による照明13への電源供給を終了し、照明13を消灯する(St16)。
【0050】
第1撮像装置C1は、撮像された第1撮像画像を取得し(St17)、第1撮像画像のデータを認証装置P1に送信する(St18)。
【0051】
認証装置P1は、第1撮像装置C1から送信された第1撮像画像に画像解析処理を実行し、ユーザの顔を検出する。認証装置P1は、第1撮像画像からユーザの顔が検出されたか否かを判定する(St19)。
【0052】
認証装置P1は、ステップSt19の処理において、第1撮像画像からユーザの顔が検出されたと判定した場合(St19,YES)、第1撮像画像に検出された顔の位置(領域)を囲む枠(例えば、図10に示す枠FB)を重畳した第1撮像画像を生成して、表示部33に出力(表示)する(St20)。また、認証装置P1は、検出されたユーザの顔の領域を第1撮像画像から切り出した顔画像を生成して、顔認証サーバS1に送信する(St21)。
【0053】
一方、認証装置P1は、ステップSt19の処理において、第1撮像画像からユーザの顔が検出されないと判定した場合(St19,NO)、ステップSt11の処理に戻る。ここで、認証装置P1は、ユーザの再撮像を要求する制御指令を生成して、第1撮像装置C1に送信してよい。
【0054】
顔認証サーバS1は、認証装置P1から送信されたユーザの顔画像と、登録顔画像データベースDBに登録された複数のユーザのそれぞれの登録顔画像とをそれぞれ照合して、認証スコアを算出する(St22)。顔認証サーバS1は、算出された認証スコアの情報を認証装置P1に送信する(St23)。
【0055】
認証装置P1は、顔認証サーバS1から送信された認証スコアを取得し、認証スコアが閾値以上であるか否を判定する(St24)。
【0056】
認証装置P1は、ステップSt24の処理において、顔認証サーバS1から送信された認証スコアが閾値以上であると判定した場合(St24,YES)、ユーザが事前に登録顔画像データベースDBに登録された登録済みユーザであり、生体認証「OK」(つまり、成功)であると判定し、事前に設定された所定の認証成功動作を実行する(St25)。
【0057】
一方、認証装置P1は、ステップSt24の処理において、認証スコアが閾値以上でないと判定した場合(St24,NO)、ユーザが事前に登録顔画像データベースDBに登録された登録済みユーザでなく、生体認証「NG」(つまり、失敗)であると判定する。認証装置P1は、ユーザに生体認証失敗を通知する認証失敗画面(不図示)を生成して、表示部33に出力(表示)する(St26)。
【0058】
以上により、生体認証システム100は、第1カメラ22に入射する光のうちクロスニコル配置された第2偏光板20によって正反射された光(例えば、太陽光,可視光である照明光等)を除去し、照明13により照射された非可視光(波長940nmの近赤外線光)によるユーザの撮像を実現できる。
【0059】
具体的に、第2偏光板20は、ユーザの眼鏡により正反射された照明13の光(第1の方向に偏光された光),他の光(例えば、太陽光,可視光である照明光等)、あるいはブリュースター角で照射され、ユーザの眼鏡により正反射された他の光(第1の方向の可視光)等のうち、第1の方向の成分を除去できる。
【0060】
これにより、生体認証システム100は、ユーザを撮像する時の撮像環境あるいは第1カメラ22が設置された設置環境が生体認証に用いられる第1撮像画像の撮像に適さない環境(例えば、正反射が発生する環境,低照度である環境等)であっても、第1の方向の成分を除去することにより、生体認証に必要な特徴を抽出可能な第1撮像画像(つまり、生体認証により適した第1撮像画像)を取得できる。
【0061】
また、生体認証システム100は、マスク等により顔の一部が隠れたユーザを撮像する場合でも、撮像された第1撮像画像から生体認証に用いられるユーザの目に関する特徴量(例えば、虹彩に関する特徴量等)を算出可能な第1撮像画像を取得できる。
【0062】
(実施の形態2)
上述した実施の形態1に係る生体認証システム100は、1台の第1撮像装置C1(第1カメラ22)により生体認証に用いられる第1撮像画像の撮像を実行する例を示した。第1カメラ22により撮像された第1撮像画像は、ユーザに照射された非可視光照明(波長940nm)がユーザの肌の内部で散乱し、この散乱した内部散乱光をイメージセンサで受光することによって撮像される。したがって、第1撮像画像は、ユーザの血管,髭等が映り込んだ撮像画像となる。これにより、表示部33に表示された第1撮像画像に映るユーザは、実際のユーザの外見と異なる可能性があった。
【0063】
そこで、実施の形態2に係る生体認証システム200は、2台の撮像装置(第1撮像装置C21および第2撮像装置C22)のそれぞれによりユーザを撮像し、生体認証に用いられる第1撮像画像と、表示部33に表示されてユーザに提示される第2撮像画像とをそれぞれ撮像する例について説明する。
【0064】
なお、以降の説明において、実施の形態1に係る生体認証システム100を構成する各装置と同様の構成については、同一の符号を付与して説明を省略する。
【0065】
図4を参照して、実施の形態2に係る生体認証システム200について説明する。図4は、実施の形態2に係る生体認証システム200の内部構成例を説明するブロック図である。
【0066】
生体認証システム200は、照明装置LT1と、2台の撮像装置(第1撮像装置C21および第2撮像装置C22)のそれぞれと、認証装置P1Aと、顔認証サーバS1とを含む。
【0067】
第1撮像装置C21は、ユーザの顔を含む領域を撮像し、生体認証に用いられる第1撮像画像を取得する。第1撮像装置C21は、第2偏光板50と、BPF51と、第1カメラ52とを含む。
【0068】
第2偏光板50は、第1偏光板14に対して直交配置(つまり、クロスニコル)されて、ユーザの顔により反射された正反射光および内部散乱光と、他の光(太陽光,可視光である照明光等)とのうち第1の方向の成分(つまり、正反射光の成分)を除去し、内部散乱光および他の光のうち第2の方向の成分のみを透過する。
【0069】
BPF51は、第2偏光板50を透過した内部散乱光および他の光のうち非可視光(つまり、波長940nmの近赤外線光)のみを透過する。これにより、BPF51は、第1カメラ22のSiフォトダイオード(不図示)が受光可能なセンサ感度範囲内であり、かつ、空気中に含まれる水分によって太陽光の減衰が大きい波長940nmの非可視光のみを透過できる。
【0070】
第1カメラ52は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、Siフォトダイオードと、例えばCCDまたはCMOSとを含む固体撮像素子であり、撮像面に結像した非可視光(内部散乱光)による光学像を電気信号に変換する。第1カメラ52は、第2撮像装置C22の第2カメラ62と同期制御を実行する。第1カメラ52は、変換後の電気信号(第1撮像画像のデータ)を認証装置P1Aに送信する。
【0071】
第2撮像装置C22は、ユーザの顔を含む領域を撮像し、表示部33Aに表示される第2撮像画像を取得する。第2撮像装置C22は、第3偏光板60と、BPF61と、第2カメラ62とを含む。
【0072】
第3偏光板60は、第1偏光板14に対して平行配置(つまり、平行ニコル)されて、ユーザの顔の表面で反射された表面反射光のみを透過する。
【0073】
フィルタの一例としてのBPF61は、第3偏光板60を透過した表面反射光のうち非可視光(つまり、波長940nmの近赤外線光)のみを透過する。これにより、BPF61は、第2カメラ62のSiフォトダイオード(不図示)が受光可能なセンサ感度範囲内であり、かつ、空気中に含まれる水分によって太陽光の減衰が大きい波長940nmの非可視光のみを透過できる。
【0074】
第2カメラ62は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、Siフォトダイオードと、例えばCCDまたはCMOSとを含む固体撮像素子であり、撮像面に結像した非可視光(表面反射光)による光学像を電気信号に変換する。第2カメラ62は、第1撮像装置C21の第1カメラ52と同期制御を実行する。第2カメラ62は、変換後の電気信号(第2撮像画像のデータ)を認証装置P1Aに送信する。
【0075】
認証装置P1Aは、例えば、PC,ノートPC,タブレット端末,スマートフォン等により実現されて、生体認証対象であるユーザの認証と、第2カメラ62によって撮像された第2撮像画像の表示とを実行する。認証装置P1Aは、通信部30Aと、制御部31Aと、メモリ32と、表示部33Aとを含む。
【0076】
通信部30Aは、第1撮像装置C21の第1カメラ52と、第2撮像装置C22の第2カメラ62と、顔認証サーバS1の通信部40との間でそれぞれ無線通信あるいは有線通信可能に接続されて、データの送受信を実行する。
【0077】
通信部30Aは、第1カメラ52から送信された第1撮像画像のデータと、第2カメラ62から送信された第2撮像画像のデータとをそれぞれ取得して、制御部31Aに出力する。また、通信部30Aは、制御部31Aにより生成されたユーザの顔画像を顔認証サーバS1に送信する。通信部30Aは、顔認証サーバS1から送信された顔画像に対応する認証スコアを取得して、制御部31Aに出力する。
【0078】
制御部31Aは、例えばCPUまたはFPGAを用いて構成されて、メモリ32と協働して、各種の処理および制御を行う。具体的には、制御部31Aは、メモリ32に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、認証装置P1Aの機能を実現する。
【0079】
制御部31Aは、第1カメラ52から送信された第1撮像画像に画像解析処理を実行して、第1撮像画像に映るユーザの顔を検出する。制御部31Aは、検出されたユーザの顔を含む領域を第1撮像画像から切り出して、顔画像を生成する。制御部31Aは、生成された顔画像を通信部30Aに出力して、顔認証サーバS1に送信させる。
【0080】
また、制御部31Aは、第1カメラ52と第2カメラ62との配置位置の情報に基づいて、第1撮像画像上のユーザの顔の位置情報を、第2カメラ62から送信された第2撮像画像上の位置情報に変換する。制御部31Aは、変換された位置情報に基づいて、ユーザの顔位置を含む領域を示す枠(図10に示す枠FB)を生成し、第2撮像画像に重畳する。制御部31Aは、枠重畳後の第2撮像画像を表示部33Aに出力して、表示させる。
【0081】
制御部31Aは、顔認証サーバS1から送信された認証スコアが閾値以上であるか否かに基づいて、顔画像(第1撮像画像)に映るユーザが事前に登録顔画像データベースDBに登録された登録済みユーザであるか否かを判定する。
【0082】
モニタの一例としての表示部33Aは、例えばLCDまたは有機EL等の表示用デバイスを用いて構成されてよい。表示部33Aは、制御部31Aから出力された枠FB重畳後の第2撮像画像を表示(出力)したり、認証失敗画面等を表示(出力)したりする。
【0083】
以上により、実施の形態2に係る生体認証システム200は、照明13の非可視光(波長940nmの近赤外線光)でユーザを照明し、ユーザの肌の表面により反射された表面反射光に基づく第2撮像画像を撮像できる。なお、第1偏光板14と、第3偏光板60とは平行ニコルであるため、第2カメラ62により受光される表面反射光は、第1偏光板14を通じてユーザに照射される近赤外線光と、ユーザを照明する他の光(太陽光,屋内外の可視光照明の照明光等)とを含む、波長940nmの非可視光となる。これにより、実施の形態2に係る生体認証システム200は、生体認証に適し、散乱光を受光して撮像された第1撮像画像の取得と、表面反射光を受光して撮像された第2撮像画像の表示とを実現できる。
【0084】
(実施の形態2の変形例1)
実施の形態2に係る生体認証システム200は、第3偏光板60を備える第2撮像装置C22によって、表示部33Aに表示するための第2撮像画像を撮像する例を示した。実施の形態2の変形例1に係る生体認証システム200Aは、第3偏光板60が省略された構成の第2撮像装置C22Aによって、第2撮像画像を撮像する例について説明する。
【0085】
なお、以降の説明において、実施の形態2に係る生体認証システム200を構成する各装置と同様の構成については、同一の符号を付与して説明を省略する。
【0086】
図5を参照して、実施の形態2の変形例1に係る生体認証システム200Aについて説明する。図5は、実施の形態2の変形例1に係る生体認証システム200Aの内部構成例を説明するブロック図である。
【0087】
第2撮像装置C22Aは、ユーザの顔を含む領域を撮像し、表示部33Aに表示される第2撮像画像を取得する。第2撮像装置C22Aは、BPF71と、第2カメラ72とを含む。
【0088】
フィルタの一例としてのBPF71は、ユーザに照射され、反射された表面反射光のうち非可視光(つまり、波長940nmの近赤外線光)のみを透過する。これにより、BPF71は、第2カメラ72のSiフォトダイオード(不図示)が受光可能なセンサ感度範囲内であり、かつ、空気中に含まれる水分によって太陽光の減衰が大きい波長940nmの非可視光のみを透過できる。
【0089】
第2カメラ72は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、Siフォトダイオードと、例えばCCDまたはCMOSとを含む固体撮像素子であり、撮像面に結像した非可視光(表面反射光)による光学像を電気信号に変換する。第2カメラ72は、第1撮像装置C21の第1カメラ52と同期制御を実行する。第2カメラ72は、変換後の電気信号(第2撮像画像のデータ)を認証装置P1Aに送信する。
【0090】
以上により、実施の形態2の変形例1に係る生体認証システム200Aは、照明13の非可視光(波長940nmの近赤外線光)でユーザを照明し、ユーザの肌の表面により反射された表面反射光に基づく第2撮像画像を撮像できる。なお、第2カメラ62により受光される表面反射光は、第1偏光板14を通じてユーザに照射された近赤外線光と、ユーザを照明する他の光(太陽光,屋内外の可視光照明の照明光等)とを含む光のうち波長940nmの非可視光となる。これにより、実施の形態2の変形例1に係る生体認証システム200Aは、生体認証に適し、散乱光を受光して撮像された第1撮像画像の取得と、表面反射光を受光して撮像された第2撮像画像の表示とを実現できる。
【0091】
(実施の形態2の変形例2)
実施の形態2に係る生体認証システム200は、第3偏光板60と、BPF61とを備える第2撮像装置C22によって、表示部33Aに表示するための第2撮像画像を撮像する例を示した。実施の形態2の変形例2に係る生体認証システム200Bは、第3偏光板60と、BPF61とが省略された構成の第2撮像装置C22Bによって第2撮像画像を撮像する例について説明する。
【0092】
なお、以降の説明において、実施の形態2に係る生体認証システム200を構成する各装置と同様の構成については、同一の符号を付与して説明を省略する。
【0093】
図6を参照して、実施の形態2の変形例2に係る生体認証システム200Bについて説明する。図6は、実施の形態2の変形例2に係る生体認証システム200Bの内部構成例を説明するブロック図である。
【0094】
第2撮像装置C22Bは、ユーザの顔を含む領域を撮像し、表示部33Aに表示される第2撮像画像を取得する。第2撮像装置C22Bは、第2カメラ80を含む。
【0095】
第2カメラ80は、少なくともイメージセンサ(不図示)とレンズ(不図示)とを有して構成される。イメージセンサは、Siフォトダイオードと、例えばCCDまたはCMOSとを含む固体撮像素子であり、撮像面に結像した可視光(表面反射光)による光学像を電気信号に変換する。第2カメラ80は、第1撮像装置C21の第1カメラ52と同期制御を実行する。第2カメラ80は、変換後の電気信号(第2撮像画像のデータ)を認証装置P1Aに送信する。
【0096】
以上により、実施の形態2の変形例2に係る生体認証システム200Bは、ユーザの肌の表面により反射された表面反射光(可視光)に基づく第2撮像画像を撮像できる。なお、第2カメラ62により受光される表面反射光は、第1偏光板14を通じてユーザに照射される非可視光と、ユーザを照明する他の光(太陽光,屋内外の可視光照明の照明光等)とを含む可視光となる。これにより、実施の形態2の変形例2に係る生体認証システム200Bは、生体認証に適し、散乱光を受光して撮像された第1撮像画像の取得と、表面反射光を受光して撮像された第2撮像画像(カラー画像)の表示とを実現できる。
【0097】
次に、図7および図8のそれぞれを参照して、生体認証システム200,200A,200Bにより実行される生体認証動作について説明する。図7は、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bの動作手順例を示すシーケンス図である。図8は、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bの動作手順例を示すシーケンス図である。
【0098】
なお、ステップSt31~ステップSt36の処理が実行される順番は、図7に示す順番でなくてよい。例えば、ステップSt33AおよびステップSt33Bの処理の後に、ステップSt31~ステップSt32の処理を実行してもよいし、ステップSt36の処理の後にステップSt34AおよびステップSt34Bの処理が実行されてもよい。
【0099】
第1撮像装置C21は、撮像開始とともに、照明13を点灯させる制御指令を生成し、生成された制御指令を照明装置LT1に送信して、照明13の点灯を要求する(St31)。
【0100】
照明装置LT1は、第1撮像装置C21から送信された制御指令を取得した場合、照明電源部12による照明13への電源供給を開始し、照明13を点灯する(St32)。
【0101】
第1撮像装置C21は、第1カメラ52の露光を開始し(St33A)、所定の露光時間経過後に露光を終了する(St34A)。
【0102】
第2撮像装置C22,C22A,C22Bは、第2カメラ62,72,80の露光を開始し(St33B)、所定の露光時間経過後に露光を終了する(St34B)。なお、ステップSt33AおよびステップSt33Bと、ステップSt34AおよびステップSt34Bとは、それぞれ同期処理される。
【0103】
第1撮像装置C21は、露光(撮像)終了した後、照明13を消灯させる制御指令を生成し、生成された制御指令を照明装置LT1に送信して、照明13の消灯を要求する(St35)。
【0104】
照明装置LT1は、第1撮像装置C21から送信された制御指令を取得した場合、照明電源部12による照明13への電源供給を終了し、照明13を消灯する(St36)。
【0105】
第1撮像装置C21は、内部散乱光を受光することで撮像された第1撮像画像を取得し(St37A)、第1撮像画像のデータを認証装置P1Aに送信する(St38A)。
【0106】
第2撮像装置C22,C22A,C22Bは、表面散乱光を受光することで撮像された第2撮像画像を取得し(St37B)、第2撮像画像のデータを認証装置P1Aに送信する(St38B)。
【0107】
認証装置P1Aは、第1撮像装置C21から送信された第1撮像画像と、第2撮像装置C22,C22A,C22Bから送信された第2撮像画像とを取得する。認証装置P1Aは、取得された第1撮像画像に画像解析処理を実行して、第1撮像画像からユーザ(つまり、人物)の顔が検出されたか否かを判定する(St39)。
【0108】
認証装置P1Aは、ステップSt39の処理において、第1撮像画像からユーザ(人物)の顔が検出されたと判定した場合(St39,YES)、検出されたユーザの顔の位置情報を算出する。認証装置P1Aは、第1カメラ52の位置情報と、第2カメラ62,72,80の位置情報とに基づいて、検出された第1撮像画像上におけるユーザの顔の位置情報を、第2撮像画像上の位置情報に変換する(St40)。
【0109】
一方、認証装置P1Aは、ステップSt39の処理において、第1撮像画像からユーザ(人物)の顔が検出されないと判定した場合(St39,NO)、第2撮像装置C22,C22A,C22Bから送信された第2撮像画像を表示部33Aに表示し(St41)、ステップSt31の処理に戻る。なお、ステップSt41で表示部33Aに表示される第2撮像画像は、枠FB(図10参照)が重畳されていなくてよい。
【0110】
認証装置P1Aは、変換された第2撮像画像上におけるユーザの顔の位置情報に基づいて、ユーザの顔の位置を示す枠FB(図10参照)を生成し、第2撮像画像上に重畳する。認証装置P1Aは、枠FBを重畳した第2撮像画像を表示部33Aに表示する(St42)。
【0111】
認証装置P1Aは、検出されたユーザの顔の位置情報に基づいて、第1撮像画像からユーザの顔を含む領域を切り出した顔画像を生成し、顔認証サーバS1に送信する(St43)。
【0112】
顔認証サーバS1は、認証装置P1Aから送信されたユーザの顔画像と、登録顔画像データベースDBに登録された複数のユーザのそれぞれの登録顔画像とをそれぞれ照合して、認証スコアを算出する(St44)。顔認証サーバS1は、算出された認証スコアの情報を認証装置P1Aに送信する(St45)。
【0113】
認証装置P1Aは、顔認証サーバS1から送信された認証スコアを取得し、認証スコアが閾値以上であるか否を判定する(St46)。
【0114】
認証装置P1Aは、ステップSt46の処理において、顔認証サーバS1から送信された認証スコアが閾値以上であると判定した場合(St46,YES)、ユーザが事前に登録顔画像データベースDBに登録された登録済みユーザであり、生体認証「OK」(つまり、成功)であると判定し、事前に設定された所定の認証成功動作を実行する(St47)。
【0115】
一方、認証装置P1Aは、ステップSt46の処理において、認証スコアが閾値以上でないと判定した場合(St46,NO)、ユーザが事前に登録顔画像データベースDBに登録された登録済みユーザでなく、生体認証「NG」(つまり、失敗)であると判定する。認証装置P1Aは、ユーザに生体認証失敗を通知する認証失敗画面(不図示)を生成して、表示部33に出力(表示)する(St48)。
【0116】
以上により、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bは、第2撮像画像を表示部33Aに表示してユーザに提示できるとともに、第1撮像画像を用いて生体認証を実行できる。
【0117】
次に、図9を参照して、第1カメラ22,52により撮像される第1撮像画像について説明する。図9は、可視光画像、非可視光画像、および偏光の有無による非可視光画像について説明する図である。なお、図9では、第1カメラ22,52により撮像される第1撮像画像の例について説明するが、第2カメラ62,72,80により撮像される第2撮像画像(可視光画像,非可視光画像)も同様である。
【0118】
撮像画像IMG11は、可視光画像であって、屋外の太陽光の下で逆光状態であるユーザが撮像された撮像画像である。逆光状態である場合、第1撮像装置C1あるいは第1撮像装置C21は、撮像画像IMG11で示すようにユーザの顔を撮像できず、生体認証に適した撮像画像を撮像することは困難である。
【0119】
撮像画像IMG12は、撮像画像IMG11と同一の撮像環境において、BPF21,51を用いて、波長940nmの非可視光(近赤外光)のみを第1カメラ22,52のイメージセンサで受光し、撮像された撮像画像である。つまり、逆光状態であっても、第1カメラ22,52は、ユーザの顔を撮像できる。
【0120】
撮像画像IMG21は、BPF21,51を用いて、波長940nmの非可視光(近赤外光)のみを第1カメラ22,52のイメージセンサで受光し、撮像された撮像画像である。撮像画像IMG21は、ユーザが眼鏡をかけており、照明13により照射された波長940nmの非可視光照明が眼鏡に映り込んでいる(領域WT1)。
【0121】
このような場合、生体認証システム100,200,200A,200Bは、眼鏡に映り込んだ非可視光照明により、撮像画像IMG21に基づいて、生体認証に用いられるユーザの目に関する特徴量を算出できない可能性がある。
【0122】
撮像画像IMG22は、撮像画像IMG21と同一の撮像環境で撮像され、照明13の第1偏光板14と略直交(クロスニコル)する第2偏光板20,50をさらに用いて、ユーザにより反射された散乱光を偏光し、BPF21,51により偏光後の光のうち波長940nmの非可視光(近赤外光)のみを第1カメラ22,52のイメージセンサで受光して撮像された撮像画像である。撮像画像IMG22は、撮像画像IMG21と比較して、ユーザがかけている眼鏡に映り込んでいる非可視光照明の映り込み量が領域WT1から領域WT2に抑制される。
【0123】
これにより、生体認証システム100,200,200A,200Bは、撮像画像IMG22に基づいて、生体認証に用いられるユーザの目に関する特徴量を算出可能になる。
【0124】
次に、図10を参照して、図11に示す第1カメラ22および照明13の配置例、図12に示す第1カメラ52、第2カメラ62,72,80および照明13の配置例、図13に示す第1カメラ22および複数の照明13のそれぞれの配置例において、各装置の配置の基準となる軸L1,L2について説明する。図10は、カメラ(具体的には、第1カメラ22,52、第2カメラ62,72,80)および照明13の配置基準点Pt11,Pt21の設定例1,2を説明する図である。なお、図10では、設定例1において軸L1を軸L11、軸L2を軸L12、配置基準点Pt0を配置基準点Pt11でそれぞれ示し、設定例2において軸L1を軸L21、軸L2を軸L22、配置基準点Pt0を配置基準点Pt21でそれぞれ示す。
【0125】
設定例1における軸L11,L12のそれぞれは、表示部33,33Aにおける画像表示可能領域に対して設定される。軸L11は、表示部33,33Aにおける画像表示可能領域を幅方向(紙面左右方向)で2等分する。軸L12は、表示部33,33Aにおける画像の表示可能領域を高さ方向(紙面上下方向)で2等分する。軸L11,L12のそれぞれは、表示部33,33Aにおける画像の表示可能領域の配置基準点Pt11で直交する。なお、配置基準点Pt11は、表示部33,33Aの画像表示可能領域における対角線の交点である。
【0126】
設定例2において、軸L21は、第1撮像画像あるいは第2撮像画像に重畳され、ユーザの顔が検出された領域を示す枠FB(第1の枠,第2の枠の一例)を幅方向(紙面左右方向)で2等分する。軸L22は、枠FBを高さ方向(紙面上下方向)で2等分する。軸L21,L22のそれぞれは、ユーザの顔が検出された領域を示す枠FBの配置基準点Pt21で直交する。なお、配置基準点Pt21は、枠FBにおける対角線の交点である。
【0127】
図11を参照して、実施の形態1に係る生体認証システム100における第1カメラ22および照明13の配置例について説明する。図11は、カメラが1台である場合のカメラ(具体的には、第1カメラ22)および照明13のそれぞれの配置例を説明する図である。なお、図11に示す配置基準点Pt0は、図10に示す設定例1の配置基準点Pt11または設定例2の配置基準点Pt21のいずれで設定されてもよい。
【0128】
第1カメラ22と照明13とは、配置基準点Pt0に対して互いに非点対称となる位置に配置される。以下、第1カメラ22および照明13の配置例1~配置例6について説明するが、図11に示す配置例1~配置例6は一例であって、これに限定されないことは言うまでもない。また、照明13は、面光源であってもよいし、点光源であってもよい。
【0129】
例えば、配置例1における第1カメラ22は、表示部33の上部(紙面上側)、かつ、軸L1上に配置される。照明13は、表示部33の上部(紙面上側)、かつ、第1カメラ22の紙面左側に配置される。
【0130】
例えば、配置例2における照明13は、表示部33の下部(紙面下側)、かつ、軸L1上に配置される。第1カメラ22は、表示部33の下部(紙面下側)、かつ、照明13の紙面左側に配置される。
【0131】
例えば、配置例3における第1カメラ22は、表示部33の上部(紙面上側)、かつ、軸L1上に配置される。照明13は、表示部33の側部(紙面右側)、かつ、軸L2に配置される。
【0132】
例えば、配置例4における第1カメラ22は、表示部33の側部(紙面左側)、かつ、軸L2上に配置される。照明13は、表示部33の側部(紙面左側)、かつ、第1カメラ22の紙面下側に配置される。
【0133】
例えば、配置例5における照明13は、表示部33の上部(紙面上側)に配置される。第1カメラ22は、面光源である照明13の上部(紙面上側)、かつ、軸L1上に配置される。
【0134】
例えば、配置例6における照明13は、表示部33の側部(紙面右側)に配置される。第1カメラ22は、表示部33の上部(紙面上側)、かつ、軸L1上に配置される。
【0135】
これにより、実施の形態1に係る第1カメラ22は、照明13により照射される非可視光(波長940nmの近赤外線光)の正反射光の受光を抑制できる。つまり、生体認証システム100は、ユーザが眼鏡をかけている場合であっても、眼鏡により正反射された正反射光の受光による非可視光照明の映り込み(領域WT2,図9参照)をさらに効果的に抑制できる。したがって、生体認証システム100は、第1撮像画像から生体認証処理に必要なユーザの目の特徴量を算出できる。
【0136】
次に、図12を参照して、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bにおける第1カメラ52、第2カメラ62,72,80、および照明13の配置例について説明する。図12は、カメラが2台である場合のカメラ(具体的には、第1カメラ52および第2カメラ62,72,80のそれぞれ)および照明13のそれぞれの配置例を説明する図である。
【0137】
なお、図12に示す配置基準点Pt0は、図10に示す設定例1の配置基準点Pt11または設定例2の配置基準点Pt21のいずれで設定されてもよい。また、第1カメラ52の配置と、第2カメラ62,72,80の配置とは逆であってもよい。
【0138】
第1カメラ52あるいは第2カメラ62,72,80と、照明13とは、配置基準点Pt0に対して互いに非点対称となる位置に配置される。以下、第1カメラ52、第2カメラ62,72,80、および照明13の配置例1~配置例6について説明するが、図12に示す配置例1~配置例6は一例であって、これに限定されないことは言うまでもない。また、照明13は、面光源であってもよいし、点光源であってもよい。
【0139】
例えば、配置例1における第1カメラ52と、第2カメラ62,72,80と、照明13とは、表示部33Aの上部(紙面上側)に並んで配置される。第2カメラ62,72,80は、軸L1上に配置される。第1カメラ52は、第2カメラ62,72,80の紙面左隣に配置される。照明13は、第1カメラ52の紙面左隣に配置される。
【0140】
例えば、配置例2における第1カメラ52と、第2カメラ62,72,80と、照明13とは、表示部33Aの下部(紙面下側)に並んで配置される。照明13は、軸L1上に配置される。第1カメラ52は、照明13の紙面左隣に配置される。第2カメラ62,72,80は、照明13の紙面右隣に配置される。
【0141】
例えば、配置例3における第1カメラ52と、第2カメラ62,72,80とが、表示部33Aの上部(紙面上側)に並んで配置され、照明13が、表示部33Aの側部(紙面右側)に配置される。第1カメラ52は、軸L1上に配置される。第2カメラ62,72,80は、第1カメラ52の紙面右隣に配置される。照明13は、軸L2上に配置される。
【0142】
例えば、配置例4における第1カメラ52と、第2カメラ62,72,80と、照明13とは、表示部33Aの側部(紙面左側)に並んで配置される。第1カメラ52は、軸L2上に配置される。第2カメラ62,72,80は、第1カメラ52の紙面下側に配置される。照明13は、第2カメラ62,72,80の紙面下側に配置される。
【0143】
例えば、配置例5における照明13は、表示部33Aの上部(紙面上側)に配置される。第1カメラ52は、面光源である照明13の上部(紙面上側)、かつ、軸L1に対して紙面左側に配置される。第2カメラ62,72,80は、面光源である照明13の上部(紙面上側)、かつ、軸L1に対して紙面右側に配置される。
【0144】
例えば、配置例6における照明13は、表示部33Aの側部(紙面右側)に配置される。第1カメラ52は、表示部33Aの上部(紙面上側)、かつ、軸L1上に配置される。第2カメラ62,72,80は、表示部33Aの上部(紙面上側)、かつ、第1カメラ52の紙面右隣に配置される。
【0145】
これにより、実施の形態2、実施の形態2の変形例1および変形例2における第1カメラ22および第2カメラ62,72,80のそれぞれは、照明13により照射される非可視光が正反射した正反射光の受光を抑制できる。つまり、生体認証システム200,200A,200Bは、ユーザが眼鏡をかけている場合であっても、眼鏡により正反射された正反射光を受光による非可視光照明の映り込み(領域WT2,図9参照)をさらに効果的に抑制できる。したがって、生体認証システム200,200A,200Bは、第1撮像画像から生体認証処理に必要なユーザの目の特徴量を算出できる。
【0146】
次に、図13を参照して、実施の形態1に係る生体認証システム100における第1カメラ22および2つの照明13A,13Bのそれぞれの配置例について説明する。図13は、照明13A,13Bが2つである場合のカメラ(第1カメラ22)および照明13A,13Bのそれぞれの配置例を説明する図である。なお、図13に示す配置基準点Pt0は、図10に示す設定例1の配置基準点Pt11または設定例2の配置基準点Pt21のいずれで設定されてもよい。なお、図13の説明では、説明を分かりやすくするために、一方の照明13に符号「13A」を付与し、もう一方の照明13に符号「13B」を付与することで、2つの照明13のそれぞれの配置について説明する。
【0147】
第1カメラ22と2つの照明13A,13Bのそれぞれとは、配置基準点Pt0に対して互いに非点対称となる位置に配置される。以下、第1カメラ22および2つの照明13A,13Bのそれぞれの配置例1~配置例6について説明するが、図13に示す配置例1~配置例6は一例であって、これに限定されないことは言うまでもない。また、2つの照明13A,13Bのそれぞれは、面光源であってもよいし、点光源であってもよいし、一方の照明が面光源であり、もう一方の照明が面光源であってもよい。
【0148】
例えば、配置例1における照明13A,13Bおよび第1カメラ22のそれぞれは、表示部33の上部(紙面上側)に並んで配置される。照明13Aは、軸L1上に配置される。第1カメラ22は、照明13Aの紙面左隣に配置される。照明13Bは、第1カメラ22の紙面左側に配置される。
【0149】
例えば、配置例2における照明13A,13Bおよび第1カメラ22のそれぞれは、表示部33の上部(紙面上側)に並んで配置される。第1カメラ22は、軸L1上に配置される。照明13Aは、第1カメラ22の紙面左側に配置される。照明13Bは、照明13Aの紙面左側に配置される。
【0150】
例えば、配置例3における照明13A,13Bおよび第1カメラ22のそれぞれは、表示部33の側部(紙面左側)に並んで配置される。照明13Aは、軸L2上に配置される。第1カメラ22は、照明13Aの紙面下側に配置される。照明13Bは、第1カメラ22の紙面下側に配置される。
【0151】
例えば、配置例4における照明13A,13Bおよび第1カメラ22のそれぞれは、表示部33の上部(紙面上側)に並んで配置される。照明13Aは、軸L1上に配置される。照明13Bは、照明13Aの左隣(紙面左側)に配置される。第1カメラ22は、照明13Bの左隣(紙面左側)に配置される。
【0152】
例えば、配置例5における照明13A,13Bおよび第1カメラ22のそれぞれは、表示部33の上部(紙面上側)に並んで配置される。第1カメラ22は、軸L1上に配置される。照明13Aは、第1カメラ22の右隣(紙面右側)に配置される。照明13Bは、第1カメラ22の左隣(紙面左側)に配置される。
【0153】
例えば、配置例6における照明13Bは、表示部33の上部(紙面上側)、かつ、軸L1上に配置される。第1カメラ22は、表示部33の上部(紙面上側)、かつ、照明13Bの右隣(紙面右側)に配置される。照明13Aは、表示部33の側部(紙面右側)、かつ、軸L2上に配置される。
【0154】
これにより、実施の形態1に係る第1カメラ22は、2つの照明13A,13Bのそれぞれにより照射される非可視光が正反射した正反射光の受光を抑制できる。したがって、生体認証システム100は、ユーザが眼鏡をかけている場合であっても、眼鏡により正反射された正反射光を受光による非可視光照明の映り込み(領域WT2,図9参照)をさらに効果的に抑制できる。したがって、生体認証システム100は、第1撮像画像から生体認証処理に必要なユーザの目の特徴量を算出できる。
【0155】
以上により、実施の形態1、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム100,200,200A,200B(認証システムの一例)は、ユーザ(被認証者の一例)に非可視光を照射する少なくとも1つの照明13と、非可視光が照射されたユーザを撮像する第1撮像装置C1,C21と、第1撮像装置C1,C21と通信可能であって、第1撮像装置C1,C21により撮像された第1撮像画像(第1非可視光画像の一例)に基づくユーザの認証を実行する認証装置P1,P1Aと、を備える。照明13は、第1偏光板14により非可視光を第1の方向に偏光して照射する。第1撮像装置C1,C21は、第2偏光板20,50により第1の方向と略直交する第2の方向で非可視光を偏光した非可視光を受光して、ユーザを撮像する。
【0156】
これにより、実施の形態1、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム100,200,200A,200Bは、波長940nmの非可視光を第2偏光板20,50により偏光することで、図9に示す撮像画像IMG22にように第1撮像画像への非可視光照明の映り込みをより効果的に抑制できる。つまり、生体認証システム100,200,200A,200Bは、ユーザの生体情報の特徴量の算出に用いられる第1撮像画像への非可視光の映り込みをより効果的に抑制でき、生体認証により適した(つまり、生体認証に用いられるユーザの特徴量を算出可能である)第1撮像画像を取得できる。
【0157】
また、以上により、実施の形態1、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム100,200,200A,200Bにおいて、非可視光は、波長が940nmの近赤外光である。これにより、実施の形態1、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム100,200,200A,200Bは、空気中の水分により太陽光のエネルギーの減衰量が大きい波長940nmで第1撮像画像を撮像することにより、屋外で撮像する場合、あるいはユーザの顔が逆光状態であっても、生体認証に用いられるユーザの特徴量を算出可能な第1撮像画像を取得できる。
【0158】
また、以上により、実施の形態1に係る生体認証システム100における認証装置P1は、第1撮像画像に映るユーザの顔を検出し、検出された第1撮像画像上のユーザの顔の位置情報に基づいて、第1撮像画像に映るユーザの顔の位置を示す枠FB(第1の枠の一例)を生成し、第1撮像画像に枠FBを重畳して、表示部33(モニタの一例)に表示する。これにより、実施の形態1に係る生体認証システム100は、生体認証に用いられる第1撮像画像をユーザに提示できる。
【0159】
また、以上により、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bは、認証装置P1Aと通信可能であって、非可視光が照射されたユーザの表面反射光を受光して撮像する第2撮像装置C22,C22A,C22B、をさらに備える。第2撮像装置C22,C22A,C22Bは、ユーザを撮像した第2撮像画像を認証装置P1,P1Aに送信する。認証装置P1Aは、第2撮像画像を表示部33Aに表示する。これにより、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bは、生体認証に用いられる第1撮像画像と略同じタイミングに、表面反射光を受光して撮像された第2撮像画像をユーザに提示できる。表面反射光を受光して撮像された第2撮像画像は、肌の内部で散乱する内部散乱光を受光して撮像される第1撮像画像と比較して、血管,髭等の映り込みをより効果的に抑制し、第2撮像画像に映るユーザと、実際のユーザの外見との差をより小さくできる。
【0160】
また、以上により、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bにおける認証装置P1Aは、第1撮像画像に映るユーザの顔を検出し、検出された第1撮像画像上のユーザの顔の位置情報に基づいて、第2撮像画像に映るユーザの顔の位置を示す枠FB(第2の枠の一例)を生成し、第2撮像画像に枠FBを重畳して、表示部33Aに表示する。これにより、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bは、第2撮像画像のうちユーザの顔が検出されている領域を枠FBで示すことができる。
【0161】
また、以上により、実施の形態2、および実施の形態2の変形例1に係る生体認証システム200,200Aにおいて、第2撮像画像は、非可視光画像である。第2撮像装置C22,C22Aは、ユーザの肌の表面で反射された表面反射光のうち非可視光を透過するBPF61,71(フィルタの一例)を介して受光して、ユーザを撮像する。これにより、実施の形態2、および実施の形態2の変形例1に係る生体認証システム200,200Aは、表面反射光のうち非可視光(波長940nmの近赤外光)を受光することで第2撮像画像を取得するため、第2撮像画像に映るユーザの、血管,髭等の映り込みを抑制するとともに、空気中の水分により太陽光のエネルギーの減衰量が大きくなるため、ユーザの顔が逆光状態であってもユーザの顔がより鮮明である第2撮像画像を撮像できる。
【0162】
また、以上により、実施の形態2に係る生体認証システム200において、第2撮像画像は、非可視光画像である。第2撮像装置C22は、第3偏光板60により第1の方向と略平行する第3の方向で、ユーザにより反射された表面反射光を偏光し、偏光後の非可視光を受光して、ユーザを撮像する。これにより、実施の形態2に係る生体認証システム200は、表面反射光のうち非可視光(波長940nmの近赤外光)を受光することで第2撮像画像を取得するため、第2撮像画像に映るユーザの、血管,髭等の映り込みを抑制するとともに、空気中の水分により太陽光のエネルギーの減衰量が大きくなるため、ユーザの顔が逆光状態であってもユーザの顔がより鮮明である第2撮像画像を撮像できる。
【0163】
また、以上により、実施の形態2の変形例2に係る生体認証システム200Bにおいて、第2撮像画像は、可視光画像である。第2撮像装置C22Bは、ユーザにより反射された表面反射光を受光して、ユーザを撮像する。これにより、実施の形態2の変形例2に係る生体認証システム200Bは、ユーザに提示するための第2撮像画像として、可視光(カラー)画像を撮像できる。
【0164】
また、以上により、実施の形態1に係る生体認証システム100における認証装置P1は、第1撮像画像を表示する表示部33を備える。照明13と第1撮像装置C1とは、表示部33の第1撮像画像を表示する表示領域の中心位置(例えば、図10に示す配置基準点Pt11)に対してそれぞれ非点対称となる位置に配置される。これにより、実施の形態1に係る生体認証システム100は、照明13による非可視光照明がユーザの顔で正反射した正反射光(非可視光照明の光)の受光を防止できるため、撮像された第1撮像画像への非可視光照明の映り込みをより効果的に抑制できる。
【0165】
また、以上により、実施の形態1に係る生体認証システム100における照明13と第1撮像装置C1とは、第1撮像画像に重畳された枠FBの中心位置(例えば、図10に示す配置基準点Pt21)に対してそれぞれ非点対称となる位置に配置される。これにより、実施の形態1に係る生体認証システム100は、照明13による非可視光照明がユーザの顔で正反射した正反射光(非可視光照明の光)の受光を防止できるため、撮像された第1撮像画像への非可視光照明の映り込みをより効果的に抑制できる。
【0166】
また、以上により、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bにおける照明13と、第1撮像装置C21および第2撮像装置C22,C22A,C22Bとは、表示部33Aの第2撮像画像を表示する表示領域の中心位置(例えば、図10に示す配置基準点Pt11)に対してそれぞれ非点対称となる位置に配置される。これにより、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bは、照明13による非可視光照明がユーザの顔で正反射した正反射光(非可視光照明の光)の受光を防止できるため、撮像された第1撮像画像および第2撮像画像への非可視光照明の映り込みをより効果的に抑制できる。
【0167】
また、以上により、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bにおける照明13と、第1撮像装置C21および第2撮像装置C22,C22A,C22Bとは、第2撮像画像上に重畳された枠FBの中心位置(例えば、図10に示す配置基準点Pt21)に対してそれぞれ非点対称となる位置に配置される。これにより、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bは、照明13による非可視光照明がユーザの顔で正反射した正反射光(非可視光照明の光)の受光を防止できるため、撮像された第1撮像画像および第2撮像画像への非可視光照明の映り込みをより効果的に抑制できる。
【0168】
また、以上により、実施の形態1に係る生体認証システム100において、認証装置P1は、ユーザが認証された場合、事前に設定された認証成功動作(所定の動作の一例)を実行し、ユーザが認証されない場合、第1撮像画像を表示部33に表示する。これにより、実施の形態1に係る生体認証システム100は、第1撮像画像に基づくユーザの認証結果に基づいて、生体認証の成功あるいは失敗をユーザに通知できる。
【0169】
また、以上により、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bにおいて、認証装置P1Aは、ユーザが認証された場合、事前に設定された所定の動作を実行し、ユーザが認証されない場合、第2撮像画像を表示部33Aに表示する。これにより、実施の形態2、実施の形態2の変形例1および変形例2に係る生体認証システム200,200A,200Bは、第1撮像画像に基づくユーザの認証結果に基づいて、生体認証の成功あるいは失敗をユーザに通知できる。
【0170】
以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0171】
本開示は、正反射による照明光の映り込みを抑制し、生体認証により適した顔画像を取得可能な認証システムおよび認証方法の提示として有用である。
【符号の説明】
【0172】
10,30 通信部
11,31,31A,41 制御部
13,13A,13B 照明
14 第1偏光板
20,50 第2偏光板
21,51,61,71 BPF
22,52 第1カメラ
33,33A 表示部
60 第3偏光板
62,72,80 第2カメラ
100,200,200A,200B 生体認証システム
C1,C21 第1撮像装置
C22,C22A,C22B 第2撮像装置
DB 登録顔画像データベース
FB 枠
LT1 照明装置
P1,P1A 認証装置
Pt0,Pt11,Pt21 配置基準点
S1 顔認証サーバ
【要約】
【課題】正反射による照明光の映り込みを抑制し、生体認証により適した顔画像を取得する。
【解決手段】認証システムは、被認証者に非可視光を照射する少なくとも1つの照明と、非可視光が照射された被認証者を撮像する第1撮像装置と、第1撮像装置と通信可能であって、第1撮像装置により撮像された第1非可視光画像に基づく被認証者の認証を実行する認証装置と、を備える生体認証システムであって、照明は、第1の偏光板により非可視光を第1の方向に偏光して照射し、第1撮像装置は、第2の偏光板により第1の方向と略直交する第2の方向で非可視光を偏光した非可視光を受光して、被認証者を撮像する。
【選択図】図11
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13