IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特許7188566情報処理装置、情報処理方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221206BHJP
   G06T 7/73 20170101ALI20221206BHJP
   G06T 7/70 20170101ALI20221206BHJP
【FI】
G06T7/00 600
G06T7/00 660Z
G06T7/00 350C
G06T7/73
G06T7/70 Z
G06T7/00 510B
【請求項の数】 9
(21)【出願番号】P 2021513147
(86)(22)【出願日】2019-04-12
(86)【国際出願番号】 JP2019016034
(87)【国際公開番号】W WO2020208824
(87)【国際公開日】2020-10-15
【審査請求日】2021-09-14
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】飯田 衣理
【審査官】山田 辰美
(56)【参考文献】
【文献】特開2009-110132(JP,A)
【文献】特開2006-221514(JP,A)
【文献】特開2007-117413(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
(57)【特許請求の範囲】
【請求項1】
入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、
前記生体情報ごとに生体認証における品質を評価する評価部と、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定する特定部と、
を備える情報処理装置。
【請求項2】
複数の前記生体情報は、前記被写体の異なる身体部位から検出される、
請求項1に記載の情報処理装置。
【請求項3】
前記認証用生体情報に基づいて前記被写体の前記生体認証を実行する認証部、
をさらに備える請求項2に記載の情報処理装置。
【請求項4】
前記特定部は、前記品質が最も高い前記認証用生体情報を特定し、
前記認証部は、登録生体情報に対する前記認証用生体情報の類似度に基づいて前記被写体を認証する、
請求項3に記載の情報処理装置。
【請求項5】
前記特定部は、複数の前記認証用生体情報を特定し、
前記認証部は、登録生体情報に対して前記認証用生体情報ごとに算出した類似度に基づいて前記被写体を認証する、
請求項3に記載の情報処理装置。
【請求項6】
前記特定部は、前記品質が高い順に所定数の前記認証用生体情報を特定する、
請求項5に記載の情報処理装置。
【請求項7】
前記評価部は、前記身体部位と、前記身体部位を遮蔽する物体との前記撮影画像における位置関係に基づいて前記品質を評価する、
請求項2乃至6のいずれか1項に記載の情報処理装置。
【請求項8】
入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
前記生体情報ごとに生体認証における品質を評価するステップと、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
を備える情報処理方法。
【請求項9】
コンピュータに、
入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
前記生体情報ごとに生体認証における品質を評価するステップと、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、2種類の生体情報(例えば静脈画像及び指紋画像)と、データベースに予め登録されている2種類の登録生体情報とをそれぞれ照合することによって利用者を認証する生体認証システムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2013-120580号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載されたシステムでは、取得された2種類の生体情報の品質を考慮せずに、対応する登録生体情報との照合を行っている。このため、取得された生体情報の一方あるいは両方の品質が低い場合には、認証精度が低くなる可能性がある。
【0005】
そこで、本発明は、上述の問題に鑑み、生体認証における認証精度を向上できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一つの観点によれば、入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、前記生体情報ごとに生体認証における品質を評価する評価部と、前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定する特定部と、を備える情報処理装置が提供される。
【0007】
本発明の他の観点によれば、入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、前記生体情報ごとに生体認証における品質を評価するステップと、前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、を備える情報処理方法が提供される。
【0008】
本発明のさらに他の観点によれば、コンピュータに、入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、前記生体情報ごとに生体認証における品質を評価するステップと、前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、を実行させるためのプログラムが提供される。
【発明の効果】
【0009】
本発明によれば、生体認証における認証精度を向上できる情報処理装置、情報処理方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0010】
図1】第1実施形態における生体認証システムの全体構成例を示すブロック図である。
図2】第1実施形態におけるデータベースが記憶する登録者情報の一例を示す図である。
図3】第1実施形態における認証サーバのハードウェア構成例を示すブロック図である。
図4】第1実施形態における認証サーバの処理の一例を示すフローチャートである。
図5】第1実施形態における人型を用いた認証対象者の検出方法を説明する図である。
図6】第1実施形態において検出される複数種の生体情報を示す図である。
図7A】第1実施形態における生体情報の品質評価方法を説明する図である。
図7B】第1実施形態における生体情報の品質評価方法を説明する図である。
図8A】第1実施形態における生体情報の品質評価方法を説明する図である。
図8B】第1実施形態における生体情報の品質評価方法を説明する図である。
図9A】第1実施形態における生体情報の品質評価方法を説明する図である。
図9B】第1実施形態における生体情報の品質評価方法を説明する図である。
図10A】第1実施形態における生体情報の品質評価方法を説明する図である。
図10B】第1実施形態における生体情報の品質評価方法を説明する図である。
図11A】第1実施形態における生体情報の品質評価方法を説明する図である。
図11B】第1実施形態における生体情報の品質評価方法を説明する図である。
図12】第2実施形態における複数種の生体認証と照合スコアに対する重み付けとの関係の一例を示す図である。
図13】第2実施形態における認証サーバの処理の一例を示すフローチャートである。
図14】第2実施形態における照合スコアの算出結果の一例を示す図である。
図15】第2実施形態におけるマルチモーダル照合スコアの算出方法及び算出結果の一例を示す図である。
図16】第3実施形態における認証サーバの処理の一例を示すフローチャートである。
図17】第4実施形態における情報処理装置の機能を示すブロック図である。
図18】変形実施形態におけるニューラルネットを用いた学習処理を説明する概略図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
【0012】
[第1実施形態]
先ず、本実施形態における生体認証システム1の構成について、図1乃至図3を参照しながら説明する。図1は、本実施形態における生体認証システム1の全体構成例を示すブロック図である。生体認証システム1は、LAN(Local Area Network)やインターネット等のネットワークNWを介して、認証サーバ10、データベース20、及びカメラ30が接続された情報処理システムである。生体認証システム1は、例えば小売店やデパート等の店舗、会社、交通機関、工場等の各種施設に設置される。
【0013】
認証サーバ10は、撮影画像の中から検出した人物が、データベース20に生体情報が予め登録されている人物(以下、「登録者」と呼ぶ。)であるか否かを認証する情報処理装置である。認証サーバ10は、画像取得部11、生体情報検出部12、品質評価部13、特定部14、認証部15、及びカメラ制御部16を備える。なお、各部の機能の詳細については、後述する。
【0014】
図2は、データベース20が記憶する登録者情報の一例を示す図である。データベース20は、登録者を識別する登録者IDに対して、登録者の属性情報(氏名、年齢、性別等)及び複数種の生体情報を関連付けて記憶している。本実施形態における“生体情報”の語句は、生体画像及び生体画像から抽出される特徴量を意味するものとする。図2に示すように、生体画像としては、例えば、顔画像、掌紋画像、指紋画像、及び耳介画像等が挙げられる。顔特徴量は、顔の特徴の情報を計算し、データ化したものである。
【0015】
カメラ30は、例えば、店舗や会社等の施設の監視エリアにおいて任意の台数で設置された防犯カメラ等の撮影装置であり、撮影した画像データを認証サーバ10へ逐次送信する。なお、図1において、カメラ30は、ネットワークNWを介して認証サーバ10に有線接続されているが、接続方式は有線接続に限られない。カメラ30は、認証サーバ10に無線接続されてもよい。また、図1においては、カメラ30の台数は、複数(N≧2)であるが、単数の場合も有り得る。
【0016】
図3は、本実施形態における認証サーバ10のハードウェア構成例を示すブロック図である。認証サーバ10は、演算、制御及び記憶を行うコンピュータとして、CPU(Central Processing Unit)151、RAM(Random Access Memory)152、ROM(Read Only Memory)153及びHDD(Hard Disk Drive)154を備える。また、認証サーバ10は、通信I/F(インターフェース)155、表示装置156及び入力装置157を備える。CPU151、RAM152、ROM153、HDD154、通信I/F155、表示装置156及び入力装置157は、バスライン158を介して相互に接続される。なお、表示装置156及び入力装置157は、これらの装置を駆動するための駆動装置(不図示)を介してバスライン158に接続されてもよい。
【0017】
CPU151は、ROM153、HDD154等に記憶されたプログラムに従って所定の動作を行うとともに、認証サーバ10の各部を制御する機能を有するプロセッサである。RAM152は、揮発性記憶媒体から構成され、CPU151の動作に必要な一時的なメモリ領域を提供する。ROM153は、不揮発性記憶媒体から構成され、認証サーバ10の動作に用いられるプログラム等の必要な情報を記憶する。HDD154は、不揮発性記憶媒体から構成され、処理に必要なデータ、認証サーバ10の動作用プログラム等を記憶する記憶装置である。
【0018】
通信I/F155は、イーサネット(登録商標)、Wi-Fi(登録商標)、4G等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置156は、液晶ディスプレイ、OLEDディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置157は、キーボード、ポインティングデバイス等であって、ユーザが認証サーバ10を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置156及び入力装置157は、タッチパネルとして一体に形成されてもよい。
【0019】
CPU151は、ROM153、HDD154等に記憶されたプログラムをRAM152にロードして実行する。これにより、CPU151は、上述した画像取得部11、生体情報検出部12、品質評価部13、特定部14、認証部15、及びカメラ制御部16等の機能を実現する。
【0020】
なお、図3に示すハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。さらに、本実施形態の一部の機能がネットワークNWを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、HDD154は、半導体メモリを用いたSSD(Solid State Drive)に置換されていてもよく、クラウドストレージに置換されていてもよい。
【0021】
続いて、上述のように構成された生体認証システム1の動作について説明する。図4は、本実施形態における認証サーバ10の処理の一例を示すフローチャートである。この処理は、例えばカメラ30から撮影画像を取得するたびに実行される。
【0022】
先ず、認証サーバ10(画像取得部11)は、カメラ30から撮影画像を取得する(ステップS101)。次に、認証サーバ10(生体情報検出部12)は、撮影画像の中に所定の人型と一致する被写体が存在するか否かを判定する(ステップS102)。
【0023】
認証サーバ10(生体情報検出部12)が、撮影画像の中に所定の人型と一致する被写体が存在すると判定した場合(ステップS102:YES)には、処理はステップS103に移行する。これに対し、認証サーバ10が、撮影画像の中に所定の人型と一致する被写体は存在しないと判定した場合(ステップS102:NO)には、図4の処理は終了する。
【0024】
図5は、本実施形態における人型を用いた認証対象者(被写体)の検出方法を説明する図である。ここでは、所定の人型Tとのパターンマッチングにより、撮像画像IMG_1の中から3人の認証対象者P1~P3がそれぞれ検出されることが示されている。人型Tは、人体の様々に姿勢に対応するように、複数の形状のパターンが予め用意されていると好適である。人型Tを用いることで、人間以外の物体を排除できるため、被写体の検出速度を向上できる。
【0025】
ステップS103において、認証サーバ10(生体情報検出部12)は、人型と一致した被写体の画像領域の中から被写体の生体情報を検出できたか否かを判定する。本実施形態では、認証サーバ10(生体情報検出部12)は、データベース20に登録されている複数種の登録生体情報とそれぞれ照合可能な複数種の生体情報を、単一の撮影画像から検出する。
【0026】
図6は、本実施形態において検出される複数種の生体情報を説明する図である。ここでは、単一の撮像画像IMG_2から同一の被写体について、顔画像M1、指紋画像M2、M3、耳介画像M4、の3種の生体情報が検出される場合が示されている。
【0027】
認証サーバ10(生体情報検出部12)が、人型の被写体から生体情報を検出できた場合(ステップS103:YES)には、処理はステップS104に移行する。これに対し、認証サーバ10が、人型の被写体から生体情報を検出できなかった場合(ステップS103:NO)には、図4の処理は終了する。生体情報を検出できない場合の具体例としては、サングラス、マスク、手袋、帽子等の装飾品によって被写体の身体部位が覆われ、身体部位の特徴量を出力するための情報を十分に検出できない場合や、身体部位の向きにより特徴量を出力するための情報を検出できない場合等が該当する。例えば、図6の例では、左手の指が内側を向いているため、高品質の指紋の生体情報は得られない。
【0028】
ステップS104において、認証サーバ10(品質評価部13)は、検出された複数種の生体情報について、生体情報ごとに品質値を算出する。本実施形態における“品質値”の語句は、生体認証の中で実行される照合処理において、撮影画像から検出された生体情報(生体画像)がデータベース20に登録されている登録生体情報に対する照合対象として適しているか否かを示す度合いを示す。
【0029】
図7A乃至図11Bは、本実施形態における認証サーバ10の生体情報の品質評価方法を説明する図である。認証サーバ10(品質評価部13)は、複数の指標に基づいて生体情報の品質を総合的に評価する。以下では、5つの指標に分けて生体情報の品質評価方法を説明する場合を説明する。ただし、品質を評価するための指標はこれらに限定されない。
【0030】
図7A及び図7Bは、撮影画像IMG_3、IMG_4における生体情報の取得部位(以下、単に「身体部位」と呼ぶ。)の大きさに基づいて品質を評価する場合をそれぞれ示している。図7Aでは、撮影画像IMG_3における照合対象者(被写体)Pが小さく、生体情報が取得される身体部位の大きさも小さい。このような場合、撮影画像IMG_3から検出される生体情報の品質値は低くなる。これに対し、図7Bでは、撮影画像IMG_4における身体部位(顔、耳、手)の大きさが十分に大きい。このような場合、図7Aの例よりも生体情報の品質値は高くなる。図7Bでは、撮影画像IMG_4からは、顔画像M1が高品質で検出される。
【0031】
図8A及び図8Bは、撮影画像IMG_5、IMG_6における身体部位の鮮明度に基づいて品質を評価する場合をそれぞれ示している。図8Aでは、撮影画像IMG_5において生体情報が取得される複数の身体部位(顔、手、耳)が不鮮明な状態で表示されている。このような場合、生体情報の品質値はいずれも低くなる。これに対し、図8Bでは、撮影画像IMG_6において各身体部位が鮮明に表示されている。このような場合、図8Aの例よりも生体情報の品質値は高くなる。
【0032】
図9A及び図9Bは、撮影画像IMG_7、IMG_8における身体部位の向きに基づいて品質を評価する場合をそれぞれ示している。図9Aでは、撮影画像IMG_7において照合対象者の顔方向はカメラ30の撮影方向から大きく外れていることを示している。撮影画像IMG_7には顔の左側部分のみが含まれ、顔特徴量を高精度に算出することが難しい。このような場合、顔画像M1に関する品質値は低くなる。これに対し、図9Bでは、撮影画像IMG_8において照合対象者の顔は正面を向いている、すなわち、照合対象者はカメラ30とほぼ対向していることが示されている。このような場合、図9Aの例よりも顔画像M1の品質値は高くなる。一方、照合対象者の手の握り、顔の向きにより、図9Aの例よりも指紋画像M2、M3、耳介画像M4、M5の品質値は低くなる。
【0033】
図10A及び図10Bは、撮影画像IMG_9、IMG_10における身体部位の輝度に基づいて品質を評価する場合をそれぞれ示している。図10Aでは、撮影画像IMG_9において生体情報が取得される身体部位(顔、耳、手)の輝度がいずれも低い場合が示されている。このような場合、各部位から検出される生体情報の品質値は低くなる。これに対し、図10Bでは、撮影画像IMG_10における同部位の輝度がいずれも高い場合が示されている。この場合、図10Aの例よりも各部位から検出される生体情報の品質値は高くなる。なお、輝度が高すぎる場合にも、各部位から検出される生体情報の品質値が悪くなる場合がある。このような場合には、輝度を適切な値にまで下げることで生体情報の品質値を高くできる。
【0034】
図11A及び図11Bは、撮影画像IMG_11、IMG_12における身体部位と、身体部位を遮蔽する遮蔽物との位置関係に基づいて品質を評価する場合をそれぞれ示している。図11Aでは、撮影画像IMG_11において生体情報が取得される顔の一部が傘(遮蔽物X)によって遮蔽されている。このような場合、顔画像M1に関する品質値は低くなる。これに対し、図11Bでは、撮影画像IMG_12において照合対象者の顔は傘によって遮蔽されていない。このような場合、図11Aの例よりも顔画像M1に関する品質値は高くなる。
【0035】
次に、認証サーバ10(特定部14)は、算出された品質値を降順にソートし、品質値が最高点である生体情報を生体認証に用いる生体情報(以下、「認証用生体情報」と呼ぶ。)として特定する(ステップS105)。本実施形態においては、認証用生体情報は1つ選択するものとする。なお、最高点の生体情報が複数ある場合には、所定の優先度や認証精度に基づいて1つ選択すればよい。
【0036】
次に、認証サーバ10(カメラ制御部16)は、特定された認証用生体情報の品質値が高くなるように、カメラ30を制御する(ステップS106)ことで、認証用生体情報を更新する(ステップS107)。カメラ30の制御対象は、上述した品質評価における指標に対応する。以下、5つの指標(大きさ、鮮明度、向き、輝度、遮蔽物の有無)に対応する制御例について説明する。ただし、制御対象はこれらに限定されない。また、制御対象とする指標は1つには限定されない。認証サーバ10(カメラ制御部16)は、複数の指標を任意に組み合わせてカメラ30を制御できる。
【0037】
(A)大きさ
図7Aに示したように、撮影画像における照合対象者及び身体部位の大きさが小さい場合、認証サーバ10(カメラ制御部16)は、ズーム倍率を変更する。これにより、認証サーバ10(カメラ制御部16)は、図7Bに示すように身体部位を拡大して、より品質の高い認証用生体情報を取得できる。
【0038】
(B)鮮明度
図8Aに示したように、撮影画像における照合対象者及び身体部位が不鮮明である場合、認証サーバ10(カメラ制御部16)は、例えば焦点距離を身体部位に合わせて変更する。これにより、認証サーバ10(カメラ制御部16)は、図8Bに示すように認証用生体情報が取得される身体部位を鮮明にし、より品質の高い認証用生体情報を取得できる。
【0039】
(C)向き
図9Aに示したように、撮影画像における照合対象者の顔が正面を向いていない場合、認証サーバ10(カメラ制御部16)は、例えばカメラ30を他のカメラ30に切替える、あるいは、カメラ30の角度を身体部位に合わせて変更する。これにより、認証サーバ10(カメラ制御部16)は、図9Bに示すように認証用生体情報が取得される顔部分を鮮明にし、より品質の高い認証用生体情報(顔画像M1)を取得できる。
【0040】
(D)輝度
図10Aに示したように、撮影画像における照合対象者及び身体部位の輝度が低い(すなわち、暗い)場合、認証サーバ10(カメラ制御部16)は、例えばカメラ30内での信号処理、あるいは、カメラ30に搭載された照明(不図示)の点灯により身体部位における輝度を変更する。これにより、認証サーバ10(カメラ制御部16)は、図10Bに示すように認証用生体情報が取得される身体部位を明るくし、より品質の高い認証用生体情報を取得できる。
【0041】
(E)遮蔽物
図11Aに示したように、撮影画像において照合対象者の身体部位が遮蔽物で遮蔽されている場合、認証サーバ10(カメラ制御部16)は、例えばカメラ30を他のカメラ30に切替える、あるいは、カメラ30の角度を身体部位に合わせて変更する。これにより、認証サーバ10(カメラ制御部16)は、図11Bに示すように認証用生体情報が取得される顔部分を鮮明にし、より品質の高い認証用生体情報(顔画像M1)を取得できる。
【0042】
次に、認証サーバ10(認証部15)は、認証用生体情報とデータベース20に登録されている同種の登録生体情報との生体認証を実行する(ステップS108)。認証部15は、複数の生体情報にそれぞれ対応する複数の生体照合エンジン(不図示)を有する。
【0043】
そして、認証サーバ10(認証部15)は、認証用生体情報との類似度(照合スコア)が所定の閾値以上である登録生体情報が存在すると判定した場合(ステップS109:YES)には、類似度(照合スコア)が最も高い登録生体情報に関連付けられた登録者IDを出力し(ステップS110)、図4の処理を終了する。これに対し、類似度(照合スコア)が所定の閾値以上である登録生体情報が存在しないと判定した場合(ステップS109:NO)には、該当する登録者が存在しない認証結果を出力し(ステップS111)、図4の処理を終了する。
【0044】
以上のように、本実施形態によれば、認証サーバ10は単一の撮影画像から検出された複数種の生体情報の品質値を算出し、その品質値が最も高い認証用生体情報を用いて認証処理を実行する。このため、生体認証における認証精度を向上させることができる。
【0045】
また、認証サーバ10は、特定された認証生体情報の品質値がさらに高くなるように、カメラ30を自動制御する機能を備える。このため、認証精度をさらに向上させることができる。
【0046】
また、認証サーバ10が認証用生体情報の特定及びカメラ制御を自動的に行うため、従来のように技術者が各生体情報に対するパラメータを手動で調整する必要がなくなる。この結果、技術者の経験や熟練度に依存することなく、画一的な基準により生体認証(マルチモーダル認証)を実行でき、認証精度を高いレベルで均一化できる。
【0047】
さらに、認証サーバ10におけるカメラ30の自動制御は、品質を評価するために用いた複数の指標に対応して様々な態様で実行される。具体的には、生体情報が取得される身体部位の撮影画像における大きさ、鮮明度、向き、輝度、遮蔽物の有無が品質評価の指標である場合には、それぞれズーム倍率の変更、焦点距離の変更、撮像方向の調整、露出時間の変更、カメラ切り替え等の制御を実行する。これにより、認証生体情報の品質値を向上でき、その結果、認証精度が向上する。
【0048】
[第2実施形態]
以下、第2実施形態における生体認証システム1について説明する。なお、第1実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第1実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。
【0049】
上述した第1実施形態においては、認証サーバ10は、複数種の生体情報のなかから、品質値が最も高い認証用生体情報を特定し、認証処理を実行していた。これに対し、本実施形態は、認証サーバ10は、複数種の生体情報のなかから、品質値が所定の基準を満たす生体情報を複数選択し、認証処理を実行する点で第1実施形態と異なる。
【0050】
図12は、本実施形態における複数種の生体認証と照合スコアに対する重み付けとの関係の一例を示す図である。ここでは、可視光カメラで生体情報を取得する場合を想定し、認証精度の高い順に顔認証、指紋認証、耳介認証が縦方向に並んでいる。また、横方向には、各生体認証の結果が1位から3位である照合スコア(類似度)について、所定の重み付けを行うことが示されている。具体的には、顔認証において顔画像と登録顔画像との類似度が1位となった人物の照合スコアには、“10”の重み付けを、3位となった人物の照合スコアには“4”の重み付けを行うことを示している。一方、認証精度が一番低い耳介認証の場合には、耳介画像と登録耳介画像との類似度が1位となった人物の照合スコアには、“3”の重み付けを、3位となった人物の照合スコアには“1”の重み付けを行うことを示している。
【0051】
図13は、本実施形態における認証サーバ10の処理の一例を示すフローチャートである。
【0052】
先ず、認証サーバ10(画像取得部11)は、カメラ30から撮影画像を取得する(ステップS201)。次に、認証サーバ10(生体情報検出部12)は、撮影画像の中に所定の人型と一致する被写体が存在するか否かを判定する(ステップS202)。
【0053】
認証サーバ10が、撮影画像の中に所定の人型と一致する被写体が存在すると判定した場合(ステップS202:YES)には、処理はステップS203に移行する。これに対し、認証サーバ10が、撮影画像の中に所定の人型と一致する被写体が存在しないと判定した場合(ステップS202:NO)には、図13の処理は終了する。
【0054】
ステップS203において、認証サーバ10(生体情報検出部12)は、人型と一致した被写体の画像領域の中から被写体の生体情報を検出できたか否かを判定する。認証サーバ10(生体情報検出部12)は、データベース20に登録されている複数種の登録生体情報とそれぞれ照合可能な複数種の生体情報を、単一の撮影画像から検出する。
【0055】
認証サーバ10(生体情報検出部12)が、人型の被写体から生体情報を検出できた場合(ステップS203:YES)には、処理はステップS204に移行する。これに対し、認証サーバ10が、人型の被写体から生体情報を検出できなかった場合(ステップS203:NO)には、図13の処理は終了する。
【0056】
ステップS204において、認証サーバ10(品質評価部13)は、検出された複数種の生体情報について、生体情報ごとに品質値を算出する。
【0057】
次に、認証サーバ10(認証部15)は、算出された品質値に基づいて生体認証に使用可能な認証用生体情報を複数選択する(ステップS205)。すなわち、品質値が低い生体情報は、除かれる。
【0058】
次に、認証サーバ10(認証部15)は、選択された複数の認証用生体情報を、対応する生体照合エンジンに送信し(ステップS206)、照合処理を実行する。
【0059】
図14は、本実施形態における生体情報ごとの照合スコアの一例を示す図である。ここでは、3種類の生体認証(顔認証、指紋認証、耳介認証)における上位3名の照合スコアが示されている。図中のかっこ内は、登録者IDである。例えば、顔認証の場合、登録者IDが“019”の登録者に対する照合スコア(類似度)は“0.87”であり、最も高い。同様に、指紋認証の場合にも登録者IDが“019”の登録者に対する照合スコアは“0.97”であり、最も高い。そして、耳介認証の場合には、登録者IDが“019”の登録者に対する照合スコアは、3位である。
【0060】
次に、認証サーバ10(認証部15)は、複数の認証用生体情報について、いずれかの照合スコアが閾値(基準値)以上であるか否かを判定する(ステップS207)。ここで、認証サーバ10(認証部15)は、照合スコアが閾値(基準値)以上となる認証用生体情報が存在すると判定した場合(ステップS207:YES)には、処理はステップS208に移行する。これに対し、認証サーバ10(認証部15)は、すべての照合スコアが閾値(基準値)未満であると判定した場合(ステップS207:NO)には、該当者無しの認証結果を出力し(ステップS211)、図13の処理は終了する。
【0061】
ステップS208において、認証サーバ10(認証部15)は、複数の生体認証により得られた照合スコアに対して、生体情報ごとに所定の重み付けを行い、マルチモーダル照合スコアを算出する。
【0062】
次に、認証サーバ10(認証部15)は、マルチモーダル照合スコアに基づいて認証対象者を認証する(ステップS209)。
【0063】
図15は、本実施形態におけるマルチモーダル照合スコアの算出方法の一例を示す図である。ここでは、図14に示した3種類の生体認証(顔認証、指紋認証、耳介認証)における照合スコアから登録者IDごとにマルチモーダル照合スコアを算出している。マルチモーダル照合スコアは、例えば以下の演算式により算出される。
(マルチモーダル照合スコア)=(顔認証の照合スコア)*(顔認証の順位に応じた重み係数)+(指紋認証の照合スコア)*(指紋認証の順位に応じた重み係数)+(耳介認証の照合スコア)*(耳介認証の順位に応じた重み係数)
【0064】
したがって、登録者IDが“019”の登録者に対する顔認証の照合スコアが“0.87”、重み付けが“10”であり、指紋認証の照合スコアが“0.97”、重み付けが“7”であり、耳介認証の照合スコアが“0.51”、重み付けが“1”である場合には、マルチモーダル照合スコアは、図14に示す照合スコアに基づいて、“0.87*10 + 0.97*7 +0.51*1 = 16.0”と算出される。これを各登録者について集計すると、登録者IDが“019”の登録者に対するマルチモーダル照合スコアが最大値となるため、認証対象者は登録者IDが“019”の人物であると認証される。
【0065】
そして、認証サーバ10(認証部15)は、マルチモーダル照合スコアが最も高い登録者IDを出力し(ステップS210)、図13の処理を終了する。
【0066】
以上のように、本実施形態によれば、認証サーバ10は、認証精度に応じた重み付けを用いてマルチモーダル照合スコアを算出し、認証対象者を認証する。換言すると、複数の生体認証の結果を組み合わせて認証する構成であるため、認証精度をさらに向上させることができる。
【0067】
[第3実施形態]
以下、第3実施形態における生体認証システム1について説明する。なお、第1実施形態の図中において付与した符号と共通する符号は同一の対象を示す。第1及び第2実施形態と共通する箇所の説明は省略し、異なる箇所について詳細に説明する。
【0068】
本実施形態の認証サーバ10は、上述した第2実施形態に対して、第1実施形態で説明したカメラ30の自動制御機能をさらに加えた構成であり、その他の構成については共通している。
【0069】
図16は、本実施形態における認証サーバ10の処理の一例を示すフローチャートである。この処理は、例えば、上述した図13のステップS205とS206の間に実行され得る。
【0070】
先ず、認証サーバ10(特定部14)は、選択された複数の認証用生体情報のうち、認証精度が最も高い生体情報を特定する(ステップS301)。複数種の生体認証における認証精度の高さと順位は、予め定義されているものとする。例えば、カメラ30として可視光カメラを用いる場合には、認証精度の順位を顔認証、指紋認証、耳介認証と定義することができる。
【0071】
次に、認証サーバ10(カメラ制御部16)は、ステップS301で特定された認証用生体情報の品質がさらに高くなるようにカメラ30を制御する(ステップS302)。例えば、顔認証に対応する生体情報(顔画像)が特定されている場合には、顔画像の品質値が高まるようにカメラ30を制御する。
【0072】
そして、認証サーバ10(カメラ制御部16)は、カメラ30を制御して新たに検出された複数の生体情報によって認証用生体情報を更新し(ステップS303)、処理は図13のステップS206に移行する。
【0073】
本実施形態によれば、認証サーバ10は、複数の認証用生体情報のうち、認証精度が最も高い生体情報の品質値をさらに高めるようにカメラ30を制御できる。このため、認証精度をさらに向上させることができる。
【0074】
[第4実施形態]
図17は、本実施形態における情報処理装置100の機能を示すブロック図である。本実施形態における情報処理装置100は、入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部110と、生体情報ごとに生体認証における品質を評価する評価部120と、被写体の生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから品質に基づいて特定する特定部130と、を備える。本実施形態によれば、生体認証における認証精度を向上できる。
【0075】
[変形実施形態]
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。
【0076】
上述した実施形態では、複数(複数種)の生体情報のそれぞれの品質値を算出し、認証用生体情報を特定する構成としていたが、複数の生体情報と、生体認証に用いる認証用生体情報との関係を予め学習した学習モデルを用いて認証用生体情報を特定してもよい。また、認証サーバ10は、入力された複数の生体情報に対して認証用生体情報を出力するニューラルネットワークにおいて、ニューラルネットワークのノード間の重み付けを更新することにより、学習モデルを学習する学習部をさらに備えてもよい。学習モデルを使用することにより、認証処理の高速化が図られる。
【0077】
図18は、変形実施形態における学習処理に用いるニューラルネットワークを説明する概略図である。図18に示すニューラルネットワークは、複数のノードを有する入力層と、複数のノードを有する中間層と、1個のノードを有する出力層とを備える。入力層の各ノードには、入力値である複数種の生体情報が入力される。中間層の各ノードは、入力層の各ノードに接続される。中間層のノードに入力された入力値の各要素は、中間層の各ノードにおける演算に用いられる。中間層の各ノードは、例えば、入力層の各ノードから入力された入力値と、所定の重み付け係数と、所定のバイアス値とを用いて演算値を算出する。中間層の各ノードは、それぞれ出力層に接続され、算出した演算値を出力層のノードに出力する。出力層のノードは、中間層の各ノードから演算値が入力される。
【0078】
出力層のノードは、中間層の各ノードから入力された演算値と、重み付け係数と、バイアス値とを用いて最適な認証用生体情報Mを示す値を出力する。なお、ニューラルネットワークを学習させる際には、例えば誤差逆伝播法が用いられる。具体的には、データを入力層に入力したときの出力値と教師データから得られる出力値とを比較し、比較した2つの出力値の誤差を中間層にフィードバックする。これを誤差が所定の閾値を下回るまで繰り返す。このような学習処理により、ニューラルネットワーク(学習モデル)に任意の生体情報が入力されたときには、最適な認証用生体情報Mを示す値を出力できる。
【0079】
認証サーバ10の機能の一部をカメラ30に備えさせる構成も有り得る。例えば、カメラ30側で所定の人型に基づくパターンマッチングを実行し、撮像画像の中から人型と一致する画像領域を切り出して認証サーバ10に送信してもよい。また、カメラ30側で撮影画像から複数種の生体情報を検出して認証サーバ10に送信してもよい。この場合、認証サーバ10における処理の負荷が軽減される利点がある。
【0080】
また、上述の第1実施形態においては、カメラ30の自動制御を行っていたが、カメラ30の自動制御を行わない構成としてもよい。この場合、所定の閾値を満たす品質の認証用生体情報が得られた場合には、速やかに生体認証を実行できる。
【0081】
上述の実施形態においては、認証サーバ10はネットワークNWを介して接続されたカメラ30から撮影画像を取得していたが、取得先はカメラ30だけに限られない。例えば、認証サーバ10は、図示しないスキャナ等の媒体読取装置が光学的あるいは電子的に読取った撮像画像を入力し、生体情報を検出してもよい。同様に、スマートフォンやパーソナルコンピュータ等の利用者端末からネットワークNWを介して送信された撮像画像を受信し、生体情報を検出してもよい。
【0082】
上述の実施形態においては、認証サーバ10は生体情報の品質を品質値によって表していたが、品質は数値以外で表されてもよい。例えば、数値の代わりに、品質が“高い”、“通常”、“低い”のように分類して評価してもよい。
【0083】
上述の第3実施形態においては、認証サーバ10は複数の認証用生体情報のうち、認証精度が最も高い生体認証に対応する認証用生体情報を選択していたが、他の条件により選択してもよい。例えば、認証サーバ10(カメラ制御部16)は、複数の前記認証用生体情報のうち、品質値が最も高い認証用生体情報について品質値がさらに高くなるようにカメラ30を制御してもよい。
【0084】
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【0085】
該記録媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、磁気テープ、不揮発性メモリカード等を用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0086】
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0087】
(付記1)
入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、
前記生体情報ごとに生体認証における品質を評価する評価部と、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定する特定部と、
を備える情報処理装置。
【0088】
(付記2)
複数の前記生体情報は、単一の前記撮影画像から検出される、
付記1に記載の情報処理装置。
【0089】
(付記3)
複数の前記生体情報は、前記被写体の異なる身体部位から検出される、
付記1又は2に記載の情報処理装置。
【0090】
(付記4)
複数の前記生体情報は、前記撮影画像から所定の人型と一致する前記被写体について検出される、
付記3に記載の情報処理装置。
【0091】
(付記5)
前記特定部において特定された前記認証用生体情報における前記品質を上げるように、前記撮影画像を撮影するカメラを制御するカメラ制御部、
をさらに備える付記3又は4に記載の情報処理装置。
【0092】
(付記6)
前記認証用生体情報に基づいて前記被写体の前記生体認証を実行する認証部、
をさらに備える付記3乃至5のいずれかに記載の情報処理装置。
【0093】
(付記7)
前記特定部は、前記品質が最も高い前記認証用生体情報を特定し、
前記認証部は、登録生体情報に対する前記認証用生体情報の類似度に基づいて前記被写体を認証する、
付記6に記載の情報処理装置。
【0094】
(付記8)
前記特定部は、複数の前記認証用生体情報を特定し、
前記認証部は、登録生体情報に対して前記認証用生体情報ごとに算出した類似度に基づいて前記被写体を認証する、
付記6に記載の情報処理装置。
【0095】
(付記9)
前記特定部は、前記品質が高い順に所定数の前記認証用生体情報を特定する、
付記8に記載の情報処理装置。
【0096】
(付記10)
前記認証部は、前記認証用生体情報ごとの重み付けにより前記類似度を算出する、
付記8又は9に記載の情報処理装置。
【0097】
(付記11)
前記評価部は、前記撮影画像における前記身体部位の大きさ、鮮明度、向き、及び輝度の少なくとも一つに基づいて前記品質を評価する、
付記3乃至10のいずれかに記載の情報処理装置。
【0098】
(付記12)
前記評価部は、前記身体部位と、前記身体部位を遮蔽する物体との前記撮影画像における位置関係に基づいて前記品質を評価する、
付記3乃至10のいずれかに記載の情報処理装置。
【0099】
(付記13)
前記カメラ制御部は、前記認証用生体情報が検出された前記身体部位の撮影のために、ズーム倍率、焦点距離、向き及び露出の少なくとも1つを制御する、
付記5に記載の情報処理装置。
【0100】
(付記14)
前記カメラ制御部は、複数の前記カメラのうちから、前記認証用生体情報に関する前記品質が最も高くなる前記カメラに切替えて撮影する、
付記5に記載の情報処理装置。
【0101】
(付記15)
前記特定部は、複数の前記認証用生体情報を特定し、
前記カメラ制御部は、複数の前記認証用生体情報のうち、認証精度が最も高い前記生体認証に対応する前記認証用生体情報について前記品質がさらに高くなるように前記カメラを制御する、
付記13又は14に記載の情報処理装置。
【0102】
(付記16)
前記特定部は、複数の前記認証用生体情報を特定し、
前記カメラ制御部は、複数の前記認証用生体情報のうち、前記品質が最も高い前記認証用生体情報について前記品質がさらに高くなるように前記カメラを制御する、
付記13又は14に記載の情報処理装置。
【0103】
(付記17)
入力された撮影画像から同一の被写体について複数の生体情報を検出する検出部と、
複数の前記生体情報と、複数の前記生体情報のうち生体認証において用いる認証用生体情報との関係を予め学習した学習モデルに基づいて前記認証用生体情報を特定する特定部と、
を備える情報処理装置。
【0104】
(付記18)
入力された複数の前記生体情報に対して前記認証用生体情報を出力するニューラルネットワークにおいて、前記ニューラルネットワークのノード間の重み付けを更新することにより、前記学習モデルを学習する学習部、
をさらに備える付記17に記載の情報処理装置。
【0105】
(付記19)
入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
前記生体情報ごとに生体認証における品質を評価するステップと、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
を備える情報処理方法。
【0106】
(付記20)
コンピュータに、
入力された撮影画像から同一の被写体について複数の生体情報を検出するステップと、
前記生体情報ごとに生体認証における品質を評価するステップと、
前記被写体の前記生体認証に用いるための認証用生体情報を、複数の前記生体情報のうちから前記品質に基づいて特定するステップと、
を実行させるためのプログラムが記録された記録媒体。
【符号の説明】
【0107】
NW・・・ネットワーク
1・・・生体認証システム
10・・・認証サーバ
11・・・画像取得部
12・・・生体情報検出部
13・・・品質評価部
14・・・特定部
15・・・認証部
16・・・カメラ制御部
20・・・データベース
30・・・カメラ
100・・・情報処理装置
110・・・検出部
120・・・評価部
130・・・特定部
151・・・CPU
152・・・RAM
153・・・ROM
154・・・HDD
155・・・通信I/F
156・・・表示装置
157・・・入力装置
158・・・バスライン
図1
図2
図3
図4
図5
図6
図7A
図7B
図8A
図8B
図9A
図9B
図10A
図10B
図11A
図11B
図12
図13
図14
図15
図16
図17
図18