(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-25
(45)【発行日】2023-10-03
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06F 21/32 20130101AFI20230926BHJP
【FI】
G06F21/32
(21)【出願番号】P 2022530450
(86)(22)【出願日】2020-06-11
(86)【国際出願番号】 JP2020022992
(87)【国際公開番号】W WO2021250839
(87)【国際公開日】2021-12-16
【審査請求日】2022-08-19
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】林 蒼二郎
(72)【発明者】
【氏名】折田 和久
(72)【発明者】
【氏名】白 秀君
【審査官】岸野 徹
(56)【参考文献】
【文献】特開2005-284973(JP,A)
【文献】特開2000-090264(JP,A)
【文献】特開2018-206228(JP,A)
【文献】特開2018-165998(JP,A)
【文献】特開2017-117384(JP,A)
【文献】米国特許出願公開第2005/0223236(US,A1)
【文献】米国特許第6418235(US,B1)
【文献】米国特許出願公開第2019/0005311(US,A1)
【文献】米国特許出願公開第2019/0095750(US,A1)
【文献】米国特許出願公開第2017/0186022(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 21/32
(57)【特許請求の範囲】
【請求項1】
登録対象者から互いに異なる種類の複数の生体情報を取得する取得部と、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する特定部と、
前記複数の生体情報及び前記複数の生体情報の各々が属するカテゴリを前記登録対象者ごとに関連付けて記憶領域に登録する登録部と、
を備える情報処理装置。
【請求項2】
前記特定部は、前記複数の生体情報の照合処理時において前記種類ごとに抽出される特徴量とは異なる前記特徴を抽出する、
請求項1に記載の情報処理装置。
【請求項3】
前記複数のカテゴリは、前記特徴に関して予め定義されている第1カテゴリと、前記特徴が前記第1カテゴリに該当しないことを示す第2カテゴリとを含む、
請求項1又は2に記載の情報処理装置。
【請求項4】
前記カテゴリには、前記特徴を細分化する複数のサブカテゴリが予め定義されており、
前記登録部は、登録者の数が所定の閾値を超えて関連付けられた前記カテゴリについて、前記複数のサブカテゴリのうち前記複数の生体情報及び前記複数の生体情報の各々が属するサブカテゴリを前記登録対象者ごとに関連付ける更新処理を実行する、
請求項1乃至3のいずれか1項に記載の情報処理装置。
【請求項5】
前記特定部は、前記複数の生体情報の各々に対する画像解析処理によって判定された形状、色彩及び明暗のうちの少なくとも1つに基づいて前記カテゴリを特定する、
請求項1乃至
4のいずれか1項に記載の情報処理装置。
【請求項6】
照合対象者から互いに異なる種類の複数の生体情報を取得する取得部と、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する特定部と、
前記特定部によって特定されたカテゴリに基づいて照合先を決定し、前記複数の生体情報と登録者の複数の登録生体情報との照合処理を前記種類ごとに実行する照合部と、
を備える情報処理装置。
【請求項7】
前記照合部は、前記複数の登録生体情報及び前記複数の登録生体情報が属する前記カテゴリを前記登録者ごとに関連付けた登録者情報のうち、前記特定部で特定された前記種類ごとの前記カテゴリが全て一致する前記照合先に対して、前記照合処理を実行する、
請求項
6に記載の情報処理装置。
【請求項8】
前記特定部は、前記複数の生体情報の照合処理時において前記種類ごとに抽出される特徴量とは異なる前記特徴を抽出する、
請求項
6又は
7に記載の情報処理装置。
【請求項9】
前記特定部は、前記複数の生体情報に顔画像を含む場合に、前記顔画像から特定された前記カテゴリと顔照合の照合範囲との関係を学習した学習モデルに基づいて、前記照合範囲を特定する、
請求項
6乃至
8のいずれか1項に記載の情報処理装置。
【請求項10】
前記特定部は、前記複数の生体情報に顔画像を含む場合に、前記顔画像から特定された前記カテゴリと顔照合の照合範囲との関係を予め定義した対照表に基づいて、前記照合範囲を特定する、
請求項
6乃至
8のいずれか1項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、利用者から取得した2種類の生体情報(指静脈情報及び指紋情報)と、登録者について認証用データベースに予め登録されている2種類の登録生体情報とが種類ごとに一致することを条件として利用者を認証する認証装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に例示されているようなマルチモーダル生体認証では、照合対象者である利用者と認証用データベースの登録者との間で、生体情報の種類ごとに照合処理を実行する必要がある。このため、認証用データベースの登録者数が膨大になると、照合速度が低下する虞があった。
【0005】
そこで、本開示は、上述の問題に鑑み、マルチモーダル生体認証における照合速度を向上できる情報処理装置、情報処理方法及びプログラムを提供する
ことを目的とする。
【課題を解決するための手段】
【0006】
本開示の一観点によれば、登録対象者から互いに異なる種類の複数の生体情報を取得する取得部と、前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する特定部と、前記複数の生体情報及び前記複数の生体情報の各々が属するカテゴリを前記登録対象者ごとに関連付けて記憶領域に登録する登録部と、を備える情報処理装置が提供される。
【0007】
本開示の他の一観点によれば、登録対象者から互いに異なる種類の複数の生体情報を取得するステップと、前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、前記複数の生体情報及び前記複数の生体情報の各々が属するカテゴリを前記登録対象者ごとに関連付けて記憶領域に登録するステップと、を備える情報処理方法が提供される。
【0008】
本開示の他の一観点によれば、コンピュータに、登録対象者から互いに異なる種類の複数の生体情報を取得するステップと、前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、前記複数の生体情報及び前記複数の生体情報の各々が属するカテゴリを前記登録対象者ごとに関連付けて記憶領域に登録するステップと、を備える情報処理方法を実行させるためのプログラムが提供される。
【0009】
本開示の他の一観点によれば、照合対象者から互いに異なる種類の複数の生体情報を取得する取得部と、前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する特定部と、前記特定部によって特定されたカテゴリに基づいて照合先を決定し、前記複数の生体情報と登録者の複数の登録生体情報との照合処理を前記種類ごとに実行する照合部と、を備える情報処理装置が提供される。
【0010】
本開示の他の一観点によれば、照合対象者から互いに異なる種類の複数の生体情報を取得するステップと、前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、特定されたカテゴリに基づいて照合先を決定し、前記複数の生体情報と登録者の複数の登録生体情報との照合処理を前記種類ごとに実行するステップと、を備える情報処理方法が提供される。
【0011】
本開示の他の一観点によれば、コンピュータに、照合対象者から互いに異なる種類の複数の生体情報を取得するステップと、前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、特定されたカテゴリに基づいて照合先を決定し、前記複数の生体情報と登録者の複数の登録生体情報との照合処理を前記種類ごとに実行するステップと、を備える情報処理方法を実行させるためのプログラムが提供される。
【図面の簡単な説明】
【0012】
【
図1】第1実施形態に係る生体認証システムの全体構成を示す概略図である。
【
図2】第1実施形態に係る生体画像取得装置のハードウェア構成を示すブロック図である。
【
図3】第1実施形態に係る管理サーバのハードウェア構成を示すブロック図である。
【
図4】第1実施形態に係る生体情報DBが記憶する情報の一例を示す図である。
【
図5】第1実施形態に係る指紋カテゴリ情報DBが記憶する情報の一例を示す図である。
【
図6】第1実施形態に係る虹彩カテゴリ情報DBが記憶する情報の一例を示す図である。
【
図7】第1実施形態に係る顔カテゴリ情報DBが記憶する情報の一例を示す図である。
【
図8】第1実施形態に係る登録先情報DBが記憶する情報の一例を示す図である。
【
図9】第1実施形態に係る生体認証システムの機能ブロック図である。
【
図10A】第1実施形態に係る生体認証システムにおいて行われる登録処理の概略を示すフローチャートである。
【
図10B】第1実施形態に係る生体認証システムにおいて行われる登録処理の概略を示すフローチャートである。
【
図11A】第1実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図11B】第1実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図11C】第1実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図11D】第1実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図12】第1実施形態に係る生体認証システムにおける照合結果の一例を示す図である。
【
図13】第2実施形態に係る顔カテゴリ情報DBが記憶する情報の一例を示す図である。
【
図14】第2実施形態に係る生体認証システムにおいて行われる更新処理の概略を示すフローチャートである。
【
図15】第3実施形態に係る生体認証システムの機能ブロック図である。
【
図16】第3実施形態に係る生体認証システムにおいて行われるアラート情報の出力処理の概略を示すフローチャートである。
【
図17】第4実施形態に係る生体認証システムの機能ブロック図である。
【
図18】第4実施形態に係る学習部が学習処理に用いるニューラルネットの一例を示す模式図である。
【
図19】第4実施形態に係る顔カテゴリと照合範囲との対照表の一例である。
【
図20】第4実施形態に係る生体認証システムにおいて行われる照合処理の一部を示すフローチャートである。
【
図21A】第5実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図21B】第5実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図21C】第5実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図21D】第5実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【
図22】第6実施形態に係る情報処理装置の機能ブロック図である。
【
図23】第7実施形態に係る情報処理装置の機能ブロック図である。
【
図24】第10実施形態に係る情報処理装置の機能ブロック図である。
【
図25】第11実施形態に係る情報処理装置の機能ブロック図である。
【
図26】第12実施形態に係る情報処理装置の機能ブロック図である。
【
図27】第15実施形態に係る情報処理装置の機能ブロック図である。
【
図28】第17実施形態に係る情報処理装置の機能ブロック図である。
【
図29】第21実施形態に係る情報処理装置の機能ブロック図である。
【
図30】第22実施形態に係る情報処理装置の機能ブロック図である。
【
図31】第23実施形態に係る情報処理装置の機能ブロック図である。
【
図32】第24実施形態に係る情報処理装置の機能ブロック図である。
【
図33】変形実施形態に係る生体情報DBが記憶する情報の一例を示す図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、本開示の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
【0014】
[第1実施形態]
図1は、本実施形態に係る生体認証システムの全体構成を示す概略図である。生体認証システムは、生体画像取得装置1と、管理サーバ2とを有する。生体画像取得装置1と管理サーバ2とは、ネットワークNWを介して通信可能に接続されている。
【0015】
生体認証システムは、対象者の互いに異なる複数の生体画像を撮像し、複数の生体画像と、データベースに予め登録されている登録者の登録生体画像とを生体画像の種類ごとに照合することにより、対象者と登録者とが同一の人物であるか否かを判定するマルチモーダル型の生体認証システムである。
【0016】
生体画像取得装置1は、対象者の生体画像を撮像し、その生体画像を管理サーバ2へ出力する装置である。生体画像取得装置1は、例えば、入国審査場、行政機関、施設の入場ゲート等で用いられる本人確認用端末であってもよい。この場合、生体画像取得装置1は、対象者が入国、行政機関の利用、施設への入場等の権限を有する人物であるか否かの判定に用いられる。また、生体画像取得装置1は、例えば、スマートフォン、PC(Personal Computer)等の情報処理装置であってもよい。この場合、生体画像取得装置1は、生体認証によりログイン時、アプリケーションソフトウェアの利用時、制限区域への入退室時、電子決済時等における本人確認を行うことができる。このように、生体画像取得装置1のユーザは、対象者自身であってもよく、対象者の本人確認を行う管理者であってもよい。
【0017】
管理サーバ2は、生体画像取得装置1から取得した対象者の複数の生体画像に基づいて、登録処理及び照合処理をそれぞれ実行する情報処理装置である。最初に、管理サーバ2の登録装置としての機能を簡潔に説明する。管理サーバ2は、先ず、登録対象者から互いに異なる種類の複数の生体情報を取得する。次に、管理サーバ2は、複数の生体情報の各々が有する特徴に基づいて、複数の生体情報の各々が種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する。そして、管理サーバ2は、複数の生体情報及び複数の生体情報の各々が属するカテゴリを登録対象者ごとに関連付けて記憶領域(後述する生体情報DB21)に登録する。これにより、登録者の生体情報(以下、登録生体情報という。)は、生体情報の種類ごとに予め複数設定されているカテゴリに分類され、登録者ごとに関連付けられた状態で記憶領域に記憶される。
【0018】
続いて、管理サーバ2の照合装置としての機能を簡潔に説明する。管理サーバ2は、先ず、照合対象者から互いに異なる種類の複数の生体情報を取得する。次に、管理サーバ2は、複数の生体情報の各々が有する特徴に基づいて、複数の生体情報の各々が種類ごとに設定された複数のカテゴリのうちのいずれのカテゴリに属するかを特定する。そして、管理サーバ2は、特定されたカテゴリに基づいて照合先を決定し、照合対象者の複数の生体情報と登録者の複数の登録生体情報との照合処理を種類ごとに実行する。管理サーバ2は、登録生体情報の登録時と同様の手法により特定されたカテゴリに基づいて、照合先を絞り込み、照合処理を実行できる。登録処理及び照合処理の詳細については後述する。
【0019】
ネットワークNWは、LAN(Local Area Network)、WAN(Wide Area Network)等の種々のネットワークであり得る。ネットワークNWは、例えば、インターネットであってもよく、生体照合の結果を利用する機関の閉域ネットワークであってもよい。
【0020】
図1においては、生体認証システムは、生体画像取得装置1と、管理サーバ2とにより構成されているが、生体認証システムの構成はこれに限定されるものではない。例えば、生体認証システムは、生体画像取得装置1の機能と管理サーバ2の機能とが一体となった1つの装置であってもよく、3つ以上の装置を含むシステムであってもよい。
【0021】
図2は、生体画像取得装置1のハードウェア構成例を示すブロック図である。生体画像取得装置1は、プロセッサ101、RAM(Random Access Memory)102、ROM(Read Only Memory)103及びHDD(Hard Disk Drive)104を備える。また、生体画像取得装置1は、通信I/F(Interface)105、操作装置106、撮像装置107及び表示装置108を備える。なお、生体画像取得装置1の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
【0022】
図2では、生体画像取得装置1を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、操作装置106、撮像装置107及び表示装置108は、プロセッサ101等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。
【0023】
プロセッサ101は、ROM103、HDD104等に記憶されたプログラムに従って所定の演算を行うとともに、生体画像取得装置1の各部を制御する機能をも有する。また、プロセッサ101として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)のうち一つを用いてもよいし、複数を並列で用いてもよい。RAM102は、揮発性記憶媒体から構成され、プロセッサ101の動作に必要な一時的なメモリ領域を提供する。ROM103は、不揮発性記憶媒体から構成され、生体画像取得装置1の動作に用いられるプログラム等の必要な情報を記憶する。HDD104は、不揮発性記憶媒体から構成され、データベースの記憶、生体画像取得装置1の動作用プログラムの記憶等を行う記憶装置である。
【0024】
通信I/F105は、イーサネット(登録商標)、Wi-Fi(登録商標)等の規格に基づく通信インターフェースである。通信I/F105は、管理サーバ2等の他の装置との通信を行うためのモジュールである。
【0025】
操作装置106は、対象者や管理者等が生体画像取得装置1を操作するためのボタン、タッチパネル等のユーザインターフェース用の装置である。
【0026】
撮像装置107は、CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサ、CCD(Charge Coupled Device)イメージセンサ等を受光素子として有するデジタルカメラである。撮像装置107は、対象者の生体情報として指紋画像、虹彩画像及び顔画像をそれぞれ撮像してデジタル画像データを取得する。また、本実施形態における撮像装置107としては、可視光による光学像を撮像する可視光カメラ107aと、赤外光による光学像を撮像する赤外光カメラ107bがある。撮像対象である生体画像の種類や撮像環境に応じて可視光カメラ107a及び赤外光カメラ107bの一方あるいは両方が適宜使用される。
【0027】
表示装置108は、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等であって、情報の表示、操作入力用のGUI(Graphical User Interface)等の表示に用いられる。操作装置106及び表示装置108は、タッチパネルとして一体に形成されていてもよい。
【0028】
なお、生体画像取得装置1は、可視光又は赤外光での撮像に適した波長の光を対象者の虹彩に照射する光源装置を更に備えていてもよい。この光源装置は、撮像装置107による撮像と同期して対象者に光を照射する。
【0029】
図3は、管理サーバ2のハードウェア構成例を示すブロック図である。管理サーバ2は、プロセッサ201、RAM202、ROM203、HDD204、通信I/F205、入力装置206及び出力装置207を備える。なお、管理サーバ2の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。プロセッサ201、RAM202、ROM203、HDD204、通信I/F205は、プロセッサ101、RAM102、ROM103、HDD104、通信I/F105と同様のものであるため説明を省略する。
【0030】
入力装置206は、キーボード、ポインティングデバイス等であって、管理サーバ2の管理者が管理サーバ2を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。出力装置207は、例えば表示装置108と同様の構成を有する表示装置である。入力装置206及び出力装置207は、タッチパネルとして一体に形成されていてもよい。
【0031】
なお、生体画像取得装置1及び管理サーバ2のハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、HDD104、204は、半導体メモリを用いたSSD(Solid State Drive)に置換されていてもよい。また、HDD104、204は、クラウドストレージに置換されていてもよい。このように生体画像取得装置1及び管理サーバ2のハードウェア構成は適宜変更可能である。
【0032】
また、
図1に示すように、管理サーバ2は、生体情報DB21と、指紋カテゴリ情報DB22と、虹彩カテゴリ情報DB23と、顔カテゴリ情報DB24と、登録先情報DB25とを備える。なお、これらのデータベースはあくまで一例であり、管理サーバ2は他のデータベースを更に備えてもよい。
【0033】
生体情報DB21は、互いに異なる種類の複数の生体情報を登録者ごとに記憶するデータベースである。本実施形態では、生体情報DB21は、N(Nは2以上の自然数)個設けられている。また、全ての登録者の登録生体情報は、N個の生体情報DB21のうち、異なる種類の複数の生体情報の各々が属するカテゴリの組合せに対応するデータベースに記憶されている。本実施形態において、「カテゴリ」の語句は、生体情報から抽出された特徴あるいは当該特徴に基づいて推定された人物の属性をそれぞれ分類する区分を意味する。カテゴリは、生体情報の種類ごとに予め定義されているものとする。
【0034】
図4は、生体情報DB21が記憶する情報の一例を示す図である。
図4では、生体情報DB21は、登録者ID、指紋画像、虹彩画像及び顔画像をデータ項目に含んでいる。すなわち、生体情報DB21は、登録者ごとに3種類の生体情報の組合せを関連付けて記憶している。また、各登録者の指紋画像(FP-0001.jpg/FP-0002.jpg/FP-0003.jpg)は、共通の指紋カテゴリに属している。これは、虹彩画像及び顔画像の場合も同様であり、各登録者の虹彩画像及び顔画像は、それぞれ共通の虹彩カテゴリ及び顔カテゴリに属している。
図4の例では、登録者IDが“0001”、“0002”、“0003”の3人の登録者の登録生体情報は、3種類の全てについて共通のカテゴリに属していることを条件として同じ生体情報DB21に登録される。
【0035】
指紋カテゴリ情報DB22は、指紋画像から抽出される特徴を分類するための指紋カテゴリを定義するデータベースである。本実施形態では、指紋画像の特徴として、隆線パターンが抽出されるものとする。
【0036】
図5は、指紋カテゴリ情報DB22が記憶する情報の一例を示す図である。ここでは、指紋カテゴリ情報DB22は、指紋カテゴリIDと指紋カテゴリをデータ項目に含んでいる。また、指紋カテゴリとしては、“渦巻き”、“アーチ型”、“右流れ”、“左流れ”、“その他”の5つが例示されている。なお、“その他”の指紋カテゴリは、指紋画像から抽出された特徴が“渦巻き”、“アーチ型”、“右流れ”、“左流れ”のいずれにも該当しなかったことを示すカテゴリである。
【0037】
虹彩カテゴリ情報DB23は、虹彩画像から抽出される特徴を分類するための虹彩カテゴリを定義するデータベースである。本実施形態では、虹彩画像の特徴として、虹彩の色と明度が抽出されるものとする。
【0038】
図6は、虹彩カテゴリ情報DB23が記憶する情報の一例を示す図である。ここでは、虹彩カテゴリ情報DB23は、虹彩カテゴリIDと虹彩カテゴリをデータ項目に含んでいる。また、虹彩カテゴリとしては、“茶色・明るい”、“黒色・明るい”、“茶色・暗い”、“黒色・暗い”、“その他”の5つが例示されている。なお、“その他”の虹彩カテゴリは、虹彩画像から抽出された特徴が“茶色・明るい”、“黒色・明るい”、“茶色・暗い”、“黒色・暗い”のいずれにも該当しなかったことを示すカテゴリである。
【0039】
顔カテゴリ情報DB24は、顔画像から推定された人物の属性を分類するための顔カテゴリを定義するデータベースである。本実施形態では、人物の属性として、年齢及び性別が推定されるものとする。これらの属性は、公知のアルゴリズムに基づいて顔画像から外観上の特徴(例えば顔の皺やシミの有無、部位間の距離等)を抽出し、推定され得る。
【0040】
図7は、顔カテゴリ情報DB24が記憶する情報の一例を示す図である。ここでは、顔カテゴリ情報DB24は、顔カテゴリIDと顔カテゴリをデータ項目に含んでいる。また、顔カテゴリとしては、“10代・男性”、“10代・女性”、“20代・男性”、“20代・女性”、“30代・男性”、“その他”等が例示されている。すなわち、顔カテゴリは、人物の年齢の範囲と性別の組合せごとに定義されている。なお、“その他”の顔カテゴリは、顔画像から人物の年齢及び性別の一方あるいは両方を推定できなかったことを示すカテゴリである。
【0041】
登録先情報DB25は、異なる種類の生体情報の組合せ情報と登録先である生体情報DB21との対応関係を定義するためのデータベースである。
【0042】
図8は、登録先情報DB25が記憶する情報の一例を示す図である。ここでは、登録先情報DB25は、データベースID、指紋カテゴリ、虹彩カテゴリ及び顔カテゴリをデータ項目に含んでいる。登録先情報DB25は、各カテゴリのIDを更にデータ項目に含んでもよい。例えば、データベースIDが“DB-1”の生体情報DB21は、指紋カテゴリが“渦巻き”の指紋画像、虹彩カテゴリが“茶色・明るい”の虹彩画像、顔カテゴリが“10代・男性”の顔画像の3種類の生体情報がすべて取得された登録者の情報のみが記憶されるデータベースである。
【0043】
図9は、本実施形態に係る生体認証システムの機能ブロック図である。生体画像取得装置1は、表示制御部111、画像取得部112及びI/F部113を備える。管理サーバ2は、I/F部211、特定部212、登録部213、照合部214及び記憶部215を備える。
【0044】
プロセッサ101は、ROM103、HDD104等に記憶されたプログラムをRAM102にロードして実行することで、所定の演算処理を行う。また、プロセッサ101は、当該プログラムに基づいて、通信I/F105、操作装置106、撮像装置107、表示装置108等の生体画像取得装置1の各部を制御する。これらにより、プロセッサ101は、表示制御部111、画像取得部112及びI/F部113の機能を実現する。
【0045】
プロセッサ201は、ROM203、HDD204等に記憶されたプログラムをRAM202にロードして実行することで、所定の演算処理を行う。また、プロセッサ201は、当該プログラムに基づいて、通信I/F205、入力装置206、出力装置207等の管理サーバ2の各部を制御する。これらにより、プロセッサ201は、I/F部211、特定部212、登録部213、照合部214及び記憶部215の機能を実現する。各機能ブロックにより行われる具体的な処理の内容については後述する。
【0046】
なお、
図9において生体画像取得装置1及び管理サーバ2内に記載されている機能ブロックの各機能の一部又は全部は、生体画像取得装置1及び管理サーバ2の外部の装置に設けられていてもよい。すなわち、上述の各機能は、生体画像取得装置1及び管理サーバ2とこれら以外の装置との協働により実現されてもよい。また、生体画像取得装置1及び管理サーバ2が一体の装置であってもよく、生体画像取得装置1及び管理サーバ2の一方に記載されている機能ブロックの各機能の一部が、他方の装置により実現されてもよい。すなわち、
図9における各機能ブロックが設けられる装置は、
図9に示したものに限定されるものではない。
【0047】
図10Aは、本実施形態に係る生体認証システムにおいて行われる登録処理の概略を示すフローチャートである。
図10Aの処理は、例えば登録対象者又は管理者が登録対象者の生体情報をデータベースに登録するための操作を生体画像取得装置1に対して行った際に開始される。
【0048】
ステップS101において、生体画像取得装置1(画像取得部112)は、登録対象者の指紋画像を取得し、その指紋画像を管理サーバ2へ送信する。
【0049】
ステップS102において、管理サーバ2(特定部212)は、生体画像取得装置1から受信した指紋画像を画像解析し、指紋画像の特徴を抽出する。
【0050】
ステップS103において、管理サーバ2(特定部212)は、抽出された特徴に対応する指紋カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、特徴に対応する指紋カテゴリがあると判定した場合(ステップS103:YES)には、指紋カテゴリを特定する(ステップS104)。その後、処理はステップS106へ移行する。
【0051】
これに対し、管理サーバ2(特定部212)は、特徴に対応する指紋カテゴリはないと判定した場合(ステップS103:NO)には、指紋カテゴリを“その他”として特定する(ステップS105)。すなわち、登録対象者の指紋画像から抽出された特徴が、所定の指紋カテゴリには分類できない場合には、例外的な特徴の分類先である“その他”の指紋カテゴリに分類される。その後、処理はステップS106へ移行する。
【0052】
ステップS106において、生体画像取得装置1(画像取得部112)は、登録対象者の虹彩画像を取得し、その虹彩画像を管理サーバ2へ送信する。
【0053】
ステップS107において、管理サーバ2(特定部212)は、生体画像取得装置1から受信した虹彩画像を画像解析し、虹彩画像の特徴を抽出する。
【0054】
ステップS108において、管理サーバ2(特定部212)は、抽出された特徴に対応する虹彩カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、特徴に対応する虹彩カテゴリがあると判定した場合(ステップS108:YES)には、虹彩カテゴリを特定する(ステップS109)。その後、処理はステップS111へ移行する。
【0055】
これに対し、管理サーバ2(特定部212)は、特徴に対応する虹彩カテゴリはないと判定した場合(ステップS108:NO)には、虹彩カテゴリを“その他”として特定する(ステップS110)。すなわち、登録対象者の虹彩画像から抽出された特徴が、所定の虹彩カテゴリには分類できない場合には、例外的な特徴の分類先である“その他”の虹彩カテゴリに分類される。その後、処理はステップS111へ移行する。
【0056】
ステップS111において、生体画像取得装置1(画像取得部112)は、登録対象者の顔画像を取得し、その顔画像を管理サーバ2へ送信する。
【0057】
ステップS112において、管理サーバ2(特定部212)は、生体画像取得装置1から受信した顔画像を画像解析し、顔画像の特徴を抽出する。そして、管理サーバ2(特定部212)は、当該特徴に基づいて登録対象者の属性(年齢及び性別)を推定する。
【0058】
ステップS113において、管理サーバ2(特定部212)は、推定された属性に対応する顔カテゴリがあるか否かを判定する。ここで、管理サーバ2は、属性に対応する顔カテゴリがあると判定した場合(ステップS113:YES)には、顔カテゴリを特定する(ステップS114)。その後、処理はステップS116へ移行する。
【0059】
これに対し、管理サーバ2(特定部212)は、属性に対応する顔カテゴリはないと判定した場合(ステップS113:NO)には、顔カテゴリを“その他”として特定する(ステップS115)。すなわち、登録対象者の顔画像から得られた属性は、所定の顔カテゴリには分類できないため、例外的な特徴の分類先である“その他”の顔カテゴリに分類される。その後、処理はステップS116へ移行する。
【0060】
ステップS116において、管理サーバ2(登録部213)は、指紋画像、虹彩画像及び顔画像がそれぞれ属するカテゴリの組合せに基づいて登録先のデータベースを決定する。具体的には、管理サーバ2は、組合せに基づいて登録先情報DB25を参照し、N個の生体情報DB21のうちから、登録先のデータベースを1つ選択する。
【0061】
ステップS117において、管理サーバ2(登録部213)は、登録対象者の指紋画像、虹彩画像及び顔画像をステップS116で決定された登録先のデータベースに登録し、処理を終了する。
【0062】
なお、
図10Aにおいては、生体情報のカテゴリを特定する処理を、指紋、虹彩、顔の順番で直列に実行していたが、処理順序はこれに限られない。処理は、例えば、顔、指紋、虹彩の順序で実行されてもよい。また、
図10Aのフローチャートは、
図10Bのような並列処理のフローチャートに変形してもよい。
図10Bにおいて、
図10Aと共通のステップ番号は、同一の処理であるため、各ステップの詳細な説明は省略する。
【0063】
図10Bにおいては、指紋カテゴリの特定処理(ステップS101~ステップS105)と、虹彩カテゴリの特定処理(ステップS106~ステップS110)と、顔カテゴリの特定処理(ステップS111~ステップS115)とが並列に実行されている。
【0064】
図11A及び
図11Bは、本実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
図11A及び
図11Bの処理は、例えば照合対象者又は管理者が照合対象者について登録者との照合を行うための操作を生体画像取得装置1に対して行った際に開始される。
【0065】
ステップS201において、生体画像取得装置1(画像取得部112)は、照合対象者の指紋画像を取得し、その指紋画像を管理サーバ2へ送信する。
【0066】
ステップS202において、管理サーバ2(特定部212)は、生体画像取得装置1から取得した指紋画像を画像解析し、指紋画像の特徴を抽出する。
【0067】
ステップS203において、管理サーバ2(特定部212)は、抽出された特徴に対応する指紋カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、特徴に対応する指紋カテゴリがあると判定した場合(ステップS203:YES)には、指紋カテゴリを特定する(ステップS204)。その後、処理はステップS206へ移行する。
【0068】
これに対し、管理サーバ2(特定部212)は、特徴に対応する指紋カテゴリはないと判定した場合(ステップS203:NO)には、指紋カテゴリを“その他”として特定する(ステップS205)。すなわち、照合対象者の指紋画像から抽出された特徴が、所定の指紋カテゴリには分類できない場合には、例外的な特徴の分類先である“その他”の指紋カテゴリに分類される。その後、処理はステップS206へ移行する。
【0069】
ステップS206において、生体画像取得装置1(画像取得部112)は、照合対象者の虹彩画像を取得し、その虹彩画像を管理サーバ2へ送信する。
【0070】
ステップS207において、管理サーバ2(特定部212)は、生体画像取得装置1から受信した虹彩画像を画像解析し、虹彩画像の特徴を抽出する。
【0071】
ステップS208において、管理サーバ2(特定部212)は、抽出された特徴に対応する虹彩カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、特徴に対応する虹彩カテゴリがあると判定した場合(ステップS208:YES)には、虹彩カテゴリを特定する(ステップS209)。その後、処理はステップS211へ移行する。
【0072】
これに対し、管理サーバ2(特定部212)は、特徴に対応する虹彩カテゴリはないと判定した場合(ステップS208:NO)には、虹彩カテゴリを“その他”として特定する(ステップS210)。すなわち、照合対象者の虹彩画像から抽出された特徴が、所定の虹彩カテゴリには分類できない場合には、例外的な特徴の分類先である“その他”の虹彩カテゴリに分類される。その後、処理はステップS211へ移行する。
【0073】
ステップS211において、生体画像取得装置1(画像取得部112)は、照合対象者の顔画像を取得し、その顔画像を管理サーバ2へ送信する。
【0074】
ステップS212において、管理サーバ2(特定部212)は、生体画像取得装置1から受信した顔画像を画像解析し、顔画像の特徴を抽出する。そして、管理サーバ2(特定部212)は、当該特徴に基づいて照合対象者の属性(年齢及び性別)を推定する。
【0075】
ステップS213において、管理サーバ2(特定部212)は、推定された属性に対応する顔カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、属性に対応する顔カテゴリがあると判定した場合(ステップS213:YES)には、顔カテゴリを特定する(ステップS214)。その後、処理はステップS216へ移行する。
【0076】
これに対し、管理サーバ2(特定部212)は、属性に対応する顔カテゴリはないと判定した場合(ステップS213:NO)には、顔カテゴリを“その他”として特定する(ステップS215)。すなわち、照合対象者の顔画像から得られた属性は、所定の顔カテゴリには分類できないため、例外的な特徴の分類先である“その他”の顔カテゴリに分類される。その後、処理はステップS216へ移行する。
【0077】
ステップS216において、管理サーバ2(照合部214)は、指紋画像、虹彩画像及び顔画像がそれぞれ属するカテゴリの組合せに基づいて照合先のデータベースを決定する。具体的には、管理サーバ2は、カテゴリの組合せに基づいて登録先情報DB25を参照し、N個の生体情報DB21のうちから、照合先のデータベースを1つ選択する。
【0078】
ステップS217において、管理サーバ2(照合部214)は、照合対象者から取得された3種類の生体画像について、指紋照合、虹彩照合及び顔照合をそれぞれ実行する。各照合処理は、並列に実行されてもよいし、順番に実行されてもよい。ここでの照合処理では、例えば、照合部214は、照合対象者の生体情報から特徴量を算出する。次に、照合対象者の生体情報の特徴量と、登録生体情報について予め算出されている特徴量との一致度に基づく照合スコアを算出して、照合スコアが閾値以上である場合に照合対象者と登録者が同一人物であると判定するというものであり得る。
【0079】
本実施形態では、3種類の生体画像のうち、顔画像の特徴を抽出するアルゴリズムは、照合処理における特徴量の算出アルゴリズムとは異なると好適である。すなわち、顔画像から算出した特徴量に基づいて顔画像が属するカテゴリを特定するのではなく、顔画像を直接解析することによって抽出した顔画像の特徴から人物の属性を推定する。これは、人物の年齢や性別を推定できる公知のアルゴリズムが、照合処理における特徴量の算出アルゴリズムと異なっていることを考慮したものである。
【0080】
なお、顔画像以外の生体情報の特徴についても、照合処理における特徴量の算出アルゴリズムとは異なるアルゴリズムを用いて抽出してもよい。また、各生体情報を適切なカテゴリに分類できる場合には、照合処理における特徴量の算出アルゴリズムと同一のアルゴリズムを用いて各生体情報の特徴を抽出するように構成してもよい。
【0081】
ステップS218において、管理サーバ2(照合部214)は、照合スコアの合計が閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2(照合部214)は、照合スコアの合計が閾値以上である登録者が存在すると判定した場合(ステップS218:YES)には、処理はステップS226へ移行する。
【0082】
これに対し、管理サーバ2(照合部214)は、照合スコアの合計が閾値以上である登録者は存在しないと判定した場合(ステップS218:NO)には、処理はステップS219に移行する。
【0083】
図12は、本実施形態に係る生体認証システムにおける照合結果の一例を示す図である。
図12では、照合対象者の生体画像との照合処理が行われた登録者の登録者IDごとに、指紋照合スコア、虹彩照合スコア、顔照合スコア及び合計スコアが示されている。例えば、照合スコアの閾値が15000である場合には、登録者IDが“0001”の登録者は照合対象者と同一人物として認証され得る。なお、合計スコアの閾値の代わりに、生体情報の種類ごとの閾値と比較して、すべての種類について閾値以上の照合スコアが得られた場合に本人として認証してもよい。また、照合スコアに対して種類ごとに重みづけをして判定処理を行ってもよい。
【0084】
ステップS219において、管理サーバ2(照合部214)は、照合対象者の指紋画像について、指紋カテゴリが“その他”である生体情報DB21を照合先として指紋照合を実行する。
【0085】
ステップS220において、管理サーバ2(照合部214)は、指紋照合における照合スコアが閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2(照合部214)は、指紋照合における照合スコアが閾値以上である登録者が存在すると判定した場合(ステップS220:YES)には、処理はステップS226へ移行する。
【0086】
これに対し、管理サーバ2(照合部214)は、指紋照合における照合スコアが閾値以上である登録者は存在しないと判定した場合(ステップS220:NO)には、処理はステップS221へ移行する。
【0087】
ステップS221において、管理サーバ2(照合部214)は、照合対象者の虹彩画像について、虹彩カテゴリが“その他”である生体情報DB21を照合先として虹彩照合を実行する。
【0088】
ステップS222において、管理サーバ2(照合部214)は、虹彩照合における照合スコアが閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2(照合部214)は、虹彩照合における照合スコアが閾値以上である登録者が存在すると判定した場合(ステップS222:YES)には、処理はステップS226へ移行する。
【0089】
これに対し、管理サーバ2(照合部214)は、虹彩照合における照合スコアが閾値以上である登録者は存在しないと判定した場合(ステップS222:NO)には、処理はステップS223へ移行する。
【0090】
ステップS223において、管理サーバ2(照合部214)は、照合対象者の顔画像について、顔カテゴリが“その他”である生体情報DB21を照合先として顔照合を実行する。
【0091】
ステップS224において、管理サーバ2(照合部214)は、顔照合における照合スコアが閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2(照合部214)は、顔照合における照合スコアが閾値以上である登録者が存在すると判定した場合(ステップS224:YES)には、処理はステップS226へ移行する。
【0092】
これに対し、管理サーバ2(照合部214)は、顔照合における照合スコアが閾値以上である登録者は存在しないと判定した場合(ステップS224:NO)には、処理はステップS225へ移行する。
【0093】
ステップS225において、管理サーバ2(照合部214)は、照合対象者と一致する登録者は存在しないことから、認証失敗の情報を出力し、処理を終了する。
【0094】
ステップS226において、管理サーバ2(照合部214)は、照合対象者と登録者が同一人物であるとみなして認証成功の情報を出力し、処理を終了する。
【0095】
なお、
図11Bに示すフローチャートにおいては、カテゴリの組合せに対応する照合先の生体情報DB21との照合処理によって照合対象者を認証できなかった場合(ステップS218:NO)には、“その他”のカテゴリに対応する生体情報DB21との間で、指紋照合、虹彩照合、顔照合を順番に実行している。これは、照合精度が指紋照合、虹彩照合、顔照合の順に高い場合を考慮したものである。これにより、第1段階の照合処理(ステップS217)において照合対象者を認証できなかった場合でも、第2段階の照合処理(ステップS219、ステップS221、ステップS223)を効率的に実行することが可能になる。
【0096】
また、
図11Aにおいては、生体情報のカテゴリを特定する処理を、指紋、虹彩、顔の順番で直列に実行していたが、処理順序はこれに限られない。処理は、例えば、顔、指紋、虹彩の順序で実行されてもよい。同様に、
図11Bにおいては、3種類の照合処理の照合スコアの合計が所定の閾値未満の場合(ステップS218:NO)に、“その他”のカテゴリに対応する生体情報DB11を照合先とした照合処理及び照合スコアの判定処理を、指紋、虹彩、顔の順番で直列に実行していたが、処理順序はこれに限られない。処理は、例えば、顔、指紋、虹彩の順序で実行されてもよい。
【0097】
【0098】
図11Cにおいては、指紋カテゴリの特定処理(ステップS201~ステップS205)と、虹彩カテゴリの特定処理(ステップS206~ステップS210)と、顔カテゴリの特定処理(ステップS211~ステップS215)とが並列に実行されている。
【0099】
また、
図11Dにおいては、3種類の照合処理の照合スコアの合計が所定の閾値未満の場合(ステップS218:NO)には、指紋照合及び照合スコアの判定処理(ステップS219~ステップS220)と、虹彩照合及び照合スコアの判定処理(ステップS221~ステップS222)と、顔照合及び照合スコアの判定処理(ステップS223~ステップS224)とが並列に実行されている。
【0100】
そして、並列に実行された全ての照合処理が“照合スコア:閾値未満”で完了した場合(ステップS701:YES)には、認証失敗を出力し(ステップS225)、処理を終了する。一方、並列に実行された全種類の照合処理のいずれか1つにおいて照合スコアが閾値以上である場合(ステップS220:YES/ステップS222:YES/ステップS224:YES)には、認証成功を出力し(ステップS226)、処理を終了する。
【0101】
更に、
図11A~
図11Dのフローチャートは、例えば、
図11Aと
図11Dの組合せ、
図11Cと
図11Bの組合せのように、組合せを自由に変更することもできる。すなわち、生体情報のカテゴリの特定処理と、照合に関する処理(照合処理/照合スコアの判定処理)の少なくとも一方は並列でもよい。
【0102】
以上のように、本実施形態においては、登録対象者から取得された異なる種類の生体情報(指紋画像、虹彩画像、顔画像)は、生体情報の種類ごとに設定されたカテゴリのうちのいずれのカテゴリに属するのか特定された後、カテゴリの組合せパターンに対応する生体情報DB21に登録される。同様に、照合対象者から取得された異なる種類の生体情報(指紋画像、虹彩画像、顔画像)は、登録時と同じ手法によって種類ごとにカテゴリが特定される。これにより、照合処理の際には、照合対象者の生体情報が属するカテゴリの組合せパターンに基づいて照合先のデータベースを絞り込むことができ、1対N照合における照合速度が大幅に向上する。
【0103】
また、対象者の顔画像から抽出される特徴は、顔画像の照合処理における特徴量の算出アルゴリズムとは異なるアルゴリズムを用いて抽出されている。そして、顔画像のカテゴリは管理者等が肉眼でも容易に識別できるような外観上の特徴及び属性に対応している。このため、管理者は、データベースに顔画像が属性に基づいて適切に振り分けられた状態で登録されているか否かを容易に把握できる。
【0104】
また、カテゴリの組合せに対応するように、N個に小分けされた生体情報DB21が設けられている。このため、登録者の数が大幅に増加したとしても、複数のデータベースに分散して登録される。これにより、データベースの肥大化を抑制できるとともに、1対N照合における照合速度の低下を抑制できる効果を奏する。
【0105】
また、本実施形態におけるN個の生体情報DB21の中には、生体情報の特徴や特徴から推定された人物の属性が所定のカテゴリに該当しない場合を考慮した例外的なカテゴリ(“その他”)に対応するデータベースが含まれている。このため、照合対象者の生体情報から所望の特徴を抽出できなかった場合でも、カテゴリを“その他”に設定することで効率的に照合先を絞り込むことができる。
【0106】
[第2実施形態]
以下、第2実施形態について説明する。本実施形態は第1実施形態の変形例であるため、第1実施形態と同様の要素については説明を省略又は簡略化する場合がある。
【0107】
図13は、本実施形態に係る顔カテゴリ情報DB24が記憶する情報の一例を示す図である。
図13に示す顔カテゴリ情報DB24は、顔カテゴリIDの他に、2つの顔サブカテゴリIDをデータ項目として含んでいる点で
図7とは異なっている。顔サブカテゴリは、顔カテゴリを細分化するための情報である。例えば、顔カテゴリIDが“Face-10M”の顔カテゴリは、“10代・男性”であり、この顔カテゴリには2つの顔サブカテゴリ(“Face-10M-L”/“Face-10M-H”)が関連付けられている。顔サブカテゴリ(“Face-10M-L”)は、“10歳~14歳の男性”の属性に対応する。同様に、顔サブカテゴリ(“Face-10M-H”)は、“15歳~19歳の男性”の属性に対応する。
【0108】
図14は、本実施形態に係る生体認証システムにおいて行われる更新処理の概略を示すフローチャートである。この処理は、例えば所定の周期で自動的に開始されてもよいし、管理者からの要求に応じて開始されてもよい。なお、以下では顔カテゴリの細分化を例として説明するが、指紋カテゴリや虹彩カテゴリについても同様である。
【0109】
ステップS301において、管理サーバ2(登録部213)は、N個の生体情報DB21の各々について、顔カテゴリごとに登録者数を集計する。
【0110】
ステップS302において、管理サーバ2(登録部213)は、登録者数が所定の閾値以上の顔カテゴリがあるか否かを判定する。ここで、管理サーバ2(登録部213)が、登録者数が所定の閾値以上の顔カテゴリがあると判定した場合(ステップS302:YES)には、処理はステップS303に移行する。これに対し、管理サーバ2(登録部213)が、登録者数が所定の閾値以上の顔カテゴリはないと判定した場合(ステップS302:NO)には、処理は終了する。
【0111】
ステップS303において、管理サーバ2(登録部213)は、顔カテゴリ情報DB24を参照し、登録者数が閾値以上である顔カテゴリにサブカテゴリがあるか否かを判定する。ここで、管理サーバ2(登録部213)が、顔カテゴリにサブカテゴリがあると判定した場合(ステップS303:YES)には、処理はステップS304に移行する。これに対し、管理サーバ2(登録部213)が、顔カテゴリにサブカテゴリはないと判定した場合(ステップS303:NO)には、処理は終了する。
【0112】
ステップS304において、管理サーバ2(登録部213)は、該当する顔カテゴリに対応する生体情報DB21について、顔サブカテゴリに基づいてデータベースを分割する更新処理を実行し、処理を終了する。
【0113】
以上のように、本実施形態においては、登録者数が所定の閾値以上のカテゴリがある場合には、サブカテゴリに基づいてデータベースを小分けする処理を自動的に行う。これにより、第1実施形態と同様の効果が得られることに加え、データベースの肥大化に伴う照合速度の低下を抑制できる効果も奏する。
【0114】
[第3実施形態]
以下、第3実施形態について説明する。本実施形態は第1実施形態の変形例であるため、第1実施形態と同様の要素については説明を省略又は簡略化する場合がある。
【0115】
図15は、本実施形態に係る生体認証システムの機能ブロック図である。本実施形態の管理サーバ2は、第1実施形態の構成に加え、出力部216を更に備える。プロセッサ201は、ROM203、HDD204等に記憶されたプログラムをRAM202にロードして実行することで、出力部216として機能する。
【0116】
図16は、本実施形態に係る生体認証システムにおいて行われるアラート情報の出力処理の概略を示すフローチャートである。この処理は、例えば所定の周期で自動的に開始されてもよいし、管理者からの要求に応じて開始されてもよい。なお、指紋カテゴリ及び虹彩カテゴリについても
図16と同様の処理を行うことができる。この場合、“顔カテゴリ”を“指紋カテゴリ”又は“虹彩カテゴリ”に置き換えればよいため、詳細な説明は省略する。
【0117】
ステップS401において、管理サーバ2(登録部213)は、N個の生体情報DB21の各々について、顔カテゴリごとに登録者数を集計する。
【0118】
ステップS402において、管理サーバ2(登録部213)は、登録者数が所定の閾値以上の顔カテゴリがあるか否かを判定する。ここで、管理サーバ2が、登録者数が所定の閾値以上の顔カテゴリがあると判定した場合(ステップS402:YES)には、処理はステップS403に移行する。これに対し、管理サーバ2が、登録者数が所定の閾値以上の顔カテゴリはないと判定した場合(ステップS402:NO)には、処理は終了する。
【0119】
ステップS403において、管理サーバ2(出力部216)は、該当する顔カテゴリに対応する生体情報DB21について管理者に細分化を促すアラート情報を出力し、処理を終了する。アラート情報には、例えばデータベースIDと、該当するカテゴリのIDが含まれる。アラート情報の出力先は、例えば出力装置207や生体画像取得装置1である。
【0120】
以上のように、本実施形態においては、登録者数が所定の閾値以上のカテゴリがある場合には、管理者に対してアラート情報を自動的に出力する。これにより、第1実施形態と同様の効果が得られることに加え、管理者がデータベースの肥大化に対処することができる効果を奏する。
【0121】
[第4実施形態]
以下、第4実施形態について説明する。本実施形態は第1実施形態の変形例であるため、第1実施形態と同様の要素については説明を省略又は簡略化する場合がある。
【0122】
図17は、本実施形態に係る生体認証システムの機能ブロック図である。本実施形態の管理サーバ2は、第1実施形態の構成に加え、学習部217を更に備える。プロセッサ201は、ROM203、HDD204等に記憶されたプログラムをRAM202にロードして実行することで、学習部217として機能する。
【0123】
図18は、第4実施形態に係る学習部217が学習処理に用いるニューラルネットの一例を示す模式図である。
図18に示すニューラルネットワークは、複数のノードを有する入力層と、複数のノードを有する中間層と、1個のノードを有する出力層とを備える。
【0124】
入力層の各ノードには、入力値として顔画像から推定された対象者の年齢又は年齢の範囲を示す値が入力される。中間層の各ノードは、入力層の各ノードに接続される。中間層のノードに入力された入力値の各要素は、中間層の各ノードにおける演算に用いられる。中間層の各ノードは、例えば、入力層の各ノードから入力された入力値と、所定の重み付け係数と、所定のバイアス値とを用いて演算値を算出する。中間層の各ノードは、それぞれ出力層に接続され、算出した演算値を出力層のノードに出力する。出力層のノードは、中間層の各ノードから演算値が入力される。
【0125】
出力層のノードは、中間層の各ノードから入力された演算値と、重み付け係数と、バイアス値とを用いて顔照合における照合範囲を示す値を出力する。出力値は、教師データと比較される。本実施形態における教師データとしては、例えば、顔カテゴリの特定時に用いられる年齢推定アルゴリズムに基づいて複数人の顔画像から推定された年齢データと、各人物の実際の年齢データが用いられると好適である。なお、ニューラルネットワークを学習させる際には、例えば誤差逆伝播法が用いられる。
【0126】
具体的には、データを入力層に入力した場合の出力値と教師データから得られる出力値とを比較し、比較した2つの出力値の誤差を中間層にフィードバックする。これを誤差が所定の閾値を下回るまで繰り返す。このような学習処理により、ニューラルネットワーク(学習モデル)に、照合対象者の顔画像から推定された年齢が入力された場合には、顔照合における適切な照合範囲(年齢層)を示す値を出力できる。
【0127】
図19は、本実施形態に係る顔カテゴリと照合範囲との対照表の一例である。この対照表は、照合対象者の顔画像から推定された属性が属する顔カテゴリと、当該顔カテゴリが入力された場合に学習モデルが出力する照合範囲の関係を示している。例えば、顔画像から照合対象者の属性が“18歳・男性”と推定された場合には、顔カテゴリは“10代・男性”と特定される。この場合、学習モデルは照合範囲の顔カテゴリとして“10代・男性”だけでなく、“20代・男性”を出力する例が示されている。
【0128】
図20は、本実施形態に係る生体認証システムにおいて行われる照合処理の一部を示すフローチャートである。この処理は、例えば、上述した
図11AのステップS212とステップS216の間に実行される。
【0129】
ステップS213において、管理サーバ2(特定部212)は、推定された属性に対応する顔カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、属性に対応する顔カテゴリがあると判定した場合(ステップS213:YES)には、顔カテゴリを特定する(ステップS214)。その後、処理はステップS501へ移行する。
【0130】
ステップS501において、管理サーバ2(学習部217)は、ステップS214で特定された顔カテゴリを学習モデルに入力する。これにより、学習モデルは、照合対象者の顔画像との照合範囲とする顔カテゴリを出力する。
【0131】
ステップS502において、管理サーバ2(学習部217)は、学習モデルから出力された顔カテゴリを、照合対象者の顔画像との照合範囲として特定する。その後、処理はステップS216へ移行する。
【0132】
これに対し、管理サーバ2(特定部212)は、属性に対応する顔カテゴリはないと判定した場合(ステップS213:NO)には、顔カテゴリを“その他”として特定する(ステップS215)。すなわち、照合対象者の顔画像から得られた属性は、所定の顔カテゴリには分類できないため、例外的な特徴の分類先である“その他”の顔カテゴリに分類される。その後、処理はステップS216へ移行する。
【0133】
以上のように、本実施形態においては、顔画像の照合範囲を機械学習により作成された学習モデルに基づいて適切な範囲に自動的に更新することができる。これにより、第1実施形態と同様の効果が得られることに加え、顔照合の照合精度を更に向上できる効果を奏する。
【0134】
[第5実施形態]
以下、第5実施形態について説明する。本実施形態は第1実施形態の変形例であるため、第1実施形態と同様の要素については説明を省略又は簡略化する場合がある。
【0135】
図21A及び
図21Bは、本実施形態に係る生体認証システムにおいて行われる照合処理の概略を示すフローチャートである。
【0136】
ステップS601において、管理サーバ2(特定部212)は、生体画像取得装置1において照合対象者の指紋画像が取得されたか否かを判定する。ここで、管理サーバ2(特定部212)が、照合対象者の指紋画像が取得されたと判定した場合(ステップS601:YES)には、処理はステップS602へ移行する。
【0137】
これに対し、管理サーバ2(特定部212)が、照合対象者の指紋画像が取得されていないと判定した場合(ステップS601:NO)には、処理はステップS606へ移行する。
【0138】
ステップS602において、管理サーバ2(特定部212)は、生体画像取得装置1から取得された指紋画像を画像解析し、指紋画像の特徴を抽出する。
【0139】
ステップS603において、管理サーバ2(特定部212)は、抽出された特徴に対応する指紋カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、特徴に対応する指紋カテゴリがあると判定した場合(ステップS603:YES)には、指紋カテゴリを特定する(ステップS604)。その後、処理はステップS607へ移行する。
【0140】
これに対し、管理サーバ2(特定部212)は、特徴に対応する指紋カテゴリはないと判定した場合(ステップS603:NO)には、指紋カテゴリを“その他”として特定する(ステップS605)。すなわち、照合対象者の指紋画像から抽出された特徴が、所定の指紋カテゴリには分類できない場合には、例外的な特徴の分類先である“その他”の指紋カテゴリに分類される。その後、処理はステップS607へ移行する。
【0141】
ステップS606において、管理サーバ2(特定部212)は、全ての指紋カテゴリを選択する。その後、処理はステップS607へ移行する。
【0142】
ステップS607において、管理サーバ2(特定部212)は、生体画像取得装置1において照合対象者の虹彩画像が取得されたか否かを判定する。ここで、管理サーバ2(特定部212)が、照合対象者の虹彩画像が取得されたと判定した場合(ステップS607:YES)には、処理はステップS608へ移行する。
【0143】
これに対し、管理サーバ2(特定部212)が、照合対象者の虹彩画像が取得されていないと判定した場合(ステップS607:NO)には、処理はステップS612へ移行する。
【0144】
ステップS608において、管理サーバ2(特定部212)は、生体画像取得装置1から取得した虹彩画像を画像解析し、虹彩画像の特徴を抽出する。
【0145】
ステップS609において、管理サーバ2(特定部212)は、抽出された特徴に対応する虹彩カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、特徴に対応する虹彩カテゴリがあると判定した場合(ステップS609:YES)には、虹彩カテゴリを特定する(ステップS610)。その後、処理はステップS613へ移行する。
【0146】
これに対し、管理サーバ2(特定部212)は、特徴に対応する虹彩カテゴリはないと判定した場合(ステップS609:NO)には、虹彩カテゴリを“その他”として特定する(ステップS611)。すなわち、照合対象者の虹彩画像から抽出された特徴が、所定の虹彩カテゴリには分類できない場合には、例外的な特徴の分類先である“その他”の虹彩カテゴリに分類される。その後、処理はステップS613へ移行する。
【0147】
ステップS613において、管理サーバ2(特定部212)は、生体画像取得装置1において照合対象者の顔画像が取得されたか否かを判定する。ここで、管理サーバ2(特定部212)が、照合対象者の顔画像が取得されたと判定した場合(ステップS613:YES)には、処理はステップS614へ移行する。
【0148】
これに対し、管理サーバ2(特定部212)が、照合対象者の顔画像が取得されていないと判定した場合(ステップS613:NO)には、処理はステップS618へ移行する。
【0149】
ステップS614において、管理サーバ2(特定部212)は、生体画像取得装置1から受信した顔画像を画像解析し、顔画像の特徴を抽出すると、当該特徴に基づいて照合対象者の属性(年齢及び性別)を推定する。
【0150】
ステップS615において、管理サーバ2(特定部212)は、推定された属性に対応する顔カテゴリがあるか否かを判定する。ここで、管理サーバ2(特定部212)は、属性に対応する顔カテゴリがあると判定した場合(ステップS615:YES)には、顔カテゴリを特定する(ステップS616)。その後、処理はステップS619へ移行する。
【0151】
これに対し、管理サーバ2(特定部212)は、属性に対応する顔カテゴリはないと判定した場合(ステップS615:NO)には、顔カテゴリを“その他”として特定する(ステップS617)。すなわち、照合対象者の顔画像から得られた属性は、所定の顔カテゴリには分類できないため、例外的な特徴の分類先である“その他”の顔カテゴリに分類される。その後、処理はステップS619へ移行する。
【0152】
ステップS619において、管理サーバ2(照合部214)は、指紋画像、虹彩画像及び顔画像がそれぞれ属するカテゴリの組合せに基づいて照合先のデータベースを決定する。具体的には、管理サーバ2は、組合せに基づいて登録先情報DB25を参照し、N個の生体情報DB21のうちから、照合先のデータベースを1つ選択する。
【0153】
ステップS620において、管理サーバ2(照合部214)は、照合対象者から取得された3種類の生体画像について、指紋照合、虹彩照合及び顔照合をそれぞれ実行する。ただし、指紋画像、虹彩画像及び顔画像のうち、照合対象者から取得されていない生体情報については、その照合処理は省略されるものとする。
【0154】
ステップS621において、管理サーバ2(照合部214)は、照合先の生体情報DB21の中に、照合スコアの合計が閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2は、照合スコアの合計が閾値以上である登録者が存在すると判定した場合(ステップS621:YES)には、処理はステップS632へ移行する。
【0155】
これに対し、管理サーバ2(照合部214)は、照合スコアの合計が閾値以上である登録者は存在しないと判定した場合(ステップS621:NO)には、処理はステップS622に移行する。
【0156】
ステップS622において、管理サーバ2(特定部212)は、生体画像取得装置1において照合対象者の指紋画像が取得されたか否かを判定する。ここで、管理サーバ2(特定部212)が、照合対象者の指紋画像が取得されたと判定した場合(ステップS622:YES)には、処理はステップS623へ移行する。
【0157】
これに対し、管理サーバ2(特定部212)が、照合対象者の指紋画像が取得されていないと判定した場合(ステップS622:NO)には、処理はステップS625へ移行する。
【0158】
ステップS623において、管理サーバ2(照合部214)は、照合対象者の指紋画像について、指紋カテゴリが“その他”である生体情報DB21を照合先として指紋照合を実行する。
【0159】
ステップS624において、管理サーバ2(照合部214)は、指紋照合における照合スコアが閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2は、指紋照合における照合スコアが閾値以上である登録者が存在すると判定した場合(ステップS624:YES)には、処理はステップS632へ移行する。
【0160】
これに対し、管理サーバ2(照合部214)は、指紋照合における照合スコアが閾値以上である登録者は存在しないと判定した場合(ステップS624:NO)には、処理はステップS625へ移行する。
【0161】
ステップS625において、管理サーバ2(特定部212)は、生体画像取得装置1において照合対象者の虹彩画像が取得されたか否かを判定する。ここで、管理サーバ2(特定部212)が、照合対象者の虹彩画像が取得されたと判定した場合(ステップS625:YES)には、処理はステップS626へ移行する。
【0162】
これに対し、管理サーバ2(特定部212)が、照合対象者の虹彩画像が取得されていないと判定した場合(ステップS625:NO)には、処理はステップS628へ移行する。
【0163】
ステップS626において、管理サーバ2(照合部214)は、照合対象者の虹彩画像について、虹彩カテゴリが“その他”である生体情報DB21を照合先として虹彩照合を実行する。
【0164】
ステップS627において、管理サーバ2(照合部214)は、虹彩照合における照合スコアが閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2(照合部214)は、虹彩照合における照合スコアが閾値以上である登録者が存在すると判定した場合(ステップS627:YES)には、処理はステップS632へ移行する。
【0165】
これに対し、管理サーバ2(照合部214)は、虹彩照合における照合スコアが閾値以上である登録者は存在しないと判定した場合(ステップS627:NO)には、処理はステップS628へ移行する。
【0166】
ステップS628において、管理サーバ2(特定部212)は、生体画像取得装置1において照合対象者の顔画像が取得されたか否かを判定する。ここで、管理サーバ2(特定部212)が、照合対象者の顔画像が取得されたと判定した場合(ステップS628:YES)には、処理はステップS629へ移行する。
【0167】
これに対し、管理サーバ2(特定部212)が、照合対象者の顔画像が取得されていないと判定した場合(ステップS628:NO)には、処理はステップS631へ移行する。
【0168】
ステップS629において、管理サーバ2(照合部214)は、照合対象者の顔画像について、顔カテゴリが“その他”である生体情報DB21を照合先として顔照合を実行する。
【0169】
ステップS630において、管理サーバ2(照合部214)は、顔照合における照合スコアが閾値以上である登録者が存在するか否かを判定する。ここで、管理サーバ2(照合部214)は、顔照合における照合スコアが閾値以上である登録者が存在すると判定した場合(ステップS630:YES)には、処理はステップS632へ移行する。
【0170】
これに対し、管理サーバ2(照合部214)は、顔照合における照合スコアが閾値以上である登録者は存在しないと判定した場合(ステップS630:NO)には、処理はステップS631へ移行する。
【0171】
ステップS631において、管理サーバ2(照合部214)は、照合対象者と一致する登録者は存在しないとみなして認証失敗の情報を出力し、処理を終了する。
【0172】
ステップS632において、管理サーバ2(照合部214)は、照合対象者と登録者が同一人物であるとみなして認証成功の情報を出力し、処理を終了する。
【0173】
なお、上述したステップS622の処理は、ステップS620において指紋照合が実行されたか否かを判定する処理でもよい。同様に、ステップS625の処理は、ステップS620において虹彩照合が実行されたか否かを判定する処理でもよい。ステップS628の処理は、ステップS620において顔照合が実行されたか否かを判定する処理でもよい。
【0174】
また、
図21Aにおいては、生体情報のカテゴリを特定する処理(ステップS601~ステップS606/ステップS607~ステップS612/ステップS613~ステップS618)を、指紋、虹彩、顔の順番で直列に実行していたが、処理順序はこれに限られない。処理は、例えば、顔、指紋、虹彩の順序で実行されてもよい。
【0175】
同様に、
図21Bにおいては、3種類の照合処理の照合スコアの合計が所定の閾値未満の場合(ステップS621:NO)に、“その他”のカテゴリに対応する生体情報DB11を照合先とした照合処理及び照合スコアの判定処理を、指紋、虹彩、顔の順番で直列に実行していたが、処理順序はこれに限られない。処理は、例えば、顔、指紋、虹彩の順序で実行されてもよい。
【0176】
【0177】
図21Cにおいては、指紋カテゴリの特定処理(ステップS601~ステップS606)と、虹彩カテゴリの特定処理(ステップS607~ステップS612)と、顔カテゴリの特定処理(ステップS613~ステップS618)とが並列に実行されている。
【0178】
図21Dにおいては、3種類の照合処理の照合スコアの合計が閾値未満の場合(ステップS621:NO)には、指紋照合に関する処理グループ(ステップS622~ステップS624)と、虹彩照合に関する処理グループ(ステップS625~ステップS627)と、顔照合に関する処理グループ(ステップS628~ステップS630)とが並列に実行されている。
【0179】
そして、並列に実行された全ての照合処理が“照合スコア:閾値未満”で完了した場合(ステップS801:YES)には、認証失敗を出力し(ステップS631)、処理を終了する。一方、並列に実行された照合処理のいずれか1つにおいて照合スコアが閾値以上である場合(ステップS624:YES/ステップS627:YES/ステップS630)には、認証成功を出力し(ステップS632)、処理を終了する。
【0180】
更に、
図21A~
図21Dのフローチャートは、例えば、
図21Aと
図21Dの組合せ、
図21Cと
図21Bの組合せのように、組合せを自由に変更することもできる。すなわち、生体情報のカテゴリの特定処理と、照合に関する処理(照合前の判定処理/照合処理/照合スコアの判定処理)の少なくとも一方は並列でもよい。
【0181】
以上のように、本実施形態においては、3種類の生体情報のうち、一部の生体情報を取得できなかった場合には、取得できなかった種類の生体情報については全てのカテゴリを選択している。これにより、例えば、3種類の生体情報のうち、照合対象者から2種類の生体情報しか取得できなかった場合でも、取得できた種類の生体情報が属するカテゴリの組合せを利用しつつ、適切な照合先に対する照合処理を実行できる。すなわち、照合対象者から指紋画像(指紋カテゴリ:“渦巻き”)と顔画像(顔カテゴリ:“20代・男性”)のみが取得され、虹彩画像が取得されなかった場合には、指紋カテゴリと顔カテゴリの組合せ(指紋カテゴリ:“渦巻き”+顔カテゴリ:“20代・男性”+虹彩カテゴリ:指定なし)により絞り込んだ照合先に対して、指紋照合と顔照合を実行できる。
【0182】
[第6実施形態]
図22は、第6実施形態に係る情報処理装置100の機能ブロック図である。情報処理装置100は、取得部100Aと、特定部100Bと、登録部100Cとを備える。取得部100Aは、登録対象者から互いに異なる種類の複数の生体情報を取得する。特定部100Bは、複数の生体情報の各々が有する特徴に基づいて、複数の生体情報の各々が種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する。登録部100Cは、複数の生体情報及び複数の生体情報の各々が属するカテゴリを登録対象者ごとに関連付けて記憶領域に登録する。
【0183】
本実施形態によれば、マルチモーダル生体認証における照合速度を向上できる情報処理装置100が提供される。
[第7実施形態]
【0184】
図23は、第7実施形態に係る情報処理装置100の機能ブロック図である。本実施形態に係る情報処理装置100は、第6実施形態の構成に加えて、以下の構成を有する。本実施形態の特定部100Bは、複数の生体情報の照合処理時において種類ごとに抽出される特徴量とは異なる特徴を抽出する。
【0185】
本実施形態によれば、第6実施形態の効果が得られることに加えて、生体情報の照合処理時に算出される特徴量とは別の指標により、登録対象者の生体情報を簡単かつ高速に分類して登録できる情報処理装置100が提供される。例えば、登録対象者の虹彩の色を特徴として抽出する場合には、虹彩領域の画素値のみを判別すればよいため、虹彩の特徴量を算出するよりも高速に処理できる。更に、特徴量とは異なる特徴を管理者等が肉眼で識別できるカテゴリと対応付けて設定することにより、記憶領域の中でカテゴリの異なる生体情報が別のカテゴリに誤って登録されているか否かを容易に判別することも可能になる。
【0186】
[第8実施形態]
本実施形態に係る情報処理装置100は、第6実施形態又は第7実施形態の構成に加えて、以下の構成を有する。本実施形態の複数のカテゴリは、特徴に関して予め定義されている第1カテゴリと、特徴が第1カテゴリに該当しないことを示す第2カテゴリとを含む。
【0187】
本実施形態によれば、第6実施形態又は第7実施形態の効果が得られることに加えて、生体情報から抽出された特徴が第1カテゴリに当てはまらない特徴の場合にも、当該特徴のカテゴリを第2カテゴリと特定できる情報処理装置100が提供される。その結果、生体情報からどのような特徴が抽出された場合でも対応できるため、カテゴリの組合せに基づいて登録先の生体情報DB21を決定できる。
【0188】
[第9実施形態]
本実施形態に係る情報処理装置100は、第6実施形態から第8実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態のカテゴリには、特徴を細分化する複数のサブカテゴリが予め定義されている。また、登録部100Cは、登録者の数が所定の閾値を超えて関連付けられたカテゴリについて、複数のサブカテゴリのうち複数の生体情報及び複数の生体情報の各々が属するサブカテゴリを登録対象者ごとに関連付ける更新処理を実行する。
【0189】
本実施形態によれば、第6実施形態から第8実施形態のいずれかの効果が得られることに加えて、あるカテゴリに属する登録者の数が増加した場合に、当該カテゴリについてはサブカテゴリで分割するように生体情報DB21を更新できる情報処理装置100が提供される。これにより、生体情報DB21の肥大化に伴う、生体情報の照合処理の速度低下を抑制できる。
【0190】
[第10実施形態]
図24は、第10実施形態に係る情報処理装置100の機能ブロック図である。本実施形態に係る情報処理装置100は、第6実施形態から第8実施形態のいずれかの情報処理装置100に加えて、出力部100Dを更に備える。本実施形態の出力部100Dは、カテゴリに属する登録者の数が所定の閾値を超える場合に、カテゴリの細分化を促すアラート情報を出力する。
【0191】
本実施形態によれば、第6実施形態から第8実施形態のいずれかの効果が得られることに加えて、生体情報DB21の管理者等に対して一定レベル以上に肥大化した生体情報DB21の情報を通知できる情報処理装置100が提供される。管理者等に対してデータベースの更新作業を促すことにより、生体情報DB21の肥大化に伴う、生体情報の照合処理の速度低下を抑制できる。
【0192】
[第11実施形態]
図25は、第11実施形態に係る情報処理装置100の機能ブロック図である。本実施形態に係る情報処理装置100は、第6実施形態から第10実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の特定部100Bは、複数の生体情報の各々に対する画像解析処理によって判定された形状、色彩及び明暗のうちの少なくとも1つに基づいてカテゴリを特定する。
【0193】
本実施形態によれば、第6実施形態から第10実施形態のいずれかの効果が得られることに加えて、形状、色彩及び明暗のような外観上の特徴に基づいて生体情報を分類するためのカテゴリを特定して登録できる情報処理装置100が提供される。共通する外観上の特徴を有する生体情報は同一のカテゴリに属するように記憶領域に登録されるため、照合処理時における照合速度の向上を図ることができる。
【0194】
[第12実施形態]
図26は、第12実施形態に係る情報処理装置100の機能ブロック図である。本実施形態に係る情報処理装置100は、第6実施形態から第11実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の特定部100Bは、複数の生体情報が顔画像の場合に、顔画像が有する特徴から推定された登録対象者の年齢及び性別のうちの少なくとも1つに基づいてカテゴリを特定する。
【0195】
本実施形態によれば、第6実施形態から第11実施形態のいずれかの効果が得られることに加えて、顔画像から推定された年齢や性別のような属性情報に基づいて登録対象者の顔画像を分類して登録できる情報処理装置100が提供される。共通する外観上の特徴(属性)を有する生体情報は同一のカテゴリに属するように記憶領域に登録されるため、照合処理時における照合速度の向上を図ることができる。
【0196】
[第13実施形態]
本実施形態に係る情報処理装置100は、第6実施形態から第12実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の複数の生体情報は、生体画像を含む。
【0197】
本実施形態によれば、第6実施形態から第12実施形態のいずれかの効果が得られることに加えて、登録対象者を撮像した生体画像から外観上の特徴を抽出して生体画像を登録できる情報処理装置100が提供される。
【0198】
[第14実施形態]
本実施形態に係る情報処理装置100は、第13実施形態の構成に加えて、以下の構成を有する。本実施形態の生体画像は、指紋画像、虹彩画像及び顔画像の少なくとも2つを含む。
【0199】
本実施形態によれば、第13実施形態の効果が得られることに加えて、2以上の生体画像を組み合わせて登録対象者ごとに登録できる情報処理装置100が提供される。
【0200】
[第15実施形態]
図27は、第15実施形態に係る情報処理装置200の機能ブロック図である。情報処理装置200は、取得部200Aと、特定部200Bと、照合部200Cとを備える。取得部200Aは、照合対象者から互いに異なる種類の複数の生体情報を取得する。特定部200Bは、複数の生体情報の各々が有する特徴に基づいて、複数の生体情報の各々が種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する。照合部200Cは、特定部200Bによって特定されたカテゴリに基づいて照合先を決定し、複数の生体情報と登録者の複数の登録生体情報との照合処理を種類ごとに実行する。
【0201】
本実施形態によれば、マルチモーダル生体認証における照合速度を向上できる情報処理装置200が提供される。
【0202】
[第16実施形態]
本実施形態に係る情報処理装置200は、第15実施形態の構成に加えて、以下の構成を有する。本実施形態の照合部200Cは、複数の登録生体情報及び複数の登録生体情報が属するカテゴリを登録者ごとに関連付けた登録者情報のうち、特定部200Bで特定された種類ごとのカテゴリが全て一致する照合先に対して、照合処理を実行する。
【0203】
本実施形態によれば、第15実施形態の効果が得られることに加えて、照合対象者の生体情報と登録者の登録生体情報とが全種類において共通のカテゴリに属することを条件として照合処理を実行できる情報処理装置200が提供される。照合先が確実に絞り込まれることにより、照合処理時における照合速度の向上を図ることができる。
【0204】
[第17実施形態]
図28は、第17実施形態に係る情報処理装置200の機能ブロック図である。本実施形態に係る情報処理装置200は、第15実施形態又は第16実施形態の構成に加えて、以下の構成を有する。本実施形態の特定部200Bは、複数の生体情報の照合処理時において種類ごとに抽出される特徴量とは異なる特徴を抽出する。
【0205】
本実施形態によれば、第15実施形態又は第16実施形態の効果が得られることに加えて、生体情報の照合処理時に算出される特徴量とは別の指標により、照合対象者の生体情報を簡単かつ高速に分類して照合処理を実行できる情報処理装置200が提供される。例えば、照合対象者の虹彩の色を特徴として抽出する場合には、虹彩領域の画素値のみを判別すればよいため、虹彩の特徴量を算出するよりも高速な処理が期待できる。
【0206】
[第18実施形態]
本実施形態に係る情報処理装置200は、第15実施形態から第17実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の特定部200Bは、複数の生体情報に顔画像を含む場合に、顔画像から特定されたカテゴリと顔照合の照合範囲との関係を学習した学習モデルに基づいて、照合範囲を特定する。
【0207】
本実施形態によれば、第15実施形態から第17実施形態のいずれかの効果が得られることに加えて、照合先を柔軟に変更できる情報処理装置200が提供される。また、照合処理における入力データ及び出力データに基づいて学習モデルを繰り返し学習することにより、照合先をより高精度で特定できる効果を奏する。
【0208】
[第19実施形態]
本実施形態に係る情報処理装置200は、第15実施形態から第17実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の特定部200Bは、複数の生体情報に顔画像を含む場合に、顔画像から特定されたカテゴリと顔照合の照合範囲との関係を予め定義した対照表に基づいて、照合範囲を特定する。
【0209】
本実施形態によれば、第15実施形態から第17実施形態のいずれかの効果が得られることに加えて、照合先を柔軟に変更できる情報処理装置200が提供される。例えば、顔画像から年齢を正確に推定することが困難な場合でも、対称表において照合範囲を蓋然性の高い範囲に定義しておくことにより、適切な年齢層に対して照合処理を実行できる。
【0210】
[第20実施形態]
本実施形態に係る情報処理装置200は、第15実施形態から第19実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の照合部200Cは、複数の生体情報のうち、取得部200Aにおいて取得できなかった種類に関して全てのカテゴリを選択する。
【0211】
本実施形態によれば、第15実施形態から第19実施形態のいずれかの効果が得られることに加えて、互いに異なる種類の複数の生体情報のうち、いずれかの種類の生体情報を取得できない場合でも、照合先を絞り込んだ状態で照合処理を実行できる情報処理装置200が提供される。例えば、指紋画像、虹彩画像及び顔画像を用いるマルチモーダル認証において、照合対象者の虹彩画像が得られなかった場合には、虹彩画像の虹彩カテゴリを1つに特定せずに、全ての虹彩カテゴリを選択する。この場合にも、指紋画像及び顔画像についてカテゴリが特定されているため、照合先を絞り込み、照合処理時における照合速度の向上を図ることができる。
【0212】
[第21実施形態]
図29は、第21実施形態に係る情報処理装置200の機能ブロック図である。本実施形態に係る情報処理装置200は、第15実施形態から第20実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の特定部200Bは、複数の生体情報の各々に対する解析処理によって抽出された形状、色彩及び明度のうちの少なくとも1つに基づいてカテゴリを特定する。
【0213】
本実施形態によれば、第15実施形態から第20実施形態のいずれかの効果が得られることに加えて、形状、色彩及び明暗のような外観上の特徴に基づいて生体情報を分類するためのカテゴリを特定して照合処理を実行できる情報処理装置200が提供される。判定された特徴に基づいて照合先を絞り込めるため、照合処理時における照合速度の向上を図ることができる。
【0214】
[第22実施形態]
図30は、第22実施形態に係る情報処理装置200の機能ブロック図である。本実施形態に係る情報処理装置200は、第15実施形態から第21実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の特定部200Bは、複数の生体情報が顔画像の場合に、顔画像が有する特徴から推定された照合対象者の年齢及び性別のうちの少なくとも1つに基づいてカテゴリを特定する。
【0215】
本実施形態によれば、第15実施形態から第21実施形態のいずれかの効果が得られることに加えて、顔画像から推定された年齢や性別のような属性情報に基づいて登録対象者の顔画像をして照合処理を実行できる情報処理装置200が提供される。推定された年齢や性別に基づいて照合先を絞り込めるため、照合処理時における照合速度の向上を図ることができる。
【0216】
[第23実施形態]
図31は、第23実施形態に係る情報処理装置200の機能ブロック図である。本実施形態に係る情報処理装置200は、第15実施形態から第22実施形態のいずれかの情報処理装置200に加えて、複数の記憶部200Dを更に備える。本実施形態の複数の記憶部200Dは、複数の登録生体情報を、複数の登録生体情報の各々が属するカテゴリの組合せごとに分散して記憶する。
【0217】
本実施形態によれば、第15実施形態から第22実施形態のいずれかの効果が得られることに加えて、登録者の登録生体情報に関するカテゴリの組合せに対応して複数の記憶部200Dを設けることにより、照合対象者の生体情報に関するカテゴリの組合せが特定された場合には、照合先として1つの記憶部200Dに絞り込むことができる情報処理装置200が提供される。
【0218】
[第24実施形態]
図32は、第24実施形態に係る情報処理装置200の機能ブロック図である。本実施形態に係る情報処理装置200は、第15実施形態から第22実施形態のいずれかの情報処理装置200に加えて、記憶部200Eを更に備える。本実施形態の記憶部100Eは、複数の登録生体情報及び複数の登録生体情報の各々が属するカテゴリを登録者ごとに関連付けて一元的に記憶する。
【0219】
本実施形態によれば、第15実施形態から第22実施形態のいずれかの効果が得られることに加えて、全ての登録者の登録生体情報を種類ごとのカテゴリに分類した状態で一元的に管理できる情報処理装置200が提供される。
【0220】
[第25実施形態]
本実施形態に係る情報処理装置200は、第15実施形態から第24実施形態のいずれかの構成に加えて、以下の構成を有する。本実施形態の複数の生体情報は、生体画像を含む。
【0221】
本実施形態によれば、第15実施形態から第24実施形態のいずれかの効果が得られることに加えて、照合対象者を撮像した生体画像から外観上の特徴を抽出して照合処理を実行できる情報処理装置200が提供される。
【0222】
[第26実施形態]
本実施形態に係る情報処理装置200は、第25実施形態の構成に加えて、以下の構成を有する。本実施形態の生体画像は、指紋画像、虹彩画像及び顔画像の少なくとも2つを含む。
【0223】
本実施形態によれば、第25実施形態の効果が得られることに加えて、2以上の生体画像を組み合わせて照合処理を実行できる情報処理装置200が提供される。
【0224】
[変形実施形態]
本開示は、上述の実施形態に限定されることなく、本開示の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本開示の実施形態である。
【0225】
上述の各実施形態においては、生体情報として指紋画像、虹彩画像及び指紋画像の3種類が用いられたが、これらの生体情報はあくまでも一例であり、例示したものに限定されるものではない。また、画像以外の生体情報を用いてもよい。
【0226】
また、上述した各実施形態においては、ある登録者の登録生体情報が、N個の生体情報DB21のうち、カテゴリの組合せに対応するデータベースにのみ登録される構成について説明した。しかし、N個の生体情報DB21は、全ての登録者の登録生体情報を一元的に記憶する単一のデータベースとして構築してもよい。
【0227】
図33は、変形実施形態に係る生体情報DB21が記憶する情報の一例を示す図である。
図33に示す生体情報DB21は、指紋カテゴリ、虹彩カテゴリ及び顔カテゴリをデータ項目として更に含む点で
図4に示す生体情報DB21と異なっている。生体情報DB21を単一のデータベースとして構築した場合にも、
図33に示すように各生体情報とカテゴリとを関連付けて記憶することにより、上述した実施形態と同様の効果を奏する。
【0228】
また、上述した第4実施形態においては、学習モデルを用いて顔照合時の照合範囲を決定する構成について説明したが、学習モデルを用いる代わりに、管理者等によって事前に作成された
図19のような対称表を用いる構成にしてもよい。この場合、管理サーバ2(照合部214)は、推定された属性に基づいて対照表を参照し、顔照合における照合範囲を決定できる。
【0229】
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる1又は2以上の構成要素は、各構成要素の機能を実現するように構成されたASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の回路であってもよい。
【0230】
該記憶媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD(Compact Disk)-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS(Operating System)上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0231】
上述の各実施形態の機能により実現されるサービスは、SaaS(Software as a Service)の形態でユーザに対して提供することもできる。
【0232】
なお、上述の実施形態は、いずれも本開示を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、本開示はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0233】
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0234】
(付記1)
登録対象者から互いに異なる種類の複数の生体情報を取得する取得部と、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する特定部と、
前記複数の生体情報及び前記複数の生体情報の各々が属するカテゴリを前記登録対象者ごとに関連付けて記憶領域に登録する登録部と、
を備える情報処理装置。
【0235】
(付記2)
前記特定部は、前記複数の生体情報の照合処理時において前記種類ごとに抽出される特徴量とは異なる前記特徴を抽出する、
付記1に記載の情報処理装置。
【0236】
(付記3)
前記複数のカテゴリは、前記特徴に関して予め定義されている第1カテゴリと、前記特徴が前記第1カテゴリに該当しないことを示す第2カテゴリとを含む、
付記1又は2に記載の情報処理装置。
【0237】
(付記4)
前記カテゴリには、前記特徴を細分化する複数のサブカテゴリが予め定義されており、
前記登録部は、登録者の数が所定の閾値を超えて関連付けられた前記カテゴリについて、前記複数のサブカテゴリのうち前記複数の生体情報及び前記複数の生体情報の各々が属するサブカテゴリを前記登録対象者ごとに関連付ける更新処理を実行する、
付記1乃至3のいずれかに記載の情報処理装置。
【0238】
(付記5)
前記カテゴリに属する登録者の数が所定の閾値を超える場合に、前記カテゴリの細分化を促すアラート情報を出力する出力部、
を更に備える付記1乃至3のいずれかに記載の情報処理装置。
【0239】
(付記6)
前記特定部は、前記複数の生体情報の各々に対する画像解析処理によって判定された形状、色彩及び明暗のうちの少なくとも1つに基づいて前記カテゴリを特定する、
付記1乃至5のいずれかに記載の情報処理装置。
【0240】
(付記7)
前記特定部は、前記複数の生体情報が顔画像の場合に、前記顔画像が有する前記特徴から推定された前記登録対象者の年齢及び性別のうちの少なくとも1つに基づいて前記カテゴリを特定する、
付記1乃至6のいずれかに記載の情報処理装置。
【0241】
(付記8)
前記複数の生体情報は、生体画像を含む、
付記1乃至7のいずれかに記載の情報処理装置。
【0242】
(付記9)
前記生体画像は、指紋画像、虹彩画像及び顔画像の少なくとも2つを含む、
付記8に記載の情報処理装置。
【0243】
(付記10)
登録対象者から互いに異なる種類の複数の生体情報を取得するステップと、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、
前記複数の生体情報及び前記複数の生体情報の各々が属するカテゴリを前記登録対象者ごとに関連付けて記憶領域に登録するステップと、
情報処理方法。
【0244】
(付記11)
コンピュータに、
登録対象者から互いに異なる種類の複数の生体情報を取得するステップと、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、
前記複数の生体情報及び前記複数の生体情報の各々が属するカテゴリを前記登録対象者ごとに関連付けて記憶領域に登録するステップと、
を備える情報処理方法を実行させるためのプログラムが記憶された記憶媒体。
【0245】
(付記12)
照合対象者から互いに異なる種類の複数の生体情報を取得する取得部と、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定する特定部と、
前記特定部によって特定されたカテゴリに基づいて照合先を決定し、前記複数の生体情報と登録者の複数の登録生体情報との照合処理を前記種類ごとに実行する照合部と、
を備える情報処理装置。
【0246】
(付記13)
前記照合部は、前記複数の登録生体情報及び前記複数の登録生体情報が属する前記カテゴリを前記登録者ごとに関連付けた登録者情報のうち、前記特定部で特定された前記種類ごとの前記カテゴリが全て一致する前記照合先に対して、前記照合処理を実行する、
付記12に記載の情報処理装置。
【0247】
(付記14)
前記特定部は、前記複数の生体情報の照合処理時において前記種類ごとに抽出される特徴量とは異なる前記特徴を抽出する、
付記12又は13に記載の情報処理装置。
【0248】
(付記15)
前記特定部は、前記複数の生体情報に顔画像を含む場合に、前記顔画像から特定された前記カテゴリと顔照合の照合範囲との関係を学習した学習モデルに基づいて、前記照合範囲を特定する、
付記12乃至14のいずれかに記載の情報処理装置。
【0249】
(付記16)
前記特定部は、前記複数の生体情報に顔画像を含む場合に、前記顔画像から特定された前記カテゴリと顔照合の照合範囲との関係を予め定義した対照表に基づいて、前記照合範囲を特定する、
付記12乃至14のいずれかに記載の情報処理装置。
【0250】
(付記17)
前記照合部は、前記複数の生体情報のうち、前記取得部において取得できなかった前記種類に関して全てのカテゴリを選択する、
付記12乃至16のいずれかに記載の情報処理装置。
【0251】
(付記18)
前記特定部は、前記複数の生体情報の各々に対する解析処理によって抽出された形状、色彩及び明度のうちの少なくとも1つに基づいてカテゴリを特定する、
付記12乃至17のいずれかに記載の情報処理装置。
【0252】
(付記19)
前記特定部は、前記複数の生体情報が顔画像の場合に、前記顔画像が有する前記特徴から推定された前記照合対象者の年齢及び性別のうちの少なくとも1つに基づいてカテゴリを特定する、
付記12乃至18のいずれかに記載の情報処理装置
【0253】
(付記20)
前記複数の登録生体情報を、前記複数の登録生体情報の各々が属するカテゴリの組合せごとに分散して記憶する複数の記憶部、
を更に備える付記12乃至19のいずれかに記載の情報処理装置。
【0254】
(付記21)
前記複数の登録生体情報及び前記複数の登録生体情報の各々が属するカテゴリを前記登録者ごとに関連付けて一元的に記憶する記憶部、
を更に備える付記12乃至19のいずれかに記載の情報処理装置。
【0255】
(付記22)
前記複数の生体情報は、生体画像を含む、
付記12乃至21のいずれかに記載の情報処理装置。
【0256】
(付記23)
前記生体画像は、指紋画像、虹彩画像及び顔画像の少なくとも2つを含む、
付記22に記載の情報処理装置。
【0257】
(付記24)
照合対象者から互いに異なる種類の複数の生体情報を取得するステップと、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、
特定されたカテゴリに基づいて照合先を決定し、前記複数の生体情報と登録者の複数の登録生体情報との照合処理を前記種類ごとに実行するステップと、
を備える情報処理方法。
【0258】
(付記25)
コンピュータに、
照合対象者から互いに異なる種類の複数の生体情報を取得するステップと、
前記複数の生体情報の各々が有する特徴に基づいて、前記複数の生体情報の各々が前記種類ごとに設定された複数のカテゴリのうちのいずれに属するかを特定するステップと、
特定されたカテゴリに基づいて照合先を決定し、前記複数の生体情報と登録者の複数の登録生体情報との照合処理を前記種類ごとに実行するステップと、
を備える情報処理方法を実行させるためのプログラムが記憶された記憶媒体。
【符号の説明】
【0259】
NW・・・ネットワーク
1・・・生体画像取得装置
2・・・管理サーバ
21・・・生体情報組合せDB
22・・・指紋カテゴリ情報DB
23・・・虹彩カテゴリ情報DB
24・・・顔カテゴリ情報DB
25・・・登録先情報DB
100,200・・・情報処理装置
100A,200A・・・取得部
100B,200B・・・特定部
100C・・・登録部
200C・・・照合部
101,201・・・プロセッサ
102,202・・・RAM
103,203・・・ROM
104,204・・・HDD
105,205・・・通信I/F
106・・・操作装置
107・・・撮像装置
107a・・・可視光カメラ
107b・・・赤外光カメラ
108・・・表示装置
111・・・表示制御部
112・・・画像取得部
113・・・I/F部
206・・・入力装置
207・・・出力装置
211・・・I/F部
212・・・特定部
213・・・登録部
214・・・照合部
215・・・記憶部
216・・・出力部
217・・・学習部