(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-04
(45)【発行日】2024-12-12
(54)【発明の名称】情報処理システム、情報処理方法、生体照合システム、生体照合方法及び記憶媒体
(51)【国際特許分類】
G06V 40/00 20220101AFI20241205BHJP
G06T 7/00 20170101ALI20241205BHJP
【FI】
G06V40/00
G06T7/00 510B
(21)【出願番号】P 2023532871
(86)(22)【出願日】2021-07-05
(86)【国際出願番号】 JP2021025286
(87)【国際公開番号】W WO2023281571
(87)【国際公開日】2023-01-12
【審査請求日】2023-12-05
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】外山 祥明
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開2014-127164(JP,A)
【文献】特開2019-159974(JP,A)
【文献】特開平10-063858(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/06- 5/22
G06T 1/00, 1/60
G06T 7/00
G06V 40/00-40/70
(57)【特許請求の範囲】
【請求項1】
第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得する第1特徴量群取得手段と、
第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得する第2特徴量群取得手段と、
前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力する照合手段と、
を有し、
前記照合手段は、前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する
生体照合システム。
【請求項2】
前記所定値が設定された場合に算出される前記第1スコアは、照合対象の特徴量が無相関であることを示す値である
請求項1に記載の生体照合システム。
【請求項3】
前記照合手段は、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とのコサイン類似度に基づいて前記第1スコアを算出し、
前記所定値が設定された特徴量は、ゼロベクトルである
請求項1又は2に記載の生体照合システム。
【請求項4】
前記複数の身体部位は、複数の指、両手又は両目の虹彩である
請求項1乃至3のいずれか1項に記載の生体照合システム。
【請求項5】
第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得するステップと、
第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得するステップと、
前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力するステップと、
を有し、
前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される
、
生体照合システムによる生体照合方法。
【請求項6】
コンピュータに、
第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得するステップと、
第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得するステップと、
前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力するステップと、
を有し、
前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される
生体照合方法を実行させる生体照合プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、情報処理システム、情報処理方法、生体照合システム、生体照合方法及び記憶媒体に関する。
【背景技術】
【0002】
データから特徴を抽出するための種々の手法が検討されている。特許文献1には、指紋画像の隆線の方向を抽出する技術が開示されている。特許文献2には、機械学習を用いて入力データから特徴を抽出する技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】国際公開第2013/027572号
【文献】特開2020-052886号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1及び特許文献2に記載されている特徴抽出のような生体照合に関連する要素技術において、更なる改善が求められている。
【0005】
この開示は、より好適な生体照合を実現し得る情報処理システム、情報処理方法、生体照合システム、生体照合方法及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0006】
この開示の一観点によれば、方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得する画像情報取得手段と、前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力する出力手段と、を有する情報処理システムが提供される。
【0007】
この開示の他の一観点によれば、方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、を有する情報処理方法が提供される。
【0008】
この開示の他の一観点によれば、コンピュータに、方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、を有する情報処理方法を実行させる情報処理プログラムを記憶した記憶媒体が提供される。
【0009】
この開示の他の一観点によれば、第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得する第1特徴量群取得手段と、第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得する第2特徴量群取得手段と、前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力する照合手段と、を有し、前記照合手段は、前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する生体照合システムが提供される。
【0010】
この開示の他の一観点によれば、第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得するステップと、第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得するステップと、前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力するステップと、を有し、前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される生体照合方法が提供される。
【0011】
この開示の他の一観点によれば、コンピュータに、第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得するステップと、第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得するステップと、前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力するステップと、を有し、前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される生体照合方法を実行させる生体照合プログラムを記憶した記憶媒体が提供される。
【図面の簡単な説明】
【0012】
【
図1】第1実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【
図2】第1実施形態に係る情報処理装置の機能ブロック図である。
【
図3】第1実施形態に係る情報処理装置において行われる特徴量出力処理の概略を示すフローチャートである。
【
図5】画像情報ベクトルの第1成分を平面にマッピングした例を示す模式図である。
【
図6】画像情報ベクトルの第2成分を平面にマッピングした例を示す模式図である。
【
図7】第2実施形態に係るニューラルネットワークの模式図である。
【
図8】第3実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。
【
図9】第3実施形態に係る生体照合装置の機能ブロック図である。
【
図10】第3実施形態に係る生体照合装置において行われる照合処理の概略を示すフローチャートである。
【
図11】第3実施形態に係る第1特徴量群及び第2特徴量群を説明する表である。
【
図12】第5実施形態に係る情報処理装置の機能ブロック図である。
【
図13】第6実施形態に係る情報処理装置の機能ブロック図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、この開示の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。
【0014】
[第1実施形態]
第1実施形態の情報処理装置は、生体画像から特徴抽出を行って特徴量を出力する装置である。ここで、生体画像は、人物の指、人物の手のひら、人物の虹彩等の画像であり得る。また、生体画像は、指の指紋、手のひらの掌紋、指又は手のひらの内側の血管、虹彩の紋様等の紋様を含み得る。生体画像は、人物の指、人物の手のひら、虹彩等をカメラ、スキャナ等により撮影して取得されたものであってもよく、物体に遺留した紋様をカメラ、スキャナ等により撮影して取得されたものであってもよい。情報処理装置により抽出された特徴量は、指紋照合、掌紋照合、血管照合、虹彩照合等の生体照合に用いられ得る。情報処理装置による特徴抽出の処理は、人物を登録する際における登録者の特徴量の抽出と、照合の際における照合対象者の特徴量の抽出のいずれにも用いられ得る。
【0015】
図1は、情報処理装置1のハードウェア構成例を示すブロック図である。情報処理装置1は、例えば、PC(Personal Computer)、処理サーバ、スマートフォン、マイクロコンピュータ等のコンピュータであり得る。情報処理装置1は、プロセッサ101、メモリ102、通信I/F(Interface)103、入力装置104及び出力装置105を備える。なお、情報処理装置1の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
【0016】
プロセッサ101は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、FPGA(Field-Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)、TPU(Tensor Processing Unit)等の演算処理回路を1つ又は複数備える処理装置である。プロセッサ101は、メモリ102等に記憶されたプログラムに従って所定の演算を行うとともに、情報処理装置1の各部を制御する機能をも有する。
【0017】
メモリ102は、プロセッサ101の動作に必要な一時的なメモリ領域を提供する揮発性記憶媒体と、処理対象のデータ、情報処理装置1の動作プログラム等の情報を非一時的に記憶する不揮発性記憶媒体とを含み得る。揮発性記憶媒体の例としては、RAM(Random Access Memory)が挙げられる。不揮発性記憶媒体の例としては、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ等が挙げられる。
【0018】
通信I/F103は、イーサネット(登録商標)、Wi-Fi(登録商標)、Bluetooth(登録商標)等の規格に基づく通信インターフェースである。通信I/F103は、データサーバ、撮像装置等の他の装置との通信を行うためのモジュールである。
【0019】
入力装置104は、キーボード、ポインティングデバイス、ボタン等であって、ユーザが情報処理装置1を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。入力装置104は、カメラ、スキャナ等の撮像装置を含んでいてもよい。これらの撮像装置は、生体画像の取得に用いられ得る。
【0020】
出力装置105は、例えば、表示装置、スピーカ等のユーザに情報を提示する装置である。入力装置104及び出力装置105は、タッチパネルとして一体に形成されていてもよい。
【0021】
図1においては、情報処理装置1は、1つの装置により構成されているが、情報処理装置1の構成はこれに限定されるものではない。例えば、情報処理装置1は、1又は複数の装置によって構成される情報処理システムであってもよい。また、情報処理装置1にこれら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、第1実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、第1実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、メモリ102が、他の措置に設けられた記憶装置であるクラウドストレージを含んでいてもよい。このように情報処理装置1のハードウェア構成は適宜変更可能である。
【0022】
図2は、第1実施形態に係る情報処理装置1の機能ブロック図である。情報処理装置1は、画像情報取得部111及び特徴量出力部112を備える。
【0023】
プロセッサ101は、メモリ102に記憶されたプログラムを実行することで、所定の演算処理を行う。また、プロセッサ101は、当該プログラムに基づいて、メモリ102、通信I/F103、入力装置104及び出力装置105の各部を制御する。これらにより、プロセッサ101は、画像情報取得部111及び特徴量出力部112の機能を実現する。画像情報取得部111及び特徴量出力部112は、それぞれ、より一般的に画像情報取得手段及び出力手段と呼ばれることもある。
【0024】
図3は、第1実施形態に係る情報処理装置1において行われる特徴量出力処理の概略を示すフローチャートである。第1実施形態の特徴量出力処理は、例えば、ユーザ操作等により、情報処理装置1に特徴量出力処理の指令が行われた時点で開始される。しかしながら、第1実施形態の特徴量出力処理が行われるタイミングは、特に限定されるものではなく、情報処理装置1が生体画像を取得した時点であってもよく、生体照合の実行の指令がなされた時点であってもよい。なお、特徴量出力部112が機械学習モデルを含んでいる場合には、
図3の処理は学習用データを用いた機械学習モデルの学習の場面において行われるものであってもよく、学習済みの機械学習モデルを用いた特徴量算出の場面で行われるものであってもよい。
【0025】
ステップS11において、画像情報取得部111は、生体画像から方向情報と品質情報を抽出して取得する。方向情報と品質情報は、生体画像を構成する複数のピクセルの輝度値データに対して画像処理を行うことにより、ピクセルごと又は複数のピクセルを含む所定領域ごとに取得することができる。
【0026】
方向情報は、生体画像に含まれる紋様の特徴的な方向を示す情報である。例えば、生体画像が指紋画像である場合には、方向情報は、指紋の隆線が流れる方向(隆線の接線方向)を示すベクトルであり得る。例えば、生体画像が虹彩画像である場合には、方向情報は、虹彩の輝度値の勾配の方向を示すベクトルであり得る。
【0027】
品質情報は、上述の方向情報の抽出における品質の良否を示す情報である。例えば、生体画像にかすれ等が存在することにより紋様が不鮮明である場合、低品質であると判断される。また、指紋画像における背景部分(例えば、指が写っている部分の外側)のように、紋様の抽出ができない部分についても低品質であると判断される。
【0028】
生体画像が指紋画像である場合における品質情報の抽出方法の一例を説明する。品質情報の抽出用の複数種類のテンプレート画像をあらかじめ準備しておく。複数種類のテンプレート画像の各々は、方向又はピッチが互いに異なる縞模様を含んでいる。次に、指紋画像のうちの品質情報を抽出する領域を部分画像として選択する。この部分画像を複数種類のテンプレート画像の線形和によって再現するようにフィッティングを行い、フィッティングの回帰係数を最適化する。このようにして得られた回帰係数がゼロ以外であるテンプレート画像の個数に基づく評価値が部分画像の領域における品質情報として用いられ得る。部分画像内の隆線の方向及び太さが一様であるような場合、隆線は単純な紋様であるため少数のテンプレート画像によりフィッティングすることができる。このような場合、その領域には高い評価値が与えられ、方向情報の抽出に適した高品質な領域であると判定される。一方、部分画像内の隆線の方向及び太さが複雑である場合又は紋様が存在しない場合、フィッティングに多数のテンプレート画像を要する。このような場合、その領域には低い評価値が与えられ、方向情報の抽出に適さない低品質な領域であると判定される。なお、品質情報の抽出方法はこれに限られるものではなく、例えば、方向情報に沿う方向の輝度変動の累積値を品質の基準とするものであってもよい。
【0029】
ステップS12において、画像情報取得部111は、方向情報に対応付けられた方向と品質情報に対応付けられた長さとを有する画像情報ベクトルViを生成する。この画像情報ベクトルViは、ピクセルごと又は複数のピクセルを含む所定領域ごとに生成される。qを品質情報に相当するスカラー量の評価値とし、θを方向情報に相当する隆線の方向を示す角度とすると、画像情報ベクトルViは以下の式(1)で与えられる。
Vi=(q・cosθ,q・sinθ) (1)
【0030】
式(1)から理解されるように、画像情報ベクトルViの長さを|Vi|とすると、|Vi|=qである。したがって、画像情報ベクトルViは、方向情報を示す方向ベクトルにスカラー倍の演算を行うことで長さがqになるように調整したものである。例えば、方向ベクトルが単位ベクトルである場合には、方向ベクトルをq倍することにより、画像情報ベクトルViを算出することができる。なお、qは、0以上かつ1以下であることが望ましい。この場合、画像情報ベクトルViの各要素の範囲を-1以上かつ1以下に制限することができ、データを扱いやすくすることができる。
【0031】
ステップS12における画像情報ベクトルViの生成について、具体的な算出例を挙げつつ、より詳細に説明する。
図4は、指紋画像の例を示す模式図である。
図5は、画像情報ベクトルViの第1成分を平面にマッピングした例を示す模式図である。
図6は、画像情報ベクトルViの第2成分を平面にマッピングした例を示す模式図である。
【0032】
図4において、中央付近の縞模様は指紋の隆線を示している。指紋の外側の灰色の領域は、指紋が含まれない領域を示している。
図4に示されているように、指紋画像等の生体画像には、不鮮明な箇所及び外周領域が含まれる場合がある。
【0033】
図5は、画像情報ベクトルViの第1成分、すなわち、式(1)におけるq・cosθを指紋画像に対応するように平面にマッピングしたものを示している。
図5における各箇所の濃淡はq・cosθの値を示している。より具体的には、
図5において、黒色部分は-qに相当し、グレー部分はゼロに相当し、白色部分は+qに相当する。
図4と
図5を対比することで理解されるように、
図5の白色部分又は黒色部分は、
図4において隆線に横方向成分があり、かつ隆線が鮮明に現れている箇所を示している。また、外周のグレー部分は、指紋が含まれない領域である。そのため、外周においては、qの値はゼロに近い値である。
【0034】
図6は、画像情報ベクトルViの第2成分、すなわち、式(1)におけるq・sinθを指紋画像に対応するように平面にマッピングしたものを示している。
図6における各箇所の濃淡はq・sinθの値を示している。より具体的には、
図6において、黒色部分は-qに相当し、グレー部分はゼロに相当し、白色部分は+qに相当する。
図4と
図6を対比することで理解されるように、
図6の白色部分又は黒色部分は、
図4において隆線に縦方向成分があり、かつ隆線が鮮明に現れている箇所を示している。また、外周のグレー部分は、指紋が含まれない領域である。そのため、外周においては、qの値はゼロに近い値である。
【0035】
以上のように、画像情報ベクトルViは、生体画像の紋様の方向を示す情報に品質を示す情報が重畳された形で画像情報を保持している。
【0036】
ステップS13において、特徴量出力部112は、画像情報ベクトルViを入力データとして演算を行い、特徴量を出力する。なお、特徴量は、典型的にはベクトル量であり得る。
図3の処理が学習用データを用いた機械学習モデルの学習処理である場合には、出力された特徴量は、機械学習モデルの最適化用データとして用いられ得る。
図3の処理が学習済みの機械学習モデルを用いた特徴量算出の場面である場合には、出力された特徴量は、生体照合における照合用の入力データとして用いられ得る。
【0037】
以上のように、画像情報取得部111は、特徴量を出力する特徴量出力部112での処理の前処理として、生体画像から画像情報ベクトルViを生成する処理を行う。画像情報ベクトルViは、方向情報に対応付けられた方向を示す角度θと品質情報に対応付けられた長さqとを有している。この処理を行うことによる効果について説明する。
【0038】
図4に示されている指紋の外周部分のように、生体画像の中に特徴抽出に適さない領域が含まれている場合がある。特徴量の生成用の入力データに品質情報を含ませることで、そのような特徴抽出に適さない領域の影響が考慮された特徴量を生成することができる。しかしながら、品質を示す値そのものは、生体画像における生体の特徴を示すものではないため、特徴量を生成するアルゴリズムによっては、品質情報を入力データに組み込むことが難しい場合がある。
【0039】
これに対し、第1実施形態では、画像情報ベクトルViの角度θに方向情報を対応付け、長さqに品質情報を対応付けている。生体の特徴を示す角度θには影響を与えずに品質情報を組み込むことができる。また、品質情報に含まれる品質の評価値が低い場合に画像情報ベクトルViの長さが小さくなることから、特徴抽出において特徴抽出に適さない領域の寄与度が自動的に小さくなる。例えば、生体画像の外周部分では、品質の評価値が0に近く画像情報ベクトルViがほぼゼロベクトルであるため、特徴抽出への寄与度は小さい。このように、画像情報ベクトルViを特徴量出力部112に入力することにより、品質を考慮した特徴量の生成が行われ得る。したがって、第1実施形態によれば、従来より高精度な生体照合を実現し得る情報処理装置1が提供される。
【0040】
[第2実施形態]
以下、第2実施形態について説明する。第2実施形態では、第1実施形態の情報処理装置1をより具体化した例として、特徴量出力部112の機械学習モデルとしてニューラルネットワークを用いる例を示す。第1実施形態と同様の要素については説明を省略又は簡略化する場合がある。
【0041】
図7は、第2実施形態に係るニューラルネットワークの模式図である。第2実施形態において、特徴量出力部112は、ニューラルネットワークを有している。ニューラルネットワークは、入力層、中間層及び出力層を含む複数の層をなすように相互に接続された複数のノードNを有している。
【0042】
入力層には、画像情報取得部111により取得された画像情報ベクトルViが入力される。ある層の各ノードNは、1つ前の層の複数のノードNから入力される入力値と重み付け係数とバイアス値とを含む活性化関数による演算を行い、演算結果を次の層のノードNに出力する。出力層のノードNは、前の層のノードNからの入力に基づくデータを特徴量として出力する。
【0043】
なお、上述のニューラルネットワークの例では、特徴量出力部112に含まれ得る機械学習モデルとは、ニューラルネットワークの構造、活性化関数に含まれる重み付け係数及びバイアス値に相当する。また、学習とは、学習用データを用いて重み付け係数とバイアス値を適切に決定することに相当する。また、学習済みの機械学習モデルとは、重み付け係数とバイアス値が既に適切に決定されている機械学習モデルである。入力される画像情報ベクトルViから特徴を適切に抽出できるように学習を行うことにより、ニューラルネットワークは、画像情報ベクトルViから特徴量を生成することができる。
【0044】
ニューラルネットワークの入力層は、特徴抽出の対象データが入力されるよう構成されているため、特徴抽出の対象とは別のデータを更に入力することは難しい。したがって、生体の特徴を示す方向情報とは別個に品質情報を入力することは難しい。これに対し、第1実施形態で述べたように、画像情報ベクトルViには品質情報が組み込まれているため、画像情報ベクトルViを入力データとして用いることで、ニューラルネットワークの入力層に品質情報を含むデータをそのまま入力可能である。このように、第2実施形態のように機械学習モデルとしてニューラルネットワークを用いた特徴抽出において、第1実施形態の画像情報ベクトルViが好適に適用され得る。したがって、第2実施形態によれば、より好適な生体照合を実現し得る情報処理装置1が提供される。
【0045】
なお、
図7に示されているニューラルネットワークの模式図は図示の都合上簡略化されたものであり、実際の層数、ノード数等は図示されているものよりもはるかに大規模なものであり得る。また、
図7に示されているニューラルネットワークの例ではある層の1つのノードNに対して前の層の一部のノードNが接続されていない箇所があるが、ある層の各ノードNに対して前の層のすべてのノードNが接続されていてもよい。そのような層は全結合層と呼ばれることもある。
【0046】
また、特徴量出力部112は、ニューラルネットワークの一種である畳み込みニューラルネットワークを有していてもよい。畳み込みニューラルネットワークは、画像処理に有効であることが知られており、生体画像の処理に好適である。
【0047】
[第3実施形態]
以下、第3実施形態について説明する。第3実施形態の生体照合装置は、複数の特徴量を含む特徴量群同士を照合することにより、生体照合を行う装置である。複数の特徴量の各々は、第1実施形態又は第2実施形態の情報処理装置1を用いて生体情報から抽出されたものであってもよく、それら以外の特徴量抽出手段により生体情報から抽出されたものであってもよい。第1実施形態又は第2実施形態と同様の要素については説明を省略又は簡略化する場合がある。
【0048】
図8は、生体照合装置2のハードウェア構成例を示すブロック図である。生体照合装置2は、例えば、PC(Personal Computer)、処理サーバ、スマートフォン、マイクロコンピュータ等のコンピュータであり得る。情報処理装置1は、プロセッサ101、メモリ102、通信I/F(Interface)103、入力装置104及び出力装置105を備える。これらの各装置の構成は第1実施形態における情報処理装置1の構成と同様であるため説明を省略する。なお、生体照合装置2の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。
【0049】
図8においては、生体照合装置2は、1つの装置により構成されているが、生体照合装置2の構成はこれに限定されるものではない。例えば、生体照合装置2は、1又は複数の装置によって構成される生体照合システムであってもよい。また、生体照合装置2にこれら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、生体照合装置2の一部の機能がネットワークを介して他の装置により提供されてもよく、第3実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、メモリ102が、他の措置に設けられた記憶装置であるクラウドストレージを含んでいてもよい。このように生体照合装置2のハードウェア構成は適宜変更可能である。
【0050】
生体照合装置2は、第1実施形態又は第2実施形態の情報処理装置1と共通化された単一のハードウェアにより構成されていてもよい。また、生体照合装置2は、第1実施形態又は第2実施形態の情報処理装置1と通信可能に接続され、一体化されたシステムを構成していてもよい。これらの構成において、第1実施形態又は第2実施形態の情報処理装置1から出力された特徴量は、生体照合装置2に入力され得る。
【0051】
図9は、第3実施形態に係る生体照合装置2の機能ブロック図である。生体照合装置2は、第1特徴量群取得部121、第2特徴量群取得部122及び照合部123を備える。
【0052】
プロセッサ101は、メモリ102に記憶されたプログラムを実行することで、所定の演算処理を行う。また、プロセッサ101は、当該プログラムに基づいて、メモリ102、通信I/F103、入力装置104及び出力装置105の各部を制御する。これらにより、プロセッサ101は、第1特徴量群取得部121、第2特徴量群取得部122及び照合部123の機能を実現する。第1特徴量群取得部121、第2特徴量群取得部122及び照合部123は、それぞれ、より一般的に第1特徴量群取得手段、第2特徴量群取得手段及び照合手段と呼ばれることもある。
【0053】
図10は、第3実施形態に係る生体照合装置2において行われる照合処理の概略を示すフローチャートである。第3実施形態の照合処理は、例えば、ユーザ操作等により、生体照合装置2に照合処理の指令が行われた時点で開始される。しかしながら、第3実施形態の照合処理が行われるタイミングは、特に限定されるものではなく、生体照合装置2に特徴量が入力された時点であってもよい。
【0054】
なお、
図10のフローチャートでは、生体照合装置2は、第1対象者と第2対象者が同一人物であるか否かの判定に用いられるスコア(後述の第2スコア)を算出する装置であるものとする。第1対象者と第2対象者がどのような属性の人物であるかは特に限定されるものではないが、例えば、第1対象者と第2対象者はそれぞれ照合対象者と事前登録者であり得る。例えば、生体照合装置2が扉の通行許可の判定に用いられる場合には、第1対象者は扉の通行者であり、第2対象者は扉の通行権限を有する人物としてあらかじめ登録されている登録者であり得る。また、生体照合に用いられる特徴量は、あらかじめ生体画像等から抽出済みのものがメモリ102等の記憶媒体に記憶されているものとするが、
図10のフローチャートの処理の前に一連の処理として生体画像及び特徴量の抽出が併せて行われてもよい。
【0055】
ステップS21において、第1特徴量群取得部121は、複数の特徴量を含む第1特徴量群を取得する。そして、ステップS22において、第2特徴量群取得部122は、複数の特徴量を含む第2特徴量群を取得する。複数の特徴量は、上述のように生体画像等から抽出済みのものがあらかじめ記憶媒体に記憶されていてもよい。その場合、第1特徴量群取得部121及び第2特徴量群取得部122は、記憶媒体から複数の特徴量を読み出すことにより第1特徴量群及び第2特徴量群を取得する。この複数の特徴量は、第1対象者又は第2対象者の複数の身体部位からそれぞれ抽出されたものである。複数の身体部位とは例えば、複数の指、両手、両目の虹彩等であり得る。複数の指、両手、両目の虹彩等の画像から指紋、掌紋、虹彩の紋様等の特徴を抽出することにより、複数の身体部位にそれぞれ対応する複数の特徴量が生成される。複数の指とは、例えば両手の十指であり得るが、両手の親指等であってもよい。
【0056】
図11は、第3実施形態に係る第1特徴量群及び第2特徴量群を説明する表である。
図11には、第1特徴量群及び第2特徴量群が両手の十指から取得された特徴量を含む場合のデータの構成を示している。
図11に示されているように、第1特徴量群は、複数の特徴量F1[1]、F1[2]、…、F1[10]を含む。例えば、特徴量F1[1]は、第1対象者の右手の親指の画像から抽出された特徴量である。第2特徴量群は、複数の特徴量F2[1]、F2[2]、…、F2[10]を含む。例えば、特徴量F2[1]は、第2対象者の右手の親指の画像から抽出された特徴量である。このように、複数の身体部位の各々に対応する第1対象者及び第2対象者の特徴量が取得される。第1特徴量群及び第2特徴量群は特徴量が取得された身体部位と対応付けられているので、同じ身体部位の特徴量同士を照合可能である。
【0057】
ステップS23において、照合部123は、第1特徴量群及び第2特徴量群の少なくとも一方に欠落している特徴量があるか否かを判定する。第1特徴量群及び第2特徴量群の少なくとも一方に欠落している特徴量がある場合(ステップS23のYES)、処理はステップS24に移行する。第1特徴量群及び第2特徴量群のいずれにも欠落している特徴量がない場合(ステップS23のNO)、処理はステップS25に移行する。ここで、特徴量の欠落の具体例としては、十指のうちのいくつかの指の画像が取得されておらず特徴量が抽出できない場合、いくつかの指の画像が不鮮明で十分な精度の特徴量が取得できない場合等が挙げられる。
【0058】
ステップS24において、照合部123は、欠落している特徴量に所定値を設定する。その後、処理はステップS25に移行する。
【0059】
ステップS25において、照合部123は、身体部位ごとに第1特徴量群と第2特徴量群の対応する特徴量を照合する。そして、照合部123は、身体部位ごとに第1スコアを生成する。
【0060】
ステップS26において、照合部123は、身体部位ごとの第1スコアを合算して第2スコアを生成する。そして、照合部123は第2スコアを出力する。第2スコアは、例えば、第1対象者と第2対象者が同一人物であるか否かの判定に用いられる。例えば、第2スコアが所定の閾値以上である場合に第1対象者と第2対象者が同一人物であると判定されてもよく、第2スコアが所定の閾値未満である場合に第1対象者と第2対象者が別の人物であると判定されてもよい。このような第2スコアに基づく判定処理は、生体照合装置2内で行われてもよく、別の判定装置で行われてもよい。
【0061】
以上のように、第3実施形態では、複数の特徴量を含む特徴量群同士を照合する照合手法において、欠落している特徴量がある場合にも照合を行うことができる。また、欠落している特徴量がある場合にも第1スコア及び第2スコアの生成のための照合アルゴリズムを切り変える必要がなく、同じアルゴリズムをそのまま援用できるため、照合アルゴリズムの切り替えの条件分岐を不要にすることができ、処理が簡略化される。したがって、第3実施形態によれば、より好適な生体照合を実現し得る生体照合装置2が提供される。
【0062】
ステップS24において設定される所定値は任意であるが、所定値は、第1スコアが照合対象の特徴量が無相関であることを示すような値に設定されることが望ましい。このように設定することで、所定値に基づいて算出された第1スコアがステップS26における合算処理において第2スコアの値に影響を与えないようにすることができる。
【0063】
[第4実施形態]
以下、第4実施形態について説明する。第4実施形態の生体照合装置は、第3実施形態の照合部123において行われる演算処理をより具体化した例である。第1実施形態乃至第3実施形態と同様の要素については説明を省略又は簡略化する場合がある。
【0064】
図10のステップS24、S25、S26の処理以外については第3実施形態と同様であるため説明を省略する。ステップS25、S26の処理において、第4実施形態の照合部123は、コサイン類似度に基づいて第1スコア及び第2スコアを算出する。
【0065】
第1特徴量群に含まれる複数の特徴量をF1[1]、F1[2]、…、F1[n]とし、第2特徴量群に含まれる複数の特徴量をF2[1]、F2[2]、…、F2[n]とする。また、F1[1]、F1[2]、…、F1[n]、F2[1]、F2[2]、…、F2[n]の各々はベクトル量であるものとする。ここで、nは特徴量が抽出される複数の身体部位の個数である。例えば、複数の身体部位が十指である場合にはnは10である。複数の身体部位が両目の虹彩である場合にはnは2である。
【0066】
コサイン類似度cos(a,b)は、以下の式(2)で表される。ただし、a・bは、ベクトルaとベクトルbの内積であり、|a|は、ベクトルaの長さである。
cos(a,b)=(a・b)/(|a||b|) (2)
【0067】
各ベクトルの長さが1に正規化されている場合(すなわち単位ベクトルである場合)には、式(2)は以下の式(3)のように簡略化される。この場合、コサイン類似度cos(a,b)は内積a・bと同視することができる。この演算は積和演算であり、コンピュータを用いて高速に計算を行うことができる。
cos(a,b)=a・b (3)
【0068】
上述の式(3)のように、コサイン類似度はベクトル同士のなす角度の近さを表現するものである。2つの特徴量のコサイン類似度が1に近いほど両者は類似しているといえ、コサイン類似度が0である場合には両者は無相関であるといえる。また、コサイン類似度は-1から1までの値であるため、第4実施形態のように複数の身体部位についてスコアを算出する場合においては、各身体部位のコサイン類似度を合算することで、複数の身体部位の照合結果を容易に統合することができる。
【0069】
第4実施形態では、ステップS25において算出される第1スコアは、第1特徴量群に含まれる特徴量と第2特徴量群に含まれる特徴量のコサイン類似度である。また、ステップS26において算出される第2スコアは、各特徴量のコサイン類似度を複数の身体部位について合算したものである。ステップS25の処理とステップS26の処理をまとめると、第2スコアSC2は以下の式(4)で表される。ただし、kは1からnまでの整数であり、各特徴量の長さはすべて1に正規化されており、Σはkが1からnまでの項の和を意味するものとする。なお、式(4)において、F1[k]・F2[k]は第1スコアに相当する。
SC2=Σ(F1[k]・F2[k]) (4)
【0070】
また、第4実施形態では、ステップS24において欠落している特徴量に与えられる所定値はゼロベクトルである。F1[k]とF2[k]のうちの一方がゼロベクトルである場合には、F1[k]・F2[k]はゼロである。そのため、欠落している特徴量に対応する第1スコアはゼロである。これは、コサイン類似度の性質により、F1[k]とF2[k]が無相関であることを示している。したがって、欠落している特徴量が演算結果に影響を与えないように無効化して第2スコアを算出することができる。
【0071】
以上のように、第4実施形態においては、コサイン類似度をスコアの算出に適用した場合において、欠落している特徴量をゼロベクトルに設定することにより、条件分岐によりスコアの計算式を変更しなくても欠落している特徴量を無効化することができる。したがって、第4実施形態によれば、より好適な生体照合を実現し得る生体照合装置2が提供される。
【0072】
上述の実施形態において説明した装置又はシステムは以下の第5実施形態又は第6実施形態のようにも構成することができる。
【0073】
[第5実施形態]
図12は、第5実施形態に係る情報処理システム3の機能ブロック図である。情報処理システム3は、画像情報取得手段311及び出力手段312を備える。画像情報取得手段311は、方向情報と方向情報の品質を示す品質情報とを生体画像から取得する。出力手段312は、方向情報に対応付けられた方向と、品質情報に対応付けられた長さとを有するベクトルが入力されることにより生体画像の特徴量を出力する。
【0074】
第5実施形態によれば、より好適な生体照合を実現し得る情報処理システム3が提供される。
【0075】
[第6実施形態]
図13は、第6実施形態に係る生体照合システム4の機能ブロック図である。生体照合システム4は、第1特徴量群取得手段421、第2特徴量群取得手段422及び照合手段423を備える。第1特徴量群取得手段421は、第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得する。第2特徴量群取得手段422は、第2対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得する。照合手段423は、複数の身体部位の各々について、第1特徴量群に含まれる特徴量と、第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、複数の身体部位にそれぞれ対応する複数の第1スコアを合算して得られた第2スコアを出力する。照合手段423は、第1特徴量群及び第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する。
【0076】
第6実施形態によれば、より好適な生体照合を実現し得る生体照合システム4が提供される。
【0077】
[変形実施形態]
この開示は、上述の実施形態に限定されることなく、この開示の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、この開示の実施形態である。
【0078】
上述の第1実施形態又は第2実施形態において、生体画像は、指紋、掌紋又は血管の画像であることが望ましい。生体画像がこれらの画像である場合には、生体画像から取得され得る方向情報は、指紋又は掌紋に含まれる隆線の方向、あるいは血管部分の濃淡により現れる線の方向である。これらの方向情報からベクトルを抽出する場合には、方向成分には特徴が含まれているが、長さ成分には特徴が含まれない。したがって、第1実施形態又は第2実施形態のようにベクトルの長さに品質情報を組み込んでも特徴抽出の性能は劣化しない。したがって、第1実施形態又は第2実施形態の構成は、生体画像が指紋、掌紋又は血管の画像である場合に好適である。
【0079】
また、第1実施形態又は第2実施形態において、生体画像は、虹彩の画像であることも望ましい。生体画像が虹彩の画像である場合には、生体画像から取得され得る方向情報は、虹彩の輝度勾配の方向である。これらの方向情報からベクトルを抽出する場合には、方向成分には多くの特徴が含まれているが、長さ成分、すなわち勾配の大きさに含まれる特徴はさほど多くない。したがって、第1実施形態又は第2実施形態のようにベクトルの長さに品質情報を組み込んでも特徴抽出の性能はさほど劣化しない。したがって、第1実施形態又は第2実施形態の構成は、生体画像が虹彩の画像である場合も好適である。
【0080】
上述の第3実施形態又は第4実施形態において、複数の身体部位は、複数の指、両手又は両目の虹彩であることが望ましい。生体画像がこれらの画像である場合には、同種部位から特徴量を複数個取得することができるため、1つの部位の特徴量に欠落があった場合であっても他の部位の特徴量で補完できる可能性が高い。したがって、第3実施形態又は第4実施形態の構成は、複数の身体部位が複数の指、両手又は両目の虹彩である場合に好適である。
【0081】
上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる1又は2以上の構成要素は、各構成要素の機能を実現するように構成されたASIC、FPGA等の回路であってもよい。
【0082】
該記憶媒体としては例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD(Compact Disk)-ROM、磁気テープ、不揮発性メモリカード、ROMを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、OS(Operating System)上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0083】
上述の各実施形態の機能により実現されるサービスは、SaaS(Software as a Service)の形態でユーザに対して提供することもできる。
【0084】
なお、上述の実施形態は、いずれもこの開示を実施するにあたっての具体化の例を示したものに過ぎず、これらによってこの開示の技術的範囲が限定的に解釈されてはならないものである。すなわち、この開示はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0085】
上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0086】
(付記1)
方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得する画像情報取得手段と、
前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力する出力手段と、
を有する情報処理システム。
【0087】
(付記2)
前記生体画像は、指紋、掌紋又は血管の画像であり、
前記方向情報は、前記指紋、前記掌紋又は前記血管による線の方向を示す
付記1に記載の情報処理システム。
【0088】
(付記3)
前記生体画像は、虹彩の画像であり、
前記方向情報は、前記虹彩の輝度勾配の方向を示す
付記1に記載の情報処理システム。
【0089】
(付記4)
前記出力手段は、入力層及び出力層を有するニューラルネットワークを含み、
前記ベクトルは、前記入力層に入力され、
前記特徴量は、前記出力層から出力される
付記1乃至3のいずれか1項に記載の情報処理システム。
【0090】
(付記5)
方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、
前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、
を有する情報処理方法。
【0091】
(付記6)
コンピュータに、
方向情報と前記方向情報の品質を示す品質情報とを生体画像から取得するステップと、
前記方向情報に対応付けられた方向と、前記品質情報に対応付けられた長さとを有するベクトルが入力されることにより前記生体画像の特徴量を出力するステップと、
を有する情報処理方法を実行させる情報処理プログラムを記憶した記憶媒体。
【0092】
(付記7)
第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得する第1特徴量群取得手段と、
第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得する第2特徴量群取得手段と、
前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力する照合手段と、
を有し、
前記照合手段は、前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値を設定する
生体照合システム。
【0093】
(付記8)
前記所定値が設定された場合に算出される前記第1スコアは、照合対象の特徴量が無相関であることを示す値である
付記7に記載の生体照合システム。
【0094】
(付記9)
前記照合手段は、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とのコサイン類似度に基づいて前記第1スコアを算出し、
前記所定値が設定された特徴量は、ゼロベクトルである
付記7又は8に記載の生体照合システム。
【0095】
(付記10)
前記複数の身体部位は、複数の指、両手又は両目の虹彩である
付記7乃至9のいずれか1項に記載の生体照合システム。
【0096】
(付記11)
第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得するステップと、
第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得するステップと、
前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力するステップと、
を有し、
前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される
生体照合方法。
【0097】
(付記12)
コンピュータに、
第1対象者の複数の身体部位からそれぞれ抽出された複数の特徴量を含む第1特徴量群を取得するステップと、
第2対象者の前記複数の身体部位からそれぞれ抽出された複数の特徴量を含む第2特徴量群を取得するステップと、
前記複数の身体部位の各々について、前記第1特徴量群に含まれる特徴量と、前記第2特徴量群に含まれる特徴量とを照合して第1スコアを算出し、前記複数の身体部位にそれぞれ対応する複数の前記第1スコアを合算して得られた第2スコアを出力するステップと、
を有し、
前記第1特徴量群及び前記第2特徴量群のうちの少なくとも一方において一部の特徴量が欠落している場合に、欠落している特徴量に所定値が設定される
生体照合方法を実行させる生体照合プログラムを記憶した記憶媒体。
【符号の説明】
【0098】
1 情報処理装置
2 生体照合装置
3 情報処理システム
4 生体照合システム
101 プロセッサ
102 メモリ
103 通信I/F
104 入力装置
105 出力装置
111 画像情報取得部
112 特徴量出力部
121 第1特徴量群取得部
122 第2特徴量群取得部
123 照合部
311 画像情報取得手段
312 出力手段
421 第1特徴量群取得手段
422 第2特徴量群取得手段
423 照合手段