特開 2023-124183 生体認証装置、生体認証システム、及び生体認証方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023124183

(43)【公開日】2023-09-06

(54)【発明の名称】生体認証装置、生体認証システム、及び生体認証方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230830BHJP

【ＦＩ】

G06T7/00 510D

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022027801

(22)【出願日】2022-02-25

(71)【出願人】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001678

【氏名又は名称】藤央弁理士法人

(72)【発明者】

【氏名】安村 慶子

(72)【発明者】

【氏名】藤尾 正和

(72)【発明者】

【氏名】中村 渉

(72)【発明者】

【氏名】加賀 陽介

(72)【発明者】

【氏名】高橋 健太

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043AA09

5B043BA04

5B043DA05

5B043EA05

5B043EA14

5B043EA15

5B043FA07

5B043GA02

(57)【要約】

【課題】生体認証において、任意の形式の特徴量を利用可能であり、かつ生体情報に対する遮蔽領域による認証精度の低下を抑制する。
【解決手段】生体認証装置は、生体情報が撮像された認証用画像と、登録用テンプレートと、登録用遮蔽領域と、を保持し、登録用遮蔽領域は、登録用画像内の生体情報を遮蔽する遮蔽領域に基づいて生成され、登録用テンプレートは、登録用遮蔽領域に基づいて抽出された登録用画像内の生体情報の登録用特徴量、から生成され、生体認証装置は、認証用画像内の生体情報を遮蔽する遮蔽領域と、登録用遮蔽領域と、に基づいて、認証用画像内の生体情報の認証用特徴量を抽出し、認証用特徴量に基づいて認証用テンプレートを生成し、登録用テンプレートと認証用テンプレートとに基づいて認証を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

生体認証装置であって、
プロセッサとメモリとを含み、
前記メモリは、生体情報が撮像された認証用画像と、登録用テンプレートと、登録用遮蔽領域と、を保持し、
前記登録用遮蔽領域は、登録用画像に撮像された生体情報を遮蔽する遮蔽領域に基づいて生成された領域であり、
前記登録用テンプレートは、前記登録用遮蔽領域に基づいて抽出された前記登録用画像の生体情報の登録用特徴量、から生成されたものであり、
前記プロセッサは、
前記認証用画像に撮像された生体情報及び当該生体情報を遮蔽する遮蔽領域を検出し、
前記検出した遮蔽領域と、前記登録用遮蔽領域と、に基づいて、当該生体情報の認証用特徴量を抽出し、
前記認証用特徴量に基づいて認証用テンプレートを生成し、
前記登録用テンプレートと前記認証用テンプレートとに基づいて認証を実行する、生体認証装置。

【請求項2】

請求項１に記載の生体認証装置であって、
前記登録用遮蔽領域は、前記登録用画像に撮像された生体情報を遮蔽する遮蔽領域と、生体情報に対する遮蔽が発生し得る領域を示す所定の想定遮蔽領域と、が融合された領域であり、
前記登録用特徴量は、前記登録用遮蔽領域に基づいて前記登録用画像に撮像された生体から抽出されたものである、生体認証装置。

【請求項3】

請求項１に記載の生体認証装置であって、
前記登録用遮蔽領域は、前記登録用画像に撮像された生体情報を遮蔽する遮蔽領域である、生体認証装置。

【請求項4】

請求項２又は３に記載の生体認証装置であって、
前記プロセッサは、
前記検出した遮蔽領域の画素値を、前記認証用画像に撮像された生体情報に基づいて、前記遮蔽領域がない場合に生体情報が撮像される予測画素に置換する置換処理を実行し、
前記登録用遮蔽領域に基づいて前記予測画素と前記認証用画像の前記生体情報が撮像された画素とから前記認証用特徴量を抽出する、生体認証装置。

【請求項5】

請求項４に記載の生体認証装置であって、
前記メモリは、前記生体情報が撮像された複数の画像を保持し、
前記プロセッサは、前記置換処理において、前記認証用画像の前記検出した遮蔽領域の各画素を、前記複数の画像における当該画素のうち前記生体情報が撮像されている画素の平均値に置換することで前記予測画素を生成する、生体認証装置。

【請求項6】

請求項４に記載の生体認証装置であって、
前記プロセッサは、
前記置換処理において、
前記認証用画像の前記検出した遮蔽領域の画素であって、前記生体情報が撮像されている画素に隣接する画素、を当該画素の近傍画素であって、前記生体情報が撮像されている所定数の画素、に基づいて、前記予測画素に置換し、前記置換した予測画素を前記生体情報が撮像されている画素として扱う、処理を、前記遮蔽領域の画素が全て置換されるまで繰り返す、生体認証装置。

【請求項7】

請求項４に記載の生体認証装置であって、
前記メモリは、生体情報が撮像された置換用画像を保持し、
前記プロセッサは、
前記置換処理において、
所定の座標系において、前記認証用画像に撮像された生体情報と、前記置換用画像に撮像された生体情報と、の位置合わせを実行し、
前記認証用画像の前記検出した遮蔽領域の画素を、前記位置合わせ後の置換用画像の画素に置換することで前記予測画素を生成する、生体認証装置。

【請求項8】

請求項２に記載の生体認証装置であって、
前記プロセッサは、前記検出した遮蔽領域と前記登録用遮蔽領域とを融合した認証用遮蔽領域に基づいて前記認証用画像に撮像された生体から前記登録用特徴量を抽出する、生体認証装置。

【請求項9】

請求項１に記載の生体認証装置であって、
前記登録用画像及び前記認証用画像に撮像された生体情報は、利用者の虹彩であり、
前記登録用画像に撮像された虹彩を遮蔽する遮蔽領域及び前記認証用画像に撮像された虹彩を遮蔽する遮蔽領域は、前記利用者の瞼、睫毛、及び鏡面反射の少なくとも１つを含む、生体認証装置。

【請求項10】

第１装置と第２装置とを含む生体認証システムであって、
前記第１装置は、
生体情報が撮像された登録用画像を保持し、
前記登録用画像に撮像された生体情報及び当該生体情報を遮蔽する遮蔽領域を検出し、
前記検出した遮蔽領域に基づいて、登録用遮蔽領域を生成し、
前記登録用遮蔽領域に基づいて、前記登録用画像の生体情報の登録用特徴量を抽出し、
前記登録用特徴量に基づいて、テンプレートを生成し、
前記テンプレート及び前記登録用遮蔽領域を前記第２装置に送信し、
生体情報が撮像された認証用画像を保持し、
前記第２装置は、登録用テンプレートと、登録用遮蔽領域と、を前記第１装置に送信し、
前記第１装置は、
前記認証用画像に撮像された生体情報及び当該生体情報を遮蔽する遮蔽領域を検出し、
前記認証用画像から検出した遮蔽領域と、前記登録用遮蔽領域と、に基づいて、当該生体情報の認証用特徴量を抽出し、
前記認証用特徴量に基づいて認証用テンプレートを生成し、
前記登録用テンプレートと前記認証用テンプレートとに基づいて認証を実行する、生体認証システム。

【請求項11】

生体認証装置による生体認証方法であって、
前記生体認証装置は、生体情報が撮像された認証用画像と、登録用テンプレートと、登録用遮蔽領域と、を保持し、
前記登録用遮蔽領域は、登録用画像に撮像された生体情報を遮蔽する遮蔽領域に基づいて生成された領域であり、
前記登録用テンプレートは、前記登録用遮蔽領域に基づいて抽出された前記登録用画像の生体情報の登録用特徴量、から生成されたものであり、
前記生体認証方法は、
前記生体認証装置が、前記認証用画像に撮像された生体情報及び当該生体情報を遮蔽する遮蔽領域を検出し、
前記生体認証装置が、前記検出した遮蔽領域と、前記登録用遮蔽領域と、に基づいて、当該生体情報の認証用特徴量を抽出し、
前記生体認証装置が、前記認証用特徴量に基づいて認証用テンプレートを生成し、
前記生体認証装置が、前記登録用テンプレートと前記認証用テンプレートとに基づいて認証を実行する、生体認証方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生体認証装置、生体認証システム、及び生体認証方法に関する。

【背景技術】

【0002】

様々な生体認証技術の中でも、虹彩認証は高精度な認証を実現できるものとして知られている。虹彩認証システムは、角膜と水晶体の間にある環状の薄い膜を使用して個人を認証することによって優れた認証精度を実現する。また、虹彩認証システムは、虹彩の偽造及び改ざんが困難であることによって、高度なセキュリティを実現できる。

【0003】

虹彩認証では、瞼、睫毛、目や眼鏡の鏡面反射などによって虹彩が一部遮蔽（オクルージョン）されることがあり、認証に利用可能な虹彩領域が変化する。そのため、虹彩認証では、登録時と認証時の虹彩の遮蔽領域を検出し、検出された遮蔽領域を適切に処理して登録と認証を行う必要がある。

【0004】

虹彩認証システムにおける瞼、睫毛、目や眼鏡の鏡面反射などによる遮蔽に関する先行技術として特開２０１９－２１９６９８号公報（特許文献１）、及び非特許文献１がある。

【0005】

特許文献１には、「認証対象Ｆが有する虹彩の画像を撮像する撮像部４と、前記撮像部４の設置位置から前記認証対象Ｆの上瞼方向に離間した位置において前記認証対象Ｆの注意を喚起する注意喚起表示を行う表示部７と、前記撮像部４により撮像された画像に基づいて前記認証対象の虹彩認証を実行する認証処理部とを備えた。」と記載されている（要約参照）。

【0006】

また、非特許文献１には、テンプレート保護技術を用いた虹彩認証において、抽出された虹彩特徴量から瞼、睫毛、及び鏡面反射などのノイズを排除した特徴量を基にテンプレートを生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１９－２１９６９８号公報

【非特許文献】

【0008】

【非特許文献1】Ｋ． Ｂ． Ｒａｊａ， ｅｔ ａｌ．， “Ｍｏｒｔｏｎ ｆｉｌｔｅｒｓ ｆｏｒ ｉｒｉｓ ｔｅｍｐｌａｔｅ ｐｒｏｔｅｃｔｉｏｎ－ａｎ ｉｎｃｒｅｍｅｎｔａｌ ａｎｄ ｓｕｐｅｒｉｏｒ ａｐｐｒｏａｃｈ ｏｖｅｒ ｂｌｏｏｍ ｆｉｌｔｅｒｓ．” ｉｎ ２０１９ ＩＥＥＥ １０ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ Ｔｈｅｏｒｙ， Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＢＴＡＳ）． ｐｐ． １－８， ２０１９．

【発明の概要】

【発明が解決しようとする課題】

【0009】

生体認証において、登録及び認証処理に制約がある場合、正しく処理が行えなくなり認証に失敗することがある。例えば、認証にテンプレート保護技術が用いられた場合、テンプレート保護前の特定領域に対しての処理と同様の処理を保護済みテンプレートに対して行えなくなるため、認証時の遮蔽領域を登録テンプレートから除外する等の処理ができなくなり、認証失敗に繋がる。そのため、登録及び認証時の処理に制約がある場合において、遮蔽領域の違いによる精度劣化を軽減する必要がある。

【0010】

特許文献１に記載の技術における虹彩認証装置においては、利用者が注意喚起を見る必要があり、利便性が損なわれている。また、利用者が上瞼を大きく持ち上げても瞼、睫毛、及び鏡面反射などの遮蔽領域が発生する可能性がある。また、非特許文献１に記載の技術では、特定の虹彩特徴量形式のみを想定しているため、他の形式の虹彩特徴量を用いた虹彩認証に適用することができない。

【0011】

そこで本発明の一態様は、生体認証において、任意の形式の特徴量を利用可能であり、かつ生体情報に対する遮蔽領域による認証精度の低下を抑制する。

【課題を解決するための手段】

【0012】

上記した課題を解決するために本発明の一態様は以下の構成を採用する。生体認証装置は、プロセッサとメモリとを含み、前記メモリは、生体情報が撮像された認証用画像と、登録用テンプレートと、登録用遮蔽領域と、を保持し、前記登録用遮蔽領域は、登録用画像に撮像された生体情報を遮蔽する遮蔽領域に基づいて生成された領域であり、前記登録用テンプレートは、前記登録用遮蔽領域に基づいて抽出された前記登録用画像の生体情報の登録用特徴量、から生成されたものであり、前記プロセッサは、前記認証用画像に撮像された生体情報及び当該生体情報を遮蔽する遮蔽領域を検出し、前記検出した遮蔽領域と、前記登録用遮蔽領域と、に基づいて、当該生体情報の認証用特徴量を抽出し、前記認証用特徴量に基づいて認証用テンプレートを生成し、前記登録用テンプレートと前記認証用テンプレートとに基づいて認証を実行する。

【発明の効果】

【0013】

本発明の一態様によれば、生体認証において、任意の形式の特徴量を利用可能であり、かつ生体情報に対する遮蔽領域による認証精度の低下を抑制することができる。

【0014】

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0015】

【図1】実施例１における生体認証システムの構成例を示すブロック図である。

【図2】実施例１における生体認証システムが利用者の虹彩情報を登録する登録処理の一例を示すシーケンス図である。

【図3】実施例１における生体認証システムが利用者の虹彩情報に基づいて生体認証を行う認証処理の一例を示すシーケンス図である。

【図4】実施例１における撮像された目の画像から虹彩検出部と遮蔽領域検出部がそれぞれ検出する虹彩と遮蔽領域の例を示す説明図である。

【図5】実施例１における想定遮蔽領域の例を示す説明図である。

【図6】実施例２における生体認証システムが利用者の虹彩情報を登録する登録処理の一例を示すシーケンス図である。

【図7】実施例２における生体認証システムが利用者の虹彩情報に基づいて生体認証を行う認証処理の一例を示すシーケンス図である。

【図8】実施例２における複数の静止画に基づく置換内容算出処理の一例を示すフローチャートである。

【図9】実施例２における照合に基づく位置合わせ方法の例を示す説明図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略及び簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0017】

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、及び範囲などに限定されない。

【0018】

なお、本実施形態では、生体認証システムが虹彩情報を用いた生体認証を実行する例を主に説明するが、生体認証システムは虹彩情報以外の、登録及び認証時に完全同一ではなく一定の傾向を持って遮蔽が発生しうる任意の生体情報を用いて生体認証を実行することができる。

【実施例0019】

図１は、生体認証システムの構成例を示すブロック図である。生体認証システム１０は、目の画像に含まれる虹彩情報を用いて生体認証を実行する。生体認証システム１０は、例えば、情報処理装置３、情報処理装置３に接続されている又は含まれる撮像装置２、及びサーバ５を含む。情報処理装置３及びサーバ５は、インターネット等のネットワーク４によって互いに接続されている。

【0020】

生体認証システム１０では、例えば、撮像装置２が撮影した利用者の目の動画を情報処理装置３に入力し、情報処理装置３が動画処理、虹彩検出、遮蔽領域検出、遮蔽領域処理、特徴抽出、及びテンプレート生成を含む一連の処理を行い、情報処理装置３とサーバ５はネットワーク４を介して登録及び認証に関する処理を行う。情報処理装置３は、登録及び認証の結果（成功又は失敗）を情報処理装置３が有する表示装置などに表示する。

【0021】

撮像装置２は、利用者の目の動画を撮影して情報処理装置３に入力する。撮像装置２は、例えば、赤外線カメラ、可視光カメラ、虹彩用のセンサ、又はモバイル端末に搭載されたカメラなどである。

【0022】

情報処理装置３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、メモリ３２、入力装置３３，表示装置３４、通信装置３５、及び補助記憶装置３６を備える計算機によって構成される。

【0023】

ＣＰＵ３１は、プロセッサを含み、メモリ３２に格納されたプログラムを実行する。メモリ３２は、不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。ＲＯＭは、不変のプログラム（例えば、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ））などを格納する。ＲＡＭは、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のような高速かつ揮発性の記憶素子であり、ＣＰＵ３１が実行するプログラム及びプログラムの実行時に使用されるデータを一時的に格納する。

【0024】

補助記憶装置３６は、例えば、磁気記憶装置（ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ））、フラッシュメモリ（ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ））等の大容量かつ不揮発性の記憶装置であり、ＣＰＵ３１が実行するプログラム及びプログラムの実行時に使用されるデータを格納する。すなわち、プログラムは、補助記憶装置３６から読み出されて、メモリ３２にロードされて、ＣＰＵ３１によって実行される。

【0025】

入力装置３３は、キーボードやマウスなどの、オペレータからの入力を受ける装置である。表示装置３４は、ディスプレイ装置やプリンタなどの、プログラムの実行結果（例えば、登録処理結果や認証処理結果）をオペレータが視認可能な形式で表示する装置である。

【0026】

通信装置３５は、所定のプロトコルに従って、他の装置との通信を制御するネットワークインターフェース装置である。また、通信装置３５は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のシリアルインターフェースを含む。

【0027】

ＣＰＵ３１が実行するプログラムの一部またはすべては、非一時的記憶媒体であるリムーバブルメディア（ＣＤ－ＲＯＭ、フラッシュメモリなど）又は、非一時的記憶装置を備える外部計算機からネットワークを介して情報処理装置３に提供され、非一時的記憶媒体である不揮発性の補助記憶装置３６に格納されてもよい。このため、情報処理装置３は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。これは、サーバ５についても同様である。

【0028】

ＣＰＵ３１は、例えば、機能部である生体認証処理部３６０を含む。生体認証処理部３６０は、例えば、いずれも機能部である、動画入力部３６１、動画処理部３６２、虹彩検出部３６３、遮蔽領域検出部３６４、遮蔽領域処理部３６５、特徴量抽出部３６６、テンプレート生成部３６７、及び生体認証部３６８を含む。

【0029】

生体認証処理部３６０は、目の動画から虹彩と虹彩の遮蔽領域を検出し、登録又は認証のために必要な処理を行う。動画入力部３６１は、撮像装置２から動画の入力を受け付ける。動画処理部３６２は、入力された動画から１つ以上の静止画を生成する。

【0030】

虹彩検出部３６３は、動画処理部３６２によって生成された各静止画から虹彩を検出する。遮蔽領域検出部３６４は、虹彩検出部３６３によって検出された虹彩を遮蔽している瞼、睫毛、及び鏡面反射などの遮蔽領域を検出する。遮蔽領域処理部３６５は、検出された遮蔽領域に対する処理を行う。

【0031】

特徴量抽出部３６６は、遮蔽領域処理部３６５の処理結果に基づき静止画から虹彩の特徴量を抽出する。テンプレート生成部３６７は、特徴量抽出部３６６によって抽出された特徴量から登録又は認証に用いるテンプレートを生成する。

【0032】

生体認証部３６８は、ネットワーク４を介してサーバ５と通信し、登録又は認証に関する処理を行う。例えば、登録処理において、生体認証部３６８は、サーバ５に登録の要求と、テンプレートと遮蔽領域を含む登録データと、を送信する。また、例えば、認証処理において、生体認証部３６８はサーバ５に登録データの要求を送信し、要求を受信したサーバ５は登録データを情報処理装置３へ送信する。生体認証部３６８は、認証処理時に生成したテンプレートをサーバ５から受信した登録データと照合し、生体認証を行う。

【0033】

例えば、ＣＰＵ３１は、メモリ３２にロードされた動画入力プログラムに従って動作することで、動画入力部３６１として機能し、メモリ３２にロードされた動画処理プログラムに従って動作することで、動画処理部３６２として機能する。ＣＰＵ３１に含まれる他の機能部についても、プログラムと機能部の関係は同様である。また、サーバ５のＣＰＵ５１に含まれる後述する機能部についても、プログラムと機能部の関係は同様である。

【0034】

なお、ＣＰＵ３１及びサーバ５のＣＰＵ５１に含まれる機能部による機能の一部又は全部が、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアによって実現されてもよい。

【0035】

なお、補助記憶装置３６、及びサーバ５の補助記憶装置５６に格納されている一部又は全部の情報は、それぞれ、メモリ３２、及びメモリ５２に格納されていてもよいし、情報処理装置３、及びサーバ５に接続されているデータベースに格納されていてもよい。

【0036】

情報処理装置３は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。これはサーバ５についても同様である。

【0037】

なお、本実施形態において、生体認証システム１０が使用する情報は、データ構造に依存せずどのようなデータ構造で表現されていてもよい。本実施形態ではテーブル形式で情報が表現されているが、例えば、リスト、データベース又はキューから適切に選択したデータ構造体が、情報を格納することができる。

【0038】

サーバ５は、例えば、ＣＰＵ５１、メモリ５２、入力装置５３、表示装置５４、通信装置５５、及び補助記憶装置５６を備えた計算機によって構成される。ＣＰＵ５１、メモリ５２、入力装置５３、表示装置５４、通信装置５５、及び補助記憶装置５６のハードウェアとしての説明は、それぞれ、ＣＰＵ３１、メモリ３２、入力装置３３、表示装置３４、通信装置３５、及び補助記憶装置３６のハードウェアとしての説明と同様であるため省略する。

【0039】

ＣＰＵ５１は、例えば、機能部であるデータ処理部５７０を含む。データ処理部５７０は、例えば、いずれも機能部である、データ登録部５７１及びデータ取得部５７２を含む。データ処理部５７０は、情報処理装置３から受信したデータ及びデータベース５６０に格納されたデータに対する処理を実行する。

【0040】

データ登録部５７１は、情報処理装置３から登録要求と登録データを受信した場合に、データベース５６０に登録データを保存する。データ取得部５７２は、情報処理装置３から認証要求を受信した場合にデータベース５６０に格納されている登録データを取得し、情報処理装置３へ送信する。

【0041】

補助記憶装置５６は、データベース５６０を保持する。データベース５６０は、各利用者の登録データ（例えば、後述するテンプレート及び遮蔽領域を含むデータ）を保持する。

【0042】

なお、生体認証部３６８の実施場所は図１の構成に限られず、情報処理装置３が生体認証を行う場合とサーバ５で生体認証を行う場合と、がありうる。サーバ５が生体認証を行う場合は、情報処理装置３はサーバ５に認証の要求を送信し、要求を受信したデータ取得部５７２は登録されている遮蔽領域のみを情報処理装置３へ送信する。情報処理装置３は、受信した登録時遮蔽領域を基に遮蔽領域処理、特徴抽出、及びテンプレート生成を行い、生成されたテンプレートを認証データとしてサーバ５に送信し、サーバ５が生体認証を行う。

【0043】

図２と図３を用いて本実施例に係る登録処理と認証処理を説明する。登録処理において、情報処理装置３は、認証時の遮蔽領域を想定した想定遮蔽領域を１つ以上生成し、各想定遮蔽領域と、検出された登録時遮蔽領域と、を融合してから特徴量抽出とテンプレート生成をそれぞれ行い、生成されたテンプレートを融合遮蔽領域と併せてサーバ５に登録する。認証処理において、情報処理装置３は、登録時の融合遮蔽領域と、認証時の遮蔽領域を融合してから特徴量抽出、テンプレート生成、及び認証を行う。

【0044】

図２は、生体認証システム１０が利用者の虹彩情報を登録する登録処理の一例を示すシーケンス図である。ステップＳ２０１では、撮像装置２は利用者の目の動画を、例えば所定時間撮影し、動画入力部３６１は撮影された動画の入力を受け付ける。なお、ステップＳ２０１において、撮像装置２は、動画ではなく１つ以上の静止画を撮影してもよい。この場合、ステップＳ２０２の処理は省略される。

【0045】

ステップＳ２０２では、動画処理部３６２が、ステップＳ２０１で入力された動画を１つ以上の静止画へ変換する。なお、動画処理部３６２は、動画内の全てのフレームを静止画へ変換してもよいし、動画内の一部のフレームのみを静止画に変換してもよい。また、動画処理部３６２は、変換した静止画それぞれの画像品質を判定し、画像品質が所定値未満の静止画を削除してもよく、この場合、削除した静止画に対して以降の処理が行われなくてもよい。

【0046】

ステップＳ２０３では、虹彩検出部３６３は、ステップＳ２０２で生成された静止画を１つ選択し、選択した静止画（目の画像）から虹彩を検出する。具体的には、例えば、虹彩検出部３６３は、虹彩の輪郭と、瞳孔の輪郭と、を検出し、虹彩の輪郭と瞳孔の輪郭の間に位置する領域を虹彩として検出する。

【0047】

ステップＳ２０４では、遮蔽領域検出部３６４は、直近のステップＳ２０３において選択した静止画において、検出された虹彩を遮蔽している瞼、睫毛、及び鏡面反射などの遮蔽物を検出し、遮蔽物がある領域を遮蔽領域として出力する。ステップＳ２０３及びＳ２０４における虹彩や遮蔽領域の検出方法の具体例については、図４を用いて後述する。

【0048】

ステップＳ２０５では、生体認証処理部３６０は、ステップＳ２０２にて生成された全ての静止画に対してステップＳ２０３及びステップＳ２０４の処理が実行されたかを判定する。生体認証処理部３６０は、ステップＳ２０３及びステップＳ２０４の処理が実行されていない静止画があると判定した場合（Ｓ２０５：ＮＯ）、ステップＳ２０３に戻る。生体認証処理部３６０は、全ての静止画に対してステップＳ２０３及びステップＳ２０４の処理が実行された判定した場合（Ｓ２０５：ＹＥＳ）、ステップＳ２０６に遷移する。

【0049】

ステップＳ２０６では、遮蔽領域処理部３６５は、登録に用いる画像（静止画）を１つ以上選択する。具体的には、例えば、遮蔽領域処理部３６５は、ステップＳ２０３及びＳ２０４で検出された虹彩と遮蔽領域を基に、虹彩全体に占める遮蔽領域によって遮蔽されている割合を静止画それぞれについて算出し、遮蔽割合が所定範囲以内かつ最小（又は小さい順に所定数）の画像を選択する。

【0050】

また、遮蔽領域処理部３６５は、ステップＳ２０２で生成された連続する静止画それぞれについて、検出された虹彩と遮蔽領域に基づいて特徴量抽出とテンプレート生成を行い（例えば、後述するステップＳ２０８及びステップＳ２０９と同様の方法で特徴量抽出及びテンプレート生成を行う）、静止画それぞれのテンプレートについて、他の静止画から生成されたテンプレートそれぞれと照合を行い、照合結果に基づいて静止画を選択してもよい。

【0051】

具体的には、例えば、遮蔽領域処理部３６５は、静止画それぞれについて、他のテンプレートとの照合結果のうち上位Ｎ件のスコア（類似度）のみを取得し、上位Ｎ件のスコアの平均が最も高い（又は平均が高い順に所定数の）静止画を選択する。また、例えば、遮蔽領域処理部３６５は、静止画それぞれについて、他のテンプレートとの照合結果のうちスコアが所定の閾値以上であるテンプレートの件数が最も多い（又は件数が多い順に所定数の）静止画を選択してもよい。また、例えば、遮蔽領域処理部３６５は、照合結果に基づいて静止画をクラスタリングし、要素の数が最も多いクラスタに属するクラスタの中心に最も近い（又は中心に近い順に所定数の）静止画を選択してもよい。なお、上述の選択方法は一例であり、別の方法を用いて静止画が選択されてもよい。

【0052】

なお、ステップＳ２０６で複数の静止画が選択された場合は、ステップＳ２０７の以降の処理が各選択画像に対して行われる。説明の簡略化のため、以降の説明ではステップＳ２０６にて静止画が１つだけ選択されたとする。

【0053】

ステップＳ２０７では、遮蔽領域処理部３６５は、想定される遮蔽領域である想定遮蔽領域と、ステップＳ２０６で選択された画像のステップＳ２０４で検出された遮蔽領域と、を融合することで、融合遮蔽領域を生成する。遮蔽領域処理部３６５は、例えば、想定遮蔽領域を、検出された遮蔽領域と同一サイズにして重ね合わせ、加算や乗算などの処理によって１つの領域を生成することで融合遮蔽領域を生成する。

【0054】

想定遮蔽領域は、例えば、上瞼や上睫毛等を模したマスク画像や遮蔽が発生する領域を確率的に表した重み付きマスク画像等である。また、想定遮蔽領域は、予め生成された領域でもよいし、各静止画から検出された遮蔽領域に基づいて生成されてもよい（例えば、ステップＳ２０２で得られた又はステップＳ２０６で選択された複数の静止画を用いて、各画素について遮蔽が発生する確率を示す重み付きマスク画像が生成される等）。想定遮蔽領域の具体例は図５にて説明する。

【0055】

なお、例えば、想定遮蔽領域が上記した重み付きマスクで定義されている場合、遮蔽領域処理部３６５は、ステップＳ２０４で検出された遮蔽領域と、重み付きマスクで示された想定遮蔽領域と、を同一サイズにして重ね合わせたとき、ステップＳ２０４の遮蔽領域に該当する、又は重み付きマスクが示す確率が所定値以上である、画素を融合遮蔽領域における遮蔽領域に決定する。

【0056】

また、例えば、遮蔽領域処理部３６５は、ステップＳ２０４で検出された遮蔽領域の画素の値を０、非遮蔽領域の画素の値を１とした場合、重み付きマスクで示される遮蔽が発生する確率を基に、ステップＳ２０４で検出された遮蔽領域と重み付きマスクで示された想定遮蔽領域を同一サイズにして重ね合わせて乗算するなどによって、０から１の間の値を要素とする融合遮蔽領域を生成してもよい。このとき、遮蔽領域の画素と非遮蔽領域の画素の値は０と１に限られない。

【0057】

遮蔽領域処理部３６５は、想定遮蔽領域と、検出された遮蔽領域と、を融合することによって、登録時の遮蔽領域とは異なる認証時の遮蔽領域（つまり登録時には遮蔽されなかったものの認証時に遮蔽される可能性が高い領域）を想定した登録を行うことができる。この時に、１つ以上の想定遮蔽領域を用意し、検出された遮蔽領域をそれぞれと融合して複数の融合遮蔽領域を生成してもよい。

【0058】

また、遮蔽領域処理部３６５は、生体情報の特徴量が抽出される前に、融合遮蔽領域を生成するため、後述するステップＳ２０８において、特徴量抽出部３６８は、遮蔽が考慮された状態で任意の種類の特徴量を抽出することができる。

【0059】

ステップＳ２０８では、特徴量抽出部３６８は、ステップＳ２０６で選択された画像に含まれるステップＳ２０３で検出された虹彩と、ステップＳ２０７で生成された融合遮蔽領域と、に基づいて特徴量を抽出する。具体的には、例えば、特徴量抽出部３６８は、ステップＳ２０６で選択された画像において、ステップＳ２０３で検出された虹彩から、ステップＳ２０７で生成された融合遮蔽領域を除いた領域を虹彩領域に決定し、当該虹彩領域から特徴量を抽出する。別の例として、特徴量抽出部３６８は、ステップＳ２０６で選択された画像において、ステップＳ２０３で検出された虹彩とステップＳ２０７で生成された融合遮蔽領域を重ね合わせ、乗算処理やマスク処理などを行い、その結果として得られた虹彩に対して特徴量抽出を行ってもよい。また、特徴量抽出部３６８は、ステップＳ２０６で選択された画像において、ステップＳ２０３で検出された虹彩から特徴量（例えば、虹彩と同一サイズの位相情報）を抽出し、その特徴量に対して融合遮蔽領域に該当する領域を除外した結果や、ステップＳ２０７で生成された融合遮蔽領域を重ね合わせて乗算処理やマスク処理を行った結果を最終特徴量としてもよい。これらの遮蔽領域に基づく特徴量抽出は一例であり、他の手法によって遮蔽領域に基づく特徴量抽出を行ってもよい。

【0060】

なお、ステップＳ２０４の遮蔽領域検出、ステップＳ２０７の遮蔽領域処理、及びステップＳ２０８の特徴量抽出は、それぞれ、ステップＳ２０３で検出された虹彩の中点を原点とした極座標系において行ってもよい。例えば、ステップＳ２０３で検出された虹彩を基に虹彩を極座標系へと変換し、極座標系にて遮蔽領域検出、遮蔽領域処理、特徴量抽出を実行してもよい。また、例えば、特徴量抽出のみを極座標系にて行ってもよい。また、例えば、直交座標系又は極座標系の一方において行った処理結果を、他方の座標系に反映してもよい。

【0061】

ステップＳ２０９では、テンプレート生成部３６７は、ステップＳ２０８で抽出された特徴量から生体認証用のテンプレートを生成する。具体的には、例えば、テンプレート生成部３６７は、元の生体情報が復元できないようなテンプレートを、特徴量から生成する。

【0062】

公開型生体認証基盤（ＰＢＩ：Ｐｕｂｌｉｃ Ｂｉｏｍｅｔｒｉｃｓ Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）の技術に基づいて生体情報から変換されたＰＢＩテンプレートは、元の生体情報が復元できないテンプレートの一例である。テンプレート生成部３６７は、他の技術に基づいて生体情報から元の生体情報が復元できないテンプレートの変換や生成をしてもよい。

【0063】

なお、ステップＳ２０４及びステップＳ２０７の処理が省略されて、想定遮蔽領域のみが考慮されてステップＳ２０８の特徴量抽出、及びステップＳ２０９のテンプレート生成が行われてもよい。この場合、想定遮蔽領域を融合遮蔽領域として、ステップＳ２１０以降の処理に進む。

【0064】

ステップＳ２１０では、生体認証部３６８は、ステップＳ２０９で生成されたテンプレートとステップＳ２０７で生成した融合遮蔽領域を含む登録データを、登録要求と共にネットワーク４を介して、サーバ５に送信する。

【0065】

ステップＳ２１１では、サーバ５のデータ登録部５７１は、ステップＳ２１０で送信された登録要求と登録データをサーバ５が受信する。ステップＳ２１２では、データ登録部５７１は、ステップＳ２１１で受信した登録データをデータベース５６０に保存する。なお、ステップＳ２０７において複数の融合遮蔽領域が生成された場合、ステップＳ２０８からステップＳ２１２の処理が融合遮蔽領域ごとに実行される。

【0066】

図３は、生体認証システム１０が利用者の虹彩情報に基づいて生体認証を行う認証処理の一例を示すシーケンス図である。ステップＳ３０１からステップＳ３０４の処理は、それぞれ、ステップＳ２０１からステップＳ２０４と同様の処理であるため説明を省略する。ただし、説明の簡略化のため、ステップＳ３０２では静止画を１つだけ生成したとする。

【0067】

ステップＳ３０５では、生体認証部３６８は、ネットワーク４を介してサーバ５へ登録データ要求を送信する。ステップＳ３０６では、サーバ５のデータ取得部５７２は、受信した登録データ要求に従って、登録データをデータベース５６０から取得する。なお、複数のデータがデータベース５６０に登録されている場合、データ取得部５７２は、当該複数の登録データ全てをデータベース５６０から取得する。ステップＳ３０７では、データ取得部５７２は、ステップＳ３０６でデータベース５６０から取得した登録データを全て情報処理装置３へ送信する。ステップＳ３０８では、生体認証部３６８は、ステップＳ３０７で送信された登録データを受信する。

【0068】

なお、ステップＳ３０５からステップＳ３０８の処理は、ステップＳ３０９の処理より前であればいつ実行されてもよい。例えば、ステップＳ３０１の処理の後に、ステップＳ３０５からステップＳ３０８の一連の処理が実行されてから、ステップＳ３０２からステップＳ３０４の処理が実行されてもよい。また、例えば、ステップＳ３０５からステップＳ３０８の一連の処理が実行されている最中にステップＳ３０１からステップＳ３０４の処理が実行されてもよい。

【0069】

以下、ステップＳ３０９からステップＳ３１２の処理を説明するが、説明の簡略化のため、ステップＳ３０８では生体認証部３６８は登録データを１つだけ受信したものとする。なお、ステップＳ３０８において生体認証部３６８が複数の登録データを受信した場合、ステップＳ３０９からステップＳ３１２の処理は登録データそれぞれ（又は複数の登録データの一部）について実行される。このとき、例えば、各登録データに含まれる登録融合遮蔽領域がステップＳ３０４で検出された遮蔽領域と最も類似している（又は類似している順に所定数の）登録データに対して以降の処理が実行されてもよい。

【0070】

ステップＳ３０９では、遮蔽領域処理部３６５は、ステップＳ３０８で受信した登録データに含まれる融合遮蔽領域と、ステップＳ３０４で検出された遮蔽領域と、を融合することで、認証融合遮蔽領域を生成する。遮蔽領域処理部３６５が、登録された融合遮蔽領域と、認証時の遮蔽領域と、を融合することによって、後に実行される特徴量抽出及びテンプレート生成時に認証時の遮蔽領域に加えて、登録時の遮蔽領域が考慮される。

【0071】

但し、例えば、認証時に生成された認証融合遮蔽領域が登録融合遮蔽領域より所定数倍以上（所定数は１より大きい）の大きさである場合、特徴量抽出に用いられる虹彩領域が登録時に比べて大幅に減少しており、認証失敗に繋がる可能性がある。そのため、認証融合遮蔽領域が登録融合遮蔽領域より所定数倍以上の大きさである場合、遮蔽領域処理部３６５は、登録融合遮蔽領域を認証融合遮蔽領域として扱ってもよい。

【0072】

なお、ステップＳ３０４及びステップＳ３０９の処理が省略されてもよい。つまり、認証処理を高速に実行するために、認証時に取得された静止画に含まれる遮蔽領域が考慮されることなく、認証処理が行われてもよい。

【0073】

ステップＳ３１０では、特徴量抽出部３６６は、ステップＳ３０２の動画処理で生成された画像のステップＳ３０３の虹彩検出で検出された虹彩と、ステップＳ３０９で生成された認証融合遮蔽領域と、に基づいて、特徴量を抽出する。この特徴量抽出処理は、ステップＳ２０８の特徴量抽出と同様の処理であり、具体的には、例えば、特徴量抽出部３６８は、ステップＳ３０２で生成された画像において、ステップＳ３０３で検出された虹彩から、ステップＳ３０９で生成された認証融合遮蔽領域を除いた領域を虹彩領域に決定し、当該虹彩領域から特徴量を抽出する。

【0074】

ステップＳ３１１の処理は、ステップＳ２０９と同様の処理であるため説明を省略する。ステップＳ３１２では、生体認証部３６８は、サーバ５から取得した登録データに含まれる登録テンプレートと、ステップＳ３１１で生成された認証テンプレートと、を用いた生体認証を実行する。

【0075】

生体認証部３６８は登録テンプレートと認証テンプレートを照合して、類似度を算出し、算出した類似度に基づいて両者が類似しているかを判定する。生体認証部３６８は、当該両者が類似していると判定した場合は認証成功と判定し、類似していないと判定した場合は認証失敗と判定する。なお、ステップＳ３０８において複数の登録データを情報処理装置３が受信した場合、生体認証部３６８は、例えば、登録データに含まれる登録テンプレートそれぞれと、ステップＳ３１１で生成された認証テンプレートと、の類似度のうち最も高い類似度を最終類似度に決定し、最終類似度に基づいて、登録テンプレートと認証テンプレートが類似しているかを判定する。

【0076】

なお、上述の例ではステップＳ３０２の動画処理で静止画が１つ生成されたものとして以降の処理を説明したが、ステップＳ３０２で複数の静止画が生成されてもよい。複数の静止画が生成された場合のステップＳ３０３以降の処理の具体例を３つ説明する。なお、画像の選択方法は、下記の３つの例に限定されない。

【0077】

１つ目の例では、情報処理装置３は、１つの静止画を選択し、ステップＳ３０３の虹彩検出及びステップＳ３０４の遮蔽領域検出処理を当該選択した静止画に対して実行する。情報処理装置３は、検出された遮蔽領域によって遮蔽されている、検出された虹彩の領域の割合である遮蔽割合を算出し、遮蔽割合が所定値以内であれば、当該選択した静止画に対してステップＳ３０５以降の処理を実行し、遮蔽割合が所定値を超えていれば異なる静止画を１つ選択して再度ステップＳ３０３の処理に戻る。なお、全ての静止画の遮蔽割合が所定値を超える場合には、ステップＳ３０１の処理に戻るとよい。

【0078】

２つ目の例では、情報処理装置３は、ステップＳ３０３及びステップＳ３０４を、ステップＳ３０２で生成した全ての静止画に対して行って遮蔽割合を算出し、虹彩の遮蔽割合が最も小さい画像を１つ選択してステップＳ３０５以降の処理に進む。なお、全ての静止画の遮蔽割合が所定値を超える場合には、ステップＳ３０１の処理に戻るとよい。

【0079】

３つ目の例では、情報処理装置３は、ステップＳ３０３及びステップＳ３０４の処理をステップＳ３０２で生成した全ての静止画に行い、各静止画において、検出された虹彩と遮蔽領域を基づいて、同様の方法で特徴量抽出とテンプレート生成を行う（例えば、ステップＳ２０８及びステップＳ２０９と同様の方法で特徴量抽出及びテンプレート生成を行う）。情報処理装置３は、静止画それぞれのテンプレートについて、他の静止画から生成されたテンプレートそれぞれと照合を行い、照合結果に基づいて静止画を選択してもよい。照合結果に基づく静止画の選択方法はステップＳ２０６で説明した方法と同様のため、説明を省略する。

【0080】

また、本実施例では情報処理装置３が生体認証を行う例を説明したが、サーバ５が生体認証を行ってもよい。サーバ５が生体認証を行う場合、ステップＳ３０６においてサーバ５は登録されている融合遮蔽領域のみを登録データとしてデータベース５６０から取得し、ステップＳ３０７において、取得した登録データを情報処理装置３へ送信する。情報処理装置３は、受信した融合遮蔽領域を基にステップＳ３０９の遮蔽領域処理、ステップＳ３１０の特徴抽出、及びステップＳ３１１のテンプレート生成を行い、生成したテンプレートを認証データとしてサーバ５に送信し、サーバ５がステップＳ３１２の生体認証を行う。

【0081】

なお、図２の登録処理において、テンプレートと融合遮蔽領域の複数の組み合わせ（登録データ）が登録された場合には、例えば、当該複数の組み合わせそれぞれに対して図３の認証処理が行われ、当該複数の組み合わせのうち、ステップＳ３１２において最も高い類似度を示した認証結果が採用されるとよい。

【0082】

図４は、撮像された目の画像から虹彩検出部３６３と遮蔽領域検出部３６４がそれぞれ検出する虹彩と遮蔽領域の例を示す説明図である。図４（ａ）は、撮像された目の画像の一例である。図４（ｂ）は、虹彩検出部３６３が検出する虹彩輪郭１１と瞳孔輪郭１２の一例である。図４（ｃ）は、虹彩検出部３６３が検出した虹彩１３の一例である。虹彩１３は、例えば、虹彩輪郭１１と瞳孔輪郭１２の間の領域で定義される。図４（ｄ）は、遮蔽領域検出部３６４が検出する瞼、睫毛、及び鏡面反射などを含む遮蔽領域１４の一例である。

【0083】

図４に示す虹彩輪郭１１、瞳孔輪郭１２、及び遮蔽領域１４の検出方法としては、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をはじめとする教師データを用いた機械学習による分離方法が適用できる。

【0084】

機械学習を用いた検出方法では、事前に様々な環境で様々な被験者の目が大量に撮影され、各画像に虹彩、瞳孔、瞼、睫毛、及び鏡面反射などの部分を定義するラベルが作成され、各画像とそのラベルとのペアが教師データとして蓄積される。そして、教師データの画像を入力した時にそのラベルができるだけ正しく出力されるように機械学習のパラメータ学習を行う。

【0085】

これにより、未知の画像が入力された時に虹彩、瞳孔、瞼、睫毛、及び鏡面反射などの領域を取得することができる。虹彩検出部３６３は、取得された虹彩領域と瞳孔領域の外周を辿ることにより、虹彩輪郭及び瞳孔輪郭を取得することができ、遮蔽領域検出部３６４は、瞼、睫毛、及び鏡面反射などの領域から遮蔽領域を取得することができる。また、虹彩検出部３６３は、この時に取得した虹彩領域を虹彩１３として出力してもよい。

【0086】

上述の機械学習を用いた検出方法は一例であり、別の手法を用いた検出が行われてもよい。例えば、虹彩検出部３６３は、ハフ変換を用いて画像内の円を２つ検出し、検出された円の大きさに基づき、大きい円を虹彩輪郭、小さい円を瞳孔輪郭として検出してもよい。

【0087】

また、別の検出方法の例として、画素値に基づいた分離方法などもある。例えば、一般的に虹彩の外周が白く、虹彩の内側にある瞳孔が黒いため、虹彩検出部３６３は、この性質を利用し、画像内の画素値に基づいて虹彩や瞳孔の輪郭の検出を行ってもよい。

【0088】

図５は、ステップＳ２０７で利用される想定遮蔽領域の例を示す説明図である。図５（ａ）は、上瞼や上睫毛が虹彩１３の上部を遮蔽する場合の想定遮蔽領域１５の一例である。図５（ｂ）は、下瞼や下睫毛が虹彩１３の下部を遮蔽する場合の想定遮蔽領域１５の一例である。図５（ｃ）は、両瞼や睫毛が虹彩１３の上下部を遮蔽する場合の想定遮蔽領域１５の一例である。

【0089】

図５（ｄ）は、上瞼や上睫毛が虹彩１３の上右部を遮蔽する場合の想定遮蔽領域の一例である。図５（ｅ）は、鏡面反射によって虹彩１３の一部が遮蔽される場合の想定遮蔽領域の一例である。図５（ｆ）は、瞼、睫毛、鏡面反射などによる遮蔽領域がない場合の想定遮蔽領域である。なお、ステップＳ２０７で利用される想定遮蔽領域は図５で示したものに限定されず、例えば、想定遮蔽領域は図５に示された各例の組み合わせなどによっても実現され得る。

【0090】

図５に示す想定遮蔽領域の生成方法について説明する。例えば、遮蔽領域が発生する確率に基づいて想定遮蔽領域を生成する方法がある。予め様々な環境で様々な被験者の目が大量に撮影され、遮蔽領域検出部３６４は、撮影された目の画像それぞれから虹彩の遮蔽領域を検出し、検出した遮蔽領域に基づいて想定遮蔽領域を生成する。例えば、遮蔽領域検出部３６４は、検出された遮蔽領域の発生傾向を基に虹彩の一部（例えば上部）の一定割合、が遮蔽されるような遮蔽領域を生成する。また、遮蔽領域検出部３６４は、例えば、検出された遮蔽領域を基に各画素位置にて遮蔽領域が発生する確率を算出し、その確率を重みとする重み付き想定遮蔽領域を生成してもよい。

【0091】

なお、別の手法を用いて想定遮蔽領域が生成されてもよい。例えば、遮蔽領域検出部３６４は、登録時に撮影された各静止画から検出された遮蔽領域を用いて、上述と同様の方法（検出された遮蔽領域の発生傾向に基づく虹彩の一部が遮蔽されるような遮蔽領域の生成や、各画素位置にて遮蔽領域が発生する確率に基づく重み付き想定遮蔽領域の生成）で、想定遮蔽領域を生成してもよい。また、遮蔽領域検出部３６４は、機械学習などを用いて登録時に選択された静止画に対して想定遮蔽領域を生成してもよい。

【0092】

以上、本実施例に係る生体認証システム１０は、登録時には、認証時の遮蔽領域を想定した想定遮蔽領域を登録時に検出された遮蔽領域と融合してから特徴量抽出とテンプレート生成をそれぞれ行い、テンプレートと融合遮蔽領域を併せて登録する。生体認証システム１０は、認証時には、認証時に検出された遮蔽領域を登録時の融合遮蔽領域と融合してから特徴量抽出、及びテンプレート生成及び認証を行う。

【0093】

これにより、本実施例の生体認証システム１０は、認証時の遮蔽領域を想定したテンプレート登録を行うことができ、認証時に利用者の利便性を損ねることなく遮蔽領域による認証失敗を軽減することができる。また、生体認証システム１０は、想定遮蔽領域と検出した遮蔽領域との融合処理を行った後に、融合遮蔽領域に基づいて虹彩の特徴量抽出を行うため、虹彩認証に用いる特徴量の形式や手法に制限がない。

【実施例0094】

本実施例では、実施例１との相違点を主に説明し、実施例１との共通点については説明を適宜省略する。本実施例の生体認証システム１０は、登録処理では、検出した登録時の遮蔽領域に基づいて特徴量抽出とテンプレート生成を行い、生成したテンプレートと遮蔽領域を併せて登録する。本実施例の生体認証システム１０は、認証処理では、認証時の遮蔽領域内の画素値を別の値（つまり、遮蔽領域がない場合において、当該遮蔽領域に撮像されると予測される虹彩領域としての予測画素値）に置換する処理を検出された虹彩に対して行い、遮蔽領域内の画素値を置換された虹彩と登録時の遮蔽領域に基づいて特徴量抽出、テンプレート生成及び認証処理を行う。

【0095】

図６は、生体認証システム１０が利用者の虹彩情報を登録する登録処理の一例を示すシーケンス図である。ステップＳ２０１からステップＳ２０６までの処理は、実施例１と同様であるため説明を省略する。ステップＳ２０７における、遮蔽領域と想定遮蔽領域とを融合する処理が省略されている。

【0096】

ステップＳ６０１では、特徴量抽出部３６６は、ステップＳ２０６で選択された画像のステップＳ２０３で検出された虹彩と、ステップＳ２０４で検出された遮蔽領域と、に基づいて（例えば、虹彩から遮蔽領域を除外した領域から）、特徴量を抽出する。ステップＳ６０２では、テンプレート生成部３６７は、ステップＳ６０１で抽出された特徴量から生体認証用のテンプレートを生成する。テンプレート生成方法は、ステップＳ２０９と同様であるため説明を省略する。

【0097】

ステップＳ６０３では、生体認証部３６８は、ステップＳ６０２で生成されたテンプレートとステップＳ２０４で検出された遮蔽領域を含む登録データを生成し、登録要求と登録データを、ネットワーク４を介してサーバ５に送信する。

【0098】

ステップＳ２１１の処理が実行された後に、ステップＳ６０４において、データ登録部５７１は、受信した登録データ（つまりステップＳ６０２で生成されたテンプレートとステップＳ２０４で検出された遮蔽領域を含む登録データ）をデータベース５６０に登録する。

【0099】

図７は、生体認証システム１０が利用者の虹彩情報に基づいて生体認証を行う認証処理の一例を示すシーケンス図である。ステップＳ３０１からステップＳ３０５までの処理は、実施例１と同様であるため説明を省略する。なお、説明の簡略化のため、ステップＳ３０２では静止画が１つだけ生成されたとする。

【0100】

ステップＳ３０５に続いて、ステップＳ７０１では、データ取得部５７２は、テンプレートと遮蔽領域を含む登録データを取得する。ステップＳ７０２では、データ取得部５７２は、ステップＳ７０１で取得した、テンプレートと遮蔽領域を含む登録データを情報処理装置３に送信する。ステップＳ７０３では、情報処理装置３の生体認証部３６８は、テンプレートと遮蔽領域を含む登録データを受信する。また、ステップＳ３０５の処理及びステップＳ７０１からステップＳ７０３までの処理は、ステップＳ７０５の処理より前であればいつ実行されてもよい。

【0101】

ステップＳ７０４では、遮蔽領域処理部３６５は、ステップＳ３０３にて検出された虹彩に含まれる、ステップＳ３０４にて検出された遮蔽領域内の各画素値を別の値に置換する。遮蔽領域処理部３６５は、検出された遮蔽領域内の画素値を置換することによって、遮蔽領域を実際の虹彩に近いものに補完でき、遮蔽領域に起因する認証失敗を軽減することができる。なお、ステップＳ７０４の処理が省略されてもよい。

【0102】

以下、ステップＳ７０４で行う置換処理の５つの具体例を説明するが、別の方法によって置換が行われてもよい。

【0103】

置換処理の第１の例では、遮蔽領域処理部３６５は、ステップＳ３０２で取得された静止画の遮蔽領域内の全画素値を、当該静止画において検出された遮蔽領域を除いた虹彩の平均画素値に置換する。

【0104】

置換処理の第２の例では、予め様々な環境で様々な被験者の目の画像が大量に撮影され、遮蔽領域処理部３６５は、当該目の画像それぞれについて、虹彩と遮蔽領域を検出して遮蔽領域を除いた虹彩の平均画素値を算出し、ステップＳ３０２で取得された静止画の遮蔽領域内の全画素値を、各目の画像について算出した平均画素値の平均値に置換する。

【0105】

置換処理の第３の例では、予め様々な環境で様々な被験者の目の画像が大量に撮影され、遮蔽領域処理部３６５は、当該目の画像それぞれから虹彩を検出し、検出された虹彩内の各画素位置について平均画素値を算出する。遮蔽領域処理部３６５は、ステップＳ３０２で取得された静止画の遮蔽領域内の各画素値を、当該画素位置の平均画素値へ置換する。なお、遮蔽領域処理部３６５は、各画素位置における平均画素値の算出時に、当該目の画像それぞれから遮蔽領域を検出し、非遮蔽領域となっている虹彩の画素値のみを用いて平均画素値を算出してもよい。

【0106】

置換処理の第４の例では、遮蔽領域処理部３６５は、ステップＳ３０２で取得された静止画の遮蔽領域内の画素それぞれを、当該画素位置に最も近い非遮蔽領域の虹彩画素値に置換する。また、遮蔽領域処理部３６５は、例えば、当該静止画の、非遮蔽領域に接する遮蔽領域の画素それぞれを、当該画素の近傍の非遮蔽領域の画素（例えば、当該画素に近い順に所定数の非遮蔽領域の画素）の平均画素値で置換することで非遮蔽領域に変換する処理、を繰り返す（２回目以降の当該処理では置換後の画素は非遮蔽領域の画素として扱われる）ことで、元の非遮蔽領域から近い画素から順に遮蔽領域の全ての画素の置換を行ってもよい。

【0107】

置換処理の第５の例では、遮蔽領域処理部３６５は、機械学習を用いて、ステップＳ３０２で取得された静止画において遮蔽領域がない場合の虹彩画素値を予測し、当該静止画の遮蔽領域の各画素値を、当該予測した値へと置換する。

【0108】

なお、本実施例では、認証時に取得された静止画に含まれる虹彩の遮蔽領域内の画素に対して置換処理が行われているが、例えば、登録時においても、ステップＳ２０５の前に、登録時に取得された静止画に含まれる虹彩の遮蔽領域内の画素に対しても置換処理が行われてもよい。但し、登録時及び認証時ともに、上記した置換処理の第２の例又は第３の例で置換が行われると、認証における他人受入率が上昇してしまうため、登録時又は認証時の一方において、置換処理の第２の例又は第３の例で置換が行われる場合には、登録時又は認証時の他方においては、置換処理の第２の例及び第３の例以外の方法で置換が行われることが望ましい。なお、登録時に置換処理が実行された場合には、ステップＳ６０３では、ステップＳ６０２で生成されたテンプレートのみを登録データとするか、虹彩の全画素位置にて非遮蔽領域となっている遮蔽領域を生成して登録データに含まれる遮蔽領域とする。

【0109】

ステップＳ７０５では、特徴量抽出部３６６は、ステップＳ７０３で受信した登録データの登録遮蔽領域と、ステップＳ７０４で遮蔽領域内の画素値が置換された虹彩と、を基に特徴量を抽出する。この特徴量抽出処理は、ステップＳ２０８の特徴量抽出と同様の処理であり、具体的には、例えば、特徴量抽出部３６６は、遮蔽領域内の画素値が置換されたことにより補完された虹彩から、登録遮蔽領域を除いた領域を虹彩領域に決定し、当該決定した虹彩領域から特徴量を抽出する。なお、ステップＳ７０４の処理が省略された場合は、特徴量抽出部３６６は、ステップＳ３０３で検出された虹彩から、ステップＳ７０３で受信した登録データの登録遮蔽領域に基づいて当該虹彩から特徴量を抽出する。

【0110】

なお、上述した例ではステップＳ３０２の動画処理で静止画が１つ生成された例を説明したが、ステップＳ３０２で複数の静止画が生成されてもよい。複数の静止画が生成された場合のステップＳ３０３以降の処理の具体例は、実施例１と同様のため、説明を省略する。

【0111】

なお、ステップＳ３０２で複数の静止画が生成された場合、遮蔽領域処理部３６５は、ステップＳ７０４における虹彩の置換処理の置換内容をステップＳ７０２で生成された複数の静止画に基づいて算出してもよい。続いて、ステップＳ７０５、ステップＳ３１１及びステップＳ３１２の処理が実行されて認証処理が終了する。

【0112】

なお、図６の登録処理において、テンプレートと遮蔽領域の複数の組み合わせ（登録データ）が登録された場合には、例えば、当該複数の組み合わせそれぞれに対して図７の認証処理が行われ、当該複数の組み合わせのうち、ステップＳ３１２において最も高い類似度を示した認証結果が採用されるとよい。

【0113】

図８は、複数の静止画に基づく置換内容算出処理の一例を示すフローチャートである。ステップＳ８０１からステップＳ８０３の処理は、それぞれ、ステップＳ２０３からステップＳ２０５の処理と同様であるため、説明を省略する。

【0114】

ステップＳ８０４では、遮蔽領域処理部３６５は、各静止画から検出された虹彩と遮蔽領域に基づいて置換内容の算出を行う。以下、置換内容の算出方法の３つの具体例を説明するが、以下の例に限られない。

【0115】

置換内容の算出方法の第１の例では、遮蔽領域処理部３６５は、各静止画から検出された虹彩内の各画素位置の平均画素値を算出し、算出した各平均画素値を置換内容に決定する。なお、遮蔽領域処理部３６５は、静止画それぞれから遮蔽領域を検出し、非遮蔽領域となっている虹彩の画素値のみを用いて平均画素値を算出してもよい。

【0116】

置換内容の算出方法の第２の例では、遮蔽領域処理部３６５は、静止画それぞれについて、検出された虹彩及び遮蔽領域を基に特徴量抽出とテンプレート生成を行い、他の静止画から同様に生成されたテンプレートと照合を行う。遮蔽領域処理部３６５は、ステップＳ７０４において処理されている虹彩の静止画以外の静止画を照合結果に基づいて選択し、処理中の虹彩の遮蔽領域と同領域内の、選択した静止画の各画素値を置換内容に決定する。なお、照合結果に基づく置換先画像の選択方法はステップＳ２０６で説明した方法と同様のため、説明を省略する。

【0117】

置換内容の算出方法の第３の例では、遮蔽領域処理部３６５は、ステップＳ７０４において処理されている虹彩画像（第１の虹彩画像）から検出された第１の虹彩及び遮蔽領域と、それとは別の虹彩画像（第２の虹彩画像）から検出された第２の虹彩及び遮蔽領域を基に照合を実施し、照合結果を基に第１の虹彩と第２の虹彩の位置合わせを行い、位置合わせ後の第２の虹彩の画素値を、第１の虹彩画像の遮蔽領域の画素の置換内容に決定する。

【0118】

つまり、遮蔽領域処理部３６５は、第１の虹彩の遮蔽領域内の各画素において、第２の虹彩の対応する画素を参照し、当該対応する画素が遮蔽領域でない場合、第１の虹彩の遮蔽領域内の当該画素を、第２の虹彩の対応する画素に置換する。

【0119】

また、例えば、第２の虹彩以外にも、位置合わせ後の第３の虹彩、及び第４の虹彩などが存在する場合は、遮蔽領域処理部３６５は、第１の虹彩において遮蔽領域内の画素を全て置換する、又は位置合わせ後の虹彩の全てに基づいて処理を行うまで、第２の虹彩から順に、第１の虹彩の遮蔽領域に対応する画素が遮蔽領域でない場合に、位置合わせ後の虹彩の当該画素に置換してもよい。このとき、遮蔽領域処理部３６５は、第２の虹彩、及び第３の虹彩などの順番は、例えば、第１の虹彩との照合結果に基づいて決定してもよい。また、第１の虹彩の遮蔽領域内の各画素を位置合わせ後の各虹彩の平均画素値に置換してもよい。このとき、遮蔽領域処理部３６５は、非遮蔽領域となっている虹彩の画素値のみを用いて平均画素値を算出してもよい。なお、上記したこの置換内容の算出方法の第３の例の処理は、第１の虹彩の非遮蔽領域に適用することも可能である。その場合、第１の虹彩と、位置合わせ後の１つ以上の虹彩の対応する非遮蔽領域の位置の画像と、の平均画素値で置換してもよい。

【0120】

続いて、ステップＳ８０５では、遮蔽領域処理部３６５は、ステップＳ８０４で算出した置換内容をステップＳ７０４における置換処理のために出力する。

【0121】

図９は、上記した置換内容の算出方法の第３の例における照合に基づく位置合わせ方法の例を示す説明図である。照合に基づく位置合わせ方法の第１の例として、遮蔽領域処理部３６５が、虹彩１３及び遮蔽領域１４を、虹彩１３の中点を原点として回転させて他の静止画との位置合わせを行い、回転させた虹彩１３と遮蔽領域１４を基に他の静止画と照合を行い、照合結果を基に回転画像を選択する方法がある。図９（ａ）は、直交座標系における回転前の虹彩１３と遮蔽領域１４を示す。図９（ｂ）は、直交座標系における回転後の虹彩１３と遮蔽領域１４を示す。

【0122】

また、照合に基づく位置合わせ方法の第２の例として、遮蔽領域処理部３６５が、虹彩１３及び遮蔽領域１４を虹彩の中点を原点とした極座標系へと変換し、極座標系にて虹彩１３及び遮蔽領域１４を角度座標上にてずらすことで他の静止画と位置合わせをして、他の静止画と照合を行う方法がある。図９（ｃ）は、極座標系へと変換された虹彩１３及び遮蔽領域１４を示す。図９（ｄ）は、極座標系において角度座標上にて虹彩１３及び遮蔽領域１４がずらされた一例を示す。

【0123】

図９に示す通り、直交座標系における回転と極座標系における角度座標上の平行移動は同一であるため、遮蔽領域処理部３６５は、どちらの座標系を用いて位置合わせを行ってもよい。また、例えば、遮蔽領域処理部３６５は、直交座標系又は極座標系の一方において虹彩１３及び遮蔽領域１４の位置合わせをして、他方の座標系に位置合わせの結果を反映して照合を行ってもよい。

【0124】

なお、照合結果に基づく画像の選択方法はステップＳ２０６で説明した方法と同様のため、説明を省略する。これらの複数静止画に基づく置換内容算出方法は一例であり、置換内容の算出方法はこれらに限定されない。

【0125】

以上、本実施例に係る生体認証システム１０は、登録時には、検出した遮蔽領域に基づいて特徴量抽出とテンプレート生成を行い、生成しテンプレートと検出遮蔽領域とを併せて登録する。また、生体認証システム１０は、認証時には、検出した遮蔽領域内の虹彩画素値を虹彩に似た値に置換し、登録時の遮蔽領域と遮蔽領域内の画素値を置換された虹彩に基づいて特徴量抽出、テンプレート生成、及び認証を行う。

【0126】

本実施例の生体認証システム１０は、認証時の遮蔽領域を置換することによって虹彩の補完ができ、認証時に利用者の利便性を損ねることなく遮蔽領域による認証失敗を軽減することができる。また、本実施例の生体認証システム１０は、遮蔽領域内の画素値の置換を特徴量抽出処理よりも前に行うため、虹彩認証に用いる特徴量の形式や手法に制限がない。