(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【課題を解決するための手段】
【0005】
本明細書は、眼の画像に基づくバイオメトリック認証に非常に好適である技術を説明する。特に、画像鮮鋭化技法が、効率的な特徴検出を補助することができる。血管点検出(VPD)技法が、眼の可視血管系から着目点を検出することができ、拡張型マルチ半径ローカルバイナリパターンのパターンヒストグラム(PH−EMR−LBP)および/または拡張型マルチ半径中心対称ローカルバイナリパターンのパターンヒストグラム(PH−EMR−CS−LBP)が、血管系の着目点を囲繞する画像の一部の記述を効率的に提供することができる。可視血管系は、強膜マスクを使用して得られることができ、これは、白眼を含み、眼内画像から白眼を囲繞する画像部分を除外する、バイナリ画像マスクであり得る。本明細書に説明されるマッチング技法は、外れ値検出を使用することによって、距離または相関ベースのマッチングの効率および/または正確度を改善することができる。説明される技法はまた、最良の質かつ多様な画像が認証において、例えば、異なる場所および時間において捕捉された画像内の、自然に発生する分散を最小限にするために使用されるように、参照画像から導出され、認証のために使用されるテンプレート(概して、以下の議論では、登録テンプレートと称される)を更新することを可能にする。
【0006】
特徴抽出およびパターンマッチングシステムでは、画像鮮鋭化が、眼の可視血管系から着目点を検出するための血管点検出(VPD)を可能にすることができる。拡張型マルチ半径ローカルバイナリパターンのパターンヒストグラムおよび/または拡張型マルチ半径中心対称ローカルバイナリパターンのパターンヒストグラムが、着目点を囲繞する画像の一部の記述を提供することができ、登録および照合テンプレートが、VPDを介して検出される点および対応する記述子を使用して生成されることができる。内座層点対が、登録および照合テンプレートから選択されることができ、2つのテンプレートの類似性を示す第1のマッチスコアが、内座層点の対の数と、内座層検出によって選択された変換の1つまたはそれを上回るパラメータとに基づいて、算出されることができる。第2のマッチスコアが、選択された変換を適用することによって算出されることができ、スコアの一方または両方が、ユーザを認証するために使用されることができる。
【0007】
登録テンプレートは、血管点(VPD)等の着目点と、拡張型マルチ半径ローカルバイナリパターン(EMR−LBP)、拡張型マルチ半径ローカルバイナリパターンのパターンヒストグラム(PH−EMR−LBP)、拡張型マルチ半径中心対称ローカルバイナリパターンのパターンヒストグラム(PH−EMR−CS−LBP)、および拡張型マルチ半径中心対称ローカルバイナリパターン(EMR−CS−LBP)等の対応する特徴との集合であり得る。いくつかの実装では、登録テンプレートは、取得された画像が、VPD点と、セグメント化された強膜領域のサイズのそれとの比率に基づいて、ある閾値を超える場合のみ、作成され得る。1つを上回る登録が、単一ユーザに対して可能である。登録テンプレートは、取得されたスキャンに影響を及ぼす、挙動および/または環境変動を適応させるために更新されることができる。照合を使用して登録テンプレートを更新するステップは、候補照合テンプレートの質、マッチスコア、および/または他の画像および露光類似性測度に基づき得る。
【0008】
故に、一側面では、コンピュータ実装方法が、いくつかの捕捉された画像に基づいて、鮮鋭化された画像を得るステップを含む。1つまたはそれを上回る捕捉された画像は、血管構造の画像を含むことができる。さらに、本方法は、鮮鋭化された画像内のいくつかの血管点を検出するステップと、いくつかの検出された血管点のうちの1つ毎に、1つまたはそれを上回る異なる局所画像記述子を生成するステップとを含む。本方法はまた、検出された血管点のうちの1つまたはそれを上回るものと、それらのそれぞれの局所画像記述子とを含む、テンプレートを生成するステップも含む。本側面の他の実施形態は、対応するシステム、装置、およびコンピュータプログラムを含む。
【0009】
一実装では、特定の鮮鋭化された画像を得るステップは、平均画像を生成するために、いくつかの捕捉された画像から1つまたはそれを上回る画像を選択するステップと、選択された画像を平均化するステップとを含む。本方法はまた、畳み込み画像を得るために、平均画像を、ラプラシアンガウシアン(LoG)カーネルを用いて畳み込みを行うステップと、差分画像を得るために、最大画素値から、畳み込み画像の各画素を減算するステップとを含む。加えて、本方法の本実装は、特定の鮮鋭化された画像を得るために、画素毎に、差分画像および平均画像を乗算するステップを含む。いくつかの実装では、LoGカーネルを使用し、差分画像を算出し、差分画像および平均画像を乗算する代わりに、異なる角度に配向されたいくつかのガボールカーネルが、鮮鋭化された画像を直接得るように、平均画像の畳み込みを行うために使用されることができる。
【0010】
別の実装では、平均画像は、鮮鋭化された画像を得るために、偶数のガボールカーネルのセットを用いて畳み込みを行われることができる。種々の角度にわたって配向される偶数のガボールカーネルのセットは、入力画像の分解能およびスケール、可視血管系の平均幅等のいくつかのパラメータに基づいて、同調されることができる。この畳み込み画像は、前述のLoGベースの鮮鋭化された画像の代わりに、またはそれに加えて使用されてもよい。
【0011】
一実装では、いくつかの血管点を検出するステップは、候補血管点として鮮鋭化された画像内の点を選択するステップを含む。次いで、候補血管点上を中心とする第1のウィンドウに従って、いくつか(例えば、N個であって、Nは、1を上回る)の第1の近傍点が、識別されることができる。加えて、候補血管点上を中心とする第2の異なるウィンドウに従って、いくつか(例えば、N個)の他の第2の近傍点もまた、識別されることができる。本実装では、本方法はさらに、N個(Nは、1を上回る)の状態を判定するステップを含む。N個の状態のそれぞれは、第1の近傍点のN個の点における1つの近傍点に対応する。状態は、少なくとも部分的に、第1の近傍点のうちの1つ、すなわち、第1のウィンドウによるN個の点のうちの1つのそれぞれの強度と、第2の対応する近傍点、すなわち、第2のウィンドウによるN個の点のうちの1つと、候補血管点とに基づいて、比較を実施することによって判定されることができる。本方法はまた、N個の状態を集約するステップと、少なくとも部分的に、集約された状態の値に基づいて、候補血管点を血管点として指定するステップとを含むことができる。
【0012】
いくつかの実装では、第1のウィンドウ内の候補血管点と第1の近傍点との間の幾何学距離は、第2のウィンドウ内の候補血管点と第1の近傍点との間の幾何学距離よりも短く、第2のウィンドウ内の第1の近傍点は、第1のウィンドウ内の第1の近傍点に対応する。比較は、第1のN個の近傍点における点の強度が、候補血管点の強度よりも第1の閾値だけ上回るかどうかを試験するステップを含むことができる。代替として、またはそれに加えて、比較は、第2のN個の近傍点における対応する点の強度が、候補血管点の強度よりも第1の閾値だけ上回るかどうかを試験するステップを含むことができる。対応する状態を判定するステップは、2つの試験のいずれかが真の場合、状態を第1の値(例えば、論理的高値または「1」)に設定するステップと、そうでなければ、状態を第2の値(例えば、論理的低値または「0」)に設定するステップとを含むことができる。一実装では、N個の状態を集約するステップは、N個の状態を合計するステップを含み、指定するステップは、集約された状態の合計値が、選択されたカウントを超えるかどうかを試験するステップを含む。選択されたカウントは、Nであり得、またはいくつかの実装では、Nより小さくなり得る。
【0013】
別の比較は、第1のN個の近傍点における任意の点の強度が、第2の閾値を上回るかどうかを試験するステップ、および/または第2のN個の近傍点における対応する点の強度が、第2の閾値を上回るかどうかを試験するステップを含むことができる。対応する状態を判定するステップは、2つの試験のいずれかが真の場合、状態を第2の値(例えば、論理的低値または「0」)に設定するステップを含むことができる。
【0014】
いくつかの実装では、本方法は、静脈を表すバイナリ血管マップ(BVM)を得るために、鮮鋭化された画像内のいくつかの点に対して、選択するステップ、識別するステップ、判定するステップ、集約するステップ、および指定するステップを実施するステップと、血管点として指定された各候補血管着目点を、第1の値(例えば、論理的高値または「1」)に設定するステップと、他の候補血管着目点を、第2の値(例えば、論理的低値または「0」)に設定するステップとを含む。BVMは、(i)血管系の幅にわたる境界に対応し、(ii)第1の値に設定された、少なくとも1つの血管点を除外することによって、間引かれることができる。本方法はまた、第1の値に設定された1つまたはそれを上回る血管点を局所的に抑制するステップも含むことができる。局所的な抑制は、少なくとも部分的に、鮮鋭化された画像の一部に関する、または鮮鋭化された画像全体に関する勾配規模マップに基づき得る。
【0015】
いくつかの実装では、それぞれの1つまたはそれを上回る局所画像記述子を生成するステップは、(i)検出された血管点を囲繞する画像領域の拡張型マルチ半径ローカルバイナリパターンのパターンヒストグラム(PH−EMR−LBP)と、(ii)検出された血管点を囲繞する画像領域の拡張型マルチ半径中心対称ローカルバイナリパターンのパターンヒストグラム(PH−EMR−CS−LBP)とのうちの少なくとも1つを算出するステップを含む。
【0016】
別の側面では、1つまたはそれを上回る照合テンプレートを、1つまたはそれを上回る登録テンプレートとマッチングさせるためのコンピュータ実装方法は、いくつかのマッチング点対を識別するステップを含む。各マッチング点対は、特定の照合テンプレートからの第1の点と、登録テンプレートからの対応する第2の点とを含む。各第1の点は、(i)照合テンプレートに対応する照合画像内の着目点の場所と、(ii)いくつかの異なるタイプの記述子であって、それぞれ、照合画像内の着目点を囲繞する局所性を記述する、記述子とを含む。各第2の点は、(i)登録テンプレートに対応する登録画像の着目点の場所と、(ii)いくつかの異なるタイプの記述子であって、それぞれ、登録画像内の着目点を囲繞する局所性を記述する、記述子とを含む。
【0017】
本方法はまた、照合および登録テンプレートにわたって外れ値検出を実施することによって、いくつかのマッチング点対から選択されたいくつかの内座層点対を得るステップも含む。加えて、本方法は、いくつかの内座層点対に基づいてマッチスコアを計算するステップ(例えば、段階1のマッチスコア)、事前処理の一部としての外れ値検出中に識別される幾何学変換を使用するステップ(例えば、段階2のマッチスコアを算出する際)、または両方を含む。本側面の他の実施形態は、対応するシステム、装置、およびコンピュータプログラムを含む。
【0018】
一実装では、いくつかのマッチした点対を識別するステップは、照合テンプレート内の第1の点毎に、第1の点と関連付けられる記述子と、登録テンプレートの第2の点のうちの1つまたはそれを上回るものと関連付けられる記述子との間のそれぞれの距離を計算するステップを含む。第2の点のうちの1つは、それぞれの距離に基づいて、第1の点に対応するものとして指定されることができ、したがって、第1の点および対応する第2の点を含むマッチ点対が、識別される。
【0019】
照合テンプレート内の特定の第1の点と関連付けられる記述子と、登録テンプレートの第2の点と関連付けられる記述子との間のそれぞれの距離を計算するステップは、特定の第1の点と関連付けられる各記述子と、登録テンプレートの第2の点の各対応する記述子との間の距離を計算するステップを含むことができる。計算された距離は、特定の第1の点と関連付けられる記述子と、登録テンプレートの第2の点と関連付けられる記述子との間の距離を得るために、加重平均として組み合わせられることができる。
【0020】
一実装では、投票方法に従っていくつかのマッチング点対を識別するステップは、照合テンプレート内の第1の点毎に、第1の点と関連付けられる記述子のそれぞれと、登録テンプレートの1つまたはそれを上回る第2の点と関連付けられる対応する記述子との間のそれぞれの距離を計算するステップを含む。それぞれの距離閾値を超えない距離の数は、カウントされることができ、第2の点のうちの1つは、距離の数のカウントに基づいて、第1の点に対応するものとして指定されることができる。したがって、第1の点および対応する第2の点を含むマッチ点対が、生成される。
【0021】
種々の実装では、それぞれの距離を計算することは、ハミング距離、ユークリッド距離、ユークリッド距離、マンハッタン距離、相関、およびマハラノビス距離として、計算されることができる。いくつかの実装では、局所(非バイナリ)記述子は、局所記述子分散に寄与しない次元を排除するために、主成分分析(PCA)を使用して短縮されることができる。特定の記述子は、拡張型マルチ半径ローカルバイナリパターン(EMR−LBP)、拡張型マルチ半径ローカルバイナリパターンのヒストグラム(H−EMR−LBP)、拡張型マルチ半径ローカルバイナリパターンのパターン化されたヒストグラム(PH−EMR−LBP)、拡張型マルチ半径中心対称ローカルバイナリパターン(EMR−CS−LBP)EMR−CS−LBPのヒストグラム(HCS−LBP)、EMR−CS−LBPのパターンヒストグラム(PH−EMR−CS−LBP)、配向勾配のヒストグラム(HoG)、高速化ロバスト特徴(SURF)、または高感度網膜キーポイント(FREAK)を使用して導出されることができる。いくつかの内座層点対を得るステップは、第1の点を対応する第2の点に整合させるために、ランダムサンプルコンセンサス(RANSAC)、M推定サンプルおよびコンセンサス(MSAC)、またはGROUPSACを使用するステップを含むことができる。
【0022】
いくつかの実装では、マッチスコアを計算するステップは、マッチした第1の点および対応する第2の点から検出された内座層点の場所の相関を算出するステップを含む。第1のマッチスコアを算出するステップはまた、内座層点対の数および整合する幾何学変換の1つまたはそれを上回るパラメータ等の場所相関の他に、付加的パラメータおよび手順も含むことができる。幾何学変換のパラメータは、内座層点対からの計算された幾何学変換の結果としての照合画像のスケールにおける変化、または内座層点対からの幾何学変換の結果としての照合画像の角度における変化であり得る。一実装では、両方のパラメータが、第1のマッチスコアを算出する際に使用される。他の実装では、変換タイプに応じて、シェア等の付加的パラメータが、使用されてもよい。真正分布からのその逸脱を示す、幾何学変換の他の算出測度もまた、許容可能である。いくつかの実装では、本方法は、候補(内座層)点を識別するステップに先立って、ガボールフィルタ処理を介して、平均化された照合画像を修正するステップを含む。登録テンプレートもまた、ガボールフィルタ処理を介して修正されることができる。
【0023】
いくつかの実装では、マッチスコアを算出するステップは、変換された画像を作成するために、幾何学変換を照合画像に適用することによって、第2のマッチスコアを算出するステップを含む。本方法はまた、変換された画像をフィルタ処理し、変換された画像の配向されたローカルバイナリパターンバージョンをエンコードするステップと、登録テンプレートのために使用される画像に同じプロセスを適用するステップとを含む。各バージョンは、各層がエンコードの別個の次元に対応する、いくつかの層を含むことができる。本方法はさらに、層毎に、それぞれの層測度を得るために、エンコードされた変換された画像の層毎の1つまたはそれを上回る対応するタイルと、登録テンプレートに対応するエンコードされた画像とを比較するステップを含むことができる。層測度は、第2のマッチスコアを得るために集約されることができる。フィルタ処理するステップは、ガボールフィルタ処理またはガボールフィルタ処理の対数を含むことができ、エンコードするステップは、グレーコーディングを含むことができる。
【0024】
いくつかの実装では、本方法は、比較するステップに先立って、可視血管が実質的に欠如した領域に対応する、1つまたはそれを上回るタイルを除外するステップを含む。対応するタイルを比較するステップは、対応するタイル間のハミング距離、正規化されたハミング距離、またはスライディングウィンドウ相関を計算するステップを含むことができる。本方法はさらに、第2のマッチスコアに加えて、第1のマッチスコアを算出するステップを含むことができる。第1のマッチスコアは、照合および登録テンプレートから、それぞれ、内座層点対の2つの対応する点の座標間の相関を算出することによって算出されることができ、内座層点対の数等のパラメータと幾何学変換の1つまたはそれを上回るパラメータとに基づき得、および/または内座層点対の数の関数に基づき得る。マッチスコアは、次いで、第1のマッチスコアおよび第2のマッチスコアの加重和として算出されることができる。
【0025】
一実装では、第1のマッチスコアに対する相関は、
【数1】
を算出するステップを含み、ここでは、照合および登録テンプレートにわたる内座層点の座標は、対における各点のX座標およびY座標を含み、CxおよびCyは、それぞれ、照合および登録テンプレートにわたるマッチした内座層点のX座標およびY座標の相関である。段階1のマッチスコアは、以下のように算出されることができる。
【数2】
本算出では、Nは、内座層点対の数であり、RSは、計算された位置合わせ幾何学変換の結果としての照合画像のスケールにおける変化であり、RAは、計算された位置合わせ幾何学変換の結果としての照合画像の角度における変化である。本方法はさらに、幾何学変換の少なくとも1つのパラメータが、そのパラメータの正常範囲外にある場合、マッチスコアから第1のマッチスコアを除外するステップを含むことができる。RSおよびRAは、アフィン変換が仮定されるとき、シェアによって拡張されることができる。第1段階のマッチスコアはまた、Cx、Cy、N、および変換マトリクス導出パラメータの関数の観点から、人工神経ネットワークまたは線形判別分析等の分類子を訓練するために、偽物と本物の比較の標識化されたデータセットを使用して、直接学習されることができる。随意に、PCA前処理段階が、分類の前に適用されてもよい。
【0026】
いくつかの実装では、変換マトリクス導出パラメータRSおよびRAの代わりに、変換の別の関数が、そのマトリクス要素から直接計算されることができる。本物と偽物の比較から導出される変換マトリクスを考慮して、その分布において最大の本物−偽物分離をもたらす、対応する変換マトリクス要素の関数を作成することが望ましい。本目的を達成するための1つの方法は、回帰関数を訓練し、フィッシャ判別比率等の分類可能性の測度を最大限にするために、偽物と本物の比較の標識化されたデータセットの変換マトリクスを使用することである。
【0027】
別の側面では、登録テンプレートを更新するためのコンピュータ実装方法は、いくつかの着目点を含む照合テンプレートを受信するステップを含む。各着目点は、それぞれ、対応する着目点を囲繞する1つまたはそれを上回る局所性を記述する、いくつかの異なるそれぞれの記述子と関連付けられる。本方法はまた、照合テンプレートを、登録テンプレートの集合内の1つまたはそれを上回る登録テンプレートと比較することによって、照合テンプレートに対するマッチスコアを算出するステップも含む。照合テンプレートは、少なくとも、登録閾値とマッチする、またはそれを超えるマッチスコアに基づいて、登録テンプレートの集合に追加されることができる。
【0028】
いくつかの実装では、本方法は、登録テンプレートの集合内のテンプレート毎に、登録テンプレートの集合内の1つまたはそれを上回る他のテンプレートを用いてそれぞれのマッチスコアを生成するステップを含む。それぞれの中間マッチスコアは、テンプレートに対して算出され、最小中間マッチスコアを有するテンプレートは、登録テンプレートの集合から除去されることができる。本側面の他の実施形態は、対応するシステム、装置、およびコンピュータプログラムを含む。
【0029】
いくつかの実装では、本方法は、間引かれたBVMおよび強膜マスクを使用して、登録に対する質スコアを生成するステップを含んでもよい。強膜マスクは、白眼を含み、眼内画像から白眼を囲繞する画像部分を除外する、バイナリ画像マスクであり得る。質スコアは、間引かれたBVM内の検出された血管点の数と、強膜マスク内の真の画素(1の)数との比率であってもよい。本方法はまた、ある質スコアを合格しない登録テンプレートを除去するステップも含む。
【0030】
いくつかの実装では、本方法は、露光差、影響閾値、または両方に従って、マッチスコアを調節するステップを含む。露光差は、照合テンプレートと関連付けられる照合露光テンプレートと、登録テンプレートと関連付けられる登録露光テンプレートとの間の差異を含むことができる。本方法はまた、照合露光テンプレートおよび/または登録露光テンプレートを生成するステップも含むことができる。
【0031】
いくつかの実装では、露光テンプレートを(登録および/または照合のために)生成するステップは、登録および/または照合画像に対応する眼内着目領域(ROI)を、2つまたはそれを上回る区分にパーティション化するステップと、区分毎に、ヒストグラムにおいて各強度を表す強度のヒストグラムを生成するステップであって、ROIの区分内のいくつかの画素は、実質的にその強度を有する、ステップとを含む。ROIは、眼の上を中心とする画像の領域であり得る。いくつかの実装では、この領域は、アイファインダによって見出される。いくつかの実装では、ROIは、強膜マスクの境界ボックスに従って眼の画像をクロッピングすることによって、および規定された数の画素(例えば、50画素)を用いて、クロッピングされた画像をパディングすることによって見出される。一実装では、ROIは、4象限にパーティション化される。いくつかの実装では、眼の画像は、境界ボックスを使用して、1つの眼角から別の眼角に、および1つの眼瞼から別の眼瞼にクロッピングされることができる。クロッピングされた画像は、規定された数の画素を用いてパディングされることができる。
【0032】
一実装では、露光差は、−1×露光類似性である。本方法は、象限j毎に、(i)ヒストグラム差の正規化された絶対値(ABSNdist_j)と、(ii)ヒストグラム交差類似性(INTRsim_j)と、(iii)ヒストグラムの相関係数類似性(CORRsim_j)と、(iv)バッタチャリャ距離(BHATdist_j)とのうちの1つまたはそれを上回るものを判定するステップを含む。露光類似性は、以下のように算出されることができる。
(-Σ
jABSNdist_j−Σ
jBHATdist_j+Σ
jINTRsim_j+Σ
jCORRsim_j)
上記の4つの基準の他の線形または非線形の組み合わせが、可能である。
【0033】
一実装では、1つまたはそれを上回る露光テンプレートを生成するステップは、いくつかの露光測度を生成するステップを含む。露光測度のうちの各1つは、画像のEXIFファイル(EXIF測度)と、YUV画像のY成分の統計パラメータと、RGB画像のG成分の統計パラメータとに含まれる、ROIの露光計測であり得る。
【0034】
いくつかの実装では、露光差および/または露光類似性は、1つまたはそれを上回るヒストグラム測度に基づいて算出される。異なるヒストグラム測度は、ヒストグラム差の正規化された絶対値(ABSNdist)と、ヒストグラム交差類似性(INTRsim)と、ヒストグラムの相関係数類似性(CORRsim)と、バッタチャリャ距離(BHATdist)とのうちの任意の1つであり得る。
【0035】
いくつかの実装では、本方法は、マッチスコアを算出するステップに先立って、照合テンプレートと関連付けられる照合露光テンプレートと、登録テンプレートの集合内の各登録テンプレートと関連付けられる各登録露光テンプレートとの間のそれぞれの露光差に従って、登録テンプレートの集合を順序付けるステップを含んでもよい。したがって、照合テンプレートの照合は、概して、照合テンプレートをいくつかの登録テンプレートと比較することによって照合が進むため、促進され、したがって、最低露光差を有するものを用いて開始することで、照合テンプレートと正確にマッチする可能性が高くなり得る。
本明細書は、例えば、以下を提供する。
(項目1)
コンピュータ実装方法であって、
複数の画像に基づいて鮮鋭化された画像を得ることであって、上記複数のうちの少なくとも1つの画像は、血管構造の画像を備える、ことと、
上記鮮鋭化された画像内の複数の血管点を検出することと、
上記検出された複数の血管点に対して、それぞれの複数の異なる局所画像記述子を生成することと、
上記複数の血管点と、それらのそれぞれの局所画像記述子とを備える、テンプレートを生成することと
を含む、方法。
(項目2)
特定の鮮鋭化された画像を得ることは、
上記複数の画像から画像のセットを選択し、上記セット内の画像を平均化することにより、平均画像を生成することと、
上記平均画像を、ラプラシアンガウシアン(LoG)カーネルを用いて畳み込みを行うことにより、畳み込み画像を得ることと、
最大画素値から、上記畳み込み画像の各画素を減算することにより、差分画像を得ることと、
画素毎に、上記差分画像および上記平均画像を乗算することにより、上記特定の鮮鋭化された画像を得ることと
を含む、項目1に記載の方法。
(項目3)
特定の鮮鋭化された画像を得ることは、
上記複数の画像から画像のセットを選択し、上記セット内の画像を平均化することにより、平均画像を生成することと、
上記平均画像を、異なる角度に配向された複数のガボールカーネルを用いて畳み込みを行うことにより、上記特定の鮮鋭化された画像を得ることと
を含む、項目1に記載の方法。
(項目4)
上記複数の血管点を検出することは、
候補血管点として、上記鮮鋭化された画像内の点を選択することと、
上記候補血管点上を中心とする第1のウィンドウに従って、第1の複数のN個の近傍点を識別し、上記候補血管点上を中心とする第2の異なるウィンドウに従って、第2の複数のN個の近傍点を選択することと、
少なくとも部分的に、上記第1の複数のN個の点における点と、上記第2の複数のN個の点における対応する点と、上記候補血管点とのそれぞれの強度に基づいて、比較を実施することによって、上記第1の複数のN個の点における近傍点毎に、ある状態を含む複数のN個の状態を判定することと、
上記N個の状態を集約することと、
上記候補血管点を、少なくとも部分的に、上記集約された状態に基づいて、血管点として指定することと
を含む、項目1に記載の方法。
(項目5)
上記比較は、(i)上記第1の複数のN個の点における点の強度が、上記候補血管点の強度よりも第1の閾値だけ上回るかどうかを試験することと、(ii)上記第2の複数のN個の点における対応する点の強度が、上記候補血管点の強度よりも上記第1の閾値だけ上回るかどうかを試験することとを含み、
対応する状態を判定することは、上記試験(i)および(ii)のいずれかが真の場合、上記状態を第1の値に設定し、そうでなければ、上記状態を第2の値に設定することを含む、項目4に記載の方法。
(項目6)
上記N個の状態を集約することは、上記N個の状態を合計することを含み、
指定することは、上記集約された状態の合計値が、選択されたカウントを超えるかどうかを試験することを含む、項目4に記載の方法。
(項目7)
上記比較は、(a)上記第1の複数のN個の点における点の強度が、第2の閾値を上回るかどうかと、(b)上記第2の複数のN個の点における対応する点の強度が、上記第2の閾値を上回るかどうかとのうちの少なくとも1つを試験することを含み、
対応する状態を判定することは、試験(a)および(b)のいずれかが真の場合、上記状態を第2の値に設定することを含む、項目4に記載の方法。
(項目8)
上記鮮鋭化された画像内の複数の点に対して、上記選択すること、識別すること、判定すること、集約すること、および指定することを実施することと、
血管点として指定された各候補血管点を、第1の値に設定し、他の候補血管点を、第2の値に設定することにより、静脈を表すバイナリ血管マップ(BVM)を得ることと
をさらに含む、項目4に記載の方法。
(項目9)
(i)境界に対応し、(ii)上記第1の値に設定された、少なくとも1つの血管点を除外することによって、BVMを間引くことをさらに含む、項目8に記載の方法。
(項目10)
上記第1の値に設定された少なくとも1つの血管点を局所的に抑制することであって、上記局所的な抑制は、少なくとも部分的に、上記鮮鋭化された画像の少なくとも一部に関する勾配規模マップに基づく、ことをさらに含む、項目4に記載の方法。
(項目11)
上記それぞれの複数の局所画像記述子を生成することは、(i)上記検出された血管点を囲繞する画像領域の拡張型マルチ半径ローカルバイナリパターンのパターンヒストグラムと、(ii)上記検出された血管点を囲繞する画像領域の拡張型マルチ半径中心対称ローカルバイナリパターンのパターンヒストグラムとのうちの少なくとも1つを算出することを含む、項目1に記載の方法。
(項目12)
主成分分析(PCA)を使用して、上記複数の局所画像記述子のうちの1つを短縮することにより、局所記述子分散に寄与しない次元を排除することをさらに含む、項目1に記載の方法。
(項目13)
コンピュータ実装方法であって、
複数のマッチング点対を識別することであって、各対は、照合テンプレートの複数の第1の点から選択された第1の点と、登録テンプレートの複数の第2の点から選択されたマッチングする第2の点とを備え、各第1の点は、(i)上記照合テンプレートに対応する照合画像内の着目点の場所と、(ii)複数の異なるタイプの記述子であって、それぞれ、上記照合画像内の着目点を囲繞する局所性を記述する、記述子とを備え、各第2の点は、(i)上記登録テンプレートに対応する登録画像の着目点の場所と、(ii)複数の異なるタイプの記述子であって、それぞれ、上記登録画像内の着目点を囲繞する局所性を記述する、記述子とを備える、ことと、
上記複数のマッチング点対から選択された複数の内座層点対と、対応する幾何学変換とを得ることと、
(i)上記複数の内座層点対と、(ii)上記幾何学変換とのうちの少なくとも1つに基づいて、マッチスコアを計算することと
を含む、コンピュータ実装方法。
(項目14)
上記照合テンプレート内の第1の点毎に、上記複数のマッチング点対を識別することは、
上記第1の点と関連付けられる記述子と、上記登録テンプレートの複数の第2の点と関連付けられる記述子との間のそれぞれの距離を計算することと、
上記それぞれの距離に基づいて、上記第2の点のうちの1つを、上記第1の点に対応するものとして指定し、それによって、上記第1の点および上記対応する第2の点を備えるマッチ点対を形成することと
を含む、項目13に記載の方法。
(項目15)
上記照合テンプレート内の特定の第1の点と関連付けられる記述子と、上記登録テンプレートの第2の点と関連付けられる記述子との間のそれぞれの距離を計算することは、
上記特定の第1の点と関連付けられる各記述子と、上記登録テンプレートの第2の点の各対応する記述子との間の距離を計算することと、
加重平均として上記計算された距離を組み合わせることにより、上記特定の第1の点と関連付けられる記述子と、上記登録テンプレートの第2の点と関連付けられる記述子との間の距離を得ることと
を含む、項目14に記載の方法。
(項目16)
上記照合テンプレート内の第1の点毎に、上記複数のマッチング点対を識別することは、
上記第1の点と関連付けられる記述子のそれぞれと、上記登録テンプレートの1つまたはそれを上回る第2の点と関連付けられる対応する記述子との間のそれぞれの距離を計算することと、
それぞれの距離閾値を超過しない距離の数をカウントすることと、
上記距離の数のカウントに基づいて、上記第2の点のうちの1つを、上記第1の点に対応するものとして指定し、それによって、上記第1の点および上記対応する第2の点を備えるマッチ点対を形成することと
を含む、項目13に記載の方法。
(項目17)
それぞれの距離を計算することは、ハミング距離、ユークリッド距離、マンハッタン距離、相関、およびマハラノビス距離のうちの少なくとも1つを計算することを含む、項目16に記載の方法。
(項目18)
特定の記述子が、拡張型マルチ半径ローカルバイナリパターン(EMR−LBP)、拡張型マルチ半径ローカルバイナリパターンのパターンヒストグラム(PH−EMR−LBP)、パターン拡張型マルチ半径中心対称ローカルバイナリパターン(PEMR−CS−LBP)、EMR−CS−LBPのパターンヒストグラム(PH−EMR−CS−LBP)、配向勾配のヒストグラム、高速化ロバスト特徴、または高感度網膜キーポイント(FREAK)を使用して導出された、項目13に記載の方法。
(項目19)
上記複数の内座層点対を得ることは、ランダムサンプルコンセンサス(RANSAC)、M推定サンプルおよびコンセンサス(MSAC)、またはGROUPSACを使用することにより、上記第1の点を上記対応する第2の点に整合させることを含む、項目13に記載の方法。
(項目20)
上記マッチスコアを計算することは、
上記照合テンプレートおよび上記登録テンプレートにわたって、上記内座層点対の点の座標間の相関値を算出することと、
上記内座層点対の数の関数と、上記幾何学変換の1つまたはそれを上回るパラメータとを使用して、上記相関値を修正し、第1のマッチスコアを得ることと
によって、上記第1のマッチスコアを算出することを含む、項目13に記載の方法。
(項目21)
上記パラメータは、計算された位置合わせ幾何学変換の結果としての上記照合画像のスケールにおける変化と、計算された位置合わせ幾何学変換の結果としての上記照合画像の角度における変化とのうちの1つまたはそれを上回るものを含む、項目20に記載の方法。
(項目22)
上記マッチスコアを算出することは、
上記幾何学変換を上記照合画像に適用することにより、変換された画像を生成することと、
上記変換された画像と、上記登録テンプレートに対応する画像との配向されたローカルバイナリパターンバージョンをフィルタ処理およびエンコードすることであって、各バージョンは、複数の層を備え、各層は、上記エンコードの別個の次元に対応する、ことと、
上記エンコードされた変換された画像の層毎の1つまたはそれを上回る対応するタイルと、上記登録テンプレートに対応するエンコードされた画像とを比較することにより、層毎に、それぞれの層測度を得ることと、
上記層測度を集約し、第2のマッチスコアを得ることと
によって、上記第2のマッチスコアを算出することを含む、項目13に記載の方法。
(項目23)
上記フィルタ処理することは、ガボールフィルタ処理またはガボールフィルタ処理の対数を含む、項目22に記載の方法。
(項目24)
上記エンコードすることは、グレーコーディングを含む、項目22に記載の方法。
(項目25)
比較することに先立って、可視血管が実質的に欠如した領域に対応する、1つまたはそれを上回るタイルを除外することをさらに含む、項目22に記載の方法。
(項目26)
上記対応するタイルを比較することは、上記対応するタイル間のハミング距離、正規化されたハミング距離、またはスライディングウィンドウ相関を計算することを含む、項目22に記載の方法。
(項目27)
上記照合テンプレートおよび上記登録テンプレートにわたって、上記内座層点対の点の座標間の相関値を算出することと、
上記内座層点対の数と、上記幾何学変換のパラメータとを使用して、上記相関値を修正することにより、上記第1のマッチスコアを得ることと、
上記第1のマッチスコアおよび上記第2のマッチスコアの加重和として上記マッチスコアを算出することと
をさらに含む、項目22に記載の方法。
(項目28)
上記相関値は、
【化1】
を含み、上記座標は、X座標およびY座標を含み、CxおよびCyは、それぞれ、X座標およびY座標の相関であり、
上記修正は、
【化2】
を含み、Nは、上記内座層点対の数であり、RSは、上記計算された位置合わせ幾何学変換の結果としての上記照合画像のスケールにおける変化であり、RAは、上記計算された位置合わせ幾何学変換の結果としての上記照合画像の角度における変化である、項目27に記載の方法。
(項目29)
上記幾何学変換の少なくとも1つのパラメータが、そのパラメータの正常範囲外にある場合、上記マッチスコアから上記第1のマッチスコアを除外することをさらに含む、項目27に記載の方法。
(項目30)
コンピュータ実装方法であって、
複数の着目点を備える照合テンプレートを受信することであって、各着目点は、複数の異なるそれぞれの記述子と関連付けられ、上記複数の異なるそれぞれの記述子は、それぞれ、対応する着目点を囲繞する1つまたはそれを上回る局所性を記述する、ことと、
上記照合テンプレートを、複数の登録テンプレート内の1つまたはそれを上回る登録テンプレートと比較することによって、上記照合テンプレートに対するマッチスコアを算出することと、
少なくとも、登録閾値とマッチする、またはそれを超えるマッチスコアに基づいて、上記照合テンプレートを、上記複数の登録テンプレートに追加することと
を含む、コンピュータ実装方法。
(項目31)
上記複数の登録テンプレート内のテンプレート毎に、上記複数の登録テンプレート内の1つまたはそれを上回る他のテンプレートを用いてそれぞれのマッチスコアを生成し、上記テンプレートに対するそれぞれの中間マッチスコアを算出することと、
上記複数の登録テンプレートから、最小中間マッチスコアを有するテンプレートを除去することと
をさらに含む、項目30に記載の方法。
(項目32)
(i)上記照合テンプレートと関連付けられる照合露光テンプレートと、上記登録テンプレートと関連付けられる登録露光テンプレートとの間の露光差と、(ii)影響閾値とのうちの少なくとも1つに従って、上記マッチスコアを調節することをさらに含む、項目30に記載の方法。
(項目33)
上記照合露光テンプレートおよび上記登録露光テンプレートのうちの少なくとも1つを生成することをさらに含む、項目32に記載の方法。
(項目34)
上記露光テンプレートのうちの少なくとも1つを生成することは、
上記照合テンプレートに対応する画像の着目領域(ROI)を、少なくとも2つの区分にパーティション化することと、
区分毎に、ヒストグラムにおいて各強度を表す強度のヒストグラムを生成することであって、上記ROIの区分内のいくつかの画素は、実質的にその強度を有する、ことと
を含む、項目33に記載の方法。
(項目35)
強膜マスクの境界ボックスに従って眼の画像をクロッピングすることであって、上記強膜マスクは、バイナリ画像マスクを備え、上記バイナリ画像マスクは、白眼を含み、眼の画像から上記白眼を囲繞する画像部分を除外する、ことと、
上記クロッピングされた画像を、規定された数の画素を用いてパディングすることと
によって、上記ROIを選択することをさらに含む、項目34に記載の方法。
(項目36)
境界ボックスに従って眼の画像を、1つの眼角から別の眼角に、および1つの眼瞼から別の眼瞼にクロッピングすることと、
上記クロッピングされた画像を、規定された数の画素を用いてパディングすることと
によって、上記ROIを選択することをさらに含む、項目34に記載の方法。
(項目37)
上記ROIは、4つの象限にパーティション化される、項目34に記載の方法。
(項目38)
上記露光差は、−1×露光類似性であり、上記方法は、
象限j毎に、(i)ヒストグラム差の正規化された絶対値(ABSNdist_j)と、(ii)ヒストグラム交差類似性(INTRsim_j)と、(iii)ヒストグラムの相関係数類似性(CORRsim_j)と、(iv)バッタチャリャ距離(BHATdist_j)とを判定することと、
上記露光類似性を、(-ΣjABSNdist_j−ΣjBHATdist_j+ΣjINTRsim_j+ΣjCORRsim_j)として算出することと
をさらに含む、項目37に記載の方法。
(項目39)
上記露光テンプレートのうちの少なくとも1つを生成することは、複数の露光測度を生成することを含む、項目33に記載の方法。
(項目40)
上記複数の露光測度のうちの少なくとも1つの露光測度は、EXIF測度と、YUV画像のY成分の統計パラメータと、RGB画像のG成分の統計パラメータとから成る群から選択される、項目39に記載の方法。
(項目41)
少なくとも1つのヒストグラム測度に基づいて、上記露光差および露光類似性のうちの少なくとも1つを算出することをさらに含む、項目32に記載の方法。
(項目42)
少なくとも1つのヒストグラム測度は、ヒストグラム差の正規化された絶対値(ABSNdist)と、ヒストグラム交差類似性(INTRsim)と、ヒストグラムの相関係数類似性(CORRsim)と、バッタチャリャ距離(BHATdist)とから成る群から選択される、項目41に記載の方法。
(項目43)
上記マッチスコアを算出することに先立って、上記照合テンプレートの照合を促進するように、上記照合テンプレートと関連付けられる照合露光テンプレートと、上記複数の登録テンプレート内の各登録テンプレートと関連付けられる各登録露光テンプレートとの間のそれぞれの露光差に従って、上記複数の登録テンプレートを順序付けることをさらに含む、項目30に記載の方法。
(項目44)
上記照合テンプレートを、上記複数の登録テンプレートに追加することは、さらに、少なくとも、上記照合テンプレートおよび上記登録テンプレートと関連付けられるそれぞれの質スコアに基づいており、
上記照合テンプレートおよび上記登録テンプレートは、それぞれ、バイナリ血管マップ(BVM)に基づく血管点を備え、
特定のテンプレートと関連付けられる上記質スコアは、そのテンプレートに対応するBVM内の真の画素数と、上記BVMを判定する際に使用される強膜マスク内の真の画素数との比率を備える、項目30に記載の方法。
【0036】
本特許または出願ファイルは、少なくとも1つの、カラーで作成された図面を含有する。カラー図面を伴う本特許または特許出願公開文書のコピーは、要求および必要な手数料の支払に応じて、特許庁によって提供されるであろう。
【発明を実施するための形態】
【0038】
種々の図面における同様の参照番号および記号は、同様の要素を示す。
【0039】
図1Aおよび1Bは、ユーザ認証のために使用され得る、可視血管系の登録テンプレートを生成および記憶するための、例示的多段階バイオメトリックシステムを図式的に描写する。一実装では、可視血管系は、白眼内に見られる血管系に対応する。白眼は、いくつかの層を有する。強膜は、コラーゲンおよび弾性繊維を含有する、眼の不透明な、繊維質の、保護的な層である。強膜は、特に、それを通貫し、かつそれにわたる、多数の血管および静脈を有する、結膜によって被覆される。上強膜は、眼瞼が開かれると、眼瞼または環境と界面接触する、薄い透明な膜である、眼球結膜によって被覆される。血管(概して、血管系)は、白眼のこれらの層の全てを通貫し、眼の画像内において検出されることができる。ユーザ認証の際、ユーザの眼の1つまたはそれを上回る画像が、捕捉され、1つまたはそれを上回る照合テンプレートが、捕捉された画像または複数の画像から生成され、ユーザの識別は、登録および照合テンプレート内に表されるような対応する血管構造をマッチさせることによって照合されることができる。
【0040】
図1Aおよび1Bを参照して説明されるシステムおよび方法は、眼の血管系に限定されないことを理解されたい。例えば、バイオメトリック認証は、耳の血管系を使用して実施されることができる。特に、近赤外線カメラ(例えば、それが、電話のイヤピースの近くに実装される場合)および赤外線光源を使用して、耳の血管系の画像が、得られることができ、それらの画像を使用するユーザ認証が、本明細書に説明されるように実施されることができる。
【0041】
ステップ102において、ユーザの眼の画像が、ユーザによるアクセスが認証されるべきデバイス(例えば、スマートフォン、スマートウォッチ、スマートグラス、ノートブック型コンピュータ、タブレットコンピュータ等)と関連付けられる画像センサ、例えば、カメラを使用して捕捉される。例証として、カメラは、デジタルカメラ、3次元(3D)カメラ、または光照射野センサであり得る。いくつかの実装では、カメラは、眼鏡形状因子を伴うウェアラブルデバイスにおける内向きに面したモジュールであり、バイオメトリック認証のためのユーザの白眼の画像を捕捉するために使用されることができる。画像は、静止モードまたは動画モードのいずれかにおいて捕捉されることができる。いくつかの実装では、ユーザは、画像が捕捉される間、左または右または上または正面を見るように(視覚、または可聴、または触覚フィードバックによって)促されてもよい。左または右を見るステップは、データ捕捉のために、虹彩の右または左に対して、白眼のより大きな面積を暴露することができる一方、正面を見るステップは、各眼内の虹彩の左右に対して、白眼の2つのより小さな区分を提供することができる。ステップ104において、一般的着目領域が、識別され、例えば、一方または両方の眼が、特定されてもよい。本目的のために、異なる視線の眼の画像上で訓練される、ヴィオラジョーンズアルゴリズムが、使用されることができる。その後、ハールフィルタを使用するもの等の注視追跡アルゴリズムが、いったん選択された注視方向が検出されると、注視の量を量子化し、1つまたはそれを上回る画像を取得するために使用されることができる。典型的には、取得された画像は、1つまたはそれを上回る眼のRGB画像を得るために、クロッピングされる。以降では、「画像」または「捕捉された画像」は、概して、眼のクロッピングされたRGB画像を指す。
【0042】
画像センサから捕捉される画像は、例えば、露光およびモーションブラーアーチファクトに起因して、可変質を有し得る。随意のステップ106において、いくつかの画像が、画像雑音を減少させるために位置合わせ(すなわち、空間的に整合される)および平均化されることができる。いくつかの実装では、画像相関方法が、平均化するための画像を整合し、最も異なる(例えば、モーションブラーまたは瞬目に起因して)、したがって、位置合わせおよび平均化に対して好適でないものを破棄するために、得られた画像間の非類似性を測定するために使用される。例えば、シーケンスにおいて捕捉された4つの画像は、画像が異なり過ぎない場合、位置合わせ後に平均化されることができる。平均化される画像の数は、画像センサのフレームレートおよび雑音レベルに依存し得る。いくつかの平均化された画像が生成されると、質測定基準が、その後に続くステップにおける使用のために最高質を選択するように使用されることができる。いくつかの実装では、鮮鋭化された画像の緑色チャネルの画素値の標準偏差(以下に説明されるように導出される)は、質測定基準として使用されることができる。他の質基準も、可能である。
【0043】
質チェックステップ106によって生成された画像は、2段階マッチャのためのテンプレートを生成するために使用され、その後、オリジナル画像は、通常、セキュリティおよびプライバシーの理由から破棄される。段階1のテンプレートは、いくつかの(着目点、特徴ベクトル)要素を含むことができる。段階2のテンプレートは、オリジナル画像に対応する、エンコードされ(例えば、グレーコーディングされた)、配向されたローカルバイナリパターン(OLBP)を含むことができる。登録モード(以下に説明される)では、1つまたはそれを上回る捕捉された画像が、登録画像として指定され、登録テンプレートが、そこから生成される。いくつかの実装では、捕捉された画像の露光プロファイルの局所的ヒストグラムに基づく、対応する露光テンプレートが、生成および記憶される。認証/照合モード(これもまた、以下に説明される)では、1つまたはそれを上回る捕捉された画像が、照合画像として指定され、照合テンプレートが、登録テンプレートに対してマッチさせるために、そこから生成される。
【0044】
図1Aを参照すると、段階1において、1つまたはそれを上回る段階1のテンプレートを生成するために、登録画像または照合画像であり得る、1つまたはそれを上回る平均化された画像が、ステップ108において前処理され、前処理された画像に由来する特徴が、ステップ110において抽出される。段階1において、前処理するステップは、画像鮮鋭化またはガボールフィルタ処理するステップを含むことができ、特徴抽出は、血管点検出(VPD)および特徴記述子(PH−EMR−LBP、PH−EMR−CS−LBP、SURF、EMR−LBP、HoG、およびFREAK)、およびそれらのPCA前処理を含むことができ、その全てが、以下に詳細に説明される。段階2において、1つまたはそれを上回る段階2のテンプレートを生成するために、1つまたはそれを上回る平均化された画像が、ステップ112において前処理され、前処理された画像に由来する特徴が、ステップ114において抽出される。段階2において、例えば、前処理するステップは、ガボールフィルタ処理するステップを含むことができ、特徴抽出は、配向されたローカルバイナリパターン(OLBP)の検出を含むことができる。登録テンプレートは、記憶するステップに先立って、ステップ116において暗号化されることができる。
【0045】
照合モード、すなわち、照合画像が処理されるとき、段階1は、ステップ110において、幾何学変換(例えば、アフィン変換または自己類似性変換)を、検出された内座層から導出するために、登録テンプレートとマッチする候補着目点および特徴記述子を識別するステップと、識別された変換および内座層座標の1つまたはそれを上回るパラメータに基づいて、第1のマッチスコアを算出するステップとを含む。段階2では、ステップ114において、識別された幾何学変換、ガボールフィルタ処理、および相二値化を使用して、前処理された照合画像を変換するステップと、OLBPを用いて結果をエンコードし、段階2の照合テンプレートを得るステップと、照合および登録されたテンプレートのタイル表示されるOLBP層の相関を使用して、第2のマッチスコアを算出するステップとを含む。1つを上回る第1のマッチスコアが、ステップ110を繰り返すことによって算出されることができ、各繰り返しは、その繰り返しにおいて識別される異なる幾何学変換に対応する。1つまたはそれを上回る第1のスコアおよび第2のマッチスコアは、ステップ118(
図1B)において組み合わせられることができ、照合画像または複数の画像は、組み合わせられたスコアに基づいて真正であると判定されることができる。いくつかの実装では、第1のマッチスコアおよび複数のスコアのみが、真正を判定する際に使用される一方、他の実装では、第1のマッチスコアは、対応する幾何学変換の1つまたはそれを上回るパラメータに基づいて破棄されてもよい。いくつかの実装では、1つを上回る第1および第2のマッチスコアが、ステップ110および114を繰り返すことによって算出されることができる。1つまたはそれを上回る第1のマッチおよび第2のマッチスコアは、ステップ118(
図1B)において組み合わせられることができ、照合画像または複数の画像は、組み合わせられたスコアに基づいて真正であると判定されることができる。いくつかの実装では、組み合わせ法則は、最大法則、積法則、または和法則であり得る。いくつかの実装では、組み合わせ法則は、線形判別分析によって判定される線形混合であり得る。
【0046】
具体的には、
図1Bに描写されるように、段階1の処理および分析は、登録および照合テンプレート内の対応する場所間の相関を判定するステップと、着目点の空間的対応を見出すために、それらのテンプレートに対応する画像内において検出された着目点を囲繞する局所性を記述する、登録および照合テンプレートの画像記述子を比較するステップと、外れ値着目点を拒否するステップとを含む。この段階において、マッチスコアに加えて、位置合わせ変換マトリクスが、生成される。変換マトリクスは、段階2のマッチャに対して着信照合画像を位置合わせするために使用されることができる。いくつかの実装では、段階1のマッチスコアは、段階2に進むことなく、照合画像が真正であるかどうかを決定するために、それ自体によって使用される。いくつかの実装では、段階1が許容可能なスケール、回転、および/またはシェア限界内の位置合わせマトリクスを算出または提供することに失敗する場合、段階2は、ROI内の虹彩の境界に基づいて、例えば、ステップ104によって提供される補助位置合わせマトリクスを使用せずに、またはそれを使用して、独自にマッチスコアを生成するように進められてもよい。
画像鮮鋭化
【0047】
いくつかの実装では、前処理するステップ(ステップ108)は、捕捉された画像内の血管系の可視性を向上させるために使用されることができる。1つのそのような方法は、血管系と、囲繞する白眼との間のコントラストを最大限にし得る、RGB画像データから色成分を選択することである。いくつかの実装では、この画像は、青色および緑色層の線形組み合わせを含むことができる。具体的には、一実装では、各平均化された画像は、3つのステップのプロセスを使用して、対応する鮮鋭化された画像を得るように鮮鋭化される。第1のステップは、畳み込み画像を得るために、ラプラシアンガウシアン(LoG)カーネルを用いて、1つまたはそれを上回る捕捉された画像から導出される平均化された画像の緑色チャネル、または青色および緑色チャネルの一部の画素値の畳み込みを行うステップを含む。第2のステップは、画像内で到達可能な最大値からLoGフィルタ処理された画像を減算するステップを含む。
【0048】
最後に、第3のステップにおいて、第2のステップから得られた、処理された画像の各画素が、鮮鋭化された画像を得るために、平均化された画像の対応する画素を用いて乗算される。
図2Aは、例えば、1つまたはそれを上回る捕捉された画像から得られる眼の平均化された画像を描写する。
図2Bは、対応する緑色チャネルを描写し、
図2Cは、対応するLoGフィルタ処理された画像を描写する。第3のステップにおいて得られた鮮鋭化された画像の標準偏差は、さらなる処理のために、平均化された画像のシーケンスをソートし、平均化された画像を選択する際に使用される、画質測定基準であり得る。一実装では、鮮鋭化のために使用されるLoGカーネルは、以下のように表され得る。
【数3】
式中、0.4のガウシアン標準偏差(σ)を伴う、フィルタカーネルのサイズは、5×5画素である。LoGフィルタ処理のパラメータは、取得された画像の分解能に基づいて最適化されることができる。上記の例示的パラメータは、100×110画素(±20画素)の近似次元を有するクロッピングされた眼の画像に対して選択された。留保される、質によってソートされる、鮮鋭化かつ平均化された画像の数は、用途に従って変動し得る。例えば、本用途が登録テンプレートを生成および記憶することである場合、上位4つの鮮鋭化かつ平均化された画像が、留保されてもよい。2つ等の異なる数の画像が、本用途が照合段階にある場合、留保されてもよい。
【0049】
いくつかの実装では、LoGベースの画像鮮鋭化に加えて、平均化された画像の別の向上されたコピーが、以下のように定義されるガボールフィルタのバンクを用いて畳み込みを行うことによって得られることができる。
【数4】
式中、x’=xsin(θ)+ycos(θ)およびy’=xcos(θ)−ysin(θ)である。
σxおよびσyは、それぞれ、x軸およびy軸に沿ったガウシアンエンベロープの標準偏差を定義し、fは、変調サインまたはコサインの周波数であり、θは、π/6ラジアンずつ離れた、0からπ/6まで、6回変動される、カーネルの配向角度である。結果として生じる6つのフィルタは、前述の画像向上のために使用される。いくつかの実装では、ガウシアンフィルタバンクの奇数または偶数部分の規模のみが、使用されてもよい。いくつかの実装では、fは、0.22であり、σ
χ=σ
y=1.9である。これらの値は、ROIの分解能に伴って変化し得る。一実装では、偶数のガボールフィルタのみが、平均化された画像を向上させるために使用される。
【0050】
いくつかの実装では、鮮鋭化かつ平均化された画像の付加的前処理ステップは、コントラスト制限付適応ヒストグラム均等化(CLAHE)等の画像ヒストグラムおよびコントラスト調節を含む。CLAHEは、概して、タイルと呼ばれる画像の小さな領域内で動作する。典型的には、各タイルのコントラストは、出力のヒストグラムが、特定の分布(例えば、均一、指数、またはレイリー分布)によって規定されるヒストグラムとほぼマッチするように、向上される。近傍タイルは、次いで、任意の人為的に誘発された境界を排除するために、補間(例えば、バイリニア補間)を使用して組み合わせられる。いくつかの実装では、画像領域は、血管と背景との間の最良コントラストを有する、赤色、緑色、または青色の色成分の線形または非線形の組み合わせを選択することによって、向上されることができる。例えば、緑色成分は、これが、血管と背景との間の最良コントラストを提供することができるため、眼のRGB画像において好ましくあり得る。いくつかの実装では、緑色および部分的青色の画素値が、使用されることができる。いくつかの実装では、CLAHE前処理ステップは、使用されない。着目領域(ROI)が、例えば、強膜マスクを適用することによって、3ステップ鮮鋭化に先立って、平均化された画像から選択されることができる。チェックが、ROIの選択の確実性を確実にするために、使用されることができる。例えば、強膜マスクを適用することによって選択された面積が、少なくともある規定されたパーセンテージ(例えば、平均化された画像サイズの約25パーセント)ではない場合、対応する画像は、さらなる処理から除去される。
血管点検出
【0051】
種々の点検出アルゴリズムが、着目領域内における顕著性または着目点を識別するために使用されることができる(ステップ104)。顕著性または着目点は、典型的には、潜在的に識別可能な血管または別様に特定の着目パターンが、概して、発生する場所である。着目点検出のために採用され得るいくつかの既知の技法は、高速化ロバスト特徴(SURF)アルゴリズムと、加速区分試験(FAST)アルゴリズムと、ハリスおよびステファン(HS)アルゴリズムとを含む。これらの一般的技法は、多くの場合、画像領域内の血管パターン上の殆ど/全ての点を検出するわけではない。したがって、いくつかの実装では、血管点検出(VPD)アルゴリズムが、使用される。VPDは、血管のようなオブジェクトの上を中心とする、またはその上に位置する点を見出すために役立つ点ファインダである。VPDアルゴリズムは、強度画像の潜在的な着目点(画素)の遠位近傍を考慮して、その点が着目オブジェクト、例えば、血管パターンにおける血管の上に位置するかどうかを判定する。VPDアルゴリズムは、例えば、他の因子の中でもとりわけ、画像のスケールおよび分解能、画素強度ダイナミクス、ならびに規定された点検出感度に基づいて調節されることができる。
【0052】
VPDアルゴリズムの一実装では、画像の領域は、
図2Dに描写されるように選択される。
図2Eに描写されるような種々の遠位近傍点が、VPD計算のために考慮される。
図2Fを参照すると、着目点候補P0上を中心とする例示的画素近傍では、2つのパターンウィンドウ202、204が、識別される。いくつかの実装では、付加的パターンウィンドウが、各画素近傍内に埋め込まれることができる。各画素近傍は、潜在的着目点(例えば、P0)上に置かれる。2つのパターンウィンドウ202、204のサイズは、異なる。
図2Fに示される、一実装では、第1のパターンウィンドウは、点P1からP8を含む、5×5画素カーネルである一方、第2のパターンウィンドウは、点P1’からP8’を含む、7×7画素カーネルである。各パターンウィンドウは、以下に説明される算出のために使用される、8つの周辺画素を含む。
【0053】
中心点P0が着目点かどうかを判定するために、VPDは、候補画素(P0)と、画素P0の近傍における16個の他の画素(すなわち、P1−P8およびP1’−P8’)との間の強度における差異を計算する。各比較は、ある状態と見なされ、各状態は、以下のように定義される。
Si=((Pi−P0)>t)‖((Pi’−P0)>t)
【0054】
具体的には、P0の強度は、対応するエッジ画素PiおよびPi’の強度と比較される。P0およびPiの強度間の差異が強度閾値tを超える場合、またはP0およびPi’の強度間の差異が強度閾値tを超える場合、状態は、論理的高値(例えば、「1」)に設定される。そうでなければ、状態は、論理的低値(例えば、「0」)に設定される。強度閾値tは、画像の質および画像内の雑音の量に基づいて変更されることができる。本実施例では、8つの比較があるため、最大カウンタ値は、8である。全ての8つの状態の合計があるカウント、例えば、6を超える場合、候補点は、血管点として標識化または指定される。
【0055】
いくつかの実装では、ウィンドウ内の任意の画素の強度値が第2の強度閾値を上回る場合、中心点は、さらなる分析から破棄されることができる。この状況では、画素は、収差、グレア、または他の画像アーチファクトが候補点の不良識別につながり得る、画像の面積を表し得る。例えば、最大強度が256であり、第2の強度閾値が240である場合、およびエッジ画素の強度が240を超える場合、対応する中心画素は、潜在的VPD候補点のプールから破棄される。
【0056】
上記で提供される値は、例示的値であり、他の値も、使用されることができる。例えば、2つを上回るウィンドウが、使用されることができ、一方または両方のウィンドウのサイズは、本実施例におけるものと異なり得、閾値および強度スケールもまた、種々の因子に基づいて調節されることができる。例えば、比較的低い分解能を伴う画像は、1つの3×3ウィンドウおよび1つの5×5ウィンドウ等の2つの小さな画素ウィンドウを使用することができる一方、比較的高い分解能の画像は、1つの7×7ウィンドウ、1つの9×9ウィンドウ、および1つの11×11ウィンドウ等の3つのより大きな画素ウィンドウを使用することができる。VPDプロセスは、画像領域の全ての画素に、または画像領域の境界線からの特定の距離内の各画素等、画素のサブセットに対して使用されることができる。概して、VPDは、局所的近傍動作であり、スライディングウィンドウ技法が、前述されるように状態を判定する際に、および候補点が血管点であるかどうかを決定する際に採用されることができる。したがって、VPDは、血管点であると判定された全ての点に、論理的高値(例えば、「1」)を割り当てることによって、および全ての他の候補点に、論理的低値(例えば、「0」)を割り当てることによって、眼のROIをバイナリ化する。結果として生じるバイナリマスクは、
図3Aに描写されるようなバイナリ血管マップ(BVM)と称される。
【0057】
BVMでは、事前判定された数の画素よりサイズが小さい全てのブロッブは、それらを非血管点と見なすことによって、除去されることができる。いくつかの実装では、BVMから得られた各個々の接続された血管構造(ブロッブ)は、間引かれ、
図3Bに描写されるような、間引かれたバイナリ血管マップまたは間引かれたBVMをもたらすことができる。間引くプロセスは、血管系の中心を通って横断する血管トレースを作成する。対応するBVM上の例示的な間引かれたBVMのオーバーレイが、
図3Cに示される。
【0058】
いくつかの実装では、血管点の数をさらに減少させるために、局所的な点抑制が、適用されることができる。概して、局所的な抑制は、ROIのグレースケールの鮮鋭化された画像から得られる勾配規模マップに基づく。勾配規模マップは、エッジを強調するために、グレースケールの画像を用いてソーベルフィルタに畳み込みを行うことによって得られることができる。ソーベルオペレータは、概して、勾配規模マスクをもたらすために、3×3水平および垂直勾配カーネルを用いてROI画像に畳み込みを行う。例示的勾配カーネルが、
図4Aおよび4Bに示される。
【0059】
一実装では、間引かれたBVMは、5×5非重複ブロックの近傍に分割される。各ブロックでは、任意の間引かれたBVM点が存在する場合、対応する勾配規模マスク内の最高勾配値にマッピングする1つのみの血管点が、選ばれる。局所的な抑制の本プロセスは、血管点の数をほぼ半分にまで減少させ、したがって、テンプレートサイズを減少させ、マッチングのプロセスを補助する。減少した着目点のセットは、以降では、「スパースVPD点」と称される。
図3Bに描写される例示的BVMに対応するスパースVPD点の例示的セットが、
図4Cに示される。5×5近傍は、例証にすぎず、画像の分解能およびスケールに基づいて変更されることができる。
図5A−5Fは、例示的オリジナル画像と、例示的ROIマスクと、オリジナル画像に由来するROIと、オリジナル画像上にオーバーレイされたROIに対応するBVMと、オリジナル画像上にオーバーレイされた対応する間引かれたBVMと、オリジナル画像上にオーバーレイされた対応するスパースBVM(スパースVPDとも呼ばれる)とを描写する。
【0060】
一実装では、FAST、HS、およびSURF等の他の点ファインダからの候補点が、それらが最小距離閾値を満たすことを条件として、スパースVPD点のセットに追加されることができる。例えば、一実装では、FAST点は、FAST点がVPD点から少なくとも3画素離れている場合、スパースVPD点に追加される。いくつかの実装では、着目点は、前述の着目点ファインダの全てまたはサブセットから導出されることができる。いくつかの実装では、着目点は、複数のスケールにおいて識別されることができる。例えば、着目点は、3段階のガウシアン画像ピラミッドから検出されることができる。他の多スケール画像分解も、可能である。
局所画像記述子
【0061】
前述される1つまたはそれを上回る点検出アルゴリズムを使用して着目点が検出された後、1つまたはそれを上回る局所画像記述子のセットが、各候補点を囲繞するROI局所性から得られることができる(ステップ110)。これらの局所画像パッチ記述子は、配向勾配のヒストグラム(HoG)、およびSIFT記述子上に構築されるが、ハールウェーブレットおよび積分画像を通して使用することで、より良好な算出効率を伴う、高速化ロバスト特徴(SURF)等の種々のアルゴリズムを使用して生成されることができる。局所画像記述子はまた、高感度網膜キーポイント(FREAK)と呼ばれるバイナリ局所画像記述子アルゴリズムを使用して算出されることもできる。拡張型マルチ半径ローカルバイナリパターン(EMR−LBP)およびパターン拡張型マルチ半径中心対称ローカルバイナリパターン(PEMR−CS−LBP)は、2つの他のバイナリ画像特徴抽出子である。概して、これらの技法は、眼静脈マッチングのために最適化されない。
【0062】
以下でさらに詳細に説明される、特徴記述子アルゴリズムとしてのEMR−LBPのパターンヒストグラム(PH−EMR−LBP)およびEMR−CS−LBPのパターンヒストグラム(PH−EMR−CS−LBP)は、眼静脈マッチングのためにカスタマイズされる。これらの技法のそれぞれは、ROIの各着目点の周囲にいくつかの画像記述子を生成するために、個別に、組み合わせて、および/または前述される他の特徴記述子アルゴリズムと組み合わせて使用されることができる。
【0063】
概して、LBP記述子は、以下のように着目点の周囲において計算される。現在の着目点は、画素の場所(x
0,y
0)にあると仮定される。中心点(x
0,y
0)の直近の8つの近傍の強度値、{(x
i,y
i)},i=1,2,...8}は、中心点のものと比較され、結果は、K
iとして記憶される。近傍の強度は、中心点の強度未満またはそれと同じであり得、対応する結果は、「0」等の論理的低値であり得る。強度がより高くなる場合、結果は、「1」等の論理的高値となり得る。比較後、(x
0,y
0)に対するLBP8と呼ばれる8ビットコードが、以下のように得られる。
【数5】
【0064】
一実装では、前述のプロセスは、LBP8の外側の四角形における画素に対して繰り返され、したがって、特定の着目点に対して16ビット(2バイト)LBP16コードを生成することができる。したがって、着目点毎に合計3バイトのLBPコードが、生成されることができる。本プロセスは、(x
0,y
0)の5×5画素近傍に対して繰り返され、特定の中心点を囲繞する上記のLB8(1バイト)+LBP16(2バイト)の計算の、合計5×5=25の繰り返しをもたらし、(x
0,y
0)等の中心着目点毎に、3×25=75バイトのバイナリ記述子をもたらすことができる。この75バイトのバイナリ記述子は、拡張型マルチ半径ローカルバイナリパターン(EMR−LBP)として指定される。ウィンドウは、2つに限定されず、画像の分解能に基づいて、他のサイズも、可能である。
【0065】
EMR−CS−LBPベースの実装では、対の画素の比較毎の参照点は、中心点の強度値の代わりに、中心着目点の8画素または16画素近傍における斜め向かいの画素を含み、それによって、EMR−LBP特徴と比較して、半分の数のビットにつながる。EMR−LBPおよびEMR−CS−LBP記述子は両方とも、2進数である。
【0066】
HoGは、典型的には、着目点の周囲に画定されるあるサイズ(画素単位)の近傍を使用して計算される。その近傍は、事前判定された数のサブ領域に分割されることができ、その内部で、ある角度におけるエッジ配向のヒストグラムが、作成され、その着目点に対する局所記述子として集合的に使用されることができる。これらのヒストグラムベースの記述子は、実数ベクトルである。一実装では、サイズが4×4の画素の近傍は、30度ずつ離れた、6つにビン分割された配向のヒストグラムを伴う、2×2サブ領域にタイル表示され、特徴記述子として使用される。一実装では、(30度ずつ離れた)6つのビンにビン分割された配向のヒストグラムを伴う、3×3サブ領域にタイル表示されたサイズが4×4の画素の近傍は、特徴記述子として使用されることができる。
【0067】
HEMR−LBP記述子もまた、着目点の周囲のあるサイズ(画素単位)の近傍を使用して計算されることができる。近傍の画素毎の(前述されるような)EMR−LBPコードが、導出される。EMR−LBPコードのその近傍は、事前判定された数のサブ領域に分割される。次に、ヒストグラムを作成するために、サブ領域内の各ビット場所の発生に対するカウントが、生成される。全てのサブ領域にわたるEMR−LBPコードのこれらのヒストグラムの連結は、PH−EMR−LBP特徴として指定されることができる。これらの記述子は、実数ベクトルである。種々の実装では、サイズがm×mの画素(m=4,5,...,11等)の近傍が、n×n(n=2,3,...,7等)の重複サブ領域(タイル)にタイル表示され、近傍またはサブ領域内の各EMR−LBPビット場所の発生のヒストグラムの連結は、特徴記述子として使用されることができる。mおよびnの選択は、得られる画像の分解能に基づいて行われることができる。HEMR−LBPは、PH−EMR−LBPと類似するが、ヒストグラムが近傍全体上において計算されるため、いかなるサブ領域も有さない。HLBPは、HEMRLBPと類似するが、LBPのみを使用する。
【0068】
一実装では、サイズが9×9の画素の近傍(そのLBP8およびLBP16コードは、前述されるように、すでに生成されている)が、それぞれ、1つの画素と重複する、16個の3×3サブ領域にタイル表示される。LBP8コードの各3×3サブ領域は、9つの符号のない8ビット数の列に転換され、同様に、LBP16は、9つの符号のない16ビット数に転換される。LBP8列の符号のない8ビット数は、符号のない16ビット数列に転換される。9つの符号のない16ビット列の各ビット場所の発生のヒストグラムが、計算され、それぞれ、16ビット長のベクトルをもたらすことができる。したがって、各サブ領域は、16個のサブ領域を使用して最終長が512の符号のない16ビット数(画像パッチのPH−EMR−LBP記述子)をもたらすように連結される、LBP8およびLBP16コードから長さが16の2つのベクトルを有することができる。
【0069】
PH−EMR−CS−LBPは、候補点の周囲のあるサイズ(画素単位)の近傍を使用して計算されることができる。近傍における画素毎にEMR−CS−LBPコードを生成した後、その近傍は、事前判定された数のサブ領域に分割される。次に、サブ領域内の各ビット場所の発生に対するカウントが、生成される。EMR−CS−LBPコードのこれらのヒストグラムの連結は、PH−EMR−CS−LBP特徴を提供することができる。これらの記述子は、実数である。サイズがm×mの画素(m=4,5,6,7,8,9,10,11等)の近傍が、重複タイルを有し得る、n×nサブ領域(n=2,3,4,5,6,7等)にタイル表示されることができる。近傍またはサブ領域内の各ビット場所の発生のヒストグラムが、特徴記述子として使用されることができる。mおよびnの選択は、得られる画像の分解能に基づいて行われることができる。HEMR−CS−LBPは、PH−EMR−CS−LBPと類似するが、ヒストグラムが近傍全体上において導出されるため、いかなるサブ領域も有さない。
【0070】
一実装では、サイズが7×7の画素の近傍(そのCS−LBP8およびCS−LBP16コードは、前述されるように、すでに生成されている)が、それぞれ、1つの画素と重複する、9つの3×3サブ領域にタイル表示される。CS−LBP8およびCS−LBP16コードの各3×3サブ領域は、CS−LBP8およびCS−LBP16コード毎に、9つの符号のない8ビット数の列に転換される。CS−LBP8に対して8つのビンを、CS−LBP16に対して8つのビンをもたらし得る、各ビット場所の発生のヒストグラムが、計算される。9つのサブ領域の全てを連結するステップは、144のベクトル長の符号のない16ビット数(画像パッチのPH−EMR−CS−LBP記述子)をもたらすことができる。
【0071】
いくつかの実装では、着目点周囲の画像パッチに対する特徴記述子は、単一の特徴記述子アルゴリズムから、または前述されるいくつかの異なる特徴記述子アルゴリズムを使用して導出されることができる。例えば、以下の記述子、すなわち、EMR−LBP、CS−LBP、HoG、SURF、PH−EMR−LBP、およびPH−EMR−CS−LBPのうちの1つまたはそれを上回るものが、段階1のテンプレートを作成することを目的として、各着目点の周囲の画像パッチを特性評価するために使用されることができる。いくつかの実装では、特徴記述子は、(多スケール特徴抽出をもたらす)複数の画像スケールにおける候補点の周囲に導出されることができる。例えば、3段階のガウシアン画像ピラミッドを使用して、着目点およびそれらの対応する局所画像記述子を検出してもよい。他の多スケール画像分解も、可能である。
マッチングを介した照合または認証
【0072】
概して、マッチングは、ユーザと関連付けられる1つまたはそれを上回る保存された登録テンプレートと、その識別の主張者の1つまたはそれを上回る照合テンプレートとの間の類似性を見出すプロセスである。主張者の照合テンプレートと登録テンプレートとの類似性(マッチスコアと表され得る)が規定された閾値を超える場合、主張者は、認証されるユーザとして照合されることができる。そうでなければ、主張者は、拒否されることができる。
段階1のパターンマッチング
【0073】
登録または照合時(ステップ110)において作成される、段階1のテンプレートは、導出される着目点と、対応するそれらの周囲の画像特徴記述子とを含むことができる。ハミング距離が、登録および照合テンプレート間の最良にマッチした点対を見出すために、バイナリ記述子(FREAK、EMR−LBP、およびPEMR−CS−LBP)に対して計算される。ハミング距離が短いほど、比較される点はより類似する。実数値の記述子ベクトルに関して、登録テンプレートのSURF、HoG、PH−EMR−LBP、およびPH−EMR−CS−LBP記述子と、照合テンプレートのそれぞれのSURF、HoG、PH−EMR−LBP、およびPH−EMR−CS−LBP記述子との間のユークリッド、マンハッタン、相関、またはマハラノビス距離が、それらの距離のうちの1つまたはそれを上回るものが、規定された対応する閾値を満たすかどうかを判定するために、算出されることができる。他の距離測度もまた、マッチング点対を判定する際に使用されることができる。特に、以下のヒストグラム距離または類似性測定基準、すなわち、(i)ヒストグラム差の正規化された絶対値(ABSNdist_j)と、(ii)ヒストグラム交差類似性(INTRsim_j)と、(iii)ヒストグラムの相関係数類似性(CORRsim_j)と、(iv)バッタチャリャ距離(BHATdist_j)とのうちの1つまたはそれを上回るものが、PH−EMR−LBPおよびPH−EMR−CS−LBP等のヒストグラムベースの画像記述子をマッチングするために使用されることができる。
【0074】
概して、段階1のテンプレートは、以下の形式において、t
i(着目点、特徴ベクトル)要素のセットを含む。
【数6】
式中、(x
i,y
i)は、着目点iの場所であり、
【数7】
は、画素座標(x
i,y
i)における着目点の周囲の局所画像パッチを記述する、d個の異なるタイプの記述子ベクトルの集合である。
【0075】
いくつかの実装では、マッチャは、1つまたはそれを上回るマッチング点対を選択するために、包括検索(ステップ110)を実施し、登録テンプレート内の全ての着目点と、照合テンプレート内の全ての着目点の全ての対応する特徴ベクトルとに対して、着目点iと関連付けられる各特徴ベクトル
【数8】
間の距離を計算する。いくつかの実装では、比率試験が、ある閾値より高くなる第1と第2の最も近いマッチ距離比率を伴う、曖昧な対応が不明瞭なマッチとして破棄されるように、実装される。他の実装では、kdツリーベースの技法が、近似最近傍のための高速ライブラリ(FLANN)マッチャによって実装される最近傍アルゴリズムを使用して、特徴をマッチさせるために使用されることができる。これは、高次元データ点間で、より高速な最近傍検索を可能にすることができる。
【0076】
いくつかの実装では、記述子
V
ik、k=1,2,・・・,d
の全てまたはサブセットにわたる投票方法が、登録および照合テンプレートから対応するマッチング点を選択するために使用されることができる。例えば、1つのテンプレートからの1つまたはそれを上回る点が、対応する局所画像記述子の大部分が距離閾値を満たす場合のみ、他のテンプレートからの対応する1つまたはそれを上回る点と対合される。投票方法は、各タイプの記述子が、それ自体、マッチした点対の同じセットを示し得ないとき、使用されることができる。したがって、一実施例では、2つのテンプレート内の点が、合計5つのタイプの異なる記述子から(少なくとも)任意の3つを使用してマッチする場合、照合テンプレート内の対応する点は、登録テンプレート内の対応する点とマッチすると見なされる。具体的には、一実施例では、着目点毎に、テンプレートが5つのタイプの記述子、すなわち、EMR−LBP、PH−EMR−LBP、PH−EMR−CS−LBP、HoG、およびSURF記述子を使用する場合、着目点は、PH−EMR−LBP、PH−EMR−CS−LBP、およびSURF記述子が距離閾値を合格し、それ以外が、マッチを示さない場合、マッチした点対の候補と見なされることができる。
【0077】
記述子融合を採用するいくつかの実装では、識別された点に対する単一の記述子ベクトルが、使用される異なるタイプの記述子、例えば、SURF、HoG、EMR−LBP、EMR−CS−LBP、PH−EMR−LBP、およびPH−EMR−CS−LBP記述子の全てまたはサブセットを、組み合わせられるべき記述子を正規化した後に、組み合わせることによって、得られることができる。
【0078】
マッチ測定基準ベースの融合を採用するいくつかの実装では、登録および照合テンプレート間の異なる記述子の個々の比較から正規化された距離スコアが、2つのテンプレート間の着目点の対応するマッチした対を見出すために、距離閾値と比較する前に加重平均を使用して組み合わせられることができる。多スケールマッチングでは、1つのテンプレートの異なるスケール(例えば、画像ピラミッドからのスケール0、スケール1、およびスケール2)からの識別されたテンプレート点およびそれらの記述子は、他のテンプレートからの対応するスケールのものと別個にマッチすることができる、または低次のスケールからの点の座標は、マッチングに先立って、スケール0にアップスケールされることができる。
【0079】
概して、その記述子が距離閾値を満たさない、2つのテンプレート間の点は、それに続く処理から破棄されることができる。その後、破棄されない場所は、以下に説明されるように、1つまたはそれを上回るアフィン変換または類似する幾何学変換を適合させることによって、登録および照合画像間の点対の内座層サブセットを見出すために使用されることができる。内座層点対の数の導関数、それらの場所相関、ならびに要求される変換スケールおよび回転が、次いで、第1段階のマッチスコアを生成するために使用されることができる。記述子類似性スコアを考慮するものを含む、他のマッチスコア生成方法もまた、使用されることができる。
【0080】
いくつかの実装では、ランダムサンプルコンセンサス(RANSAC)または他の外れ値検出方法が、照合テンプレート内の候補点と、第1の登録における着目点とを整合させるために必要とされる変換を判定するために使用されることができ、前述の点は、前述の記述子マッチプロセスにおいて見出される点対である。RANSAC外れ値検出方法は、例えば、血管パターンを介して登録および照合テンプレート内でエンコードされる眼内着目領域の幾何学的観点から、マッチした点対における対応する点間の仮説化された幾何学変換に適合しない外れ値を拒否することができる。例えば、1つまたはそれを上回る変換マトリクスが、真正のマッチが存在する場合、マッチした対における登録テンプレートからの点に適用され、それらの座標の観点から、登録テンプレートの対応する点と整合される、変換された点のセットを生成することができる。関与する変換は、それらの記述子マッチに基づいてマッチした点対の最大コンセンサス(内座層)サブセットから導出されることができる。RANSAC等の仮説ベースの外れ値検出および画像位置合わせ方法は、最も多くの内座層点対を伴う変換されたテンプレート場所を生成する、1つまたはそれを上回るアフィン変換または類似する変換を識別するために使用されることができる。内座層点対は、整合される点の場所間のユークリッドまたは他の距離測定基準が距離閾値を超えないように、導出される変換マトリクスを使用して、登録テンプレート内の点に整合され得る、照合テンプレート内の点を含むことができる。内座層点対はまた、他の登録−照合点対と比較される、記述子空間において最も近い距離をもたらし、RANSACまたは類似する外れ値検出プロセスを正常に切り抜ける、点の対でもあり得る。外れ値検出プロセスは、登録−照合テンプレート比較からの内座層点対場所間の幾何学または制限付き弾性変換を仮定する。概して、内座層である、照合テンプレートからの変換された点は、整合された点と称される。照合画像の変換は、段階1では実施されない。
【0081】
段階1のマッチスコアは、内座層の数および検出された変換マトリクスからの復元されたスケールおよび回転係数の関数に加えて、登録および照合テンプレートにわたる内座層点の相関スコアの関数に基づいて生成されることができる。いくつかの実装では、変換マトリクスまたは複数のマトリクスの他の特性評価関数も、使用されることができる。いくつかの実装では、相関以外の類似性測定基準が、使用されることができる。例えば、内座層点対の数であるNが、登録および照合テンプレート間の類似性を測定するために使用されることができる。内座層点対の多い数が、例えば、内座層点対の比較的少ない数よりも高い第1段階のマッチスコアを示すことができる。いくつかの実装では、相関スコアは、例えば、登録および照合テンプレートにわたる位置合わせされた内座層点場所間の距離、登録および照合テンプレートからの対応するマッチした点の記述子間の距離、登録および照合テンプレート点間のマッチした点の一群の場所間の相関、幾何学整合のために要求され得る、2つのテンプレート間の復元された位置合わせスケールおよび/または回転、またはこれらならびに/もしくは他の測度のうちの1つもしくはそれを上回るものの組み合わせに基づく。相関スコアは、段階1のマッチスコアを判定するために、単独で、または別の測定基準と組み合わせて使用されることができる。
【0082】
一実施例では、マッチスコアは、照合テンプレート内の内座層着目点と、登録テンプレート内の対応する点との間のx,y座標相関を計算し、相関係数に、N、すなわち、内座層点対の数を乗算することによって判定されることができる。
【0083】
いくつかの実装では、段階1のマッチスコアは、正規化された内座層対場所の相関スコアである。他の実装では、段階1のマッチスコア(FMS)は、以下のように計算されることができる。
【数9】
式中、C
xおよびC
yは、それぞれ、対応する登録および照合テンプレートの内座層点の、x座標およびy座標間の相関スコアである。Nは、これらの内座層点対の数であり、RAは、位置合わせのために、照合点が登録点にマッチする、内座層の変換からもたらされる角度における変化を表す、復元された角度であり、RSは、その変換からもたらされるスケールにおける変化を表す、復元されたスケールである。RAおよびRSは、内座層点対を識別するために使用される、RANSACまたは類似する動作からもたらされる、アフィンまたは類似する変換マトリクスから導出されることができる。
【0084】
第1段階のマッチスコアはまた、Cx、Cy、N、および変換マトリクス導出パラメータの関数の観点から、人工神経ネットワークまたは線形判別分析等の分類子を訓練するために、偽物と本物の比較の標識化されたデータセットを使用して、直接学習されることができる。随意に、主成分分析(PCA)前処理段階が、分類の前に適用されてもよい。いくつかの実装では、局所(非バイナリ)記述子は、局所記述子分散に寄与しない事後PCA次元を排除するために、PCA投影を使用して短縮されることができる。これは、特徴の次元性を減少させる一方、分類の正確度を改善することができる。記述子セットの系毎に留保される合計分散のパーセンテージは、変動し得る。例えば、PCA投影および短縮の一実装では、拡張型マルチ半径ローカルバイナリパターン特徴のパターンヒストグラムの次元性は、それらの分散事後PCA短縮の約86%を留保するように減少されることができる。同様に、SURFベースの特徴は、PCAを通してのオリジナル分散の約85%を留保するように減少されたそれらの次元性を有することができ、拡張型マルチ半径中心対称ローカルバイナリパターンのパターンヒストグラムは、それらの分散事後PCA投影および短縮の約95%を留保するように短縮されることができる。PCA負荷は、眼内テンプレートの訓練データベースを使用して事前計算されることができる。分散短縮の他のパーセンテージも、可能であり、それらは、鮮鋭化方法および画像内の雑音レベルに依存する。
【0085】
いくつかの実装では、変換マトリクス導出パラメータRSおよびRAの代わりに、変換の別の関数が、そのマトリクス要素から直接計算されることができる。本物と偽物の比較から導出される変換マトリクスを考慮して、その分布において最大の本物−偽物分離をもたらす、対応する変換マトリクス要素の関数を作成することが望ましい。本目的を達成するための1つの方法は、回帰関数を訓練し、フィッシャ判別比率等の分類可能性の測度を最大限にするために、偽物と本物の比較の標識化されたデータセットの変換マトリクスを使用することである。
【0086】
いくつかの実装では、複数の画像スケールが画像領域の多スケールテンプレートを生成するために使用されるとき、オリジナルスケールからではない点座標(対応する記述子ではない)は、それらをオリジナルスケールに投影するために、スケール係数によって乗算され、それらをオリジナルスケールに投影することによって、全てのスケールからの内座層点(すなわち、内座層点対における対応する点)を組み合わせることができる。いくつかの実装では、段階1のマッチスコアは、着目点ファインダおよび特徴記述子タイプの異なる組み合わせから生成される異なるRANSAC変換からのいくつかの相関スコアの加重和であり得る。いくつかの実装では、照合テンプレートからの内座層点は、前述される段階1のマッチスコアを生成するために、幾何学的に変換されたテンプレートの整合された点によって取って代わられることができる。
【0087】
段階1のマッチスコアは、照合テンプレートが登録テンプレートと十分に類似するかどうかを判定し、ユーザを認証するように、個別に、または1つもしくはそれを上回る他の測度と組み合わせてのいずれかで使用されることができる。いくつかの実装では、復元されたスケールRSがある値を下回るまたは上回る場合、および/または復元された角度RAがある閾値を上回る場合、ユーザを認証しない決定が、段階1のマッチスコアを使用して行われることができ、段階2のマッチスコアは、算出されない。いくつかの実装では、そのような位置合わせの失敗が発生する場合、異なる位置合わせアルゴリズムが、使用され、または使用されず、以下に説明される段階2のマッチングを依然として可能にすることができる。
段階2のパターンマッチング
【0088】
照合画像領域は、段階2のマッチャのために、照合画像領域の点を、登録テンプレートによって表される登録画像領域の点に整合させ得る、外れ値検出プロセス(例えば、RANSACプロセス)からの変換マトリクスを使用して、変換(位置合わせ)される(ステップ114)。いくつかの実装では、変換は、照合画像領域に適用される、1つまたはそれを上回るアフィンまたは類似する変換を含む。例えば、照合画像領域は、変換された画像領域の点が、登録画像領域内の対応する点の位置と類似する位置にある、変換された画像領域を生成するために、平行移動され、スケーリングされ、非対称にされ、および/または回転されることができる。
【0089】
段階2のマッチスコアは、例えば、ガボールフィルタ処理された登録および照合画像の配向されたローカルバイナリパターンをマッチさせることによって、生成されることができる。いくつかの実装では、変換された照合画像領域は、フィルタ処理後、配向されたローカルバイナリパターン(OLBP)画像を導出するために使用される(ステップ114)。
【0090】
いくつかの実装では、フィルタ処理プロセスは、フィルタ処理された照合画像領域を生成するために、いくつかの畳み込みフィルタを、変換された照合画像領域に適用するステップを含む。例えば、種々の角度における、複合ガボールフィルタのセット、またはガボールフィルタの複合対数のセットが、変換された照合画像領域に適用されることができる(ステップ112)。ガボールフィルタのパラメータは、画像領域内に描写される血管の間隔、配向、および周囲長における変動を考慮するように、経験的に判定されることができる。複合ガボールフィルタ処理された画像の相は、概して、異なる角度における血管パターンを反映する。ガボールフィルタ処理された画像の相は、−πラジアンから+πラジアンまで変動し得る。例えば、ガボールカーネルのセット(例えば、波長=6画素、xにおける拡散(標準偏差)=2.5画素、yにおける拡散(標準偏差)=2.5画素、角度=0°、30°、60°、90°、120°、150°)によってフィルタ処理される相画像では、0.25ラジアンを上回り、−0.25ラジアンを下回る相値は、血管構造に対応し得る。相画像を二値化するステップは、0.25または−0.25に限定されず、これは、用途および使用されるガボールカーネルのセットに基づいて変更されることができる。
【0091】
いくつかの実装では、相画像を二値化するために、0.25を上回る、または−0.25を下回る、相の全ての値が、維持され、残りの値は、二値化された画像を導出するために、ゼロに設定される。これは、対応する相画像内に実質的に雑音がない、血管構造のより鮮鋭化された描写をもたらすことができる。この動作は、異なる角度におけるいくつかのガボールカーネルの適用からもたらされる画像に対して実施されることができる。いくつかの実装では、結果として生じる二値化された画像は、追加され、
図6に描写されるもの等の微細かつ鮮明な血管構造を示すように設計される、フィルタ処理された画像をもたらすことができる。
【0092】
いくつかの実装では、段階1のマッチスコアを生成する際に、前述されるように、着目点ファインダ(SURF、FAST、HS、およびVPD)および/または局所画像記述子アルゴリズム(例えば、HoG、SURF、EMR−LBP、PH−EMR−LBP、EMR−CS−LBP、およびPH−EMR−CS−LBP)が適用される、画像領域は、偶数のガボールフィルタ処理された画像領域の規模、または異なる角度における全ての偶数のガボールフィルタ処理された画像領域の合計、または異なる角度における相画像領域もしくは相画像領域の合計、または異なる角度における全ての二値化された相画像領域もしくは二値化された相画像領域の合計の規模であり得る。いくつかの実装では、logガボールカーネルが、ガボールカーネルに取って代わることができる。
【0093】
概して、フィルタ処理された画像領域は、OLBPテンプレートを導出するために使用されることができる(ステップ114)。いくつかの実装では、フィルタ処理された画像領域は、異なる角度における二値化された相画像の合計である。OLBP画像を生成するために、
図7Aに描写される例示的3×3画素ウィンドウ等の画素ウィンドウが、フィルタ処理された画像内の非境界線画素毎に作成される。3×3画素ウィンドウは、概して、中心画素に対する値と、8つの囲繞する画素に対する値とを含む。他のサイズ(例えば、5×5、7×7等)の画素ウィンドウもまた、使用されることができる。画素毎の値は、例えば、対応する画素の強度または画素に対する相情報を示すことができる。いくつかの実装では、画素ウィンドウは、境界線画素が8つの囲繞する画素を有さないため、画像の境界線画素、例えば、フィルタ処理された画像領域の外側の境界線における画素に対しては作成されない。中心画素に対する8つの囲繞する画素毎に、囲繞する画素が中心画素のものを上回る、もしくはそれに等しい値を有するか、または中心画素の値(すなわち、強度または相)未満であるかを示すバイナリ値を有する、バイナリ画素ウィンドウが、作成されることができる。例えば、
図7Aにおける画素ウィンドウは、
図7Bに描写されるように、バイナリ画素ウィンドウを作成するためにバイナリ化され、これは、どの囲繞する画素値が中心画素値を上回る、もしくはそれに等しい、または代替として、それ未満であるかを示すために、論理的高値、すなわち、「1」と、論理的低値、すなわち、「0」とを含む。例えば、
図7Bを参照すると、「1」の値は、関連付けられた画素が、中心画素の画素強度値を上回る、またはそれに等しい画素強度値を有することを示し、「0」の値は、関連付けられた画素が、中心画素の画素強度値未満の画素強度値を有することを示す。
【0094】
バイナリ画素ウィンドウ毎に、囲繞する「1」(またはいくつかの実装では「0」)の最長ストリングの中心に対応する位置が、識別される(ステップ114)。
図7Bに示される例示的バイナリ画素ウィンドウでは、ウィンドウを囲繞する数は、画素の位置を示し、囲繞する「1」の最長ストリングは、位置0から位置3にかけてである。「1」のその列の中心は、位置1と2との間であり、本実装では、より小さな位置(すなわち、位置1)が、囲繞する「1」の最長ストリングの中心として識別される。いくつかの実装では、より大きな位置(例えば、本実施例では位置2)が、1の最長ストリングの中心として識別されることができる。
【0095】
囲繞する「1」の最長ストリングの中心の位置を識別した後、4ビットのバイナリグレーコードが、生成されることができる(ステップ114)。バイナリグレーコードは、各連続的値がわずか1ビットだけ異なる、「1」および「0」のストリングである。
図4Bに示される実施例に対するグレーコードに対する例示的マッピング位置は、(
図7Cに示されるような)「0001」である。本実施例では、画素の位置1が、囲繞する「1」の最長ストリングの中心として識別され、位置1は、グレーコード値「0001」に対応する。このグレーコードは、3×3画素ウィンドウが作成された画素(すなわち、
図7Aおよび7Bに描写されるウィンドウの中心における画素)に対して生成される。OLBPおよびグレーコードが、フィルタ処理された登録画像領域内の全非境界線画素に対して識別されるため、各画素は、その画素に対する強度の配向を示す、4ビットのグレーコードを有することができる。
【0096】
フィルタ処理された登録画像領域の非境界線画素毎にグレーコードを生成した後、4つのバイナリ層が、フィルタ処理された登録画像領域に対して生成されることができる。各バイナリ層(例えば、第3の次元における)は、4ビットのグレーコードの1ビットに対応する。例えば、位置(10,10)における画素が「1100」のグレーコード値を有する場合、第1のバイナリ層の位置(10,10)におけるバイナリ値は、「1」であり、第2のバイナリ層の位置(10,10)におけるバイナリ値は、「1」であり、第3のバイナリ層の位置(10,10)におけるバイナリ値は、「0」であり、第4のバイナリ層の位置(10,10)におけるバイナリ値は、「0」である。段階2のマッチスコアを生成するために、類似する手順が、第2のグレーコーディングされた画像、すなわち、段階2の照合テンプレートを生成するように、変換された照合画像に適用され、これは、第1のグレーコーディングされた画像、すなわち、段階2の登録テンプレートと比較されることができる。
【0097】
いくつかの実装では、各バイナリ層は、登録−照合テンプレート比較のためにタイル表示されることができる(ステップ114)。一例示的実装では、バイナリ層は、4×6グリッドの24個のタイルにタイル表示される。タイル表示するステップは、可視血管系を含まず、したがって、認証のために有意ではない領域を回避または最小限にすることができる。タイル表示するステップはまた、位置合わせアーチファクトを最小限にすることもできる。いくつかの実装では、無効タイルが、識別され、さらなる分析から破棄される。例えば、特定のタイルに対応する領域が多くの眼の可視血管系を含まない場合、または皮膚もしくは虹彩の大部分を含む場合、タイルは、無効であると判定されることができる。この有効性判定は、例えば、睫毛検出アルゴリズムを使用して、および/またはグレア検出アルゴリズムを使用して、タイル内に含まれる領域のバイナリ値の合計を、ある閾値と比較することによって行われることができる。いくつかの実装では、白眼内にある収差画素(例えば、検出されるグレアおよび睫毛)の集合(順に、セグメント化プロセスによって判定される)が、生成されることができる。1つまたはそれを上回るタイルが無効であるかどうかは、収差画素のカウントの数と、対応するタイル下の白眼画素の数との比率に基づいて判定されることができる。
【0098】
タイルの合計面積によって除算される、白眼内のタイルの面積は、タイル内の強膜の範囲を反映することができる。したがって、一実装では、強膜マスク内の80%未満を被覆するタイルは無効と見なされ、ひいては、除外されることができる。いくつかの場合では、タイル面積の一部は、グレア、または睫毛、または眼瞼、または他のアーチファクトによって閉塞され得、閉塞は、十分に深刻な場合、無効とされるタイルをもたらすことができる。強膜マスクは、典型的には、白眼に属さない画像画素を除外する、バイナリ画像マスクである。いくつかの実装では、血管系の存在の測度が、非血管タイルを破棄するために使用されることができる。例えば、タイルの合計面積によって除算される、ゼロを上回るガボール値の二値化された相を有する、タイルの面積は、可視血管系の量を検出することができる。
【0099】
種々の実装では、段階2のマッチスコアを判定するために、グレーコーディングされた段階2の照合テンプレートの各バイナリ層における各ビットは、グレーコーディングされた段階2の登録画像の対応する層における対応するビットと比較される(ステップ114)。例えば、段階2の照合テンプレートの4つのバイナリ層は、層毎に、段階2の登録テンプレートの対応する4つの層と比較されることができる。いくつかの実装では、段階2のマッチススコアは、それぞれ、グレーコーディングされた照合および登録の段階2のテンプレートの、対応するバイナリ層間のハミング距離に基づく。いくつかの実装では、段階2のマッチススコアは、グレーコーディングされた段階2の照合および登録テンプレートのバイナリ層間の相関に基づく。スライディングウィンドウ相関が、バイナリ層のタイルに対する相関スコアを判定するために使用されることができる。バイナリ層がタイル表示される実装では、有効タイル間の距離または相関のみが、段階2のマッチスコアを判定するために使用されることができる。いくつかの実装では、ハミング距離は、画像領域全体に対して、または層毎に、例えば、0〜1の値に正規化されることができる。例えば、層毎に正規化されたハミング距離は、0〜1の数であり得、ここでは、「1」は、グレーコーディングされた段階2の照合テンプレートの層のバイナリ値と、段階2のグレーコーディングされた登録テンプレートの対応する層のバイナリ値との間の完全マッチ(差異なし)を示し、「0」は、マッチしないことを示す。いくつかの実装では、相関は、画像領域全体に対して、または層毎に、例えば、−1〜1の値に正規化されることができる。
【0100】
段階2のマッチスコアは、例えば、グレーコーディングされた段階2の照合および登録テンプレートの対応するバイナリ層の対毎に計算された、正規化されたハミング距離を追加することによって生成され、0〜4の段階2のマッチスコアをもたらすことができる。段階2のマッチスコアは、いくつかの実装では、0〜1の値までさらに正規化されることができる。いくつかの実装では、段階2のマッチスコアは、タイル間の正規化されたハミング距離に基づいて、例えば、有効タイルの数を、全ての有効タイルにわたって計算された正規化されたハミング距離の平均と乗算することによって、生成されることができる。例えば、4つの層と、層毎に10個の有効タイルを伴うと、段階2のマッチスコアは、0〜40、すなわち、タイル毎の正規化されたハミング距離の合計であり得る。
【0101】
いくつかの実装では、段階2のマッチスコアは、例えば、グレーコーディングされた段階2の照合および登録テンプレートにわたるバイナリ層毎に計算された、正規化された相関スコアを追加することによって生成され、−4〜4の段階2のマッチスコアをもたらすことができる。段階2のマッチスコアは、いくつかの実装では、−1〜1の値までさらに正規化されることができる。別の実施例として、段階2のマッチスコアは、タイル間の正規化された相関に基づいて、例えば、有効タイルの数を、全ての有効タイルにわたって計算された正規化された相関の平均と乗算することによって、生成されることができる。いくつかの実装では、相関スコアによって生成された段階2のマッチスコアは、照合画像を提供するユーザが認証され得るかどうかを判定するために、ある閾値と比較されることができる。例えば、段階2のマッチスコアが(−4〜4のスケールで)1.0未満である場合、照合試行は、拒否されることができ、ユーザは、無権限者であると判定される。
融合
【0102】
2段階融合では、段階2のマッチスコアは、第3の(最終)マッチスコアを生成するために、段階1のマッチスコアと組み合わせられることができる(ステップ118)。したがって、いくつかの実装では、段階1のマッチスコアおよび段階2のマッチスコアは、第3のマッチスコアを生成するために、乗算および/または合計されることができる。いくつかの実装では、第3のマッチスコアは、段階1のマッチスコアおよび段階2のマッチスコアの加重和であり得る。加重は、マッチ履歴に基づいて、経験的に判定されることができる。例えば、認証失敗および成功の履歴インスタンスは、段階1のマッチスコアが段階2のマッチスコアよりも実際のマッチを示しているかどうか、またはあるマッチスコア値が実際のマッチをおおむね示しているかを判定するために、分析されることができ、対応するデータは、段階1および段階2のマッチスコアに対する1つまたはそれを上回る加重を訓練するために使用されることができる。第3のマッチスコアは、照合画像が眼の登録画像にマッチするかどうかを判定するために、ある閾値スコアと比較されることができる。いくつかの実装では、最小もしくは最大融合法則または線形判別が、段階1および段階2のマッチスコアを組み合わせて、第3のマッチスコアを生成するために使用されることができる。
【0103】
一実装では、いくつかの段階1のスコアが、得られ、それぞれ、異なるタイプの画像鮮鋭化、異なるタイプの記述子、および異なるRANSAC起動に基づく。加重総和が、融合マッチスコアを生成するために、種々の段階1のマッチスコアと、1つの段階2のマッチスコアとに基づいて使用されることができる。一実施例では、以下のスコアは、段階1の照合および登録テンプレートをマッチさせることによって得られる。
スコア1=段階1(点ファインダ=スケール0およびスケール1におけるFASTならびにVPD;特徴記述子=EMR−LBP)
スコア2=段階1(点ファインダ=スケール0およびスケール1におけるFASTならびにVPD;特徴記述子=PH−EMR−LBP)
スコア3=段階1(点ファインダ=スケール0およびスケール1におけるFASTならびにVPD;特徴記述子=PH−EMR−CS−LBP)
スコア4=段階1(点ファインダ=スケール0およびスケール1におけるFASTならびにVPD;特徴記述子=SURF)
スコア5=スコア2に対応する変換マトリクスを使用する段階2のスコア
融合スコアは、前述のスコアの全ての加重和であり、以下のように与えられることができる。
融合スコア=0.1*スコア1+0.2*スコア2+0.2*スコア3+0.2*スコア4+0.1*スコア5
上記の実施例における加重および組み合わせは、一実装に対するものである。ピラミッドスケール、ピラミッドタイプ、点ファインダ、および特徴記述子の他の組み合わせが、採用されることができる。いくつかの実装では、2つまたはそれを上回る段階2のマッチスコアもまた、融合スコアに含まれることができる。
【0104】
別の実装では、以下のスコアは、段階1の照合および登録テンプレートをマッチさせることによって得られる。
スコア1=段階1(点ファインダ=スケール0およびスケール1におけるFASTならびにVPD;特徴記述子=PH−EMR−LBP)
スコア2=段階1(点ファインダ=スケール0およびスケール1におけるFASTならびにVPD;特徴記述子=PH−EMR−CS−LBP)
融合スコアは、前述のスコアの加重和であり、以下のように与えられることができる。
融合スコア=0.5*スコア1+0.5*スコア2
【0105】
別の実装では、いくつかの段階1のスコアが、いくつかの異なるRANSAC手順を適用することによって得られ、1つの段階2のスコアが、得られる。これらのスコアは、融合マッチスコアを生成するために、加重総和を使用して組み合わせられることができる。一実施例では、以下のスコアは、照合および登録テンプレートをマッチさせることによって得られる。
スコア1=段階1(点ファインダ=スケール0におけるFASTおよびVPD;特徴記述子=EMR−LBP、PH−EMR−LBP、PH−EMR−CS−LBP、SURF、HoG;RANSACは、マッチ測定基準ベースの融合からの点上で起動される)
スコア2=段階1(点ファインダ=スケール1におけるFASTおよびVPD;特徴記述子=EMR−LBP、PH−EMR−LBP、PH−EMR−CS−LBP、SURF、HoG;RANSACは、マッチ測定基準ベースの融合からの点上で起動される)
スコア3=スコア1から導出される変換マトリクスを使用する段階2のスコア
融合スコアは、スコアの全ての加重和であり、以下のように与えられることができる。
融合スコア=0.4*スコア1+0.3*スコア2+0.3*スコア3
上記の実施例において使用される加重および組み合わせは、例証にすぎず、他の加重、数およびタイプの記述子、およびRANSAC起動(概して、内座層検出手順)が、採用され得ることを理解されたい。マッチ測定基準ベースの融合のための点ファインダ、特徴記述子、ピラミッドスケール、およびピラミッドタイプの他の組み合わせもまた、採用されることができる。
【0106】
別の実装では、いくつかの段階1のスコアが、いくつかの異なるRANSAC手順を、異なるように鮮鋭化された画像上に適用することによって得られる。これらのスコアは、融合マッチスコアを生成するために、加重総和を使用して組み合わせられることができる。一実施例では、以下のスコアは、照合および登録テンプレートをマッチさせることによって得られる。
スコア1=段階1(鮮鋭化=LoGベース;点ファインダ=スケール0におけるFASTおよびVPD;特徴記述子=EMR−LBP、PH−EMR−LBP、PH−EMR−CS−LBP、SURF、HoG;RANSACは、マッチ測定基準ベースの融合からの点上で起動される)
スコア2=段階1(鮮鋭化=LoGベース;点ファインダ=スケール1におけるFASTおよびVPD;特徴記述子=EMR−LBP、PH−EMR−LBP、PH−EMR−CS−LBP、SURF、HoG;RANSACは、マッチ測定基準ベースの融合からの点上で起動される)
スコア3=段階1(鮮鋭化=ガボールベース;点ファインダ=スケール0におけるFASTおよびVPD;特徴記述子=EMR−LBP、PH−EMR−LBP、PH−EMR−CS−LBP、SURF、HoG;RANSACは、マッチ測定基準ベースの融合からの点上で起動される)
スコア4=段階1(鮮鋭化=ガボールベース;点ファインダ=スケール1におけるFASTおよびVPD;特徴記述子=EMR−LBP、PH−EMR−LBP、PH−EMR−CS−LBP、SURF、HoG;RANSACは、マッチ測定基準ベースの融合からの点上で起動される)
融合スコアは、スコアの全ての加重和であり、以下のように与えられることができる。
融合スコア=0.3*スコア1+0.2*スコア2+0.3*スコア3+0.2*スコア4
上記の実施例において使用される加重および組み合わせは、例証にすぎず、他の加重、数およびタイプの記述子、およびRANSAC起動(概して、内座層検出手順)が、採用され得ることを理解されたい。マッチ測定基準ベースの融合のための点ファインダ、特徴記述子、ピラミッドスケール、およびピラミッドタイプの他の組み合わせもまた、採用されることができる。
【0107】
いくつかの実装では、融合スコアは、単一の登録および単一の照合テンプレートを使用して得られる。いくつかの実装では、最終マッチスコアが、1つまたはそれを上回る照合テンプレートを、1つまたはそれを上回る登録テンプレートと比較することによって生成されることができる。例えば、2つの照合テンプレートおよび2つの登録テンプレートが存在する場合、4つの融合スコアが、生成されることができる。いくつかの実装では、最終マッチスコアは、最大法則または和法則を使用して生成されることができる。他の実装では、最高N’個の内座層点(いくつかの外れ値検出起動を介して識別される)のマッチスコアおよび/または最良の質スコアが、最終マッチスコアとして選択される。いくつかの実装では、マッチスコアは、マッチスコアがある閾値に到達するまで、または全てもしくは事前判定された数の選択された比較が実施されるまで、連続的に生成される。いくつかの実装では、段階1のマッチスコアは、照合テンプレートと登録テンプレートとの間の類似性の程度を判定するための、第3のマッチスコアを生成するために、段階2のマッチスコアと組み合わせて使用されることができる。いくつかの実装では、マッチスコア融合を介して、段階1のマッチスコアは、照合テンプレートと登録テンプレートとの間の類似性の程度を判定するための、第3のマッチスコアを生成するために使用されることができる。いくつかの実装では、融合を介して、段階2のマッチスコアは、照合テンプレートと登録テンプレートとの間の類似性の程度を判定するための、第3のマッチスコアを生成するために使用されることができる。
多テンプレートマッチングのためのローリングテンプレート更新および知的テンプレート取り消し
【0108】
図8は、ローリングベースで登録テンプレートを更新するステップの、例示的プロセスを例証する。ユーザの眼内ROI毎にいくつかの登録テンプレートを効率的に管理するために、1つまたはそれを上回るテンプレートバンク(例えば、
図1Aおよび1Bに示されるデータベース120)内に記憶される登録テンプレートが、精緻化および更新されることができる。記憶されるべき登録テンプレートの数は、随意に、登録時に減少されることができる。本目的のために、一実装では、各ROIからの初期のN個の登録テンプレートは、対毎に、相互にマッチし、最高の全体的クロスマッチスコアを有するそれらのテンプレートのみが、記憶される(ステップ802)。例えば、初期のN個の登録テンプレートを前提として、N(N−l)/2個の可能性として考えられる対が、対称距離測定基準を仮定してマッチする。次いで、最低中間マッチスコアを伴うテンプレートが、除外される。中間マッチスコアは、登録テンプレート毎のN−1個のマッチスコアの中間値であり得、それぞれ、登録バンク内の包含のために試験されているテンプレートと、残りのN−1個の登録テンプレートとの比較に対応する。本手順は、テンプレートバンクまたは複数のバンクから、1つまたはそれを上回る付加的登録テンプレートを省くために、繰り返されることができる。
【0109】
いくつかの実装では、質スコアが、全ての登録テンプレートおよび照合テンプレートに対して生成される。照合および登録テンプレートは、バイナリ血管マップ(BVM)に基づくスパース血管点を含む。いくつかの実装では、テンプレートに対応する質スコアは、テンプレートと関連付けられる間引かれたBVM内の真の画素(すなわち、論理的高値と指定された画素)と、そのBVMを生成する際に使用される強膜マスク内の真の画素数との比率を含む。別の方法では、登録および/または照合テンプレートの質スコアは、テンプレートと関連付けられるBVM内の真の画素と、強膜マスク内の真の画素数との比率として計算されることができる。質スコアは、マッチングプロセスにおけるさらなる処理のための、その適格性を評価するために、眼内画像内に存在する可視血管系の量の測度を提供することができる。ある閾値を下回る質スコアを有する登録画像は、登録バンク内への包含のために処理されない。
【0110】
いくつかの実装では、テンプレートバンクまたは複数のバンクは、加えて、または代替として、付加的登録テンプレートとして適格な照合テンプレートを追加することによって、またはより低質の以前に記憶された登録テンプレートを、比較的より良好な質の照合テンプレートに取って代えることによって、照合時に更新されることができる。適格とするために、着信する照合テンプレートは、1つまたはそれを上回る登録テンプレートと良好にマッチしなければならず、随意に、テンプレートバンクに追加されるべきその照合テンプレートに対する、前述される質測度を合格しなければならない(ステップ804)。テンプレートバンクが付加的テンプレートを、例えば、メモリ容量制約、登録テンプレート数制約等に起因して記憶できない場合、最も望ましくない、以前に記憶された登録テンプレートが、例えば、上記のプロセスを使用して除外されることができる(ステップ806)。いくつかの実装では、それにもかかわらず、より大きな登録バンクが、例えば、初期位置合わせプロセスからの十分に多様なテンプレートの欠如に起因して要求される場合、より低質の登録テンプレートは、保持され、ここでは、多様性は、真正ユーザが変動する条件下で自身の眼をスキャンする間に、テンプレート内に外部から誘発される変動の測度として定義される。
【0111】
いくつかの実装では、多登録テンプレートシステム内の各テンプレートの露光プロファイルもまた、テンプレートの多様性の測度として、テンプレートとともに記憶される(例えば、
図1Aに示されるステップ108において)。保存されるべきテンプレートに対応する各画像の露光プロファイルは、いくつかの方法を使用して、事前位置合わせされたROIにわたって算出されることができる。例示的方法は、露光プロファイルに対して、カメラの固有の露光計測変数(例えば、画像のEXIFファイル内に見出されるもの)を使用するステップと、画像のYUV表現内のY成分の中間値、(平均、標準偏差)対、および/またはヒストグラム、または緑色層のみを使用するステップとを含む。後者の場合では、2つの捕捉間の露光類似性スコアを見出すために、コルモゴロフ−スミルノフ、正規化された絶対値、ヒストグラム交差、平均平方誤差、カイニ乗ベースの距離、カルバック−ライブラー情報量、バッタチャリャ距離、または相関係数等のヒストグラム距離測度が、使用されることができる。非対称照明に向かう感度および露光の空間的分布は、画像を2つもしくは4つの区分(または重複し得る他の空間的配列)に分割することによって、および露光プロファイル類似性を測定する前に、セグメント毎に計算された前述の露光測度を連結させることによって、増加されることができる。
【0112】
前述される手順は、殆ど、テンプレート間の露光および/または照明が誘発した差異を示し得る、比較的簡単な統計的画像類似性測度である。類似性測度の正確度を改善するために、画像は、最適なROI、例えば、眼全体の境界ボックスまたは特定の注視方向のセグメント化された強膜に事前位置合わせおよびクロッピングされることができる。一実装では、事前位置合わせは、眼内間距離からのスケールと、虹彩および/または強膜ならびに/もしくは眼の中心の組み合わせからの平行移動とを見出すことによって実施されることができる。回転角度が、先の2つの点を接続するラインから判定されることができ、事前位置合わせするステップは、スケール、回転角度等に基づく類似性幾何学変換を使用して達成されることができる。照合中、着信する照合テンプレートのマッチングは、最も類似する露光プロファイルを有する登録テンプレートを用いて開始することができ、これは、すなわち、マッチ閾値に到達するとすぐにマッチ決定を終了することによって、最良の多比較におけるマッチ時間を減少させることができる。
【0113】
いくつかの実装では、露光を意識したローリングテンプレート更新に関して、計算されたマッチ測定基準は、制限付き利点を、登録テンプレートのものである、異なる照明および露光条件を有するテンプレートに提供することによって、露光多様性を可能にするように変調される(
図1Bに描写されるステップ118)。そのような差異は、それらのマッチスコアが、少なくとも部分的に露光差に起因して、より低くなるため、そうでなければこれらの照合テンプレートを不利益な状態にし得る。概して、照合および登録テンプレート間の有意な露光差が、変調された測定基準を克服することを可能にし、それによって、誤って、類似した偽物テンプレートが登録テンプレートバンクに追加されることを可能にしないことが有益である。したがって、テンプレートT
1およびT
2に関しては、以下の一線形実装に従う。
enhanced_match_metric(T
1,T
2)=a*match_score(T
1,T
2)+
(1−a)*(min(exposure_difference(T
1,T
2),influence_threshold)
【0114】
influence_thresholdは、露光差の影響力があるレベルを超えないことを確実にすることができる。好適なinfluence_thresholdが、標識化された訓練データセットにわたって、最良の性能のためのパラメータ「a」に従って判定されることができる。上記の向上されたマッチ測定基準によると、非常に弱いが、テンプレートT
1およびT
2を生成した画像間の有意な露光差を伴うマッチは、そのような露光差がなければ強いマッチであり得、したがって、着信する照合テンプレートは、ローリングテンプレート更新において選択されるために活用されることができる。血管分布/画像の質の測度が、低質画像(すなわち、ブラー、反射、および閉塞等に起因して、適正かつ良好に画定された血管構造が欠如した画像)からのテンプレートもまた、登録テンプレートとして選択されないことをさらに確実にするために、本公式に追加されることができる。
【0115】
ヒストグラムベースの露光類似性測定基準の一実装では、眼内画像は、強膜マスクの境界ボックスにクロッピングされ、ある数の画素(例えば、約50画素)を用いてパディングされ、そうでなければ、眼内画像は、眼に対して中心に置かれる。次いで、第1および第2の画像の象限毎の緑色層の64ビンヒストグラムが、計算される。32ビンまたは128ビンヒストグラム等の他のヒストグラムもまた、使用されることができる。これらのヒストグラムは、露光プロファイルまたは露光テンプレートとして、それらの対応するテンプレートと並んで記憶される。次に、テンプレートの対間の対応する象限毎のヒストグラム間のヒストグラム距離または類似性測定基準が、計算される。具体的には、以下の測定基準、すなわち、ヒストグラム差の正規化された絶対値(ABSNdist)と、ヒストグラム交差類似性(INTRsim)と、ヒストグラムの相関係数類似性(CORRsim)と、それらのバッタチャリャ距離(BHATdist)とが、計算される。他の実装では、より少ないおよび/または他の測定基準が、使用されることができる。最後に、これらの測定基準は、以下のような単一の類似性測定基準に組み合わせられる。
類似性=−l*ABSNdist2−l*ABSNdistl−l*ABSNdist3−l*ABSNdist4
−1*BHATdist2−1*BHATdist1−1*BHATdist3−1*BHATdist4
+INTRsim2+INTRsiml+INTRsim3+INTRsim4
+CORRsim2+CORRsiml+CORRsim3+CORRsim4;
類似性測定基準が高くなるほど、2つのテンプレートの類似性は高まる。非類似性または露光差は、類似性測定基準の無効値となり得る。
【0116】
本明細書に説明されるシステムおよび技法は、バックエンド構成要素(例えば、データサーバとして)を含む、またはミドルウェア構成要素(例えば、アプリケーションサーバ)を含む、またはフロントエンド構成要素(例えば、ユーザが本明細書に説明されるシステムおよび技法の実装と相互作用できる、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ)を含む、またはそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせを含む、コンピューティングシステム内に実装されることができる。システムの構成要素は、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)によって、相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク(「LAN」)と、広域ネットワーク(「WAN」)と、インターネットとを含む。
【0117】
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、典型的には、通信ネットワークを通して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動し、相互にクライアント−サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態が、説明されている。それにもかかわらず、種々の修正が、本発明の精神および範囲から逸脱することなく、成され得ることが理解されるであろう。
【0118】
本明細書に説明される主題および動作の実施形態は、デジタル電子回路内に、または本明細書に開示される構造およびそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、もしくはハードウェア内に、またはそれらうちの1つもしくはそれを上回るものの組み合わせ内に、実装されることができる。本明細書に説明される主題の実施形態は、1つまたはそれを上回るコンピュータプログラム、すなわち、データ処理装置による、またはそれの動作を制御するための、実行のためにコンピュータ記憶媒体上でエンコードされる、コンピュータプログラム命令の1つまたはそれを上回るモジュールとして実装されることができる。代替として、またはそれに加えて、プログラム命令は、データ処理装置による実行のための好適な受信機装置への伝送のための情報をエンコードするために生成される、人為的生成伝搬信号、例えば、マシン生成電気、光学、または電磁信号上でエンコードされることができる。コンピュータ記憶媒体は、コンピュータ可読記憶デバイス、コンピュータ可読記憶基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうちの1つまたはそれを上回るものの組み合わせであり得る、またはその内に含まれることができる。さらに、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人為的生成伝搬信号内でエンコードされる、コンピュータプログラム命令のソースまたは宛先であり得る。コンピュータ記憶媒体はまた、1つまたはそれを上回る別個の物理的構成要素または媒体(例えば、複数のCD、ディスク、または他の記憶デバイス)であり得る、またはその内に含まれることができる。
【0119】
本明細書に説明される動作は、1つまたはそれを上回るコンピュータ可読記憶デバイス上に記憶される、または他のソースから受信されるデータに対して、データ処理装置によって実施される動作として実装されることができる。
【0120】
「データ処理装置」という用語は、実施例として、プログラム可能プロセッサ、コンピュータ、チップ上のシステム、または前述のものの複数もしくは組み合わせを含む、データを処理するための全ての種類の装置、デバイス、およびマシンを包含する。装置は、専用論理回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)を含むことができる。装置はまた、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうちの1つもしくはそれを上回るものの組み合わせを構成するコードも含むことができる。装置および実行環境は、ウェブサービス、分散コンピューティング、およびグリッドコンピューティングインフラストラクチャ等、種々の異なるコンピューティングモデルインフラストラクチャを実現することができる。
【0121】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる)が、コンパイルまたは解釈される言語、宣言型または手続き型言語を含む、プログラム可能言語の任意の形態において書き込まれることができ、これは、スタンドアローンのプログラムとして、またはモジュール、構成要素、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用のために好適な他のユニットとしてを含む、任意の形態において展開されることができる。コンピュータプログラムは、ファイルシステム内のファイルに対応してもよいが、そうである必要はない。プログラムは、他のプログラムまたはデータ(例えば、マークアップ言語リソース内に記憶される1つまたはそれを上回るスクリプト)を保持するファイルの一部内に、当該プログラム専用である単一ファイル内に、または複数の協調ファイル(例えば、1つまたはそれを上回るモジュール、サブプログラム、またはコードの一部を記憶するファイル)内に記憶されることができる。コンピュータプログラムは、1つのコンピュータ上で、または1つの場所に位置する、もしくは複数の場所にわたって分散され、通信ネットワークによって相互接続される、複数のコンピュータ上で実行されるように展開されることができる。
【0122】
本明細書に説明される主題の実施形態は、例えば、データサーバとして、バックエンド構成要素を含む、またはミドルウェア構成要素、例えば、アプリケーションサーバを含む、またはフロントエンド構成要素、例えば、ユーザが本明細書に説明される主題の実装と相互作用できる、グラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータを含む、または1つまたはそれを上回るそのようなバックエンド、ミドルウェア、もしくはフロントエンド構成要素の任意の組み合わせを含む、コンピューティングシステム内に実装されることができる。本システムの構成要素は、デジタルデータ通信の任意の形態または媒体、例えば、通信ネットワークによって、相互接続されることができる。通信ネットワークの実施例は、ローカルエリアネットワーク(「LAN」)と、広域ネットワーク(「WAN」)と、ネットワーク間(例えば、インターネット)と、ピアツーピアネットワーク(例えば、アドホックピアツーピアネットワーク)とを含む。
【0123】
コンピューティングシステムは、クライアントと、サーバとを含むことができる。クライアントおよびサーバは、概して、相互に遠隔にあり、典型的には、通信ネットワークを通して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で起動し、相互にクライアント−サーバ関係を有するコンピュータプログラムによって生じる。いくつかの実施形態では、サーバは、データ(例えば、HTMLページ)をクライアントデバイスに(例えば、クライアントデバイスと相互作用するユーザにデータを表示し、そこからユーザ入力を受信することを目的として)伝送する。クライアントデバイスにおいて生成されたデータ(例えば、ユーザの相互作用の結果)は、サーバにおけるクライアントデバイスから受信されることができる。
【0124】
1つまたはそれを上回るコンピュータのシステムは、動作時にシステムにアクションを実施させる、システム上にインストールされる、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを有することによって、特定の動作またはアクションを実施するように構成されることができる。1つまたはそれを上回るコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実施させる命令を含むことによって、特定の動作またはアクションを実施するように構成されることができる。
【0125】
本明細書は多くの具体的実装詳細を含有するが、これらは、任意の発明または請求され得るものの範囲に対する制限として解釈されるべきではなく、特定の発明の特定の実施形態に固有である特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装されることもできる。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個に、または任意の好適な副組み合わせにおいて実装されることができる。さらに、特徴は、ある組み合わせにおいて作用するものとして前述され、さらに、そのようなものとして最初に請求され得るが、請求される組み合わせからの1つまたはそれを上回る特徴は、いくつかの場合では、組み合わせから削除されることができ、請求される組み合わせは、副組み合わせまたは副組み合わせの変形例を対象としてもよい。
【0126】
同様に、動作は特定の順序において図面内に描写されているが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序において、もしくは連続的順序において実施される、または全ての例証される動作が実施されることを要求するものとして理解されるべきではない。ある状況では、マルチタスクおよび並列処理が、有利となり得る。さらに、前述される実施形態における種々のシステム構成要素の分離は、全ての実施形態におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラム構成要素およびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。
【0127】
したがって、主題の特定の実施例が、説明されている。他の実施形態も、以下の請求項の範囲内である。いくつかの場合では、請求項に記載されるアクションは、異なる順序において実施され、依然として、望ましい結果を達成することができる。加えて、付随の図に描写されるプロセスは、望ましい結果を達成するために、必ずしも、示される特定の順序、または連続的順序を要求しない。ある実装では、マルチタスクおよび並列処理が、有利となり得る。