(58)【調査した分野】(Int.Cl.,DB名)
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来技術の、上述のおよび他の欠点に鑑みて、本発明の目的は、指紋センサを使用して獲得された指紋画像のノイズを扱うための改良された方法を提供することである。特に、本発明の発明者は、最適化されたサンプリングパターンの選択が望ましく、選択されたサンプリングパターンについての知識は、取得した指紋画像のさらなる処理に含まれることを発見した。
【課題を解決するための手段】
【0009】
したがって、本発明の態様によれば、複数の感知素子を備える指紋センサを使用して獲得された指の指紋パターンの表現を決定する方法が提供され、該方法は、サンプリング行列を選択するステップであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表すステップと、前記指紋センサを使用してかつ前記サンプリング行列に従って前記指紋画像を取得するステップと、線形フィルタを前記取得した指紋画像に適用するステップであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられるステップと、前記フィルタされた指紋画像に基づいて前記指紋パターンの前記表現を決定するステップと、を備える。
【0010】
本発明は、指紋センサを備えるシステムの典型的な実施は、全センサのうち選択された部分のみを一度にサンプリングされるようにするという認識に基づく。指紋センサを使った指紋画像の典型的な取得は、指紋画像の部分を連続して取得することと、それらの部分を一つの指紋画像に結合することと、を備える。そのような連続した取得方式の結果として、指紋画像の部分のそれぞれを取得する時に存在する可能性のある事変のまたはランダムなノイズは、指紋画像の部分のそれぞれについて幾分異なりうる。よって、アーチファクトが画像に導入されうる。
【0011】
しかしながら、本発明によれば、コンピュータ実施される方法が指紋画像の後処理に適用され、指紋画像を取得するために用いられるサンプリングストラテジが考慮されうる。具体的には、本発明によれば、リニアフィルタが指紋画像に適用され、リニアフィルタは、サンプリングストラテジを考慮するように設定される。サンプリングストラテジは、本発明によれば、指紋センサを使って指紋画像を取得するためのサンプリングパターンを表すサンプリング行列と認識される。
【0012】
したがって、本発明の利点は、指紋画像の改良された構成、および、典型的には指紋センサを備えるシステムで使用される指紋パターンの決定についてのより良い性能の可能性を含む。これは特に、本発明によるフィルタリング方式が、指紋画像が実際にどのように取得されたかに密に依存するために、達成される。さらに、本方法はコンピュータ実施される後処理方式であるので、ノイズ軽減のための一般的な従来技術のアプローチである、指紋センサのハードウェアの調整の必要がない。むしろ、本発明の方法は、指紋画像を取得するための典型的なフローの構成要素として挿入されうる。本発明の方法は、典型的には任意のタイプのノイズを扱うことができ、特に、下記にさらに詳述するように、コモンモードノイズ(CMN)に関して有用である。
【0013】
本発明の方法は、典型的には、指紋センサを制御する、または指紋センサが要素を形成するシステムと別に配置されるプロセッサによって実行されるコードとして実施されるが、本発明の概念は、代替的には(または部分的には)例えばASICまたは同様のものの機能ブロックとして実施されうる。そのような実施の任意の組み合わせが、本発明の範囲内で可能である。
【0014】
典型的には、サンプリング行列は、指紋センサの空間的実装に基づいた構造を有する。サンプリング行列の正確な構造およびサンプリング行列の最適化された選択は、下記にさらに説明される。
【0015】
本発明の可能な代替の実施形態では、前記指紋センサは二次元指紋センサであり、前記サンプリング行列は、前記複数の感知素子の選択された部分に対応する。指紋センサは、上記に示したように、例えば静電容量式、光学式、または熱式感知技術を含む任意の種類の現在または将来の指紋感知原理を使用して実装されうる。しかしながら、現在は静電容量感知が最も好ましい。さらに、一次元センサもまた可能であり、本発明の範囲内である。
【0016】
同様に、本発明によれば、本発明の方法を指紋画像の多獲得に関して適用することも可能であり、複数の画像が、指紋パターンを決定する可能性をさらに高めるために結合されうる。したがって、本発明の方法によって提案されるフィルタリング方式は、単一の指紋画像の取得に使われるサンプリングパターンに加えて、それに続く複数の指紋画像のサンプリングも提供する。
【0017】
本発明の可能な実施形態では、および指紋画像の多獲得に関しては、サンプリング行列は、続いて獲得される指紋画像について変化しうる。続いて獲得される指紋画像中の同時にサンプリングされる画素を変更することによって、本発明のフィルタリング方式に沿って使用されうる重複情報を与える。
【0018】
サンプリング行列は、例えば、複数の感知素子の選択された部分を、近接して配置された感知素子のグループと定義しうる。代替的には、複数の感知素子の選択された部分は、二次元センサにわたって空間的に分離されうる。サンプリングされた画素を広げることによって、より多くの画素を同時にサンプリングするのと同様の結果を与える。サンプリングされた画素によって十分大きな面積がカバーされる場合、平均画素の和が大体一定になるため、指紋画像から乱れを除去することは容易である。
【0019】
本発明の好適な実施形態では、前記サンプリング行列は、取得した指紋画像内の最小化されたノイズの量に対応するよう選択される。サンプリング行列の選択は反復するように為され、取得された指紋画像内の認知されたノイズの量は最少まで低減されうる。選択は、あるいは、指紋センサの構造に関する所定の仮定に基づいて計算されうる。このことは、本発明の詳細な説明についてさらに詳述される。
【0020】
好ましくは、本方法はさらに、前記指紋画像内にノイズが存在する対数尤度比を決定するステップと、前記対数尤度比を所定の閾値と比較するステップと、前記対数尤度比が前記閾値を超えた場合にのみ、前記指紋画像のフィルタリングを行うステップと、を備える。ノイズが画像内に存在しそうかを決定するための方式を導入することによって、適切な指紋画像の取得、およびしたがって指紋パターンの決定をさらに向上することが可能でありうる。本発明の可能な実施では、任意のフィルタリングを行う前に、上述の追加のステップを“とりあえず”導入することが可能でありうる。すなわち、ノイズの尤度が所定の閾値よりも低い場合、上述のようなフィルタリング方式は行われない。しかしながら、代替として、ノイズレベルが所望のレベルよりも高いと決定された場合、指紋画像を再取得するために、ノイズ尤度決定の概念を
“単独で”使うことが可能でありうる。なお、複数の行を備える二次元指紋センサについての対数尤度比は、例えば一行ずつ計算され、それから(例えばスライディングウィンドウ平均フィルタを使って)いくつかの行にわたってフィルタリング(平均)されうることに留意されたい。
【0021】
本発明の可能な代替の実施形態では、前記対数尤度比を決定するステップは、ノイズが存在しないことを仮定するために尤度関数を求めることと、前記サンプリング行列に従ってノイズが存在することを仮定するために前記尤度関数を求めることと、を備える。この実施は、ノイズが存在しないと仮定する場合もサンプリング行列が考慮されるため、追加の利点を有しうる。しかしながら、そのような実施は、サンプリング行列が、ノイズが存在するという仮定についてのみ考慮される場合の代替として提供される。
【0022】
本発明の好適な実施形態では、本方法は、非線形のマッピング関数を前記取得した指紋画像に適用するステップをさらに備え、前記非線形のマッピング関数は例えば対数関数でありうる。非線形のマッピング関数を取得した指紋画像に適用することは、乗法的効果を加法的にするという利点を有する。
【0023】
本発明の他の態様によれば、画素のアレイを有する指紋センサと、前記指紋センサに電気接続された制御ユニットと、を備える携帯用電子機器が提供され、前記制御ユニットは、サンプリング行列を選択することであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表すことと、線形フィルタを前記取得した指紋画像に適用することであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられることと、前記フィルタされた指紋画像に基づいて指紋パターンの表現を決定することと、のために構成される。
【0024】
本発明の本態様は、本発明の前の態様に関して上述したものと同様の利点を提供する。また本発明は、例えば、コモンモードノイズ(CMN)などのノイズが容易に導入されうる使用例において、電子機器の信頼性の向上を提供する。上述のように、そのようなシナリオは、例えば、電子機器がスイッチモード電源に接続される場合でありうる。
【0025】
本発明によれば、制御ユニットは、好ましくは、ASIC、マイクロプロセッサ、または指紋センサの動作を制御するための任意の他の型の演算装置である。そのように、制御ユニットは、第二のユーザ入力装置の不可欠な部分を形成しうる。しかしながら、制御ユニットはまた、例えば電子機器の全体の動作を制御するために構成される、携帯用電子機器に具備される全体制御ユニットでもありうる。
【0026】
指紋センサは、上記に示したように、例えば静電容量式、光学式、または熱式感知技術を含む任意の種類の現在または将来の指紋感知原理を使用して実装されうる。しかしながら、現在は静電容量感知が最も好ましい。
【0027】
上述のように、任意のタイプの指紋センサ、すなわち一次元および二次元指紋センサのどちらも採用されうる。本発明の可能な実施では、前記指紋センサは、少なくとも160×160画素、より好ましくは192×192画素、最も好ましくは208×80画素を備える。さらなる解像度が可能であり、本発明の範囲内である。携帯用電子機器は、例えば携帯電話またはタブレットでありうる。
【0028】
フィルタリングは、アナログまたはデジタル信号で実行されうる、かつ、指紋センサ部品または、携帯電話またはコンピュータ等のホストプロセッサ内など、指紋センサ部品外で行われうる。
【0029】
本発明のさらなる態様によれば、携帯用電子機器を制御するよう適応された制御ユニットのコンピュータプログラム手段を格納したコンピュータ可読媒体を備え、前記携帯用電子機器は指紋センサおよび制御ユニットを備えるコンピュータプログラム製品が提供され、前記コンピュータプログラム製品は、サンプリング行列を選択するためのコードであって、前記サンプリング行列は、前記指紋センサを使用して指紋画像を取得するためのサンプリングパターンを表すコードと、前記指紋センサを使用してかつ前記サンプリング行列に従って前記指紋画像を取得するためのコードと、線形フィルタを前記取得した指紋画像に適用するためのコードであって、前記線形フィルタの設定は前記サンプリング行列に依存し、前記線形フィルタは前記取得した指紋画像内のノイズ低減のために設けられるコードと、前記フィルタされた指紋画像に基づいて指紋パターンの表現を決定するためのコードと、を備える。本発明の本態様もまた、本発明の前の態様に関して上述したものと同様の利点を提供する。
【0030】
上述のように、制御ユニットは好ましくは、ASIC、マイクロプロセッサ、または任意の他の型の演算装置である。同様に、本発明のシステムを作動するための制御ユニットによって実行されるソフトウェアは、取り外し可能な不揮発性ランダムアクセスメモリ、ハードディスクドライブ、フロッピーディスク、CD−ROM、DVD−ROM、USBメモリ、SDメモリカードのうち一つを含む任意の型のメモリ装置であるコンピュータ可読媒体、もしくは当業界で既知の同様のコンピュータ可読媒体に格納されうる。
【0031】
要約すると、本発明は全体として、指紋センサによって獲得される画像の乱れを除去するための方法に関し、特に、ノイズ低減のために適用された方法に感知原理を組み込むことによる、取得された指紋画像のノイズの低減に関し、ノイズが低減した画像は、指紋パターンの表現を決定するために使用される。本発明の利点は、指紋センサを使用して獲得された指紋画像からの指紋パターンの決定の向上を含む。
【0032】
本発明のさらなる特徴および利点は、付属のクレームおよび以下の説明を検討すると明らかになるであろう。当業者は、本発明の異なる特徴が組み合わされて、以下に説明される以外の実施形態を、本発明の範囲から逸脱することなく作り出しうることを認識する。
【発明を実施するための形態】
【0034】
本発明はここで、本発明の現在好適な実施形態が示される付属の図面を参照して、以下より完全に説明される。しかしながら、本発明は、多くの異なる形態で実施されてよく、ここで述べる実施形態に限定されると見なすべきではない。むしろこれらの実施形態は、徹底性と完全性のために提供され、本発明の範囲を当業者に完全に伝えるものである。全体を通して、同様の参照記号は同様の要素を参照する。
【0035】
ここで、図面、特に
図1に戻ると、本発明の実施形態による指紋感知システムの例示の用途が、統合された指紋感知システム2を有する携帯電話1の形態で模式的に示される。指紋感知システム2は、例えば、携帯電話1のロックを解除するためおよび/または携帯電話を使って実行される取引を認証するため等に使われうる。
【0036】
図1に示されるように、携帯電話1は、ACコンセント4に連結された充電器3を使って充電されている。電話の充電は、コモンモードノイズを導入しうる。コモンモードノイズは、携帯電話1をコモンモードノイズの電位に追従させ、携帯電話1は電気的に“上下にバウンドする”。
【0037】
コモンモードノイズは、携帯電話1の視点から、ユーザを電気的にノイズが多く見せる。このことは、携帯電話1とユーザとの間の電位差の判定に依存する携帯電話1の使用に影響を及ぼしうる。そのような使用は、例えば、容量タッチスクリーンの使用および指紋感知システム2の使用を含む。
【0038】
好ましくは、および当業者に明らかなように、
図1に示される携帯電話1は、WLAN/Wi―Fi通信用の第一のアンテナ、遠距離通信用の第二のアンテナ、マイクロフォン、スピーカ、および電話制御ユニットをさらに備えうる。さらなるハードウェア素子が、もちろん携帯電話に具備される可能性がある。尚さらに、本発明は、ラップトップ、遠隔制御、タブレットコンピュータ、または任意の他のタイプの、現在または将来の同様に構成される機器などの、任意の他のタイプの携帯用電子機器に関して適用可能でありうる。
【0039】
図2は、
図1の充電器3からのコモンモードノイズの代表的な図である。
図2に見られるように、コモンモードノイズは、比較的高い振幅で低周波成分(AC電源周波数によって50/60Hz)を有し、より低い振幅で高周波スイッチモード成分(
図2の拡大部分)を有しうる。特にコモンモードノイズの高周波成分は、指紋感知システムへの問題を引き起こしうる。以下では、本発明の種々の実施形態が、そのような問題をどのように、少なくとも部分的に軽減するかを説明する。
【0040】
まず、本発明による指紋システムの二つの実施形態(一つはタッチセンサベースのシステム、一つはスワイプセンサベースのシステム)を、
図3a−bを参照して説明する。
【0041】
図3aは、タッチセンサベースの指紋感知システムを、好ましくは二次元のセンサアレイ10および、例えばユーザの指に励振信号を提供するための導電ベゼルまたはフレーム11を備えた、パッケージされたタッチセンサ部品9の形状で、模式的に示す。
図3aには明示されないが、センサ部品9はまた、電源インターフェースおよび通信インターフェースも備える。
【0042】
センサアレイ10は、多くの感知素子12(図が散らかるのを避けるために、一つの感知素子のみが参照番号で示される)を備え、それぞれの感知素子は、感知素子12に具備される感知構造(トッププレート)とセンサアレイ10の上面に接触する指の表面との間の距離を感知するよう制御可能である。
図3aのセンサアレイ10の拡大部分では、感知素子の第一グループ13はSensingの‘S’とマークされ、感知素子の第一グループは、全て一度にまとめて感知される。
【0043】
図3bは、スワイプセンサベースの指紋感知システムを、センサアレイ20およびユーザの指に励振信号を提供するための導電片21aおよび21bを備えた、パッケージされたスワイプセンサ部品19の形状で、模式的に示す。
。
図3bには明示されないが、センサ部品19はまた、電源インターフェースおよび通信インターフェースも備える。
【0044】
センサアレイ20は、一つまたはいくつかの列の感知素子12(図が散らかるのを避けるために、一つの感知素子のみが参照番号で示される)を備え、それぞれの感知素子は、感知素子12に具備される感知構造(トッププレート)とセンサアレイ20の上面に接触する指の表面との間の距離を感知するよう制御可能である。
図3bのセンサ部品19の拡大部分では、感知素子のグループ23は、グループベースの感知方法を示す
図3aについてと同様に、Sensingの‘S’とマークされる。
【0045】
図3a−bの指紋センサ部品9、19は、CMOS技術を用いて有利に製造されうるが、他の技術および工程もまた実行可能でありうる。例えば、絶縁基板が使用されうるおよび/または薄膜技術が製造工程のいくつかまたは全ての工程ステップに利用されうる。
【0046】
ここで、容量測定原理を適用する指紋センサを使って獲得された、ノイズの多い指紋画像400を示す
図4に移る。上述のように、起こりうるノイズの一つの種類はCMNのノイズであり、CMNは、所望の信号および、所望の信号が対比して測定される基準信号の両方に注入されるノイズである。所望の信号理想的な差の測定が基準信号に対して行われる場合、CMNは、従って完璧に打ち消され、よって所望の信号の測定を低下させない。しかしながら、実際には、CMNの良好な除去を達成することは、例えば不完全な打消、および同じCMNによって影響されない他の信号への寄生容量のために、大変難解でありうる。一例は、CMN信号に追従せず、よって絶対CMNレベルを直接曝露するアース接地への静電容量のものである。
【0047】
上述のように、これは、例えば指紋センサまたは容量タッチスクリーン用の、容量測定原理を利用するシステムにおいて特に問題である。さらに、例えば充電器の一定のスイッチモード電源から来るCMNの信号レベルは、例えば指紋感知システムのベゼルに供給される駆動電圧と比べて、例えば40Vピークツーピーク電圧と、大変大きくありうる。結果として、CMNの大きな信号レベルが、結果指紋画像の支配干渉になりうる。
【0048】
CMNが測定に影響するやり方によれば、ノイズは、典型的には乗法式としてモデル化されうる。すなわち、CMNの量は、指紋の値に応じて増減する。本発明による方法はまた、例えば加法的ノイズ等、他の種類のノイズカップリングもサポートし、例えば乗法的効果を加法的にするための対数関数などの、非線形のマッピング関数が入力信号に適用されうることが強調されるべきである。
【0049】
既存のソリューションと比較すると、本発明による方法の主要な利点は、CMN軽減を向上するために利用される感知原理の構成を導き、そしてその後、この知識をCMN検出、評価、および除去に組み込めることである。
【0050】
本発明の可能な実施では、1)CMNの軽減を改善するためのサンプリングの設定、2)CMNが存在するかを検出、3)フィルタリングによってCMNを除去する手段の提供を含む三つのステップの工程が提供される。
【0051】
検出はフィルタリングと同様の技術によるため、フィルタリングは最初に説明され、次いでノイズ検出を説明する。フィルタリングは、典型的には、CMNの一次元または二次元の直線最小平均二乗誤差(LMMSE)推定値で構成され、入力からのCMN推定値の打ち消しが、明示的または暗示的に追従する。
【0052】
CMN推定値は、サンプリング工程およびノイズの特徴を考慮に入れながら、同時に注目信号の構造を活用するように導かれた。このことは、ノイズの最良の除去を提供するために、サンプリング工程の影響を査定および最適化できるという利点を有する。指紋センサシステムの例では、注目信号は、指紋の画像でありうる。LMMSEフィルタリングに使われる同じ構造は、続いて説明される一般化尤度比検定(GLRT)で再使用される。
【0053】
CMNは、空間的サンプリング次元、すなわち画像の画素間にわたって一定であるとされうるため、サンプリング手順は、所望の(指紋)信号をCMNの信号から分離するために重要なファクタである。よって、空間的および時間的なサンプリング手順は、ノイズの良好な軽減を達成する鍵である。そのような時空サンプリング構成の例は、
図5a−5eをさらに参照すると、以下のようであり、所望により組み合わせられうる。
【0054】
・全てのサンプルが独立して収集される個別サンプリング。
図5参照。
・局所的空間領域が同時にサンプリングされるブロックサンプリング。
図5b参照。
・空間的サンプルの重複ブロックが、一度に一ブロックサンプリングされる重複サンプリング。
図5c参照。
・非重複空間ブロックが独立してサンプリングされる並列サンプリング。ブロックは、例えば空間的に分配されうる。
図5d参照。
・時変空間サンプリング手順。
図5e参照。
【0055】
用いられるサンプリング手順とフィルタリングとの関連を提供する詳細な数学的説明が、以下に続く。この説明を通して、太字の小文字(例えばx)は列ベクトルを示し、太字の大文字(例えばX)は行列を示す。行列転置は(・)
Tと示され、Xi,j:kは、Xの要素[(i,j),(i,j+1),・・・,(i,k)]を含むベクトルである。恒等行列はIと示され、0または1は、全ての要素が値0または1をもつベクトル(または行列)である。行列トレースはtr{・}によって示され、[数1]は実数値変域を示す。
【0057】
CMNの軽減を向上するためのサンプリングを決定する際、感知システムによって獲得される画像を[数2]とし、Mは画像の行の数であり、Nは列の数である。
【0059】
画像の平均値[数3]は、ゼロ平均の画像[数4]を得るよう、獲得された画像から減算することができる。そのようなマッピングは常に可能であるため、Yは、下記の導出において注目画像となる。
【0062】
行列Yの“ベクトル化された”バージョンは、[数5]とされ、Yにおける全ての行ベクトルの転置が一行ずつそれぞれの上に積層されることを意味する。
【0064】
これは、[数6]であることを意味し、システムは、下記の線形モデル
y=Sc+f(方程式2)
によって説明できる。
【0066】
[数7]は、CMNベクトル[数8]がどのように画像Yに影響するかを説明する空間サンプリング行列であり、Bは空間サンプリングブロックサイズである。空間サンプリングブロックサイズは、よって、いくつの所望の(指紋)サンプルが、同時に取得されるか、およびそれによって同じCMNの認識を共有するかを特定する。
【0069】
ベクトル[数9]は、所望の(指紋)信号ならびに任意の追加のノイズの存在を示す。
【0071】
方程式2の線形モデルのLMMSE推定値は[数10]のように算出できることが周知であり、Σ
fは指紋の空間共分散行列を示し、Σ
cはCMNサンプルの共分散行列であり、どちらもゼロ平均とされる。時間的に複数のサンプルが実行される場合、Sを時空サンプリング行列に設定することによって、および共分散行列Σ
fおよびΣ
cをそれぞれ指紋およびCMNの時空共分散行列に設定することによって、この態様もカバーするようモデルを直接拡張でき、それによってMNを超える総数のサンプルを生成する。そのような時空フィルタリングは、指紋が画像間でほんの僅かだけ変化する場合に有益でありうる。
【0073】
また、良好なサンプリング手順を決定する際に注目されるのは、推定値[数11]の事後共分散行列[数12]であり、[数13]とされる。
【0077】
CMN推定値に誤差がない、すなわち、[数14]が理想であるが、これは一般に不可能である。
【0079】
したがって、Sを決定するサンプリング手順は、CMNをできるだけうまく除去する能力のために非常に重要であり、どのようにサンプリングするかの設計/選択は、したがってこれの非常に重要な態様である。Σ
cおよびΣ
fは完全に先験的に既知であるという理想的な仮説のもとでは、[数15]によって与えられる事後誤差を最小限にするなどのためにサンプリングを選択することは合理的な選択であるが、他の最適化対象もまた用いられうる。
【0081】
サンプリングブロックサイズおよび関連したHWの制約もまた、この最適化における役割を果たすため、これは、[数16]などの最適化方法が誘導に用いられうる重要な設計問題である。
【0083】
この誘導の例として、完全な画像を同時にサンプリングする特別なケース、すなわちS=1が全て一のベクトルでありつつ、Σ
fがこのサンプリング空間に直接広がらないと仮定するケースでは、1
T(11
T+Σ
f)
−11=1であるので、[数17]をもたらす。
【0085】
CMNの完全な推定値、およびそれに続く打消しを示すこの特別なケースは、仮定した指紋の共分散構造を利用するよう最適化された特定のサンプリング設計を有することで達成可能であり、実際に実施するのは非常に難解でありうる。しかしながら、全体的な原理は、指紋およびCMNの前の共分散知識を利用することによって、続く打消しのための最良のCMN推定値を提供するためにサンプリング手順を最適化することである。
【0086】
ここで説明されるLMMSEフィルタは概してCMNを推定するために使うことができるが、この実施の複雑性は概して大きく、この完全なソリューションへの一つの可能な近似値は、例えば水平および/または垂直寸法にわたってクロネッカ―構造を利用することによって得ることができる。所望の信号およびCMNが局所的にのみ相関するとされうる場合、LMMSEフィルタへの(ブロック)スライディングウィンドウ近似値もまた、実施を容易にするために、単体でまたはクロネッカ―構造と共に使われうる。
【0087】
CMNベクトルはc〜N(0,PcI)によって与えられるものとし、PcはCMN駆動信号の電力を示し、Nは正規分布を示す。これは、方程式3のLMMSEソリューションは[数18]
【0089】
であることを意味し、指紋ベクトルは[数19]によって与えられるものとされる。
【0091】
方程式5では、P
fは、指紋からの信号の電力を表し、Σ
f,yは指紋の垂直方向の共分散を示し、Σ
f,xは水平方向の共分散である。画像YへのCMNの影響が[数19]によって表せる場合、方程式5は、[数21]となり、これは、CMN全体が、それぞれS
yおよびS
xで表される垂直および水平方向のノイズ成分を有するようにされることを意味する。
【0094】
センサシステムは、画像Yが、いくつかの画素を同時にサンプリングすることによって構成され、これをSの構造に組み込めるように設計できる。
【0095】
異なる獲得方法の例が、ここに挙げられる。
・Yの行のB=Lx画素が同時に獲得され、[数22]を導く水平サンプリング。
【0097】
・Yの列のB=Ly画素が同時に獲得され、[数23]を導く垂直サンプリング。
【0099】
・画像のB=Ly×Lx画素の局所ブロックが同時に獲得され、[数24]を導く局所二次元サンプリング。
【0101】
・画像の多数の画素Bが同時に獲得され、全体行列Sで示される全体二次元サンプリング。
【0102】
が挙げられ、ベクトル1の大きさは、同時に獲得される画素の数によって与えられる。上述の特別なケースのSを方程式6に挿入すると、サンプリング構造を利用するソリューションを生む。予想されるCMNの種類、および達成可能なサンプリング構造に関するHWの制約に基づき、適切なサンプリング構造および関連したS行列が、例えば方程式4によって与えられるような最適化基準に基づいて選択されうる。フィルタを設定する際に、サンプリング構造をどのように利用できるかを示す例として、水平サンプリングの場合、[数25]が与えられる。
【0104】
この表現は、[数26]と書き換えられる。
【0106】
水平サンプリングでは[数27]および[数28] を意味する[数29]を定義することによって、方程式8の表現は、[数30]と簡略化できる。
【0111】
[数31]の特異値分解(SVD)および共分散行列[数32]の固有値分解を行うことによって、方程式9の表現は、[数33]となる。
【0114】
【数33】
方程式10に存在するクロネッカ―構造のために、これは、水平空間寸法と垂直空間寸法との間の離間を利用することによって効率的に実施することができる。水平または垂直方向における一次元処理の特別なケースは、S
xおよびΣ
f,xまたはS
yおよびΣ
f,yがそれぞれ対角行列である上記の表現の特別なケースである。
【0115】
方程式3の全体のLMMSE表現において、共分散行列Σ
cは、コモンモードノイズについての前の情報を表す。上記のクロネッカ―構造の表現では、これまでΣ
cは、表現を単純化して実施の複雑度を低下させるので、スケール恒等行列とされてきた。しかしながら、CMNに関する先験的な知識が利用可能であり、これを、推定の正確性の向上のためにΣ
cに組み込むことができる。しかしながら、クロネッカ―構造が効率的な実施のために利用される際、このクロネッカ―構造は、対数尤度項[数34]および先のものΣ
cが共通の基底変数を共有する場合にのみ、直接利用することが可能になる。これは達成することが難易であり、CMNについての前の情報を効率的に組み込むことを難しくしうる。
【0117】
この問題への可能なソリューションは、対数尤度項からの基底変数またはその逆を使用した先のものに近似することである。
この一例は、先のものを[数35]の形式にすることであり、V
xおよびV
yはそれぞれ水平および垂直基底変数であり、D
xおよびD
yは、CMNの先験的な情報に近似した関連する範囲である。
【0119】
使われる基底変数は、その際対数尤度項[数36]から抽出されうるか、もしくは、例えば固定DCT基底変数など共通の基底変数が、対数尤度項および先の項の両方に実施されうる。
【0121】
ここで、一般化尤度比検定(GLRT)の実施の概念に戻る。一般化尤度比検定は、データの多変量分布がよりCMNを含みそうか調べることによって実行できる。これは、CMNがない逆仮説に対するCMNの仮説の尤度を求めることによって達成できる。仮説がゼロ平均の多変量正規分布としてモデル化できるとすると、これは、結果H
cmn:y〜N(0,P
f+cΣ
f+c)となり、P
f+cΣ
f+cは、概して未知のパワーレベルであるP
f+cを有する、指紋およびCMNの全信号共分散行列である。同様に、CMNがない逆仮説については、結果としてH
no−cmn:y〜N(0,P
fΣ
f)となり、P
fΣ
fは、概して不明なパワーレベルであるP
fを有する指紋の全信号共分散行列である。多変量ガウス尤度関数から、GLRTは、[数37]と書き換えられ、対数尤度比スコアLLRが所定の閾値を超えると、CMNが存在すると断言される。
【0123】
指紋およびCMNは加法的かつ独立してΣ
f+c=Σ
f+SΣ
cS
Tを導くと仮定することにより、行列反転補題[数38]を用いることによって、方程式11の実施の複雑度を減らすことができる。
【0125】
ここで、コレスキーファクタは、[数39]と定義される。
【0127】
これにより、方程式11は、[数40]と書き換えられる。
【0129】
CMN検出のためのLLRを算出する代替のアプローチは、[数41]のように正規化共分散行列を用いて対数尤度比を直接求めることであり、[数42]および[数43]である。
【0133】
選択されたLLRを算出する必要がある行列は、オフラインであらかじめ算出されてフィルタバンクに入力されうるか、もしくは、Σ
f+cおよびΣ
fの更新された推定値に応じてオンラインで算出されうる。所望であれば、代替のアプローチにおける行列Fの低ランク近似が、実施を容易にするために利用されうる。
【0134】
サンプリングが水平(または垂直)方向のいずれかで為される本発明の一実施形態では、一つの選択肢は、各行(または列)を個別に処理することによって、一次元LMMSE推定およびCMNのGLRTを行うことである。そのような処理の利点は、LMMSE推定値の計算の複雑さを低減することである。水平サンプリングについては、画像Yの各行が抜き出されるが、それはy=Y
i,1:Nでi=[1,…,M]を意味し、それはベクトルyがここでは単にN次元であることを意味する。
【0135】
同様に、垂直サンプリングについては、画像の各列が抜き出されるが、それはy=Y
1:M,jでj=[1,…,N]を意味し、それはベクトルyがここでは単にM次元であることを意味する。
【0136】
そのような一次元設定では、一般化尤度比検定(GLRT)は、一行ずつ(または一列ずつ)行うことができ、それは、水平サンプリングのM対数尤度値(または垂直サンプリングのN値)は、画像全体について算出できることを意味する。
【0137】
対数尤度値を計算すること(すなわちGLRTを行うこと)も、各列(または行)について実行可能であり、これらはそれからCMN検出に使うことができる。本発明の一実施形態では、GLRTは、一行(または一列)につき一つの対数尤度値を出力し、これらの値は、CMN検出に使われる閾値と比較される前に、いくつかの行(または列)にわたってフィルタ/平均することができる。さらに、対数尤度値のフィルタリングはまた、スライディングウィンドウ平均を行うことによって為され、この出力は、閾値と比較することができる。
【0138】
ここで、関連した
図6および
図7a−eに移る。
図6は、指紋センサを使って指紋パターンを決定するための、本発明による基本のステップ示すフローチャートである。
図7a−7eは、方法ステップのいくつかの対応する実用図を提供する。
図7aについて提供される指紋センサは、8×8画素を有するものが例示される二次元センサである。なお、8×8画素の使用は、本発明の方法の説明を簡略化するためのみに用いられることに留意されたい。よって、任意の数の画素が使われうる。
図3aに関して上述したように、そのような指紋センサは複数の感知素子を備え、各感知素子は、対応する感知素子と指との間の容量結合を示す画素信号を提供するための出力を有する。しかしながらさらに、例えば一次元センサ、および異なる感知技術を採用するセンサを含む、他のタイプの指紋センサが使われうる。
【0139】
指紋センサの提供に続いて、指紋共分散行列(Σ
f)およびノイズ(CMN)共分散行列(Σ
c)が選択される。
図7bに示したように、選択された共分散行列に基づいて、サンプリング手順が、サンプリング行列(S)によって決定および特定される。サンプリング行列(S)のサイズは、指紋センサのサイズおよび、選択されたいくつかの感知素子のサンプリングのためのブロックサイズによって定義される。提供された図では、サンプリングサイズは四(すなわち、一度に四つの画素をサンプリングする)と選択される。方程式2に関して提供される考察によると、サンプリング行列(S)は、[数44]と定義され、Mは指紋センサの行の数を示し、Nは指紋センサの列の数を示し、Bは一度にサンプリングされる画素の数である。この定義および指紋センサの例示のサイズ/一度にサンプリングされる画素の数に基づくと、サンプリング行列(S)は、64行および16列を備えると定義される。
【0141】
したがって、
図7bに示すサンプリング行列の列のそれぞれは、各センササンプリングを表す。
図7bでは、サンプリングパターンは、
図5bに示すサンプリングストラテジ、すなわちセンサの左上から右下に向かう2×2画素の正方形のブロックベースのパターンに対応するよう選択される。
図7bに示されるものは、各連続サンプルについてサンプリングされる画素を示し、ゼロは、サンプリングされない画素について示される。
図5a−5eに関して示されるように、他のサンプリングストラテジが選択されうるが、好ましくは、取得された指紋画像内のノイズの量が最小化されるように選択されうる。
【0142】
サンプリング行列/サンプリングストラテジの設定に続いて、指紋センサが適宜サンプリングされ、指紋画像が取得される。
図7cに示されるように、指紋画像はノイズの多い画像であり、ノイズパターンは、上述のブロックベースの連続サンプリングストラテジに依存する。
【0143】
本発明によれば、方程式11に関して上述した、および選択されたサンプリング行列に基づいたノイズ検出方式は、取得した指紋画像に存在するノイズの尤度の決定に適用される。尤度は、二つの競合モデル、すなわちノイズが存在するという仮定に基づいた第一のモデルおよびノイズが存在しないという仮定に基づいた他のモデルを設定することによって決定される。本発明によれば、少なくともノイズが存在すると仮定される使用モデルは、選択されたサンプリング行列を考慮する。ノイズが存在しないと仮定される使用モデルについて、選択されたサンプリング行列を考慮することも可能でありうる。
【0144】
対数尤度比は決定され、所定の閾値と比較される。ノイズの尤度が(閾値と比較して)“高すぎる”と決定された場合は、プロセスは、方程式5−10に関して上述したようにLMMSEを使用してCMNなどのノイズを推定するステップに続く。
【0145】
ノイズが存在すると決定された場合、(線形)フィルタを、ノイズ軽減に使用されるよう設定するためにも、選択されたサンプリング行列が考慮される。取得された、ノイズの多い指紋画像は、続いて、典型的にはウィンナーフィルタである“サンプリング行列依存フィルタ”を使用してフィルタリングされ、
図7dに示すようにノイズの少ない“クリーンな”画像が形成される。
図7dに見られるように、“ブロックアーティファクト”が除去された。ノイズの少ない指紋画像が形成されると、
図7eに示すように、当業者に既知の任意の方法で、例えばアーチ、ループなどを形成する隆線を発見することを含めて、指紋パターンをより良く決定することが可能になりうる。指紋画像パターンを決定するためのさらなる後処理もまた、本発明の範囲内で可能である。
【0146】
本開示の制御機能は、既存のコンピュータプロセッサを使用して、もしくは特殊目的または他の目的のために組み入れられた、適切なシステムのための特殊目的のコンピュータプロセッサによって、もしくは配線システムによって実施されうる。本開示の範囲内の実施形態は、機械実行可能な指令またはそれに格納されたデータ構造を運ぶまたは有するための機械可読メディアを備えるプログラム製品を含む。そのような機械可読メディアは、汎用目的または特殊目的コンピュータ、またはプロセッサを有する他の機械によってアクセスできる任意の利用可能なメディアでありうる。例として、そのような機械可読メディアは、RAM、ROM、EPROM、EEPROM、CD−ROMまたは他の光学ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージ機器、または、所望のプログラムコードを機械実行可能な指令またはデータ構造の形式で運ぶまたは格納するために使用でき、汎用目的または特殊目的コンピュータまたはプロセッサを有する他の機械によってアクセスできる任意の他の媒体を備えうる。情報が、ネットワークもしくは他の通信接続(有線、無線、もしくは有線と無線の組み合わせのいずれか)を介して機械に送信または提供されると、機械は接続を、適切に機械可読媒体であると見なす。したがって、任意のそのような接続は、適切に機械可読媒体と称される。上記の組み合わせもまた、機械可読メディアの範囲内に含まれる。機械実行可能な指令は、例えば、汎用コンピュータ、特殊目的コンピュータ、または特殊目的処理機械に一定の機能もしくは機能のグループを実行させる指令およびデータを含む。
【0147】
図は順序を示しうるが、ステップの順は描写されたものと異なりうる。また、二つ以上のステップが、同時または部分的に同時に実行されうる。そのような変形は、選択されたソフトウェアおよびハードウェア、および設計者選択に依る。全てのそのような変形は、本開示の範囲内である。同様に、ソフトウェア実施は、ルールベースの論理、および種々の接続ステップ、処理ステップ、比較ステップ、および決定ステップを達成するための他の論理を有する標準のプログラム技術で達成されうる。さらに、本発明がその特定の例示の実施形態を参照して説明されていても、多くの異なる変更、修正などが当業者に明らかになるであろう。
【0148】
また、開示された実施形態の変形が、請求項に係る発明を実施する際に図面、明細書、および付属の請求の範囲を検討することで、当業者によって理解および実行されうる。さらに、請求の範囲において、“備える”という用語は他の要素もしくはステップを除外するものではなく、不定冠詞“a”または“an”は、複数を除外するものではない。