(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-22
(45)【発行日】2024-10-30
(54)【発明の名称】電子装置、該電子装置で指紋映像を処理する方法、及び記録媒体
(51)【国際特許分類】
G06V 40/12 20220101AFI20241023BHJP
G06T 5/00 20240101ALI20241023BHJP
【ＦＩ】
G06V40/12
G06T5/00
【請求項の数】
20
(21)【出願番号】P 2020102421
(22)【出願日】2020-06-12
(65)【公開番号】P2021034016
(43)【公開日】2021-03-01
【審査請求日】2023-05-22
(31)【優先権主張番号】10-2019-0105002
(32)【優先日】2019-08-27
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】110000671
【氏名又は名称】ＩＢＣ一番町弁理士法人
(72)【発明者】
【氏名】李 熙 眞
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開２００６－０７２５５５（ＪＰ，Ａ）
【文献】特開２０１７－０７９４４０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ４０／１２－４０／１３
Ｇ０６Ｔ １／００－ ７／９０
(57)【特許請求の範囲】
【請求項1】
ユーザの指紋の相互静電容量を検出することにより、前記指紋におけるリッジの静電容量と前記指紋におけるバレーの静電容量との差に応じた原本指紋映像を獲得する段階と、前記原本指紋映像のピクセルが有する原本明暗値の明暗分布に基づいて、前記原本指紋映像から、前記原本明暗値の空間的変化推移を推定する段階と、
前記推定された空間的変化推移に基づいて決定された前記ピクセルに係わる参照明暗値を示す参照明暗マップを生成する段階と、
前記原本指紋映像の前記原本明暗値と、前記参照明暗マップの前記参照明暗値とを比較し、前記原本指紋映像の前記明暗分布を正規化する段階と、
前記正規化された明暗分布を有する正規化指紋映像を生成する段階と、
を含む電子装置において指紋映像を処理する方法。
【請求項2】
前記明暗分布を正規化する段階は、前記原本指紋映像の前記明暗分布が均一になるように、前記原本指紋映像から前記推定された空間的変化推移による明暗変化の影響を除去することにより、前記明暗分布を正規化することを特徴とする請求項１に記載の電子装置において指紋映像を処理する方法。
【請求項3】
前記明暗分布を正規化する段階は、前記原本指紋映像と前記参照明暗マップとにおいて互いに対応するピクセルそれぞれに係わる原本明暗値と参照明暗値との明暗差を計算することにより、前記明暗分布を正規化することを特徴とする請求項１に記載の電子装置において指紋映像を処理する方法。
【請求項4】
前記正規化指紋映像は、前記原本指紋映像の各ピクセルが、前記計算された明暗差に対応する明暗値を有するように再構成された映像であることを特徴とする請求項３に記載の電子装置において指紋映像を処理する方法。
【請求項5】
前記空間的変化推移を推定する段階は、前記原本明暗値の前記明暗分布から、前記原本指紋映像の全体ピクセルに係わる確率的明暗分布の特性を推定することによって遂行されることを特徴とする請求項１～４のいずれか１項に記載の電子装置において指紋映像を処理する方法。
【請求項6】
前記確率的明暗分布の特性は、カーネル関数によるカーネル密度推定（ＫＤＥ）を利用して獲得されることを特徴とする請求項５に記載の電子装置において指紋映像を処理する方法。
【請求項7】
前記確率的明暗分布の特性は、前記原本指紋映像の各ピクセルごとに、周辺ピクセルの原本明暗値の平均に対応する参照明暗値に基づいて推定され、
前記参照明暗マップは、
前記推定された確率的明暗分布の特性に対応する前記空間的変化推移に係わる情報を含むことを特徴とする請求項５に記載の電子装置において指紋映像を処理する方法。
【請求項8】
前記生成された正規化指紋映像に対してノイズ除去のためのスムージング処理を行う段階をさらに含むことを特徴とする請求項１～７のいずれか１項に記載の電子装置において指紋映像を処理する方法。
【請求項9】
前記生成された正規化指紋映像から、リッジ、バレー及び特徴点のうち少なくとも一つを抽出するための映像処理を行う段階を含むことを特徴とする請求項１～８のいずれか１項に記載の電子装置において指紋映像を処理する方法。
【請求項10】
請求項１ないし９のうちいずれか１項に記載の方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な非一時的な記録媒体。
【請求項11】
ユーザの指紋の相互静電容量をセンシングすることにより、前記指紋におけるリッジの静電容量と前記指紋におけるバレーの静電容量との差に応じた原本指紋映像を獲得する指紋センサと、前記獲得された原本指紋映像を処理するプロセッサと、を含み、
前記プロセッサは、
前記原本指紋映像のピクセルが有する原本明暗値の明暗分布に基づいて、前記原本指紋映像から、前記原本明暗値の空間的変化推移を推定し、
前記推定された空間的変化推移に基づいて決定された前記ピクセルに係わる参照明暗値を示す参照明暗マップを生成し、
前記原本指紋映像の前記原本明暗値と、前記参照明暗マップの前記参照明暗値とを比較し、
前記原本指紋映像の前記明暗分布を正規化し、
前記正規化された明暗分布を有する正規化指紋映像を生成する指紋映像を処理する電子装置。
【請求項12】
前記プロセッサは、前記原本指紋映像の前記明暗分布が均一になるように、前記原本指紋映像から前記推定された空間的変化推移による明暗変化の影響を除去することにより、前記明暗分布を正規化することを特徴とする請求項１１に記載の指紋映像を処理する電子装置。
【請求項13】
前記プロセッサは、前記原本指紋映像と前記参照明暗マップとにおいて互いに対応するピクセルそれぞれに係わる原本明暗値と参照明暗値との明暗差を計算することにより、前記明暗分布を正規化することを特徴とする請求項１１に記載の指紋映像を処理する電子装置。
【請求項14】
前記正規化指紋映像は、前記原本指紋映像の各ピクセルが、前記計算された明暗差に対応する明暗値を有するように再構成された映像であることを特徴とする請求項１３に記載の指紋映像を処理する電子装置。
【請求項15】
前記プロセッサは、前記原本明暗値の前記明暗分布から、前記原本指紋映像の全体ピクセルに係わる確率的明暗分布の特性を推定することにより、前記空間的変化推移の推定を行うことを特徴とする請求項１１～１４のいずれか１項に記載の指紋映像を処理する電子装置。
【請求項16】
前記確率的明暗分布の特性は、カーネル関数によるカーネル密度推定（ＫＤＥ）を利用して獲得されることを特徴とする請求項１５に記載の指紋映像を処理する電子装置。
【請求項17】
前記確率的明暗分布の特性は、前記原本指紋映像の各ピクセルごとに、周辺ピクセルの原本明暗値の平均に対応する参照明暗値に基づいて推定され、
前記参照明暗マップは、
前記推定された確率的明暗分布の特性に対応する前記空間的変化推移に係わる情報を含むことを特徴とする請求項１５に記載の指紋映像を処理する電子装置。
【請求項18】
前記プロセッサは、前記生成された正規化指紋映像に対し、ノイズ除去のためのスムージング処理をさらに行うことを特徴とする請求項１１～１７のいずれか１項に記載の指紋映像を処理する電子装置。
【請求項19】
前記プロセッサは、前記生成された正規化指紋映像から、リッジ、バレー及び特徴点のうち少なくとも一つを抽出するための映像処理をさらに行うことを特徴とする請求項１１～１８のいずれか１項に記載の指紋映像を処理する電子装置。
【請求項20】
前記指紋センサは、前記ユーザの前記指紋の全体領域を、オンスクリーン方式でもってセンシングするためのセンサによって具現されることを特徴とする請求項１１～１９のいずれか１項に記載の指紋映像を処理する電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電子装置、前記電子装置で指紋映像を処理する方法、及び記録媒体に関する。
【背景技術】
【0002】
指紋、音声、顔、手または虹彩のような個人の固有特徴を利用した個人認証の必要性がだんだんと拡大している。個人認証機能は、金融機器、出入り統制機、モバイル装置、ノート型パソコンなどで主に使用され、最近、スマートフォンのようなモバイル装置が広く普及するにつれ、スマートフォン内に保存された多くの保安情報を保護するために採用されている。更に、このような個人認証のための指紋認識装置が採用されている。
【発明の概要】
【発明が解決しようとする課題】
【0003】
本発明が解決しようとする課題は、電子装置、前記電子装置で指紋映像を処理する方法及び記録媒体を提供するところにある。本実施形態がなす技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から他の技術的課題が類推されるのである。
【課題を解決するための手段】
【0004】
一側面によれば、電子装置において指紋映像を処理する方法は、ユーザの指紋をセンシングすることにより、原本指紋映像を獲得する段階と、前記原本指紋映像のピクセルが有する原本明暗値の明暗分布に基づいて、前記原本指紋映像から、前記原本明暗値の空間的変化推移を推定する段階と、前記推定された空間的変化推移に基づいて決定された前記ピクセルに係わる参照明暗値を示す参照明暗マップを生成する段階と、前記原本指紋映像の前記原本明暗値と、前記参照明暗マップの前記参照明暗値とを比較し、前記原本指紋映像の前記明暗分布を正規化する段階と、前記正規化された明暗分布を有する正規化指紋映像を生成する段階と、を含む。
【0005】
他の側面によれば、コンピュータで読み取り可能な記録媒体は、前記方法を実行する命令語を含む１以上のプログラムが記録された記録媒体を含んでもよい。
【0006】
さらに他の側面によれば、指紋映像を処理する電子装置は、ユーザの指紋をセンシングすることにより、原本指紋映像を獲得する指紋センサと、前記獲得された原本指紋映像を処理するプロセッサと、を含み、前記プロセッサは、前記原本指紋映像のピクセルが有する原本明暗値の明暗分布に基づいて、前記原本指紋映像から、前記原本明暗値の空間的変化推移を推定し、前記推定された空間的変化推移に基づいて決定された前記ピクセルに係わる参照明暗値を示す参照明暗マップを生成し、前記原本指紋映像の前記原本明暗値と、前記参照明暗マップの前記参照明暗値とを比較し、前記原本指紋映像の前記明暗分布を正規化し、前記正規化された明暗分布を有する正規化指紋映像を生成する。
【図面の簡単な説明】
【0007】
【図1】一実施形態による電子装置に搭載された指紋センサについて説明するための図面である。
【図2】一実施形態による電子装置のハードウェア構成を図示した図面である。
【図3】一実施形態によるタッチパネルのノードそれぞれに対応する相互静電容量を概念的に示した図面である。
【図4】一実施形態による指紋センサに接触するユーザ指の互いに異なる圧力強度に対応する指紋映像について説明するための図面である。
【図5】一実施形態により、指紋センサに接触された指の圧力が、指紋センサで均一に分布しない場合について説明するための図面である。
【図6】一実施形態により、電子装置のプロセッサで指紋認証を行う過程について説明するための図面である。
【図7】一実施形態により、指紋映像に対する正規化を遂行する過程について説明するための図面である。
【図8】一実施形態による明暗分布の正規化によって調整された指紋映像の明暗データについて説明するための図面である。
【図9】一実施形態による、電子装置において指紋映像を処理する方法のフローチャートである。
【図10】一実施形態により、指紋映像の明暗分布の正規化結果について説明するための図面である。
【図11】一実施形態により、不均一な明暗分布を有する原本指紋映像に対して、従来方式による映像処理を行った場合と、本実施形態による映像処理を行った結果との指紋認証率を比較して説明するための図面である。
【発明を実施するための形態】
【0008】
本実施形態で使用される用語は、可能な限り現在広く使用される一般的な用語を選択したが、それは、当分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該説明部分で詳細にその意味を記載する。従って、明細書で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、明細書の全般にわたる内容とを基に定義されなければならないのである。
【0009】
本実施形態で使用される「構成される」または「含む」というような用語は、明細書上に記載されたさまざまな構成要素、またはさまざまな段階を必ずしもいずれも含むものであると解釈されるものではなく、そのうちの一部構成要素または一部段階は、含まれなかったり、追加される構成要素または段階をさらに含んだりしてもよいと解釈されなければならない。
【0010】
以下、添付図面を参照し、本実施形態について詳細に説明する。しかし、本実施形態は、さまざまに異なる形態にも具現され、ここで説明する例に限定されるものではない。
【0011】
図１は、一実施形態による電子装置に搭載された指紋センサについて説明するための図面である。
【0012】
図１を参照すれば、電子装置１の指紋センサ１０は、パッシベーション膜（ｐａｓｓｉｖａｔｉｏｎ ｌａｙｅｒ）１０２、絶縁膜１０４及び基板１０６の層によって構成され、パッシベーション膜１０２と絶縁膜１０４との間には、検出電極Ｒｘ１０３が形成され、絶縁膜１０４と基板１０６との間には、駆動電極Ｔｘ１０５が形成されている。
【0013】
電子装置１の前面には、タッチディスプレイパネル（ｔｏｕｃｈ ｄｉｓｐｌａｙ ｐａｎｅｌ）１１が具備され、タッチディスプレイパネル１１は、電子装置１を操作することができるタッチ入力インターフェースに該当する。タッチディスプレイパネル１１の全体領域のうち一部領域は、ユーザの指端１０１の指紋センシングのための指紋センサ１０としても具現される。指紋センサ１０は、リッジ（ｒｉｄｇｅ）及びバレー（ｖａｌｌｅｙ）それぞれについて、互いに異なる相互静電容量（ｍｕｔｕａｌ ｃａｐａｃｉｔａｎｃｅ）（すなわち、相互静電容量の変化量差）を検出することにより、ユーザの指紋映像を獲得し、指紋パターンを認識することができ、それを介して、ユーザの指紋を識別することができる。
【0014】
一方、図１においては、説明の便宜のために、指紋センサ１０が電子装置１の前面タッチディスプレイパネル１１の一部領域に該当するように図示されているが、それに制限されるものではなく、本実施形態による指紋センサ１０は、電子装置１の背面、側面のような多様な位置に具現されたり、タッチディスプレイパネル１１とは別途の他の領域に具備されたりもする。
【0015】
電子装置１は、指紋センサ１０を具備したコンピュータデバイスであり、例えば、ＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、ノート型パソコン、モバイルデバイスなどに該当し、さらには、自律走行自動車、ロボティックス、スマートフォン、タブレットデバイス、ＡＲ（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイス、ＩｏＴ（ｉｎｔｅｒｎｅｔ ｏｆ ｔｈｉｎｇｓ）デバイスのような装置でもあるが、それらに制限されるものではなく、多種のデバイスにも該当する。
【0016】
図２は、一実施形態による電子装置のハードウェア構成を図示した図面である。
【0017】
図２を参照すれば、電子装置１は、指紋センサ１０、プロセッサ１３０、及びメモリ１４０を含んでおり、指紋センサ１０は、送信回路１１０、タッチパネル１１５及び受信回路１２０を含んでいる。図２の指紋センサ１０には、本実施形態の説明に係わる構成要素だけが図示されているが、他の汎用的な構成要素がさらに含まれてもよいということは、関連技術分野で当業者であるならば、理解することができるであろう。
【0018】
プロセッサ１３０は、多数の論理ゲートのアレイによっても具現され、汎用的なマイクロプロセッサと、該マイクロプロセッサで実行されうるプログラムが保存されたメモリとの組み合わせによっても具現される。一方、プロセッサ１３０は、少なくとも１つのプロセッサ（または、プロセッシングユニット）を含んでも具現される。また、それと異なる形態のハードウェア構成により、プロセッサ１３０が具現されもするということは、本実施形態が属する技術分野で当業者であるならば、理解することができるであろう。
【0019】
タッチパネル１１５は、複数の駆動電極Ｔｘ、及び複数の駆動電極Ｔｘと交差する方向に形成された複数の検出電極Ｒｘを含む。図２においては、説明の便宜のために、駆動電極Ｔｘ及び検出電極Ｒｘの個数がそれぞれ１０個であるように図示されているが、それに制限されるものではなく、駆動電極Ｔｘ及び検出電極Ｒｘの個数は、多様でもある。
【0020】
送信回路１１０は、駆動電極Ｔｘに駆動信号を印加するモジュールを含み、受信回路１２０は、検出電極Ｒｘから電気信号を測定するモジュールを含んでもよい。
【0021】
タッチパネル１１５の駆動電極Ｔｘと検出電極Ｒｘとは、互いに交差する方向にも形成される。図２においては、例示的に、駆動電極Ｔｘと検出電極Ｒｘとが互いに直交するように図示されているが、それに制限されるものではない。言い換えれば、駆動電極Ｔｘが形成された方向と、検出電極Ｒｘが形成された方向との角度は、９０°でなくともよい。
【0022】
タッチパネル１１５上にユーザの指が近付けば、タッチパネル１１５の駆動電極Ｔｘそれぞれと、検出電極Ｒｘとの相互静電容量が異なりもする。例えば、ユーザ指の指紋パターンの特性により、タッチパネル１１５において、駆動電極Ｔｘと検出電極Ｒｘとが交差するノードそれぞれにおける相互静電容量が互いに異なるように変わることができる。駆動電極Ｔｘ間の間隔、及び検出電極Ｒｘ間の間隔が狭いほど、指紋領域をセンシングするためのセンシング解像度（ｓｅｎｓｉｎｇ ｒｅｓｏｌｕｔｉｏｎ）が高くなる。
【0023】
駆動電極Ｔｘ及び検出電極Ｒｘは、線電極によっても構成される。また、駆動電極Ｔｘそれぞれは、駆動電極Ｔｘと検出電極Ｒｘとが交差するノード間に設けられた所定のパターンをさらに含んでもよい。前述のパターンは、多角形、円形のような多様な形態を有することができる。同様に、検出電極Ｒｘそれぞれも、前述のノード間に設けられた所定パターンをさらに含んでもよい。
【0024】
送信回路１１０は、駆動電極Ｔｘに駆動信号を印加することができる。例えば、送信回路１１０は、駆動電極Ｔｘそれぞれに電圧パルスを印加することができる。受信回路１２０は、検出電極Ｒｘから電気信号を測定することができる。このとき、受信回路１２０は、検出電極Ｒｘそれぞれに流れる電流を測定したり、受信回路１２０は、検出電極Ｒｘそれぞれの電位を測定したりすることができる。
【0025】
プロセッサ１３０は、指紋センサ１０に含まれた送信回路１１０及び受信回路１２０の動作を全般的に制御する。例えば、プロセッサ１３０は、送信回路１１０が駆動電極Ｔｘそれぞれに印加する電圧パルスの大きさ、印加時間などを制御することができる。また、プロセッサ１３０は、駆動電極Ｔｘのうちの一部に電圧パルスが印加されるように、送信回路１１０を制御することができる。
【0026】
プロセッサ１３０は、受信回路１２０が受信した電流または電位を利用し、ユーザ指紋と係わる指紋映像データ、特徴点（ｍｉｎｕｔｉａｅ）データなどを生成して処理することができる。例えば、プロセッサ１３０は、受信回路１２０が受信した電流または電位を利用し、ユーザ指の指紋領域に対応する指紋映像データを獲得及び処理し、指紋映像データに含まれたピクセル値を分析し、ユーザ認証を処理することができる。
【0027】
メモリ１４０は、プロセッサ１３０の動作に必要なコンピュータプログラムを保存する。例えば、メモリ１４０に保存されたコンピュータプログラム内の命令語により、プロセッサ１３０は、読み取り及び動作を遂行する。また、メモリ１４０は、タッチパネル１１５、送信回路１１０、受信回路１２０及びプロセッサ１３０が動作することによって生成されるデータ、及びその他情報を保存することができる。図２には、１つのメモリ１４０を含むように図示されているが、それに制限されるものではなく、必要により、２以上のメモリが含まれてもよい。
【0028】
図３は、一実施形態によるタッチパネルのノードそれぞれに対応する相互静電容量を概念的に示した図面である。
【0029】
図３を参照すれば、駆動電極Ｔｘと検出電極Ｒｘとの相互静電容量は、駆動電極Ｔｘと検出電極Ｒｘとが交差するノードでの静電容量に対応する。
【0030】
例えば、第１駆動電極Ｔｘ１と第１検出電極Ｒｘ１との相互静電容量Ｃ１１は、第１駆動電極Ｔｘ１と第１検出電極Ｒｘ１とが交差するノードＮ１１での静電容量に対応する。同様に、ｍ番目（ここで、ｍは、任意の自然数である）駆動電極Ｔｘｍとｎ番目（ここで、ｎは任意の自然数である）検出電極Ｒｘｎとの相互静電容量Ｃｍｎは、ｍ番目駆動電極Ｔｘｍと、ｎ番目検出電極Ｒｘｎとが交差するノードＮｍｎでの静電容量に対応する。以下では、ノードＮｍｎでの相互静電容量は、ｍ番目駆動電極Ｔｘｍとｎ番目検出電極Ｒｘｎとの相互静電容量を意味する。
【0031】
駆動電極Ｔｘと検出電極Ｒｘとにより、タッチパネル１００において、複数のチャンネルが定義されもする。例えば、あるチャンネルは、駆動電極Ｔｘと検出電極Ｒｘとが交差することによって形成されたノードに対応する。例えば、チャンネルＣＨ１１は、ノードＮ１１に対応する。
【0032】
複数のノードそれぞれでの相互静電容量を測定するために、駆動電極Ｔｘそれぞれに、順次に互いに異なる駆動信号を印加することができる。また、検出電極Ｒｘそれぞれにおいて、個別的に電気信号を測定することができる。例えば、相互静電容量Ｃ１１を測定する場合、第１駆動電極Ｔｘ１にだけ駆動信号を印加し、第１検出電極Ｒｘ１において、電気信号を測定することができる。同様に、相互静電容量Ｃｍｎを測定する場合、ｍ番目駆動電極Ｔｘｍにだけ駆動信号を印加し、ｎ番目検出電極Ｒｘｎにおいて、電気信号を測定することができる。
【0033】
図４は、一実施形態による指紋センサに接触するユーザ指の互いに異なる圧力強度に対応する指紋映像について説明するための図面である。
【0034】
指紋センサ１０（図１）は、ユーザ指紋のリッジとバレーとの相互静電容量の変化量差ΔＣＭを検出することにより、指紋映像を生成する。図４を参照すれば、ユーザが指を普通の（ｎｏｒｍａｌ）圧力強度で、指紋センサ１０に接触させた場合を基準に、さらに強い圧力強度で接触させた場合と、さらに弱い圧力強度で接触させた場合とについて図示されている。
【0035】
指が普通の圧力強度で指紋センサ１０に接触された場合、相互静電容量の変化量差ΔＣＭ ｎｏｒｍａｌに基づいた指紋映像４０２が生成される。それと比較し、指が強い圧力強度で指紋センサ１０に接触された場合、相互静電容量の変化量差ΔＣＭ Ｌａｒｇｅに基づいた指紋映像４０１が生成され、指紋映像４０１の全般的な明暗は、指紋映像４０２の明暗より明るい。反対に、指が弱い圧力強度で指紋センサ１０に接触された場合、相互静電容量の変化量差ΔＣＭ Ｓｍａｌｌに基づいた指紋映像４０３が生成され、指紋映像４０３の全般的な明暗は、指紋映像４０２の明暗より暗い。
【0036】
すなわち、ユーザが指で指紋センサ１０を接触させる圧力強度により、指紋映像の明暗分布が異なりもする。それは、接触させる圧力強度により、指紋において、リッジとバレーとの高さ差が異なるためである。それにより、同一指であるとしても、接触された圧力強度に依存し、互いに異なる品質の指紋映像が獲得されるので、ユーザの指紋認証に影響を及ぼすのである。
【0037】
図５は、一実施形態により、指紋センサに接触された指の圧力が、指紋センサで均一に分布しない場合について説明するための図面である。
【0038】
図５を参照すれば、ユーザが指紋センサ１０（図１）に指を接触させるとき、指の力が指紋センサ１０に全体的に等しく分布せず、それにより、明暗分布が均一ではない指紋映像５０１，５０２，５０３が獲得されてしまう。例えば、下端が暗く、上端が明るい明暗分布を有する指紋映像５０１が獲得されたり、左側と右側との明暗が異なる指紋映像５０２または５０３が獲得されたりする。そのように明暗分布が一様ではない場合、指紋映像の処理において、正確な指紋パターン情報を抽出することができなくなり、指紋認証の性能が低下してしまう。
【0039】
従来には、そのように、指紋映像での均一ではない明暗分布を改善させるための前処理過程として、明暗対比ストレッチング（ｃｏｎｔｒａｓｔ ｓｔｒｅｔｃｈｉｎｇ）技法、ヒストグラム平滑化（ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ）技法などが提示されている。そのような技法は、指紋映像において、特定領域に集中している明暗値を、指紋映像全体の分布に正規化する技法である。ただし、明暗対比ストレッチング技法は、指紋映像内ピクセル値において、最小値と最大値との比率を利用して正規化する方式であり、ヒストグラム平滑化は、０～２５５のピクセル値でもって、原本ピクセル値を平準化する処理を行う方式であるという点で若干の差がある。しかし、従来の明暗対比ストレッチング技法や、ヒストグラム平滑化技法は、明暗分布が不規則であり、明暗値が広い範囲を有する場合には、正規化効果が微弱でもある。従って、指紋映像において不規則な明暗分布に関係なく、指紋映像の明暗分布をさらに効率的に正規化することができる方法が要求される。
【0040】
図６は、一実施形態により、電子装置のプロセッサで指紋認証を行う過程について説明するための図面である。
【0041】
図６を参照すれば、６０１段階において、プロセッサ１３０は、指紋センサ１０によってセンシングされたユーザの指紋から指紋映像を獲得する。
【0042】
６０２段階において、プロセッサ１３０は、獲得された指紋映像に対して映像品質を向上させるための前処理として、映像正規化プロセスを遂行する。例えば、映像正規化プロセスは、指紋映像の明暗分布を正規化するプロセスを含み、それ以外の他の映像品質改善プロセス、例えば、ノイズフィルタリングプロセスなどを含んでもよい。
【0043】
６０３段階において、プロセッサ１３０は、前処理された指紋映像から、リッジ、バレー、特徴点などの指紋パターン情報を抽出する。具体的には、まず、プロセッサ１３０は、前処理された指紋映像に対するバンドパスフィルタリング（ｂａｎｄｐａｓｓ ｆｉｌｔｅｒｉｎｇ）を介して、指紋映像の二進化（ｂｉｎａｒｉｚｅ）を行い、二進化された指紋映像から、リッジ、バレー、特徴点などと係わる指紋パターン情報を抽出することができる。
【0044】
６０４段階において、プロセッサ１３０は、指紋映像から抽出された指紋パターン情報に基づいて、ユーザ認証を行う。
【0045】
一方、本実施形態によるプロセッサ１３０は、６０２段階の映像品質改善プロセスにおいて、獲得された指紋映像での明暗の空間的変化推移（ｓｐａｔｉａｌ ｃｈａｎｇｅ ｔｒｅｎｄ）を分析し、分析された明暗変化推移により、指紋映像の明暗分布を正規化する。以下では、本実施形態による指紋映像の処理方法について具体的に説明する。
【0046】
図７は、一実施形態により、指紋映像に対する正規化を行う過程について説明するための図面である。
【0047】
本実施形態によれば、指紋映像の正規化は、指紋映像のピクセルが有する明暗値が、指紋映像全体的に均一な分布を有するように調整するプロセスを意味する。
【0048】
図７を参照すれば、原本指紋映像７０１は、指紋センサ１０によってセンシングされたユーザの指紋に係わる映像であり、追加される映像処理（すなわち、前処理または後処理）が遂行されていない映像である。前述のように、原本指紋映像７０１は、ユーザ指の特性、または接触された圧力強度などにより、指紋領域の明暗分布が均一ではなくなる。
【0049】
プロセッサ１３０（図２）は、原本指紋映像７０１から原本明暗値の空間的変化推移を推定し、推定された空間的変化推移に基づいて、参照明暗マップ（ｒｅｆｅｒｅｎｃｅ ｃｏｎｔｒａｓｔ ｍａｐ）７０２を生成する。
【0050】
参照明暗マップ７０２は、原本指紋映像７０１の確率的明暗分布の特性に基づいて推定された空間的変化推移を示す情報である。参照明暗マップ７０２の各ピクセルは、推定された空間的変化推移を示すための参照明暗値を有し、参照明暗マップ７０２の各ピクセルは、原本指紋映像７０１の各ピクセルと１：１で対応する。参照明暗マップ７０２は、原本指紋映像７０１の領域に係わる明暗分布を示すことができる。参照明暗マップ７０２は、ｘ，ｙ及びｚパラメータを有する三次元空間にも提供され、ここで、ｘパラメータ及びｙパラメータは、原本指紋映像７０１のピクセル座標を示し、ｚパラメータは、原本指紋映像７０１の明暗値を示すことができる。
【0051】
プロセッサ１３０は、原本指紋映像７０１の明暗分布から、参照明暗マップ７０２の明暗変化推移による明暗変化の影響を除去することにより、明暗分布が均一な正規化指紋映像７０３を生成する。
【0052】
そのような方式によれば、原本指紋映像７１１のように、異なる不規則な明暗分布を有すると言っても、原本指紋映像７１１から分析された参照明暗マップ７１２での明暗変化推移による明暗変化の影響を除去することにより、明暗分布が均一な正規化指紋映像７１３が生成されるのである。
【0053】
図８は、一実施形態による明暗分布の正規化によって調整された指紋映像の明暗データについて説明するための図面である。
【0054】
図８を参照すれば、原本明暗マップ８０１は、原本指紋映像の一部領域に係わる明暗値を、三次元（ｘ，ｙ，ｚ）グラフ上にプロット（ｐｌｏｔ）した明暗データである。原本明暗マップ８０１においてｘ軸及びｙ軸は、原本指紋映像でのピクセル座標を示し、ｚ軸は、相対的明暗値を示す。原本明暗マップ８０１によれば、原本指紋映像での不均一な明暗分布により、リッジが有するｚ値（すなわち、明暗値）、及びバレーが有するｚ値（すなわち、明暗値）が一定ではない特性が把握されもする。
【0055】
参照明暗マップ８０２は、原本指紋映像の確率的明暗分布の特性に基づいて推定された空間的変化推移を有する明暗データである。参照明暗マップ８０２においてｘ軸及びｙ軸は、原本指紋映像のピクセル座標に対応するピクセル座標を示し、ｚ軸は、推定された空間的変化推移を示すための推定された参照明暗値を示す。
【0056】
参照明暗マップ８０２の参照明暗値の明暗データは、原本指紋映像の明暗分布について、カーネル関数（ｋｅｒｎｅｌ ｆｕｎｃｔｉｏｎ）を利用したカーネル密度推定（ＫＤＥ：ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ）を行うことによっても獲得される。ここで、カーネル関数は、例えば、Ｕｎｉｆｏｒｍ、Ｔｒｉａｎｇｌｅ、Ｅｐａｎｅｃｈｎｉｋｏｖ、Ｑｕａｒｔｉｃ、Ｔｒｉｗｅｉｇｈｔ、Ｇａｕｓｓｉａｎ、Ｃｏｓｉｎｅのような多種の関数が利用されもする。
【0057】
参照明暗マップ８０２のあるピクセルでの参照明暗値を計算する過程について説明すれば、当該ピクセルに係わる明暗値についての確率分布特性は、下記数式１のようにも推定される。すなわち、数式１は、当該ピクセル値を中心にスムージング（ｓｍｏｏｔｈｉｎｇ）した結果値を求めるための計算を意味する。
【0058】
【数1】
【0059】
数式１を参照すれば、ｘは、ピクセル値（明暗値）であり、Ｋは、カーネル関数であり、ｎは、サンプルデータの数（当該ピクセルの周辺ピクセルの個数）である。ここで、サンプルデータの数ｎは、プロセッサ１３０の処理性能、スムージング程度、カーネル関数の種類のような多様な要因によっても変更される。
【0060】
参照明暗マップ８０２の各ピクセルの参照明暗値は、原本指紋映像の原本明暗マップ８０１の各ピクセルについて、数式１を利用した計算を行うことによっても獲得される。推定された参照明暗値を有する参照明暗マップ８０２の明暗データは、結局、原本指紋映像（または、原本明暗マップ８０１）の空間的明暗変化推移を示すことができる。
【0061】
正規化明暗マップ８０３は、正規化指紋映像の明暗データを示す。正規化明暗マップ８０３は、原本明暗マップ８０１と参照明暗マップ８０２との差からも生成される。具体的には、指紋映像の明暗正規化は、原本明暗マップ８０１の明暗データと、参照明暗マップ８０２の明暗データとのピクセル別に、明暗値差▽を計算することによっても遂行される。それにより、正規化明暗マップ８０３の明暗データは、全体的に明暗分布が均一な明暗値（ｚ軸値）を有することになり、それにより、明暗分布が均一な正規化指紋映像が生成される。
【0062】
図９は、一実施形態による、電子装置において指紋映像を処理する方法のフローチャートである。
【0063】
図９を参照すれば、電子装置の指紋映像処理方法は、前述の電子装置１において時系列的に処理される段階によって構成される。従って、以下で省略された内容であるとしても、前述の図面で記述された内容は、図９の方法にも適用されるのである。
９０１段階において、プロセッサ１３０は、ユーザの指紋をセンシングすることにより、原本指紋映像を獲得する。ユーザの指紋は、指紋センサ１０によってセンシングされ、指紋センサ１０は、ユーザの指紋の全体領域をオンスクリーン（ｏｎ－ｓｃｒｅｅｎ）方式でもってセンシングするためのセンサによっても具現されるが、それに制限されるものではなく、オンスクリーン方式ではない他の方式の指紋センサによっても具現される。
９０１段階において、プロセッサ１３０は、ユーザの指紋をセンシングすることにより、原本指紋映像を獲得する。ユーザの指紋は、指紋センサ１０によってセンシングされ、指紋センサ１０は、ユーザの指紋の全体領域をオンスクリーン（ｏｎ－ｓｃｒｅｅｎ）方式でもってセンシングするためのセンサによっても具現されるが、それに制限されるものではなく、オンスクリーン方式ではない他の方式の指紋センサによっても具現される。
【0064】
９０２段階において、プロセッサ１３０は、原本指紋映像のピクセルが有する原本明暗値の明暗分布に基づいて、原本指紋映像において、原本明暗値の空間的変化推移を推定する。
【0065】
具体的には、プロセッサ１３０は、原本明暗値の明暗分布から、原本指紋映像の全体ピクセルに係わる確率的明暗分布の特性を推定することにより、変化推移の推定を行うことができる。ここで、確率的明暗分布の特性は、カーネル関数によるカーネル密度推定（ＫＤＥ）を利用して獲得され、先立って例として挙げたように、カーネル関数は、Ｕｎｉｆｏｒｍ、Ｔｒｉａｎｇｌｅ、Ｅｐａｎｅｃｈｎｉｋｏｖ、Ｑｕａｒｔｉｃ、Ｔｒｉｗｅｉｇｈｔ、Ｇａｕｓｓｉａｎ、Ｃｏｓｉｎｅのような多種の関数が利用されてもよい。
【0066】
確率的明暗分布の特性は、原本指紋映像の各ピクセルごとに、周辺ピクセルの原本明暗値の平均に対応する参照明暗値に基づいて推定され、このとき、前述の数式１を利用しても推定される。該周辺ピクセルは、周辺ピクセルの中心に位置したピクセルを取り囲むピクセルに該当する。
【0067】
９０３段階において、プロセッサ１３０は、推定された空間的変化推移に基づいて決定されたピクセルに係わる参照明暗値を示す参照明暗マップを生成する。具体的には、９０２段階において計算された数式１の結果値は、ピクセルの参照明暗値であり、参照明暗マップは、推定された確率的明暗分布の特性に対応する空間的変化情報（すなわち、全体参照明暗値の明暗データ）を含む。
【0068】
９０４段階において、プロセッサ１３０は、原本指紋映像の原本明暗値と、参照明暗マップの参照明暗値とを比較し、原本指紋映像の明暗分布を正規化する。明暗分布の正規化は、原本指紋映像の明暗分布が均一化されるように、原本指紋映像から、先立って推定された空間的変化推移による明暗変化の影響を除去することにより、明暗分布を均一化するプロセスを意味する。図８の正規化明暗マップ８０３について説明されたように、明暗分布の正規化は、原本指紋映像（原本明暗マップ８０１）と、参照明暗マップ８０２とにおいて、互いに対応するピクセルそれぞれに係わる原本明暗値と参照明暗値との明暗差を計算することによっても行われる。
【0069】
９０５段階において、プロセッサ１３０は、正規化された明暗分布を有する正規化指紋映像を生成する。すなわち、正規化指紋映像は、原本指紋映像の各ピクセルが、先立って計算された明暗差▽に対応する明暗値を有するものに再構成された映像でもある。
【0070】
一方、プロセッサ１３０は、生成された正規化指紋映像について、ノイズ除去のためのスムージング処理を追加して行うことができる。
【0071】
プロセッサ１３０は、正規化指紋映像が生成された場合（または、生成された正規化指紋映像に対するノイズ除去処理が完了した場合）、ユーザ指紋認証のために、正規化指紋映像から、リッジ、バレー、特徴点のような指紋パターンを抽出するための指紋映像処理を追加して行うことができる。
【0072】
前述のように、そのような後続の指紋映像処理は、正規化された指紋映像に対するバンドパスフィルタリングを介し、指紋映像の二進化（ｂｉｎａｒｉｚｅ）を行い、二進化された指紋映像から、リッジ、バレー、特徴点などと係わる指紋パターン情報を抽出するプロセスでもある。例えば、指紋映像の二進化は、ＳＴＦＴ（ｓｈｏｒｔ－ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）方式を利用しても行われるが、それに制限されるものではなく、他の多様な方式が利用されてもよい。
【0073】
図１０は、一実施形態により、指紋映像の明暗分布の正規化結果について説明するための図面である。
【0074】
図１０を参照すれば、原本指紋映像に係わる原本明暗マップ１００１の一部領域１０１０での明暗データ１００５には、あるリッジと、隣接リッジとの明暗値差１０１１が存在する。すなわち、原本指紋映像に係わる原本明暗マップ１００１は、特定領域に行くほど明暗値が増大する全体的な明暗分布を有する。
【0075】
参照明暗マップ１００２は、原本明暗マップ１００１から推定された空間的明暗変化推移を示す。参照明暗マップ１００２は、原本指紋映像の領域に係わる明暗分布を示すことができる。参照明暗マップ１００２は、ｘ，ｙ及びｚパラメータを有する三次元空間にも提供され、ここで、ｘパラメータ及びｙパラメータは、原本指紋映像のピクセル座標を示し、ｚパラメータは、原本指紋映像の明暗値を示すことができる。
【0076】
原本明暗マップ１００１と参照明暗マップ１００２との明暗値の差に基づいて正規化が行われることにより、正規化分布マップ１００３が生成される。原本明暗マップ１００１の一部領域１０１０に対応する正規化分布マップ１００３の一部領域１０２０での明暗データ１００７には、あるリッジと隣接リッジとの明暗値差１０２１がほとんど存在しない。すなわち、正規化分布マップ１００３によれば、リッジの明暗値は、ほぼ同一明暗値を有するように正規化され、同様に、バレーの明暗値は、ほぼ同一明暗値を有するように正規化される。
【0077】
図１１は、一実施形態により、不均一な明暗分布を有する原本指紋映像に対して、従来方式による映像処理を行った場合と、本実施形態による映像処理を行った結果との指紋認証率を比較して説明するための図面である。
【0078】
図１１を参照すれば、例えば、図５で説明された指紋映像５０１，５０２，５０３が、原本指紋映像に該当すると仮定して行われたシミュレーション結果が説明されている。図１１の原本指紋映像は、いずれも特定領域に行くほど、明るさが暗くなる明暗分布を示す不均一な明暗分布を有する。
【0079】
各指紋映像５０１，５０２，５０３に対して、従来方式である明暗対比ストレッチング技法とヒストグラム平滑化技法とのそれぞれにより、正規化及び二進化の指紋映像処理を行って指紋認証を行った結果、それぞれ、９０．２５％、９０．３４％の指紋認証率が測定された。
【0080】
それと比較し、各指紋映像５０１，５０２，５０３に対して、本実施形態による明暗分布分析による正規化及び二進化の指紋映像処理を行って指紋認証を行った結果、９７．４８％の指紋認証率が測定された。すなわち、本実施形態による明暗分布分析による正規化の指紋映像処理を行うことにより、従来の方式よりはるかに高い指紋認証率が達成される効果があることが分かる。
【0081】
なお、前述の実施形態は、コンピュータで実行されうるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータによっても具現される。また、前述の実施形態で使用されたデータ構造は、コンピュータで読み取り可能な記録媒体に、多くの手段を介しても記録される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ－ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ）など）のような記録媒体を含む。
【0082】
本実施形態と係わる技術分野で当業者であるならば、前述の記載の本質的な特性から外れない範囲において、本実施形態が変形された形態によっても具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本実施形態に含まれたものであると解釈されなければならないのである。
【符号の説明】
【0083】
１ 電子装置、
１０ 指紋センサ
１１ タッチディスプレイパネル
１０１ 指端
１０２ パッシベーション膜
１０３ 検出電極
１０４ 絶縁膜
１０５ 駆動電極
１０６ 基板
１１０ 送信回路
１１５ タッチパネル
１２０ 受信回路
１３０ プロセッサ
１４０ メモリ
７０１，７１１ 原本指紋映像
７０２，７１２ 参照明暗マップ
７０３，７１３ 正規化指紋映像。
１０ 指紋センサ
１１ タッチディスプレイパネル
１０１ 指端
１０２ パッシベーション膜
１０３ 検出電極
１０４ 絶縁膜
１０５ 駆動電極
１０６ 基板
１１０ 送信回路
１１５ タッチパネル
１２０ 受信回路
１３０ プロセッサ
１４０ メモリ
７０１，７１１ 原本指紋映像
７０２，７１２ 参照明暗マップ
７０３，７１３ 正規化指紋映像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
