特表 2024-502140 デジタル画像におけるモアレパターン検出およびその生体検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-01-17

(54)【発明の名称】デジタル画像におけるモアレパターン検出およびその生体検知システム

(51)【国際特許分類】

   G06V 10/52 20220101AFI20240110BHJP

【ＦＩ】

G06V10/52

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023541104

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2023-08-29

(86)【国際出願番号】 EP2021086391

(87)【国際公開番号】W WO2022148635

(87)【国際公開日】2022-07-14

(31)【優先権主張番号】21305016.4

(32)【優先日】2021-01-06

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】509228994

【氏名又は名称】アマデウス エス．アー．エス．

【氏名又は名称原語表記】ＡＭＡＤＥＵＳ Ｓ．Ａ．Ｓ．

【住所又は居所原語表記】４８５ Ｒｏｕｔｅ ｄｕ Ｐｉｎ Ｍｏｎｔａｒｄ，Ｓｏｐｈｉａ Ａｎｔｉｐｏｌｉｓ，Ｆ－０６４１０ Ｂｉｏｔ，Ｆｒａｎｃｅ

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】エルド・アブラーム

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096CA04

5L096DA01

5L096EA14

5L096FA26

5L096FA37

5L096GA19

5L096GA51

5L096HA11

5L096JA11

(57)【要約】

本発明は、キャプチャされた被写体および/または場面の複数のデジタル画像を処理することによって行われる、デジタル画像におけるモアレパターンの検出に関するものであり、ここで、複数のデジタル画像の各々は、異なる画像露出および/または解像度で撮影される。更には、本発明は、複数のデジタル画像からのモアレパターンの検出に基づいて、キャプチャされたバイオメトリック特徴のライブネスを評価するための方法およびシステムに関する。

【特許請求の範囲】

【請求項1】

デジタル画像におけるモアレパターン情報を検出するための方法であって、
被写体および/または場面のデジタル画像のセットを受信するステップであって、前記デジタル画像のセットが、1つまたは複数のカメラによってかつ異なる解像度および/または露出でキャプチャされる画像を含む、ステップと、
前記セットの中の各デジタル画像を処理して、対応する画像解像度および/または露出でのモアレパターン情報を含む撮像された被写体および/または場面の部分を決定するステップと、
モアレパターン情報を含む前記撮像された被写体および/または場面の部分を備えたデジタル画像を前記セットから選択するステップと、
選択されたデジタル画像から、キャプチャされた被写体および/または場面に対する合成デジタル画像を生成するステップであって、前記合成デジタル画像が、前記選択されたデジタル画像の各々において検出される前記モアレパターン情報を含む、ステップと
を含む、方法。

【請求項2】

デジタル画像を処理するステップが、前記セットの中のデジタル画像の各々においてキャプチャされた前記被写体および/または場面を整列させるステップを含む、請求項1に記載の方法。

【請求項3】

デジタル画像を処理するステップが、各デジタル画像を所定の寸法のグリッドへ分割するステップを含む、請求項1または2に記載の方法。

【請求項4】

デジタル画像を処理するステップが、モアレパターン情報を含むグリッド部分を各デジタル画像において検出するステップを含む、請求項3に記載の方法。

【請求項5】

デジタル画像を処理するステップが、空間方向および時間方向の両方向のスタック内の各デジタル画像の光強度を解析して、前記デジタル画像のセットに対する結合された強度プロファイルを決定するステップを含む、請求項4に記載の方法。

【請求項6】

合成デジタル画像を生成するステップが、モアレパターンを含む前記セットの中の異なるキャプチャされたデジタル画像からの詳細を、前記キャプチャされた被写体および/または場面内の階調値の範囲を表現する単一の画像へ結合するステップを含む、請求項1から5のいずれか一項に記載の方法。

【請求項7】

合成デジタル画像を生成するステップが、前記モアレパターン情報のプロファイルを抽出するステップを含む、請求項1から6のいずれか一項に記載の方法。

【請求項8】

前記合成デジタル画像が高ダイナミックレンジ画像である、請求項1から7のいずれか一項に記載の方法。

【請求項9】

人のバイオメトリック特徴のライブネスを判定するための方法であって、
人の1つまたは複数のバイオメトリック特徴のデジタル画像のセットをキャプチャするステップであって、前記デジタル画像のセットが、1つまたは複数のカメラによってかつ異なる解像度および/または露出でキャプチャされる画像を含む、ステップと、
請求項1から8のいずれか一項の方法に従って、前記デジタル画像からモアレパターン情報を検出し、それに応じて前記1つまたは複数のバイオメトリック特徴に対する合成デジタル画像を生成するステップと、
前記合成デジタル画像からモアレパターン情報を抽出するステップと、
抽出された前記モアレパターン情報に基づいて、前記デジタル画像においてキャプチャされた前記1つまたは複数のバイオメトリック特徴のライブネスを判定するステップと
を含む、方法。

【請求項10】

ライブネスを判定するステップが、前記モアレパターン情報からモアレ周波数強度を抽出し、抽出された前記モアレ周波数強度をライブネス閾値と比較するステップを含む、請求項9に記載の方法。

【請求項11】

抽出された前記モアレ周波数強度が前記ライブネス閾値から第1の範囲内であれば、前記1つまたは複数のバイオメトリック特徴の前記デジタル画像を有効とし、そうでなければ前記デジタル画像を拒否する、請求項10に記載の方法。

【請求項12】

前記デジタル画像をキャプチャすることが、前記1つまたは複数のバイオメトリック特徴のデジタル画像の連続したキャプチャ間で少なくとも1つのカメラの解像度および/または露出を既定の範囲内で変動させることを含む、請求項9から11のいずれか一項に記載の方法。

【請求項13】

前記カメラの解像度および/または露出が、前記セットの中の各デジタル画像に対して所定の値だけ変動される、請求項12に記載の方法。

【請求項14】

前記1つまたは複数のバイオメトリック特徴が顔特徴である、請求項9から13のいずれか一項に記載の方法。

【請求項15】

バイオメトリック認証のための生体検知システムであって、
バイオメトリック認証のために提示される人の対象バイオメトリック特徴のデジタル画像をキャプチャするように構成される少なくとも1つのカメラと、
請求項9から14のいずれか一項に記載の方法に従って、キャプチャされたバイオメトリック特徴のライブネスを判定するように構成されるプロセッサと
を備える、生体検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デジタル画像におけるモアレパターンの検出に関する。更には、本発明は、バイオメトリック検証のためにキャプチャされるバイオメトリック特徴の生体検知(liveness detection)に関する。

【背景技術】

【0002】

モアレパターンは、画像における高周波ノイズになるカメラセンサのデジタルグリッドの重なりにより発生する干渉パターンであると考えられる。これらのパターンの検出および除去は、多くの用途において重大なステップである。例えば、モアレパターンの検出および除去は、バイオメトリック検証システムにおいて重要なステップであり、ここでこれらのパターンは、キャプチャされるバイオメトリック特徴のライブネス(liveness)を判定し、それによってなりすまし攻撃を防止するために使用され得る。同様に、モアレパターンは、光学文字認識(OCR)を改善するためにスキャン用途に使用され得る。

【0003】

デジタル画像におけるモアレパターンを検出するための公知の方法の一例が、E. Abraham、「Moire Pattern Detection using Wavelet Decomposition and Convolutional Neural Network」、2018 IEEE Symposium Series on Computational Intelligence (SSCI)、Bangalore、India、2018、pp.1275-1279、doi:10.1109/SSCI.2018.8628746に提示されている。モアレパターンを検出するための現在の技術の不利点が、それらの検出精度がデジタル画像の強度プロファイルによって影響され得るということである。これは、モアレパターンの周波数強度が、キャプチャ画像におけるそれらの鮮明度を決定しており、デジタル画像の画素強度に極めて依存するためである。例えば、キャプチャ画像の画素強度が低いほど、それによってキャプチャ画像が暗いほど、画像に存在するモアレパターンの周波数強度は低くなる。キャプチャ画像の露出過多の範囲に同様の影響が観察され得る。結果として、デジタル画像における画素強度変動により、モアレパターンは、正確に検出および/または抽出されないことがあり得、バイオメトリック検証システムにおいてなりすまし攻撃を防止する際に有害であり得る。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】E. Abraham，"Moire Pattern Detection using Wavelet Decomposition and Convolutional Neural Network"，2018 IEEE Symposium Series on Computational Intelligence (SSCI)，Bangalore，India，2018，pp.1275-1279，doi:10.1109/SSCI.2018.8628746

【非特許文献2】Raskar, Ramesh，"Computational Photography: Epsilon to Coded Photograph"，2009

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、先行技術の解決策の不利点を克服する、デジタル画像におけるモアレパターンを検出するためのシステムおよび方法を提供することである。

【0006】

本発明の更なる目的は、バイオメトリック検証システムにおいて人のキャプチャされるバイオメトリック特徴のライブネスを検証するためのシステムおよび方法を提供することである。

【課題を解決するための手段】

【0007】

本発明の目的は、それぞれの独立請求項の技術特性を示すシステムおよび方法により本発明に従って達成される。本発明の好適な実施形態が従属請求項に開示される。

【0008】

本発明の一態様によれば、デジタル画像におけるモアレパターン情報を検出するための方法が提示される。上記方法は、
被写体および/または場面のデジタル画像のセットを受信するステップであって、デジタル画像のセットが、1つまたは複数のカメラによってかつ異なる解像度および/または露出でキャプチャされる画像を含む、ステップと、
セットの中の各デジタル画像を処理して、対応する画像解像度および/または露出でのモアレパターン情報を含む撮像された被写体および/または場面の部分を決定するステップと、
モアレパターン情報を含む撮像された被写体および/または場面の部分を備えたデジタル画像をセットから選択するステップと、
選択されたデジタル画像から、キャプチャされた被写体および/または場面に対する合成(merged)デジタル画像を生成するステップであって、合成デジタル画像が、選択されたデジタル画像の各々において検出されるモアレパターン情報を含む、ステップとを含む。

【0009】

本発明の方法は、異なる画像解像度および/または露出でキャプチャされる同じ被写体および/または場面の複数のデジタル画像から検出されるモアレパターン情報を処理および結合することによってデジタル画像におけるモアレパターンの検出を強化する。一般に、キャプチャされる物体および/または場面の画素強度は、キャプチャされたデジタル画像内で変動し、異なる光/画素強度値を有する画像部分になるものである。そのため、デジタル画像の領域が異なる光/画素強度値で提示され得る。モアレパターンは、デジタル画像の画素強度に依存している。例えば、モアレパターンは、キャプチャ画像の暗いまたは露出過多の領域において検出するのが困難であり得る。したがって、従前の技術では、カメラセンサ限界および照明条件により、モアレパターンのごく一部分だけがデジタル画像において検出され得る。異なる画素強度値を有するデジタル画像の領域からのモアレパターンの検出を強化することが、バイオメトリック検証、光学文字認識(OCR)等を含むがこれらに限定されない用途の範囲において重要である。本発明の方法は、異なる画像解像度および/または露出でキャプチャされる同じ被写体および/または場面のデジタル画像からモアレパターン情報を抽出することによって先行技術の解決策の不利点を克服する。そのため、デジタル画像の異なる領域からモアレパターンを検出することが可能である。例えば、連続したデジタル画像間で画像露出を漸次上げることによって、デジタル画像のより暗い領域の光強度を上げることが可能であり、モアレパターンの露呈になり、それらの正確な検出に至り得る。同様に、連続したデジタル画像間で画像解像度を変動させることによって、デジタル画像においてキャプチャされるモアレパターンを変化させることが可能である。そのため、画像解像度に応じて異なるモアレパターンが出現し得るため、キャプチャされた画像および/または場面からのモアレパターンの検出を更に強化し得る。本明細書に提示される方法において、デジタル画像のセットから検出および/または抽出されるモアレパターン情報が、キャプチャされた物体および/または場面の表現のための単一のデジタル画像へ結合される。結合されたデジタル画像は、モアレパターンを含むセットの中の異なるキャプチャされたデジタル画像からの詳細を結合することによって生成されてよい。例えば、合成デジタル画像は、当該技術において公知の高ダイナミックレンジ撮像技術を使用して生成されてよく、これには、異なる露出値を使用して同じ場面の複数画像をキャプチャし、次いでモアレパターンを含んだそれらの画像を、キャプチャされた場面および/または物体内の階調値の範囲を表現する単一の画像へ結合することを要する。そのため、合成デジタル画像は、デジタル画像の異なる範囲からのモアレパターン情報を含み、それによって先行技術の解決策の不利点を克服するものである。

【0010】

本発明の実施形態によれば、モアレパターンの検出は、ウェーブレット分解および/または多入力深層畳み込みニューラルネットワーク(CNN)を使用して行われてよい。

【0011】

本発明の実施形態によれば、デジタル画像のセットの処理は、セットの中のデジタル画像の各々においてキャプチャされる被写体および/または場面を整列(align)させることを含む。一般に、連続したデジタル画像間で発生した被写体および/または場面のいかなる動き、例えばキャプチャされた人の頭の動きも補償するために、デジタル画像は整列させられる。例えば、デジタル画像の整列は、デジタル画像整列アルゴリズムまたは別の公知の技術を使用してデジタル画像を処理することなど、当該技術において知られている公知の画像レジストレーション技術を使用して行われてよい。例えば、画像レジストレーションは、特徴レジストレーション、画素ベースの整列または任意の他の公知の技術に基づいてよい。

【0012】

本発明の実施形態によれば、デジタル画像を処理するステップは、各デジタル画像を所定の寸法のグリッドへ分割するステップを含む。本発明の実施形態によれば、デジタル画像の処理は、モアレパターン情報を含むグリッド部分を各デジタル画像において検出することを含む。分割は、セットの中のデジタル画像の時間解析を促進し、それによってデジタル画像のセットにおける類似の領域の検出を単純化する。そのため、モアレパターン情報を含むデジタル画像の部分が容易に検出され、そして残りのデジタル画像の対応する部分と比較され得る。画像の分割が種々の仕方で行われ得ることが留意されるべきである。例えば、画像解析はグリッドベースでよく、ここでデジタル画像は小部分へ分けられ、またはそれはオブジェクト分割ベースでよく、ここでデジタル画像は、類似の領域、例えば人の顔を検出するために解析される。

【0013】

本発明の実施形態によれば、デジタル画像の処理は、デジタル画像のセットに対する結合された強度プロファイルを決定するために空間方向および時間方向の両方向のスタック内の各デジタル画像の光(luminous)強度を解析することを含む。分割に基づいて、各デジタル画像の画素強度が、スタックされたデジタル画像の強度プロファイルを得るために空間方向および時間方向の両方向で解析される。強度プロファイル情報は、各デジタル画像において検出されるモアレ干渉ノイズの周波数強度および/またはパターンを決定し、そしてそれらをデジタル画像のスタックにおける対応する画像露出および/または解像度と相関させるために使用されてよい。モアレパターンの相関は、フーリエ/ウェーブレット変換、SURF、SIFT特徴等のような特徴検出および照合方法を使用して行われてよい。また、相関は、畳み込みニューラルネットワーク(CNN)のような訓練された深層学習ネットワークを使用して行われてよい。

【0014】

本発明の実施形態によれば、合成デジタル画像を生成するステップは、モアレパターンを含むセットの中の異なるキャプチャされたデジタル画像からの詳細を、キャプチャされた場面および/または物体内の階調値の範囲を表現する単一の画像へ結合するステップを含む。更に、合成デジタル画像の生成は、セットの中の各デジタル画像から検出される抽出されたモアレパターン情報を空間的に相関させることを含んでよい。本発明の実施形態によれば、合成デジタル画像の生成は、モアレパターン情報の周波数プロファイルを抽出することを含む。各デジタル画像から検出および/または抽出されるモアレパターンは、分割グリッド上にマッピングされ、それによってモアレパターン情報を含むデジタル画像の部分を識別してよい。セットの中のデジタル画像の露出および/または解像度の変動により、各デジタル画像において検出されるモアレパターンの周波数強度は、互いと異なってよい。合成デジタル画像は、デジタル画像および/またはデジタル画像の部分の選択および結合に基づいて生成されてよい。例えば、デジタル画像および/またはデジタル画像の部分は、或る判定基準、例えば特定の範囲内である周波数強度を満たす検出されたモアレパターン情報に基づいて選択されてよい。そのため、選択された部分から検出および/または抽出される抽出されたモアレパターンは、空間的に相関されて、合成デジタル画像における結果的なモアレ周波数の分布プロファイルを決定してよい。更には、合成デジタル画像を生成するために他の公知の方法が使用されてよい。例えば、合成画像は、最大周波数を選択することまたは検出されたモアレパターンの低高周波数を共にデジタル画像のスタックにおいて時間方向に結合することによって生成されてよい。

【0015】

本発明の実施形態によれば、合成デジタル画像は、高ダイナミックレンジ画像である。

【0016】

本発明の第2の態様によれば、人のバイオメトリック特徴のライブネスを判定するための方法が提示される。上記方法は、
人の1つまたは複数のバイオメトリック特徴のデジタル画像のセットをキャプチャするステップであって、デジタル画像のセットが、1つまたは複数のカメラによってかつ異なる解像度および/または露出でキャプチャされる画像を含む、ステップと、
第1の態様の実施形態に従って、デジタル画像からモアレパターン情報を検出し、それに応じて1つまたは複数のバイオメトリック特徴に対する合成デジタル画像を生成するステップと、
合成デジタル画像からモアレパターン情報を抽出するステップと、
抽出されたモアレパターン情報に基づいて、デジタル画像においてキャプチャされた1つまたは複数のバイオメトリック特徴のライブネスを判定するステップとを含む。

【0017】

本発明の第2の態様の実施形態によれば、ライブネスを判定するステップは、モアレパターン情報からモアレ周波数強度を抽出し、そして抽出されたモアレ周波数強度をライブネス閾値と比較するステップを含む。

【0018】

本発明の第2の態様の実施形態によれば、抽出されたモアレ周波数強度がライブネス閾値から第1の範囲内であれば、1つまたは複数のバイオメトリック特徴のデジタル画像を有効とし、そうでなければデジタル画像を拒否する。

【0019】

本発明の方法は、用途の範囲において使用されてよい。例えば、デジタル画像におけるモアレパターンを検出するための方法は、バイオメトリック検証システムの一部であってよい。バイオメトリック検証システムにおいて、なりすまし攻撃と登録ユーザからの正規のアクセス要求との間を区別することができることが重要である。なりすまし攻撃、例えば顔のなりすましでは、不正なユーザが、許可されたユーザの顔の写真、ビデオまたは他の材料を使用することによって不正規のアクセスを得ようとするであろう。そのため、バイオメトリック検証システムは、キャプチャされるバイオメトリック特徴のライブネスを正確に評価することができる必要がある。モアレパターンは、それらの結果的な周波数および/またはパターンプロファイルを評価することによって、キャプチャされたバイオメトリック特徴のライブネスを判定するために使用されてよい。例えば、写真またはビデオから物体をキャプチャすることで、実世界において同じ物体をキャプチャすることとは異なるモアレパターンになるであろう。しかしながら、モアレパターンがキャプチャされるデジタル画像の強度プロファイルに依存するので、バイオメトリック検証システムは、登録ユーザの写真および/またはビデオからモアレパターンを誤って検出し、それによってなりすまし攻撃の成功に至り得る。同様に、バイオメトリック識別システムは、ライブでキャプチャされるデジタル画像からのモアレパターンの誤った検出により登録ユーザからの正規のバイオメトリック検証要求を拒否し得る。例えば、強度が低い画像、すなわち暗い画像ほど、モアレパターンは見えないことがあり得、またはそれらの周波数は低くなり得、そのためモアレパターンは、バイオメトリック検証システムによって正確に検出されず、なりすまし攻撃の成功になり得る。本発明は、異なる解像度および/または露出でキャプチャされた同じ被写体の複数の画像から検出されるモアレパターンのプロファイルを抽出することによって、この問題点を克服する。そのため、本発明により、デジタル画像からモアレパターンのプロファイルおよび/または周波数を正確に抽出し、それによってバイオメトリック検証システムの正確さを改善することが可能である。

【0020】

本発明の第2の態様の実施形態によれば、デジタル画像のキャプチャは、1つまたは複数のバイオメトリック特徴のデジタル画像の連続したキャプチャ間で少なくとも1つのカメラの解像度および/または露出を既定の範囲内で変動させることを含む。本発明の第2の態様の実施形態によれば、カメラの解像度および/または露出は、セットの中の各デジタル画像に対して所定の値だけ変動される。例えば、露出および/または画像解像度は、段階的プロセスで漸次調節されてよく、ここでは各調整ステップは所定の値である。例えば、各デジタル画像の露出は、カメラのシャッター速度および/または口径を調節することによって変動されてよい。同様に、画像解像度は、カメラセンサの解像度を変化させることによって調節されてよい。

【0021】

本発明の第2の態様の実施形態によれば、1つまたは複数のバイオメトリック特徴は、顔特徴である。

【0022】

本発明の第3の態様によれば、バイオメトリック認証のための生体検知システムが提示され、上記システムは、
バイオメトリック認証のために提示される人の対象バイオメトリック特徴のデジタル画像をキャプチャするように構成される少なくとも1つのカメラと、
第2の態様の実施形態に従って、キャプチャされたバイオメトリック特徴のライブネスを判定するように構成されるプロセッサとを備える。

【0023】

以下の図面は、本発明の様々な態様を更に説明および記載するために一例として提供される。

【図面の簡単な説明】

【0024】

【図1】ユーザのライブ画像をキャプチャする一例を図示する。

【図2】ユーザの画像を示す画面または写真のデジタル画像をキャプチャする一例を図示する。

【図3】本発明の実施形態に係るバイオメトリック検証システムの一例を図示する。

【図4】本発明の実施形態に係るバイオメトリック特徴のライブネスを検知するための処理パイプラインの一例を図示する。

【図5】本発明の実施形態に係るカメラセンサの解像度を変動させる一例を図示する。

【図6】本発明の実施形態に係る異なる解像度および/または露出でキャプチャされる多変量デジタル画像のセットの一例を図示する。

【図7】本発明の実施形態に係るキャプチャされた多変量デジタル画像がどのように分割され得るかの一例を図示する。

【図8】本発明の実施形態に係る異なるモアレパターンがどのように異なるデジタル画像において検出され得るかの一例を図示する。

【図9】本発明の実施形態に係る合成デジタル画像の一例を図示する。

【図10】本発明の実施形態に係るデジタル画像のセットにおいて検出されるモアレパターンの合成画像の一例を図示する。

【発明を実施するための形態】

【0025】

本発明は、図1～図10に図示される例証的な実施形態を使用して例示されることになり、以下より詳細に記載されることになる。寸法に対してなされるいかなる言及も単に例示であり、いかなる形であれ本発明を限定するものではないことが留意されるべきである。本発明がその或る例示される実施形態を参照しつつ図示および記載されたが、添付の特許請求の範囲によって包含される本発明の範囲から逸脱することなくその実施形態に形態および詳細の様々な変更がなされ得ることが当業者によって理解されるであろう。更には、本発明がデジタル画像におけるモアレパターンを検出するための特定のシステムおよび方法ならびにバイオメトリック検証システムにおいてバイオメトリック特徴のライブネスを評価するための対応する方法およびシステムを参照しつつ記載されたが、添付の特許請求の範囲によって包含される本発明の範囲から逸脱することなく本システムおよび方法が、光学文字認識(OCR)用途においてなど、他の用途においてモアレパターンの検出のために使用され得ることが当業者によって理解されるべきである。

【0026】

デジタル画像におけるモアレパターンの検出は、用途の範囲において使用されてよい。例えば、モアレパターンの検出は、バイオメトリック検証システムにおいてバイオメトリック特徴のライブネスの検知を促進し得る。同様に、モアレパターンの検出は、スキャン文書または写真からの文字の検出を改善するためにOCR用途において使用されてよい。特に、生体検知に関して、キャプチャされたデジタル画像におけるモアレパターン検出は、生体検知精度を改善することが証明されている。生きている被写体、例えばカメラの前に座っている人のキャプチャされたデジタル画像において検出されるモアレパターンが、キャプチャ画像が文書のスキャンまたは同じ被写体の写真であるときに検出されるモアレパターンと異なるであろうことが知られている。図1に図示されるように、キャプチャ機器110、例えば移動電話のカメラを使用して人200のデジタル画像をキャプチャすることで、第1の周波数強度および/またはプロファイルを有する検出モアレパターンになり得る。例えば、画像が電話のディスプレイ111に表示されるとき、検出されたモアレパターンは、あまり見えず、そのためより低い強度を有し、または異なる周波数プロファイルを有し得る。しかしながら、同じ被写体の写真300のデジタル画像をキャプチャすることは、第2の周波数強度および/またはプロファイルを有するモアレパターンになり得る。例えば、図2に図示されるように、移動電話110の表示画面111に表示される、写真400のキャプチャされたデジタル画像から検出および/または抽出されるモアレパターンは、図1において検出されるモアレパターンと比較して高周波数強度および/または異なるプロファイルであり得る。これは、人の写真400がモアレパターン310を既に含んでおり、それがキャプチャ装置110のイメージセンサによってキャプチャされかつ増幅され得るためである。そのため、キャプチャされたデジタル画像におけるモアレパターンを検出することによって、被写体のライブネスを検知することが可能であり、バイオメトリックなりすまし攻撃を防止する際に特に有用である。

【0027】

図3は、本発明の実施形態に係るユーザの身元を検証するように構成されるバイオメトリック検証システム100の一例を図示する。バイオメトリック検証システム100は、キャプチャモジュール110、例えばカメラを介してバイオメトリック特徴、例えば顔特徴をキャプチャするように構成されてよい。キャプチャされたバイオメトリック特徴は、ライブネスを判定するために生体検知モジュール120によって処理されてよい。一旦ライブネスが判定されると、バイオメトリック特徴は、バイオメトリック検出モジュール130によってキャプチャされたデジタル画像において検出され、次いでバイオメトリック照合モジュール140によって記憶されたバイオメトリック特徴と照合されてよい。バイオメトリック一致が同定されれば、ユーザは検証され、追加的に承認モジュール160によって、例えばアプリケーションにアクセスする等のアクションを行う許可を与えられてよい。ユーザとおよび他の接続されるシステムと通信するために通信モジュール150が設けられてよい。いかなる段階でも、バイオメトリック検証は中止されてよい。例えば、生体検知が失敗する、または一致するバイオメトリック特徴が見つからない場合である。

【0028】

従前どおり、キャプチャ画像においてモアレパターンを検出することによって生体検知が行われてよい。しかしながら、公知の技術の不利点が、それらが単一の画像からモアレパターンを抽出することに依存するということである。モアレパターン検出の精度がキャプチャ画像の画素強度によって影響され得ることが周知である。例えば、画素強度が低いほど、したがってキャプチャ画像が暗いほど、モアレパターンの周波数強度が低いことが見出されている。そのため、生体検知の精度は、キャプチャ画像の画素強度によって極めて影響され得る。生体検知の精度の変動は、誤検出、例えばなりすまし攻撃の成功、または検出漏れ、例えばユーザの生のバイオメトリック特徴を誤って拒否することに至り得る。対照的に、本発明の生体検知システムは、異なる画像解像度および/または露出で撮影される多変量デジタル画像のセットから検出されるモアレパターンを評価することによって生体検知精度を改善することを意図する。言い換えれば、本発明は、キャプチャされるバイオメトリック特徴の画素強度および/または発生されるモアレパターンを調節するために、キャプチャされるデジタル画像の画像解像度および/または露出を変動させる。キャプチャ画像の光強度および/または解像度を調節することによって、検出および/または抽出されるモアレパターンの周波数強度および/またはプロファイルを調節し、したがって様々な画素強度を有するキャプチャ画像からのモアレパターンの検出を可能にすることが可能である。

【0029】

図4は、本発明の実施形態に係る生体検知処理パイプラインの一例を図示する。生体検知処理パイプラインは、キャプチャされた被写体の多変量デジタル画像のセットからモアレパターンを検出することに基づく。本発明の文脈では、多変量デジタル画像は、異なる画像解像度および/または露出で1つまたは複数の画像キャプチャデバイス110によってキャプチャされるデジタル画像を指す。生体検知処理パイプラインは、バイオメトリック検証システム100の生体検知モジュール120の一部であってよい。図4に図示されるように、画像キャプチャデバイス110、例えば、デジタル画像をキャプチャすることが可能である、移動電話のカメラ等が提供されてよい。一旦バイオメトリック検証システム100において認証要求が受信されると、生体検知モジュール120は、被写体および/または場面、例えば人の顔特徴の多変量デジタル画像のセット122をキャプチャするためにキャプチャデバイス110を動作させてよい。キャプチャされる各デジタル画像に対して、キャプチャデバイス110の解像度および/または露出設定は、解像度/露出変更器モジュール121を使用して所定の値だけ変更されてよい。例えば、各デジタル画像に対して、画像露出を制御する、カメラの絞りおよび/またはシャッター速度が所定の値だけ変動されてよい。同様に、セットの中の各デジタル画像の解像度が変更されて、例えば所定の値だけ増減してよい。画像解像度および/または露出は、キャプチャモジュール110のファームウェアおよび/またはハードウェア設定を調節することによって各デジタル画像122に対して変動されてよい。例えば、解像度/露出変更器121は、例えばシャッター速度、絞りおよび/または画像解像度を変化させることによって、各デジタル画像が異なる画像露出および/または解像度で撮影されるようにキャプチャモジュール110を制御するようにプログラムされてよい。更には、キャプチャモジュール110は、各々異なる画像解像度および/または露出でデジタル画像をキャプチャするように構成される、複数のカメラを備えてよい。そのため、解像度/露出変更器121は、デジタル画像122をキャプチャするためにキャプチャモジュールの異なるカメラ間で切り替わってよい。加えて、キャプチャモジュール110の解像度は、符号化写真術と同様にカメラセンサ解像度を調節するためにカメラセンサの前に追加のハードウェア部品を提供することによって調節されてよい。例えば、追加のハードウェア部品は、カメラセンサ解像度が下げられるようにカメラセンサの前に配置されるように構成されるマスクでよい。外部マスクは、それがカメラセンサの前に配置されるとその解像度を下げるように設計されてよい。ハードウェア部品を使用する符号化写真術の一例が、Raskar, Ramesh.(2009)、「Computational Photography: Epsilon to Coded Photograph」に述べられている。図5に図示されるように、カメラセンサ112解像度の低下は、デジタル画像における異なるモアレパターン310になり得、キャプチャされた被写体および/または場面のライブネスを評価するために使用されてよい。キャプチャされるべきデジタル画像122の数は、完全に用途に依存しており、詳細が必要とされる。少なくとも2つの画像が異なる露出および/または解像度でキャプチャされてよい。

【0030】

図4に戻り、一旦セットの中の所望の数のデジタル画像が得られると、デジタル画像のセット122内のキャプチャされた被写体および/または場面を整列させるために画像レジストレーションモジュール123が設けられてよい。画像レジストレーションは、任意の公知の利用可能なアルゴリズムを使用して後処理ステップとして行われてよい。同等に、画像レジストレーションは、例えばキャプチャ画像から動きを検出および除去するためにセンサを使用して、デジタル画像のキャプチャ中に行われてよい。一旦整列されると、各画像は、分割モジュール124を使用して部分へ分割される。分割は、グリッド分割または任意の他の公知の分割技術、例えば物体および/もしくは形状検出等でよい。分割結果に基づいて、各デジタル画像の強度プロファイルが、強度解析モジュール125を使用して解析される。強度解析モジュール125は、任意の公知の方法を使用して、空間方向および時間方向の両方向でデジタル画像の光強度を解析し、それによってデジタル画像のセットに対する強度プロファイルを生成するように構成される。強度プロファイルに基づいて、各デジタル画像は、対応する画像解像度および/または露出と相関されてよい。モアレパターン情報を含む部分を各デジタル画像に対して決定することによって、各デジタル画像にモアレパターンが検出されてよい。例えば、或る部分は、対応する周波数強度が所定の範囲内であれば、モアレパターン情報を含むとして考えられてよい。モアレパターンは、当該技術において公知のウェーブレット技術などの公知の方法を使用して検出されてよい。一旦各デジタル画像122にモアレパターンが同定されると、モアレパターンプロファイリングモジュール126を使用してデジタル画像のセット内のモアレパターンのプロファイルが生成されてよい。モアレパターンを含むデジタル画像は、例えば高ダイナミックレンジ(HDR)技術または同様のアルゴリズムを使用して、単一のデジタル画像へ合成されてよい。このようにして、関連するデジタル画像の関連する階調値および画素強度が単一の画像へ共に融合されて、各対応する画像解像度および/または露出で同定されるモアレパターンの融合になってよい。融合モアレパターン生成モジュール127を使用して合成デジタル画像におけるモアレパターンの融合(fused)画像が生成されてよい。融合モアレパターン画像は生体検知アルゴリズムに送られてよく、それによって融合モアレパターンの周波数強度および/またはプロファイルが所定のライブネス閾値および/または値と比較されてよい。結果は、バイオメトリック検証システム100の残りのモジュールに送られてよい。例えば、生体検知が否定結果を返せば、キャプチャされたバイオメトリック特徴は、偽の画像から生成されているとして考えられ、それによって要求を拒否してよい。そうでなければ、プロセスは、図3を参照しつつ前に説明したように、バイオメトリック検出および照合に進んでよい。

【0031】

OCR用途などの異なる用途において、処理パイプラインは、それが、モアレパターンの融合画像モジュール128によって生成されるものなどの合成デジタル画像におけるモアレパターンの検出に適用されるだけであるように、それに応じて適合されてよい。同様に、より簡略化されたプロセスパイプラインが採用されてよく、
- 各々異なる画像解像度および/または露出を使用して撮影される、対象被写体および/または場面に対するデジタル画像のセットをキャプチャするステップと、
- セットの中の各デジタル画像を処理して、対応する画像解像度および/または露出でのモアレパターン情報を含む撮像された被写体および/または場面の部分を決定するステップと、
- モアレパターン情報を含む撮像された被写体および/または場面の部分を備えたデジタル画像をセットから選択するステップと、
- 選択されたデジタル画像から、キャプチャされた被写体および/または場面に対する合成デジタル画像を生成するステップであって、合成デジタル画像が、選択されたデジタル画像の各々において検出されるモアレパターン情報を含む、ステップとを含んでよい。

【0032】

図6～図10は、デジタル画像のセットにおけるモアレパターンの融合画像がどのように生成され得るかの例を図示する。例えば、図6に図示されるように、人の顔の3つの多変量画像のセット122が、カメラを使用してキャプチャされてよい。各画像は、異なる解像度および/または露出でキャプチャされ、デジタル画像のセット122内で光強度の変動になってよい。例えば、各デジタル画像122が異なる露出時間、例えば1/8、1/2、2でキャプチャされてよい一方で、残りのパラメータ、例えばISOおよび絞りは同じのままでよい。他のパラメータも必要に応じて調節され得ることが留意されるべきである。一旦キャプチャされると、デジタル画像122は、図7に図示されるように、画像分割モジュール124を使用して所定の寸法のグリッドへ分割されてよい。分割に基づいて、各デジタル画像122の光強度プロファイルが決定されてよい。モアレパターン310-A、310-Bおよび310-Cが、図8に図示されるように、モアレパターンプロファイリングモジュール126を使用して各デジタル画像122において検出されてよい。或る周波数および/またはプロファイルのモアレパターンを含む関連するデジタル画像、この場合には3つ全てが、図9に図示されるように、モアレパターン融合モジュール127を使用して合成されて、全ての関連する画像122からのモアレパターンを含む合成デジタル画像127aを生成する。合成デジタル画像127aはHDR画像であり、したがって全ての関連するデジタル画像122からの詳細を含んでよい。合成デジタル画像127aから、図10に図示されるように、融合モアレパターン画像128が抽出されてよい。

【0033】

一般に、本発明の実施形態を実装するために実行されるルーチンは、オペレーティングシステムの一部として実装されるか、特定のアプリケーション、コンポーネント、プログラム、オブジェクト、モジュールもしくは命令のシーケンス、またはそのサブセットとしてさえ実装されるかを問わず、本明細書において「コンピュータプログラムコード」または単に「プログラムコード」と称されてよい。プログラムコードは、典型的に、コンピュータ内の様々なメモリおよび記憶デバイスにおいて様々な時間に常駐し、かつコンピュータ内の1つまたは複数のプロセッサによって読み込まれて実行されると、そのコンピュータに、本発明の実施形態の様々な態様を具現化する動作および/または要素を実行するのに必要な動作を行わせるコンピュータ可読命令から成る。本発明の実施形態の動作を実施するためのコンピュータ可読プログラム命令は、例えばアセンブリ言語でよく、またはソースコードかオブジェクトコードが1つまたは複数のプログラミング言語の任意の組合せで書き込まれる。

【0034】

本明細書に記載されるアプリケーション/モジュールのいずれかに具現化されるプログラムコードは、各種の異なる形態でプログラム製品として個別にまたは集合的に配布されることが可能である。特に、プログラムコードは、プロセッサに本発明の実施形態の態様を実施させるためにコンピュータ可読プログラム命令を有したコンピュータ可読記憶媒体を使用して配布されてよい。コンピュータ可読記憶媒体は、本質的に非一時的であり、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなどの情報の記憶のための任意の方法または技術で実装される揮発性および不揮発性、かつリムーバブルおよび非リムーバブルな有形媒体を含んでよい。コンピュータ可読記憶媒体は、RAM、ROM、消去可能プログラマブルリードオンリメモリ(EPROM)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、フラッシュメモリもしくは他のロバストなステートメモリ技術、ポータブルコンパクトディスクリードオンリメモリ(CD-ROM)もしくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望の情報を記憶するために使用できかつコンピュータによって読み取ることができる任意の他の媒体を更に含んでよい。コンピュータ可読記憶媒体は、一時的な信号そのもの(例えば、電波もしくは他の伝搬電磁波、導波管などの伝送媒体を通って伝搬する電磁波、または電線を通って伝送される電気信号)として解釈されるべきでない。コンピュータ可読プログラム命令は、コンピュータ可読記憶媒体またはネットワークを介して外部コンピュータもしくは外部ストレージデバイスからコンピュータ、別の種類のプログラマブルデータ処理装置または別のデバイスにダウンロードされてよい。コンピュータ可読媒体に記憶されるコンピュータ可読プログラム命令は、コンピュータ、他の種類のプログラマブルデータ処理装置または他のデバイスが特定の方法で機能するように指示するために使用され、コンピュータ可読媒体に記憶された命令が、フローチャート、シーケンス図および/またはブロック図に指定された機能/行為を実装する命令を含む製造品を生成してよい。コンピュータプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置の1つまたは複数のプロセッサに提供されて機械を生成し、命令が、1つまたは複数のプロセッサを介して実行し、一連の計算を行わせて、フローチャート、シーケンス図および/またはブロック図に指定された機能および/または行為を実装してよい。

【0035】

或る代替の実施形態において、フローチャート、シーケンス図および/またはブロック図に指定された機能および/または行為は、本発明の範囲から逸脱することなく並べ替えられ、連続的に処理されおよび/または同時に処理されてよい。その上、フローチャート、シーケンス図および/またはブロック図のいずれも、本発明の実施形態に合わせて例示されるものより多くのまたは少ないブロックを含んでよい。

【0036】

本明細書で使用される技術用語は単に特定の実施形態を記載する目的であり、本発明の実施形態を限定しているとは意図されない。本明細書で使用される場合、単数形「a」、「an」および「the」は、文脈が別途示さない限り、複数形も含むと意図される。用語「comprises」および/または「comprising」は、本明細書で使用されると、明言された特徴、完全体、ステップ、動作、要素および/または部品の存在を特定するが、1つまたは複数の他の特徴、完全体、ステップ、動作、要素、部品および/またはその群の存在または追加を排除しないことが更に理解されるであろう。更には、用語「includes」、「having」、「has」、「with」、「comprised of」またはその変形が詳細な説明か特許請求の範囲かに使用される限り、そのような用語は、用語「comprising」と同様に包括的であると意図される。

【0037】

様々な実施形態の説明が本発明の全てを例示したが、かつこれらの実施形態が相当詳細に記載されたが、添付の特許請求の範囲をそのような詳細に制限することまたはいかなる形であれ限定することは本出願人の意図でない。追加の利点および変更は、当業者には直ちに明らかであろう。本発明のより広い態様は、したがって図示および記載された具体的な詳細、代表装置および方法、ならびに例示的な例に限定されない。それに応じて、本出願人の一般発明概念の趣旨または範囲から逸脱することなく、そのような詳細から逸脱し得る。

【符号の説明】

【0038】

100 バイオメトリックシステム
110 キャプチャモジュール
111 ディスプレイ
112 カメラセンサ
120 生体検知モジュール
121 解像度/露出変更器モジュール
122 多変量デジタル画像のセット
123 画像レジストレーションモジュール
124 分割モジュール
125 強度解析モジュール
126 モアレパターンプロファイリングモジュール
127 融合モアレパターン生成モジュール
127a 合成デジタル画像
128 モアレパターンの融合画像モジュール
130 バイオメトリック検出モジュール
140 バイオメトリック照合モジュール
150 通信モジュール
160 承認モジュール
200 人
300 写真
310，310-A，310-B，310-C モアレパターン
400 写真

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】