特許 7130905 フィードフォワード畳み込みニューラルネットワークを使用した高速且つ堅牢な皮膚紋理の印のマニューシャの抽出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-29

(45)【発行日】2022-09-06

(54)【発明の名称】フィードフォワード畳み込みニューラルネットワークを使用した高速且つ堅牢な皮膚紋理の印のマニューシャの抽出

(51)【国際特許分類】

   G06V 40/12 20220101AFI20220830BHJP

   G06N 3/08 20060101ALI20220830BHJP

   G06T 7/00 20170101ALI20220830BHJP

【ＦＩ】

G06V40/12

G06N3/08

G06T7/00 350C

G06T7/00 530

【請求項の数】 13

(21)【出願番号】P 2021500518

(86)(22)【出願日】2019-06-18

(65)【公表番号】

(43)【公表日】2021-11-25

(86)【国際出願番号】 IB2019055084

(87)【国際公開番号】W WO2020254857

(87)【国際公開日】2020-12-24

【審査請求日】2021-02-01

(73)【特許権者】

【識別番号】518070629

【氏名又は名称】ユーエービー “ニューロテクノロジー”

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ナクヴォサス、アルトゥラス

【審査官】佐藤 実

(56)【参考文献】

【文献】Thomas Pinetz et al.，Using a U-Shaped Neural Network for minutiae extraction trained from refined, synthetic fingerprints，Proceedings of the OAGM&ARW Joint Workshop 2017，2017年，pp.146-151

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ４０／１２

Ｇ０６Ｔ ７／００

Ｇ０６Ｎ ３／０８

(57)【特許請求の範囲】

【請求項1】

１または複数のコンピュータにより実装されるニューラルネットワークシステムであって、前記ニューラルネットワークシステムは、
ニューラルネットワークであって、前記ニューラルネットワークは、畳み込みニューラルネットワークであり、前記ニューラルネットワークは、
前記ニューラルネットワークにより、それぞれの入力信号が処理され、
前記ニューラルネットワークの第１レイヤーにおいてバイオメトリック入力信号を受信することであって、前記バイオメトリック入力信号は皮膚紋理の印を表す、受信することと、
前記バイオメトリック入力信号を処理することと、
前記ニューラルネットワークの最後のレイヤーにおいて出力特徴マップを生成することと、
を行うように構成されており、前記バイオメトリック入力信号は、前記出力特徴マップのチャネルの数を増加させ、前記入力信号に対する空間分解能を減少させる一連の畳み込みレイヤブロックを通過し、
前記出力特徴マップは、前記畳み込みレイヤブロックの最後のブロックから異なる畳み込み分岐へと伝搬され、前記ニューラルネットワークは、ポジティブクラス損失、ネガティブクラス損失、所在損失、方位損失の４つの部分で構成される多損失関数を用いることによりトレーニングされる、ニューラルネットワークと、
サブシステムであって、前記サブシステムは、
前記ニューラルネットワークから前記出力特徴マップを受信することであって、前記出力特徴マップは、クラス、向きおよび位置を含み、前記出力特徴マップは、入力解像度の１／８に等しい空間分解能を有する、受信することと、
前記出力特徴マップをデコードすることと、
前記皮膚紋理の印のマニューシャを表す前記デコードされた出力特徴マップを出力することと
を行うように構成されている、サブシステムと、
を備える、システム。

【請求項2】

前記出力特徴マップをデコードすることは、前記出力特徴マップを皮膚紋理の印のマニューシャの数値表現に変換することを備え、前記マニューシャの数値表現は、少なくとも、前記クラス、前記向き、および前記位置を含む、請求項１に記載のシステム。

【請求項3】

前記マニューシャのクラスは、線端、分岐、上記のいずれでもないもののうちの１つである、請求項２に記載のシステム。

【請求項4】

前記ニューラルネットワークは完全畳み込みニューラルネットワークである、請求項１から３のいずれか一項に記載のシステム。

【請求項5】

入力された前記皮膚紋理の印の信号はデジタル画像である、請求項１から４のいずれか一項に記載のシステム。

【請求項6】

前記出力特徴マップは、一連の別個の出力畳み込みレイヤー分岐の活性化マップを備える、請求項１から５のいずれか一項に記載のシステム。

【請求項7】

非線形のｐｏｉｎｔｗｉｓｅ活性化関数は、Ｓｉｇｍｏｉｄ、Ｈｙｐｅｒｂｏｌｉｃ Ｔａｎｇｅｎｔ、Ｃｏｎｃａｔｅｎａｔｅｄ ＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、ＭＡＸｏｕｔ、ＲｅＬＵ、ＲｅＬＵ－６、Ｐａｒａｍｅｔｒｉｃ ＲｅＬＵのうちの１つである、請求項１から６のいずれか一項に記載のシステム。

【請求項8】

畳み込みは、通常の畳み込み、ｄｅｐｔｈｗｉｓｅの分離可能な畳み込みまたは１×１畳み込みと組み合わせたグループ化畳み込みまたは他の種類の畳み込みのうちの１つである、請求項１から７のいずれか一項に記載のシステム。

【請求項9】

前記マニューシャのポジティブクラス推定は分類問題である、請求項１から８のいずれか一項に記載のシステム。

【請求項10】

前記マニューシャのネガティブクラス推定は分類問題である、請求項１から９のいずれか一項に記載のシステム。

【請求項11】

前記マニューシャの方位推定は回帰問題である、請求項１から１０のいずれか一項に記載のシステム。

【請求項12】

前記マニューシャの所在推定は回帰問題である、請求項１から１１のいずれか一項に記載のシステム。

【請求項13】

各バイオメトリック入力信号のソースは、バイオメトリックリーダ、メモリからロードされたものまたは生成されたもののうちの１つである、請求項１から１２のいずれか一項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、完全畳み込みフィードフォワードニューラルネットワークを使用してデジタル信号からノイズロバストな皮膚紋理の印のマニューシャの抽出のためのシステムおよび方法に関する。

【背景技術】

【0002】

指紋は、個人の識別または確認のための最も信頼性の高い、一般的に使用されているバイオメトリックモダリティであるとみなされる。指紋（２０３）自体は、指の肌の摩擦により残された印である。各個人は、その各々が隆線および谷のパターンである固有の指紋２０３を有する。これらの隆線および谷は、図２で見られるように、隆線終端（２０１）および隆線分岐（２０２）の２つの最も顕著な局所的隆線特性を形成する。指紋マニューシャの抽出は、指紋画像を使用した個人の識別または確認における２つの主なステップのうちの１つであり、もう一つは指紋マニューシャ照合である。指紋と同様に、手のひら、足の裏、および足指も、肌の皮膚紋理を有しており、したがって、本明細書に開示された技術および方法は、より多い皮膚紋理の印の種類に適用され得る。

【0003】

指紋マニューシャの抽出は画像処理タスクであり、ここで、指紋画像はプロセスの入力で、このプロセスの出力は、それらの具体的な特性を有する一連の指紋マニューシャである。これらの特性は、マニューシャのクラス、すなわち、隆線終端、隆線分岐、または上記のいずれでもないものを含み、マニューシャの方向を表し、元の画像内のマニューシャの位置を表す座標でもある方位である。

【0004】

実際の指紋のスキャンを処理することは、指紋マニューシャの抽出を複雑にする多くの障害物をもたらす。同じスキャナを使用して生成された指紋画像は、以下の様々な要因により大幅に異なり得る：被験者がスキャナに自分の指を置く方法、指の水分レベルが一定でないこと、また、スキャニング中の指の向き、または複数の指紋スキャン間の領域交差点の変動など。異なる指紋スキャナを使用してスキャンされた指紋は、異なる画像解像度、コントラストレベル、画像品質などのような追加の課題をもたらす。

【0005】

従来の指紋マニューシャの抽出プロセスは、複数の段階の画像処理、手で加工された特徴を取得するための変換からなり得る。その一方で、ディープニューラルネットワークは、能率化された、効率的且つ柔軟な解決手段を保証する。ディープニューラルネットワークを使用した指紋特徴抽出装置の構築における多くのアプローチは、有望な結果をもたらすが、それらのすべては、より一般的な画像処理タスクに対するディープニューラルネットワークの応用と比較した場合、依然として複雑すぎて、堅牢性に欠ける。

【0006】

特定のタスクを実行するのに非常に効率的且つ効果的なコンパクトディープニューラルネットワークを構築することは、困難な課題である。それは、１つのタスクに対してうまく機能するニューラルネットワークを使用して異なるタスクにそれを適用する単純な解決手段のように思われ得る。しかしながら、多くの場合はそうではない。複数の要因が、他の解決手段より優れていると証明されたニューラルネットワークの調整の複雑性を構成する。そのような困難のうちの１つは、ニューラルネットワークの解析が難しいということである。従来の形態のニューラルネットワークは、重み、バイアス、畳み込みなどのレイヤーから構築される。ニューラルネットワークベースのシステムを構築する場合に起こる課題の数例を挙げると、以下の通りである。テストフェーズ中またはネットワークのキャパシティの評価中に取得された重みニューラルネットワークを解釈して、提供されたデータセットに基づいて所与のタスクを安定した方法で処理することに適合するのは、多くの場合、非常に難しい。一般的に、困難さのほとんどは、データの数学的解析、ニューラルネットワークトレーニング方法、およびネットワーク自体のアーキテクチャに関連するものと要約され得る。

【0007】

本発明は、フィードフォワード畳み込みネットワーク構造を使用して指紋画像から指紋マニューシャを迅速かつ歪みに対して堅牢な抽出する方法を説明する。本発明の不可欠な部分は、ニューラルネットワークの構造および特性を識別することを備える。

【0008】

指紋画像から指紋マニューシャを抽出する既存の方法が多く存在する。それらのほとんどは、適切に高品質な指紋画像に依存しており、これは実生活のシナリオにおいて、多くの場合、特に、潜在指紋を処理する場合に、そうではない。ぼやけたまたは低コントラストの指紋画像により起こるいくつかの困難を解決すべく、いくつかの抽出アルゴリズムは、Ｇａｂｏｒまたは同様のフィルタを利用して指紋特徴を抽出するが、これらのアルゴリズムでも、ノイズのある画像における真の指紋特徴を確実に抽出することはできない。ディープニューラルネットワークの出現は、信号処理産業において、手作り特徴を抽出するアルゴリズムから、このタスクを実行するための人工ニューラルネットワークをトレーニングすることへ多大な変化をもたらした。指紋画像の処理はこの変化の一部分である。

【0009】

指紋マニューシャの抽出のためのニューラルネットワークの使用の１つの例は、（Ｓａｎｋａｒａｎ，２０１４）に示される。積層ノイズ除去スパースオートエンコーダが、マニューシャの特徴記述子および非マニューシャの特徴記述子の両方を学習するのに利用される。これらの記述子は後ほど、対応するマニューシャおよび非マニューシャのバイナリ分類器を構築して、画像パッチがマニューシャの特徴を含むかまたはマニューシャの特徴を含まないかを分類するのに使用される。マニューシャの特徴マップを抽出するために、全体の指紋画像は指定サイズの重複パッチに分割し、全てのパッチはマニューシャの記述子と非マニューシャの記述子との両方をベースとするバイナリ分類器により分類される。最終スコアは、両方のバイナリ分類器の出力の重み付けされた合計の結合により取得される。このアプローチは全ての画像パッチに対して推定ステップを実行し、分類された画像パッチの中央としてマニューシャの概略位置のみを戻す。ここで、マニューシャの向きは考慮されていない。最後に、トレーニングは以下の２つのステップのプロセスである。積層ノイズ除去スパースオートエンコーダが特徴記述子を学習するためにトレーニングされ、オートエンコーダからデコーダレイヤーを除去して分類器レイヤーを追加することによりニューラルネットワークモデルが生成される。これは分類タスクに従って微調整される。

【0010】

指紋画像からのマニューシャの抽出におけるニューラルネットワークの使用の別の例は、（Ｙａｏ Ｔａｎｇ，２０１７）に与えられる。提案されたアルゴリズムは、完全畳み込みニューラルネットワークを用いた提案生成であって、ここで、対応するスコアを有するマニューシャマップが未加工の指紋画像から生成される、提案生成と、畳み込みニューラルネットワークを用いた提案マニューシャの分類であって、ここで、対応するマニューシャの位置および向きも抽出される、分類との２つのステップを備える。これらの２つのニューラルネットワークは、マニューシャ抽出速度を加速させるために畳み込みレイヤーの重みを共有し、全体のプロセスは、特徴マップ抽出、提案生成、および地域ベースの分類といった段階に分割され得、ここでマニューシャ特性が抽出される。我々のアプローチは、少なくとも、指紋画像が単一の段階において処理され、中間提案生成および地域ベースの分類を必要とすることなくマニューシャ特徴マップ抽出をもたらすという点で異なる。

【0011】

指紋画像からのマニューシャ抽出のためのニューラルネットワークの使用のさらに別の例が（Ｙａｏ Ｔａｎｇ，２０１７）に与えられる。ディープニューラルネットワークは、多層ニューラルネットワークブロックを有する従来の指紋マニューシャの抽出パイプラインで使用された方位推定、セグメンテーション、拡大および抽出の従来の演算を置換することにより構築される。結果として、セグメント方位フィールドおよび拡大された指紋画像は、未加工の指紋画像から再構成され、マニューシャマップとともに抽出され得、ここで、正確な位置、方位および信頼性を含むローカル特徴が与えられる。このアプローチは、少なくとも、我々のアプローチにおいて、簡略化されたニューラルネットワークアーキテクチャをもたらす中間表示を使用することなくマニューシャの特徴に指紋画像がマッピングされるという点で、我々の実装と異なる。

【0012】

指紋マニューシャの抽出のためにニューラルネットワークを使用するさらに別のアプローチ（Ｄａｒｌｏｗ，２０１７）において、ピクセルは、指紋画像において、マニューシャのクラスに属するまたは属しないものに分類される。アルゴリズムは、畳み込みニューラルネットワークを使用して、中央に配置された関心ピクセルで指定サイズの画像パッチを分類することにより実装される。マニューシャの特徴マップは、指紋画像全体にわたってウィンドウアプローチをスライドさせ、その結果を後処理することによって取得される。最後に、マニューシャの方位は、ローカル方位推定の従来の方法を使用することにより計算される。このアプローチは、少なくとも、前者がより複雑な画像処理パイプラインを有するという点で我々の実装と異なる。ニューラルネットワークからの出力に対して後処理が実行され、追加の従来のアルゴリズムがマニューシャ方位推定に使用される。

【0013】

指紋画像からのマニューシャの特徴抽出は、（Ｔｈｏｍａｓ Ｐｉｎｅｔｚ，２０１７）でバイナリセマンティックセグメンテーション問題に変換される。Ｕ字型ニューラルネットワークモデルは、未加工の指紋画像に対してセマンティックセグメンテーションを実行するために使用され、結果的に、入力画像の各ピクセルは、マニューシャタイプまたは非マニューシャタイプに分類される。方位フィールドは、その後、マニューシャポイントの方位を計算するために使用される。

【0014】

マニューシャ特徴は、（Ｄｉｎｈ－Ｌｕａｎ Ｎｇｕｙｅｎ，２０１８）における２つの別個の畳み込みニューラルネットワークを使用することにより指紋画像から抽出される。ＣｏａｒｓｅＮｅｔという名前の第１畳み込みニューラルネットワークは、方位とともにマニューシャスコアマップを生成する。その後、ＦｉｎｅＮｅｔという名前の第２畳み込みネットワークが、ＣｏａｒｓｅＮｅｔにより生成された各候補パッチを分類するために使用される。第２ステップの実行中に、両方のマニューシャ位置と方位とが補正される。

【0015】

別の例では、畳み込みニューラルネットワークは、（Ｋａｉ Ｃａｏ，２０１８）における潜在指紋認識パイプラインで使用される。畳み込みニューラルネットワークは、隆線の流れの推定に使用される。また、畳み込みニューラルネットワークは、指紋認識パイプラインにおける各マニューシャの記述子を抽出するために使用される。当該アプローチは、指紋マニューシャがニューラルネットワークを使用することなく抽出されるので、我々のアプローチと大幅に異なる。

【0016】

ＵＳ５５７２５９７において、ニューラルネットワークは、元の指紋画像から抽出された特徴のローカルパターンを分類するのに適用される。これらの分類されたローカルパターンは後ほど使用されて指紋画像のクラスを決定し、指紋識別のプロセスにも使用され得る。

【0017】

その一方で、ＵＳ５８２５９０７において、ニューラルネットワークは、指紋の粗い方向のマップを複数の指紋クラスのうちの１つに分類するのに利用される。

【0018】

ＵＳ５８９２８３８に示されるものはバイオメトリック認識のためのシステムであり、ここでニューラルネットワークは対比ベクターを分類するのに使用される。これらの対比ベクターは、認証されたユーザのバイオメトリック指標のマスタパターンセットと、認証される予定のユーザのサンプルパターンセットとの間の類似性を表す。

【0019】

ＵＳ７０８２３９４において、歪み判別解析ベースの畳み込みニューラルネットワークは、例えば、オーディオ、画像またはビデオデータのような１または複数の次元を有するテスト信号の特徴を抽出するのに使用される。これらの抽出された特徴は後ほど、分類、回収または識別タスクに使用される。最後に、ニューラルネットワークはバイオ信号とともに、ＵＳ２００６０２１５８８３Ａ１のバイオメトリック識別方法において使用される。

【0020】

ＣＮ１０７４８０６４９は、指紋画像から汗孔を抽出する方法を開示する。当該方法は、完全畳み込みニューラルネットワークを使用して予備的な汗孔の位置を予測し、次に、予測された偽りの汗孔の特性に従って、それらは予備セットから除去され、カスタマイズされたアルゴリズムを使用して実際の汗孔の位置を取得する。本明細書に開示された方法は、少なくとも、皮膚紋理の印のマニューシャを使用し、追加の候補特徴クリーンアップを必要としないという点で異なる。

【0021】

提案されたアプローチは、皮膚紋理の印のマニューシャの抽出のための、画像の前処理または複雑な多段階ニューラルネットワークアーキテクチャの必要をなくす。我々は、画像入力レイヤーおよび出力レイヤーを有するフィードフォワード畳み込みニューラルネットワークを構築し、その結果、皮膚紋理の印のマニューシャの位置を特定することと、それらの特性を推定することとのために追加の処理を必要とすることがないようにする。

【発明の概要】

【0022】

本開示は、皮膚紋理の印のマニューシャの抽出のシステムおよび方法を説明する。指紋は、最も広く使用されている皮膚紋理の印のモダリティである。それぞれの画像から抽出された指紋マニューシャは、少なくとも指紋法による分析および個人の識別または確認に後ほど使用され得る。

【0023】

本発明は、従来技術の指紋マニューシャの抽出方法の不備を克服し、ここで、抽出プロセスは、ニューラルネットワーク、または複数の処理段階を組み込む複雑なニューラルネットワーク構造にそれを供給する前に、複数の信号前処理段階で構成され、これらは、マニューシャ抽出プロセスの効果および効率に多大な悪影響を及ぼす。本発明は、完全畳み込みニューラルネットワークを使用した、皮膚紋理の印のデジタル画像からのマニューシャ抽出を効果的且つ効率的に行うためのシステムおよび方法を提供する。当該方法は、皮膚紋理の印のスキャナを使用して画像を取得する段階または事前にスキャンされた画像からロードする段階と、意図的に構築されトレーニングされたニューラルネットワークに画像を供給し、エンコードされた特徴を取得する段階と、取得された特徴をデコードして皮膚紋理の印のマニューシャを取得する段階と、指紋マニューシャをバイオメトリックテンプレートに保存する段階と、といった段階を含む。当該トレーニングは本質的にエンド・ツー・エンドプロセスである。これは、入力デバイスにより生成されたバイオメトリック画像がニューラルネットワークに供給され、結果として得られるネットワークの出力が一連の指紋マニューシャであるからである。

【0024】

提案された完全畳み込みニューラルネットワークは、従来のアプローチおよび他のニューラルネットワークベースのシステムより優れている。また、従来技術に示されているニューラルネットワークベースのシステムは、より複雑で、中間的な特徴提案を必要とする。その一方で、本明細書で提案されたシステムは、提案生成と、それに続くピクセルまたは特徴の再サンプリング段階をなくし、すべての計算を単一のネットワークにカプセル化する。これは、提案されたニューラルネットワークをトレーニングしやすくして、指紋マニューシャ検出を必要とするシステムに一体化されるように単純にする。アーキテクチャの簡略化は、提案されたニューラルネットワークベースのシステムの特性を定義するものうちの１つである。

【0025】

なお、実施形態は単一のバイオメトリック信号処理方法を説明する。しかしながら、代替的な実施形態において、全体的なシステムまたはニューラルネットワークは、複数の信号または異なるバイオメトリック信号の組み合わせを同時に処理するように構築され得る。さらに別の実施形態において、バイオメトリック信号のシークエンスは、一時的な情報を組み込むために処理され得る。

【0026】

本発明を利用し得る他の応用は、バイオメトリックタイムアテンダンス、国家のＩＤ、選挙人登録、国境管理、フォレンジック／犯罪、銀行システム、ヘルスケア、バイオメトリックデータの処理を含み得る。

【図面の簡単な説明】

【0027】

好ましい実施形態の新規の特徴、態様および利点は、添付の図面および添付の特許請求の範囲と併せて読まれた場合に、以下の詳細な説明を参照することにより最もよく理解される。

【0028】

【図1】入力画像、フィードフォワード完全畳み込みニューラルネットワーク、エンコード／デコードステップ、およびデコードされた出力特徴マップを示す、開示されたシステムの簡略図である。

【0029】

【図2】分岐端および線端タイプのマニューシャが指紋の領域内にマーキングされる指紋の例示である。

【0030】

【図3】ニューラルネットワークトレーニングプロセスを示すフロー図である。

【0031】

【図4】ニューラルネットワークの微調整プロセスを示すフロー図である。

【0032】

【図5】トレーニングデータ準備プロセスを示すフロー図である。

【0033】

【図6】データ拡張プロセスを示すフロー図である。

【0034】

【図7】トレーニングデータ収集プロセスを示すフロー図である。

【0035】

【図8】ニューラルネットワークの利用を示すフロー図である。

【発明を実施するための形態】

【0036】

指紋マニューシャの抽出のための開示されたシステム（１００）は、図１に大まかに示されており、ニューラルネットワークに基づく。提案されたニューラルネットワークは、基本構成ブロック（１０２）の組み合わせ：非線形活性化関数を有する畳み込みレイヤーから構築される完全畳み込みニューラルネットワークである。好ましい実施形態において、このネットワークへの入力は、バイオメトリックデジタル画像（１０１）の形のバイオメトリック信号であり、ニューラルネットワークの出力は、バイオメトリックマニューシャマップ（１０５）にデコード（１０４）され得る特徴マップ（１０３）である。ニューラルネットワークの入力は通常、技術分野における多くの基準に共通であるグレースケールの皮膚紋理の印の画像（１０１）である。入力値は次に、出力チャネルの数を反復的に増加させるかまたは空間分解能を減少させるかまたはその両方を行う一連の畳み込みレイヤーブロック（１０２）を通過する。当該ブロック（１０２）の最後からの畳み込みレイヤーの出力は、異なる畳み込み分岐（１０３）に伝搬される。好ましい実施形態において、最後の活性化マップ（１０３）における各特徴は、入力解像度の１／８にほぼ等しい空間分解能を有する。分岐階層の複数のバージョンを構築することまたは最後のレイヤーを別個の分岐に分割しないことが可能であるが、好ましい実施形態において、当該分岐の各々は特定の指紋特徴の推定を担当する。分岐は、以下に説明されるように、多損失関数の別個成分を有することによりサポートされ得る。これらの特徴は、少なくとも、指紋マニューシャの方位、位置およびクラスにデコードされ得、ここで位置は、出力特徴の特殊解像度の低下から生じる精度の損失を相殺する。デコードされた特徴マップは、複数のマニューシャ候補を有し得る。また、エンコードおよびデコードを、提案されたニューラルネットワークの不可欠な部分であるとみなしてよい。

【0037】

以下に示されるように、畳み込みニューラルネットワークと非線形活性化関数とのいくつかの特性は、指紋マニューシャの抽出プロセスに非常に重要である。畳み込みレイヤーは、それらの局所性により非常に重要であり、これは、画像が畳み込みレイヤーを用いて処理される場合、ピクセル空間の近くに配置されたローカルパターンが関連されていることを意味する。変換不変性は、畳み込みレイヤーの別の重要な特性であり、これは、特定のパターンが画像のどこに現れるかにかかわらず、特定の視覚パターンの存在を登録する能力をニューラルネットワークに提供する。換言すると、畳み込みネットワークは、空間表示を学習することと、ローカル空間入力に基づいて決定することとができる。当該畳み込みネットワークにおけるデータは、３次元アレイのサイズｎ×ｈ×ｗで表され得、ここでｈおよびｗは空間次元であり、ｎは特徴またはカラーチャネル次元である。入力画像は、次元ｈ×ｗ、すなわち、高さおよび幅を有し、ｎ個のカラーチャネルを有する。ＲＧＢ色画像において、ｎは３に等しい。ここで、各チャネルは、多くの場合、赤色、緑色および青色の値で表され、白黒の場合、ｎは、１つの単一グレースケール強度チャネル値に等しい。未加工の指紋画像が畳み込みニューラルネットワークに供給されると、データは複数の畳み込みレイヤーを通過し、ここで各レイヤーはデータ変換を実行する。この変換を見る複数の方法のうちの１つは、入力画像の特定の位置における値がピクセル色値を表すが、それに続くレイヤーデータはより高い抽象レベル特徴に変換されるということである。より高いレイヤーにおける各特徴は、入力画像の元の位置（その特徴の受容フィールドとも呼ばれる）へのそれらのパス接続を維持する。

【0038】

活性化関数ｆを有する形式的畳み込みレイヤーは、テンソル

【数1】

により特徴付けられ得る。ここで、ｎ_０およびｎ_１はそれぞれ、出力チャネルの数および入力チャネルの数であり、ｋ_ｈおよびｋ_ｗはそれぞれ、カーネルの空間的な高さおよび幅である。フィルタが、ｎ_ｉ×ｋ_ｈ×ｋ_ｗのサイズを有する入力パッチｘに適用された場合、ｙ＝ｆ（Ｗ＊ｘ）として応答ベクトル

【数2】

を取得する。ここで、

【数3】

であり、＊は、畳み込み演算を意味し、ｆは、ｅｌｅｍｅｎｔｗｉｓｅの非線形活性化関数である。Ｗ_ｏ，ｉ＝Ｗ［ｏ，ｉ，：，：］は、ｉ番目の入力チャネルとｏ番目の出力チャネルとに沿ったテンソルスライスであり、ｘ_ｉ＝ｘ［ｉ，：，：］は、３Ｄテンソルｘのｉ番目のチャネルに沿ったテンソルスライスである。パッチｘに対する計算の複雑性は、Ｏ（ｎ_ｏ×ｎ_ｉ×ｋ_ｈ×ｋ_ｗ）である。複雑性をパッチレベルから特徴マップレベルに延長することは容易である。特徴マップサイズＨ×Ｗを考慮すると、複雑性は、Ｏ（Ｈ×Ｗ×ｎ_ｏ×ｎ_ｉ×ｋ_ｈ×ｋ_ｗ）である。

【0039】

さらに、ニューラルネットワークトレーニングと推定との計算性能を向上させるための好ましい実施形態において、ｄｅｐｔｈｗｉｓｅの分離可能な畳み込み演算が使用され得る。通常の畳み込みを使用することで、同等なまたはより一層良い品質を実現することが可能であり、１×１畳み込みと組み合わせてグループ畳み込みを使用することで、同等な速度の性能を実現することが可能である。同様またはより良好な結果を実現するために、さらに多くの代替的な畳み込み演算子が使用され得ることに留意されたいが、我々の実験は、一連のハードウェアおよびソフトウェア環境における最適な性能は、ｄｅｐｔｈｗｉｓｅの分離可能な畳み込みを使用して達成されるということを示す。実際に、ｄｅｐｔｈｗｉｓｅの分離可能な畳み込みは、ＧＰＵまたは任意の他の特殊なハードウェアがないハードウェア上で実行されるアプリケーションをターゲットとすることを可能にする、少なくとも通常の畳み込みを超える速度の向上を提供する。

【0040】

先に示されているように、通常の畳み込みにおいては、単一の畳み込みカーネルがｎ個の入力チャネルを処理する。その一方で、ｄｅｐｔｈｗｉｓｅの分離可能な畳み込みは、畳み込みを、ｄｅｐｔｈｗｉｓｅ（ＤＷ）畳み込みおよびｐｏｉｎｔｗｉｓｅ（ＰＷ）畳み込みの２つの部分に分割する。ｄｅｐｔｈｗｉｓｅ畳み込みは、ｎ個の入力チャネルの各々に２Ｄ畳み込みカーネルを個別に適用することにより局所性に焦点を合わせる。したがって、ｎ_ｉ個の入力チャネルを畳み込むことは、まとめて積層されたｎ_ｉ個のチャネルテンソルを生成する。その一方で、ｐｏｉｎｔｗｉｓｅ（１×１）畳み込みは、チャネル間の関係に焦点を合わせる。通常の畳み込みＷと同じ形状の出力を確実にするために、ＤＷは、畳み込みカーネルテンソル

【数4】

と、ＰＷ畳み込みテンソル

【数5】

とで定義される。ｄｅｐｔｈｗｉｓｅ畳み込みを入力パッチｘに、ｐｏｉｎｔｗｉｓｅ畳み込みをｄｅｐｔｈｗｉｓｅ畳み込みの出力に適用することは、

【数6】

である対応する応答ベクトル

【数7】

をもたらし、ここでＰ_ｏ，ｉ＝Ｐ［ｏ，ｉ，：，：］、Ｄ_ｏ＝Ｄ［ｏ，：，：，：］、ｆ_０およびｆ_１は、ｅｌｅｍｅｎｔｗｉｓｅの非線形活性化関数である。全体の特徴マップの計算の複雑性は、Ｏ（Ｈ×Ｗ×（ｎ_ｉ×ｋ_ｈ×ｋ_ｗ＋ｎ_ｉ×ｎ_ｏ））である。代替的に、畳み込み順序を切り替えてＤＷの前にＰＷ畳み込みを適用し、別の因数分解形式ＰＷ＋ＤＷを取得することが可能である。

【0041】

多くのオプションが非線形活性化関数に対して利用可能であるが、数例を挙げると、ＳｉｇｍｏｉｄまたはＨｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ、Ｃｏｎｃａｔｅｎａｔｅｄ ＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、ＭＡＸｏｕｔ、ＲｅＬＵ－６、Ｐａｒａｍｅｔｒｉｃ ＲｅＬＵのなどである。非線形活性化関数に望ましい特性は、その勾配の非飽和であり、これは、ｓｉｇｍｏｉｄまたはｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ関数、勾配の消失の可能性を減少、およびスパース性を誘発する正則化のようなものと比較して、確率的勾配降下の収束が大きく加速する。いくつかの他の言及された活性化関数のうち、ＲｅＬＵは、上記の特性を有し、また、好ましい実施形態においてｅｌｅｍｅｎｔｗｉｓｅの非線形活性化関数として使用される。ｆ_０およびｆ_１は、異なってもよく、またはそのうちの１つがｆ_ｉ（ｘ）＝ｘと等しくてもよいが、好ましい実施形態においては、ｆ、ｆ_０およびｆ_１は、ＲｅＬＵ ｐｏｉｎｔｗｉｓｅ活性化関数を表し、これは、以下のように定義される。

【数8】

また、指数演算および算術演算などの計算上高コストがかかる計算を伴うｓｉｇｍｏｉｄまたはｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔのような活性化関数に対するＲｅＬＵ計算の優位性を理解することも重要である。その一方で、ＲｅＬＵは、単に活性化マトリクスを０に閾値化することにより実装され得る。

【0042】

また、各レイヤーの入力の分布は、少なくともトレーニング中の以前のレイヤーパラメータの変化によって多大なばらつきを有するという留意することが重要である。分布のばらつきは、より低い学習速度と慎重なパラメータの初期化を必要とすることにより、トレーニングプロセスの速度が低下する傾向がある。この問題を克服すべく、好ましい実施形態では、バッチ正規化が使用される。それは、より高い学習速度を使用し、初期化パラメータに対するニューラルネットワークトレランスを増加させることが可能である。さらに、バッチ正規化は、モデルの過学習のリスクを減らす正則化技術としても機能する。実際に、好ましい実施形態において、バッチ正規化は、第１畳み込みレイヤーの後、およびｄｅｐｔｈｗｉｓｅ畳み込み（ＤＷ）の後、ｐｏｉｎｔｗｉｓｅ畳み込み（ＰＷ）の後、すべてのｄｅｐｔｈｗｉｓｅの分離可能な畳み込みにおいて使用される。バッチ正規化または代替的な正則化の使用は、ニューラルネットワークアーキテクチャ内のドロップアウトレイヤーがフレキシブルであり、同様またはより良好な結果が異なる方法でレイヤーを並べ替えることで達成できるということを意味することを理解されたい。

【0043】

ニューラルネットワークをトレーニングする場合、トレーニングのターゲットを定義することも重要である。トレーニングの問題は、解決が予想される問題クラスのニューラルネットワークに対して定義される。トレーニング方法は、さまざまな結果を有する多数の異なる方法から選択され得るが、好ましい実施形態においては、方位および所在のトレーニングが回帰問題として定義され、指紋マニューシャのクラスを決定する場合は、分類問題として定義される。提供された入力データおよび予想される出力結果を用いて所与のトレーニングステップにおいてニューラルネットワークがどのように実行されるかを評価すべく、損失または誤差関数を定義する。

【0044】

損失関数は、予測される値ｙと、所与の入力サンプルに対してネットワークにより生成された実際の値

【数9】

との間の不一致を測定するのに必要である。誤った推定からの評価された誤差は次に、ニューラルネットワークの重みまたは畳み込みフィルタ値を反復的に調整するために使用される。好ましい実施形態における多損失関数は、以下のように、分類、ネガティブな分類、所在回帰および方位回帰の４つの部分からなる。

【数10】

ここで、

【数11】

と

【数12】

とは、アーストルースマニューシャポイント信頼値から計算されたマスキング係数である。それらは、関連するマニューシャポイントのみが損失に寄与するように、すべての部分的損失に適用される。多損失関数における

【数13】

は、指紋マニューシャのクラス候補の存在、不在、所在および方位の予測確率をそれぞれ表す。多損失関数は、指紋特徴パラメータまたはメタパラメータに対する損失を計算する部分的損失成分がより少なく有することまたはより多く有することができることを留意されたい。

【0045】

ポジティブおよびネガティブな分類の好ましい実施形態において、ソフトマックスクロスエントロピーの合計が部分的損失関数として使用される。所在および方位の場合は、部分的損失回帰関数としての実際の値と予測される値との間の違いの合計が使用される。当該部分的損失関数は、先に定義されたように多損失関数に組み合わされ、これは結果として全体的なニューラルネットワークの損失推定を行い、反復的な重み調整を行うために使用される。重み調整は、特定のオプティマイザ機能により実行される。他のニューラルネットワークパラメータと同様に、数例を挙げるとＡｄａｇｒａｄ、Ａｄａｄｅｌｔａ、ＲＭＳｐｒｏｐから選択される多数のオプティマイザが存在するが、好ましい実施形態にでは、Ａｄａｍオプティマイザが使用される。

【0046】

多くの場合にトレーニングの収束に多大な影響を与えるニューラルネットワークトレーニングプロセスの別の態様は、ニューラルネットワーク接続の重みと畳み込みフィルタを開始する方法である。ニューラルネットワークは、複数の方法で初期化され得る。好ましい実施形態において、ニューラルネットワークの重みおよび畳み込みフィルタ値は、ランダムに初期化される。代替的な実施形態においては、初期値が０に設定されてもよく、または、いくつかの特定のヒューリスティックに従う値に設定されてもよい。さらに別の実施形態において、ニューラルネットワークの初期の重みまたは畳み込みフィルタ値または両方は、異なるバイオメトリックモダリティのためにトレーニングされた予めトレーニングされたニューラルネットワーク、または、移動学習とも呼ばれる他の視覚信号セットから初期化される。

【0047】

ニューラルネットワークトレーニングプロセスを説明する別の方法は、それをいくつかのステップに分割することである。一般的且つ例示的なニューラルネットワークトレーニングプロセス（３００）は図３に示される。ここで、まず、トレーニングデータが収集（３０１）される。次の段階は、必要であればトレーニングの前に、収集されたデータを修正（３０２）する段階であり、次に、準備されたトレーニングデータ（３０３）に対するニューラルネットワークトレーニングステップが続く。プロセスは、トレーニングされたニューラルネットワークモデルを保存（３０４）することにより完了する。トレーニングデータを収集する（３０１）プロセスはさらに細分化され得、図７のフロー図において示される。バイオメトリック信号が指紋の印の画像である一実施形態において、収集プロセスは、バイオメトリックスキャナ（７０２）または任意の他の入力デバイス（７０３）を用いて指紋画像を記録することにより、予めスキャンされたバイオメトリックデータ（７０１）をロードすることにより行われ得る、指紋画像の取得から開始される。また、合成データ生成（７０４）が使用され得る。ステップ（７０５）において、対応する特徴を有するマニューシャは、収集された指紋画像から抽出される。マニューシャは、手動で、自動化された方法を使用して、または両方の組み合わせを用いて抽出され得る。ステップ（７０６）において、抽出された特徴はエンコードされ、これは入力信号の皮膚紋理マニューシャからニューラルネットワークの出力特徴マップへのマッピング演算に対応する。ニューラルネットワークの出力特徴マップの構造は、ニューラルネットワークの出力レイヤーの特性により決定される。上記の好ましい実施形態において述べられたように、出力特徴マップは入力信号の約１／８の空間分解能を有し、したがって、５１２×５１２解像度の２Ｄ入力信号の場合、出力特徴マップにおける各特徴は、８×８入力信号パッチに大まかに対応する。好ましい実施形態において、特徴マップは、少なくともクラス、位置および向きチャネルグループを有する。これらのグループは、好ましいニューラルネットワークアーキテクチャに応じて、まとめて積層され得るまたは別個であり得る。グループ毎のチャネル数は、少なくとも、マニューシャクラスの数、方位および位置の精度、および追加の候補細分化に依存し得る。各マッピングされた特徴値は、マニューシャを含む可能性を表し、特定のクラス、入力信号の対応するパッチ内の方位または位置の特性を有する。示されたトレーニングデータ収集プロセス（３０１）は、指紋画像とエンコードされた特徴とを保存すること（７０７）で完了される。

【0048】

図５は、収集されたトレーニングデータ（５０１）をロードすることにより開始される、トレーニングデータ準備（３０２）のフロー図を示す。指紋画像とエンコードされた特徴データとを拡張すること（５０２）は、次の段階におけるトレーニングデータ不一致の問題を克服するために使用される。当該不一致は、ニューラルネットワークのトレーニングに使用されるデータセットに存在する可能性がある様々な画像によりもたらされる。画像は、さまざまなサイズ、割合およびフォーマットの画像、変換された、不明瞭またはクロップされたオブジェクトを含む画像、ノイズを含みコントラストに欠ける画像がある。これに加えて、データ拡張（５０２）は、データ変動の誤った表示によりもたらされるデータのサブセットに対するニューラルネットワークの過学習を克服するために使用される。ステップ（５０３）では、拡張されたデータが保存される。好ましい実施形態において、ニューラルネットワークをトレーニングするためのデータセットは、ステップ（５０４）において、トレーニング、検証およびテストのサブセットに分割される。トレーニングサブセットは、データとニューラルネットワークで推定したマニューシャとの間の予測関係を構築するために使用される。検証サブセットは、ネットワークをテストして、ネットワークのハイパーパラメータを調整するために使用される。最後に、テストサブセットは、ニューラルネットワークがトレーニングまたは検証サブセットのいずれかを過学習することを防止するために使用される。

【0049】

データセットが、様々なデータ変換技術（６０７）を使用して既存のデータ（６０６）から新しいデータ（６０８）を生成することにより延長されるトレーニングデータ拡張プロセス（５０２）が、図６に示される。例えば、ニューラルネットワークがノイズ変動を処理することを学習するために、データ拡張（６０７）は、データセットから既存の画像を取得してノイズを追加すること（６０２）またはランダムクロップ（６０１）を適用して画像内の部分的なオブジェクトの閉塞をシミュレートすることにより新しい画像を生成することなどを含む。データ拡張は、回転（６０３）、変換（６０４）、または、パッディング、反転および他を含む他の変換（６０５）のステップを備え得る。様々な組み合わせの拡張が、データセット（６０６）を拡張するために使用され得る。ここで、適切な拡張（６０１、６０２、６０３、６０４、６０５）が、拡張された入力信号と抽出された特徴とが対応するように、入力信号と抽出された特徴データとの両方に適用される（６０７）。抽出され拡張されたバイオメトリックデータは次に、構築されたニューラルネットワークの出力レイヤーに対応する形にエンコードされる必要がある。

【0050】

トレーニング自体は、Ｃａｆｆｅ、ＰｙＴｏｒｃｈ、ＴｅｎｓｏｒＦｌｏｗのような広く利用可能なニューラルネットワークソフトウェアフレームワークを使用して、または他の適切な手段を使用して実行され得る。トレーニングプロセス中には、ネットワークの全体的な品質測定が最適な値に収束することが予想される。トレーニングを中止するタイミングを選択する戦略と、中間のトレーニングされたモデルのうちから最も良くトレーニングされたモデルをどのように選択するかの戦略が多数存在するが、一般的に、最適な値は通常、トレーニングデータ自体に依存するので、テストまたは検証データに、トレーニングされたニューラルネットワークモデルが過学習していることが指示され次第、トレーニングプロセスは通常、停止される。

【0051】

トレーニングが完了し、所望の精度レベルが達成された後、図８に示されるように、トレーニングされたニューラルネットワークを利用することができる（８００）。一実施形態において、トレーニングされたニューラルネットワークモデルがロード（８０１）された後、ステップ（８０２）において、パーソナルコンピュータ、マイクロコンピュータ、組み込みシステムまたは任意の他のコンピューティング装置に接続されたバイオメトリックスキャナから取得された入力信号を用いて、ニューラルネットワーク推定が実行される。当該コンピューティング装置は、デジタルバイオメトリック入力信号を受信することと、入力信号を与えられてニューラルネットワーク特徴（８０３）を推定することと、推定された特徴をバイオメトリックマニューシャ（８０４）にデコードすることとが可能であるべきである。ニューラルネットワークトレーニングは、同じまたは別個のコンピューティング装置上で実行され得る。一実施形態において、指紋画像は、スキャンされた画像、データベースからロードされた画像、入力信号としてトレーニングされたニューラルネットワークに処理されて供給されることまたは処理されることなく供給されることができる他のデータインスタンスを含むソースから、ステップ（８０２）において取得され得る。さらに別の実施形態において、入力信号は、少なくとも性能の最適化、推定誤差の低減のために、またはデータフォーマット制限によって、推定の前に前処理され得る。

【0052】

別の実施形態において、トレーニングされたニューラルネットワークは、動的設定（４００）に使用され得、ここで、ニューラルネットワークの微調整または再トレーニングは、初期データセットからの信号がアップデートされると、除去されると、または新しい信号が追加されると実行される。まず、必要に応じて、取得された入力データ（４０１）は、トレーニングデータの場合と同様の手段（５０２）を使用して拡張される（４０２）。その後、ニューラルネットワークは、ステップ（４０３）において、拡張されたデータに対して微調整される。最後に、微調整されたニューラルネットワークのモデルが保存される（４０４）。

【0053】

さらに別の実施形態において、信号特徴抽出のためのシステムおよび方法は、本発明に開示されたニューラルネットワークを使用したデータ信号の要素またはセグメントの、分類、取得、人物の確認または識別のために使用され得る。

【0054】

ニューラルネットワークの研究の性質、現在および予測可能な状態により、指紋とは別に本明細書に開示されたアーキテクチャは、掌紋、フットプリントまたは静脈、虹彩および顔のような他のバイオメトリックモダリティに適用され得ることが当業者には明らかである。掌紋およびフットプリントの場合において、皮膚紋理パターンの構造は、指紋と同様であるので、開示されている方法は、大きな修正なく、静脈、虹彩およびさらに多くに適用され得る。その結果、顔は大幅に異なる視覚的構造を有するが、それにかかわらず、静脈パターンの局所的特徴ポイントおよび顔のランドマークは、開示されている方法の極めて重大な特性である少なくとも共通の局所性を有する。

【0055】

理解できるように、本発明は、限定的ではなく例示的であることをあらゆる点で意図されている具体的な実施形態に関して説明されている。本発明がその範囲から逸脱することなく関連する代替的な実施形態が、当業者には明らかになる。また、特定の特徴およびサブコンビネーションは有用であり、他の特徴およびサブコンビネーションを参照することなく利用され得ることが理解されよう。

【0056】

［引用文献］

【0057】

ＵＳ５，５７２，５９７－Ｆｉｎｇｅｒｐｒｉｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ

【0058】

ＵＳ５，８２５，９０７－Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｓｙｓｔｅｍ ｆｏｒ ｃｌａｓｓｉｆｙｉｎｇ ｆｉｎｇｅｒｐｒｉｎｔｓ

【0059】

ＵＳ５，８９２，８３８－Ｂｉｏｍｅｔｒｉｃ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ

【0060】

ＵＳ７，０８２，３９４－Ｎｏｉｓｅ－ｒｏｂｕｓｔ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｍｕｌｔｉ－ｌａｙｅｒ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ

【0061】

ＵＳ２００６／０２１５８８３ Ａ１－Ｂｉｏｍｅｔｒｉｃ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｕｓｉｎｇ ｂｉｏ ｓｉｇｎａｌｓ ａｎｄ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ

【0062】

ＣＮ１０７４８０６４９ Ａ－Ｆｕｌｌ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ－ｂａｓｅｄ ｆｉｎｇｅｒｐｒｉｎｔ ｓｗｅａｔ ｐｏｒｅ ｅｘｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ

【0063】

Ｂｈａｖｅｓｈ Ｐａｎｄｙａ，Ｇ．Ｃ．Ａ．Ａ．Ａ．Ａ．Ｔ．Ｖ．Ａ．Ｂ．Ｔ．Ｍ．Ｍ．，２０１８．Ｆｉｎｇｅｒｐｒｉｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ａ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ．２０１８ ４ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｍａｎａｇｅｍｅｎｔ（ＩＣＩＭ），ｐｐ．８６－９１．

【0064】

Ｂｒａｎｋａ Ｓｔｏｊａｎｏｖｉｃ，Ａ．Ｎ．Ｏ．Ｍ．，２０１５．Ｆｉｎｇｅｒｐｒｉｎｔ ＲＯＩ ｓｅｇｍｅｎｔａｔｉｏｎ ｕｓｉｎｇ ｆｏｕｒｉｅｒ ｃｏｅｆｆｉｃｉｅｎｔｓ ａｎｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．２０１５ ２３ｒｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｆｏｒｕｍ Ｔｅｌｆｏｒ（ＴＥＬＦＯＲ）．，ｐｐ．４８４－４８７．

【0065】

Ｄａｒｌｏｗ，Ｌ．Ｎ．Ｒ．Ｂ．，２０１７．Ｆｉｎｇｅｒｐｒｉｎｔ ｍｉｎｕｔｉａｅ ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ．．２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ（ＩＪＣＢ），ｐｐ．２２－３０．

【0066】

Ｄｉｎｈ－Ｌｕａｎ Ｎｇｕｙｅｎ，Ｋ．Ｃ．Ａ．Ｋ．Ｊ．，２０１８．Ｒｏｂｕｓｔ Ｍｉｎｕｔｉａｅ Ｅｘｔｒａｃｔｏｒ：Ｉｎｔｅｇｒａｔｉｎｇ Ｄｅｅｐ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｆｉｎｇｅｒｐｒｉｎｔ Ｄｏｍａｉｎ Ｋｎｏｗｌｅｄｇｅ．２０１８ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ（ＩＣＢ）．

【0067】

Ｈｉｌｂｅｒｔ，Ｃ．－Ｆ．Ｃ．Ｅ．，１９９４．Ｆｉｎｇｅｒｐｒｉｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｓｙｓｔｅｍ．Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ，Ｐａｔｅｎｔｏ Ｎｒ．５，５７２，５９７．

【0068】

Ｋａｉ Ｃａｏ，Ｄ．－Ｌ．Ｎ．Ｃ．Ｔ．Ａ．Ｋ．Ｊ．，２０１８．Ｅｎｄ－ｔｏ－Ｅｎｄ Ｌａｔｅｎｔ Ｆｉｎｇｅｒｐｒｉｎｔ Ｓｅａｒｃｈ．

【0069】

Ｓａｎｋａｒａｎ，Ａ．ａ．Ｐ．Ｐ．ａ．Ｖ．Ｍ．ａ．Ｓ．Ｒ．，２０１４．Ｏｎ ｌａｔｅｎｔ ｆｉｎｇｅｒｐｒｉｎｔ ｍｉｎｕｔｉａｅ ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｓｔａｃｋｅｄ ｄｅｎｏｉｓｉｎｇ ｓｐａｒｓｅ ＡｕｔｏＥｎｃｏｄｅｒｓ．ＩＪＣＢ ２０１４－２０１４ ＩＥＥＥ／ＩＡＰＲ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ，ｐｐ．１－７．

【0070】

Ｓｈｒｅｉｎ，Ｊ．Ｍ．，２０１７．Ｆｉｎｇｅｒｐｒｉｎｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｒｉｄｇｅ ｏｒｉｅｎｔａｔｉｏｎ ｉｍａｇｅｓ．２０１７ ＩＥＥＥ Ｓｙｍｐｏｓｉｕｍ Ｓｅｒｉｅｓ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＳＳＣＩ），ｐｐ．１－８．

【0071】

Ｔｈｏｍａｓ Ｐｉｎｅｔｚ，Ｄ．Ｓ．Ｒ．Ｈ．－Ｍ．Ｒ．Ｓ．，２０１７．Ｕｓｉｎｇ ａ Ｕ－Ｓｈａｐｅｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ ｍｉｎｕｔｉａｅ ｅｘｔｒａｃｔｉｏｎ ｔｒａｉｎｅｄ ｆｒｏｍ ｒｅｆｉｎｅｄ， ｓｙｎｔｈｅｔｉｃ ｆｉｎｇｅｒｐｒｉｎｔｓ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＯＡＧＭ＆ＡＲＷ Ｊｏｉｎｔ Ｗｏｒｋｓｈｏｐ ２０１７，ｐｐ．１４６－１５１．

【0072】

Ｙａｏ Ｔａｎｇ，Ｆ．Ｇ．Ｊ．Ｆ．，２０１７．Ｌａｔｅｎｔ ｆｉｎｇｅｒｐｒｉｎｔ ｍｉｎｕｔｉａ ｅｘｔｒａｃｔｉｏｎ ｕｓｉｎｇ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ．２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ（ＩＪＣＢ），ｐｐ．１１７－１２３．

【0073】

Ｙａｏ Ｔａｎｇ，Ｆ．Ｇ．Ｊ．Ｆ．Ｙ．Ｌ．，２０１７．ＦｉｎｇｅｒＮｅｔ：Ａｎ ｕｎｉｆｉｅｄ ｄｅｅｐ ｎｅｔｗｏｒｋ ｆｏｒ ｆｉｎｇｅｒｐｒｉｎｔ ｍｉｎｕｔｉａｅ ｅｘｔｒａｃｔｉｏｎ．２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｂｉｏｍｅｔｒｉｃｓ（ＩＪＣＢ），ｐｐ．１０８－１１６．
［項目１］
１または複数のコンピュータにより実装されるニューラルネットワークシステムであって、前記ニューラルネットワークシステムは、
畳み込みニューラルネットワークと、
サブシステムと
を備え、
前記畳み込みニューラルネットワークは、
前記ニューラルネットワークにより、それぞれの入力信号が処理され、
前記ニューラルネットワークの第１レイヤーにおいてバイオメトリック入力信号を受信することと、
前記バイオメトリック入力信号を処理することと、
前記ニューラルネットワークの最後のレイヤーにおいて出力特徴マップを生成することと、
を行うように構成されており、前記出力特徴マップのチャネルの数が増加し、前記入力信号に対する空間分解能が減少し、
前記サブシステムは、
前記ニューラルネットワークから前記出力特徴マップを受信することと、
前記出力特徴マップをデコードすることと、
デコードされた特徴マップを出力することと
を行うように構成されており、
バイオメトリック入力信号は皮膚紋理の印を表し、デコードされた特徴マップは皮膚紋理の印のマニューシャを表す、
システム。
［項目２］
出力特徴マップをデコードすることは、前記ニューラルネットワークの出力レイヤーの特徴マップを皮膚紋理の印のマニューシャの数字表示に変換することを備え、マニューシャの数字表示は、少なくとも、クラス、回転、および位置を含む、項目１に記載のシステム。
［項目３］
マニューシャのクラスは、線端、分岐、上記のいずれでもないもののうちの１つである、項目２に記載のシステム。
［項目４］
前記ニューラルネットワークは完全畳み込みニューラルネットワークである、項目１から３のいずれか一項に記載のシステム。
［項目５］
入力された前記皮膚紋理の印の信号はデジタル画像である、項目１から４のいずれか一項に記載のシステム。
［項目６］
出力特徴マップは、一連の別個の出力畳み込みレイヤー分岐の活性化マップを備える、項目１から５のいずれか一項に記載のシステム。
［項目７］
非線形のｐｏｉｎｔｗｉｓｅ活性化関数は、Ｓｉｇｍｏｉｄ、Ｈｙｐｅｒｂｏｌｉｃ Ｔａｎｇｅｎｔ、Ｃｏｎｃａｔｅｎａｔｅｄ ＲｅＬＵ、Ｌｅａｋｙ ＲｅＬＵ、ＭＡＸｏｕｔ、ＲｅＬＵ、ＲｅＬＵ－６、Ｐａｒａｍｅｔｒｉｃ ＲｅＬＵのうちの１つである、項目１から６のいずれか一項に記載のシステム。
［項目８］
畳み込みは、通常の畳み込み、ｄｅｐｔｈｗｉｓｅの分離可能な畳み込みまたは１×１畳み込みと組み合わせたグループ化畳み込みまたは他の種類の畳み込みのうちの１つである、項目１から７のいずれか一項に記載のシステム。
［項目９］
前記ニューラルネットワークの損失関数は、複数の損失成分を備える多損失関数である、項目１から８のいずれか一項に記載のシステム。
［項目１０］
多損失関数の成分は、ポジティブクラス損失、ネガティブクラス損失、所在損失、方位損失を少なくとも備える、項目９に記載のシステム。
［項目１１］
マニューシャのポジティブクラス推定は分類問題である、項目１０に記載のシステム。
［項目１２］
マニューシャのネガティブクラス推定は分類問題である、項目１０または１１に記載のシステム。
［項目１３］
マニューシャの方位推定は回帰問題である、項目１０から１２のいずれか一項に記載のシステム。
［項目１４］
マニューシャの所在推定は回帰問題である、項目１０から１３のいずれか一項に記載のシステム。
［項目１５］
各バイオメトリック入力信号のソースは、バイオメトリックリーダ、メモリからロードされたものまたは生成されたもののうちの１つである、項目１から１４のいずれか一項に記載のシステム。
［項目１６］
前記ニューラルネットワークのプロセスをトレーニングすることは、皮膚紋理の印のマニューシャをエンコードすることを備える、項目１から１５のいずれか一項に記載のシステム。
［項目１７］
前記ニューラルネットワークのプロセスをトレーニングすることは、データ拡張を備える、項目１から１６のいずれか一項に記載のシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】