特表 2024-544215 生体特徴の識別方法、サーバ及びクライアント

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-28

(54)【発明の名称】生体特徴の識別方法、サーバ及びクライアント

(51)【国際特許分類】

   G06F 21/32 20130101AFI20241121BHJP

   G06V 40/10 20220101ALI20241121BHJP

   H04L 9/32 20060101ALI20241121BHJP

【ＦＩ】

G06F21/32

G06V40/10

H04L9/32 100D

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024533875

(86)(22)【出願日】2022-08-19

(85)【翻訳文提出日】2024-06-05

(86)【国際出願番号】 CN2022113675

(87)【国際公開番号】W WO2023142453

(87)【国際公開日】2023-08-03

(31)【優先権主張番号】202210108922.9

(32)【優先日】2022-01-28

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】513278998

【氏名又は名称】中国▲銀▼▲聯▼股▲ふん▼有限公司

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】▲費▼ 志▲軍▼

(72)【発明者】

【氏名】▲キュウ▼ 雪涛

(72)【発明者】

【氏名】▲湯▼ ▲韜▼

(72)【発明者】

【氏名】▲シン▼ 文▲継▼

(72)【発明者】

【氏名】高 ▲鵬▼▲飛▼

(72)【発明者】

【氏名】▲楊▼ 燕明

【テーマコード（参考）】

5B043

【Ｆターム（参考）】

5B043BA04

5B043EA01

(57)【要約】

本願は、生体特徴のデータを受信することと、受信された生体特徴のデータにおける下位ビットのデータをランダムに変換することと、１つまたは複数のフィルタリングアルゴリズムをランダムに選択し、ランダムに変換された生体特徴のデータを前処理することと、前処理された生体特徴のデータに基づいて身分識別を行うことと、を含む生体特徴の識別方法に関する。本願は、さらに、対抗性サンプルを生成する方法、生体特徴の識別サーバ、クライアント、コンピュータ記憶媒体、及び、コンピュータプログラム製品に関する。

【特許請求の範囲】

【請求項1】

生体特徴のデータを受信するステップＡと、
受信された生体特徴のデータにおける下位ビットのデータをランダムに変換するステップＢと、
１つまたは複数のフィルタリングアルゴリズムをランダムに選択して採用することによって、ランダムに変換された生体特徴のデータを、前処理するステップＣと、
前処理された生体特徴のデータに基づいて身分識別を行うステップＤと、
を含む生体特徴の識別方法。

【請求項2】

前記生体特徴のデータは、顔画像データを含む請求項１に記載の方法。

【請求項3】

受信された生体特徴のデータにおける下位ビットのデータをランダムに変換することは、前記生体特徴のデータにおける最下位ビットをランダムに変換することを含む請求項１に記載の方法。

【請求項4】

前記生体特徴のデータにおける最下位ビットをランダムに変換することは、
前記生体特徴のデータにおける最下位ビットを全て０にすることと、
前記生体特徴のデータにおける最下位ビットを全て１にすることと、
前記生体特徴のデータにおける最下位ビットをランダムに再配置することと、
前記生体特徴のデータにおける最下位ビットをランダムに生成することと、の何れか一つを含む請求項３に記載の方法。

【請求項5】

前記ステップＤにおいて、第１の照合結果を得るために、前処理された生体特徴のデータに基づいて身分識別を行い、
前記方法は、
第２の照合結果を得るために、上記ステップＢ～Ｄを繰り返し実行することと、
第３の照合結果を得るために、受信された生体特徴のデータに基づいて直接的に身分識別を行うことと、をさらに含む請求項１に記載の方法。

【請求項6】

前記第１の照合結果、前記第２の照合結果及び前記第３の照合結果に対して一致性の照合を行うことと、
前記第１の照合結果、前記第２の照合結果及び前記第３の照合結果の全てが一致した場合に、前記第１の照合結果をフィードバックすることと、
をさらに含む請求項５に記載の方法。

【請求項7】

前記第１の照合結果、前記第２の照合結果及び前記第３の照合結果には不一致が存在する場合に、識別プロセスが異常であることをフィードバックすることと、
対応するデータの収集端末をブラックリストに加えることと、をさらに含む請求項６に記載の方法。

【請求項8】

前記生体特徴のデータは、タイムスタンプをさらに含み、
前記ステップＡと前記ステップＢとの間には、
前記顔画像データ及び前記タイムスタンプを取得するために、前記生体特徴のデータを復号化することと、
システム時刻と前記タイムスタンプとの差が要件を満たしていない場合、異常をフィードバックすることと、をさらに含む請求項２に記載の方法。

【請求項9】

前記ステップＡと前記ステップＢとの間には、
前記システム時刻と前記タイムスタンプとの差が要件を満たす場合に、前記顔画像データにおける顔位置を検出することをさらに含む請求項８に記載の方法。

【請求項10】

前記ステップＡと前記ステップＢとの間には、
データの収集端末において追加された負向対抗性サンプルによる作用を相殺するための対抗性サンプルを、前記顔位置に追加することをさらに含み、ここで、前記負向対抗性サンプルは、前記対抗性サンプルの負値である請求項９に記載の方法。

【請求項11】

前記対抗性サンプルは、顔認証結果に基づいて生成器に対して逆伝導訓練を行うことにより、予め生成される請求項１０に記載の方法。

【請求項12】

生体特徴のデータを受信するための受信装置と、
受信された生体特徴のデータにおける下位ビットのデータをランダムに変換するための下位ビットランダムフィルタと、
１つまたは複数のフィルタリングアルゴリズムをランダムに選択して採用することによって、ランダムに変換された生体特徴のデータを前処理するためのプリプロセッサと、
前処理された生体特徴のデータに基づいて身分識別を行う身分識別装置と、
を備える生体特徴の識別サーバ。

【請求項13】

前記生体特徴のデータは、顔画像データを含む請求項１２に記載のサーバ。

【請求項14】

前記下位ビットランダムフィルタは、前記生体特徴のデータにおける最下位ビットをランダムに変換するように配置された請求項１２に記載のサーバ。

【請求項15】

前記下位ビットランダムフィルタは、
前記生体特徴のデータにおける最下位ビットを全て０にすることと、
前記生体特徴のデータにおける最下位ビットを全て１にすることと、
前記生体特徴のデータにおける最下位ビットをランダムに再配置することと、
前記生体特徴のデータにおける最下位ビットをランダムに生成することと、の何れか一つを実行するように配置されている請求項１４に記載のサーバ。

【請求項16】

複数回の識別結果に対して一致性の照合を行い、識別結果が全て一致した場合には該識別結果をフィードバックする識別決定装置をさら含む請求項１２に記載のサーバ。

【請求項17】

前記識別決定装置は、前記識別結果に不一致が存在する場合、識別プロセスが異常であることをフィードバックし、対応するデータの収集端末をブラックリストに加えるように配置されている請求項１６に記載のサーバ。

【請求項18】

前記生体特徴のデータは、タイムスタンプをさらに含む請求項１３に記載のサーバ。

【請求項19】

前記顔画像データ及び前記タイムスタンプを取得するために、前記生体特徴のデータを復号化する復号化装置と、
システム時刻と前記タイムスタンプとの差が要件を満たしていない場合に異常をフィードバックする検証装置と、をさらに含む請求項１８に記載のサーバ。

【請求項20】

前記検証装置は、前記システム時刻と前記タイムスタンプとの差が要件を満たす場合に、前記顔画像データにおける顔位置を検出するようにさらに配置されている請求項１９に記載のサーバ。

【請求項21】

前記検証装置は、データの収集端末において追加された負向対抗性サンプルによる作用を相殺するための対抗性サンプルを前記顔位置に追加するようにさらに配置されており、ここでは、前記負向対抗性サンプルは前記対抗性サンプルの負値である請求項２０に記載のサーバ。

【請求項22】

前記対抗性サンプルは、顔認証結果に基づいて生成器に対して逆伝導訓練を行うことにより予め生成される請求項２１に記載のサーバ。

【請求項23】

顔画像データを収集するための顔収集装置と、
負向対抗性サンプルを顔位置に埋め込むための埋め込み装置と、を含む請求項２１に記載のサーバと協働するように用いられるクライアント。

【請求項24】

前記埋め込み装置は、前記顔画像データに基づいて前記顔位置を検出し、前記顔位置に前記負向対抗性サンプルを埋め込み、処理された顔画像とタイムスタンプを暗号化して送信するように配置されている請求項２３に記載のクライアント。

【請求項25】

生成器及び認証器を含む対抗性の生成ネットワークを構成するステップＡと、
前記生成器を用いてノイズ情報を生成し、ノイズ情報を実の顔画像に加算して生成された顔データを得るステップＢと、
生成された顔データを、顔認証モデルにより認証するステップＣと、
認証結果に基づいて前記生成器に対して逆伝導訓練を行うステップＤと、
前記顔認証モデルが誤った認証結果を生成するまでステップＢ～Ｄを繰り返すステップＥと、
前記誤った認証結果に対応するノイズ情報を対抗性サンプルとして確定するステップＦと、を含む請求項１２～２２の何れか一項に記載の生体特徴の識別サーバを利用して対抗性サンプルを生成する方法。

【請求項26】

実行の場合、請求項１～１１の何れか一項に記載の方法を実行するコマンドを含むコンピュータ記憶媒体。

【請求項27】

プロセッサによって実行される場合に請求項１～１１の何れか一項に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品が提供される。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、中国の特許出願（出願番号：２０２２１０１０８９２２．９）の優先権を主張するものである。

【0002】

本願は、身分識別の解決案に関し、より具体的に、生体特徴の識別方法、生体特徴の識別サーバ、クライアント、コンピュータ記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0003】

近年、生体特徴（例えば、顔や指紋など）は、個人の身分との緊密な関連性があるため、主流の身分識別方法となり、また、引き出し、支払い、携帯電話による銀行登録などの重要な金融取引で多くの応用がある。

【0004】

最近、人民銀行科学技術司によっては、「フィンテック応用リスク提示」が発表され、メディアによって報道された「複数のアンドロイド（登録商標）携帯電話における顔認証システムが破られた」ということについて、金融決済分野における顔技術の応用に存在する潜在的なリスクについて指摘された。その中で、顔認証システムを突破するための方法は、対抗ネットワークを生成する対抗性サンプルに基づく攻撃技術である。

【0005】

よって、該対抗性サンプルによる攻撃技術を効果的に防止することができる生体特徴に基づく身分識別の解決案が所望されるものである。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明の一態様によれば、生体特徴のデータを受信するステップＡと、受信された生体特徴のデータにおける下位ビットのデータをランダムに変換するステップＢと、１つまたは複数のフィルタリングアルゴリズムをランダムに選択して採用することによって、ランダムに変換された生体特徴のデータを前処理するステップＣと、前処理後の生体特徴のデータに基づいて身分識別を行うステップＤと、を含む生体特徴の識別方法が提供される。

【0007】

選択的には、上記方法において、前記生体特徴のデータは顔画像データを含む。

【0008】

選択的には、上記方法において、受信された生体特徴のデータにおける下位ビットをランダムに変換することは、前記生体特徴のデータにおける最下位ビットをランダムに変換することを含む。

【0009】

選択的には、上記方法において、前記生体特徴のデータにおける最下位ビットをランダムに変換することは、前記生体特徴のデータにおける最下位ビットを全て０にすることと、前記生体特徴のデータにおける最下位ビットを全て１にすることと、前記生体特徴のデータにおける最下位ビットをランダムに再配置することと、前記生体特徴のデータにおける最下位ビットをランダムに生成することと、の何れか一つを含む。

【0010】

選択的には、上記方法において、前記ステップＤにおいて、第１の照合結果を得るために、前処理された生体特徴のデータに基づいて身分識別を行い、前記方法は、第２の照合結果を得るために、上記ステップＢ～Ｄを繰り返し実行することと、第３の照合結果を得るために、受信された生体特徴のデータに基づいて直接的に身分識別を行うことと、をさらに含む。

【0011】

選択的には、前記方法は、前記第１の照合結果、前記第２の照合結果及び前記第３の照合結果に対して一致性の照合を行うことと、前記第１の照合結果、前記第２の照合結果及び前記第３の照合結果の全てが一致した場合に、前記第１の照合結果をフィードバックすることと、をさらに含む。

【0012】

選択的には、上記方法は、前記第１の照合結果、前記第２の照合結果及び前記第３の照合結果に不一致が存在する場合に、識別プロセスが異常であることをフィードバックすることと、対応するデータの収集端末をブラックリストに加えることと、をさらに含む。

【0013】

選択的には、上記方法において、前記生体特徴のデータは、タイムスタンプ(timestamp)をさらに含み、前記ステップＡと前記ステップＢとの間には、前記顔画像データ及び前記タイムスタンプを取得するために前記生体特徴のデータを復号化することと、システム時刻(system time)と前記タイムスタンプとの差の値が要件を満たしていない場合、異常をフィードバックすることをさらに含む。

【0014】

選択的には、前記方法は、前記ステップＡと前記ステップＢとの間には、前記システム時刻と前記タイムスタンプとの間の差が要件を満たす場合に、前記顔画像データにおける顔位置を検出することをさらに含む。

【0015】

選択的には、前記方法は、前記ステップＡと前記ステップＢとの間には、データの収集端末において追加された負向対抗性サンプル(negative adversarial sample)による作用を相殺するための対抗性サンプル(adversarial sample)を、前記顔位置に追加することをさらに含み、ここで、前記負向対抗性サンプルは前記対抗性サンプルの負値である。

【0016】

選択的には、上記の方法では、前記対抗性サンプルは、顔認証結果に基づいて生成器に対して逆伝導訓練を行うことにより予め生成される。

【0017】

本発明の別の態様によれば、生体特徴のデータを受信するための受信装置と、受信された生体特徴のデータにおける下位ビットのデータをランダムに変換するための下位ビットランダムフィルタ(low-bit random filter)と、１つまたは複数のフィルタリングアルゴリズム（filtering algorithms）をランダムに選択して採用することによって、ランダムに変換された生体特徴のデータを前処理(pre-process)するためのプリプロセッサ(preprocessor)と、前処理された生体特徴のデータに基づいて身分識別を行う身分識別装置と、を備える生体特徴の識別サーバが提供された。

【0018】

選択的には、上記サーバにおいて、前記生体特徴のデータは、顔画像データを含む。

【0019】

選択的には、上記サーバにおいて、前記下位ランダムフィルタは、前記生体特徴のデータにおける最下位ビットをランダムに変換するように配置されている。

【0020】

選択的には、上記サーバにおいて、前記下位ランダムフィルタは、前記生体特徴のデータにおける最下位ビットを全て０にすることと、前記生体特徴のデータにおける最下位ビットを全て１にすることと、前記生体特徴のデータにおける最下位ビットをランダムに再配置することと、前記生体特徴のデータの最下位ビットをランダムに生成することと、の何れか一つを実行するように配置されている。

【0021】

選択的には、上記サーバは、複数回の識別結果に対して一致性の照合を行い、識別結果が全て一致した場合には該結果をフィードバックするための識別決定装置をさらに含む。

【0022】

選択的には、上記サーバにおいて、前記識別決定装置は、前記識別結果に不一致が存在する場合、識別プロセスが異常であることをフィードバックし、対応するデータの収集端末をブラックリストに加えるように配置されている。

【0023】

上選択的には、上記サーバでは、前記生体特徴のデータはタイムスタンプをさらに含む。

【0024】

選択的には、上記サーバは、前記顔画像データ及び前記タイムスタンプを取得するために、前記生体特徴のデータを復号化する復号化装置と、システム時刻と前記タイムスタンプとの差が要件を満たしていない場合に異常をフィードバックする検証装置と、をさらに含む。

【0025】

選択的には、上記サーバにおいて、前記検証装置は、前記システム時刻と前記タイムスタンプとの差が要件を満たす場合に、前記顔画像データにおける顔位置を検出するようにさらに配置されている。

【0026】

選択的には、上記サーバにおいて、前記検証装置は、データの収集端末において追加された負向対抗性サンプルによる作用を相殺するための対抗性サンプルを前記顔位置に追加するようにさらに配置されており、ここでは、前記負向対抗性サンプルは前記対抗性サンプルの負値である。

【0027】

選択的には、上記サーバにおいて、前記対抗性サンプルは、顔認証結果に基づいて生成器に対して逆伝導訓練を行うことにより予め生成される。

【0028】

本発明の別の態様によれば、前記サーバと協働するように用いられるクライアントが提供され、前記クライアントは、顔画像データを収集するための顔収集装置と、負向対抗性サンプルを顔位置に埋め込むための埋め込み装置と、を含み、ここでは、前記負向対抗性サンプルは対抗性サンプルの相反数（opposite number）であり、前記対抗性サンプルは、顔認証モデルに誤った認証結果を生じさせるように実の顔画像に重畳された加算ノイズである。

【0029】

選択的には、上記クライアントにおいて、前記埋め込み装置は、前記顔画像データに基づいて前記顔位置を検出し、前記顔位置に前記負向対抗性サンプルを埋め込み、処理された顔画像とタイムスタンプを暗号化して送信するように配置されている。

【0030】

本発明の別の態様によれば、生成器及び認証器を含む対抗性の生成ネットワークを構成するステップＡと、前記生成器を用いてノイズ情報を生成し、ノイズ情報を実の顔画像に加算して生成された顔データを得るステップＢと、顔認証モデルを用いて生成された顔データを認証するステップＣと、認証結果に基づいて前記生成器に対して逆伝導訓練を行うステップＤと、前記顔認証モデルが誤った認証結果を生成するまでステップＢ～Ｄを繰り返すステップＥと、前記誤った認証結果に対応するノイズ情報を対抗性サンプルとして確定するステップＦと、を含む前記生体特徴の識別サーバを利用して対抗性サンプルを生成する方法が提供される。

【0031】

本発明の別の態様によれば、実行の場合、前記方法を実行するコマンドを含むコンピュータ記憶媒体が提供される。

【0032】

本発明の別の態様によれば、プロセッサによって実行される時に前記方法を実現するコンピュータプログラムを含むコンピュータプログラム製品が提供される。

【0033】

従来の生体特徴の認証の解決手段と比べ、本発明の１つまたは複数の実施例による生体特徴の認証に関する解決案は、受信された生体特徴のデータにおける下位ビットのデータをランダムに変換し、前処理された生体特徴のデータに基づいて身分識別を行うものである。この解決案は、画像における対抗性ノイズに対して非常に破壊的であり、対抗性攻撃の機能がなくなる。それによって、攻撃者が生体特徴の認証モデルにおけるパラメータを取得しても、対抗攻撃モデルに関する訓練の過程は安定に収束できなく、効果的な攻撃モデルを形成することができない。

【図面の簡単な説明】

【0034】

図面を組み合わせた以下の詳細な説明により、本発明の上記及びほかの目的及び利点がより完全に明らかになるであろう。ここで、同じまたは類似の要素は、同じ符号を使用して表される。

【0035】

【図1】本発明の一つの実施例による生体特徴の識別方法のフロー模式図である。

【図2】対抗性サンプルの攻撃に関する原理を示す。

【図3】本発明の一つの実施例による生体特徴の識別サーバの構造を示す模式図である。

【図4】本発明の一つの実施例による顔認証のフローチャートを示すフロー図である。

【図5】本発明の一つの実施例によるデータの収集端末と顔認証サービスプラットフォームを含む顔認証システムの模式図である。

【図6】本発明のほかの実施例による顔認証のフローチャートを示すフロー図である。

【発明を実施するための形態】

【0036】

以下、本発明の実施形態について、図面及び実施形態を組み合わせて、さらに詳細に説明する。以下の実施例は、本発明を説明するために使用することができるが、本発明の範囲を限定するためには使用することができない。

【0037】

本明細書の説明において、「一つの実施例」、「いくつかの実施例」、「例」、「具体的な例」または「いくつかの例」などの用語を参照する説明は、その実施例または例を組み合わせて説明される特定の特徴、構造、材料または特徴が本発明の実施例の少なくとも１つの実施例または例に含まれることを指す。本明細書において、上記の用語の概略的な表現は、同じ実施例または例を対象としていなければならないものではない。さらに、説明された特定の特徴、構造、材料または特徴は、任意の１つまたは複数の実施形態または例において、適当な方法で組み合わされてもよい。さらに、「第１」、「第２」、「第３」という用語は、説明の目的のためだけに使用され、相対的重要性を示すものまたは暗示するものとして理解されることはない。さらに、当業者は、互いに矛盾することなく、本明細書に記載された異なる実施形態または例、及び、異なる実施形態または例の特徴を結合し、組み合わせることができる。

【0038】

本発明の文脈では、「クライアント」という用語は、ユーザ端末とも呼ばれ、サーバに対応し、クライアントにローカルサービスを提供する機器または装置を指す。１つまたは複数の実施例において、該クライアントは、ユーザの生体特徴情報を収集する収集機能などを含むいくつかの基本機能を有する。該クライアントは、ユーザの携帯電話、ノートパソコン及びヘッドセットを含むが、これらに限定されないユーザのスマート装置である。

【0039】

「サーバ」という用語は、リモートサーバまたはクラウドサーバとも呼ばれ、「クライアント」に対応し、クライアントにリモートサービスを提供する機器または装置を指す。１つまたは複数の実施例において、サーバは、クライアントから受信された生体特徴のデータをいくつかの前処理（例えば、ノイズ除去）をしてから生体特徴を識別するという、対抗性サンプルによる攻撃を防止するための生体特徴認証（例えば、顔認証）機能を、クライアントに提供することができる。

【0040】

図１は、本発明の一つの実施例による生体特徴の識別方法１０００を示すフロー模式図である。図１に示すように、方法１０００は、
生体特徴のデータを受信するステップＳ１１０と、
受信された生体特徴のデータにおける下位ビットのデータをランダム変換するステップＳ１２０と、
１つまたは複数のフィルタリングアルゴリズムをランダムに選択して採用することによって、ランダムに変換された生体特徴のデータを前処理するステップＳ１３０と、
前処理された生体特徴のデータに基づいて身分識別を行うステップＳ１４０と、を含む。

【0041】

本発明の文脈において、「生体特徴のデータ」という用語は、個人身分識別のために用いられる人体が固有するデータ及びそのデータに関連する補助情報を指す。例えば、生体特徴のデータは、生理学的特徴（例えば、指紋、虹彩、顔、ＤＮＡなど）及び行動特徴（足取り、キー入力の習慣など）を含むが、これらに限定されない。

【0042】

一つの実施例において、前記生体特徴のデータは、顔画像データを含む。一つの実施例において、生体特徴のデータは、顔画像データに加えて、該顔画像データに関連付けられたタイムスタンプも含む。該タイムスタンプは、該顔画像データが記録された時刻であってもよいし、該顔画像データがアップロードされた時刻であってもよい。

【0043】

図２は、対抗性サンプルの攻撃に関する原理を示す。「対抗性サンプル」というのは、人間の目による認証に影響を及ぼさないことを保証できる上に、分類器に誤った予測を生成させるものであり、例えば、対抗性サンプルは、攻撃者により正常のサンプルをわずかにかき乱することによって生成された異常サンプルであってもよい。一つの実施例において、対抗性サンプルは、ＣＮＮモデルが高い信頼性を有する誤った出力を出力することを可能にすることができる。図２には、顔照合アルゴリズムにおける対抗性サンプルが示されている。対抗ノイズを重ねると、顔の照合点は１００点から６０以下に急激に下がったことが分かる。つまり、顔照合アルゴリズムは、この時点で、この２人を成功に識別することができなくなる。

【0044】

対抗性サンプルの攻撃は、ホワイトボックス攻撃とブラックボックス攻撃に分けられる。ホワイトボックス攻撃とは、攻撃者が訓練データ、モデルアーキテクチャ、スーパーパラメータ、層数、活性化関数及びモデル重みを含む認証モデルの全ての情報が知り、モデルの勾配を計算して対抗性サンプルを生成することによって攻撃を行うものである。ブラックボックス攻撃とは、攻撃者が以上の情報が知らずに攻撃を行うものである。

【0045】

対抗性サンプルの攻撃原理から分かるように、生体特徴の認証システム（例えば、顔認証システム）に誤った認証を引き起こす根本的な原因は、攻撃者が生体特徴のデータ（例えば、顔画像データ）に加算的な対抗性ノイズを加えることにある。

【0046】

本願の発明者らは、対抗性ノイズまたは対抗性サンプルにおけるデータの大部分は、数値が極めて低く、例えば、８ビット画像データの下位ビットのみが変換されたものであることを発見した。従って、生体特徴のデータにおける下位ビットのデータをランダムに変換することは、対抗性ノイズのデータの大部分を破壊する可能性がある。ここで、「下位ビットのデータ」とは、個人身分識別に利用可能な人体が固有するデータのうちの最下位ビットのデータ、最後から２桁のデータ、または最後から３桁のデータを指すものである。

【0047】

一つの実施例において、ステップＳ１２０は、前記生体特徴のデータにおける最下位ビットをランダムに変換することを含む。もちろん、当業者であれば、一つの実施例において、生体特徴のデータのうちの最後から２桁または最後から３桁のデータをランダムに変換することができることを理解するであろう。

【0048】

一つの実施例において、前記生体特徴のデータにおける最下位ビットをランダムに変換することは、前記生体特徴のデータにおける最下位ビットを全て０にすることと、前記生体特徴のデータの最下位ビットを全て１にすることと、前記生体特徴のデータにおける最下位ビットをランダムに再配置することと、前記生体特徴のデータの最下位ビットをランダムに生成することと、のうちの何れか一つを含む。例えば、８ビットの画像データに対して、最下位ビットをランダムに変換することは、（１）８ビットの最下位ビットを全て０にすることと、（２）８ビット最下位ビットを全て１とすることと、（３）８ビット最下位をランダムに再配置することと、（４）８ビット最下位ビットをランダムに生成することという四つのアルゴリズムを含む。１つ以上の実施形態では、最下位ビットをランダムに変換するアルゴリズムは、固定的なものではなく、複数のアルゴリズム（例えば、上記の４つのアルゴリズム）からランダムに選択されたものであり、ことによって、入力画像を前処理する。

【0049】

生体特徴のデータにおける最下位ビットをランダムに変換した後、ランダムに変換された生体特徴のデータを再度フィルタリング（前処理）して、生体特徴のデータを平滑化する（例えば、顔画像データを平滑化する）ことが好ましい。例えば、１つまたは複数のフィルタリングアルゴリズムをランダムに選択することによって、ランダムに変換された生体特徴のデータを前処理することもできる。

【0050】

画像のデータ（例えば、顔画像のデータ）を例にとると、複数の画像ノイズ除去／フィルタリングアルゴリズムがあり、例えばＢＭ３Ｄノイズ低減と、ＤＣＴノイズ低減と、ＰＣＡノイズ低減と、Ｋ－ＳＶＤノイズ低減と、非局所平均ノイズ低減と、ＷＮＮＭノイズ低減と、主成分分析及びバイラテラルフィルタリングに基づく画像ノイズ低減アルゴリズムと、ウェーブレット変換と、ウェーブレットしきい値ノイズ低減と、Ｃｏｎｔｏｕｒｌｅｔ変換と、パン不変Ｃｏｎｔｏｕｒｌｅｔ変換に基づくＳＡＲ画像のノイズ低減等があり、また、これに限定されない。１つまたは複数の実施例において、上記の１１種類のフィルタリングアルゴリズムから１つまたは複数をランダムに選択して入力画像を前処理する。通常の場合、ノイズ除去は、顔認証のシステムの認証結果に影響を及ぼさないが、画像における対抗性ノイズに対する破壊性が極めて大きく、対抗性攻撃の機能がなくなる。

【0051】

一つの実施例において、前記ステップＳ１４０において、前処理された生体特徴のデータに基づいて身分識別が行って、第１の照合結果が得られる。図１には示されていないが、上記方法１０００は、第２の比較結果を得るために、上記ステップＳ１２０～Ｓ１４０を繰り返し実行すること（そのうち、ステップＳ１２０及びＳ１３０を再実行するために用いられるフィルタリングアルゴリズムは、最初の実行時に使用されたフィルタリングアルゴリズムとは異なり、または、部分的に異なる）と、第３の照合結果を得るために、受信された生体特徴のデータに基づいて直接に認証を行うことと、をさらに含む。

【0052】

上記した実施例において、前記方法１０００は、前記第１の照合結果、前記第２の照合結果、及び、前記第３の照合結果に対して一致性の照合を行うことと、前記第１の照合結果、前記第２の照合結果、及び、前記第３の照合結果の全てが一致した場合に、前記第１の照合結果をフィードバックすることと、をさらに含む。一方、前記第１の照合結果、前記第２の照合結果及び前記第３の照合結果に不一致が存在する場合に、識別プロセスの異常をフィードバックし、対応するデータの収集端末をブラックリストに加える。

【0053】

上記から分かるように、３回目の認証は、元の生体特徴のデータ（つまり、下位ビットをランダムに変換しなかった）に対して身分識別を行うものであり、１回目の識別も２回目の識別も下位ビットをランダムに変換した（異なるフィルタアルゴリズムを採用が可能）生体特徴のデータに対して身分識別を行うものである。これら３回の識別結果が一致すれば、該識別結果を直接的にフィードバックすることができる。一方、複数回の識別の結果（例えば、３回の識別の結果）が異なる場合、識別プロセスの異常をフィードバックし（対抗性サンプルの攻撃の可能性が高い）、異常なデータを収集した端末を、ブラックリストに追加し、その後、該端末に対する認証サービスの提供を拒否することができる。

【0054】

このように、マルチグラフの検証策略とブラックリストの拒否策略を追加することで、攻撃者がブラックボックス型の攻撃訓練を行うことを、効果的に阻止することができる。

【0055】

現在、顔認証に影響を及ぼす最大の問題は、カメラ乗っ取り攻撃が顔認証システムの安全性を大きく破壊することにある。その基本的な原理は、まず、攻撃者が決済アプリに「殻を破る」ということにより、カメラデータの乗っ取りを実現し、次に、攻撃者が顔認証における生体検出のプロセスを協力して完了し、最後に、攻撃者がカメラからアップロードされた動画データを、あらかじめ偽造された被攻撃者の動画データに置き換え、偽造されたデータをバックグラウンドの顔認証システムにアップロードすることによって、攻撃プロセスの全体を完了させる。現在では、圧倒的多数の顔認証システムは、このようなカメラ乗っ取り攻撃に対する防御力を持っていない。

【0056】

この問題に対して、一つの実施例において、方法１０００は、ステップＳ１１０とステップＳ１２０との間には、前記顔画像データ及び前記タイムスタンプを取得するために、前記生体特徴のデータを復号化することと、システム時刻と前記タイムスタンプとの差が要件を満たしていない場合、異常がフィードバックされることと、をさらに含む。前記システム時刻と前記タイムスタンプとの差が要件を満たす場合には、前記顔画像データにおける顔位置を検出し、顔認証のために前記顔位置に対抗性サンプルを追加する。

【0057】

ここで、顔の位置に対抗性サンプルを追加するのは、顔画像取得中に負向対抗性サンプルを埋め込むということによる影響を相殺するためである。つまり、顔画像収集プロセスにおいて、顔収集端末（例えば、クライアント）は顔位置を検出し、顔検出領域に負向対抗性サンプルを埋め込み、処理された顔画像、顔位置及びタイムスタンプを暗号化で顔認証サーバに送信する必要がある。このように、カメラ乗っ取りが発生しても、収集時に負向対抗性サンプルが埋め込まれていない画像にも、認証サービスが顔認証を行う前に、対抗性サンプルが加えられ、これによって、顔認証のプロセスで正しい結果を得ることができない。

【0058】

一つの実施例において、対抗性サンプルは、顔認証結果に基づいて生成器に逆伝導訓練を行うことによって事前に生成されるものである。例えば、対抗性サンプルは、（１）対抗性の生成ネットワークを構成し、生成モデルが偽造顔画像を生成し、認証器を顔認証モデルとし、顔認証モデルのパラメータを固定し、生成器のみパラメータの最適化を行うことと、（２）生成部は、ノイズ情報を生成し、実の顔画像にノイズ情報を付加してフェイクデータ（fake data）及びフェイクタグを形成することと、（３）顔認証モデルが生成された顔データを認証することと、（４）顔認証結果に基づいて生成器に対して逆伝導訓練を行うことと、（５）顔認証モデルが誤った認証結果を生じるまで、ステップ（２）～（４）を繰り返すこととのステップにより生成されるものである。このとき、生成器が生成する画像は対抗性サンプルＡであり、その相反数－Ａが負向対抗性サンプルである。対抗性サンプルは加算的なノイズであり、負向対抗性サンプルは対抗性サンプルの負値であり、対抗性サンプルによる作用を相殺するために用いられる。

【0059】

一つの実施例において、負向対抗性サンプルは、１回だけ生成され、その後の画像への埋め込み及び除去におけるプロセスにおいて計算が容易で効率的である。また、負向対抗性サンプルを埋め込んだ顔データは、人間の目に影響を与えず、伝送中にデータが解読されてもデータの除去ができない。

【0060】

図３は、本発明の一つの実施例による生体特徴の識別サーバ３０００を示す構造模式図である。図３に示すように、生体特徴の識別サーバ３０００は、受信装置３１０と、下位ビットランダムフィルタ３２０と、プリプロセッサ３３０と、認証装置３４０とを含む。ここで、受信装置３１０は、生体特徴のデータを受信するものであり、下位ビットランダムフィルタ３２０は、受信された生体特徴のデータにおける下位ビットのデータをランダムに変換するものであり、プリプロセッサ３３０は、１つまたは複数のフィルタリングアルゴリズムをランダムに選択して採用することによって、ランダムに変換された生体特徴のデータを前処理するものであり、身分識別装置３４０は、前処理された生体特徴のデータに基づいて身分識別を行うものである。

【0061】

本発明の文脈において、「生体特徴のデータ」という用語は、個人身分識別のために用いられる人体が固有するデータ及び該データに関連する補助情報を指す。例えば、生体特徴のデータは、生理学的特徴（例えば、指紋、虹彩、顔、ＤＮＡなど）及び行動特徴（足取り、キー入力の習慣など）を含むが、これらに限定されない。

【0062】

一つの実施例において、前記生体特徴のデータは顔画像データを含む。一つの実施例において、前記生体特徴認証データは、顔画像データに加えて、該顔画像データに関連付けられたタイムスタンプを含む。該タイムスタンプは、該顔画像データが記録された時刻であってもよいし、該顔画像データがアップロードされた時刻であってもよい。

【0063】

「対抗性サンプル」というのは、人間の目による認証に影響を及ぼさないことを保証できる上に、分類器に誤った予測を生成させるサンプルを指し、例えば、対抗性サンプルが、攻撃者により正常のサンプルをわずかにかき乱することによって生成された異常サンプルであってもよい。一つの実施例において、対抗性サンプルは、ＣＮＮモデルが高い信頼性を有する誤った出力を出力することを可能にすることができる。図２に示すように、それは、顔照合アルゴリズムにおける対抗性サンプルを与えるものである。対抗ノイズを重ねると、顔の照合点は１００点から６０以下に急激に下がったことが分かる。つまり、顔照合アルゴリズムはこの時点で、この２人を成功に認証することができない。対抗性サンプルの攻撃について、ホワイトボックス攻撃とブラックボックス攻撃に分けることができる。ホワイトボックス攻撃とは、攻撃者が訓練データ、モデルアーキテクチャ、スーパーパラメータ、層数、活性化関数及びモデル重みを含むモデルを認証する全ての情報が知り、モデルの勾配を計算して対抗性サンプルを生成することによって攻撃を行うことを指す。ブラックボックス攻撃とは、攻撃者が以上の情報が知らずに攻撃を行うことを指す。

【0064】

対抗性サンプルの攻撃原理から分かるように、生体特徴の認証システム（例えば、顔認証システム）が誤った認証を引き起こす根本的な原因は、攻撃者が生体特徴のデータ（例えば、顔画像データ）に加算的な対抗性ノイズを加えることにある。

【0065】

本願の発明者らは、対抗性ノイズまたは対抗性サンプルにおけるデータの大部分は、数値が極めて低く、例えば、８ビット画像データの下位ビットのみが変換されるものであることを発見した。従って、生体特徴のデータにおける下位ビットのデータをランダムに変換することは、対抗性ノイズデータの大部分を破壊する可能性がある。ここで、「下位ビットのデータ」とは、個人身分識別に利用可能な人体が固有するデータのうち、最下位のデータ、最後から２桁のデータ、または最後から３桁のデータを指す。

【0066】

一つの実施例において、下位ビットランダムフィルタ３２０は、前記生体特徴のデータにおける最下位ビットをランダムに変換するように配置されている。もちろん、一つの実施例において、ランダムフィルタ装置３２０が生体特徴のデータにおける最下位ビットに限定されることなく、最後から２桁のデータ、または最後から３桁のデータもランダムに変換することができることは、当業者にとって理解するであろう。

【0067】

一つの実施例において、下位ビットランダムフィルタ３２０は、前記生体特徴のデータにおける最下位ビットを全て０にすることと、前記生体特徴のデータにおける最下位ビットを全て１にすることと、前記生体特徴のデータにおける最下位ビットをランダムに再配置することと、前記生体特徴のデータにおける最下位ビットをランダムに生成することとのいずれかを実行するように配置されている。例えば、８ビットの画像データに対して、最下位ビットランダム変換は、（１）８ビットの最下位ビットを全て０にすることと、（２）８ビット最下位ビットを全て１とすることと、（３）８ビット最下位をランダムに再配置することと、（４）８ビット最下位ビットをランダムに生成することと、の何れか一つを実行するように配置される。１つ以上の実施例において、下位ビットランダムフィルタ３２０が採用するアルゴリズムは、固定的なものではなく、複数のアルゴリズム（例えば、上記の４つのアルゴリズム）からランダムに選択されたものであり、ことによって、入力画像を前処理する。

【0068】

下位ビットランダムフィルタ３２０が生体特徴のデータにおける最下位ビットをランダム変換した後、プリプロセッサ３３０がランダム変換された生体特徴のデータを再度フィルタリング（前処理）して、生体特徴のデータを平滑化する（例えば、顔画像データを平滑化する）ことが好ましい。例えば、プリプロセッサ３３０は、１つまたは複数のフィルタリングアルゴリズムをランダムに選択することによって、ランダムに変換された生体特徴のデータを前処理するように配置されている。

【0069】

画像データ（例えば、顔画像データ）を例に、複数の画像ノイズ除去／フィルタリングアルゴリズムがあり、例えばＢＭ３Ｄノイズ低減と、ＤＣＴノイズ低減と、ＰＣＡノイズ低減と、Ｋ－ＳＶＤノイズ低減と、非局所平均ノイズ低減と、ＷＮＮＭノイズ低減と、主成分分析及びバイラテラルフィルタリングに基づく画像ノイズ低減アルゴリズムと、ウェーブレット変換と、ウェーブレットしきい値ノイズ低減と、Ｃｏｎｔｏｕｒｌｅｔ変換と、パン不変Ｃｏｎｔｏｕｒｌｅｔ変換に基づくＳＡＲ画像のノイズ低減等があるが、これに限定されない。１つまたは複数の実施例において、プリプロセッサは、入力画像を前処理するために、上記の１１種類のフィルタリングアルゴリズムから１つまたは複数をランダムに選択するように配置されている。通常の場合、ノイズ除去は、顔認証システムの認証結果に影響を及ぼさないが、画像における対抗性ノイズに対する破壊性が極めて大きく、対抗性攻撃の機能がなくなる。

【0070】

一つの実施例において、上記のサーバ３０００は、識別決定装置３５０をさらに含み、複数回の識別結果に対して一致性の照合を行い、識別結果が全て一致した場合に該結果をフィードバックするために用いられる。例えば、１回目の識別は、元の生体特徴のデータ（つまり、下位ビットランダム変換なし）に対して身分識別を行うことであり、２回目と３回目の識別が下位ビットランダム変換された（異なるフィルタリングアルゴリズムを使用することができる）生体特徴のデータに対して身分識別を行うことである。これら３回の識別結果が一致すれば、識別決定装置は、その識別結果を直接的にフィードバックすることができる。

【0071】

一つの実施例において、識別決定装置３５０は、さらに、前記識別結果に不一致が存在する場合、識別プロセスが異常であることをフィードバックし、対応するデータの収集端末をブラックリストに加えるように配置されている。つまり、複数回の身分識別の結果（例えば、３回の身分識別の結果）が異なる場合、確認プロセスが異常であることをフィードバックし（対抗性サンプルの攻撃の可能性が高い）、異常なデータを収集した端末を、ブラックリストに追加し、その後、該端末に対する身分識別のサービスを提供することを拒否することができる。このように、マルチグラフ検証策略とブラックリスト拒否策略を追加することで、攻撃者がブラックボックス型の攻撃訓練を行うことを、効果的に阻止することができる。

【0072】

現在、顔認証に影響を及ぼす最大の問題は、カメラ乗っ取り攻撃が顔認証システムの安全性を大きく破壊することにある。その基本的な原理は、まず、攻撃者が決済アプリに「殻を破る」ということにより、カメラデータの乗っ取りを実現し、次に、攻撃者が顔認証における生体検出のプロセスを協力して完了し、最後に、攻撃者がカメラからアップロードされた動画データを、あらかじめ偽造された被攻撃者の動画データに置き換え、偽造されたデータをバックグラウンドの顔認証システムにアップロードすることによって、攻撃プロセスの全体を完了させる。現在では、圧倒的多数の顔認証システムは、このようなカメラ乗っ取り攻撃に対する防御力を持っていない。

【0073】

この問題に対して、一つの実施例において、上記サーバ３０００は、前記顔画像データ及び前記タイムスタンプを取得するために、前記生体特徴のデータを復号化する復号化装置３６０と、システム時刻と前記タイムスタンプとの差が要件を満たしていない場合に異常をフィードバックする検証装置３７０をさらに含む。一つの実施例において、検証装置３７０は、前記システム時刻と前記タイムスタンプとの間の差が要件を満たす場合に、前記顔画像データにおける顔位置を検出し、顔認証のために前記顔位置に対抗性サンプルを加えるようにさらに配置されている。

【0074】

検証装置３７０が顔位置に対抗性サンプルを加えることは、顔画像を収集する過程において負向対抗性サンプルを埋め込むということによる影響を相殺するためである。つまり、顔画像の収集プロセスにおいて、顔収集端末（例えば、クライアント）は、顔位置を検出し、顔検出領域に負向対抗性サンプルを埋め込み、処理された顔画像、顔位置、及び、タイムスタンプを暗号化された形式でサーバ（例えば、顔認証認証サーバ）に送信する必要がある。このように、カメラ乗っ取りが発生しても、収集時に負向対抗性サンプルが埋め込まれていない画像にも、認証サービスが顔認証を行う前に、対抗性サンプルが加えられ、よって、顔認証のプロセスで正しい結果を得ることができない。

【0075】

一つの実施例において、対抗性サンプルは、顔認証結果に基づいて生成器に対して逆伝導訓練を行うことにより事前に生成される。例えば、対抗性サンプルは、生体特徴の識別サーバによって生成されてもよく、具体的な生成方法は、生成器及び認証器を含む対抗性の生成ネットワークを構成するステップＡと、前記生成器によりノイズ情報を生成し、ノイズ情報と実の顔画像に加算して生成された顔データを得るステップＢと、顔認証モデルを用いて生成された顔データを認証するステップＣと、認証結果に基づいて前記生成器に対して逆伝導訓練を行うステップＤと、前記顔認証モデルが誤った認証結果を生成するまでステップＢ～Ｄを繰り返すステップＥと、前記誤った認証結果に対応するノイズ情報を対抗性サンプルＡとして確定するステップＦと、を含むものである。対抗性サンプルＡの相反数－Ａは、負向対抗性サンプルである。対抗性サンプルが加算的なノイズであり、負向対抗性サンプルが対抗性サンプルの負値で、対抗性サンプルによる作用を相殺するために用いられることが分かる。

【0076】

一つの実施例において、負向対抗性サンプルは１回だけ生成され、その後、画像への埋め込み及び除去に関するプロセスは計算が容易で効率的である。また、負向対抗性サンプルを埋め込んだ顔データは、人間の目に影響を与えず、伝送中にデータが解読されてもデータの除去はできない。

【0077】

図４は、本発明の一つの実施例による顔認証のフローチャートを示す図である。図４に示されるように、顔認証システムは、図４に示す顔収集モジュールと、画素下位ビットランダムフィルタと、ランダムノイズフィルタと、顔認証機能モジュールと、識別決定モジュールとのような複数の装置またはモジュールを含むことができる。一つの実施例において、顔収集モジュールは、例えば、ユーザのスマートフォンに含まれるようなクライアント側に配置されてもよい。画素下位ビットランダムフィルタと、ランダムノイズフィルタと、顔認証機能モジュールと、識別決定モジュールとは、サーバ側、例えば顔認証サービスプラットフォームに配置されてもよい。

【0078】

顔収集モジュールは、顔データを収集するために用いるものである。対抗性ノイズの大部分のデータの数値は非常に低く、８ビット画像データの下位ビットのみ変換され、画素下位ビットランダムフィルタにより画像データの最下位ビットがランダムに変換されることよって、対抗性ノイズの大部分のデータを破壊する。また、画素下位ビットランダムフィルタに含まれるフィルタリングアルゴリズムは、主に、８ビットの最下位ビットを全て０にすることと、８ビットの最下位ビットを全て１にすることと、８ビットの最下位ビットをランダムに再配置することと、８ビット最下位ビットをランダムに生成することと、を含む。フィルタリングの過程において、画素下位ビットランダムフィルタは、上記の４種類のアルゴリズムの中からランダムに選択し、入力画像に対して前処理を行うことができる。ランダムノイズフィルタにおいて、画像ノイズ除去のアルゴリズムは、ＢＭ３Ｄノイズ低減と、ＢＭ３Ｄノイズ低減と、ＤＣＴノイズ低減と、ＰＣＡノイズ低減と、Ｋ－ＳＶＤノイズ低減と、ＮＬ－Ｍｅａｎｓ非局所平均ノイズ低減と、ＷＮＮＭノイズ低減と、主成分分析及びバイラテラルフィルタリングに基づく画像ノイズ低減アルゴリズムと、ウェーブレット変換と、ウェーブレットしきい値ノイズ低減と、Ｃｏｎｔｏｕｒｌｅｔ変換と、トランスレーション不変のＣｏｎｔｏｕｒｌｅｔ変換に基づくＳＡＲイメージのノイズ低減と、の方法を含むが、これに限定されていない。ランダムノイズフィルタは、上記の１１種類のフィルタリングアルゴリズムから１つまたはいくつかをランダムに選択して入力画像を前処理する。

【0079】

顔認証機能モジュールは、画像における顔を認証するものである。識別決定モジュールは、複数回の顔照合の結果に対して一致性の照合を行い、検証の結果が一致する場合には該結果をフィードバックし、検証の結果が一致しない場合には識別プロセスの異常をフィードバックし、対応するデータの収集端末をブラックリストに加える。

【0080】

一つの実施例において、顔収集モジュールがデータ収集を完了した後、顔認証機能モジュールは、元の顔データに対して第一回の顔認証を行い、認証結果を識別決定モジュールにフィードバックする。次に、元の顔データを第１回の画素下位ビットランダムフィルタリング及び第１回のランダムノイズフィルタリングを行い、フィルタリングされたデータに対して第２回の顔照合を行う。それから、元の顔データを第２回の画素下位ビットランダムフィルタリング及び第２回のランダムノイズフィルタリング（第２回のフィルタリング方法が第１回のフィルタリング方法と異なることを保証する）を行い、フィルタリングされたデータに対して第３回の顔照合を行う。最後に、識別決定モジュールは、３回のフィルタリングの結果を照合し、３回の識別結果が一致すれば、顔認証の正常値をフィードバックし、３回の認証結果が一致しなければ、認証に異常がある（異常値はＳ）とフィードバックし、異常データを収集した端末をブラックリストに追加し、その後、該端末への顔認証サービスの提供が拒否される。

【0081】

図５は、本発明の一つの実施例によるデータの収集端末及び顔認証サービスプラットフォームを含む顔認証システムの模式図である。データの収集端末はユーザ側に位置するものであり、顔認証サービスプラットフォームは遠隔地サーバ側に位置するものである。

【0082】

図５の実施例において、データの収集端末は、顔データを収集するためのカメラと、データの収集端末のアプリケーション及びドライバプログラムの安全な動作、記憶環境を提供するＴＥＥと、の運行リソースを提供するものである。図５に示すように、データの収集端末は、顔位置を検出し、顔検出領域に負向対抗性サンプルを埋め込み、処理された顔画像、顔位置及びタイムスタンプを暗号化された形式で遠隔地に位置する顔認証サービスプラットフォームに送信するための負向対抗性サンプルの埋め込みモジュールをさらに含む。

【0083】

一つの実施例において、顔認証サービスプラットフォームは、顔認証サービスが行うものであり、負向対抗性サンプルの検証モジュールは、顔画像、顔位置及びタイムスタンプを復号化するものであり、一方、顔認証モデルは、認証された顔認証画像を認証し、認証された人の身分情報をフィードバックするものである。

【0084】

図６は、図５に示した顔認証システムによる顔認証のフローチャートを示す図である。図６に示すように、データの収集端末は、顔認証を実行する前に、アプリケーション初期化を行い、顔検出モデル及び負向対抗性サンプル－ＡをＴＥＥに記憶する。次に、カメラが顔画像を収集する。負向対抗性サンプルの埋め込みモジュールは、顔画像における顔位置Ｐを検出し、Ｐ領域に負向対抗性サンプル－Ａを埋め込んだ後、顔画像と埋め込みタイムスタンプｔを暗号化して顔認証サービスプラットフォームにアップロードする。その後、サーバ側には負向対抗性サンプルの検証モジュールは、顔データと埋め込みタイムスタンプｔを復号化し、埋め込みされたタイムスタンプｔを検証し、もしシステム時刻とｔの差が要件を満たさなければ、プラットフォームに異常をフィードバックし、そうでなければ、顔位置Ｐを検出し、Ｐの位置に対抗性サンプルＡを埋め込む。最後に、顔認証モデルは顔認証フローを実行し、認証結果をフィードバックする。

【0085】

一つの実施例において、負向対抗性の埋め込みプロセスは、入力画像Ｆにおいて顔位置Ｐ（ｘ１、ｙ１、ｘ２、ｙ２）を検出する（ｘ及びｙはそれぞれ顔フレームの横縦座標）というステップと、画像における位置Ｐによって確定される画素ブロックの内容がＳであり、Ｓ１＝（Ｓ－Ａ）ｍｏｄ２５６とし、Ｓ値をＳ１に置き換え、このとき画像がＦ１に変換されるというステップと、負向サンプルの埋め込み時間ｔを記録して、（Ｆ１，ｔ）を暗号化するというステップと、を含む。

【0086】

一つの実施例において、負向対抗性サンプルの検証プロセスは、（Ｆ１，ｔ）を復号化するというステップと、システム時刻ｔ１とタイムスタンプｔとの差が（－ａ，ａ）の範囲内であることを検証するというステップと、入力画像Ｆにおいて顔位置Ｐ（ｘ１，ｙ１，ｘ２，ｙ２）を検出するというステップと、画像における位置Ｐで決まる画素ブロックの内容をＳ１とし、Ｓ＝（Ｓ１＋Ａ）ｍｏｄ２５６とし、Ｓ１の値をＳに置き換え、この時、画像をＦに変換するというステップと、を含む。

【0087】

なお、図６において、負向対抗性サンプルの埋め込みモジュール及び負向対抗性サンプルの検証モジュールなどが単一のモジュールとして示されているが、これらのモジュールは、機能または必要に応じてさらに細分化されてもよく、例えば、負向対抗性サンプルの検証モジュールは、復号モジュール及び検証モジュールにさらに細分化されてもよいことが当業者には理解されるであろう。

【0088】

さらに、上記の装置の実施例は、単に概略的なものであり、前記の分離された構成要素として説明されたモジュールは、物理的に分離されていなくてもよく、つまり、１つの場所に配置されていてもよく、または複数のネットワークモジュールに分散されていてもよい。実際の必要に応じて、これらのモジュールの一部または全部は、本実施例の解決手段の目的を実現するために選択することができる。当業者は、創造的な労働を伴わない場合、それを理解し、実施することができる。

【0089】

以上の様々な実施形態を説明することにより、各実施形態は、ソフトウェアに必要な汎用ハードウェアプラットフォームを加えた形で実現され得ることが当業者には明確に理解されるであろうが、もちろん、ハードウェアを介して実施されてもよい。このような理解に基づいて、上記した技術的解決手段は実質的に、または、先行技術に貢献する部分は、ソフトウェア製品の形態で具現化することができ、該コンピュータのソフトウェア製品は、コンピュータ（例えば、コンピュータ）が読み取り可能な形態で情報を記憶または送信するための任意の機構を含むコンピュータの読み取り可能な記憶媒体に記憶することができる。例えば、機械可読媒体は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュ記憶媒体、電気、光、音響、またはほかの形態の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号など）などを含み、該コンピュータソフトウェア製品はいくつかのコマンドを含み、１つのコンピュータ装置（パーソナルコンピュータ、サーバ、またはネットワーク装置などであってもよい）が、様々な実施例または実施例の一部で説明された方法を実行するために用いられる。

【0090】

本願は、本願の実施例に係る方法、装置（機器）、及び、コンピュータのプログラム製品のフローチャート及び／またはブロック図を参照して説明されるものである。フローチャート及び／またはブロック図における各フロー及び／またはブロック、ならびに、フローチャート及び／またはブロック図におけるフロー及び／またはブロックの組み合わせは、コンピュータのプログラムコマンドによって実現され得ることが理解されるべきである。これらのコンピュータのプログラムコマンドは、１つのマシンを生成するように、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ、またはほかのプログラマブルデータ処理機器のプロセッサに提供され、コンピュータまたはほかのプログラマブルデータ処理機器のプロセッサを介して実行されるコマンドが、フローチャートの１つまたは複数のフロー及び／またはブロック図の１つまたは複数のブロックにおいて指定された機能を実現するための機器を生成することができる。

【0091】

これらのコンピュータのプログラムコマンドは、さらに、コンピュータまたはほかのプログラマブルデータ処理機器を特定の方法で動作させるように案内することができるコンピュータ可読メモリに記憶されてもよく、該コンピュータ可読メモリに記憶されたコマンドは、フローチャートの１つまたは複数のフロー及び／またはブロック図の１つまたは複数のブロックで指定された機能を実現するコマンド装置を含む製造品を生成する。

【0092】

これらのコンピュータのプログラムコマンドは、コンピュータまたはほかのプログラマブルデータ処理機器にロードされてもよく、コンピュータで実現される処理を生成するように、コンピュータまたはほかのプログラマブル機器上で一連の動作ステップが実行され、それにより、コンピュータまたはほかのプログラマブルデータ処理機器上で実行されるコマンドは、フローチャートの１つまたは複数のフロー及び／またはブロック図の１つまたは複数のブロックで指定された機能を実現するステップを提供する。

【0093】

以上のように、本発明の１つまたは複数の実施例による生体特徴認証の解決案は、受信された生体特徴のデータにおける下位ビットのデータをランダムに変換し、前処理された生体特徴のデータに基づいて身分識別を行う。該解決案は、画像における対抗性ノイズに対して非常に破壊的であり、対抗性攻撃の機能がなくなる。それによって、攻撃者が生体特徴の認証モデルにおけるパラメータを取得しても、対抗攻撃モデルに関する訓練の過程は安定に収束できなく、効果的な攻撃モデルを形成することができない。

【0094】

さらに、１つまたは複数の実施例において、マルチグラフ検証策略及びブラックリスト拒否策略を追加することにより、攻撃者がブラックボックスモードの攻撃訓練を行うことを効果的に阻止することができる。また、顔画像収集の過程に負向対抗性サンプルの埋め込みフローを加え、顔認証システム側に負向対抗性サンプル検証（除去）プロセスを加えるという設計により、収集時に負向対抗性サンプルが埋め込まれていない画像は、認証サービスが顔認証を行う前に対抗性サンプルに加えられ、よって、顔認証の過程で正しい結果を得ることができなくなる。負向対抗性サンプルは一度生成すればよく、その後の画像への埋め込みと除去の過程は計算が簡便で効率が高く、また、負向対抗性サンプルを埋め込んだ顔データは、人間の目に影響を与えず、たとえデータが伝送過程で解読されてもデータの除去はできない。

【0095】

本願の好ましい実施例が説明されているが、当業者が基本的な進歩性の概念を知ると、これらの実施例に追加の変更及び補正を加えることができる。従って、添付された特許請求の範囲は、好ましい実施例及び本願の範囲に含まれる全ての変更及び補正を含むものとして解釈されることが意図されている。明らかに、当業者は、本願の精神及び範囲を逸脱することなく、本願に様々な変更及び変形を加えることができる。このように、本願のこれらの補正及び変形が、本願の請求項及びそれと同等の技術の範囲内にある場合、本願はこれらの補正及び変形も含むことを意図している。

【符号の説明】

【0096】

１０００ 識別方法
３０００ 識別サーバ
３１０ 受信装置
３２０ 下位ビットランダムフィルタ
３３０ プリプロセッサ
３４０ 身分識別装置
３５０ 識別決定装置
３６０ 復号化装置
３７０ 検証装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】