特許 7013077 生体検出方法及び装置、機器並びに記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-21

(45)【発行日】2022-01-31

(54)【発明の名称】生体検出方法及び装置、機器並びに記憶媒体

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220124BHJP

   G06F 21/32 20130101ALI20220124BHJP

【ＦＩ】

G06T7/00 350C

G06F21/32

G06T7/00 510F

【請求項の数】 23

(21)【出願番号】P 2020540717

(86)(22)【出願日】2019-10-31

(65)【公表番号】

(43)【公表日】2021-08-12

(86)【国際出願番号】 CN2019114893

(87)【国際公開番号】W WO2020199577

(87)【国際公開日】2020-10-08

【審査請求日】2020-07-22

(31)【優先権主張番号】201910250962.5

(32)【優先日】2019-03-29

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】321006888

【氏名又は名称】ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ルイ・ジャン

(72)【発明者】

【氏名】ミンチャオ・シュ

(72)【発明者】

【氏名】リウェイ・ウ

(72)【発明者】

【氏名】チェン・リ

【審査官】佐田 宏史

(56)【参考文献】

【文献】中国特許出願公開第１０８５３７１５２（ＣＮ，Ａ）

【文献】特表２０１９－５０３５３０（ＪＰ，Ａ）

【文献】特開２０１８－１２８２６５（ＪＰ，Ａ）

【文献】国際公開第２０１９／０４３４２５（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００，７／００－７／９０

Ａ６１Ｂ ５／１１７１

Ｇ０６Ｆ ２１／３２

(57)【特許請求の範囲】

【請求項1】

電子機器が実行する、生体検出方法であって、
目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る操作と、
前記再構成画像に基づいて再構成誤差を得る操作と、
前記被検出画像と前記再構成誤差をチャネル方向において連結して融合画像を得、前記融合画像に基づいて、前記目標対象の、生体又は非生体である分類結果を得る操作と、を含むことを特徴とする生体検出方法。

【請求項2】

目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る前記操作は、
目標対象を含む被検出画像に基づいて、自己符号化器によって再構成処理を行って前記再構成画像を得る操作を含むことを特徴とする請求項１に記載の生体検出方法。

【請求項3】

目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る前記操作は、
前記被検出画像を自己符号化器に入力して再構成処理を行って再構成画像を得る操作を含むことを特徴とする請求項１又は２に記載の生体検出方法。

【請求項4】

前記被検出画像を自己符号化器に入力して再構成処理を行って再構成画像を得る前記操作は、
前記自己符号化器を用いて前記被検出画像に対して符号化処理を行って、第１特徴データを得る操作と、
前記自己符号化器を用いて前記第１特徴データに対して復号処理を行って、前記再構成画像を得る操作と、を含むことを特徴とする請求項３に記載の生体検出方法。

【請求項5】

前記再構成画像に基づいて再構成誤差を得る前記操作は、
前記再構成画像と前記被検出画像との間の差に基づいて再構成誤差を得る操作を含むことを特徴とする請求項３又は４に記載の生体検出方法。

【請求項6】

目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る前記操作は、
目標対象を含む被検出画像に対して特徴抽出を行って第２特徴データを得る操作と、
前記第２特徴データを自己符号化器に入力して再構成処理を行って再構成画像を得る操作と、を含むことを特徴とする請求項１又は２に記載の生体検出方法。

【請求項7】

前記第２特徴データを自己符号化器に入力して再構成処理を行って再構成画像を得る前記操作は、
前記自己符号化器を用いて前記第２特徴データに対して符号化処理を行って第３特徴データを得る操作と、
前記自己符号化器を用いて前記第３特徴データに対して復号処理を行って、前記再構成画像を得る操作と、を含むことを特徴とする請求項６に記載の生体検出方法。

【請求項8】

前記再構成画像に基づいて再構成誤差を得る前記操作は、
前記第２特徴データと前記再構成画像との間の差に基づいて再構成誤差を得る操作を含み、
前記被検出画像と前記再構成誤差をチャネル方向において連結して融合画像を得、前記融合画像に基づいて、前記目標対象の分類結果を得る前記操作は、
前記第２特徴データと前記再構成誤差をチャネル方向において連結して第２連結情報を得る操作と、
前記第２連結情報に基づいて前記目標対象の分類結果を得る操作と、を含むことを特徴とする請求項６又は７に記載の生体検出方法。

【請求項9】

前記生体検出方法が、識別ネットワークによって実現され、前記生体検出方法が、
訓練集合によって敵対的生成ネットワークを訓練して前記識別ネットワークを得る操作であって、前記敵対的生成ネットワークが、生成ネットワークと前記識別ネットワークを含む操作を更に含むことを特徴とする請求項１－８のいずれか一項に記載の生体検出方法。

【請求項10】

訓練集合によって敵対的生成ネットワークを訓練する前記操作は、
前記識別ネットワークによって前記識別ネットワークの入力画像に対して判別処理して、前記入力画像の分類予測結果を得る操作であって、前記入力画像が、前記訓練集合中のサンプル画像、又は前記生成ネットワークが前記サンプル画像に基づいて取得した生成画像を含み、前記サンプル画像のラベリング情報が、生体真実画像又は偽造生体真実画像を示すものであり、前記生成画像のラベリング情報が生成画像を示すものである操作と、
前記入力画像の分類予測結果及び前記入力画像のラベリング情報に基づいて、前記敵対的生成ネットワークのネットワークパラメータを調整する操作と、を含むことを特徴とする請求項９に記載の生体検出方法。

【請求項11】

目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得るための再構成モジュールと、
前記再構成画像に基づいて再構成誤差を得るための第１取得モジュールと、
前記被検出画像と前記再構成誤差をチャネル方向において連結して融合画像を得、前記融合画像に基づいて、前記目標対象の、生体又は非生体である分類結果を得るための第２取得モジュールと、を含むことを特徴とする生体検出装置。

【請求項12】

前記再構成モジュールは自己符号化器を含み、前記自己符号化器が、生体目標対象を含むサンプル画像に基づいて訓練して得られたものであることを特徴とする請求項１１に記載の装置。

【請求項13】

前記再構成モジュールは、目標対象を含む被検出画像に基づいて、自己符号化器によって再構成処理を行って前記再構成画像を得るために用いられることを特徴とする請求項１１又は１２に記載の装置。

【請求項14】

前記自己符号化器は、
前記被検出画像に対して符号化処理を行って、第１特徴データを得るための第１符号化ユニットと、
前記第１特徴データに対して復号処理を行って、前記再構成画像を得るための第１復号ユニットと、を含むことを特徴とする請求項１３に記載の装置。

【請求項15】

前記第１取得モジュールは、前記再構成画像と前記被検出画像との間の差に基づいて再構成誤差を得るために用いられることを特徴とする請求項１３又は１４に記載の装置。

【請求項16】

前記再構成モジュールは、
目標対象を含む被検出画像に対して特徴抽出を行って第２特徴データを得るための特徴抽出ユニットと、
前記第２特徴データに対して再構成処理を行って再構成画像を得るための自己符号化器と、を含むことを特徴とする請求項１１又は１２に記載の装置。

【請求項17】

前記自己符号化器は、
前記第２特徴データに対して符号化処理を行って第３特徴データを得るための第１符号化ユニットと、
前記第３特徴データに対して復号処理を行って、前記再構成画像を得るための第１復号ユニットと、を含むことを特徴とする請求項１６に記載の装置。

【請求項18】

前記第１取得モジュールは、前記第２特徴データと前記再構成画像との間の差に基づいて再構成誤差を得るために用いられ、
前記第２取得モジュールは、
前記第２特徴データと前記再構成誤差をチャネル方向において連結して第２連結情報を得るための連結ユニットと、
前記第２連結情報に基づいて前記目標対象の分類結果を得るための取得ユニットと、を含むことを特徴とする請求項１６又は１７に記載の装置。

【請求項19】

識別ネットワークによって実現される装置であり、
訓練集合によって敵対的生成ネットワークを訓練して前記識別ネットワークを得るための訓練モジュールであって、前記敵対的生成ネットワークが、生成ネットワークと前記識別ネットワークを含む訓練モジュールを更に含むことを特徴とする請求項１１－１８のいずれか一項に記載の装置。

【請求項20】

前記識別ネットワークは、入力画像に対して判別処理を行って前記入力画像の分類予測結果を得るために用いられ、前記入力画像が、前記訓練集合中のサンプル画像、又は前記生成ネットワークが前記サンプル画像に基づいて取得した生成画像を含み、前記サンプル画像のラベリング情報が、生体真実画像又は偽造生体真実画像を示すものであり、前記生成画像のラベリング情報が生成画像を示すものであり、
前記訓練モジュールは、前記入力画像の分類予測結果及び前記入力画像のラベリング情報に基づいて、前記敵対的生成ネットワークのネットワークパラメータを調整するために用いられることを特徴とする請求項１９に記載の装置。

【請求項21】

コンピュータプログラムを記憶するためのメモリと、
前記メモリに記憶されているコンピュータプログラムを実行するためのプロセッサと、を含み、前記コンピュータプログラムが実行される時に請求項１－１０のいずれか一項に記載の生体検出方法を実現することを特徴とする電子機器。

【請求項22】

コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサにより実行される時に、請求項１－１０のいずれか一項に記載の生体検出方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項23】

プログラムコマンドを含み、前記プログラムコマンドがプロセッサにより実行される時に、前記プロセッサが請求項１－１０のいずれか一項に記載の方法を実行することを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は、２０１９年３月２９日に中国国家知的財産局に提出された、出願番号が２０１９１０２５０９６２．５であり、出願名称が「生体検出方法及び装置、機器並びに記憶媒体」である中国特許出願の優先権を主張し、その全ての内容が参照によって本願に組み込まれる。

【0002】

本開示は、画像処理技術に関し、特に、生体検出方法及び装置、機器並びに記憶媒体に関する。

【背景技術】

【0003】

コンピュータビジョン技術の継続的な開発に伴って、顔認識技術は広い用途に適用されており、顔偽造防止検出は顔認識に不可欠な部分となっている。現在、仕事や生活において多くのアプリ又はシステムにおいて、顔認識機能を採用しており、例えば、身元認証による口座開設、カード有効化、登録等が挙げられ、不正者が、顔偽造による脆弱性を利用して利益を取得又は、盗み取ることを防止するために、このような顔認識機能は、一般的には顔偽造防止機能を同時に有することが要求される。特にインターネット金融関連産業において、他人の名義をかたるものが、他人の生物学的認識情報を偽造してシステムを欺いて金銭財物をだまし取ることがある。顔偽造防止検出はこのような場合に用いられる。

【0004】

顔偽造防止検出において、顔の取得や偽造が容易であるという特性のため、顔認識の安全性を向上させるように、生体検出によってカメラ前の顔画像が真実の人間からのものであるか否かを判定する必要がある。どのように各種の可能な偽造特性に応じて生体検出を行うかはこの分野の研究において注目を集めている。

【発明の概要】

【課題を解決するための手段】

【0005】

本開示の実施例は、生体検出のための技術的解決手段と識別ネットワークの訓練のための技術的解決手段を提供する。

【0006】

本開示の実施例に係る一態様によれば、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る操作と、前記再構成画像に基づいて再構成誤差を得る操作と、前記被検出画像と前記再構成誤差に基づいて、前記目標対象の、生体又は非生体である分類結果を得る操作と、を含む生体検出方法を提供する。

【0007】

任意選択的に、本開示の実施例の生体検出方法では、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る前記操作は、自己符号化器を用いて目標対象を含む被検出画像に対して再構成処理を行って再構成画像を得る操作を含む。

【0008】

任意選択的に、本開示の実施例の生体検出方法では、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る前記操作は、目標対象を含む被検出画像に基づいて、自己符号化器によって再構成処理を行って前記再構成画像を得る操作を含む。

【0009】

任意選択的に、本開示の実施例の生体検出方法では、前記被検出画像を自己符号化器に入力して再構成処理を行って再構成画像を得る前記操作は、前記自己符号化器を用いて前記被検出画像に対して符号化処理を行って、第１特徴データを得る操作と、前記自己符号化器を用いて前記第１特徴データに対して復号処理を行って、前記再構成画像を得る操作と、を含む。

【0010】

任意選択的に、本開示の実施例の生体検出方法では、前記再構成画像に基づいて再構成誤差を得る前記操作は、前記再構成画像と前記被検出画像との間の差に基づいて再構成誤差を得る操作を含み、前記被検出画像と前記再構成誤差に基づいて前記目標対象の分類結果を得る前記操作は、前記被検出画像と前記再構成誤差を連結して第１連結情報を得る操作と、前記第１連結情報に基づいて前記目標対象の分類結果を得る操作と、を含む。

【0011】

任意選択的に、本開示の実施例の生体検出方法では、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る前記操作は、目標対象を含む被検出画像に対して特徴抽出を行って第２特徴データを得る操作と、前記第２特徴データを自己符号化器に入力して再構成処理を行って再構成画像を得る操作と、を含む。

【0012】

任意選択的に、本開示の実施例の生体検出方法では、前記第２特徴データを自己符号化器に入力して再構成処理を行って再構成画像を得る前記操作は、前記自己符号化器を用いて前記第２特徴データに対して符号化処理を行って第３特徴データを得る操作と、前記自己符号化器を用いて前記第３特徴データに対して復号処理を行って、前記再構成画像を得る操作と、を含む。

【0013】

任意選択的に、本開示の実施例の生体検出方法では、前記再構成画像に基づいて再構成誤差を得る前記操作は、前記第２特徴データと前記再構成画像との間の差に基づいて再構成誤差を得る操作を含み、前記被検出画像と前記再構成誤差に基づいて前記目標対象の分類結果を得る前記操作は、前記第２特徴データと前記再構成誤差を連結して第２連結情報を得る操作と、前記第２連結情報に基づいて前記目標対象の分類結果を得る操作と、を含む。

【0014】

任意選択的に、本開示の実施例の生体検出方法では、前記生体検出方法は識別ネットワークによって実現され、前記方法は、訓練集合によって、生成ネットワークと前記識別ネットワークを含む敵対的生成ネットワークを訓練して前記識別ネットワークを得る操作を更に含む。

【0015】

任意選択的に、本開示の実施例の生体検出方法では、訓練集合によって敵対的生成ネットワークを訓練する前記操作は、前記識別ネットワークによって入力画像に対して判別処理を行って前記入力画像の分類予測結果を得る操作であって、前記入力画像が、前記訓練集合中のサンプル画像、又は前記生成ネットワークが前記サンプル画像に基づいて取得した生成画像を含み、前記サンプル画像のラベリング情報が、生体真実画像又は偽造生体真実画像を示すものであり、前記生成画像のラベリング情報が生成画像を示すものである操作と、前記入力画像の分類予測結果及び前記入力画像のラベリング情報に基づいて、前記敵対的生成ネットワークのネットワークパラメータを調整する操作と、を含む。

【0016】

本開示の実施例に係る別の態様によれば、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得るための再構成モジュールと、前記再構成画像に基づいて再構成誤差を得るための第１取得モジュールと、前記被検出画像と前記再構成誤差に基づいて、前記目標対象の、生体又は非生体である分類結果を得るための第２取得モジュールと、を含む生体検出装置を提供する。

【0017】

本開示の実施例に係るまた１つの態様によれば、コンピュータプログラムを記憶するためのメモリと、前記メモリに記憶されているコンピュータプログラムを実行するためのプロセッサと、を含み、前記コンピュータプログラムが実行される時に本開示のいずれか１つの実施例に記載の生体検出方法を実現する電子機器を提供する。

【0018】

本開示の実施例に係る更に別の態様によれば、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサにより実行される時に本開示のいずれか１つの実施例に記載の生体検出方法を実現するコンピュータ可読記憶媒体を提供する。

【0019】

本開示の上記実施例で提供された生体検出方法及び装置、機器並びに記憶媒体によれば、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得、当該再構成画像に基づいて再構成誤差を得、続いて、被検出画像と再構成誤差に基づいて、目標対象が生体か、それとも非生体かに関する分類結果を得て、それによって、被検出画像における目標対象が生体か、それとも非生体かを効率的に区別して、未知種類の偽造攻撃を効率的に防御して、偽造防止性能を向上させる。

【0020】

更に任意選択的に、本開示の上記実施例で提供された生体検出方法及び装置、機器並びに記憶媒体において、訓練集合によって敵対的生成ネットワークを訓練し、訓練が終了した後敵対的生成ネットワークによって、上記実施例に記載の生体検出方法を実行するための識別ネットワークを得ることができ、敵対的生成ネットワークの敵対的生成モードを利用することで、サンプル多様性を向上させ、識別ネットワークの未知種類の偽造攻撃に対する防御能力を向上させ、既知偽造攻撃に対する防御精度を向上させることができる。

【0021】

以下、図面と実施例を参照しながら、本開示の技術的解決手段を更に詳細に説明する。

【図面の簡単な説明】

【0022】

【図1】本開示の実施例の生体検出方法のフローチャートである。

【図2】本開示の実施例の生体検出方法の別のフローチャートである。

【図3】本開示の実施例の生体検出方法の更に別のフローチャートである。

【図4A】本開示の実施例における敵対的生成ネットワークの構造模式図である。

【図4B】本開示の実施例で提供された判別処理の方法のフローチャートである。

【図4C】本開示の実施例で提供された別の判別処理の方法のフローチャートである。

【図5】本開示の実施例の識別ネットワークの訓練方法のフローチャートである。

【図6】本開示の実施例で生成ネットワークを訓練するフローチャートである。

【図7】本開示の実施例で識別ネットワークを訓練するフローチャートである。

【図8】本開示の図２に示す実施例の応用例の図である。

【図9】本開示の実施例の生体検出装置の構造模式図である。

【図10】本開示の実施例の生体検出装置の別の構造模式図である。

【図11】本開示の実施例で提供された電子機器の構造模式図である。

【発明を実施するための形態】

【0023】

明細書の一部を構成する図面は、本開示の実施例を説明し、その説明と共に本開示の原理を解釈することに用いられる。

【0024】

図面を参照し、以下の詳細な説明により本開示をより明瞭に理解することができる。

【0025】

ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本開示の範囲を限定するものではないことに注意すべきである。

【0026】

本開示の実施例における「第１の」、「第２の」等の用語は、異なるステップ、機器又はモジュール等を区別するためのものに過ぎず、何の特定の技術的意味を表したり、それらの必然的な論理的順序を表したりすることもないことが当業者に理解可能である。

【0027】

更に、本開示の実施例では、「複数の」は２つ又は２つ以上を指してよく、「少なくとも１つの」は１つ、２つ又は２つ以上を指してよいことを理解すべきである。

【0028】

更に、本開示の実施例で言及された任意の部材、データ又は構造は、明確に限定され又は明細書の前後で反対的に示唆された場合でなければ、一般的には１つ又は複数と理解してよいことを理解すべきである。

【0029】

また、本開示の用語の「及び／又は」は、関連対象の関連関係を記述するためのものに過ぎず、３種の関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａが単独して存在し、ＡとＢが同時に存在し、Ｂが単独して存在するという３種の場合を示してもよい。また、本開示における符号「／」は、一般に前後の関連対象が「又は」という関係にあることを示す。

【0030】

更に、本開示ではそれぞれの実施例についての説明はそれぞれの実施例の相違点を重点として強調し、その同一又は類似的な点について相互に参照してよく、簡単化するために、ここで一つずつに繰り返して説明しないことを理解すべきである。

【0031】

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

【0032】

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本開示及びその適用または使用へのなんらの制限にもならない。

【0033】

関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

【0034】

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

【0035】

本開示の実施例は端末装置、コンピュータシステム、サーバ等の電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバ等の電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

【0036】

端末装置、コンピュータシステム、サーバ等の電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含み、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。

【0037】

図１は本開示の実施例の生体検出方法のフローチャートである。いくつかの実施例では、本開示の実施例の生体検出方法はニューラルネットワーク（以下、識別ネットワークと称する）によって実現可能である。図１に示すように、当該生体検出方法は、以下の操作を含む。

【0038】

１０２において、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得る。

【0039】

本開示の実施例では、上記再構成画像はベクトル形式で表されてもよく、更に他の形式等で表されてもよく、本開示の実施例では限定されない。

【0040】

１０４において、再構成画像に基づいて再構成誤差を得る。

【0041】

本開示のいくつかの実施例では、上記再構成誤差は画像で表されてもよく、この時に当該再構成誤差を再構成誤差画像と称し、或いは、再構成誤差はベクトル形式で表されてもよく、更に他の形式等で表されてもよく、本開示の実施例では限定されない。

【0042】

１０６において、被検出画像と再構成誤差に基づいて、目標対象の分類結果を得、分類結果が生体又は非生体である。

【0043】

本開示の実施例の生体検出方法は、顔に対して生体検出を行うために用いられることが可能であり、この時の目標対象は顔であり、生体目標対象は真の顔（真実人間とも称する）であり、非生体目標対象は偽造の顔（偽造人間と称する）である。

【0044】

本開示の上記実施例で提供された生体検出方法によれば、目標対象を含む被検出画像に基づいて、自己符号化器によって再構成処理を行って前記再構成画像を得、続いて、被検出画像と再構成誤差に基づいて、目標対象が生体か、それとも非生体かに関する分類結果を得て、それによって、被検出画像における目標対象が生体か、それとも非生体かを効率的に区別して、未知種類の偽造攻撃を効率的に防御して、偽造防止性能を向上させる。

【0045】

いくつかの可能な実施形態では、上記操作１０２において、自己符号化器（Ａｕｔｏ－ｅｎｃｏｄｅｒ）を用いて、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得るようにしてよい。ここで、上記自己符号化器は生体目標対象を含むサンプル画像に基づいて訓練して得られたものである。

【0046】

本開示の実施例では、生体目標対象のサンプル画像に基づいて事前に訓練して自己符号化器を得、自己符号化器を用いて目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得、当該再構成画像に基づいて再構成誤差を得、続いて、被検出画像と再構成誤差に基づいて、目標対象が生体か、それとも非生体かに関する分類結果を得て、それによって、被検出画像における目標対象が生体か、それとも非生体かを効率的に区別して、未知種類の偽造攻撃を効率的に防御して、偽造防止性能を向上させる。

【0047】

ここで、自己符号化器は、符号化－復号（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）モデルに基づいて実現可能であり、符号化ユニットと復号ユニットを含み、本開示の実施例で第１符号化ユニットと第１復号ユニットと称される。

【0048】

いくつかの選択可能な例では、操作１０２において、被検出画像を自己符号化器に入力して再構成処理を行って再構成画像を得てよい。

【0049】

例えば、自己符号化器を用いて被検出画像に対して符号化処理を行って、第１特徴データを得、自己符号化器を用いて第１特徴データに対して復号処理を行って再構成画像を得るようにしてよい。本開示の実施例における特徴データは、特徴ベクトル又は特徴マップ等であってよく、本開示の実施例はそれらに限定されない。

【0050】

いくつかの可能な実施形態では、操作１０４において、再構成画像と被検出画像との間の差に基づいて再構成誤差を得てよい。

【0051】

いくつかの可能な実施形態では、操作１０６において、被検出画像と再構成誤差を連結し、例えば、被検出画像と再構成誤差をチャネル方向に連結して第１連結情報を得、第１連結情報に基づいて目標対象の分類結果を得るようにしてよい。

【0052】

例えば、第１連結情報に基づいて、目標対象がそれぞれ生体と非生体に属する確率値を得、当該目標対象がそれぞれ生体と非生体に属する確率値に基づいて、当該目標対象の分類結果を決定するようにしてよい。

【0053】

図２は本開示の実施例の生体検出方法の別のフローチャートである。ここで、再構成誤差が再構成誤差画像であることを例にして説明する。図２に示すように、当該生体検出方法は、以下の操作を含む。

【0054】

２０２において、自己符号化器を用いて被検出画像に対して符号化処理を行って、第１特徴データを得る。

【0055】

ここで、上記自己符号化器は生体目標対象を含むサンプル画像に基づいて訓練して得られたものである。

【0056】

２０４において、自己符号化器を用いて第１特徴データに対して復号処理を行って再構成画像を得る。

【0057】

２０６において、被検出画像と当該被検出画像の再構成画像との間の差に基づいて再構成誤差画像を得る。

【0058】

２０８において、被検出画像と再構成誤差画像をチャネル方向に連結して第１融合画像（即ち、上記第１連結情報）を得る。

【0059】

２１０において、第１融合画像に基づいて、被検出画像における目標対象がそれぞれ生体と非生体に属する確率値を得る。

【0060】

いくつかの実施例では、第１融合画像に基づいて被検出画像における目標対象がそれぞれ生体と非生体に属する確率値を得る実施形態は、上記第１融合画像を、訓練して得られた識別ネットワークに入力して、被検出画像における目標対象がそれぞれ生体と非生体に属する確率値を得るようになってよい。訓練で識別ネットワークを得る手法については後で詳細に説明するため、ここで説明を省略する。

【0061】

２１２において、被検出画像における目標対象がそれぞれ生体と非生体に属する確率値に基づいて、当該目標対象の生体又は非生体である分類結果を決定する。

【0062】

任意選択的に、被検出画像における目標対象の生体に属する確率値が当該目標対象の非生体に属する確率値より大きい場合に、当該目標対象が生体であると決定し、当該目標対象の生体に属する確率値が当該目標対象の非生体に属する確率値より大きくない場合に、当該目標対象が非生体であると決定する。

【0063】

また、別の可能な実施形態では、上記操作１０２において、目標対象を含む被検出画像に対して特徴抽出を行って第２特徴データを得、第２特徴データを自己符号化器で再構成処理して再構成画像を得るようにしてよい。例えば、自己符号化器を用いて第２特徴データに対して符号化処理を行って第３特徴データを得、自己符号化器を用いて第３特徴データに対して復号処理を行って再構成画像を得るようにしてよい。本開示の実施例における特徴データは特徴ベクトル又は特徴マップ等であってよく、本開示の実施例はそれらに限定されない。

【0064】

いくつかの可能な実施形態では、操作１０４において、第２特徴データと再構成画像との間の差に基づいて再構成誤差を得てよい。

【0065】

いくつかの可能な実施形態では、操作１０６において、第２特徴データと再構成誤差を連結し、例えば第２特徴データと再構成誤差をチャネル方向に連結して第２連結情報を得、第２連結情報に基づいて目標対象の分類結果を得るようにしてよい。例えば、第２連結情報に基づいて目標対象がそれぞれ生体と非生体に属する確率値を得、目標対象がそれぞれ生体と非生体に属する確率値に基づいて目標対象の分類結果を決定する。

【0066】

図３は本開示の実施例の生体検出方法のまた１つのフローチャートである。ここで、特徴データが特徴マップであり、再構成誤差が再構成誤差画像であることを例にして説明する。図３に示すように、当該生体検出方法は、以下の操作を含む。

【0067】

３０２において、目標対象を含む被検出画像に対して特徴抽出を行って第２特徴マップを得る。

【0068】

３０４において、自己符号化器を用いて第２特徴マップに対して符号化処理を行って第３特徴マップを得る。

【0069】

ここで、上記自己符号化器は生体目標対象を含むサンプル画像に基づいて訓練して得られたものである。

【0070】

３０６において、自己符号化器を用いて第３特徴マップに対して復号処理を行って再構成画像を得る。

【0071】

３０８において、第２特徴マップと再構成画像との間の差に基づいて再構成誤差画像を得る。

【0072】

３１０において、第２特徴マップと再構成誤差画像をチャネル方向に連結して第２融合画像（即ち、上記第２連結情報）を得る。

【0073】

例を挙げると、第２特徴マップは（Ｈ×Ｗ×Ｍ）の３次元行列であり、再構成誤差画像は（Ｈ×Ｗ×Ｎ）の３次元行列であり、第２融合画像は（Ｈ×Ｗ×（Ｍ＋Ｎ））の３次元行列である。ただし、Ｈ、Ｗ、Ｍ、Ｎは共に０より大きい整数であり、Ｈは当該第２特徴マップと当該再構成誤差画像の長さを表し、Ｗは当該第２特徴マップと当該再構成誤差画像の幅を表し、Ｍは当該第２特徴マップのチャネル数を表し、Ｎは当該再構成誤差画像のチャネル数を表す。

【0074】

３１２において、第２融合画像に基づいて、被検出画像における目標対象がそれぞれ生体と非生体に属する確率値を得る。

【0075】

いくつかの実施例では、第２融合画像に基づいて被検出画像における目標対象がそれぞれ生体と非生体に属する確率値を得る実施形態は、上記第２融合画像を、訓練して得られた識別ネットワークに入力して被検出画像における目標対象がそれぞれ生体と非生体に属する確率値を得るようになってよい。

【0076】

３１４において、被検出画像における目標対象がそれぞれ生体と非生体に属する確率値に基づいて、当該目標対象の生体又は非生体である分類結果を決定する。

【0077】

本開示を実現する過程で、本発明者は、調査研究によって、一般の顔偽造防止検出課題における正例のサンプルが真実の人間を実際に撮影して得られたものであり、負例のサンプルが既知の偽造方式に基づいて自ら偽造道具を設計して撮影して得られたものであり、偽造手掛かりを含むことを分かった。しかしながら、実際の応用では、このようなサンプル取得方式は、未知の偽造攻撃に対処できないという深刻な問題を引き起こすことがある。未知の偽造攻撃とは、取得された偽造サンプル訓練集合に含まれない偽造攻撃方式のことを指す。従来の顔偽造防止検出アルゴリズムは、大抵、顔偽造防止を２クラス分類問題に帰納し、訓練データ集合を拡張していくことで偽造サンプルをできる限り多くカバーして精度を向上させる目的を達成している。しかしながら、このような手法は未知のサンプル攻撃に対処できず、一般の偽造サンプルに攻撃されても脆弱性が発生する可能性が非常に高い。

【0078】

本開示の実施例では、自己符号化器は生体目標対象を含むサンプル画像に基づいて訓練して得られるものであり、本開示を顔の生体検出に用いる時に、自己符号化器は真実の人間を含むサンプル画像に基づいて訓練して得られ、真実の人間を含むサンプル画像はいかなる偽造手掛かりも含まないので、自己符号化器を生体検出に用いる時に、再構成された再構成画像はいかなる偽造手掛かりも含まなく、そのように真実人間画像と再構成画像に基づいて得られた差が偽造手掛かりを示すことがなく、それに対して偽造人間画像と再構成画像に基づいて得られた差が偽造手掛かりを含む。そのため、被検出画像と当該差に基づいて顔の真偽を識別でき、それによって未知の偽造顔を効率的に防御でき、再構成誤差の大きさによって既知又は未知のサンプルを含む各種のサンプルを識別できる。

【0079】

ここで、顔画像とその再構成画像との間の差は顔の先験的情報と称されてもよく、例えば、撮影複製した画像におけるスクリーンのボタン、プリントした写真画像における紙のエッジ、スクリーンのモアレ等を含む。そのため、顔の先験的情報は、真実の人間の顔と偽造顔の分類境界を示し、それによって真実の人間の顔と偽造顔をより効率的に区別できる。

【0080】

本開示の上記実施例の生体検出方法はニューラルネットワーク（以下、識別ネットワークと称する）によって実現可能であり、ここで識別ネットワークは上記自己符号化器を含む。

【0081】

任意選択的に、本開示の実施例では、識別ネットワークの訓練方法、即ち訓練によって識別ネットワークを得る方法を更に含む。例えば、一実施形態では、訓練集合によって敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ、ＧＡＮ）を訓練し、訓練された敵対的生成ネットワークによって識別ネットワークを得てよい。ここで、敵対的生成ネットワークは生成ネットワークと識別ネットワークを含み、訓練集合は生体目標対象を含むサンプル画像と偽造生体（即ち、非生体）目標対象を含むサンプル画像を含む。

【0082】

いくつかの可能な実施形態では、訓練集合によって敵対的生成ネットワークを訓練する操作は、識別ネットワークによって上記識別ネットワークの入力画像に対して判別処理して入力画像の分類予測結果を得る操作であって、識別ネットワークの入力画像は訓練集合中のサンプル画像又は生成ネットワークがサンプル画像に基づいて取得した生成画像を含み、サンプル画像のラベリング情報が、生体真実画像又は偽造生体真実画像を示すものであり、生成画像のラベリング情報が生成画像を示すものである操作と、入力画像の分類予測結果及び入力画像のラベリング情報に基づいて敵対的生成ネットワークのネットワークパラメータを調整する操作と、を含む。

【0083】

図４Ａに本開示の実施例における敵対的生成ネットワークの構造模式図を示す。ここでの識別ネットワークは、畳み込みニューラルネットワーク、減算器及び連結ユニットを含む判別器と、自己符号化器とを備える。ここでの畳み込みニューラルネットワークは第１サブニューラルネットワークと第２サブニューラルネットワークを含み、第２サブニューラルネットワークのみを含んでもよい。畳み込みニューラルネットワークが第１サブニューラルネットワークと第２サブニューラルネットワークを含む場合に、訓練して得られた識別ネットワークを生体検出に用いる時に、図３に示す流れを実行してよく、訓練して得られた識別ネットワークを、生体目標対象特徴に基づく識別ネットワークと称してよい。畳み込みニューラルネットワークが第１サブニューラルネットワークと第２サブニューラルネットワークのうちの第２サブニューラルネットワークのみを含む場合に、訓練して得られた識別ネットワークを生体検出に用いる時に、図２に示す流れを実行してよく、訓練して得られた識別ネットワークを、生体目標対象に基づく識別ネットワークと称してよい。図４Ａにおける識別ネットワークはその入力画像に対して判別処理して入力画像の分類結果を得ることができる。以下、図４Ａにおける識別ネットワークによって判別処理を実行する方法の流れを説明する。

【0084】

図４Ｂは本開示の実施例で提供された判別処理の方法のフローチャートである。図４Ｂに示すように、当該方法は、以下の操作を含む。

【0085】

４０１Ａにおいて、第１符号化ユニット（Ｅｎｃｏｄｅｒ）によって入力画像Ｘに対して符号化処理を行って第１特徴マップを得る。

【0086】

当該第１符号化ユニットは図４Ａにおける識別ネットワーク中のＥｎｃｏｄｅｒであってよい。

【0087】

４０２Ａにおいて、第１復号ユニット（Ｄｅｃｏｄｅｒ）によって第１特徴マップに対して復号処理を行ってサンプル画像の再構成画像（即ち、図４ＢにおけるＸ’）を得る。

【0088】

当該第１復号ユニットは図４Ａにおける識別ネットワーク中のＤｅｃｏｄｅｒであってよい。

【0089】

４０３Ａにおいて、減算器（－）によって入力画像Ｘと再構成画像Ｘ’との間の差を取得して再構成誤差画像（η＝Ｘ’－Ｘ）を得る。

【0090】

４０４Ａにおいて、連結ユニット（ｃｏｎｃａｔ）によって第２特徴マップと再構成誤差画像をチャネル方向に連結して第２融合画像を取得し、第２サブニューラルネットワーク（ＣＮＮ２）に入力する。

【0091】

サンプル画像が３チャネルである時に、対応する第２特徴マップと再構成誤差画像も３チャネルであり、そのように連結された第２融合画像が６チャネルである。

【0092】

４０５Ａにおいて、ＣＮＮ２によって第２融合画像に基づいて分類して、サンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値を得、サンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値に基づいてサンプル画像の分類結果を決定する。

【0093】

任意選択的に、ＣＮＮ２においてＳｏｆｔｍａｘ関数によって当該第２融合画像を分類してサンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値を得る。

【0094】

図４Ｂは本開示の実施例で提供された判別処理の方法のフローチャートである。図４Ｂに示すように、当該方法は、以下の操作を含む。

【0095】

４０１Ｂにおいて、第１サブニューラルネットワーク（ＣＮＮ１）によって入力画像Ｘに対して特徴抽出を行って第２特徴マップＹを得る。

【0096】

当該ＣＮＮ１は図１におけるＣＮＮ１であってよい。

【0097】

４０２Ｂにおいて、第１符号化ユニット（Ｅｎｃｏｄｅｒ）によって第２特徴マップに対して特徴抽出を行って第３特徴マップを得る。

【0098】

当該第１符号化ユニットは図４Ａにおける識別ネットワーク中のＥｎｃｏｄｅｒであってよい。

【0099】

４０３Ｂにおいて、第１復号ユニット（Ｄｅｃｏｄｅｒ）によって第３特徴マップに基づいてサンプル画像の再構成画像Ｙ’を得る。

【0100】

当該第１復号ユニットは図４Ａにおける識別ネットワーク中のＤｅｃｏｄｅｒであってよい。

【0101】

４０４Ｂにおいて、減算器（－）によって第２特徴マップと当該サンプル画像の再構成画像との間の差を取得して再構成誤差画像（η＝Ｙ’－Ｙ）を得る。

【0102】

４０５Ｂにおいて、連結ユニット（ｃｏｎｃａｔ）によって第２特徴マップと再構成誤差画像をチャネル方向に連結して第２融合画像を取得し、且つ第２サブニューラルネットワーク（ＣＮＮ２）に入力する。

【0103】

４０６Ｂにおいて、ＣＮＮ２によって第２融合画像に基づいて分類してサンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値を得、サンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値に基づいてサンプル画像の分類結果を決定する。

【0104】

任意選択的に、ＣＮＮ２においてＳｏｆｔｍａｘ関数によって当該第２融合画像を分類してサンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値を得る。

【0105】

図４Ｃにおける方法の流れは図４Ａにおける識別ネットワークに実行される判別流れであってよく、図４Ｂにおける方法の流れは図４Ａにおける識別ネットワークのＣＮＮ１以外の部分に実行される判別流れであってよいことを理解すべきである。

【0106】

本開示のいくつかの実施例では、自己符号化器は符号化－復号モデルを用いてよく、ここで、識別ネットワークを訓練しながら自己符号化器を訓練してもよい。先に自己符号化器を訓練し、訓練された自己符号化器のネットワークパラメータが変わらないように、識別ネットワークを訓練してもよく、本開示の実施例では限定されない。

【0107】

また、上記実施例の識別ネットワークの訓練方法の前に、先に生体目標対象のサンプル画像に基づいて符号化－復号モデルを訓練して自己符号化器を得てもよい。

【0108】

例えば、いくつかの可能な実施形態では、符号化－復号モデル中の第１符号化ユニットを用いて生体目標対象を含むサンプル画像に対して符号化処理を行って符号化データを得、符号化－復号モデル中の第１復号ユニットを用いて当該符号化データに対して復号処理を行って再構成画像を得、生体目標対象を含むサンプル画像と再構成画像との間の差に基づいて符号化－復号モデルを訓練して自己符号化器を得るようにしてよい。

【0109】

図５は本開示の実施例の識別ネットワークの訓練方法のフローチャートである。図５に示すように、当該識別ネットワークの訓練方法は、以下の操作を含む。

【0110】

４０２において、識別ネットワークのネットワークパラメータが変わらないようにして、入力された訓練集合中のサンプル画像に基づいて生成ネットワークを訓練する。

【0111】

４０４において、生成ネットワークのネットワークパラメータが変わらないようにして、入力された訓練集合中のサンプル画像又は生成ネットワークで得られた生成画像に基づいて識別ネットワークを訓練する。

【0112】

ここで、事前に設定された訓練終了条件を満たすようになるまで、操作４０２－４０４を複数回反複実行してもよく、識別ネットワークの訓練が終了すると、敵対的生成ネットワークの訓練が終了する。

【0113】

４０６において、敵対的生成ネットワークの訓練が終了した後、敵対的生成ネットワーク中の生成ネットワークを除去して識別ネットワークを得る。

【0114】

本開示の上記実施例で提供された識別ネットワークの訓練方法によれば、訓練集合によって生成ネットワークと識別ネットワークを含む敵対的生成ネットワークを訓練し、訓練が終了した後敵対的生成ネットワーク中の生成ネットワークを除去して、上記生体検出方法のための識別ネットワークを得るようにしてよく、敵対的生成ネットワークの敵対的生成モードによって、サンプル多様性を向上させ、識別ネットワークの未知種類の偽造攻撃に対する防御能力を向上させ、既知偽造攻撃に対する防御精度を向上させることができる。

【0115】

図６は本開示の実施例で生成ネットワークを訓練するフローチャートである。ここで、生成画像のラベリング情報を生成にする。図６に示すように、いくつかの可能な実施形態では、入力された訓練集合中のサンプル画像に基づいて生成ネットワークを訓練する操作４０２は、以下の操作を含む。

【0116】

５０２において、生成ネットワークによって入力された訓練集合中のサンプル画像に基づいて生成画像を得る。

【0117】

５０４において、識別ネットワークによって生成ネットワークで得られた生成画像を判別処理して生成画像の分類結果、即ち第１分類予測結果を得る。

【0118】

ここで、第１分類予測結果は生体又は非生体を含む。

【0119】

例えば、識別ネットワークは、受信された画像を上記各実施例中の被検出画像として、上記各実施例の流れによって受信された画像における目標対象の分類結果を得ることができる。

【0120】

５０６において、少なくとも第１分類予測結果と生成画像のラベリング情報との間の差に基づいて、生成ネットワークを訓練し、即ち、生成ネットワークのネットワークパラメータを調整する。

【0121】

生成ネットワークを訓練する時に、識別ネットワークのネットワークパラメータを一定にして、生成ネットワークのネットワークパラメータを調整する。

【0122】

例えば、生成ネットワークの訓練回数が所定回数に到達した特定条件、及び／又は、第１分類予測結果とラベリング情報との間の差（図４Ａにおけるｂｉ－ｌｏｓｓに対応する）が第１所定値より小さいという条件のような特定条件を満たすようになるまで、上記操作５０２－５０６を反複実行して生成ネットワークを訓練してよく、それによって、生成ネットワークで得られる生成画像を真実の非生体目標対象のサンプル画像に、より接近させるようにする。本開示の実施例によれば、生成ネットワークによって、真実の非生体目標対象に、より接近した各種サンプル画像を生成可能であり、それによって非生体サンプルのデータ分布を拡大して、非生体サンプルの多様性を高くした。

【0123】

いくつかの可能な実施形態では、生成ネットワークによって入力された訓練集合中のサンプル画像に基づいて生成画像を得る操作は、以下の操作を含む。

【0124】

生成ネットワークによって、入力された訓練集合中のサンプル画像に基づいて第４特徴データを得る。

【0125】

生成ネットワークによって、第４特徴データに１つのランダムデータを追加して所定の長さの第５特徴データを得る。ここで、第４特徴データの長さが第５特徴データの長さより小さい。

【0126】

生成ネットワークによって、第５特徴データに基づいて生成画像を得る。

【0127】

ここで、生成ネットワークは、符号化－復号（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）モデルアーキテクチャを採用し、符号化－復号（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）モデルに基づいて実現されてもよく、それは、符号化ユニット（本開示の実施例で、第２符号化ユニットと称する）、生成ユニット、復号ユニット（本開示の実施例で、第２復号ユニットと称する）を含む。

【0128】

いくつかの可能な実施形態では、生成ネットワークにおける第２符号化ユニットを用いて、入力された訓練集合中のサンプル画像に対して特徴抽出とダウンサンプリングを行って、第４特徴データ（即ち、元サンプル画像の特徴）を取得して生成画像の主要特徴情報とするようにしてよい。生成ネットワークにおける生成ユニットを用いて、第４特徴データに１つのランダムデータを追加して、元サンプル画像の主要特徴情報を含む所定の長さの第５特徴データを取得するようにしてよい。ここで、第４特徴データと第５特徴データは特徴マップで表してもよく、特徴ベクトルで表してもよく、例えば、第４特徴データと第５特徴データを特徴ベクトルで表す時に、第２符号化ユニットを用いて、入力された訓練集合中のサンプル画像に対して特徴抽出とダウンサンプリングを行って１つの短い特徴ベクトル（即ち、第４特徴データ）を取得するようにしてよく、生成ユニットによって当該短い（即ち、上記所定の長さより小さい）特徴ベクトルに１つのランダムベクトル（即ち、ランダムデータ）を追加して、所定の長さの第５特徴ベクトル（即ち、第５特徴データ）を取得するようにしてよい。その後、生成ネットワークにおける第２復号ユニットを用いて、第５特徴データに基づいて生成画像を取得してよい。

【0129】

例えば、図４Ａにおいて、生成ネットワークに、生体目標対象のサンプル画像（Ｉ_Ｌ）であってもよく、非生体目標対象のサンプル画像（Ｉ_Ｓ）であってもよいサンプル画像を入力し、生成ネットワークによって入力されたサンプル画像に基づいて生成画像を取得する時に、第２符号化ユニット（Ｅｎｃｏｄｅｒ）を用いて入力されたサンプル画像に対して特徴抽出を行い、且つ抽出された特徴に対してダウンサンプリングを行って上記所定の長さより小さい第４特徴ベクトルを取得し、生成ユニット（図示されておらず、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒの間にある）を用いて当該第４特徴ベクトルに１つのランダムベクトルを追加して所定の長さの第５特徴ベクトルを取得し、続いて第２復号ユニット（Ｄｅｃｏｄｅｒ）を用いて第５特徴ベクトルに基づいて生成画像（ＩＧ）を取得する。

【0130】

いくつかの可能な実施形態では、操作５０６において、第１分類予測結果と生成画像のラベリング情報との間の差及び生成画像と受信されたサンプル画像との間の差に基づいて、生成ネットワークを訓練してもよい。

【0131】

例えば、図４Ａにおいて、第１分類予測結果と生成画像のラベリング情報との間の差をｂｉ－ｌｏｓｓで表し、生成画像と受信されたサンプル画像との間の差をＬ_Ｇで表し、そのように生成ネットワークの訓練過程で、Ｌ_Ｇによって生成画像の品質を制約してよい。ただし、Ｌ_Ｇは以下のように示してよい。

【0132】

【数1】

【0133】

式（１）において、Ｌ_Ｇは生成画像と受信されたサンプル画像の間の画像品質損失関数であり、ｘは生成ネットワークの入力画像を表し、Ｇ（ｘ）は生成ネットワークの生成画像（即ち、Ｉ_Ｇ）を表す。ｉは各画素点を表し、即ち、生成画像と受信されたサンプル画像中の各画素点の間の差の値の和を生成画像と受信されたサンプル画像の間の画像品質損失関数とする。

【0134】

当該生成ネットワークを訓練する実施例では、ｂｉ－ｌｏｓｓとＬ_Ｇを共に逆伝播して生成ネットワーク中のＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒのネットワークパラメータを更新して生成ネットワークを訓練するようにしてよい。

【0135】

本開示の実施例では、第１分類予測結果と生成画像のラベリング情報との間の差及び生成画像と受信されたサンプル画像との間の差を同時に利用して生成ネットワークを訓練することで、生成ネットワークで得られる生成画像の品質を最初入力画像に接近させると共に、真実の非生体目標対象のサンプル画像に接近させることができる。

【0136】

図７は本開示の実施例で識別ネットワークを訓練するフローチャートである。ここで、入力画像は訓練集合中のサンプル画像又は生成ネットワークがサンプル画像に基づいて取得した生成画像を含み、サンプル画像のラベリング情報が、生体真実画像又は偽造生体真実画像を示すものであり、生体目標対象のサンプル画像のラベリング情報を生体に設置してよく、生体真実画像を示し、非生体目標対象のサンプル画像のラベリング情報を非生体に設置してよく、偽造生体真実画像を示し、生成画像のラベリング情報を生成されたものに設置してよく、生成画像を示す。図７に示すように、いくつかの可能な実施形態では、入力された訓練集合中のサンプル画像又は生成ネットワークで得られた生成画像に基づいて識別ネットワークを訓練する操作は、以下の操作を含む。

【0137】

６０２において、識別ネットワークによって入力画像に対して判別処理を行って入力画像の分類結果、即ち第２分類予測結果を得る。

【0138】

ここで、入力画像は訓練集合中のサンプル画像又は生成ネットワークがサンプル画像に基づいて取得した生成画像を含み、サンプル画像のラベリング情報は生体真実画像又は偽造生体真実画像を示すものであり、生成画像のラベリング情報は生成画像を示すものであり、第２分類予測結果はそれぞれ生体真実画像、偽造生体真実画像又は生成画像に対応する生体、非生体又は生成を含む。

【0139】

例えば、識別ネットワークは上記入力画像を上記各実施例中の被検出画像として上記各実施例の流れによって入力画像の分類結果を得ることができる。

【0140】

６０４において、第２分類予測結果と入力画像のラベリング情報との間の差に基づいて識別ネットワークを訓練し、即ち、識別ネットワークのネットワークパラメータを調整する。

【0141】

識別ネットワークを訓練する時に、生成ネットワークのネットワークパラメータを一定にして、識別ネットワークのネットワークパラメータを調整する。

【0142】

例えば、識別ネットワークの訓練回数が所定回数に到達した特定条件、及び／又は、第２分類予測結果と入力画像のラベリング情報との間の差（図４Ａにおけるｔｒｉ－ｌｏｓｓに対応する）が第２特定値より小さくなった特定条件を満たすようになるまで、上記操作６０２－６０４を反複実行して識別ネットワークを訓練してよい。

【0143】

判別器に自己符号化器を追加した後得られる識別ネットワークの損失関数（即ち、第２分類予測結果と入力画像のラベリング情報との間の差）は以下のように示してよい。

【0144】

【数2】

【0145】

式（２）において、Ｒは自己符号化器を表し、Ｄは判別器を表し、Ｌ_Ｒは自己符号化器の損失関数を表し、Ｌ_Ｄは判別器の損失関数を表し、λは判別器と自己符号化器との間の平衡パラメータを表し、λの値は０より大きく且つ１より小さい常数であり、経験値に基づいて事前に設定してもよい。

【0146】

任意選択的に、識別ネットワークの入力画像が生成ネットワークで得られた生成画像である時に、操作６０２の前に、生成ネットワークによって入力された訓練集合中のサンプル画像に基づいて生成画像を取得する操作を更に含む。生成ネットワークによって入力された訓練集合中のサンプル画像に基づいて生成画像を取得する実施形態については、本開示の上記実施例の記載を参照してもよく、ここで詳細な説明を省略する。

【0147】

本開示は、顔偽造防止の目的で敵対的生成モードを導入し、ＧＡＮの敵対的生成モードを利用して偽造サンプル集合を拡張することでサンプル多様性を向上でき、実世界の偽造攻撃をシミュレートし、ＧＡＮネットワークを訓練し、当該敵対的生成モードによって識別ネットワークの精度を高くし、訓練された識別ネットワークを偽造防止システムに用いる時に、未知のサンプルに対する防御能力を効果的に向上させ、既知の偽造サンプルに対する防御精度を向上させることができる。

【0148】

例えば、図４Ａを例とすると、操作６０２において、第１サブニューラルネットワーク（ＣＮＮ１）は受信されたサンプル画像（Ｘで表す）に対して特徴抽出を行って第２特徴マップを得、自己符号化器における第１符号化ユニット（Ｅｎｃｏｄｅｒ）は第２特徴マップに対して特徴抽出を行って第３特徴マップを得、自己符号化器における第１復号ユニット（Ｄｅｃｏｄｅｒ）は第３特徴マップに基づいてサンプル画像の再構成画像（Ｘ’で表す）を得、減算器（－）は第２特徴マップと当該サンプル画像の再構成画像との間の差を取得して再構成誤差画像（η＝Ｘ’－Ｘ）を得、連結ユニット（ｃｏｎｃａｔ）は第２特徴マップと再構成誤差画像をチャネル方向に連結して第２融合画像を得て第２サブニューラルネットワーク（ＣＮＮ２）に入力し、サンプル画像が３チャネルである時に、対応する第２特徴マップと再構成誤差画像も３チャネルであり、そのように連結された第２融合画像が６チャネルであり、ＣＮＮ２は第２融合画像に基づいて分類してサンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値を得、サンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値に基づいてサンプル画像の分類結果を決定する。

【0149】

図４Ａに第１サブニューラルネットワーク（ＣＮＮ１）を含まない時に、自己符号化器における第１符号化ユニット（Ｅｎｃｏｄｅｒ）は入力画像に対して符号化処理を行って第１特徴マップを得、自己符号化器における第１復号ユニット（Ｄｅｃｏｄｅｒ）は第１特徴マップに対して復号処理を行ってサンプル画像の再構成画像（Ｘ’で表す）を得、減算器（－）は入力画像と再構成画像との間の差を取得して再構成誤差画像（η＝Ｘ’－Ｘ）を得、連結ユニット（ｃｏｎｃａｔ）は第２特徴マップと再構成誤差画像をチャネル方向に連結して第２融合画像を得て第２サブニューラルネットワーク（ＣＮＮ２）に入力し、サンプル画像が３チャネルである時に、対応する第２特徴マップと再構成誤差画像も３チャネルであり、そのように連結された第２融合画像が６チャネルであり、ＣＮＮ２は第２融合画像に基づいて分類してサンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値を得、サンプル画像がそれぞれ生体、非生体、生成されたものに属する確率値に基づいてサンプル画像の分類結果を決定する。

【0150】

例えば、本開示の図２に示す実施例の一用途において、顔に対して生体検出を行うことを例とし、図８は真実の人間／偽造人間の原始画像と再構成誤差画像の一例である。図８において、１列目と３列目は原始画像であり、２列目と４列目は原始画像の再構成誤差画像であり、１行目は真実の人間であり、２－４行目は偽造人間である。図８から分かるように、偽造人間の原始画像に対応する再構成誤差画像中の再構成誤差の大きい箇所がハイライトで表示され、真実の人間の原始画像に対応する再構成誤差画像中の再構成誤差の明るさが小さく、再構成誤差が小さいことを示す。例えば、図８において、偽造人間は、耳、目及び鼻、又は紙のエッジ、モアレ等の偽造手掛かりの箇所で明らかな再構成誤差がある。また、偽造人間の撮影複製した画像と偽造人間のプリントした写真画像にも明らかな再構成誤差が示されている。本開示の実施例は、示されている再構成誤差に基づいて、例えば、撮影複製した画像においてスクリーンに表示されている「再生」ボタン、プリントした写真画像中の明らかな紙のエッジ情報等の偽造手掛かり情報を効果的に捕らえることができ、捕らえた偽造手掛かり情報は真実の人間と偽造人間から抽出される特徴の分布の相違程度を増加できる。また、再構成誤差画像の可視化によって、本開示は生体検出性能を効果的に向上させ、未知の偽造サンプルに対する防御能力を向上させることができる。

【0151】

本開示の実施例で提供されるいずれか１種の生体検出方法はデータ処理能力を有するいかなる適切な機器によって実行されてもよく、端末装置とサーバ等を含むが、それらに限定されない。又は、本開示の実施例で提供されるいずれか１種の生体検出方法はプロセッサによって実行されてもよく、例えば、プロセッサはメモリに記憶された対応のコマンドを呼び出すことで本開示の実施例におけるいずれか１種の生体検出方法を実行する。以下、詳細な説明を省略する。

【0152】

当業者であれば、上記方法の実施例の全てまたは一部のステップを実現するにはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例のステップを実行する。

【0153】

図９は本開示の実施例の生体検出装置の構造模式図である。当該生体検出装置は、本開示の上記の各生体検出方法の実施例を実現することに利用可能である。図９に示すように、当該生体検出装置は、目標対象を含む被検出画像に基づいて、自己符号化器によって再構成処理を行って前記再構成画像を得るための再構成モジュールと、再構成画像に基づいて再構成誤差を得るための第１取得モジュールと、被検出画像と再構成誤差に基づいて、生体又は非生体の目標対象の分類結果を得るための第２取得モジュールと、を含む。

【0154】

本開示の上記実施例で提供された生体検出装置によれば、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得、当該再構成画像に基づいて再構成誤差を得、続いて、被検出画像と再構成誤差に基づいて、目標対象が生体か、それとも非生体かに関する分類結果を得て、それによって、被検出画像における目標対象が生体か、それとも非生体かを効率的に区別して、未知種類の偽造攻撃を効率的に防御して、偽造防止性能を向上させる。

【0155】

ここでのいくつかの選択可能な実施形態では、再構成モジュールは、生体目標対象を含むサンプル画像に基づいて訓練して得られた自己符号化器を含む。

【0156】

ここでのいくつかの選択可能な実施形態では、再構成モジュールは、入力された被検出画像に対して再構成処理を行って再構成画像を得るために用いられる。

【0157】

図１０は本開示の実施例の生体検出装置の別の構造模式図である。図１０に示すように、図９に示す実施例に比べると、当該生体検出装置において、自己符号化器は、被検出画像に対して符号化処理を行って、第１特徴データを得るための第１符号化ユニットと、第１特徴データに対して復号処理を行って再構成画像を得るための第１復号ユニットと、を含む。

【0158】

ここでのいくつかの選択可能な実施形態では、第１取得モジュールは、再構成画像と被検出画像との間の差に基づいて再構成誤差を得るために用いられる。それに対応するように、第２取得モジュールは、被検出画像と再構成誤差を連結して第１連結情報を得るための連結ユニットと、第１連結情報に基づいて目標対象の分類結果を得るための取得ユニットと、を含む。

【0159】

図１０に示すように、別の選択可能な実施形態では、再構成モジュールは、目標対象を含む被検出画像に対して特徴抽出を行って第２特徴データを得るための特徴抽出ユニットと、第２特徴データに対して再構成処理を行って再構成画像を得るための自己符号化器と、を含む。

【0160】

それに対応するように、別の選択可能な実施形態では、自己符号化器は、第２特徴データに対して符号化処理を行って第３特徴データを得るための第１符号化ユニットと、第３特徴データに対して復号処理を行って再構成画像を得るための第１復号ユニットと、を含む。

【0161】

それに対応するように、別の選択可能な実施形態では、第１取得モジュールは、第２特徴データと再構成画像との間の差に基づいて再構成誤差を得るために用いられる。それに対応するように、第２取得モジュールは、第２特徴データと再構成誤差を連結して第２連結情報を得るための連結ユニットと、第２連結情報に基づいて目標対象の分類結果を得るための取得ユニットと、を含む。

【0162】

また、上記の本開示の実施例の生体検出装置は、選択的に識別ネットワークによって実現可能である。それに対応するように、上記の本開示の実施例の生体検出装置は、生体目標対象を含むサンプル画像と偽造生体目標対象を含むサンプル画像を含む訓練集合によって、生成ネットワークと識別ネットワークを含む敵対的生成ネットワークを訓練して、訓練された敵対的生成ネットワークから識別ネットワークを得るための訓練モジュールを更に含む。

【0163】

ここでのいくつかの選択可能な実施形態では、識別ネットワークは、入力画像に対して判別処理して入力画像の分類予測結果を得るために用いられ、ここで、入力画像が訓練集合中のサンプル画像又は生成ネットワークがサンプル画像に基づいて取得した生成画像を含み、サンプル画像のラベリング情報が、生体真実画像又は偽造生体真実画像を示すものであり、生成画像のラベリング情報が生成画像を示すものであり、訓練モジュールは、入力画像の分類予測結果及び入力画像のラベリング情報に基づいて敵対的生成ネットワークのネットワークパラメータを調整するために用いられる。

【0164】

また、本開示の実施例で提供された電子機器は、
コンピュータプログラムを記憶するためのメモリと、
メモリに記憶されているコンピュータプログラムを実行するためのプロセッサと、を含み、コンピュータプログラムが実行される時に本開示の上記のいずれか１つの実施例の生体検出方法を実現する。

【0165】

図１１は本開示の電子機器の一適用実施例の構成模式図である。以下、本開示の実施例の端末装置又はサーバを実現するのに適する電子機器の構成模式図を示す図１１を参照する。図１１に示すように、該電子機器は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）、及び／又は１つ又は複数の画像プロセッサ（ＧＰＵ）などであり、プロセッサは、読み取り専用メモリ（ＲＯＭ）に記憶された実行可能コマンド又は記憶部からランダムアクセスメモリ（ＲＡＭ）にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ及び／又はランダムアクセスメモリと通信して実行可能コマンドを実行し、通信バスを介して通信部に接続され、通信部を介して他のターゲットデバイスと通信してよく、それにより本開示の実施例で提供されるいずれか一項の生体検出方法に対応する操作を完成し、例えば、目標対象を含む被検出画像に基づいて再構成処理を行って再構成画像を得、前記再構成画像に基づいて再構成誤差を得、前記被検出画像と前記再構成誤差に基づいて、前記目標対象の、生体又は非生体である分類結果を得る。

【0166】

また、ＲＡＭには、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ、ＲＯＭ及びＲＡＭは、通信バスを介して相互に接続される。ＲＡＭを有する場合に、ＲＯＭは選択可能なモジュールである。ＲＡＭは実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭに書き込み、実行可能コマンドによってプロセッサに本開示の上記のいずれか一項の生体検出方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェースも通信バスに接続される。通信部は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。

【0167】

キーボード、マウスなどを含む入力部と、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など及びスピーカなどを含む出力部と、ハードディスクなどを含む記憶部と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部とがＩ／Ｏインタフェースに接続されている。通信部は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブも必要に応じてＩ／Ｏインタフェースに接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体は、必要に応じてドライブ上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部にインストールする。

【0168】

なお、図１１に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図１１の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵとＣＰＵは分離設置するかまたはＧＰＵをＣＰＵに統合するようにしてよく、通信部は分離設置するか、またはＣＰＵやＧＰＵに統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。

【0169】

特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本開示の実施例により提供される生体検出方法のステップを対応して実行する対応のコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体からインストールされ得る。ＣＰＵによって該コンピュータプログラムを実行する時に、本開示の方法で限定された上記機能を実行する。

【0170】

また、本開示の実施例は、コンピュータコマンドを含み、コンピュータコマンドが機器のプロセッサ上で作動する時に、本開示の上記のいずれか１つの実施例の生体検出方法を実現するコンピュータプログラムを更に提供する。

【0171】

また、本開示の実施例は、コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、当該コンピュータプログラムがプロセッサにより実行される時に本開示の上記のいずれか１つの実施例の生体検出方法を実現するコンピュータ可読記憶媒体を更に提供する。

【0172】

本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。

【0173】

本開示の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって本開示の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本開示の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本開示の方法を実現するための機械可読コマンドを含む。従って、本開示は本開示の方法を実行するためのプログラムが記憶された記録媒体も含む。

【0174】

本開示の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本開示の原理及び実際応用をより明瞭に説明するため、かつ当業者が本開示を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。

【符号の説明】

【0175】

401A 第１符号化ユニット
402A 第１復号ユニット
402B 第１符号化ユニット
403B 第１復号ユニット

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】